Peningkatan Akurasi Pada Slowfast Network Menggunakan Multi-Head Self Attention Layer

Abstract

Keselamatan berkendara merupakan aspek krusial dalam sistem transportasi modern, di mana perilaku pengemudi seperti kantuk dan kehilangan fokus menjadi faktor utama penyebab kecelakaan. Penelitian ini mengusulkan sistem deteksi perilaku pengemudi berbasis video dengan menggunakan arsitektur SlowFast Network yang dikombinasikan dengan mekanisme Self-Attention. SlowFast Network memungkinkan pemrosesan dua jalur informasi temporal secara paralel, yaitu gerakan cepat dan lambat, untuk menangkap pola ekspresi dan dinamika visual pengemudi. Mekanisme Self-Attention ditambahkan untuk memperkuat kemampuan model dalam mengenali fitur penting secara kontekstual. Dataset yang digunakan adalah SUST Driver Drowsiness Dataset, yang telah melalui proses segmentasi dan normalisasi. Model dilatih menggunakan pembagian data pelatihan, validasi, dan pengujian, serta dievaluasi dengan metrik akurasi, presisi, recall, dan F1-score. Hasil pengujian menunjukkan bahwa penambahan Self-Attention meningkatkan performa model secara signifikan, dengan akurasi mencapai 96% pada data uji seimbang. Visualisasi attention map dan filter Conv3D mendukung interpretasi bahwa model mampu menangkap pola perilaku tanpa memerlukan deteksi eksplisit bagian wajah. Sistem ini menunjukkan potensi untuk diterapkan dalam sistem peringatan dini berbasis video guna meningkatkan keselamatan berkendara secara real-time.