Peningkatan Performa Sistem Klasifikasi Emosi Suara dengan Mempertimbangkan Ketahanan Noise Menggunakan Convolutional Neural Network

Emosi Suara dengan Mempertimbangkan Ketahanan Noise Menggunakan Convolutional Neural Network (dibimbing oleh Indrabayu dan Anugrayani Bustamin).

Latar belakang. Video review produk kini menjadi faktor penting yang memengaruhi keputusan konsumen, di mana analisis emosi suara dapat memberikan wawasan lebih mendalam terkait persepsi reviewer. Namun, gangguan noise dalam audio sering kali mengurangi akurasi sistem pengenalan emosi. Tujuan. Penelitian ini bertujuan untuk meningkatkan performa dan ketahanan model terhadap noise pada klasifikasi emosi suara dalam konteks video ulasan produk. Metode. Model yang digunakan adalah Convolutional Neural Network (CNN) yang dilatih menggunakan dataset suara dari berbagai sumber. Data diproses dengan teknik augmentation menggunakan simulasi noise melalui variasi Amplitude Factor (AF) dan ekstraksi fitur seperti MFCC, ZCR, mel spectrogram, chroma STFT, dan RMS. Evaluasi dilakukan pada data bersih dan data yang telah diinjeksi noise untuk mengukur ketahanan model terhadap gangguan akustik. Hasil. Hasil penelitian menunjukkan bahwa model mencapai akurasi pelatihan sebesar 99% pada semua dataset. Pada pengujian data yang diinjeksi noise, performa model bervariasi tergantung tingkat AF, dengan Weighted Accuracy (WA) tertinggi mencapai 99%. Temuan ini menunjukkan bahwa pelatihan dengan data yang mengandung noise dan variasi AF secara signifikan meningkatkan ketahanan model terhadap noise tanpa mengorbankan akurasi. Penelitian ini menekankan pentingnya augmentation data, pemilihan fitur, dan variasi AF dalam mengembangkan sistem pengenalan emosi yang tangguh untuk lingkungan berisik. Kesimpulan. Penerapan augmentation, pemilihan ekstraksi fitur tertentu serta pelatihan model dengan data noisy dengan berbagai level Amplitude Factor (AF) secara substansial meningkatkan ketahanan model dalam pengenalan emosi dari suara pada konteks video review produk.