Human Voice Emotion Identification Using Prosodic and Spectral Feature Extraction Based on Deep Neural Networks

Gumelar, Agustinus Bimo; Kurniawan, Arief; Sooai, Adri Gabriel; Purnomo, Mauridhi Hery; Yuniarno, Eko Mulyanto; Sugiarto, Indar; Widodo, Agung; Kristanto, Andreas Agung; Fahrudin, Tresna Maulana

doi:10.1109/segah.2019.8882461

Cited by 25 publications

(10 citation statements)

References 7 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Emosi adalah bagian dari manusia yang diekspresikan secara nyata (Gumelar et al, 2019). Emosi adalah keadaan psikologis seseorang sebagai respon terhadap terjadinya suatu keadaan yang dipengaruhi kondisi sekitarnya baik dari kondisi dalam orang tersebut maupun sekitarnya.…”

Section: Ucapanunclassified

Identifikasi Emosi Manusia Berdasarkan Ucapan Menggunakan Metode Ekstraksi Ciri LPC dan Metode Euclidean Distance

Helmiyah

Riadi

Umar

et al. 2020

JTIIK

View full text Add to dashboard Cite

Ucapan merupakan sinyal yang memiliki kompleksitas tinggi terdiri dari berbagai informasi. Informasi yang dapat ditangkap dari ucapan dapat berupa pesan terhadap lawan bicara, pembicara, bahasa, bahkan emosi pembicara itu sendiri tanpa disadari oleh si pembicara. Speech Processing adalah cabang dari pemrosesan sinyal digital yang bertujuan untuk terwujudnya interaksi yang natural antar manusia dan mesin. Karakteristik emosional adalah fitur yang terdapat dalam ucapan yang membawa ciri-ciri dari emosi pembicara. Linear Predictive Coding (LPC) adalah sebuah metode untuk mengekstraksi ciri dalam pemrosesan sinyal. Penelitian ini, menggunakan LPC sebagai ekstraksi ciri dan Metode Euclidean Distance untuk identifikasi emosi berdasarkan ciri yang didapatkan dari LPC. Penelitian ini menggunakan data emosi marah, sedih, bahagia, netral dan bosan. Data yang digunakan diambil dari Berlin Emo DB, dengan menggunakan tiga kalimat berbeda dan aktor yang berbeda juga. Penelitian ini menghasilkan akurasi pada emosi sedih 58,33%, emosi netral 50%, emosi marah 41,67%, emosi bahagia 8,33% dan untuk emosi bosan tidak dapat dikenali. Penggunaan Metode LPC sebagai ekstraksi ciri memberikan hasil yang kurang baik pada penelitian ini karena akurasi rata-rata hanya sebesar 31,67% untuk identifikasi semua emosi. Data suara yang digunakan dengan kalimat, aktor, umur dan aksen yang berbeda dapat mempengaruhi dalam pengenalan emosi, maka dari itu ekstraksi ciri dalam pengenalan pola ucapan emosi manusia sangat penting. Hasil akurasi pada penelitian ini masih sangat kecil dan dapat ditingkatkan dengan menggunakan ekstraksi ciri yang lain seperti prosidis, spektral, dan kualitas suara, penggunaan parameter max, min, mean, median, kurtosis dan skewenes. Selain itu penggunaan metode klasifikasi juga dapat mempengaruhi hasil pengenalan emosi. AbstractSpeech is a signal that has a high complexity consisting of various information. Information that can be captured from speech can be in the form of messages to interlocutor, the speaker, the language, even the speaker's emotions themselves without the speaker realizing it. Speech Processing is a branch of digital signal processing aimed at the realization of natural interactions between humans and machines. Emotional characteristics are features contained in the speech that carry the characteristics of the speaker's emotions. Linear Predictive Coding (LPC) is a method for extracting features in signal processing. This research uses LPC as a feature extraction and Euclidean Distance Method to identify emotions based on features obtained from LPC. This study uses data on emotions of anger, sadness, happiness, neutrality, and boredom. The data used was taken from Berlin Emo DB, using three different sentences and different actors. This research resulted in inaccuracy in sad emotions 58.33%, neutral emotions 50%, angry emotions 41.67%, happy emotions 8.33% and bored emotions could not be recognized. The use of the LPC method as feature extraction gave unfavorable results in this study because the average accuracy was only 31.67% for the identification of all emotions. Voice data used with different sentences, actors, ages, and accents can influence the recognition of emotions, therefore the extraction of features in the recognition of speech patterns of human emotions is very important. Accuracy results in this study are still very small and can be improved by using other feature extractions such as provides, spectral, and sound quality, using parameters max, min, mean, median, kurtosis, and skewness. Besides the use of classification methods can also affect the results of emotional recognition.

show abstract

Section: Ucapanunclassified

Identifikasi Emosi Manusia Berdasarkan Ucapan Menggunakan Metode Ekstraksi Ciri LPC dan Metode Euclidean Distance

Helmiyah

Riadi

Umar

et al. 2020

JTIIK

View full text Add to dashboard Cite

show abstract

“…Adapun fitur suara sekunder yang digunakan adalah pitch, fundamental frequency, dan loudness. Ketiga fitur suara tersebut mengalami proses perhitungan statistika mean, median, standar deviasi, skewness, dan kurtosis, sehingga berjumlah lima belas fitur suara [19].…”

Section: Ekstraksi Fitur Multi Spektrumunclassified

“…Hasil eksperimen menunjukkan perkembangan akurasi pembelajaran dari penelitian lainnya yang menggunakan CNN dan memperoleh rerata akurasi 89,03% [25]. Pada sisi set fitur, penelitian sebelumnya yang menggunakan lima belas fitur sekunder menunjukkan hasil akurasi 78,83% [19]. Dengan kombinasi fitur cochlegram dan spektrum Hilbert, diperoleh hasil akurasi pembelajaran sebesar 90,97% untuk CNN dan 80,62% untuk LSTM.…”

Section: E Analisis Dan Diskusiunclassified

Kombinasi Fitur Multispektrum Hilbert dan Cochleagram untuk Identifikasi Emosi Wicara

Gumelar

Yuniarno

Anggraeni

et al. 2020

JNTETI

Self Cite

View full text Add to dashboard Cite

Dalam interaksi perilaku sosial, suara manusia menjadi salah satu saluran utama pembawa atribut ekspresi emosi kondisi mentalnya. Suara manusia merupakan hasil olah vokal yang tersusun dengan disertai urutan kata demi kata, hingga menghasilkan kalimat dalam rupa pola wicara yang memiliki makna ekspresi kondisi psikologisnya. Pola tersebut memberikan karakteristik khusus untuk proses identifikasi biometrik yang menggunakan pola wicara. Teknik visualisasi berupa citra spektrum telah terbukti mampu memberikan representasi hasil olah sinyal wicara. Makalah ini mengidentifikasi jenis emosi pada wicara menggunakan kombinasi fitur multi spektrum Hilbert dan cochleagram. Spektrum Hilbert merepresentasikan hasil transformasi Hilbert-Huang (HHT) untuk memproses sinyal emosi wicara yang nonlinear dan nonstasioner secara instan dengan fungsi mode intrinsik. Dengan meniru cara kerja komponen telinga luar dan tengah, sinyal emosi wicara dipecah menjadi frekuensi yang berbeda secara alami dengan hasil representasinya berupa cochleagram. Kedua masukan berupa spektrum wicara diproses menggunakan metode Convolutional Neural Networks (CNN) yang dikenal terbaik dalam mengenali data citra karena merepresentasikan mekanisme kerja retina manusia, serta metode Long Short-Term Memory (LSTM). Berdasarkan hasil uji coba dengan tiga himpunan data (dataset) publik emosi wicara yang terbagi ke dalam delapan kelas emosi, diperoleh akurasi sebesar 90,97% dengan CNN dan 80,62% dengan LSTM.

show abstract

“…Salah satu perkembangan teknologi saat ini adalah kecerdasan buatan, manusia mampu membuat mesin atau robot yang memiliki kecerdasan menyerupai manusia yang dibuat menggunakan sebuah bahasa yang membentuk abstraksi dan konsep [6]. Dengan menggunakan kecerdasan buatan maka tidaklah mustahil akan ada mesin yang benar-benar mampu berpikir, bertindak, mendengar, melihat, dan berbicara layaknya manusia [7]. Contoh mesin yang dapat berkomunikasi adalah chatbot [8].…”

Section: Pendahuluanunclassified

Chatbot Untuk Customer Service Berbasis Teks dan Suara pada Sistem Manajemen Pemesanan (OMS) Menggunakan Platform Android

‪Nugroho

Adi

Gumelar

2020

Self Cite

View full text Add to dashboard Cite

Kualitas penyediaan saluran layanan pelanggan sangat berpengaruh terhadap tingkat kepuasan pelanggan dalam suatu transaksi jual beli. Dengan pelayanan yang baik akan mewujudkan hubungan yang harmonis antara perusahaan dengan pelanggan. Untuk mendapatkan kepuasan pelanggan maka diperlukan adanya interaksi yang baik dari seorang customer service kepada pelanggan, mulai dari pelanggan melakukan pemesanan sampai pelanggan selesai melakukan pembelian. Makalah ini mengusulkan pengembangan chatbot yang berperan sebagai customer service yang dapat berkomunikasi dan melayani pelanggan dalam melakukan pemesanan. Pelanggan dapat berkomunikasi dengan chatbot untuk mengetahui tentang informasi dari produk yang akan dipesan. Pelanggan dapat melakukan interaksi percakapan dalam bentuk teks dan suara. Setelah pelanggan selesai melakukan pemesanan, chatbot akan memberikan notifikasi kepada bagian produksi untuk melakukan konfirmasi ketersedian produk yang dipesan oleh pelanggan. Bagian produksi akan melakukan konfirmasi ketersediaan produk didalam sistem manajemen pemesanan (OMS). Chatbot akan mengrimkan detail pemesanan kedalam OMS sehingga bagian produksi bisa langsung melakukan pemrosesan pesanan dari pelanggan. Chatbot akan dibangun didalam platform android dan menggunakan platform NLP (Natural Language Processing) yaitu Dialogflow. Platform ini yang nantinya akan memproses dan melakukan pemindaian terhadap setiap pertanyaan yang diberikan oleh pelanggan. Didalam platform Dialogflow, penulis akan membuat intent dan juga response untuk melakukan penanganan percakapan yang diberikan oleh pelanggan mengenai proses pemesanan.

show abstract

Human Voice Emotion Identification Using Prosodic and Spectral Feature Extraction Based on Deep Neural Networks

Cited by 25 publications

References 7 publications

Identifikasi Emosi Manusia Berdasarkan Ucapan Menggunakan Metode Ekstraksi Ciri LPC dan Metode Euclidean Distance

Identifikasi Emosi Manusia Berdasarkan Ucapan Menggunakan Metode Ekstraksi Ciri LPC dan Metode Euclidean Distance

Kombinasi Fitur Multispektrum Hilbert dan Cochleagram untuk Identifikasi Emosi Wicara

Chatbot Untuk Customer Service Berbasis Teks dan Suara pada Sistem Manajemen Pemesanan (OMS) Menggunakan Platform Android

Contact Info

Product

Resources

About