Recognition of non-speech sounds using Mel-frequency cepstrum coefficients and dynamic time warping method

Bu çalışma, kablosuz uzaktan çok yönlü olarak kontrol edilebilen üç tekerlekli bir robotik aracın gerçekleştirilmesini amaçlamaktadır. Sistem, Türkçe sesli komutlar ve dokunmatik butonlar kullanarak, bilgisayarlar ve mobil akıllı telefonlar aracılığıyla hem internetsiz hem de internetli olarak kontrol edilebilen bir yapı sunmaktadır. STM32F407 tabanlı ilk çalışmada, Bluetooth üzerinden bilgisayar tabanlı olarak butonlu ve sesli komutlarla robotik aracın kontrolü yapılmış, bu doğrultuda Tkinter tabanlı bir kullanıcı arayüzü oluşturulmuştur. Sesli komutların internetsiz olarak algılanabilmesi için, öncelikle 5 Türkçe komutun bilgisayar ortamında doğru tanınması için Mel-Frekans Kepstral Katsayıları (MFCC) öznitelik çıkarma işleminde ve Dinamik Zaman Bükmesi (DTW) yöntemi de eşleştirme ve karar verme işleminde kullanılmıştır. 15 katılımcıdan 5 sesli komut için örnekler alınmış ve kullanılan yöntem test edilmiştir. Sonuçlar 5 sesli komutun %100 doğrulukla tanındığını göstermiştir. Daha sonra STM32F407 tabanlı akıllı telefon ve Bluetooth temelli kontrol çalışması ele alınmış ve sesli komutlar için Google asistan tabanlı çalışan bir mobil arayüz tasarlanmıştır. Üçüncü ve dördüncü çalışmalar ise NodeMCU kartı kullanarak sırasıyla Bluetooth ve Wi-Fi bağlantılar üzerinden aracın kontrollerini içermektedir. Nesnelerin interneti temelli kontrol için Arduino IoT Cloud tabanlı bir arayüz geliştirilmiştir. 10 katılımcıyla yapılan gerçek zamanlı çalışmalar, STM32F407 ve NodeMCU kartları tabanlı tüm kontrol yöntemlerinin başarılı bir biçimde çalıştığını göstermiştir.

show abstract

Recognition of non-speech sounds using Mel-frequency cepstrum coefficients and dynamic time warping method

Cited by 3 publications

References 11 publications

Non-Intrusive Operation Status Tracking for Legacy Machines via Sound Recognition

Non-Intrusive Operation Status Tracking for Legacy Machines via Sound Recognition

Implementation of Mel Frequency Cepstrum Coefficients and Dynamic Time Warping Algorithms on Door Physical Security System using Voice Recognition Pattern

Stm32f407 Ve Nodemcu Esp8266 Kartlari Kullanarak Kablosuz Çok Yönlü Kontrollü Roboti̇k Araç Si̇stemi̇ni̇n Geli̇şti̇ri̇lmesi̇

Contact Info

Product

Resources

About