Highlights CNN model design and feature extraction for emotion recognition problem  Use of the publicly available Fer+ facial expression dataset  Feature selection with Binary Particle Swarm Optimization (BPSO) algorithm  Classification of features with Support Vector Machine (SVM)

No abstract

No abstract

Konuşma duygu tanıma, konuşma sinyallerinden insan duygularını gerçek zamanlı olarak tanıyabilen aktif bir insan-bilgisayar etkileşimi alanıdır. Bu alanda yapılan tanıma görevi, duyguların karmaşıklığı nedeniyle zorlu bir sınıflandırma örneğidir. Etkili bir sınıflandırma işleminin yapılabilmesi yüksek seviyeli derin özelliklere ve uygun bir derin öğrenme modeline bağlıdır. Konuşma duygu tanıma alanında yapılmış birçok sınıflandırma çalışması mevcuttur. Bu çalışmalarda konuşma verilerinden duyguların doğru bir şekilde çıkarılması için birçok farklı model ve özellik birleşimi önerilmiştir. Bu makalede konuşma duygu tanıma görevi için bir sistem önerilmektedir. Bu sistemde konuşma duygu tanıma için uzun-kısa süreli bellek tabanlı bir derin öğrenme modeli önerilmiştir. Önerilen sistem ön-işlem, özellik çıkarma, özellik birleşimi, uzun-kısa süreli bellek ve sınıflandırma olmak üzere dört aşamadan oluşmaktadır. Önerilen sistemde konuşma verilerine ilk olarak kırpma ve ön-vurgu ön-işlemleri uygulanır. Bu işlemlerden sonra elde edilen konuşma verilerinden Mel Frekans Kepstrum Katsayıları, Sıfır Geçiş Oranı ve Kök Ortalama Kare Enerji akustik özellikleri çıkarılarak birleştirilir. Birleştirilen bu özelliklerin uzamsal bilgilerinin yanında zaman içindeki akustik değişimleri sistemde önerilen uzun-kısa süreli bellek ve buna bağlı bir derin sinir ağı modeliyle öğrenilir. Son olarak softmax aktivasyon fonksiyonu ile öğrenilen bilgiler 8 farklı duyguya sınıflandırılır. Önerilen sistem RAVDESS ve TESS veri setlerinin birlikte kullanıldığı bir veri kümesinde test edilmiştir. Eğitim, doğrulama ve test sonuçlarında sırasıyla %99.87 , %85.14 , %88.92 oranlarında doğruluklar ölçülmüştür. Sonuçlar, son teknoloji çalışmalardaki doğruluklarla kıyaslanmış önerilen sistemin başarısı ortaya konmuştur.

Göz takip algoritmalarında önemli bir yere sahip olan göz bebeği merkezinin yerini belirlemek için geçmişten günümüze birçok yöntem kullanılmıştır. Bu yöntemler genellikle şekil-özellik ve görünüm temellidir. Şekil-özellik tabanlı yöntemler, iris ve göz bebeğinin yerini belirlemek için morfolojik görüntü işleme tekniklerini, gözün değişmez geometrik özelliklerini ve kızılötesi ışığı kullanır. Bu yöntemler ışık, düşük çözünürlük gibi gerçek dünya koşullarından etkilenir. Buna karşılık, görünüm temelli yöntemler bu koşullara daha az duyarlıdır. Bu çalışmada, göz özelliklerini otomatik olarak öğrenen ve göz bebeği merkezi lokalizasyonu gerçekleştiren görünüm tabanlı yöntemlerden biri olan Mini U-Net ağı önerilmiştir. Önerilen ağ, göz bebeği merkezi yerelleştirmesi için halka açık GI4E veri seti kullanılarak değerlendirildi. Ağın test sonuçlarında maksimum normalize edilmiş hata kriterine göre ölçümler yapılmıştır. Buna göre göz bebeğinin merkezi %98,40 doğrulukla belirlendi. Önerilen ağ, en son teknolojik yöntemlerle karşılaştırılmış ve önerilen ağın performansı ortaya konmuştur.