Türkçe Metin Madenciliği için Dikkat Mekanizması Tabanlı Derin Öğrenme Mimarilerinin Değerlendirilmesi

Abstract

ÖzSon yıllarda, hesaplama maliyetlerindeki düşüşler ve veri hacmindeki artışlar ile, büyük veri üzerinde etkin öğrenme modelleri oluşturmaya yönelik derin sinir ağı modelleri alanında önemli başarımlar elde edilmeye başlanmıştır. Derin sinir ağı mimarileri, duygu analizi, metin sınıflandırma, makine çevirisi gibi doğal dil işleme problemlerinin yanı sıra, konuşma tanıma, bilgisayarla görme gibi birçok alanda başarıyla uygulanmaktadır. Metin sınıflandırma problemlerinde, tekrarlayan sinir ağları, uzun kısa süreli bellek mimarisi ve geçitli tekrarlayan birim gibi mimariler etkin bir biçimde kullanılmaktadır. Tekrarlayan sinir ağları (RNN), uzun süreli bağımlılıkları öğrenirken verimli değildir. Bu mimaride, belirteçler sırayla işlenir ve her belirteçten sonra görülen verileri temsil eden bir durum vektörü elde edilir. RNN tabanlı mimariler, kaybolan gradyan sorunu nedeniyle, uzun tümcelerin sonundaki durumun genellikle erken gözlemlenen belirteçlere ilişkin bilgi içermemesi sorununa neden olur. Dikkat mekanizması, bir modelin tümcedeki daha önceki bir noktanın durumuna doğrudan bakmasını ve bundan yararlanabilmesini olanaklı kılar. Böylelikle, tüm durumlara erişilebilir ve mevcut belirteçle öğrenilmiş bazı ilgi ölçütlerine göre, çok uzaktaki ilgili belirteçler hakkında daha net bilgi sağlanarak, daha etkin bir metin modelleme gerçekleştirilebilir. Dikkat mekanizması, makine çevirisi, metin özetleme başta olmak üzere birçok doğal dil işleme görevinde başarıyla uygulanmaktadır. Bu çalışmada, Türkçe duygu analizi için dikkat mekanizması tabanlı derin öğrenme mimarilerinin başarımları karşılaştırmalı olarak incelenmektedir. Deneysel analizlerde, tekrarlayan sinir ağı, uzun kısa süreli bellek mimarisi (LSTM), geçitli tekrarlayan birim mimarisi (GRU), küresel dikkat mekanizması tabanlı LSTM, kendine dikkat mekanizması tabanlı LSTM, hiyerarşik dikkat mekanizması tabanlı LSTM, küresel dikkat mekanizması tabanlı GRU, kendine dikkat mekanizması tabanlı GRU ve hiyerarşik dikkat mekanizması tabanlı GRU değerlendirilmiştir. Dikkat mekanizması tabanlı mimarilerin, duygu analizi için doğru sınıflandırma oranını önemli ölçüde artırdığı gözlenmektedir.