Kodlayıcı kod çözücü ve dikkat algoritmaları kullanılarak karakter tabanlı kelime üretimi

Abstract

Bu çalışma, derin öğrenme algoritmalarından kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı Türkçe dilbilgisi kurallarına uygun anlamlı kelime üretmeyi amaçlamaktadır. Metin üretimi çalışmalarında karşılaşılan en büyük zorluk uzun metin dizelerinde geçmişe ait bilgilerin hatırlanarak sıralı, anlamlı ve tutarlı metinler oluşturabilmektir. Bu nedenle metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bundan dolayı kelime üretiminde karakterler ve kelimeler arasındaki ilişkilerin yakalanabilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar vermektedir. Bu modeller, özellikle girdi ve çıktıların farklı boyut ve kategorilere sahip olduğu durumlarda, sıra tabanlı herhangi bir probleme çözüm olarak etkili bir şekilde kullanılmaktadır. Bu nedenle bu çalışmada kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı bir dil modeli geliştirilmiştir. Model 100 ve 200 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. Model; 100 epoch ve sıcaklık örnek alma yönteminin 0.3 eşik değerinde 90.6% başarı oranı ile en iyi sonucu, 200 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91.9% başarı oranı ile en iyi sonucu vermektedir.