Improving Character-Aware Neural Language Model byWarming Up Character Encoder under Skip-gram Architecture

Feng, Yanqiu; Hu, Chenlong; Kamigaito, Hidetaka; Takamura, Hiroya; Okumura, Manabu

doi:10.26615/978-954-452-072-4_048

Cited by 3 publications

(1 citation statement)

References 19 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Another way to deal with these issues is to use the character-level information of each word to calculate the word representation, which is often referred to as character-aware NLMs (Ling et al 2015;Kim et al 2016;Vania and Lopez 2017;Gerz et al 2018;Feng et al 2021). Characteraware NLMs are still word-based models because each word is processed sequentially.…”

Section: Introductionmentioning

confidence: 99%

A Simple and Effective Method for Injecting Word-level Information into Character-aware Neural Language Models

Feng

Kamigaito

Takamura

et al. 2023

Journal of Natural Language Processing

Self Cite

View full text Add to dashboard Cite

In this study, we propose a simple and effective method to inject word-level information into character-aware neural language models. Unlike previous approaches, which typically inject word-level information as input to a long short-term memory (LSTM) network, we inject such information into the softmax function. The resultant model can be considered a combination of a character-aware language model and a simple word-level language model. Our injection method can be used in conjunction with previous methods. The results of experiments on 14 typologically diverse languages are provided to empirically show that our injection method performed better than previous methods that inject word-level information at the input, including a gating mechanism, averaging, and concatenation of word vectors. Our method can also be used together with previous injection methods. Finally, we provide a comprehensive comparison with previous injection methods and analyze the effectiveness of word-level information in character-aware language models and the properties of our injection method in detail.

show abstract

Section: Introductionmentioning

confidence: 99%

A Simple and Effective Method for Injecting Word-level Information into Character-aware Neural Language Models

Feng

Kamigaito

Takamura

et al. 2023

Journal of Natural Language Processing

Self Cite

View full text Add to dashboard Cite

show abstract

Exploring linguistic features and user engagement in Chinese online mental health counseling

Zhang,

Liu,

et al. 2024

Heliyon

View full text Add to dashboard Cite

Kodlayıcı kod çözücü ve dikkat algoritmaları kullanılarak karakter tabanlı kelime üretimi

Ergin,

İnan

2024

Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi

View full text Add to dashboard Cite

Bu çalışma, derin öğrenme algoritmalarından kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı Türkçe dilbilgisi kurallarına uygun anlamlı kelime üretmeyi amaçlamaktadır. Metin üretimi çalışmalarında karşılaşılan en büyük zorluk uzun metin dizelerinde geçmişe ait bilgilerin hatırlanarak sıralı, anlamlı ve tutarlı metinler oluşturabilmektir. Bu nedenle metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bundan dolayı kelime üretiminde karakterler ve kelimeler arasındaki ilişkilerin yakalanabilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar vermektedir. Bu modeller, özellikle girdi ve çıktıların farklı boyut ve kategorilere sahip olduğu durumlarda, sıra tabanlı herhangi bir probleme çözüm olarak etkili bir şekilde kullanılmaktadır. Bu nedenle bu çalışmada kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı bir dil modeli geliştirilmiştir. Model 100 ve 200 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. Model; 100 epoch ve sıcaklık örnek alma yönteminin 0.3 eşik değerinde 90.6% başarı oranı ile en iyi sonucu, 200 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91.9% başarı oranı ile en iyi sonucu vermektedir.

show abstract

Improving Character-Aware Neural Language Model byWarming Up Character Encoder under Skip-gram Architecture

Cited by 3 publications

References 19 publications

A Simple and Effective Method for Injecting Word-level Information into Character-aware Neural Language Models

A Simple and Effective Method for Injecting Word-level Information into Character-aware Neural Language Models

Exploring linguistic features and user engagement in Chinese online mental health counseling

Kodlayıcı kod çözücü ve dikkat algoritmaları kullanılarak karakter tabanlı kelime üretimi

Contact Info

Product

Resources

About