Investigation of Word Similarities with Word Embedding Methods

Abstract

Günümüzde büyük veri alanında meydana gelen gelişmelerle birlikte günlük işlenebilir durumda olan veri miktarı oldukça büyük boyutlara ulaşmıştır. Bu verilerin çok büyük bir kısmının metin (text) verilerinden oluşması, metin işleme alanında yapılan çalışmaları oldukça önemli ve popüler bir hale getirmiştir. Ancak bu alanda yapılan çalışmalar incelendiğinde başta İngilizce olmak üzere birçok dünya diline yönelik çeşitli çalışmalar yapılırken, Türkçeye özgü yapılan çalışmaların istenilen sayıda olmadığı görülmüştür. Bu nedenle bu çalışma için, python ortamı kütüphanelerinden biri olan Beautiful Soup kütüphanesi kullanılarak Türkçe metinlerden oluşan büyük bir derlem oluşturulmuştur. Bu çalışmada, kelimeleri vektör uzayında her bir kelimenin bir vektörle temsil edildiği yeni bir yaklaşım olan Word2Vec modeli algoritmalarından CBOW ve Skip-Gram algoritmaları ile Glove modeli kullanılmıştır. Oluşturulan derlem üzerinde Word2Vec yöntemi ile Türkçe kelimelerden oluşan ve bu kelimeler arasındaki anlamsal ilişkileri tespit etmeye çalışan bir model geliştirilmiş ve diğer modeller ile başarımı ve eğitim süreleri kıyaslanmıştır. Ayrıca çalışmanın bir diğer katkısı ise modelin performansını artırmak için Türkçe için etkisiz kelimeler listesi oluşturulmasıdır. Geliştirilen bu model ile özellikle Türkçe metin sınıflandırma problemlerinde daha yüksek bir sınıflandırma başarımının yakalanması hedeflenmektedir. Bu çalışma kapsamında oluşturulan model analiz edilip yakın anlamlı kelimeler incelendiğinde oldukça başarılı performans gösterdiği tespit edilmiştir. Veriseti ve kelime vektörleri Türkçe çalışmalara katkı sağlamak için erişime açık olarak paylaşılacaktır.

A comprehensive analysis of static word embeddings for Turkish

“…Among the static embedding models, Word2Vec and FastText outperform GloVe in the context of the Turkish language. This finding aligns with the results obtained by (Aydogan & Karcı, 2019).…”

“…They also demonstrated that manipulating words' surface forms can genuinely enhance the efficacy of text representation in a morphologically rich language. (Aydogan & Karcı, 2019) conducted a comparison between Word2Vec and GloVe models, evaluating their performance on analogy tasks and the training time. Within the scope of the study, the two fundamental algorithms of the Word2Vec method, CBOW and Skip-gram, have also been analyzed.…”

Experimental Comparison of Pre-Trained Word Embedding Vectors of Word2Vec, Glove, FastText for Word Level Semantic Text Similarity Measurement in Turkish

“…But in SkipGram, the approach is to give a word to a feed-forward neural network and predict the words around it. With the Word-2Vec method [12] developed by Google researchers, it become possible to represent any word on a corpus of billions of words with a 300-dimensional vector space. The Glove method (Global Vectors for Word Representation) [4] is another type of word vector generation method from huge corpora in an unsupervised manner.…”

“…While many studies in English examine semantic similarity tasks using word vectors, a limited number of studies can be found for Turkish [12,13,14]. Aydogan and Karci (2019) [12] used the Beautiful Soup library to create a large corpus of 60GB Turkish texts, containing 10.5 billion words, and created word representation vectors by training this corpus with both Word2Vec (CBOW and SkipGram) and Glove methods.…”

“…While many studies in English examine semantic similarity tasks using word vectors, a limited number of studies can be found for Turkish [12,13,14]. Aydogan and Karci (2019) [12] used the Beautiful Soup library to create a large corpus of 60GB Turkish texts, containing 10.5 billion words, and created word representation vectors by training this corpus with both Word2Vec (CBOW and SkipGram) and Glove methods. The created word representation vectors are examined with various criteria such as training time, similarity with other words, matching and semantic relations, and this study claimed that the Word2Vec method gave better results for both speed and performance in terms of detecting semantic similarities and training times compared to the Glove method.…”