Turkish document classification based on Word2Vec and SVM classifier

Sahin, Gurkan

doi:10.1109/siu.2017.7960552

Cited by 25 publications

(12 citation statements)

References 4 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Still, the two methods cannot identify semantic features and ignore the words ordering in phrases. In this case, an approach to deal with both these problems would be to apply some of the state-of-the-art models for documents numerical representation like Word2Vec (Lilleberg et al, 2015;Şahin, 2017) and Doc2Vec (Chen et al, 2015). The two models are computed in a similar way but their advantages are a bit different.…”

Section: Literature Reviewmentioning

confidence: 99%

Efficiency of SVM classifier with Word2Vec and Doc2Vec models

Truşcǎ

2019

Proceedings of the International Conference on Applied Statistics

View full text Add to dashboard Cite

Support Vector Machine model is one of the most intensive used text data classifiers ever since the moment of its development. However, its performance depends not only on its features but also on data preprocessing and model tuning. The main purpose of this paper is to compare the efficiency of more Support Vector Machine models using both TF-IDF approach and Word2Vec and Doc2Vec neural networks for text data representation. Besides the data vectorization process, I try to enhance the models’ efficiency by identifying which kind of kernel fits better the data or if it is just better to opt for the linear case. My results prove that for the “Reuters 21578” dataset, nonlinear Support Vector Machine is more efficient when the conversion of text data into numerical attributes is realized using Word2Vec models instead of TF-IDF and Doc2Vec representations. When it is considered that data meet linear separability requirements, TF-IDF representation outperforms all other options. Surprisingly, Doc2Vec models have the lowest performance and only in terms of computational cost they provide satisfactory results. This paper proves that while Word2Vec models are truly efficient for text data representation, Doc2Vec neural networks are unable to exceed even TF-IDF index representation. This evidence contradicts the common idea according to which Doc2Vec models should provide a better insight into the training data domain than Word2Vec models and certainly than the TF-IDF index.

show abstract

Section: Literature Reviewmentioning

confidence: 99%

Efficiency of SVM classifier with Word2Vec and Doc2Vec models

Truşcǎ

2019

Proceedings of the International Conference on Applied Statistics

View full text Add to dashboard Cite

show abstract

“…Daha sonra çıkanöznitelikler DVM'ne girdi olarak verilmiştir. Başka bir çalışmada, bu yöntemin Türkçe bir derlemde iyi çalıştıgı görülmüştür [6].…”

Section: Kelime Temsilleri Ve Destek Vektör Makineleriunclassified

“…Bu çalışmada,önceki benzer Türkçe doküman sınıflandırma yöntemlerinden (örn. [6]) farklı olarak, kelime vektörleri de geri yayılım algoritması kullanılarak güncellenmiştir. Böylece dahaönce gözetimsiz ogrenilen kelime vektörlerinin etiket bilgisi kullanılarak ayrıştırıcı egitimi saglanmış ve bunun dogruluk oranlarını artırdıgı gözlenmiştir.Önceki bölümde bahsedilen gözetimsiz ogrenilen kelime vektörleri, agın kelime vektörlerinin ilklendirilmesi için kullanılmıştır.…”

Section: Kelime Temsilleri Ve Yapay Sinir Aglarıunclassified

“…Ay ve arkadaşlarının çalışmasında genetik algoritma kullanılmış ve yeni bir nitelik agırlıklandırma yöntemi sunulmuştur [5]. Ş ahin'in çalışmasında gözetimsizögrenilen kelime temsil vektörlerinin ortalamaları Destek Vektör Makinesine (DVM) girdi olarak verilmiş ve TF-TDF'ndan daha iyi başarı sagladıgı gösterilmiştir [6]. Bu bildiride bu son çalışmadaki yöntem tekrarlanmış, ayrıca kelime vektörlerinin gözetimlï ogrenilmesinin başarıyı daha da artırdıgı gösterilmiştir.…”

Section: Introductionunclassified

See 1 more Smart Citation

Document classification of SuDer Turkish news corpora

Şen

Yanıkoğlu

2018

2018 26th Signal Processing and Communications Applications Conference (SIU)

View full text Add to dashboard Cite

Ozetçe -Kelime Temsil Vektörleri, Dogal Dilİşleme alanındaki çeşitli problemlere başarılı bir şekilde uygulanmaktadır; ancak bu vektörleri egitmek için büyük miktarda metin verisi gereklidir.İngilizce için metin derlemi pek çok farklı konu ve boyut için rahatlıkla bulunsa da, Türkçe için az sayıda derlem bulunmaktadır. Bu çalışmada iki çevrimiçi haber sitesinden büyük miktarlı metin derlemleri toplanmış ve etiket olarak internet sayfalarında bulunan kategori bilgisi kullanılmıştır. Oluşturulan derlemler çeşitli doküman sınıflandırma modelleri ile denenmiştir. Temsil vektörleri kullanan modellerin, geleneksel TF-TDFözniteliklerini kullanan yöntemlerden daha iyi sonuç verdigi görülmüştür. Aynı anda hem kelime vektörlerini hem de doküman sınıflandırmasınıögrenen bir yapay sinir agı en iyi sonucu vermiştir.Anahtar Kelimeler-doküman sınıflandırma, SuDer haber metinleri, kelime temsil vektörleri, yapay sinir agları Abstract-Word embeddings are successfully employed in various Natural Language Processing tasks, but training them requires large amount of text, which is scarce for Turkish. In this work, we collected large amounts of articles from two news websites and tags within web pages are used as labels. Obtained corpora are tested with various document classification models. Embedding based models performed better than models with the traditional TF-IDF features. A neural network that simultaneously learns the word embeddings and document classification performed the best.

show abstract

“…Türkçe metinler üzerinde Word2Vec ile model kuran ve SVM ile sınıflandıran bir sistem tasarlamıştır. Gerçekleştirilen çalışmada 22.729 belge üzerinde sınıflandırma işlemi gerçekleştirilmiştir[5].Bu makalenin tasarımı; giriş bilgilerinin ve literatür araştırmasının verildiği 1.Bölüm, kullanılan metotların anlatıldığı 2.Bölüm, kullanılan veri kümesi hakkında bilgilerin verildiği 3.Bölüm, yapılan deneylerle ilgili bilgilerin verildiği 4.Bölüm, sonuçların verildiği 5.Bölüm ve sonuçların tartışıldığı 6.Bölüm ile kaynakça bölümlerinden oluşmaktadır.…”

unclassified

Comparison of Modeling Time of Word Vector Methods

Bilgin

2019

Bilişim Teknolojileri Dergisi

View full text Add to dashboard Cite

Bu çalışmada duygu analizi için oluşturulan iki farklı veri kümesi, kelime vektörü algoritması olan Word2Vec ile modellenmiştir. Model oluşturulurken Word2Vec'in iki farklı yöntemi olan CBoW (Continous Bag of Words) ve Skip-Gram kullanılmıştır. Word2Vec ile bir metnin modelini oluşturmak için genellikle Ortalama yöntemi kullanılmaktadır. Bu çalışmada hem CBoW hem de Skip-Gram yöntemleriyle bir metni modellemek için üç farklı yöntem önerilmiştir. Model oluşturma (eğitim zamanı) süreleri her ikisi içinde ölçülmüştür. Sonuç olarak modelleme süresi açısından CBoW'un Skip-Gram'dan daha başarılı olduğu deneysel olarak gösterilmiştir.

show abstract

Turkish document classification based on Word2Vec and SVM classifier

Cited by 25 publications

References 4 publications

Efficiency of SVM classifier with Word2Vec and Doc2Vec models

Efficiency of SVM classifier with Word2Vec and Doc2Vec models

Document classification of SuDer Turkish news corpora

Comparison of Modeling Time of Word Vector Methods

Contact Info

Product

Resources

About