Türkçe ve İngilizce Yorumların Duygu Analizinde Doküman Vektörü Hesaplama Yöntemleri için Bir Deneysel İnceleme

Abstract

Sentiment analysis is the task of identifying overall attitude of the given text documents by using text analysis and natural language processing techniques. In this study, we present experimental results of sentiment analysis on movie and product reviews datasets that are in Turkish and English languages by using a Support Vector Machine (SVM) classifier. Moreover, we compare different document vector computation techniques and show their effects on the sentiment analysis. We empirically evaluate SVM types, kernel types, weighting schemes such as TF or TF*IDF, TF variances, IDF variances, tokenization methods, feature selection systems, text preprocessing techniques and vector normalizations. We have obtained 91.33% accuracy as the best on our collected Turkish product reviews dataset by using C-SVC SVM type with linear kernel, log normalization TF* probabilistic IDF weighting scheme, L2 vector normalization, Chi-square feature selection, and unigram word tokenization. A very detailed comparison of the document vector computation methods over Turkish and English datasets are also presented.

Investigation of Word Similarities with Word Embedding Methods

“…Term Frequency, bir doküman içerisinde geçen terim frekanslarını tespit etmek için kullanılır. Inverse Document Frequency yöntemi ise birden fazla dokümanda kelimenin geçme sayısını bularak bu kelimenin terim olup olmadığını bağlaç vb (stop words-etkisiz kelime-) olduğu anlamaya çalışır [6]. Bu çalışmada da oluşturulan modelin verimliliğini artırmak için Türkçe kelime stop words listesine ihtiyaç duyulmuş ancak bu konuda tatmin edici bir liste bulunmadığı için çalışmanın bir katkısı olarak Inverse Document Frequency yöntemi kullanılarak bir stop words (etkisiz kelimeler) listesi oluşturulmuş bununla ilgili bilgiler çalışmanın ilerleyen kısımlarında verilmiştir.…”