Feature Selection for Text Classification Using Mutual Information

Sel, İlhami; Karcı, Ali; Hanbay, Davut

doi:10.1109/idap.2019.8875927

Cited by 8 publications

(2 citation statements)

References 3 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The main processes and steps of automatic text classification and recognition are shown in Figure 1. The text classification task consists of three key steps: text data format unification, vectorised representation, and feature extraction [10]: text pre-processing, text vectorisation table and text feature representation. The pre-processing of text is one of the most fundamental NLP tasks.…”

Section: Text Classification Processmentioning

confidence: 99%

Research on Text Classification Method Based on NLP

2023

ACSS

View full text Add to dashboard Cite

Natural language processing is a science that integrates computer knowledge, mathematical knowledge and linguistic knowledge, while text classification and recognition is considered an important research area and direction of natural language processing. In the context of the big data era, how to effectively classify text information in the face of a sea of text-based data is the focus of current research. This paper describes the theoretical knowledge of text classification concepts, text representation methods and text classifiers. Firstly, the basic concepts of text classification and the classification process are introduced. Then the model structures of convolutional and recurrent neural networks and their variants are introduced, followed by the structure and implementation principles of two classical word embedding models, Word2vec and BERT.

show abstract

Section: Text Classification Processmentioning

confidence: 99%

Research on Text Classification Method Based on NLP

2023

ACSS

View full text Add to dashboard Cite

show abstract

“…Sel vd. [11], metin sınıflandırma işleminde boyut indirgeme ve özellik seçimi işlemleri ile sınıflandırma sisteminlerinin başarım değerlerini arttırmaya çalışmışlardır. Çalışmalarında kullanmış oldukları veri kümesini ön işlem aşamalarından geçirdikten sonra Doc2Vec metodunu kullanılarak veri kümesini oluşturan dokümanları vektörleştirerek sınıflandırmışlardır.…”

Section: Introductionunclassified

TF-IDF ve Doc2Vec Tabanlı Türkçe Metin Sınıflandırma Sisteminin Başarım Değerinin Ardışık Kelime Grubu Tespiti ile Arttırılması

Güran¹,

Kinik²

2021

European Journal of Science and Technology

View full text Add to dashboard Cite

Öz TF-IDF terim ağırlıklandırma ölçümü kelimelerin metinler içinde geçme sıklığı bilgisine dayalıdır. Bu ölçüm kelimeler arasındaki anlamsal ilişkiyi barındırmamaktadır. Yapay sinir ağlarına dayalı olan Doc2Vec metodu kelimeler ve kelimeleri içeren dokümanlar arasındaki anlamsal ilişkiyi barındırmakta ve yönetilebilir boyutlu doküman vektörlerinin elde edilmesini sağlamaktadır. Ardışık kelime grubu tespitinin metin madenciliği üzerindeki olumlu etkileri literatürde sunulan pek çok çalışma tarafından belirtilmiştir. Bu çalışmada, hem geleneksel TF-IDF terim ağırlıklandırma ölçümünün, hem de YSA'lara dayalı bir yöntem olan Doc2Vec yönteminin kullanımı ile vektörleştirilen dokümanlar üzerinde temel makine öğrenmesi sınıflandırıcılarının ve topluluk öğrenmesi algoritmalarının başarım değerleri kıyaslanmıştır. Sınıflandırıcılar farklı uzunluklarda haber dokümanlarını içeren 4 farklı Türkçe veri kümesi üzerinde uygulanmıştır. Çalışmamızın literatüre olan katkısı, sınıflandırma aşamasına geçilmeden önce dokümanların içindeki ardışık kelime grubu tespitinin gerçekleştirilmesi ve dokümanların bu kelime öbeklerinin tek bir kelime gibi ele alınmasıyla vektörleştirildikten sonra, uygulanan sınıflandırıcıların başarım değerlerinin arttığının gösterilmesi olmuştur. Ardışık kelime grubu tespiti için kelimelerin birlikte geçme sıklığı prensibine dayalı olan bir prensip dışında, Türkçe Vikipedi'nin kelime bağlantıları da kullanılmış ve dokümanlar içinde az sayıda geçmesine rağmen anlamlı olan ardışık kelime öbeklerinin tespiti gerçekleştirilebilmiştir. Ardışık kelime grubu tespiti ile sınıflandırma deneylerinin hemen hemen tümünde daha yüksek başarım değerleri elde edilmiştir.

show abstract

A feature selection model for document classification using Tom and Jerry Optimization algorithm

Thirumoorthy¹,

Britto²

2023

Multimed Tools Appl

View full text Add to dashboard Cite

Feature Selection for Text Classification Using Mutual Information

Cited by 8 publications

References 3 publications

Research on Text Classification Method Based on NLP

Research on Text Classification Method Based on NLP

TF-IDF ve Doc2Vec Tabanlı Türkçe Metin Sınıflandırma Sisteminin Başarım Değerinin Ardışık Kelime Grubu Tespiti ile Arttırılması

A feature selection model for document classification using Tom and Jerry Optimization algorithm

Contact Info

Product

Resources

About