Feature selection for text classification with Naïve Bayes

Chen, Jingnian; Huang, Houkuan; Tian, Shengfeng; Qu, Youli

doi:10.1016/j.eswa.2008.06.054

Cited by 540 publications

(225 citation statements)

References 7 publications

Supporting

Mentioning

212

Contrasting

Unclassified

Order By: Relevance

“…One well-known problem of the transformation method in this approach is Binary Relevance (BR), which separates each label independently [34]. After separating the label set, a score function that is able to measure the importance of features and labels, such as the Pearson correlation coefficient (BR + CC) [37] or odds ratio (BR + OR) [38], can be employed. Because the final feature score is obtained by aggregating all of the importance values of (feature, label) pairs, it requires a prohibitive computational cost if a large label set is involved.…”

Section: A Brief Review Of Multi-label Feature Selectionmentioning

confidence: 99%

“…Thus, a smaller value for the label density indicates a higher sparsity for the given label set. To test the performance of the proposed method from the viewpoint of computational efficiency, we choose five multi-label feature selection methods: BR + CC [37], BR + OR [38], ELA + CHI [25], FIMF [17] and MFS [28]. Two multi-label feature selection methods-BR + CC and BR + OR-perform the feature selection process based on the binary relevance-based problem transformation strategy.…”

Section: Datasets and Experimental Settingsmentioning

confidence: 99%

See 1 more Smart Citation

Efficient Multi-Label Feature Selection Using Entropy-Based Label Selection

Lee

Kim

2016

Entropy

View full text Add to dashboard Cite

Multi-label feature selection is designed to select a subset of features according to their importance to multiple labels. This task can be achieved by ranking the dependencies of features and selecting the features with the highest rankings. In a multi-label feature selection problem, the algorithm may be faced with a dataset containing a large number of labels. Because the computational cost of multi-label feature selection increases according to the number of labels, the algorithm may suffer from a degradation in performance when processing very large datasets. In this study, we propose an efficient multi-label feature selection method based on an information-theoretic label selection strategy. By identifying a subset of labels that significantly influence the importance of features, the proposed method efficiently outputs a feature subset. Experimental results demonstrate that the proposed method can identify a feature subset much faster than conventional multi-label feature selection methods for large multi-label datasets.

show abstract

Section: A Brief Review Of Multi-label Feature Selectionmentioning

confidence: 99%

Section: Datasets and Experimental Settingsmentioning

confidence: 99%

Efficient Multi-Label Feature Selection Using Entropy-Based Label Selection

Lee

Kim

2016

Entropy

View full text Add to dashboard Cite

show abstract

“…Penelitian yang dilakukan dengan menggunakan SVM merupakan metode yang sering digunakan oleh para peneliti dalam text mining [4]--[6]. Salah satu di antara metode terbaik yang ada, NB, adalah metode yang populer dalam klasifikasi teks, yaitu sebagai salah satu metode komputasi yang efisien dan juga mempunyai performance predictive yang baik [7].Penentuan klasifikasi kategori cerpen dilakukan dengan menggunakan text mining sebagai metode yang memungkinkannya. Salah satu di antaranya adalah NB.…”

unclassified

“…Hal ini sering terjadi pada teks yang memiliki puluhan ribu fitur. Sebagian besar fitur tersebut tidak relevan dan tidak bermanfaat bagi klasifikasi teks, bahkan dapat mengurangi tingkat akurasi (accuracy) [7]. Pada umumnya, atribut dari klasifikasi teks sangat besar dan jika semua atribut tersebut digunakan, maka akan mengurangi kinerja dari classifier serta untuk mendapatkan akurasi yang lebih baik, atribut yang ada harus dipilih dengan algoritme yang tepat [9], [10].…”

unclassified

Feature Selection Klasifikasi Kategori Cerita Pendek Menggunakan Naïve Bayes dan Algoritme Genetika

Somantri¹,

Khambali²

2017

Jurnal Nasional Teknik Elektro dan Teknologi Informasi (JNTETI)

View full text Add to dashboard Cite

Abstract-Classification of short stories category based on age of the reader is still difficult. Therefore, a decision support system to classify the short stories category is needed. Naïve Bayes is one of methods suitable for short stories classification. However, Naïve Bayes has flaws in accuracy level, and needs to be optimized. In this paper, Genetic algorithm is proposed to increase the level of accuracy. In this case, genetic algorithm is used for feature selection. The results show an increase in the level of accuracy produced. The accuracy increases from 78,59% to 84,29%. In conclusion, the application of genetic algorithm on Naïve Bayes in classifying the online short stories category can improve the accuracy.Intisari-Penetapan klasifikasi kategori cerpen yang sesuai dengan keinginan, yaitu adanya kesesuaian jenis cerpen yang dibaca dengan usia pembaca, masih sulit dilakukan. Hal ini menjadikan perlu adanya pendukung keputusan untuk dapat mengklasifikasikan kategori cerpen sehingga jenis cerpen tersebut sesuai dengan kategori pembaca. Naïve Bayes merupakan metode yang sesuai untuk digunakan dalam klasifikasi kategori cerpen. Naïve Bayes masih mempunyai kekurangan dalam tingkat akurasi yang dihasilkan, sehingga perlu adanya optimasi. Algoritme genetika sebagai algoritme optimasi merupakan metode yang diusulkan untuk meningkatkan tingkat akurasi yang digunakan. Dalam hal ini, algoritme genetika digunakan untuk feature selection. Hasil yang diperoleh memperlihatkan adanya sebuah peningkatan akurasi, yaitu dari 78,59% menjadi 84,29%. Dengan demikian, dapat disimpulkan bahwa penerapan algoritme genetika pada naïve bayes untuk klasifikasi kategori cerpen online dapat meningkatkan akurasi.Kata Kunci-klasifikasi, kategori cerpen, Naive Bayes, algoritme genetika.I. PENDAHULUAN Indonesia merupakan negara yang memiliki berbagai macam budaya dan kultur yang beragam, seperti halnya dalam penciptaan karya sastra, sehingga tidak heran apabila setiap daerah di Indonesia mempunyai karya sastra yang beragam. Cerpen adalah sebuah karya sastra yang sangat disukai oleh semua orang, terutama di Indonesia. Institusi pendidikan pun pada proses pembelajaran yang dilaksanakan di sekolah memberikan materi yang terkait dengan cerita pendek. Hal inilah yang memberikan motivasi kepada setiap orang untuk dapat membuat sebuah cerpen sesuai dengan keinginan dan inspirasi yang muncul dari penulis. Saat ini penulisan cerpen masih didominasi oleh para remaja dan anak-anak, sehingga tidak heran apabila cerpen yang muncul sekarang ini sudah banyak dari lintas generasi baik itu ditulis lewat buku, majalah, blog pribadi, maupun media online serta situs website yang menyediakan cerpen online yang menyajikan kumpulan cerpen yang dikirim oleh penulisnya.Sebuah karya sastra mempunyai dua unsur pokok di dalamnya. Yang pertama adalah unsur intrinsik, yaitu unsur dalam sastra yang ikut memengaruhi terciptanya karya sastra yang terdiri atas tema dan amanat, alur cerita, penokohan atau perwatakan, latar, sudut pandang, dialog, dan gaya bahasa. Sedangk...

show abstract

“…These are categorized into two main categories: filter approach and wrapper approach. Filter approach is responsible for selecting the features based upon general characteristic of data [7]. It doesn't include learning algorithm to evaluate the importance of feature.…”

Section: Introductionmentioning

confidence: 99%

N-Gram and KLD Based Efficient Feature Selection Approach for Text Categorization

2017

IJAERD

View full text Add to dashboard Cite

show abstract

Feature selection for text classification with Naïve Bayes

Cited by 540 publications

References 7 publications

Efficient Multi-Label Feature Selection Using Entropy-Based Label Selection

Efficient Multi-Label Feature Selection Using Entropy-Based Label Selection

Feature Selection Klasifikasi Kategori Cerita Pendek Menggunakan Naïve Bayes dan Algoritme Genetika

N-Gram and KLD Based Efficient Feature Selection Approach for Text Categorization

Contact Info

Product

Resources

About