Self-Training Naive Bayes Berbasis Word2Vec untuk Kategorisasi Berita Bahasa Indonesia

Abstract

Abstract-News as one kind of information that is needed in daily life has been available on the internet. News website often categorizes their articles to each topic to help users access the news more easily. Document classification has widely used to do this automatically. The current availability of labeled training data is insufficient for the machine to create a good model. The problem in data annotation is that it requires a considerable cost and time to get sufficient quantity of labeled training data. A semi-supervised algorithm is proposed to solve this problem by using labeled and unlabeled data to create classification model. This paper proposes semi-supervised learning news classification system using Self-Training Naive Bayes algorithm. The feature that is used in text classification is Word2Vec Skip-Gram Model. This model is widely used in computational linguistics or text mining research as one of the methods in word representation. Word2Vec is used as a feature because it can bring the semantic meaning of the word in this classification task. The data used in this paper consists of 29,587 news documents from Indonesian online news websites. The Self-Training Naive Bayes algorithm achieved the highest F1-Score of 94.17%.Intisari-Berita sebagai salah satu jenis informasi yang dibutuhkan dalam kehidupan sehari-hari telah tersedia secara bebas di internet. Situs berita telah melakukan pengelompokan berita berdasarkan topiknya untuk mempermudah pengguna mencari berita yang dibutuhkan. Klasifikasi dokumen telah banyak digunakan untuk membantu pengelompokan berita secara otomatis. Kurang tersedianya data pelatihan yang cukup untuk digunakan komputer membentuk model klasifikasi yang baik sering menjadi kendala dalam implementasi di kasus nyata. Masalah utama dalam pelabelan data pelatihan agar diperoleh jumlah data yang cukup adalah perlunya biaya yang besar dan waktu yang cukup lama. Algoritme semi-supervised telah ditawarkan untuk menjawab permasalahan tersebut dengan menggunakan data berlabel dan tak berlabel dalam membentuk model klasifikasi yang dibutuhkan. Makalah ini mengusulkan sistem klasifikasi berita menggunakan semi-supervised learning dengan algoritme Self-Training Naive Bayes.

Analisis Pendapat Masyarakat terhadap Berita Kesehatan Indonesia menggunakan Pemodelan Kalimat berbasis LSTM

“…Tujuan pengolahan teks yang populer saat ini adalah analisis sentimen dan kategorisasi teks [15], [16]. Namun, penerapan analisis pendapat mulai dilakukan pada berbagai bidang.…”

“…Namun, bag-of-words memiliki kelemahan, yaitu fitur yang tidak relevan ikut diolah sehingga dapat menyebabkan penurunan kinerja algoritme [26]. Oleh karena itu, makalah ini menggunakan word embedding yang dapat memberikan makna semantik [16]. Makalah ini juga mengolah input tiga fitur tambahan sesuai dengan karakteristik dataset yang dibangun dan berdasarkan penelitian sebelumnya [14].…”

“…Pre-trained word embedding adalah word embedding yang sudah dilatih terlebih dahulu dan siap dipakai untuk berbagai tugas machine learning teks secara umum. Pre-trained word embedding yang digunakan dibentuk dengan bantuan JST [16]. Teknik ini dinamakan Word2Vec [35].…”

Klasifikasi Helpdesk Menggunakan Metode Support Vector Machine

“…Selain itu tokenisasi juga membuang karakter-karakter tanda baca atau nonalfanumerik sehingga tersisa hanya sekumpulan kata-kata dari dalam dokumen. [6] 3) Stop Word Removal: merupakan tahap filtering yang adalah mengambil kata-kata penting dari hasil token serta membuang common word. Pada penelitian ini library stopword yang digunakan adalah Sastrawi.…”

Ekstraksi Ciri Produktivitas Dinamis untuk Prediksi Topik Pakar dengan Model Discrete Choice

“…Data teks dengan kata sebagai ciri mempunyai masalah klasik terkait jumlah dimensi, sehingga pendekatan Word2Vec dipilih untuk mengurangi kompleksitas waktu [22]- [24].…”