Studi Ekstraksi Fitur Berbasis Vektor Word2Vec pada Pembentukan Fitur Berdimensi Rendah

Abstract

Klasifikasi teks adalah salah satu metode untuk mengelola dan mencari informasi penting yang terdapat pada format tekstual yang tidak terstruktur. Ekstraksi fitur merupakan proses penting pada klasifikasi teks untuk mengubah format tekstual yang tidak terstruktur menjadi terstruktur sehingga dapat diproses oleh algoritma machine learning untuk mengklasifikasikan ke class yang telah ditentukan. Salah satu teknik ekstraksi fitur yang umum digunakan adalah vector space representation. Teknik ini mudah digunakan tetapi berpotensi menghasilkan data dengan dimensi banyak yang berakibat kepada peningkatan waktu komputasi bahkan tidak dapat diproses karena limitasi perangkat keras. Pada riset ini kami melakukan studi terhadap teknik ekstraksi fitur yang mampu menghasilkan data berdimensi sedikit. Ekstraksi fitur yang digunakan memanfaatkan vektor word2vec untuk mengontrol jumlah fitur yang dihasilkan. Pada riset ini kami membandingkan beberapa model yang dihasilkan sendiri dengan jumlah fitur yang bervariasi dan model yang telah disedikan oleh Google. Hal ini dilakukan untuk mengetahui jumlah fitur yang dapat menghasilkan kinerja klasifikasi terbaik. Hasilnya didapat nilai kinerja tertinggi akurasi yaitu 0.877 dengan jumlah fitur adalah 300 dari model yang dihasilkan sendiri.

Analisis Sentimen Pengguna Platform Belajar Online Coursera menggunakan Random Forest dengan Metode Ekstraksi Fitur Word2vec

“…Proses merubah teks menjadi fitur dinamakan ekstraksi fitur, dimana teks yang sifatnya unstructured data tidak dapat langsung diproses oleh algoritma klasifikasi, sehingga perlu dilakukan proses mengubah data tidak terstruktur menjadi data terstruktur atau tabular [5]. Proses ekstraksi fitur sama seperti proses pemberian skor kata berdasarkan jumlah frekuensi kata yang muncul dalam teks disebut term frequency (TF).…”

“…Suatu hal yang kurang tepat apabila menggunakan Random Forest untuk kasus klasifikasi teks yang umumnya menjadikan kata sebagai fitur atau kolom, karena apabila menggunakan Random Forest proses pembelajaran yang dibutuhkan akan semakin lama. Ekstraksi fitur merupakan tahapan wajib sebelum proses klasifikasi [5], sebagai tahapan untuk menjadikan teks sebagai fitur. Jumlah fitur yang rendah dapat mempercepat proses pembelajaran, istilahnya disebut dimensionality reduction, algoritma yang telah menerapkan dimensionality reduction adalah Word2vec.…”

Feature Expansion Using Word2vec for Hate Speech Detection on Indonesian Twitter with Classification Using SVM and Random Forest

“…The input for word2vec is a text corpus, and the output is a set of vectors [21]. In this study, apply the word2vec method to determine each word's vector value and measure the closeness between words semantically in maximizing the possibility of predicting the word context or surrounding words.…”

Personality Classification Of Social Media Users Based On Type Of Work And Interest In Information

“…Feature extraction is a process in text classification to convert unstructured textual formats into structured ones so that they can be processed by machine learning algorithms to be classified into predetermined classes [9]. The features used in this study are the type of work and the user's interest in information which is a representation of the attributes of the "Introvert/Extrovert" and "Sensor/Intuitive" classes in the Myers-Briggs Type Indicator (MBTI) model [8].…”