BERT for Natural Language Processing in Bahasa Indonesia

Sebastián, Danny; Purnomo, Hindriyanto Dwi; Sembiring, Irwan

doi:10.1109/icicyta57421.2022.10038230

Cited by 3 publications

(3 citation statements)

References 38 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Pembelajaran yang dilakukan analisis sentimen akan memberikan polaritas teks yang dilatih menjadi positif, netral dan negatif [16]. Inovasi yang terjadi pada NLP tanpa terkecuali pada bagian sentimen analisis yaitu model pre-trained BERT [17]. Selain itu, BERT sangat kompetibel untuk melakukan labeling pada dataset [18], [19].…”

Section: Pendahuluanunclassified

“…Bidirectional Encoder Representation from Transformers (BERT) merupakan bagian encoder-decoder transformer model [24], [25] yang telah dilatih untuk mengerti suatu bahasa dengan kumpulan data teks yang sangat besar atau yang sering disebut korpus [17]. Pre-train BERT menggunakan 2 tasks unsupervised yaitu Masked Language Modeling (MLM) dan Next Sentence Prediction (NSP) [26].…”

Section: Bert Dan Robertaunclassified

“…Pre-train BERT menggunakan 2 tasks unsupervised yaitu Masked Language Modeling (MLM) dan Next Sentence Prediction (NSP) [26]. Selanjutnya, tahapan Fine-Tuning yang bertujuan agar BERT dapat menyelesaikan masalah yang lebih spesifik [17]. Robustly Optimized BERT Pretraining Approach (RoBERTa) merupakan pengembangan dari BERT yang pada Pre-train menggunakan Dynamic Masking, menghilangkan NPS, melatih data dengan kalimat yang Panjang, menggantikan pola Mask secara dinamis saat pelatihan [27].…”

Section: Bert Dan Robertaunclassified

See 2 more Smart Citations

Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa

Putri,

Ardiansyah

2023

JSI

View full text Add to dashboard Cite

Kemajuan dalam bidang kecerdasaan buatan (AI) dalam beberapa tahun belakang menjadi sesuatu yang sering dibahas dikalangan masyarakat di Indonesia. Berbagai prespektif muncul hampir disemua platfom sosial media untuk menyampaikan tanggapan terhadap suatu topik. Pada penelitian yang dilakukan memanfaatkan analisis sentimen sehingga dapat mengintepretasi sentimen pada masyarakat dengan manfaatkan komentar masyarakat di kolom komentar YouTube sebagai objek penelitian dikarekan relevansi dengan topik sebesar 60-80%. Selain itu, peneliti menggunakan fine-tuning BERT dan RoBERTa sebagai labeling sentimen negatif, netral ataupun positif pada setiap komentar yang telah dikumpulkan menggunakan Python serta library Beautifulsoup dan selenium. Dataset yang dikumpulkan sebanyak 5796. Namun, setelah dilakukan preprosesing dataset menjadi 5788 yang terbagi menjadi 3028, 1435, 1333 dari sentimen negatif, positif, dan netral untuk labeling menggunakan RoBERTa. Sedangkan, BERT yaitu 3106, 1422, 1268 dari sentimen negatif, positif, dan netral. Pada penelitian ini juga mendapatkan hasil bahwa model indobenchmark/indobert-base-p1 dapat digunakan untuk labeling dataset berbahasa Indonesia. Selain itu, training model dengan skema 1 persebaran dataset 70:30:30 dan skema 2 adalah 80:20:20, menjadi model yang memiliki kinerja sebesar 84% untuk akurasi validation dan 83% akurasi testing pada skema 1. 83% akurasi validasi 84% akurasi tesing pada skema 2. Selanjutnya, peneliti menyarankan untuk adanya keterlibatan stackholder terkait penggunaan AI di Indonesia.

show abstract

Section: Pendahuluanunclassified

Section: Bert Dan Robertaunclassified

See 1 more Smart Citation

Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa

Putri,

Ardiansyah

2023

JSI

View full text Add to dashboard Cite

show abstract

Fine-Tuning IndoBERT Model for Big Five Personality Prediction from Indonesian Social Media

Pradnyana,

Anggraeni,

Yuniarno

et al. 2023

2023 International Seminar on Intelligent Technology and Its Applications (ISITIA)

View full text Add to dashboard Cite

AAFNDL - An Accurate Fake Information Recognition Model Using Deep Learning for the Vietnamese Language

Hung,

Loi,

Huong

et al. 2023

View full text Add to dashboard Cite

On the Internet, "fake news" is a common phenomenon that frequently disturbs society because it contains intentionally false information. The issue has been actively researched using supervised learning for automatic fake news detection. Although accuracy is increasing, it is still limited to identifying fake information through channels on social platforms. This study aims to improve the reliability of fake news detection on social networking platforms by examining news from unknown domains. Especially, information on social networks in Vietnam is difficult to detect and prevent because everyone has equal rights to use the Internet for different purposes. These individuals have access to several social media platforms. Any user can post or spread the news through online platforms. These platforms do not attempt to verify users or the content of their locations. As a result, some users try to spread fake news through these platforms to propagate against an individual, a society, an organization, or a political party. In this paper, we proposed analyzing and designing a model for fake news recognition using Deep learning (called AAFNDL). The method to do the work is: 1) First, we analyze the existing techniques such as Bidirectional Encoder Representation from Transformer (BERT); 2) We proceed to build the model for evaluation; and finally, 3) We approach some Modern techniques to apply to the model, such as the Deep Learning technique, classifier technique and so on to classify fake information. Experiments show that our method can improve by up to 8.72% compared to other methods.

show abstract

BERT for Natural Language Processing in Bahasa Indonesia

Cited by 3 publications

References 38 publications

Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa

Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa

Fine-Tuning IndoBERT Model for Big Five Personality Prediction from Indonesian Social Media

AAFNDL - An Accurate Fake Information Recognition Model Using Deep Learning for the Vietnamese Language

Contact Info

Product

Resources

About