Tuning Hyperparameter pada Gradient Boosting untuk Klasifikasi Soal Cerita Otomatis

Abstract

Soal adalah susunan pertanyaan yang dibuat untuk menguji keberhasilan dari pembelajaran siswa. Bagi manusia, membedakan soal penjumlahan dengan pengurangan sangat mudah, namun tidak halnya dengan mesin. Mesin membutuhkan pembelajaran untuk mengenali soal cerita apakah termasuk penjumlahan atau pengurangan. Kebutuhan mesin untuk mengenali soal cerita biasanya diterapkan dalam pembuatan sistem E-learning. Berdasarkan dari masalah ini, maka digunakan metode gradient boosting untuk mengklasifikasikan soal cerita. Kelas target atau label dari klasifikasi terdiri dari empat kelas yaitu penjumlahan, pengurangan, perkalian, pembagian, dan campuran. Soal cerita diambil dari buku matematika untuk kelas tiga sampai kelas enam Sekolah Dasar. Guru Sekolah Dasar (SD) melabeli soal cerita, dan dijadikan sebagai dataset untuk pembelajaran dari machine learning. Dataset kemudian di preprocessing, ekstraksi fitur dengan menggunakan TF-IDF dan selanjutnya dibagi menjadi data training dan data testing dengan menggunakan K-fold cross validation dengan nilai K[5,10,20]. Performa metode gradient boosting dalam mengklasifikasikan soal matematika diukur dengan menggunakan akurasi. Akurasi didapatkan dari hasil perbandingan dari label yang diprediksi oleh machine learning dengan label dari pakar yaitu guru SD. Berdasarkan hasil percobaan pada 500 data soal cerita, diperoleh hasil akurasi terbaik sebesar 75,8% pada saat K=20 dengan hyperparameter gradient boosting N_estimator=100, max_depth=9 dan learning rate=0,15.