AraScore: Investigating Response-Based Arabic Short Answer Scoring

ElNaka, Abdelrahman; Nael, Omar; Afifi, Hadeel; Sharaf, Nada

doi:10.1016/j.procs.2021.05.091

Cited by 6 publications

(2 citation statements)

References 16 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…AAEG with AWAN achieved a better accuracy than AAEG without AWAN. In [13], the authors proposed an automatic scoring systems for short Arabic texts using the sentence embedding approach. The proposed model applied on three different datasets are: AraScore, AR-ASAG, and two translated answer sets.…”

Section: Related Workmentioning

confidence: 99%

Automatic Arabic Grading System for Short Answer Questions

et al. 2023

View full text Add to dashboard Cite

The era of technology and digitalization has been advantageous to the educational sector.The examination system is one of the most important educational pillars that have been affected. As automatic exam grading is a revolution in the history of exam development, and therefore the automatic grading system has started to replace the traditional assessment system. The automatic grading system allows the examiners to automatically assign grades for students'' answers compared to the model answers. And, generate results based on the examiners' answers. In this paper, we especially address the short answer questions. Most research has been done on the English language. On the other side, few research works have been conducted on Arabic. Moreover, Arabic is considered one of the rare resource languages. This paper is aimed to build an Automatic Arabic Short Answer Grading (AASAG) model using semantic similarity approaches. It is used to measure the semantic similarity between the student and model answer. The proposed model is applied to one of the Arabic scarce publicly available datasets which is called (AR-ASAG). It contains 2133 pairs of models and student answers in several versions such as txt, xml, and db. The efficiency of the proposed model was evaluated through two conducted experiments using two weighting schemas local, and hybrid local and global weighting schema. The developed approach with hybrid local and global weight-based LSA achieved better results than using local weight-based LSA with (82.82%) as F1-score value, and 0.798 as an RMSE (Root-Mean-Square Error) value using hybrid local and global weight-based LSA.INDEX TERMS Short Answer Grading system, Arabic language, global weight-based LSA

show abstract

Section: Related Workmentioning

confidence: 99%

Automatic Arabic Grading System for Short Answer Questions

et al. 2023

View full text Add to dashboard Cite

show abstract

“…Penggunaan metode yang digunakan sekarang ini masih lebih banyak menggunakan metode pilihan ganda, namun metode ini tidak bisa menggali kemampuan peserta didik lebih dalam [5] karena dengan menggunakan metode pilihan ganda peserta didik sudah diberikan opsi jawaban yang mana dalam opsi jawaban tersebut sudah terdapat jawaban yang benar dengan kata lain peserta didik memiliki prosesntase minimal sebesar 25% jika jumlah jawaban sebanyak 4 (empat) item atau sebesar 20% jika jumlah jawaban sebanyak 5 (lima) item, dengan jumlah prosentase tersebut peserta didik bisa mengisikan jawaban yang tidak akurat tetapi mempunyai prosentase keberhasilan menjawab dengan tepat sebesar 25% atau 20% sehingga untuk mengukur tingkat kemampuan peserta didik dalam penguasaan kemampuan [6] yang telah dipelajarinya menjadi bias dan tidak menentu serta tidak ada tingkat akurasi pasti untuk mendapatkan hasil evaluasi dari kemampuan penguasaan materi peserta didik tersebut, Penilaian hasil ujian menggunakan metode jawaban singkat (short answer) [7] belum diterapkan didalam penggunakaan computer based test (CBT) dan pengujiannya masih dilakukan secara manual yaitu dengan menggunakan kertas baik itu dalam kertas fisik ataupun dengan kertas digital (softfile) kemudian peserta didik menuliskan jawaban dari pertanyaan tersebut pada kertas yang tersedia atau menggunakan kolom jawaban pada komputer, dan cara mengkoreksi hasil ujian masih dibaca secara manual oleh guru / dosen (manusia) [8] untuk melakukan penilaian ujian dari peserta didik tersebut [9] [10] hal ini mungkin akan membutuhkan waktu koreksi yang sangat lama dan ada kemungkinan yang besar hasil evaluasi tidak konsisten antara hasil ujian peserta didik yang satu dengan yang lainnya jika ada banyak jumlah item set jawaban yang harus dikoreksi [11]. Dengan perkembangan teknologi saat ini, hal tersebut bisa diatasi dengan membuat perangkat software baru untuk membantu instruktur, guru dan dosen untuk mengelola ujian peserta didik dengan lebih baik dengan membuat smart computer based test agar hasil ujian peserta didik bisa dikoreksi secara otomatis oleh computer berdasarkan kunci jawaban dari instruktur, guru atau dosen, sistem Automated Short Answer Grading (ASAG) telah dikembangkan untuk bisa menilai dengan cara membandingkan jawaban dengan satu atau lebih dari kunci jawaban yang benar [12] yang sudah diset dalam dataset pertanyaan dan jawaban dalam sistem untuk bisa memberikan penilaian secara otomatis pada ujian peserta didik [4]. Perancangan system ASAG ini menggunakan Bahasa Indonesia dan disebut dengan Indonesian Automated Short Answer Grading (ID-ASAG), desain sistem ID-ASAG perangkat software komputer pertama yang dirancang khusus dalam Bahasa Indonesia yang sesuai dengan aturan dan tata Bahasa Indonesia.…”

Section: Pendahuluanunclassified

Sistem Penilaian Jawaban Singkat Otomatis pada Ujian Online Berbasis Komputer Menggunakan Algoritma Cosine Similarity

Kurniadi,

Gernowo,

Surarso

et al. 2023

JEPIN

View full text Add to dashboard Cite

Penggunaan teknologi di bidang pendidikan sekarang ini sedang trending ke arah penilaian secara otomatis, namun penilaian secara otomatis ini memiliki permasalahan yaitu belum bisa mengkoreksi jawaban teks singkat secara otomatis, selain itu pada saat ini juga belum tersedia platform yang bisa mengkoreksi jawaban singkat secara otomatis, penilaian jawaban teks singkat ini membutuhkan waktu koreksi yang lama dan hasil penilaian yang tidak konsisten jika koreksi dilakukan oleh manusia, pada penelitian ini diusulkan sistem yang mampu mengkoreksi ujian peserta didik pada bagian jawaban singkat secara otomatis atau disebut dengan Automated Short Answer Grading (ASAG) dengan menggunakan metode cosine similarity, tahapan yang dilakukan adalah melakukan ekstraksi pada dua variabel inputan yaitu teks pada jawaban peserta didik dan teks pada kunci jawaban yang dilakukan dengan ekstraksi teks casefolding, tokenizing, stopword removal, setelah tahapan tersebut dilakukan kemudian dihitung nilai similarity antara kunci jawaban ujian dengan jawaban peserta didik apakah jawaban peserta didik sama dengan kunci jawaban atau tidak, dengan menggunakan skor yang dinilai otomatis menggunakan sistem, dihasilkan similarity antara jawaban peserta didik dengan kunci jawaban rata-rata sebesar 85,4%, untuk menguji korelasi koreksi jawaban peserta didik dengan sistem dan koreksi yang dilakukan oleh manusia maka dilakukan uji korelasi antara hasil penilian yang dilakukan oleh sistem dengan hasil penilaian yang dilakukan oleh manusia (instruktur) dengan menggunakan kendall’s w value menghasilkan nilai w antara instruktur 1 dengan sistem sebesar 0,885 dan instruktur 2 dengan sistem sebesar 0,883 dengan nilai chi square sebesar 135,4 dan 133,8 dengan p sebesar 0,0001, hasil tersebut menunjukkan ASAG memiliki korelasi yang tinggi dan sistem ASAG ini bisa melakukan penilaian secara otomatis.

show abstract