Açık Uçlu Sorularla Yapılan Ölçmelerde Klasik Test Kuramı ve Çok Yüzeyli Rasch Modeline Göre Hesaplanan Yetenek Kestirimlerinin Karşılaştırılması

Abstract

ÖZ:Bu araştırmada, açık uçlu sorularla yapılan ölçmelerde klasik test kuramı (KTK) ve çok yüzeyli Rasch modeline (ÇYRM) göre hesaplanan yetenek kestirimlerinin karşılaştırılması amaçlanmıştır. Araştırma sekizinci sınıfa devam eden 100 öğrenci ile çalışmada puanlayıcı olarak görev alan dört matematik öğretmeninin katılımıyla gerçekleşmiştir. Çalışmanın verileri, açık uçlu altı matematik sorusundan oluşan bir başarı testi ve bu soruların puanlanmasında kullanılan bütüncül bir rubrik yardımıyla toplanmıştır. Açık uçlu matematik sorularına verilen yanıtların puanlanmasıyla elde edilen veriler, hem KTK'ya hem de ÇYRM'ye göre analiz edilmiştir. Dört puanlayıcının verdiği puanların ortalaması alınarak, KTK'ya ilişkin yetenek kestirimleri hesaplanmıştır. Ardından puanlayıcı, birey ve madde şeklinde üç yüzeyli bir desen ile çok yüzeyli Rasch analizi uygulanmıştır. Rasch analizinde ulaşılan ve logit cetvelinde rapor edilen yetenek kestirimlerinin puanlamada kullanılan rubriğin birimlerine dönüştürülmesiyle, iki kurama göre hesaplanan yetenek kestirimleri karşılaştırmaya hazır hale gelmiştir. Araştırma sonucunda; KTK ve ÇYRM'ye göre hesaplanan yetenek kestirimleri arasındaki göreli uyumun son derece yüksek olduğu belirlenmiştir. İki kurama göre hesaplanan yetenek kestirimlerine ait ortalamalar arasında anlamlı fark bulunduğu ve dolayısıyla mutlak bir uyumun söz konusu olmadığı saptanmıştır. ÇYRM'de rapor edilen yetenek kestirimlerinin ölçüt geçerliğinin KTK'dan elde edilen yetenek kestirimlerine kıyasla daha yüksek olduğu tespit edilmiştir.Anahtar sözcükler: açık uçlu sorular, klasik test kuramı, çok yüzeyli Rasch modeli, yetenek kestirimi ABSTRACT: The purpose of this study is to compare the ability estimations of classical test theory (CTT) and the Many Facet Rasch model (MFRM) in measurements conducted with open-ended questions. The study was conducted with 100 eighth graders and four mathematics teachers who rated the students' work. The study's data were obtained using an achievement test with 6 open-ended mathematics questions and a holistic rubric for scoring these questions. The data obtained by rating the open-ended mathematics questions were analyzed using both CTT and MFRM. The ability estimations for CTT were calculated using the score averages of the four raters. Afterwards, Many Facet Rasch analysis was conducted using a three-facet pattern including raters, students and items. The ability estimations calculated by these two theories were prepared to be compared by converting ability estimations obtained from the Rasch analysis and reported in the logit scale into the units of rubric used for scoring. This study found that the relative agreement between the ability estimations calculated using CTT and MFRM was extremely high. It was determined that there was a significant difference between the means of the ability estimations of the two theories, and thus no absolute agreement. Research findings revealed that the concurrent validity of the ability estimations of MFRM is higher than that of CTT's ability esti...

Divergent Activities in History Teaching: History Teachers Perceptions and an Initiative for Evaluation as Preparing Rating Scale

“…The prepared rubric has been test on students' written answers and founded functional. It was also found that the prepared rubric was compatible with the studies in the literature on the evaluation of open-ended questions such as İlhan [19], Doğan [21], Piffer [31], and Mozaffari [34].…”

“…Open-ended questions which commonly used in education contribute to the development of skills such as problem solving, creative thinking, reasoning, generalization, and decision making [19,20]. On the other hand, open-ended questions have their own limitations such as ensuring the reliability of the scorer and establishing objective evaluation criteria [21].…”

Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi

“…Değerlendirme formunda yer alan "3" düzeyinin (bilgi var ve gerekli şekilde açıklanmış) ise en çok kullanılan düzey olduğu belirlenmiştir. Düzeylerin işlevini yerine getirdiğinin söylenebilmesi için puanlama düzeylerindeki dağılımın dengeli olması ve her düzeyde en az 10 katılımcının bulunmuş olması ve uyum-dışı istatistiklerinin de 0.5 ile 1.5 aralığında değerler almış olması beklenir (İlhan, 2016;Linacre, 2014). Buna göre, düzeylere ilişkin frekans değerleri incelendiğinde tüm düzeyler için istenilen değerlere ulaşılabildiği ve uyum-dışı istatistiklerinin de istenilen aralıkta yer aldığı gözlenmektedir.…”

Can Factor Scores be Used Instead of Total Score and Ability Estimation?

“…Therefore, the abilities of individuals can be estimated more accurately. When the literature is reviewed and item and ability parameters obtained from CTT and IRT are compared, there are studies analyzing parameter invariance (Akyıldız & Şahin, 2017;Bulut, 2018;Çakıcı-Eser, 2013;Cappelleri, Jason Lundy, & Hays, 2014;Çelen & Aybek, 2013;İlhan, 2016;Macdonald & Paunonen, 2002;Stage, 1998aStage, , 1998bXu & Stone, 2012). In these studies, generally parameters obtained from IRT and CTT are compared and invariance property is generally obtained in IRT.…”