Interrater Agreement and Reliability

Goodwin, Laura D.

doi:10.1207/s15327841mpee0501_2

Cited by 71 publications

(65 citation statements)

References 55 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Objektif olarak puanlanamayan testlerde hata varyansına neden olan etkenlerden biri de puanlayıcılar ile ilgili faktörlerdir. KTK'da, puanlayıcı güvenirliğinin tespitinde; uyuşma yüzdesi, kappa istatistiği, Pearson korelasyon katsayısı ve ortalamaların karşılaştırılması gibi farklı teknikler kullanılabilmektedir (Goodwin, 2001). …”

Section: Ktk'ya Dayalı Yöntemlerunclassified

“…KTK'da puanlayıcı güvenirliğini saptamak için sıklıkla kullanılan bir diğer teknik de puanlayıcı ortalamalarının karşılaştırılmasıdır. Ortalamalar karşılaştırılırken; iki puanlayıcı olması durumunda ilişkili örneklem t-testi, ikiden fazla sayıda puanlayıcı olması durumunda ise tekrarlı ölçümler için varyans analizi kullanılmaktadır (Goodwin, 2001). …”

Section: Ktk'ya Dayalı Yöntemlerunclassified

See 1 more Smart Citation

Açık Uçlu Sorularla Yapılan Ölçmelerde Klasik Test Kuramı ve Çok Yüzeyli Rasch Modeline Göre Hesaplanan Yetenek Kestirimlerinin Karşılaştırılması

İlhan¹

2016

HUJE

View full text Add to dashboard Cite

ÖZ:Bu araştırmada, açık uçlu sorularla yapılan ölçmelerde klasik test kuramı (KTK) ve çok yüzeyli Rasch modeline (ÇYRM) göre hesaplanan yetenek kestirimlerinin karşılaştırılması amaçlanmıştır. Araştırma sekizinci sınıfa devam eden 100 öğrenci ile çalışmada puanlayıcı olarak görev alan dört matematik öğretmeninin katılımıyla gerçekleşmiştir. Çalışmanın verileri, açık uçlu altı matematik sorusundan oluşan bir başarı testi ve bu soruların puanlanmasında kullanılan bütüncül bir rubrik yardımıyla toplanmıştır. Açık uçlu matematik sorularına verilen yanıtların puanlanmasıyla elde edilen veriler, hem KTK'ya hem de ÇYRM'ye göre analiz edilmiştir. Dört puanlayıcının verdiği puanların ortalaması alınarak, KTK'ya ilişkin yetenek kestirimleri hesaplanmıştır. Ardından puanlayıcı, birey ve madde şeklinde üç yüzeyli bir desen ile çok yüzeyli Rasch analizi uygulanmıştır. Rasch analizinde ulaşılan ve logit cetvelinde rapor edilen yetenek kestirimlerinin puanlamada kullanılan rubriğin birimlerine dönüştürülmesiyle, iki kurama göre hesaplanan yetenek kestirimleri karşılaştırmaya hazır hale gelmiştir. Araştırma sonucunda; KTK ve ÇYRM'ye göre hesaplanan yetenek kestirimleri arasındaki göreli uyumun son derece yüksek olduğu belirlenmiştir. İki kurama göre hesaplanan yetenek kestirimlerine ait ortalamalar arasında anlamlı fark bulunduğu ve dolayısıyla mutlak bir uyumun söz konusu olmadığı saptanmıştır. ÇYRM'de rapor edilen yetenek kestirimlerinin ölçüt geçerliğinin KTK'dan elde edilen yetenek kestirimlerine kıyasla daha yüksek olduğu tespit edilmiştir.Anahtar sözcükler: açık uçlu sorular, klasik test kuramı, çok yüzeyli Rasch modeli, yetenek kestirimi ABSTRACT: The purpose of this study is to compare the ability estimations of classical test theory (CTT) and the Many Facet Rasch model (MFRM) in measurements conducted with open-ended questions. The study was conducted with 100 eighth graders and four mathematics teachers who rated the students' work. The study's data were obtained using an achievement test with 6 open-ended mathematics questions and a holistic rubric for scoring these questions. The data obtained by rating the open-ended mathematics questions were analyzed using both CTT and MFRM. The ability estimations for CTT were calculated using the score averages of the four raters. Afterwards, Many Facet Rasch analysis was conducted using a three-facet pattern including raters, students and items. The ability estimations calculated by these two theories were prepared to be compared by converting ability estimations obtained from the Rasch analysis and reported in the logit scale into the units of rubric used for scoring. This study found that the relative agreement between the ability estimations calculated using CTT and MFRM was extremely high. It was determined that there was a significant difference between the means of the ability estimations of the two theories, and thus no absolute agreement. Research findings revealed that the concurrent validity of the ability estimations of MFRM is higher than that of CTT's ability esti...

show abstract

Section: Ktk'ya Dayalı Yöntemlerunclassified

Açık Uçlu Sorularla Yapılan Ölçmelerde Klasik Test Kuramı ve Çok Yüzeyli Rasch Modeline Göre Hesaplanan Yetenek Kestirimlerinin Karşılaştırılması

İlhan¹

2016

HUJE

View full text Add to dashboard Cite

show abstract

“…G kuramı ile K çalışması yapılarak sonraki çalışmalar için oluşturulan senaryolarla gelecek çalışmalar için bilgiler elde edilebilmektedir. (Goodwin, 2001). G çalışmasında araştırmacı, üzerinde ölçme yaptığı örneklemi ölçmenin evrenine genellemekle ilgilenir.…”

Section: şEkil 1 Kavram Haritası Bileşenleriunclassified

Kavram Haritası Puanlarının Güvenirliğinin İncelenmesi: Genellenebilirlik Kuramında Çaprazlanmış Karışık Desen Örneği

Uyanık¹

2015

HUJE

View full text Add to dashboard Cite

ÖZ:Bu çalışmada ölçme ve değerlendirme dersinin "Ölçme ve Değerlendirmeyle İlgili Temel Kavramlar" konusunu ölçen iki farklı doldurma kavram haritası tekniğinin genellenebilirlik kuramı ile elde edilen parametreleri araştırılmıştır. Araştırma verileri, 2012Araştırma verileri, -2013 Öğretim Yılı'nda Sakarya Üniversitesi Psikolojik Danışmanlık ve Rehberlik Bölümü 3. sınıfta okuyan 49'u (%53,8) kız 42'si (%46,2) erkek toplam 91 öğrenciden elde edilmiştir. Çalışmada o (öğrenci) x m (madde) x h (harita) çaprazlanmış ve yüzeylerden madde yüzeyi rastgele, harita yüzeyi ise sabit olmak üzere karışık desen kullanılmıştır. Yapılan G çalışması ile oxmxh deseninde var olan varyans kaynaklarının varyans değerleri ve toplam varyansları açıklama yüzdeleri elde edilmiştir. K çalışması ile madde sayılarının arttırılması ve azaltılmasıyla G ve Phi katsayılarındaki değişim araştırılmıştır ve madde sayısı arttırıldıkça G ve Phi katsayılarında da artış olduğu gözlenmiştir. Bu çalışma ile genellenebilirlik kuramının gücü, elverişliliği ve esnekliğine dayanarak kavram haritası puanlama güvenirliğinin elde edilmesinde klasik test kuramına göre tercih edilir olabileceği örneklendirilmeye çalışılmıştır. Diğer yandan bu çalışma, içerdiği karışık desen örneği ile literatürde yer alan genellenebilirlik çalışmalarından farklılaşmıştır ve bu nedenle önemli olduğu düşünülmektedir. Anahtar sözcükler: kavram haritası, genellenebilirlik kuramı, karışık desenABSTRACT: This study investigates the parameters obtained through the generalizability theory which measures the topic "basic concepts related with measurement and evaluation" in the measurement and evaluation course. Data for the research were collected from 91 (49 girls 42 boys) students who are studied in the Sakarya Unıversity science education department in 2011-2012 semester. The o (student), X m (item) X h (map) were crossed in the study, and due to the fact that the item facet was random but the map facet was fix, the mixed design was used. The variances of the results obtained with filling concept maps and the percentages of explaining the total variances were researched with the G study and with the C and S techniques; and the changes in the G and Phi coefficients were researched by increasing and decreasing the item numbers with the D study. With this study, we aimed to exemplify the preferability compared to the classical test theory in having reliability of the concept map by leaning on the power, suitability and flexibility of the G theory. On the other hand, this current research is different from the generalizability studies available in literature in that it includes the mixed design sample, and therefore, it is believed to be important.

show abstract

“…Çünkü puanlayıcılar arasında farklılık olup olmadığı bu araştırmada çok yüzeyli Rasch modeli ile test edilirken; konu ile ilgili önceki çalışmalarda korelasyon analizi ile incelenmiştir. Korelasyon analizi puanlayıcıların değerlendirdikleri bireyler için yaptıkları sıralamanın uyumlu olup olmadığını (göreli uyum) ortaya koymakta, fakat puanlayıcılar arasındaki mutlak uyum hakkında bir bilgi vermemektedir (Goodwin, 2001). Çok yüzeyli Rasch modelinde ise puanlayıcıların katılık ve cömertlikleri arasında fark olup olmadığı değerlendirdikleri bireyler için yaptıkları sıralamalar üzerinden değil; bu bireylere verdikleri puanların gerçek değerleri üzerinden (mutlak uyum) hesaplanmaktadır (Sudweeks vd., 2004).…”

Section: Discussionunclassified

An Analysis of Rater Severity and Leniency in Open-ended Mathematic Questions Rated Through Standard Rubrics and Rubrics Based on the SOLO Taxonomy

Çetin

İLHAN

2017

View full text Add to dashboard Cite

Interrater Agreement and Reliability

Cited by 71 publications

References 55 publications

Açık Uçlu Sorularla Yapılan Ölçmelerde Klasik Test Kuramı ve Çok Yüzeyli Rasch Modeline Göre Hesaplanan Yetenek Kestirimlerinin Karşılaştırılması

Açık Uçlu Sorularla Yapılan Ölçmelerde Klasik Test Kuramı ve Çok Yüzeyli Rasch Modeline Göre Hesaplanan Yetenek Kestirimlerinin Karşılaştırılması

Kavram Haritası Puanlarının Güvenirliğinin İncelenmesi: Genellenebilirlik Kuramında Çaprazlanmış Karışık Desen Örneği

An Analysis of Rater Severity and Leniency in Open-ended Mathematic Questions Rated Through Standard Rubrics and Rubrics Based on the SOLO Taxonomy

Contact Info

Product

Resources

About