Açık Uçlu Maddelerde Farklı Yaklaşımlarla Elde Edilen Puanlayıcılar Arası Güvenirliğin Değerlendirilmesi

Abstract

ÖzBu araştırmada puanlayıcılar arası güvenirliğin belirlenmesinde kullanılabilecek dört farklı yaklaşım üzerinde durulmuştur: korelasyon, ortalamaların karşılaştırılması, uyuşma yüzdesi ve genellenebilirlik kuramı. Bu bağlamda 43 öğrencinin on açık uçlu maddeye verdikleri cevapların iki puanlayıcı tarafından puanlanmasıyla oluşturulan veri setine uygulanan yaklaşımlar ile elde edilen güvenirlik değerlerinin, değer aralıkları ve hesaplanma farklılıklarından dolayı farklılaştığı görülmüştür. Çalışma kapsamında ele alınan yaklaşımlar ile elde edilen güvenirlik kestirimlerindeki en yüksek değer 0,90 olarak genellenebilirlik kuramı ile elde edilmiştir. Bu sonucun yanı sıra, hesaplanan basit korelasyonda yüksek düzeyde ve pozitif yönlü (0,74) bir ilişki ortaya çıkmıştır. Puanlayıcılar arası uyuşma yüzdesiyle kestirilen tam uyum % 58,9 olarak belirlenmiştir. Son olarak, maddeler ayrı ayrı incelendiğinde; puanlayıcıların ortalamaları arasında üç maddede anlamlı bir farklılık çıkmakla beraber genel ortalamada anlamlı bir fark çıkmamıştır. Araştırma kapsamında ele alınan yaklaşımlar içerisinde en karmaşık görünen genellenebilirlik kuramı olmasına rağmen, bu yöntemin pek çok hata kaynağını aynı anda ele alabilme özelliği, diğer yöntemlere göre bir avantaj olarak düşünülebilir. Bu sebeple, özellikle puanlayıcı güvenirliğinin belirlenmesinde kullanılması önerilebilir. AbstractIn this study, four approaches to the estimation of interrater reliability are studied: correlation, comparison of means, percentage of agreement, and generalizability theory. For the data-composed of ratings for 43 students on ten items by two raters-the reliability estimates varied because of the situation that the ranges of the obtained values by used approaches and different calculation processes. The highest estimate was 0.90 which is estimated by G theory. Besides this result, it was obtained that there was positive and high correlation coefficient (0.74). The estimate of percentage of exact matches of agreement between the two raters was found as 58.9 %. Finally, although there were no statistically differences between general mean of scores, there were statistical differences among three of the items by means of rater scoring. Although G theory seems more complex than the other methods illustrated in the study, it yields more information than the other methods because of handling multiple sources of error at the same time. Therefore, it is proposed to be used when estimating interrater reliability.

A comparison of the reliability of the Solo- and revised Bloom's Taxonomy-based classifications in the analysis of the cognitive levels of assessment questions

“…Residual variance gives information about the random error influencing the measurement and is expected to be as close to zero as possible (Güler & Taşdelen-Teker, 2015). Therefore, unlike SOLO-based taxonomy, RBT is more open to random error.…”

“…Artık varyans, ölçme işlemine karışan tesadüfi hata miktarı hakkında bilgi vermekte ve sıfıra olabildiğince yakın olması istenmektedir (Güler & Taşdelen-Teker, 2015). Buna göre, SOLO taksonomisi ile karşılaştırıldığında REBT'nin tesadüfi hatalara daha açık bir model olduğu ifade edilebilir.…”

Makale Giriş Bölümlerinin Sözbilimsel Yapılarının İncelenmesi

“…Çalışmanın kapsamlı güvenirlik analizleri bu sonuçlar bağlamında Genellenebilirlik Kuramına göre yapılmıştır. Genellenebilirlik Kuramında ölçmede tek bir hata kaynağı yerine tüm hata kaynaklarının hem ayrı ayrı hem de birbiriyle etkileşiminlerinden kaynaklanan hataları göz önünde tutan bir güvenirlik (G) katsayısına ulaşılabilir (Shavelson ve Webb, 1991;Brennan, 1992;Brennan, 2001;Yin ve Shavelson, 2004;Güler ve Taşdelen Teker, 2015).…”

Sistematik Yaratıcı Problem Çözme Etkinliklerinin Kuramsal, Deneysel ve Günlük Yaşam Problemlerini Çözmeye Etkisi

“…Deney ve kontrol gruplarının %25'i (10 kişi) rastgele seçilerek, öğrencilerin KPT, DPT ve GYPT açık uçlu soru ve problemlerine verdikleri cevaplar araştırmacı ve iki bilim uzmanı tarafından ayrı ayrı puanlanmıştır. Araştırmacı ile bilim uzmanlarının puanları arasında deney grubunda ortalama % 89 (>%75), kontrol grubunda ortalama % 96 (>%75) oranında uyuşma (Güler ve Taşdelen Teker, 2015) bulunarak puanlayıcı güvenirliği belirlenmiştir.…”