No abstract

No abstract

The purpose of study is to examine the reliability of analytical rubrics and checklists developed for the assessment of story writing skills by means of generalizability theory. The study group consisted of 52 students attending the 5th grade at primary school and 20 raters in Mersin University. The G study was carried out with the fully crossed hxpxg (story x rater x performance task) design, where the scoring keys were determined as fix facet. Decision Study was carried out by changing the task facet conditions. As a result, it was observed in both scoring keys that the sources of variance related to the stories had a high variance percentage in the main effects while "hp (story and rater interaction effects)" a high variance percentage in the interaction effects. The highest variance in the design belongs to the interaction effect "hpg (story, rater and performance task interaction effects)". This can be an indicator for the existence of different sources of variability and error, which are not included in the design. Examining the G and phi coefficients calculated for both scoring keys, it was determined that scoring with analytic rubrics is more reliable and generalizable. According to the decision studies, it was decided that the number of tasks used in this study is to be most appropriate.

Doç. Dr. Devrim ALICI danışmanlığında yapılan yüksek lisans tez çalışmasının bir bölümüdür.

Bu çalışmanın amacı, beşinci sınıf düzeyindeki çocukların hikâye yazma becerilerini değerlendirmeye yönelik analitik bir rubrik geliştirilmesi ve geliştirilen rubriğin geçerlik ve güvenirlik kanıtlarının sağlanmasına yönelik çalışmalar yapılmasıdır. Araştırmanın verileri, gönüllü 45 sınıf öğretmeninin yaptığı değerlendirmeler sonucu elde edilmiştir. Rubriğin geliştirilmesi aşamasında yazılan hikâyeyi değerlendirmede göz önüne alınması gereken ölçütler (davranış göstergelerinin) uzman görüşleri ve literatür taraması yapılarak belirlenmiş ve yazılan hikâyeyi değerlendirmeye yönelik listelenen her bir ölçüte yönelik üçer kategori (0-1-2) için davranış göstergeleri yazılmıştır. Geliştirilen analitik rubriğin geçerlik kanıtı olması için 9 öğretmenin her ölçüt/alt ölçüt için yaptığı değerlendirmeler arasındaki uyum, basit uyum katsayısı ile incelenmiştir. Uzman görüşleri ile son hâli verilen rubrik için yine geçerlik kanıtı sağlayabilmek amacıyla Açımlayıcı Faktör Analizi yapılmıştır. Hikâye yazmaya ilişkin analitik rubriğin güvenirliği için kanıt sağlamak amacıyla ana ölçütler ve tüm ölçek için Cronbach Alfa katsayıları hesaplanmıştır. Tüm ölçek bazında elde edilen Cronbach Alfa katsayıları .919 ile .961 arasında değiştiği dolayısıyla ölçeğin oldukça yüksek derecede iç tutarlığa sahip olduğu görülmektedir. Puanlayıcılar arası güvenirliğe kanıt sağlamak amacıyla ise iki sınıf öğretmeninin yaptığı puanlamalar üzerinden Ağırlıklandırılmış Kappa hesaplanmıştır. Yapılan hesaplamalar sonucu elde edilen Ağırlıklandırılmış Kappa katsayısı 0.933'tür. Yapılan analizler ışığında geliştirilen analitik rubriğin, hikâye yazma becerisi değerlendirilirken kullanılabilecek geçerli ve güvenilir bir araç olduğu sonucuna ulaşılmıştır.