Kavram Haritası Puanlarının Güvenirliğinin İncelenmesi: Genellenebilirlik Kuramında Çaprazlanmış Karışık Desen Örneği

Abstract

ÖZ:Bu çalışmada ölçme ve değerlendirme dersinin "Ölçme ve Değerlendirmeyle İlgili Temel Kavramlar" konusunu ölçen iki farklı doldurma kavram haritası tekniğinin genellenebilirlik kuramı ile elde edilen parametreleri araştırılmıştır. Araştırma verileri, 2012Araştırma verileri, -2013 Öğretim Yılı'nda Sakarya Üniversitesi Psikolojik Danışmanlık ve Rehberlik Bölümü 3. sınıfta okuyan 49'u (%53,8) kız 42'si (%46,2) erkek toplam 91 öğrenciden elde edilmiştir. Çalışmada o (öğrenci) x m (madde) x h (harita) çaprazlanmış ve yüzeylerden madde yüzeyi rastgele, harita yüzeyi ise sabit olmak üzere karışık desen kullanılmıştır. Yapılan G çalışması ile oxmxh deseninde var olan varyans kaynaklarının varyans değerleri ve toplam varyansları açıklama yüzdeleri elde edilmiştir. K çalışması ile madde sayılarının arttırılması ve azaltılmasıyla G ve Phi katsayılarındaki değişim araştırılmıştır ve madde sayısı arttırıldıkça G ve Phi katsayılarında da artış olduğu gözlenmiştir. Bu çalışma ile genellenebilirlik kuramının gücü, elverişliliği ve esnekliğine dayanarak kavram haritası puanlama güvenirliğinin elde edilmesinde klasik test kuramına göre tercih edilir olabileceği örneklendirilmeye çalışılmıştır. Diğer yandan bu çalışma, içerdiği karışık desen örneği ile literatürde yer alan genellenebilirlik çalışmalarından farklılaşmıştır ve bu nedenle önemli olduğu düşünülmektedir. Anahtar sözcükler: kavram haritası, genellenebilirlik kuramı, karışık desenABSTRACT: This study investigates the parameters obtained through the generalizability theory which measures the topic "basic concepts related with measurement and evaluation" in the measurement and evaluation course. Data for the research were collected from 91 (49 girls 42 boys) students who are studied in the Sakarya Unıversity science education department in 2011-2012 semester. The o (student), X m (item) X h (map) were crossed in the study, and due to the fact that the item facet was random but the map facet was fix, the mixed design was used. The variances of the results obtained with filling concept maps and the percentages of explaining the total variances were researched with the G study and with the C and S techniques; and the changes in the G and Phi coefficients were researched by increasing and decreasing the item numbers with the D study. With this study, we aimed to exemplify the preferability compared to the classical test theory in having reliability of the concept map by leaning on the power, suitability and flexibility of the G theory. On the other hand, this current research is different from the generalizability studies available in literature in that it includes the mixed design sample, and therefore, it is believed to be important.

Examination of Testlet Effect in Open-Ended Items

“…As it is previously revealed, in generalizability studies, the fact that the rate of the predicted variance for person main effect in the total variance is high, is a wanted case. This displays that differences between persons can be revealed at the dimension obtained with measurement (Brennan, 2001;Kaya Uyanık & Güler, 2016). According to the result obtained in this study, it can be said that the measurement process performed with the open-ended items can greatly show the difference between persons.…”

“…When the predicted variance and rates of variances accounted for the total variance as a result of pxrxi crossed random design G study are examined, the variance component (7.44) predicted for the main effect of person (p) explains 66% of the total variance. In generalizability studies, main effect of person is evaluated as universe score variance and states difference between persons in terms of the trait measured (Brennan, 2001;Güler et al, 2012;Kaya Uyanık & Güler, 2016;Shavelson & Webb, 1991). The fact that the rate of the predicted variance for students in the total variance is great is a wanted status.…”