A Psychometric Framework for the Evaluation of Instructional Sensitivity

What About the “Instruction” in Instructional Sensitivity? Raising a Validity Issue in Research on Instructional Sensitivity

“…This study did not consider the relationship between instruction and specific items on the assessment. Lacking this sort of information has implications for the methodology used to link instruction and student performance on the different assessments or different items from the same assessment (Naumann, Hochweber, & Klieme, 2016). This is a particularly important issue in this study of instructional sensitivity because it might be the case that the proximal measure is more of a distal measure if teachers did not implement the instruction as the professional development program intended.…”

Instruktionssensitivität von Tests und Items

“…Nur wenn Tests instruktionssensitiv sind, ist sichergestellt, dass Unterrichtseffekte gültig interpretierbar sind. Bleibt beispielsweise ein erwarteter Unterrichtseffekt aus, ist andernfalls unklar, ob ein Unterricht ineffektiv oder der eingesetzte Test nicht sensitiv war (Naumann et al, 2016 (Burstein, 1989) Greer, 1995) oder die Unterrichtsqualität (Grossman et al, 2014). Die Erwartung ist, dass die Testwerte mit mehr oder höherwertigem Unterricht ansteigen (Baker, 1994).…”

“…Allerdings führt die gleichzeitige Anwendung dieser beiden Herangehensweisen zur Beurteilung der Instruktionssensitivität eines Items nicht zu konsistenten Ergebnissen, da sie sich, wie nachfolgend dargestellt, auf unterschiedliche Varianzquellen (Naumann et al, 2016) und Hypothesen bezüglich der Itemsensitivität (Naumann et al, 2017) beziehen. Innerhalb des psychometrischen Rahmens mit den drei genannten Perspektiven (Zeitpunkte-, Gruppen-und Gruppen × Zeitpunkte-Perspektive) wird jeweils zwischen absoluten und relativen Maßen von Instruktionssensitivität unterschieden (Naumann et al, 2017 (Muthén et al, 1991;Naumann et al, 2016). In Anbetracht theoretischer Modelle zur Erklärung des Zustandekommens von Schulleistungen wie den Angebots-Nutzungs-Modellen (Brühwiler, 2014;Fend, 2002;Helmke, 2012)…”

“…. Ebenso lassen sich anstelle der itemspezifischen Unterricht effektiv ist, um die Sensitivität eines Tests oder Items zu bestimmen, während die Wirksamkeitsprüfung des Unterrichts die Annahme erfordert, dass ein Instrument sensitiv ist, um den Effekt des Unterrichts zu bestimmen(Naumann et al, 2016). Anhand derselben Testdaten sind Effektivität und Sensitivität also nicht trennbar.…”

The Quest for the Holy Grail of Validity in Science Assessments: A Comment on Kampa and Köller (2016) “German National Proficiency Scales in Biology: Internal Structure, Relations to General Cognitive Abilities and Verbal Skills”

“…Nonetheless, gathering evidence on instructional validity is by no means as straightforward as examining the internal structure or relations to other constructs. It needs complex study designs and a set of methodological approaches that connect the scale, item, and person characteristics with information about instruction (Naumann, Hochweber, & Klieme, ; Polikoff, ). Despite these challenges, information on instructional validity is valuable to researchers, teachers, and policy makers, because it shows how instruction or instructional changes are related to students’ performance on science assessments (Pellegrino et al., ).…”