Instruktionssensitivität von Tests und Items

Abstract

Testergebnisse von Schülerinnen und Schülern dienen regelmäßig als ein zentrales Kriterium für die Beurteilung der Effektivität von Schule und Unterricht. Gültige Rückschlüsse über Schule und Unterricht setzen voraus, dass die eingesetzten Testinstrumente mögliche Effekte des Unterrichts auffangen können, also instruktionssensitiv sind. Jedoch wird diese Voraussetzung nur selten empirisch überprüft. Somit bleibt mitunter unklar, ob ein Test nicht instruktionssensitiv oder ein Unterricht nicht effektiv war. Die Klärung dieser Frage erfordert die empirische Untersuchung der Instruktionssensitivität der eingesetzten Tests und Items. Während die Instruktionssensitivität in den USA bereits seit Langem diskutiert wird, findet das Konzept im deutschsprachigen Diskurs bislang nur wenig Beachtung. Unsere Arbeit zielt daher darauf ab, das Konzept Instruktionssensitivität in den deutschsprachigen Diskurs über schulische Leistungsmessung einzubetten. Dazu werden drei Themenfelder behandelt, (a) der theoretische Hintergrund des Konzepts Instruktionssensitivität, (b) die Messung von Instruktionssensitivität sowie (c) die Identifikation von weiteren Forschungsbedarfen.

Mathematikunterricht im Vergleich zwischen den Schularten

“…Die Bildungsstandards haben in den Ländern einen vergleichsweise engen Bezug zu den Lehrplänen und Curricula der Bundesländer (Ehmke et al 2017) und somit sehr wahrscheinlich auch zu den realisierten Lerngelegenheiten im Unterricht. Somit ist der BiSta-Test sensibler als der PISA-Test für das schulisch erworbene Wissen (Naumann 2019 (Guill et al 2010). Wie oben beschrieben, konnte zwar der bekannte Schereneffekt für die Mathematikleistung von der 4. zur 6.…”

Conceptual and Methodological Challenges in Detecting the Effectiveness of Learning and Teaching

“…Educational effectiveness research regularly uses student test scores as dependent variables in statistical models (e. g., Klieme, 2018;Marsh et al, 2012). However, the assumption that the individual-level student outcome measures are indeed sensitive to classroom-level teaching is scarcely substantiated in effectiveness research, although researchers have regularly asserted the need for evidence of instructional sensitivity (e. g., Naumann, Musow, Aichele, Hochweber & Hartig, 2019;Popham, 2007). Recent studies have found the association of teaching measures and student achievement to vary across different tests (e. g., Grossman, Cohen, Ronfeldt & Brown, 2014;Polikoff, 2016).…”

Empirische Forschung zu Unterrichtsqualität. Theoretische Grundfragen und quantitative Modellierungen

“…Educational effectiveness research regularly uses student test scores as dependent variables in statistical models (e. g., . However, the assumption that the individual-level student outcome measures are indeed sensitive to classroom-level teaching is scarcely substantiated in effectiveness research, although researchers have regularly asserted the need for evidence of instructional sensitivity (e. g., Naumann, Musow, Aichele, Hochweber & Hartig, 2019;Popham, 2007). Recent studies have found the association of teaching measures and student achievement to vary across different tests (e. g., Grossman, Cohen, Ronfeldt & Brown, 2014;Polikoff, 2016).…”