Initial Considerations When Applying an Instructional Sensitivity Framework: Partitioning the Variation Between and Within Classrooms for Two Mathematics Assessments

Ing, Marsha

doi:10.1080/08957347.2016.1138957

Cited by 2 publications

(3 citation statements)

References 37 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Given the focus of this study on elementary mathematics, the subsample includes fourth- and fifth-grade students who completed the student mathematics achievement measures from the first year of data collection (academic year 2009-2010). The decision to include two different grade levels is based on previous work on instructional sensitivity using the same database that suggests differences between grade levels (Ing, 2016; Polikoff, 2016). Since each grade level received a different assessment, grade levels within each state were analyzed separately.…”

Section: Methodsmentioning

confidence: 99%

What About the “Instruction” in Instructional Sensitivity? Raising a Validity Issue in Research on Instructional Sensitivity

Ing

2017

Educational and Psychological Measurement

Self Cite

View full text Add to dashboard Cite

In instructional sensitivity research, it is important to evaluate the validity argument about the extent to which student performance on the assessment can be used to infer differences in instructional experiences. This study examines whether three different measures of mathematics instruction consistently identify mathematics assessments as being sensitive to instruction. Mixed findings across fourth-grade ( = 8,298) and fifth-grade ( = 9,336) students and their teachers across three school districts raise questions as to whether different ways of measuring instruction provide similar inferences about the instructional sensitivity of assessments. This raises validity concerns about the quality of inferences based on different measures of instruction.

show abstract

Section: Methodsmentioning

confidence: 99%

What About the “Instruction” in Instructional Sensitivity? Raising a Validity Issue in Research on Instructional Sensitivity

Ing

2017

Educational and Psychological Measurement

Self Cite

View full text Add to dashboard Cite

show abstract

“…Instruktionssensitivität von Tests und Testitems rückte daher mit dem No Child Left Behind Act (2002) und den damit verbundenen Entwicklungen im Bildungssystem wieder vermehrt in den Fokus von Wissenschaftlerinnen und Wissenschaftlern, da sie ein wichtiges Gütekriterium standardisierter Schulleistungstests darstellt (Chen, 2012;D'Agostino et al, 2007;Ing, 2008Ing, , 2016Ing, , 2017Li, Qin & Lei, 2017;Niemi et al, 2007;Pham, 2009;Polikoff, 2010Polikoff, , 2016Popham, 2014;Popham et al, 2014;Popham & Ryan, 2012;Rodriguez, 2017;Ruiz-Primo & Li, 2015;Ruiz-Primo et al, 2012;Ruiz-Primo, Shavelson, Hamilton & Klein, 2002). Denn es erschien aufgrund der weitreichenden Konsequenzen wichtig, dass die gezogenen Rückschlüsse über Schule und Unterricht basierend auf den Leistungstestdaten der Schülerinnen und Schüler auch valide (siehe auch Messick, 1989Messick, , 1995 waren.…”

Section: Ursprung Der Instruktionssensitivität Von Tests Und Testitemsunclassified

“…Testitems seit längerem Aufmerksamkeit erfährt und diskutiert wird (u.a. Chen, 2012;D'Agostino et al, 2007;Haladyna & Roid, 1981;Hanson, McMorris & Bailey, 1986;Ing, 2008Ing, , 2016Kosecoff & Klein, 1974;Muthén et al, 1995;Muthén et al, 1991;Polikoff, 2010Polikoff, , 2016Popham & Ryan, 2012;Rodriguez, 2017;Ruiz-Primo et al, 2012). Im deutschsprachigen Raum findet das Gütekriterium hingegen wenig Beachtung (Deutscher & Winther, 2018;Naumann, 2013;Naumann et al, 2017;Naumann, Hochweber & Hartig, 2014;Naumann, Klieme & Hochweber, 2016;Naumann, Musow & Katstaller, 2020;Naumann, Rieser, Musow, Hochweber & Hartig, 2019).…”

Section: Ursprung Der Instruktionssensitivität Von Tests Und Testitemsunclassified

Die Evaluation der Instruktionssensitivität von Testitems unter Berücksichtigung individueller Lernvoraussetzungen von Schülerinnen und Schülern : eine exemplarische Analyse am Beispiel der Qualität der Lernmotivation

Leininger

View full text Add to dashboard Cite

Die vorliegende Dissertation hat die Evaluation der Instruktionssensitivität von Testitems unter Berücksichtigung individueller Lernvoraussetzungen von Schülerinnen und Schülern zum Thema. Die Instruktionssensitivität von Items bzw. Testaufgaben erfasst, ob diese in der Lage sind, Effekte von Unterricht auf die Leistungen der Schülerinnen und Schüler abzubilden. Der Begriff der individuellen Lernvoraussetzungen wird im Rahmen dieser Arbeit sehr breit gefasst und subsumiert unter anderem kognitive, metakognitive, motivationale und volitionale Merkmale (Brühwiler, 2014; Brühwiler et al., 2017). Ausgehend von den Lernvoraussetzungen, welche im Zusammenhang von Angebots-Nutzungs-Modellen (u.a. Brühwiler, 2014; Fend, 1981) konzeptionell aufgegriffen werden, wird in den daran anschließenden quantitativen Analysen ein besonderer Fokus auf die Qualität der Lernmotivation (Ryan & Deci, 2000) gelegt. Das empirische Ziel der Arbeit besteht in der exemplarischen Überprüfung, inwiefern Indikatoren der Instruktionssensitivität von Testitems durch die Qualität der Lernmotivation der Schülerinnen und Schüler beeinflusst werden. Vor dem Hintergrund dieses Erkenntnisinteresses werden Parameterschätzungen aus längsschnittlichen Mehrebenen-Item-Response-Modellen mit unterschiedlichen Modellspezifikationen gegenübergestellt. Analysiert werden Daten von 832 Fünftklässlerinnen und Fünftklässlern aus dem Schweizer Kanton St. Gallen, die wiederholt an Schulleistungstests im Fach Mathematik teilgenommen haben. Unterscheiden sich die Parameterschätzungen zwischen den Spezifikationen, spricht dies dafür, dass die Qualität der Lernmotivation einen Einfluss auf die Schätzung der Instruktionssensitivität der Mathematikitems nimmt. Als Indikatoren der Instruktionssensitivität werden die differenzielle (Naumann et al., 2016) und die spezifische Sensitivität herangezogen. Angenommen wird, dass die Einbeziehung der Qualität der Lernmotivation als Kovariate die Schätzung dieser beiden Indikatoren beeinflusst. Das Ergebnis der Analysen ist eindeutig: Keine der aufgestellten Hypothesen kann angenommen werden. Die Resultate sprechen dafür, dass die Parameterschätzungen zur Evaluation der Instruktionssensitivität von der Qualität der Lernmotivation nicht wesentlich beeinflusst werden. Diese Befundlage überrascht, da zahlreiche Studien darauf hindeuten, dass motivationale Merkmale von Schülerinnen und Schülern einen Einfluss auf deren schulische Leistungen nehmen (u.a. Kriegbaum et al., 2015; Taylor et al., 2014) und für die Schätzung der Indikatoren der Instruktionssensitivität auf Daten von Schulleistungstests zurückgegriffen wurde. Die Ergebnisse werden aus inhaltlicher und methodischer Perspektive diskutiert.

show abstract

Initial Considerations When Applying an Instructional Sensitivity Framework: Partitioning the Variation Between and Within Classrooms for Two Mathematics Assessments

Cited by 2 publications

References 37 publications

What About the “Instruction” in Instructional Sensitivity? Raising a Validity Issue in Research on Instructional Sensitivity

What About the “Instruction” in Instructional Sensitivity? Raising a Validity Issue in Research on Instructional Sensitivity

Die Evaluation der Instruktionssensitivität von Testitems unter Berücksichtigung individueller Lernvoraussetzungen von Schülerinnen und Schülern : eine exemplarische Analyse am Beispiel der Qualität der Lernmotivation

Contact Info

Product

Resources

About