Using the General Diagnostic Model to Measure Learning and Change in a Longitudinal Large‐scale Assessment

Abstract

A general diagnostic model was used to specify and compare two multidimensional itemresponse-theory (MIRT) models for longitudinal data: (a) a model that handles repeated measurements as multiple, correlated variables over time (Andersen, 1985) and (b) a model that assumes one common variable over time and additional orthogonal variables that quantify the change (Embretson, 1991). Using MIRT-model ability distributions that we allowed to vary across subpopulations defined by type of school, we also compared (a) a model with a single two-dimensional ability distribution to (b) extensions of the Andersen and Embretson approaches, assuming multiple populations. In addition, we specified a hierarchical-mixture distribution variant of the (Andersen and Embretson) MIRT models and compared it to all four of the above alternatives. These four types of models are growth-mixture models that allow for variation of the mixing proportions across clusters in a hierarchically organized sample. To illustrate the models presented in this paper, we applied the models to the PISA-I-Plus data for assessing learning and change across multiple subpopulations. The results indicate that (a) the Embretson-type model with multiple-group assumptions fits the data better than the other models investigated, and (b) the higher performing group shows larger improvement at Time Point 2 than the lower performing group.

IQB-Bildungstrend 2022. Sprachliche Kompetenzen am Ende der 9. Jahrgangsstufe im dritten Ländervergleich

“…Mögliche Verzerrungen in der Itemparameterschätzung können dadurch vermieden werden, dass bei der Schätzung berücksichtigt wird, zu welchem Teildesign (vgl. Abschnitt 12.2) das entsprechende Testheft gehört (DeMars, 2002;von Davier et al, 2009). Die so gewonnenen Itemparameterschätzungen bilden die Basis für die weiteren Auswertungsschritte.…”

“…Zur Schätzung der Personenparameter hat sich in großen Schulleistungsstudien der auf dem Prinzip der Multiplen Imputation (Rubin, 1987; beruhende Plausible-Values-Ansatz bewährt, der zu erwartungstreuen Lage-und Dispersionsparameterschätzungen auf Gruppenebene führt (Mislevy et al, 1992;von Davier et al, 2009;Wu, 2005). Anstelle eines einzelnen Kompetenzwertes wird hierbei für jede Person eine individuelle Wahrscheinlichkeitsverteilung ihrer Kompetenz modelliert, und es werden deren Lage-sowie Streuungsparameter geschätzt.…”