Statistical Consequences of Attribute Misspecification in the Rule Space Method

Abstract

The present study investigates the statistical consequences of attribute misspecification in the rule space method for cognitively diagnostic measurement. The two types of attribute misspecifications examined in the present study are exclusion of an essential attribute (which affects problem-solving performance) and inclusion of a superfluous attribute (which does not). Results of a simulation study show that exclusion of an essential attribute tends to lead to underestimation of examinees' mastery probabilities for the remaining attributes, whereas inclusion of a superfluous attribute generally leads to overestimation of attribute mastery probabilities for the other attributes. In addition, order relations among attributes induced by superset/ subset relationships affect the biases in the estimated attribute mastery probabilities in systematic ways. These results underscore the importance of correct attribute specification in cognitively diagnostic assessment and delineate some specific effects of using incorrect attribute sets.Keywords rule space method, cognitive diagnostic measurement method, attribute misspecification, Q-matrix In recent years, there has been growing interest in using cognitively diagnostic measurement methods to better understand the cognitive processes required for test performance and enable assessing an examinee's performance as a profile of specific knowledge and skills. This shift in emphasis from outcomes to processes has posed Downloaded from a major challenge for psychometric theory and has begun to influence test construction and analysis procedures (Baker, 1993). Researchers have developed methodology that reflects this paradigm shift (e.g., de la Torre

Examining DIF in the Context of CDMs When the Q-Matrix Is Misspecified

“…Traditionally, Q-matrix misspecification is defined in terms of omitting a necessary or required skill or adding an unnecessary skill in the Q-matrix ( Rupp and Templin, 2008 ; Im and Corter, 2011 ; Kunina-Habenicht et al, 2012 ). Several scholars have studied impacts of overfitting (inclusion of a superfluous skill) and underfitting (exclusion of an essential skill) of a Q-matrix on parameter recovery and classification (e.g., Rupp and Templin, 2008 ; Im and Corter, 2011 ).…”

Aportes de los métodos psicométrico-cognitivos a las pruebas educativas y psicológicas

“…De acuerdo con Im (2007), al utilizar un valor de ζ es posible obtener un punto de corte para las distancias de clasifi cación. Así, si al calcular D 2 entre la ubicación de una persona y un centro se obtiene un resultado menor que el punto de corte para la distancia, entonces el estado de conocimiento correspondiente al centro se puede aceptar para dicha persona.…”

Información cognitiva a partir de pruebas de gran escala: el método de representación del espacio de reglas

“…conocimiento con los patrones ideales de respuesta (Tatsuoka, 1991). Considérese la matriz, esto es, hay tres atributos y cinco ítems (Im, 2007). El número de posibles estados de conocimiento es 2 3 = 8.…”

“…Por medio de una función booleanas, se generan los posibles estados de conocimiento y sus correspondientes patrones ideales de respuesta según la matriz Q 1 . Dos o más estados de conocimiento pueden tener asociados el mismo patrón ideal de respuestas (Im, 2007) por las posibles relaciones de inclusión entre atributos. Una vez que se han identificado los patrones ideales de respuesta y que se han generado los estados de conocimiento implicados por una matriz Q, el siguiente paso en el MRER es asociar las respuestas observadas de los examinados con los patrones ideales, con el fin de clasificarlos en un estado de conocimiento determinado y poder hacer valoraciones diagnósticas a nivel cognitivo para los estudiantes.…”

“…Elipses conformadas hipotéticamente luego de aplicar el punto de corte para la distancia de clasificación en un ERR bidimensional. Fuente: adaptación de Im (2007). no acierten algunos ítems fáciles, como estudiantes de baja aptitud que acierten algunos ítems difíciles, tendrán valores positivos de z cada vez mayores.…”