Analysis of the Structural Validity of the Reduced Version of Metacognitive Awareness of Reading Strategies Inventory

Abstract

The application of metacognitive strategies is considered a basic skill of the student at any educational level. In the present study, we evaluate the reduced version of the Metacognitive Awareness of Reading Strategies Inventory (MARSI-R) in Spanish, a self-report instrument designed to measure the metacognitive awareness of students and their perception of the strategies that they use while they are reading school materials. MARSI-R is formed by three subscales: (a) global reading strategies (GRS), (b) problem-solving strategies, and (c) strategies to support reading. We conducted a confirmatory factor analysis (CFA) in a Spanish student sample (N = 570) and the results shown relative inadequate fit for the proposed theoretical three-factor model. More important, the three subscales presented a high level of inter-correlation, which raises the need to assess to what extent the construct should be considered as unidimensional. We conducted two additional CFA models: a unidimensional model and a bifactor S-1 model, and the results indicated the presence of a strong general factor related to the GRS subscale. These results have important implications, since they imply that it is more appropriate to use the total score of the instrument derived of the S-1 model instead of the scores derived from each subscale. The bifactor S-1 model has allowed us to develop a closer approximation between the psychometric model and the theoretical model.

When and how to use confirmatory composite analysis (CCA) in second language research

“…The dataset we used in our illustrative example was collected and studied by Ondé et al (2022) and is publicly available 2 . It consists of 548 valid student responses to the MARSI-R, including a variable measuring self-reported reading level, referred to as READ.…”

Construct validation of the revised Metacognitive Awareness of Reading Strategies Inventory (MARSI-R) and its relation to learning effort and reading achievement

“…Although the inventory has undergone different validity assessments (see for example Ondé et al, 2022), this was only done using CFA (by assuming MARSI-R as common factor). Nevertheless, CFA is not the most appropriate analytical tool for validating such composite constructs as we will explain later.…”

Contribución de los Modelos Factoriales Confirmatorios a la Evaluación de Estructura Interna desde la Perspectiva de la Validez

“…A nivel sustantivo, el factor de estrategias de lectura global (GRS) puede considerarse como un factor general sobre el que analizar y valorar las otras dos facetas en ambas versiones (30 y 15 ítems), por lo que tiene sentido utilizarlo como factor de referencia. Animados por esta situación, en un estudio previo sobre la versión acortada (MARSI-R) evaluamos la estructura interna mediante S-1 (Ondé et al, 2022). Además, en el estudio en el que se propone la forma acortada del instrumento (Mokhtari et al, 2018) se observaron correlaciones muy elevadas entre los tres factores (entre .618 y .840), lo que planteaba la existencia de un factor general fuerte (hipótesis de unidimensionalidad esencial).…”

“…En lugar de especificar un factor general de meta-comprensión lectora subyacente a los tres dominios de estrategias de lectura propuestos, más difícil de justificar a nuestro juicio, nos planteamos evaluar el grado en el que GRS funcionaba como factor general de referencia controlando el efecto de las dos facetas o dominios restantes (PSS y SRS). Encontramos que el modelo S-1 producía una solución factorial válida, con un adecuado nivel de determinación factorial para GRS (VCEGRS=.728, VCEPSS=.359, VCESRS=.370, H-GRS=.779, S-PSS=.177, y S-SRS=.127; ver Ondé et al, 2022). Estos resultados reflejaron la conveniencia de utilizar la puntuación factorial de GRS en los análisis correlacionales subsiguientes en el proceso de validación (frente a las puntuaciones de PSS y SRS).…”

“…Solamente es significativo el coeficiente de regresión para el group factor de estrategias de apoyo (SRS), lo que podría indicar algún tipo de sesgo u otras cuestiones de interés. Por último, también se podría utilizar el modelo S-1 para modelar el poder predictivo de los factores del modelo sobre otras variables (Ondé et al, 2022), incluso combinar este tipo de análisis con la inclusión de covariables mediante MIMIC. El modelo S-1 nos permite en este caso seguir profundizando en la evaluación de las propiedades psicométricas del modelo más allá de lo que podemos profundizar con el modelo bifactor.…”