Clozing the gap: How far do cloze items measure?

Abstract

Originally designed to measure reading and passage comprehension in L1 readers, cloze tests continue to be used for L2 assessment purposes. However, there remain disputes about whether or not cloze items can measure beyond local comprehension information, as well as whether or not they are purely a test of reading alone, or if performance can be generalized to broader claims about proficiency. The current study sets out to address both of these issues by drawing on a large pool of cloze items ( k = 449) taken from 15 cloze passages that were administered to 675 L1 and 2246 L2 examinees. In conjunction with test scores, a large-scale L1 experiment was conducted using Amazon’s Mechanical Turk to determine the level of minimum context required to answer each item. Using Rasch analysis, item function was compared across both groups, with results indicating that cloze items can draw on information at both the sentence and passage level. This seems to suggest further that cloze tests generally tend to measure reading in both L1 and L2 examinees. These findings have important implications for the continued use of cloze tests, particularly in classroom and high-stakes contexts where they are commonly found.

Evaluación de la comprensión del texto científico-académico en el posgrado mediante el procedimiento cloze

“…En nuestro caso, identificamos una asociación estadística entre ocurrencia y cantidad de contexto requerido para completar el blanco: los ítems con una ocurrencia lejana evidenciaron mayor dificultad que aquellos con más ocurrencias o una cercana. Esto es, como muestra la investigación previa (Abraham & Chapelle, 1992;Brown, 1989;Kobayashi, 2002;Trace, 2020;Trace et al, 2017) aunque con soluciones disímiles, el nivel diferencial de dificultad de las palabras de contenido no admite una explicación simple sino que exige el análisis conjunto de factores. Ya que transmiten significados y cada significa-do individual opera en la conformación de la red semántica del texto (Kobayashi, 2002) y que obviamente dependen de la competencia del lector para aprovechar tanto las claves textuales como su conocimiento general, requieren una habilidad integradora de nivel superior.…”

“…En síntesis, el análisis efectuado parece apoyar el postulado de varios autores (Abraham & Chapelle, 1992;Brown, 2013;Gellert & Elbro, 2013;Shahnazari-Dorcheh et al, 2012;Trace, 2020, entre otros) sobre la validez del cloze (en dependencia de su método de construcción y calificación) para evaluar comprensión global, dado que la puntuación que obtiene el lector puede ser entendida como un indicador de su competencia para emplear las claves textuales. En este sentido, en la presente investigación la dificultad de los blancos referidos a lenguaje especializado varía de modo consistente según la brecha entre los ítems (Trace, 2020) -cantidad de contexto requerido para completarlos-, la que exige que se establezca la conexión entre proposiciones separadas en el texto (Abraham & Chapelle, 1992;Gellert & Elbro, 2013).…”

“…De acuerdo con la investigación previa (Abraham & Chapelle, 1992;Bachman, 1985;Jonz, 1990;Kobayashi, 2002;Trace, 2020;Trace et al, 2017), en el presente trabajo se postula que tienden a ser más fáciles los ítems funcionales que los lexicales, los que requieren menor cantidad de contexto para restaurar las palabras suprimidas, los que registran alternativas conceptualmente aceptables y los que manifiestan otras ocurrencias en el texto.…”

“…Sin embargo, aún hoy se investigan los problemas planteados en los estudios tempranos (Abraham & Chapelle, 1992;Brown, 1980Brown, , 1988Jonz, 1990), que continúan siendo relevantes; entre ellos, su validez, qué evalúa exactamente (p. ej., Gellert & Elbro, 2013), los patrones de eliminación de términos (Kleijn, Pander-Maat, & Sanders, 2019), los métodos de calificación (Kleijn et al, 2019;O'Toole & King, 2010) y, en menor medida, la dificultad de los ítems (Trace, 2020;Trace, Brown, Janssen, & Kozhevnikova, 2017). La primera pregunta conforma un área de ininterrumpido debate, que enfrenta a quienes consideran que solo evalúa comprensión local (por ejemplo, Carlisle & Rice, 2004, en Trace et al, 2017 con aquellos que sostienen que puede ponderar la coherencia global, constituyéndose así en una medida válida y rápida de la competencia lectora (Gellert & Elbro, 2013;Kleijn et al, 2019;Shahnazari-Dorcheh, Roshan, & Hesabi, 2012;Trace, 2020).…”

“…Este propósito registra trabajos tempranos (Abraham & Chapelle, 1992;Bachman, 1985;Brown, 1989;Jonz, 1990;Kobayashi, 2002) y más recientes desde la teoría de respuesta al ítem (p. ej., Trace, 2020;Trace et al, 2017), análisis inaplicable en el corpus que se analiza por el tamaño de la muestra, dado que "para emplear modelos TRI se requieren muestras grandes de sujetos (n > 300)" (Cortada de Kohan, 2004, p. 105).…”