Congruencia entre sistemas semióticos: estudio de palabras y gráficos con el uso de eye tracker

Abstract

En el presente artículo se buscó determinar si la congruencia/no congruencia entre dos sistemas semióticos es un factor que incide en los patrones de lectura de un grupo de estudiantes del área de economía. Específicamente, nos interesa identificar rutas de lectura que revelen si los lectores advierten la incongruencia entre dos sistemas semióticos: el sistema verbal y el sistema gráfico. Para cumplir este objetivo, se registraron los movimientos oculares de 16 estudiantes del área de economía de una universidad con el uso de un eye tracker. Los textos leídos por los estudiantes fueron confeccionados a partir de segmentos retóricos específicos de ejemplares del género discursivo Informe de Política Monetaria (IPoM). Los resultados generales indican que: 1) los lectores procesan con igual atención todos los textos sin que el factor congruencia entre sistemas semióticos revele diferencias estadísticamente significativas, 2) tampoco se observaron diferencias en las transiciones integrativas entre congruencia y no congruencia, y 3) se procesa mayormente el sistema verbal de los textos, tanto en las variables dependientes tiempo de la primera lectura (first pass) como tiempo de la segunda lectura (second pass). Estos hallazgos pueden explicarse en términos de cierto logocentrismo o preeminencia de las palabras, a pesar de que, como alumnos del área de economía, los estudiantes hayan recibido instrucción en la lectura de gráficos.Palabras clave: comprensión multisemiótica, Informe de Política Monetaria, gráficos de líneas, eye tracking, multimodalidad. ESTUDIOS FILOLÓGICOSIn the present study we seek to determine if the congruence/non-congruence between two semiotic systems is a factor that affects the reading patterns of a group of students in the area of economics. Specifically, we are interested in identifying reading routes that reveal whether readers identify the incongruence between two semiotic systems: the verbal system and the graph system. To achieve this objective, eye movements were recorded from 16 students in the economics area of a Chilean university, employing an eye tracker. The texts read by the students were constructed from specific rhetorical textual segments of the discourse genre Monetary Policy Report (IPoM). The general results indicate that: 1) readers process all texts with equal attention without the factor congruence between semiotic systems revealing statistically significant differences, 2) no differences were observed in the integrative transitions between congruency and non-congruency, and 3) the verbal system of the texts is processed mainly, both in the dependent variables time of the first reading (first pass) and time of the second reading (second pass). These findings can be explained in terms of certain logocentrism or preeminence of the words, even though, as students of the economics area, the students have received instruction in the reading of graphs.

La multimodalidad en el material didáctico de ELE: una perspectiva práctica

“…Lo cual invita a la reflexión sobre la necesidad de su inclusión en el material didáctico de español lengua extranjera (ELE). Aún más, la predominancia del sistema verbal y el gráfico en los hallazgos de Parodi y Julio (2015) y de solamente el verbal en Julio et al (2019) en la disciplina de economía incita a realizar estudios comparativos que explican las razones de esta predominancia en las diferentes disciplinas y sus implicancias pedagógicas. Sobre todo, que los resultados de este estudio se difieren del estudio de Parodi (2010) en que sobresalía el sistema verbal y el tipográfico en los textos de las disciplinas de Historia y Literatura en español L1.…”

When words and graphs move the eyes:The processing of multimodal causal relations

“…Nevertheless, research on causal relations in multisemiotic texts constituted by words and graphs is scarce with only a few exceptions (Green, 2005;Habel & Acartürk, 2011). Even more limited is the use of eye tracking measures in the study of reading processing with texts written in Spanish and a varying degree of specialization (Parodi & Julio, 2016;Julio, Parodi, & Loureda, 2018). As is well known, eye tracking technology allows for the determination of the exact location of the point of gaze of a subject's eye, which in turn allows researchers to register the intermodal connections between words and graphs in the construction of a mental representation while reading on line in a moment-to-moment processing of written discourse.…”