<p>Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que  consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universitarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una evidencia  de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.</p><p> </p><p>Abstract:</p><p>Abstract Current standards for assessing the psychometric quality of psychological and educational tests stipulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the “Academic Aptitude Test” (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.</p>

El objetivo del presente artículo es brindar evidencias de validez y de confiabilidad sobre una prueba nueva para medir el nivel de comprensión lectora de estudiantes universitarios. Para ello se empleó un diseño de investigación observacional y transversal, mediante la cual se aplicó la prueba a un grupo de 244 estudiantes de primer ingreso a una carrera universitaria. Los resultados fueron analizados con base en la Teoría Clásica de los Test y en el modelo de Rasch, así como también se estimó el coeficiente de correlación de Pearson entre las puntuaciones en la prueba y un curso universitario de primer año de carrera. El principal hallazgo de este estudio es la creación de una prueba de 44 ítems que permite generar puntuaciones con una confiabilidad de 0,74 y que presentan una correlación estadísticamente significativa (p < 0,000) de 0,21 [0,09, 0,33] con las notas de estudiantes en un curso de carrera de primer año. Con base en los análisis efectuados, se concluye que la prueba podría ser útil para detectar estudiantes de primer ingreso a la educación superior que podrían presentar problemas de comprensión lectora y, por ende, ver disminuido su rendimiento académico. En este sentido, la prueba podría servir para propósitos de screening, es decir, para coadyuvar en la elaboración de planes remediales, implementación de intervenciones educativas y desarrollo de unidades didácticas orientadas al fortalecimiento de la comprensión lectora de los(as) estudiantes universitarios de primer ingreso.

Objetivo. Evaluar el impacto de las intervenciones introducidas en Costa Rica durante 2020 y 2021 para el control de la pandemia por COVID-19. Método. Se empleó un modelo bayesiano de regresión de Poisson que incorporó las medidas de control o intervención como variables independientes sobre la modificación de la cantidad de casos por semana epidemiológica. Resultados. Los resultados evidenciaron el efecto relativo y conjunto que han tenido las políticas o medidas de contención en la reducción de casos, principalmente la restricción vehicular, el uso de mascarillas y la puesta en práctica de los lineamientos y protocolos sanitarios. Las evidencias de los efectos se optimizaron y se pusieron a disposición para la toma de decisiones de las autoridades sanitarias y de emergencia del país. Se generaron varias iteraciones para el monitoreo constante de la variación en los efectos en cuatro momentos distintos del avance de la pandemia. Conclusión. La aplicación simultánea de distintas medidas de mitigación en Costa Rica ha sido un agente promotor de la disminución de casos de COVID-19.

En este artículo se presenta un estudio cuantitativo cuyo objetivo fue poner a prueba un nuevo método para recabar evidencias sobre los procesos de respuesta utilizados por los examinados en pruebas educativas. Como antecedente fundamental, el estudio parte de la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se utilizan en la evaluación educativa. Se comparó el método tradicional, de los reportes verbales, con el método de la Respuesta Guiada por el Experto con respecto a su idoneidad para recabar evidencias sobre la interpretación de las puntuaciones en una prueba educativa. Para esto, se seleccionó una muestra a conveniencia de 17 estudiantes de primer ingreso de la Universidad de Costa Rica y se le aplicó una entrevista semiestructurada a cada uno, en las cuales debían resolver ítems de razonamiento en voz alta empleando el método tradicional de reportes verbales o el método de la Respuesta Guiada por el Experto. Las entrevistas fueron codificadas por un grupo de expertos y se calculó un coeficente de acuerdo entre ellos. Con el método tradicional se obtuvo un coeficiente kappa de Fleiss de 0.22, mientras que, con el método de la Respuesta Guiada por el Experto, este fue de 0.40. Se concluye con las ventajas de utilizar este método para desarrollar instrumentos de evaluación educativa que representen adecuadamente las habilidades, destrezas, competencias y conocimientos de los estudiantes.

<p><em><strong>Español</strong></em></p><p>La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho entrevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participantes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solución de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las puntuaciones de la prueba en el rendimiento académico en la UCR.</p><p><em><strong>English</strong></em></p><p>The premise of this study is that a cognitive model can increase students’ performance for solving items on a standardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items’ response processes. The reports were analyzed to verify the correspondence between the framework of the strategies previously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.</p>