<p>Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que  consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universitarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una evidencia  de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.</p><p> </p><p>Abstract:</p><p>Abstract Current standards for assessing the psychometric quality of psychological and educational tests stipulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the “Academic Aptitude Test” (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.</p>

<span>El presente trabajo pretende generar evidencias empíricas en torno a la validez de la prueba de “Diagnóstico de conocimientos y destrezas en matemática del estudiante al ingresar a la universidad”, de la Escuela de Matemática de la Universidad de Costa Rica, desde la aplicación del modelo de Rasch. La muestra corresponde a 2624 examinados del 2008. Los objetivos del estudio se dirigieron primeramente a establecer evidencias de validez y confiabilidad para el instrumento. Por medio de análisis de factores exploratorio se verificó la unidimensionalidad de la escala y con el modelo de Rasch se generaron evidencias para concluir un grado aceptable de confiabilidad. Con la participación de 5 jueces expertos se establecieron niveles sustantivos de desempeño, clasificando los ítems según dificultad, y según procesos y contenidos necesarios para su resolución. Para validar las valoraciones de los jueces se contrastaron sus clasificaciones de dificultad con las estimaciones obtenidas al aplicar el modelo de Rasch, y por medio de un análisis de concordancia con la medida Kappa de Cohen se logró determinar el grupo de los 3 jueces que se acercaban más a las estimaciones de Rasch y cuyas valoraciones fueron consideradas para establecer los niveles de desempeño.</span>

<p><em><strong>Español</strong></em></p><p>La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho entrevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participantes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solución de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las puntuaciones de la prueba en el rendimiento académico en la UCR.</p><p><em><strong>English</strong></em></p><p>The premise of this study is that a cognitive model can increase students’ performance for solving items on a standardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items’ response processes. The reports were analyzed to verify the correspondence between the framework of the strategies previously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.</p>

El objetivo de este trabajo es caracterizar los procesos de razonamiento en contexto matemático presentes en una prueba estandarizada y determinar cuáles de ellos se asocian significativamente con la dificultad de los ítems. Los procesos de razonamiento se determinaron a partir del análisis de soluciones de ítems de RCM, realizado por cuatro personas expertas en educación matemática. El estudio de la relación de los procesos con la dificultad se realizó con un modelo LLTM (n=12800). Los procesos con mayor nivel de asociación con la dificultad fueron: a) identificar una regla de formación en formato de función, b) construcción de contraejemplos o c) verificar el cumplimiento de una regla. Este trabajo es relevante porque permite aproximar la dificultad de los reactivos de RCM antes de una evaluación, utilizando únicamente los procesos de razonamiento requeridos.