First-year medical students’ calibration bias and accuracy across clinical reasoning activities

Abstract

To be safe and effective practitioners and learners, medical professionals must be able to accurately assess their own performance to know when they need additional help. This study explored the metacognitive judgments of 157 first-year medical students; in particular, the study examined students’ self-assessments or calibration as they engaged in a virtual-patient simulation targeting clinical reasoning practices. Examining two key subtasks of a patient encounter, history (Hx) and physical exam (PE), the authors assessed the level of variation in students’ behavioral performance (i.e., effectiveness and efficiency) and judgments of performance (i.e., calibration bias and accuracy) across the two subtasks. Paired t tests revealed that the Hx subtask was deemed to be more challenging than the PE subtask when viewed in terms of both actual and perceived performance. In addition to students performing worse on the Hx subtask than PE, they also perceived that they performed less well for Hx. Interestingly, across both subtasks, the majority of participants overestimated their performance (98% of participants for Hx and 95% for PE). Correlation analyses revealed that the participants’ overall level of accuracy in metacognitive judgments was moderately stable across the Hx and PE subtasks. Taken together, findings underscore the importance of assessing medical students’ metacognitive judgments at different points during a clinical encounter.

Are we fit to teach? A survey in physicians of the in- and outpatient departments of internal medicine at a Swiss university hospital

“…This was particularly true for junior faculty members, but it was also evident for several very experienced faculty members. This is of particular interest as our observations are not in line with previous findings that novices tend to overestimate themselves [24].…”

Juicios metacognitivos en la educación médica

“…Los anteriores elementos posibilitan el desarrollo de diferentes investigaciones que ponen en evidencia que los juicios metacognitivos son: a) predictores de mejores rendimientos, reafirmando a su vez, b) dependen de los conocimientos previos (entre mayor conocimiento previo se tenga de la tarea es mayor la precisión), c) aportan a la resolución de problemas (23). Asimismo, que la precisión de los juicios metacognitivos en los primeros años de medicina se da mejor en tareas más pequeñas (24). Ahora bien, desde la formación de los futuros profesionales en el campo de la salud, se identifica que contribuyen a la disminución del exceso de confianza respecto a la tarea, mejorar el proceso diagnóstico y mejorar la toma de decisiones; todos indispensables para la seguridad del paciente (24,25); el estudiante, al realizar un análisis de proceso de aprendizaje, identifica a la vez qué signos y síntomas ha pasado por alto en el proceso de valoración, además de que otras valoraciones se requieren para tomar una mejor decisión.…”

“…Asimismo, que la precisión de los juicios metacognitivos en los primeros años de medicina se da mejor en tareas más pequeñas (24). Ahora bien, desde la formación de los futuros profesionales en el campo de la salud, se identifica que contribuyen a la disminución del exceso de confianza respecto a la tarea, mejorar el proceso diagnóstico y mejorar la toma de decisiones; todos indispensables para la seguridad del paciente (24,25); el estudiante, al realizar un análisis de proceso de aprendizaje, identifica a la vez qué signos y síntomas ha pasado por alto en el proceso de valoración, además de que otras valoraciones se requieren para tomar una mejor decisión. Motivos relevantes que indican la necesaria incorporación de los juicios metacognitivos en la formación del médico.…”

Aportes de la simulación al desarrollo del razonamiento clínico en estudiantes de pregrado de medicina

“…En un estudio reciente sobre un paciente virtual que incorpora análisis de las interacciones en la conversación, los autores refieren que la exactitud conversacional del sistema varía entre 79 y 86%, y que aún no cuenta con capacidades para proveer feedback inmediato al estudiante. 28 Esta limitante se debe tener en cuenta todavía más si se consideran algunos estudios que demuestran que los estudiantes sobrestiman su desempeño en la realización de anamnesis y examen físico comparado con el observado por sus instructores, que su capacidad de reflexión no guiada les permite generar limitados aprendizajes metacognitivos 29 y que los estudiantes cometen más errores que los expertos 30 o que los simuladores virtuales pueden ser sensibles, pero muy poco específicos para diferenciar novatos de expertos. 31 Todo lo anterior revela la importancia de contar con feedback externo e, idealmente, la necesidad de realizar debriefing en profundidad para establecer estrategias de mejora que vayan más allá de la retroalimentación automática de los tópicos meramente cognitivos relacionados con un caso puntual.…”