Assessment of individual competence

Abstract

Aims: the assessment of individual competence in medical education is about finding a balance between having sufficient resources to make valid and reliable decisions and not using more resources than necessary. Sequential assessment, in which more resources are used for borderline performing candidates than for poorly or clearly satisfactorily performing candidates, can be used to achieve that balance. Although sequential assessment is commonly associated with larger groups of candidates to be assessed, in many practical settings numbers of candidates may be small.Objective: this article presents a single case design with a statistical model for the assessment of individual competence that can be used regardless of the number of candidates.Method: a worked example of a solution that can be used for an individual candidate, using simulated data in the zero-cost Open Source statistical program R version 4.0.5., is provided.Results: the aforementioned solution provides statistics that can be used to make pass/fail decisions at the level of the individual candidate as well as to make decisions regarding the length and timing of an exam (or parts thereof) for the individual candidate.Conclusion: the solution provided can help to reduce resources needed for assessment to a considerable extent while maximizing resources for borderline candidates. This facilitates both decision making and cost reduction in assessment.

Diseños secuenciales para programas de evaluación más eficientes

“…3 Además, también existen otros tipos de modelos donde las valoraciones no son dicótomas sino cuantitativas. 1,2 Los cálculos se pueden hacer relativamente fácil en programas estadísticos accesibles de modo gratuito 4,5 y el uso de un diseño secuencial puede ayudar a reducir considerablemente los recursos necesarios para una evaluación sin tener que preocuparse de aumentar sustancialmente la probabilidad de decisiones erróneas. Menos tiempo en exámenes significa más tiempo para un candidato de aprender en otros sitios (incluyendo en la práctica clínica), una reducción de la inversión económica (y tiempo) en la evaluación de parte de la institución, y para los examinadores más tiempo para atender pacientes y otras necesidades.…”

“…El concepto de la evaluación secuencial puede ayudar a valorar dónde se necesita más recursos y dónde menos. 1,2 Aunque este concepto suele ser asociado con valoraciones cuantitativas en cohortes de muchos candidatos, se puede utilizar para otros tipos de valoraciones también y para cualquier número de candidatos. Por lo tanto, este artículo presenta un ejemplo de un diseño de evaluación secuencial para valoraciones dicótomas (por ejemplo, correcto o incorrecto, o acción hecha o no hecha), independientemente del número de candidatos (podría ser un participante solo).…”