Sequential testing in high stakes OSCE: a stratified cross-validation approach

Abstract

Sequential testing has been employed in clinical assessments to support student progression decisions by strategically targeting assessment resources towards borderline students. In this context resampling techniques have been utilised in the attempt to determine the appropriate blueprint number of stations to include in the screening phase of a sequential exam. However, statistical overfitting undermines the generalizability of examination psychometric properties and the uneven distribution (imbalance) of borderline vs. non-borderline students may cause resampling methods to produce biased results. Both phenomena may mislead educational practitioners when redesigning sequential assessments. We demonstrate how to mitigate against the problems of overfitting and imbalanced cohorts whilst finding the optimal 9 screening stations out of an 18-station OSCE. To prevent overfitting our statistical model was developed on one set of data (train and test) and then validated on a different dataset (validation) with imbalance accounted for by operating a stratified sampling scheme. The outcomes demonstrate the importance of validation: in the development phase, the accuracy was initially 91% (train) but the actual predictive accuracy when mitigating against overfitting and imbalance was 86% (test). Similarly, when we validated the model on completely new data-with a comparable assessment-the predictive accuracy was 83% (validation).

Diseños secuenciales para programas de evaluación más eficientes

“…3 Además, también existen otros tipos de modelos donde las valoraciones no son dicótomas sino cuantitativas. 1,2 Los cálculos se pueden hacer relativamente fácil en programas estadísticos accesibles de modo gratuito 4,5 y el uso de un diseño secuencial puede ayudar a reducir considerablemente los recursos necesarios para una evaluación sin tener que preocuparse de aumentar sustancialmente la probabilidad de decisiones erróneas. Menos tiempo en exámenes significa más tiempo para un candidato de aprender en otros sitios (incluyendo en la práctica clínica), una reducción de la inversión económica (y tiempo) en la evaluación de parte de la institución, y para los examinadores más tiempo para atender pacientes y otras necesidades.…”

“…El concepto de la evaluación secuencial puede ayudar a valorar dónde se necesita más recursos y dónde menos. 1,2 Aunque este concepto suele ser asociado con valoraciones cuantitativas en cohortes de muchos candidatos, se puede utilizar para otros tipos de valoraciones también y para cualquier número de candidatos. Por lo tanto, este artículo presenta un ejemplo de un diseño de evaluación secuencial para valoraciones dicótomas (por ejemplo, correcto o incorrecto, o acción hecha o no hecha), independientemente del número de candidatos (podría ser un participante solo).…”

Assessment of individual competence

“…Apart from informing subsequent learning and practice, one of the functions of the assessment of competence in medicine and other high-stakes settings is to make valid and reliable decisions regarding progression, and longer exams are commonly associated with higher validity and reliability (1). However, given tremendous pressures on our healthcare systems, not using more resources for assessment than necessary is imperative.…”