Dans quelle mesure les examens cliniques objectifs structurés (ECOS) sont-ils un outil valide pour l’évaluation des performances cliniques à la fin du second cycle des études médicales ? Analyse d’une expérience lilloise selon le modèle de Kane

Abstract

Contexte et problématique : La réforme du second cycle des études médicales en France implique la mise en place de nouvelles modalités évaluatives parmi lesquelles des examens cliniques objectifs structurés (ECOS), outil standardisé d’évaluation de la performance clinique en environnement simulé. L’interprétation des scores issus de ces ECOS nationaux aura un impact majeur sur la formation des futurs médecins. Objectifs : Notre étude vise à montrer comment l’analyse de la validité de l’interprétation des scores d’un examen ECOS local selon le modèle de Kane peut fournir des données pour améliorer les ECOS nationaux. Méthodes : Cent sept étudiants en sixième année d’études ont participé en mars 2020 à une session d’ECOS. Les quatre inférences du modèle de Kane ont été appliquées à cet examen pour analyser la validité de l’interprétation des scores. Les scores obtenus aux ECOS, les évaluations de stage et le rang de classement aux épreuves classantes nationales informatisées (ECNi) ont notamment été colligés et analysés. Résultats : La validité de l’interprétation des scores des ECOS semblait globalement bonne. Quelques limites en termes de validité ont été identifiées dans les inférences de notation et de généralisation. Il n’y avait pas de différence significative de notation entre les évaluateurs. Il existait des corrélations statistiques significatives entre les scores aux ECOS et les évaluations en stage, ainsi qu’entre les scores aux ECOS et le rang de classement aux ECNi. Conclusion : Si la validité de l’interprétation des scores des ECOS semblait bonne dans le contexte de l’étude, nos données suggèrent des axes d’amélioration qui devront faire l’objet d’une attention particulière pour la mise en place d’examens à enjeu élevé tels que les ECOS nationaux en France dans les prochaines années. Cette étude illustre l’intérêt du modèle de Kane pour identifier de tels axes d’amélioration d’un dispositif d’évaluation des apprentissages.