Intérêt des tests de concordance de script pour évaluer le raisonnement et l’organisation des connaissances des étudiants de quatrième année des études médicales en France

Jouneau, S.; Luraine, R.; Desrues, B.

doi:10.1051/pmed/2012020

Cited by 4 publications

(2 citation statements)

References 10 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…In a cohort of 85 fourth-year medical students, Jouneau et al evaluated SCT as a tool for assessment of clinical reasoning and knowledge organization in pulmonology clinical cases written examination. 18 Students’ score in clinical cases and SCT were significantly correlated, as in our study. However, these 2 studies differ in several aspects.…”

Section: Discussionsupporting

confidence: 86%

Accuracy of script concordance tests in fourth-year medical students

et al. 2017

View full text Add to dashboard Cite

ObjectivesThis investigation aimed to determine the validity of script concordance test (SCT), compared with clinical-case-related short-answer management problems (SAMP), in fourth-year medical students. MethodsThis retrospective study was conducted at the Medical School of Lille University. Cardiology and gynecology examinations both included 3 SCT and 2 clinical-case-related SAMP. Final score did not include SCT results, and was out of 20 points. The passing score was ≥10/20. Wilcoxon and McNemar tests were used to compare quantitative and qualitative variables, respectively. Correlation between scores was also analyzed. ResultsA total of 519 and 521 students completed SAMP and SCT in cardiology and gynecology, respectively. Cardiology score was significantly higher in SCT than SAMP (mean ± SD 13.5±2.4 versus 11.4±2.6, Wilcoxon test, p<0.001). In gynecology, SCT score was significantly lower than SAMP score (10.8±2.6 versus 11.4±2.7, Wilcoxon test, p=0.001). SCT and SAMP scores were significantly correlated (p <0.05, Pearson’s correlation). However, percentage of students with SCT score ≥ 10/20 was similar among those who passed or failed cardiology (327 of 359 (91%) vs 146 of 160 (91%), χ2=0.004, df =1, p=0.952), or gynecology (274 of 379 (65%) vs 84 of 142 (59%), χ2=1.614, df=1, p=0.204) SAMP test. Cronbach alpha coefficient was 0.31 and 0.92 for all SCT and SAMP, respectively. Conclusions Although significantly correlated, the scores obtained in SCT and SAMP were significantly different in fourth-year medical students. These findings suggest that SCT should not be used for summative purposes in fourth-year medical students.

show abstract

Section: Discussionsupporting

confidence: 86%

Accuracy of script concordance tests in fourth-year medical students

et al. 2017

View full text Add to dashboard Cite

show abstract

“…Enfin, l'impact pédagogique des évolutions proposées, sur la nature et la qualité des apprentissages des étudiants, devra également être examiné, ce qui impliquera notamment de se préoccuper de la validité de construit des épreuves. Dans ce cadre, la place des QCM « à points variables » que nous proposons par rapport à celle d'autres tests qui n'évaluent pas les réponses des étu-diants de façon binaire mais qui tentent de prendre en compte la notion d'incertitude inhérente au raisonnement clinique, tel que le permet le test de concordance de script, déjà expérimenté en France au cours du deuxième cycle [4,5] …”

unclassified

Un nouveau mode de correction des questions à choix multiple pourrait améliorer la fidélité et le pouvoir discriminant des épreuves classantes nationales en France

et al. 2013

View full text Add to dashboard Cite

Un nouveau mode de correction des questions à choix multiple pourrait améliorer la fidélité et le pouvoir discriminant des épreuves classantes nationales en France A novel scoring key for multiple choice questions could improve the reliability and discriminating ability of national ranking examinations in FranceMonsieur, Les épreuves classantes nationales (ECN) proposées en France depuis 2004 n'ont pas de pouvoir discriminant suffisant. Neuf dossiers cliniques comportant chacun quatre à 10 questions, auxquels s'ajoute l'épreuve de la lecture crique d'article (LCA) depuis 2009, ne suffisent pas à départager les étudiants puisque l'on observe de nombreux lots d'étudiants ex aequo, comportant parfois plus de 500 étudiants affectés du même score. Ce phénomène est mathématique-ment facilement expliqué par le rapport entre le nombre d'étudiants évalués (3988 en 2004 et 7502 en 2012) et le nombre de points distribués (100 points par dossier soit un total de 1000 points). La fidélité ou reproductibilité des ECN lors d'administrations successives aux étudiants est également médiocre, comme l'a montré la comparaison entre des épreuves blanches et le classement lors des ECN officielles [1] . Le projet d'informatisation des ECN, qui seront administrées à l'aide de tablettes tactiles dans chaque faculté à partir de 2016, comporte par ailleurs la réin-troduction de questions à choix multiples (QCM). Cette perspective offre une opportunité privilégiée pour réfléchir à un format de QCM qui serait susceptible d'apporter une contribution à l'amélioration des qualités psychométriques des ECN, notamment de leur capacité discriminante et de leur fidélité. De façon exploratoire, nous avons testé l'impact à cet égard d'un nouveau mode de conception et de cotation de QCM.Un test d'évaluation des connaissances par quatre QCM a été administré à deux groupes successifs de respectivement 42 et 25 étudiants de deuxième année du deuxième cycle des études médicales inscrits au module de pédiatrie médico-chirurgicale. Les QCM ont été élaborés par deux enseignants du module de pédiatrie et relus par un groupe d'experts de la discipline, avec pour chacune d'entre elles cinq propositions de réponses différentes. Les réponses aux QCM étaient cotées selon deux modalités : 1) selon la première, dite en base 2, la réponse juste était créditée d'un point et chacune des quatre autres réponses fausses de zéro point ; 2) selon la seconde, dite en base 5, l'impact théorique de la réponse fournie sur le pronostic du patient et sa pertinence étaient pris en compte : une réponse était respectivement cotée -2 si elle devait mettre en danger le patient, -1 si elle était inutile ou dangereuse, 0 si elle n'avait aucun effet sur le pronostic du patient ou si elle était tout simplement hors de propos, +1 si elle était correcte mais insuffisante, +2 si elle était parfaitement juste (cette cote de +2 correspondant ainsi à une cote 1 dans le système Article publié par EDP Sciences

show abstract

Évaluation des connaissances sur le dépistage du cancer par test de concordance de script

Couraud

Girard

et al. 2016

Revue des Maladies Respiratoires

View full text Add to dashboard Cite

Intérêt des tests de concordance de script pour évaluer le raisonnement et l’organisation des connaissances des étudiants de quatrième année des études médicales en France

Cited by 4 publications

References 10 publications

Accuracy of script concordance tests in fourth-year medical students

Accuracy of script concordance tests in fourth-year medical students

Un nouveau mode de correction des questions à choix multiple pourrait améliorer la fidélité et le pouvoir discriminant des épreuves classantes nationales en France

Évaluation des connaissances sur le dépistage du cancer par test de concordance de script

Contact Info

Product

Resources

About