Confidence marking: Its use in testing

Leclercq, Dieudonné

doi:10.1016/0191-765x(82)90011-8

Cited by 26 publications

(31 citation statements)

References 117 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…1 and 2). The numerical values for each degree of certainty were accompanied by a qualitative description (verbal instructions): totally unsure (2%), not sure (10%), moderately sure (25%), more or less sure (50%), sure (75%), strongly sure (90%), perfectly sure (98%) [14,18,26,28]. ''I don't know'' had no degree of certainty.…”

Section: Group Certainty Topographymentioning

confidence: 99%

See 1 more Smart Citation

The use of degrees of certainty to evaluate knowledge

Bruttomesso

Gagnayre

Leclercq

et al. 2003

Patient Education and Counseling

Self Cite

View full text Add to dashboard Cite

In patients with chronic diseases education should improve knowledge about the disease and increase certainty in knowledge. We present here a technique to measure changes in certainty after an educational intervention. For this purpose, before and after a course, patients answer a questionnaire in which answers are accompanied by an estimate of the degree of certainty. Answers are then assigned to areas of knowledge defined a priori: mastered (certainty !90%, correctness !90%), hazardous (certainty !90%, correctness 50%), uncertain (certainty 50%, correctness !90%) and residual. Finally differences in the distribution of answers among different areas are analysed statistically. Using this technique in a group of patients with type I diabetes who followed a course on insulin use, we found significant changes in the distribution of answers among different areas of knowledge. Thus changes in certainty can be analysed quantitatively and used to evaluate better the effect of therapeutic education. #

show abstract

Section: Group Certainty Topographymentioning

confidence: 99%

“…''I don't know'' had no degree of certainty. In this scale, the precision is greater at the extremes than in the middle, according to Leclercq's demonstration that human perception has a logarithmic distribution at the extremes of the scale and is limited to 7 degrees [26][27][28].…”

Section: Group Certainty Topographymentioning

confidence: 99%

The use of degrees of certainty to evaluate knowledge

Bruttomesso

Gagnayre

Leclercq

et al. 2003

Patient Education and Counseling

Self Cite

View full text Add to dashboard Cite

show abstract

“…cela est dû principalement au fait que l'évaluation a souvent lieu après une séquence d'enseignement-apprentissage (par ex., après avoir suivi un cours). ainsi, l'étudiant est censé disposer des connaissances et des compétences nécessaires pour répondre correctement à la question, mais il peut en même temps avoir des doutes au sujet de ses acquis (Gilles, 2002). l'utilisation des degrés de certitude permet aussi de donner une rétro-action à l'étudiant ou parfois de mettre en lumière des situations qui pourraient s'avérer dangereuses si non corrigées.…”

Section: Le Principe De Fonctionnementunclassified

“…Cette nouvelle définition est plus précise que la précédente, et décrit mieux la capacité de s'autoévaluer et d'utiliser correctement les degrés de certitude. Enfin, elle permettra d'améliorer la fiabilité des indices de qualité liés aux questions utilisant le réalisme, par exemple le rpbisSCT de Gilles (2002).…”

unclassified

“…cette situation dichotomique ne correspond souvent pas à la réalité des faits, où l'étudiant se questionne et peut douter de la réponse qu'il compte donner. Grâce à l'utilisation des degrés de certitude (dc), on introduit une nuance dans l'appréciation de la compétence, donnant alors la possibilité à l'étudiant d'exprimer un doute au sujet de ses propres compétences (Gilles, 2002).…”

unclassified

See 1 more Smart Citation

Le réalisme avec degrés de certitude

Prosperi

2016

mee

View full text Add to dashboard Cite

Dans le contexte de l’utilisation des degrés de certitude avec des QCM (questions à choix multiples), l’évaluateur désire mesurer l’adéquation entre la façon dont les personnes évaluées (souvent les étudiants) utilisent les degrés de certitude et les instructions fournies pour les utiliser. Cette mesure est appelée « réalisme du sujet ». Actuellement, le calcul du réalisme, quoiqu’élémentaire, présente quelques inconvénients de types calculatoire, conceptuel ou probabiliste. Une nouvelle approche de type probabiliste correspondant mieux à la définition des degrés de certitude et à la façon avec laquelle les étudiants doivent les utiliser est décrite ici. Cette approche aboutira à de nouvelles définitions et méthodes de calcul du réalisme basées sur des arguments statistiquement justifiés. Cette nouvelle définition est plus précise que la précédente, et décrit mieux la capacité de s’autoévaluer et d’utiliser correctement les degrés de certitude. Enfin, elle permettra d’améliorer la fiabilité des indices de qualité liés aux questions utilisant le réalisme, par exemple le rpbisSCT de Gilles (2002).By using confidence marking (CM) along with multiple-choice questions, an examiner needs to measure the consistency and adequacy of CM usage with the instructions given to the student. This measure is called the “realism of the subject”. Although it is easy to compute, the current realism formula entails some conceptual, probabilistic and computational weaknesses. Relying on probability theory and a set of statistically justified arguments, this paper shows a new approach to calculate realism that has a better match to the definition of CM and to the way examiners ask the students to use it. Moreover, the new realism is more precise with respect to the previous and gives a better indication of the student’s self-evaluation skills and his ability to use CM. Finally, this will improve the reliability of items quality indicators which use realism in their calculations such as Gilles’ rpbisSCT (2002).No contexto de utilização dos graus de certeza das QEM (questões de escolha múltipla), o avaliador deseja medir a adequação entre o modo como os sujeitos (frequentemente os estudantes) utilizam os graus de certeza e as instruções fornecidas para os utilizar. Esta medida é designada como “realismo do sujeito”. Atualmente, o cálculo do realismo, embora elementar, apresenta alguns inconvenientes do tipo calculatório, concetual e probabilístico. Descreve-se aqui uma nova abordagem de tipo probabilístico, a qual corresponde melhor à definição de graus de certeza e ao modo com o qual os estudantes os devem utilizar. Esta abordagem conduzirá a novas definições e métodos de cálculo do realismo baseados em argumentos estatisticamente justificados. Esta nova definição é mais precisa que a precedente, e descreve melhor a capacidade de se autovaliar e de utilizar corretamente os graus de certeza. Por fim, permitirá melhorar a fiabilidade dos índices de qualidade ligados às questões que utilizam o realismo, por exemplo o rpbisSCT de Gilles (2002)

show abstract