Developing, evaluating and validating a scoring rubric for written case reports

Abstract

ObjectivesThe purpose of this study was to evaluate Family Medicine Clerkship students’ writing skills using an anchored scoring rubric. In this study, we report on the assessment of a current scoring rubric (SR) used to grade written case description papers (CDP) for medical students, describe the development of a revised SR with examination of scoring consistency among faculty raters, and report on feedback from students regarding SR revisions and written CDP.MethodsFive faculty members scored a total of eighty-three written CDP using both the Original SR (OSR) and the Revised SR1 (RSR1) during the 2009-2010 academic years.ResultsOverall increased faculty inter-rater reliability was obtained using the RSR1. Additionally, this subset analysis revealed that the five faculty using the Revised SR2 (RSR2) had a high measure of inter-rater reliability on their scoring of this subset of papers (as measured by intra-class correlation (ICC) with ICC = 0.93, p < 0.001.ConclusionsFindings from this research have implications for medical education, by highlighting the importance of the assessment and development of reliable evaluation tools for medical student writing projects.

La retroalimentación constructiva en el desarrollo de habilidades comunicativas escritas e investigativas en dos generaciones de alumnos de medicina en Yucatán, México

“…En nuestro caso evaluamos las revisiones empleando la retroalimentación constructiva y logramos evaluar cuantitativamente la utilidad de la rúbrica de expresión escrita en combinación con las directrices consolidadas para estudios clínicos y epidemiológicos (21)(22)(23)(24) .…”

“…Para la comunicación científica necesitan además la capacidad de síntesis y congruencia en la redacción de los elementos metodológicos, como lo son los objetivos, las hipótesis o conclusiones. Para ello, la evaluación de protocolos escritos por los estudiantes de pregrado en medicina es una vía útil para evaluar y reforzar las habilidades comunicativas de los médicos en formación, perfeccionar capacidades profesionales críticas y facilitar su razonamiento científico metodológico (5,6) .…”

Dereceli Puanlama Anahtarı Kullanan Öğrencilerin Başarıları Üzerine Bir İnceleme

“…Bir görevin niteliğinin değerlendirilmesi için gerekli olan boyutları barındırır (Rezaei ve Lovorn, 2010). Belirli öğrenme hedeflerine yönelik ölçütleri ve standartları belirtir; her bir kategoriye sayısal bir değer atar (Cyr, Smith, Broyles ve Holt, 2014).…”

“…Öğrenci açısından bakıldığında DPA'lar öğrencilerin ödevlerin içeriğini anlamalarına yardımcı olur (Kan, 2007;Panadero ve Jonsson, 2013;van Helvoort, 2012), onların ilerlemelerini düzenler (Andrade ve Du, 2005;van Helvoort, 2012), aldıkları puanların nedenle rini anlamalarını sağlar (Moskal, 2000;Oakleaf, 2008;Scharf, Elliot, Huey, Briller ve Joshi, 2007;van Helvoort, 2012) ve nitelikli ödevlerin özelliklerini anlatır (Bolton, 2006;Cyr, Smith, Broyles ve Holt, 2014;DelleBovi, 2012;Goodrich, 2000;Kan, 2007;Moskal, 2000). Öğrenciler, DPA'lardan aldıkları dönütlerle güçlü ve zayıf yönleri hakkında bilgi sahibi olurlar (Cyr, Smith, Broyles ve Holt, 2014;Fehring, 2005;Goodrich, 2000;Jonsson ve Svingby, 2007;Panadero ve Jonsson, 2013;van Helvoort, 2012). Başka bir deyişle, DPA'lar öğrencilere dönüt vermesi bakımından da öğretimin ayrılmaz birer parçasıdır.…”

“…Öğretmenler ise DPA'lar yardımıyla öğrenci çalışmalarını daha nesnel , hızlı (Aslanoğlu, 2003;Goodrich, 2000Goodrich, , 2005Kutlu, Doğan ve Karakaya, 2014;Tompkins, 2008), etkili (DelleBovi, 2012 ve tutarlı değerlendirebilir (Cyr, Smith, Broyles ve Holt, 2014), derslerini öğrencilerin yetenek ve gereksinimlerine uygun biçimde planlayabilir (Mason ve Steedly, 2006) ve öğrencilere dönüt verilmesi gerektiğinde uzun uzun açıklamalar yapmak yerine, değerlendirmede kullanılan DPA'nın boyutlarına dikkat çekebilirler (Goodrich, 2000). Kısaca bu anahtarlar, öğrenci ve öğretmenlerin öğrenme görevlerinin en önemli öğesine odaklanmalarını sağlar.…”