Tutor assessment of PBL process: does tutor variability affect objectivity and reliability?

Abstract

Background Ensuring objectivity and maintaining reliability are necessary in order to consider any form of assessment valid. Evaluation of students in Problem-Based Learning (PBL) tutorials by the tutors has drawn the attention of critiques citing many challenges and limitations. The aim of this study was to determine the extent of tutor variability in assessing the PBL process in the Faculty of Medical Sciences, The University of the West Indies, St Augustine Campus, Trinidad and Tobago. Method All 181 students of year 3 MBBS were assigned randomly to 14 PBL groups. Out of 18 tutors, 12 had an opportunity to assess three groups: one assessed 2 groups and 4 tutors assessed one group each; at the end each group had been assessed three times by different tutors. The tutors used a PBL assessment rating scale of 12 different criteria on a six-point scale to assess each PBL Group. To test the stated hypotheses, independent t-test, one-way ANOVA followed by post-hoc Bonferroni test, Intra Class Correlation, and Pearson product moment correlations were performed. Result The analysis revealed significant differences between the highest- and lowest-rated groups (t-ratio = 12.64; p < 0.05) and between the most lenient and most stringent raters (t-ratio = 27.96; p < 0.05). ANOVA and post-hoc analysis for highest and lowest rated groups revealed that lenient- and stringent-raters significantly contribute ( p < 0.01) in diluting the score in their respective category. The intra class correlations (ICC) among rating of different tutors for different groups showed low agreement among various ratings except three groups (Groups 6, 8 and 13) ( r = 0.40). The correlation between tutors’ PBL experiences and their mean ratings was found to be moderately significant ( r = 0.52; p > 0.05). Conclusion Leniency and stringency factors amongst raters affect objectivity and reliability to a great extent as is evident from the present study. Thus, more rigorous training in the areas of principles of assessment for the tutors are recommended. Moreover, putting that knowledge into practice to overcome the leniency and stringency factors is essential.

Innovación en los sistemas de evaluación del aprendizaje basado en proyectos

“…Según Utech (2003), las evaluaciones tradicionales no pueden medir habilidades tales como trabajar en equipo, realizar investigaciones o describir un problema y presentar una solución razonable; dado que se entiende por evaluación tradicional aquella que está supeditada a la norma mediante un único procedimiento y estrategia siendo el propietario exclusivo el docente (Tobón, 2006), en la que el docente evalúa el resultado de los aprendizajes mediante una única prueba exploratoria, como pudiera ser un modelo tipo test o examen, donde se califica en función de las respuestas correctas; sin embargo, en la evaluación en el ABP, el profesorado debe tener en cuenta aquellos elementos que forman parte del proceso de resolución del problema presentado, y no solo la solución final. Coincidimos con Sa et al (2019) en que la evaluación es uno de los elementos más importantes que el profesorado debe tener en cuenta al aplicar metodologías innovadoras y activas, donde el papel del alumnado como responsable de su propio proceso de aprendizaje debe adquirir también un papel activo en cuanto a la evaluación se refiere. Autores como Shafirova y Cassany (2017) defienden propuestas didácticas que fomentan el aprendizaje activo como forma de aprender una lengua usándola, premisa que cumple el ABP, ya que es diferente a otras estrategias pedagógicas de corte tradicional donde el alumnado es un sujeto pasivo expuesto a los contenidos por parte del profesorado(Cascales-Martínez, Carrillo-García y Redondo-Rocamora 2017), pero no hay que olvidar que la evaluación también debe atenerse a otras premisas, y debe incluir como elementos a evaluar aquellos aspectos que hacen diferente al ABP, donde el rol del alumnado y del profesorado se transforman, convirtiéndose uno en agente responsable de su propio aprendizaje y el otro en guía y consejero del proceso de enseñanza y aprendizaje respectivamente (Cascales-Martínez y Carrillo-García, 2018).…”

“…Los resultados obtenidos han dejado clara evidencia que para el profesorado supone un reto evaluar cuando se trabaja con ABP, en la línea de Giabbanelli y Tawfik (2017). Si bien, los docentes participantes reconocen que cuando trabajan con ABP evalúan algo más que los contenidos curriculares y, por tanto, plantean técnicas e instrumentos de evaluación ajustados a la idiosincrasia de esta metodología, coincidiendo así con Gentry (2000), Sa et al (2019) y Shafirova y Cassany (2017) en que el reto de la evaluación cuando se utiliza ABP es establecer técnicas de valoración que contemplen aspectos relacionados con el desarrollo de los proyectos y la participación del alumnado. Aunque si bien, y en contraposición de Gentry (2000) y Thomas (2000) que abogan la utilización de variadas técnicas de evaluación y en diferentes momentos del proceso de enseñanza y aprendizaje, hay aspectos que no consideran, como es el caso de la comparativa entre lo que los alumnos saben antes de iniciar el proceso de aprendizaje y al finalizar el mismo, realizando evaluaciones iniciales y finales para recoger los datos y comprobar de manera más eficaz el efecto del proceso de enseñanza y de la asimilación y comprensión de los contenidos trabajados en el aula.…”

“…En muchas ocasiones puede haber un alto grado de subjetividad en la evaluación de ABP, porque hay muchos elementos que el profesorado debe considerar, y sobre todo cuando no hay una respuesta única a los interrogantes que el alumnado tiene que resolver. La influencia del evaluador o evaluadora es, por lo tanto, notable, porque los factores humanos como el sesgo personal, los errores como el efecto de indulgencia, el efecto estricto, el error de tendencia central, el error lógico y el efecto halo pueden afectar la calificación de los tutores de los estudiantes en ABP (Sa et al, 2019); si bien, esto es en realidad un problema que está presente en todos los enfoques pedagógicos cuando el profesorado debe evaluar elementos que no son claramente objetivos.…”

One size doesn’t fit all: PBL tutor training and development

“…Previous reports have shown that tutors may struggle with assessment and often exhibit assessment variability, indicating that facilitator assessment may be unreliable. This finding led some groups to design and implement workshops to address assessment and feedback (Baroffio et al, 2007;Dalrymple et al, 2007;Sa et al, 2019). An important approach may also be in the training of students to identify and receive feedback, which may ensure a better outcome (Baroffio et al, 2007).…”

Our Experiences in Conducting PBL Session at Universal College of Medical Sciences (UCMS) Bhairahawa Nepal

“…It has now been part of curriculum of many medical schools all over the world including Asia [1,2]. PBL is a student-centered and problem-solving instructional strategy or approach where the learners first encounter a problem, followed by a systematic enquiry process and self-directed leaning [3][4][5].…”