Development and preliminary validation of an Objective Structured Assessment of Technical Skills (OSATS) for a partial pulpotomy procedure

Abstract

Aim To develop an Objective Structured Assessment of Technical Skills (OSATS) tool for partial pulpotomy and to preliminary assess the validity of this tool. Secondary objectives were to check internal consistency as well as the interrater reliability of this specific checklist and to compare it with the previously validated global rating score (GRS). Methodology The study assessed three groups of dental participants (mix of practitioners or students) possessing differing levels of clinical experience (7 novices, 7 intermediates, 7 experts), during a partial pulpotomy procedure on a simulated tooth with deep caries, using a bespoke procedure‐specific checklist (PSC) and the GRS. Two independent examiners received the study participants in groups of two, in order to be able to directly observe their actions and grade the different steps of the procedure from 1 to 5 on the PSC and GRS. The internal validity of the specific checklist was assessed using a Cronbach's alpha test. As the construct validity of such a tool can be determined when the tool differentiates performance based on the level of experience, the total score of the PSC of the three groups (e.g., novice group, intermediate group, experienced group) were compared using the Kruskal–Wallis and post‐hoc Mann–Whitney pairwise U test. The total scores of the GRS were also analysed in the same manner. A correlation test (Correlation Matrices Test) was carried out for the entire sample between the specific checklist and the GRS (on total score). The intraclass correlation coefficient was used to measure the degree of agreement between the two evaluators. The statistical analysis was performed with XLSTAT® and Statistica® (significance p = .05). Results The partial pulpotomy specific checklist graded from one to five demonstrated good internal consistency (0.86) and a good interrater reliability (0.91), a correct construct validity (p generally < .05) and a good positive correlation with the validated GRS (r = .92). Conclusions To address the need to develop education in vital pulp treatment, and more specifically the technical skills assessment of partial pulpotomy, an OSATS‐specific checklist was developed and preliminary validated. The checklist will need to be validated in larger cohorts.

Transferencia del aprendizaje desde la educación basada en simulación a la práctica clínica: revisión sistemática

“…4 Entre los comúnmente empleados se encuentran: preguntas de opción múltiple (MCQ), ítems de emparejamiento extendido, preguntas de respuesta corta, exámenes clínicos objetivos estructurados (OSCE), mini ejercicio de evaluación clínica (mini-CEX), observación directa de habilidades procesales (DOPS), muestreo y portafolio de trabajos clínicos y cuadernos de bitácora, 5 además de la evaluación objetiva estructurada de habilidades técnicas (OSATS) que consiste en una lista de verificación específica del procedimiento y una escala de calificación global (GRS). 6,7 Por otra parte, destacan algunos métodos recientemente validados como: La herramienta de evaluación de competencias en simulación clínica (ClinSimCAT) que se ha desarrollado específicamente para entornos de simulación y educación en enfermería; 8 El MDT: sistema de indicadores de evaluación de la práctica clínica de enfermería en equipos multidisciplinarios; 9 El instrumento aprendizaje experimentado integrado en el traba-jo (E-WIL), que mide el aprendizaje en el lugar de trabajo evaluando la transformación de nociones previas y nuevos conocimientos contextuales en significado práctico 10 y el instrumento de evaluación de simulación de Creighton (C-SEI), herramienta utilizada para evaluar las competencias de los estudiantes en la educación de enfermería, la cual también se ha aplicado tanto en entornos de aprendizaje clínicos como simulados. 11 Si bien algunas de estas herramientas se usan constantemente, existe escasa evidencia de que la aplicación de estos instrumentos sea con el fin de medir la transferencia desde EBS al entorno clínico real o comparar desempeños clínicos entre profesionales entrenados con simulación clínica y aquellos formados sólo con enseñanza tradicional.…”