Measuring Competency of Pharmacy Residents: A Survey of Residency Programs’ Methods for Assessment and Evaluation

Abstract

<p><strong>ABSTRACT</strong><br /><strong></strong></p><p><strong>Background:</strong> The Canadian Pharmacy Residency Board (CPRB) specifies the competencies that pharmacy residents must attain and the need for assessment and evaluation. Methods of assessment and evaluation are left to the discretion of individual programs. There is a scarcity of published literature compiling and comparing the strategies used by Canadian residency programs. <br /><strong></strong></p><p><strong>Objectives:</strong> To determine curricular components used for assessment and evaluation; to describe the tools used by programs; to characterize the scheduling, frequency, and repetition of curricular components; and to determine the individuals or groups involved.<br /><strong></strong></p><p><strong>Methods:</strong> Coordinators of hospital pharmacy residency programs with CPRB accreditation or accreditation pending were surveyed to collect information about the assessment and evaluation of select CPRB standards. <br />Results: From the 37 eligible residency programs, 20 unique responses (54%) were received. All respondents were general practice programs (100%) in predominantly multicentre organizations (70%). Programs were similar in terms of assessment components used, with all respondents citing care plan review, direct observation of patient care, journal clubs, creation of project timelines, and ethics submission. The predominant evaluation components were within-department presentations (100%), written manuscripts (95%), drug information rotations (85%), and longitudinal evaluations (75%). Standardized forms (70%–100%) defined by Bloom’s taxonomy (65%) and the CPRB “levels and ranges” document (60%) were the principle means used. Assessments for patient care and for provision of education were generally carried out immediately (80% and 95%, respectively), whereas project management skills were assessed predominantly at final evaluation (75%). Self-assessment and assessment by pharmacy team members occurred for every competency, whereas patients (0%–10%) and allied health professionals (5%) were less frequently involved. <br /><strong></strong></p><p><strong>Conclusions:</strong> The assessment and evaluation strategies reported by programs were congruent. The results provide a summary of national practices and will allow existing and developing programs to examine their approach to assessment and evaluation for alignment with national standards.</p><p>RÉSUMÉ<br /><strong></strong></p><p><strong>Contexte:</strong> Le Conseil canadien de résidence en pharmacie (CCRP) précise les compétences que les résidents en pharmacie doivent acquérir ainsi que le besoin d’observation et d’évaluation. Les méthodes d’observation et d’évaluation sont laissées à la discrétion de chacun des programmes. La littérature publiée qui compile et compare les stratégies utilisées par les programmes en résidence canadiens est rare. <br /><strong></strong></p><p><strong>Objectifs :</strong> Déterminer les composantes des programmes utilisés pour l’observation et l’évaluation des normes; décrire les outils utilisés par ces programmes; établir l’horaire, la fréquence et la répétition des éléments qui constituent ces programmes et déterminer les personnes ou les groupes concernés.<br /><strong></strong></p><p><strong>Méthodes :</strong> Les coordinateurs des programmes de résidence en pharmacie hospitalière ayant un agrément ou dont l’agrément est en cours de procédure ont été interrogés afin qu’ils fournissent des informations concernant l’observation et l’évaluation des normes CCRP sélectionnées. <br /><strong></strong></p><p><strong>Résultats :</strong> Des 37 programmes de résidence admissibles, 20 réponses individuelles (54 %) sont parvenues aux investigateurs. Tous les répondants représentaient des programmes de pratique générale (100 %) dans des organismes majoritairement multicentriques (70 %). Les programmes étaient similaires en termes de points à observer : tous les répondants citaient l’examen des plans de soins, l’observation directe des soins aux patients, les clubs de journaux, la création d’échéanciers pour la réalisation de projets et la proposition de documents sur l’éthique. Les critères d’évaluation prédominants consistaient en des présentations au sein du département (100 %), la rédaction de manuscrits (95 %), des rotations reliées au service d’information pharmacothérapeutique (85 %) et les évaluations longitudinales (75 %). Les formulaires standardisés (70 %–100 %) définis par la taxonomie de Bloom (65 %) et le document Levels and ranges (niveaux de performance des compétences) du CCRP (60 %) étaient les ressources de base utilisées. L’observation des soins aux patients et de la formation avait généralement lieu immédiatement (respectivement 80 % et 95 %,), tandis que les compétences en matière de gestion de projet étaient majoritairement évaluées en dernier (75 %). L’auto-observation et l’observation effectué par des membres de l’équipe de pharmacie portaient sur chaque compétence, tandis que les patients (0 % – 10 %) et les autres professionnels de la santé (5 %) participaient plus rarement à cette observation.</p><p><strong>Conclusions :</strong> Les stratégies d’observation et d’évaluation rapportées par les programmes concordaient. Les résultats fournissent un résumé des pratiques nationales et permettront aux responsables des programmes existants et en cours d’élaboration d’étudier l’approche de l’observation et de l’évaluation pour l’aligner sur les normes nationales. </p>

Competency framework for hospital pharmacy residency: a scoping review

“…The importance of specifying the skills that pharmacy residents should achieve in the residency program and the need for assessment and evaluation was also discussed in the scientific article by Kary et al, (2019) In Australia, although the lack of formal or structured post-registration (post-licensing) experimental training programs has been a barrier to strengthening and expanding the roles and scopes of practice for pharmacists, this country has been rapidly advancing to structure and qualify residency programs for pharmacists. Besides, the Australian Pharmacy Council requires that all professionals who assess students/residents are suitably qualified, experienced, and prepared for their role and Although a limited sample was obtained in this review study, it can be seen that while some countries are more developed in this diverse universe of residency programs for pharmacists, following pioneering models such as those adopted in the USA.…”

“…The assessment and evaluation strategies reported by programs were congruent. For authors, results summarize national practices and allow existing and developing courses to examine their assessment and evaluation approach for alignment with national standards (Kary, Dumont, Tangedal, Bolt, & Semchuk, 2019).…”