Toward an Evidence-Based Approach to Building Evaluation Capacity

Abstract

Organizations are required to evaluate their programs for both learning and accountability purposes, which has increased the need to build their internal evaluation capacity. A remaining challenge is access to tools that lead to valid evidence supporting internal capacity development. The authors share practical insights from the development and use of the Evaluation Capacity Needs Assessment tool and framework and implications for using its data to make concrete decisions within Canadian contexts. The article refers to validity evidence generated from factor analyses and structural equation modelling and describes how applying the framework can be used to identify individual and organizational evaluation capac­ity strengths and gaps, concluding with practice considerations and future directions for this work.

Advancing a Competency-Based Mixed Methods Tool to Assess a Course-Based Service-Learning Model Integrating Real-World Experience

“…Tus, evaluation training including MM integration and complex MM evaluation designs adds merit to the program curriculum for our future generation of evaluators. Given the lack of guidance on MM evaluation ( El Hassar et al, 2020 ) or integration of MM in evaluation in the evaluation competencies, most existing evaluation training does not examine these important methodological areas or emerging methodological trends. To prepare and advocate for credentialling evaluators, the evaluation community should consider how awareness of MM evaluation importance shapes revisions of essential competencies ( Mertens, 2018 ;Stevahn et al, 2005 ).…”

“…As the evaluation feld continues to professionalize and as engaged training strategies strengthen, empirical work examining teaching and learning in evaluation is needed. Given the need for evaluator training, access to research-tested tools to generate learning evidence ( El Hassar et al, 2020 ) and efective, innovative pedagogies for teaching future evaluators about essential evaluator competencies require critical attention.…”

Validation du questionnaire sur la capacité évaluative des organisations et ses déterminants (QCEOD)

“…Plus récemment, des questionnaires ont été développés en abordant la CÉ et ses déterminants sur un spectre plus large (El Hassar et al, 2020;Gagnon et al, 2018;Taylor-Ritzler et al, 2013). Une limite apparaît toutefois dans l'utilisation de ces instruments plus exhaustifs: leur validation repose sur l'avis d' experts ou de gestionnaires qui se prononcent sur l' organisation dans l' ensemble.…”

“…À travers ce processus, les participants ont rapporté être éclairés par rapport aux défi s que rencontrent les professionnels en évaluation au travers de l' organisation. El Hassar et al (2020) ont, quant à eux, validé un instrument de mesure de la capacité évaluative en sollicitant des employés sur un spectre professionnel plus large. Le questionnaire était rempli majoritairement par des gestionnaires et des leaders, mais aussi par une proportion signifi cative d' employés de première ligne.…”

“…Notamment, la recherche quantitative sur le RCÉ a stimulé le développement d'instruments de mesure qui ont contribué à l' émergence de consensus sur les facteurs associés à la CÉ et leur opérationnalisation (Labin, 2014;Wandersman, 2014). Bien que divers instruments permettent actuellement de faire un diagnostic de la CÉ (El Hassar, Poth, Gokiert et Bulut, 2020;Gagnon, Aubry, Cousins, Goh et Elliott, 2018;Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry et Balcazar, 2013), certaines limites demeurent notamment au niveau de la représentativité de ces diagnostics et de la prise en compte de diverses variables individuelles telles que les croyances et les prédispositions des employés face à l' évaluation (Swope, 2021). Le présent article propose de mettre en lumière ces limites et d'y répondre par le biais d'un nouvel outil: le questionnaire sur la capacité évaluative des organisations et ses déterminants (QCEOD).…”