Cross-Continental Reflections on Evaluation Practice

Abstract

The evaluation theory tree typology reflects the following three components of evaluation practice: (a) methods, (b) use, and (c) valuing. The purpose of this study was to explore how evaluation practice is conceived as reflected in articles published in the American Journal of Evaluation (AJE) and Evaluation, a journal supported by the European Evaluation Society. A key finding from this international comparison suggests that evaluation practice as reflected in AJE and Evaluation both emphasize methods, in comparison to use and valuing. This article concludes using Peter DahlerLarsen's discussion on evaluation societies, among other sources, to examine the audit society, which might account for the trends in our findings. EvalPartners, a global community of evaluators, has declared 2015 as the international year of evaluation. These findings regarding cross-continental trends in evaluation are relevant for engaging in a global dialogue on evaluation practice.

Following the Evidence Practice: An Analysis of Evaluation Studies on EU Railway Policy

“…Evaluation practices can be distinguished according to taxonomies. Specifically, the "evaluation theory tree" emphasises three major areas of theorising related to evaluation practice: (i) methods of knowledge construction, (ii) valuing (descriptive or prescriptive approaches to addressing stakeholder values), and (iii) use of evaluation (Christie and Alkin 2013;Kallemeyn et al 2015). The evaluation theory tree has been used for reflecting on the scholarly debate on evaluation practice Alkin 2008, 2013) and to disentangle patterns of evaluation practice in Europe and the United States as presented in the scientific articles (Kallemeyn et al 2015).…”

“…Several evaluation approaches to EU policies have been proposed to categorise evaluation practices and methods (Pattyn et al 2018;Stame 2008). By relying on the "evaluation theory tree" typology of methods, use, and valuing Alkin 2008, 2013;Kallemeyn et al 2015), this article aims to conceptually link the different functions of EU evaluation with actual practice as documented in evaluation studies conducted for the European Commission by external consultancies.…”

Uso dos resultados da autoavaliação institucional pelos gestores da Universidade de Brasília

“…Trata-se de um estudo de caso único, com enfoque profissional aplicado, exploratório e descritivo, que adotou recorte transversal e abordagem quali-quanti. A adoção por uma abordagem mista atende às recomendações de Leviton e Hughes (1981), Cousins e Leithwood (1986), Johnson et al (2009) e Kallemeyn et al (2015), para que sejam realizados estudos quantitativos sobre o uso de resultados das avaliações devido à predominância de pesquisas exclusivamente qualitativas nesse campo de estudo. Kallemeyn et al (2015) aponta a forte predominância de estudos sobre metodologias de avaliação em detrimento de estudos voltados para o uso e valor das avaliações.…”

“…A adoção por uma abordagem mista atende às recomendações de Leviton e Hughes (1981), Cousins e Leithwood (1986), Johnson et al (2009) e Kallemeyn et al (2015), para que sejam realizados estudos quantitativos sobre o uso de resultados das avaliações devido à predominância de pesquisas exclusivamente qualitativas nesse campo de estudo. Kallemeyn et al (2015) aponta a forte predominância de estudos sobre metodologias de avaliação em detrimento de estudos voltados para o uso e valor das avaliações. Além disso, faz-se necessária a realização de estudos que problematizem o uso dos resultados da AAI pelas IES, uma vez que, segundo Ramos e Schabbach (2012), os estudos sobre avaliação, realizados no cenário nacional, privilegiam a metodologia e as formas de classificação, com poucos estudos sobre o uso dos resultados.…”

“…Fonte: Elaboração própria com base em Leviton e Hughes (1981), Cousins e Leithwood (1986) e Johnson et al (2009).…”