Valuation regimes in academia: Researchers’ attitudes towards their diversity of activities and academic performance

Abstract

Evaluation systems have been long criticised for abusing and misusing bibliometric indicators. This has created a culture by which academics are constantly exposing their daily work to the standards they are expected to perform. In this study we investigate whether researchers’ own values and expectations are in line with the expectations of the evaluation system. We conduct a multiple case-study of five departments in two Dutch universities to examine how they balance between their own valuation regimes and the evaluation schemes. For this we combine curriculum analysis with a series of semi-structured interviews. We propose a model to study diversity of academic activities and apply it to the multiple-case study to understand how such diversity is shaped by discipline and career stage. We conclude that the observed misalignment is not only resulting from an abuse of metrics, but also by a lack of tools to evaluate performance in a contextualised and adaptable way.

Contra el pensamiento mágico de la bibliometría

“…Aunque es cierto que las misiones de la universidad (docencia, investigación y transferencia) ya nos van dando una idea, establecer jerarquías entre estas misiones o esperar excelencia en todas ellas tal vez no sea lo más práctico. Para poder entender cómo otorgan valor a las actividades que hacen los profesores universitarios, lanzamos recientemente un estudio de caso donde (entre otras cosas) preguntábamos a los investigadores trabajando en universidades holandesas qué aspectos valoraban más de su trayectoria y qué aspectos valoraban de otros cuando eran ellos los evaluadores (Robinson-Garcia, et al, 2021). Por resumir, nuestros resultados fueron los siguientes: -Existe una disonancia a la hora de poner en valor lo que uno hace frente a lo que se espera de los demás.…”