Polaridad de los comentarios y consistencia interna en los informes de arbitraje de artículos de investigación

Abstract

Resumen: El informe de arbitraje en los procesos de revisión por pares de artículos de investigación es un género clave para explicar cómo se construye colectivamente el conocimiento científico. En estos informes los evaluadores emiten, junto con una serie de comentarios, una recomendación de publicación. El análisis de la calidad del proceso de evaluación por pares se ha realizado a partir de indicadores, como las tasas de rechazo o el grado de acuerdo entre los evaluadores. Sin embargo, aún queda pendiente una evaluación cualitativa del proceso. El objetivo de este trabajo fue describir la proporción, según su polaridad (positiva, negativa y neutra), de los comentarios de 56 informes de evaluación de la Revista Onomázein y determinar si esa proporción era consistente con la recomendación de los evaluadores (Aceptado, Aceptado con enmiendas mayores o menores, y Rechazado). Del análisis de 1.472 comentarios se determinó que, independientemente de la decisión, la mayor proporción corresponde a comentarios negativos. Asimismo, podemos afirmar que los procesos analizados presentan un alto grado de consistencia. Mientras más favorable es la recomendación de los árbitros mayor es la proporción de comentarios positivos emitidos y, correspondientemente, menor es la proporción de comentarios negativos.Palabras clave: proceso de evaluación por pares, consistencia, informe de evaluación, polaridad evaluativa Polarity of comments and internal consistency in peer review reports on scientific research articles Abstract: Peer review reports on scientific articles means a key genre to explain how scientific knowledge is collectively constructed. In these reports, reviewers write a recommendation for publication along with a series of comments. The quality analysis of the peer review process has been commonly conducted based on indicators, such as rejection rates and the agreement level among evaluators. However, a more qualitative investigation on the process still remains outstanding. This work aims at describing the polarity (positive, negative and neutral) of comments corresponding to 56 peer review reports belonging to the journal Onomázein and determining whether this proportion is consistent with the reviewers recommendation, i.e. Accepted, Accepted with major revisions, Accepted with minor revisions and Rejected). After the analysis of 1.472 comments, it was possible to determine that the highest proportion of comments is negative, independent of the decision. The analyzed processes also showed a high level of consistency. The more favorable the recommendation, the higher the proportion of positive comments, and, consequently, the less the proportion of negative comments.Key words: peer review process, consistency, peer review report, evaluative polarity Polaridade dos comentários e consistência interna nos informes de arbitragem de artigos de pesquisaResumo: O informe de arbitragem nos processos de revisão por pares de artigos de pesquisa é um gênero chave para explicar como se constrói coletivamente o conhecimento cie...

El informe de arbitraje de rechazo: su microvariación según los tipos de evaluador

“…Por ejemplo, qué es lo evaluado y cuáles son los actos comunicativos que los evaluadores realizan cuando rechazan la publicación de un manuscrito. Además, cabe señalar, el resto de los componentes ya han sido explorados en otros trabajos (ver Astudillo, 2015;Astudillo et al, 2016). La calidad del modelo se determinó con distintos procedimientos de triangulación que aparecen descritos en detalle en Sabaj et al (2018).…”

“…Estos árbitros son los que más utilizan propósitos comunicativos de tipo descriptivo en los informes de rechazo. Los comentarios descriptivos que tienen una polaridad evaluativa neutra (Astudillo et al, 2016) no tienen ninguna utilidad para los autores, menos cuando se recomienda el rechazo del manuscrito evaluado. Los datos de otros trabajos (Astudillo, 2016, Suid, Sabaj & González, 2018Cabezas et al, 2018) sugieren que el uso de este tipo de propósitos tiene como función principal introducir de manera matizada un comentario evaluativo negativo, o bien demostrar que se ha revisado el manuscrito de manera cuidadosa.…”

“…El Informe de Arbitraje como género discursivo: vacíos en su estudio El Informe de Arbitraje, como género discursivo, tiene características particulares que lo convierten en uno de los textos más importantes para comprender cómo la ciencia se construye de manera colectiva. Diversos autores (como Gosden, 2001Gosden, y 2003Bolívar, 2008;Fortanet, 2008;Astudillo, 2015;Astudillo et al, 2016;Samraj, 2016;Suid, Sabaj & González-Vergara, 2018;Cabezas et al, 2018;Sabaj et al, 2018) han descrito estas características.…”

“…Un último y reducido grupo de trabajos (Gosden, 2001(Gosden, y 2003Bolívar, 2008Bolívar, y 2011Fortanet, 2008;Astudillo, 2015;Astudillo et al, 2016;Samraj, 2016;Suid et al, 2018;Sabaj et al, 2018) aborda el estudio de los informes de arbitraje desde un enfoque eminentemente discursivo. De estos, la mayoría son para informes escritos en lengua inglesa: i) Gosden (2001), por ejemplo, identifica los elementos evaluados (detalles técnicos, discusiones, referencias y formato) y las funciones (señalar errores, manifestar que un extracto es confuso, evaluar) en un corpus de 40 informes de ciencias, ii) Fortanet (2008), en tanto, describe los patrones evaluativos (críticas, recomendaciones, preguntas) de un conjunto de IA de los ámbitos de la lingüística aplicada y de los negocios, iii) Samraj (2016), por último, muestra las múltiples formas en las que se despliegan y combinan las recomendaciones y las evaluaciones negativas en un conjunto de 50 informes de arbitraje de una revista de lingüística.…”

“…En 2011, la autora (Bolívar, 2011) describió las funciones de la negación en IA y determinó que se utiliza con cuatro funciones o propósitos: determinar lo que falta, lo que sobra, lo que no está bien o lo que no es adecuado desde un punto de vista social. Otros trabajos relevantes actuales para nuestra lengua son, entre otros: i) la propuesta de un modelo discursivo para el análisis de artículos rechazados de Astudillo (2015); ii) el análisis de la proporción de los comentarios según su polaridad evaluativa (positiva, negativa o neutra) y la recomendación de publicación (Astudillo et al, 2016); iii) el estudio de las estrategias de atenuación en los informes de arbitraje (Suid et al, 2018); iv) el análisis de la variación del informe de arbitraje según extensión y el tiempo que los árbitros toman para remitirlo al editor (Cabezas et al, 2018); y, v) la variación del informe de arbitraje según la recomendación de publicación y la productividad de los autores (Sabaj et al, 2018).…”