A «Basket of Metrics»—the Best Support for Understanding Journal Merit

Abstract

Цель настоящей статьи-проверить утверждение, что эффективная оценка, основанная на количественных показателях, требует использования не одного, а целого набора определенных показателей (своего рода «корзины метрик») для более разнопланового и глубокого анализа качества журнала. Методы. Для изучения мнений проводился опрос (число опрошенных-204; доля ответивших-61 %) международного научного сообщества по поводу применения метрик (показателей) в системах оценки качества журналов и публикаций. Результаты. Ответ «Исследование лучше всего оценивать по нескольким критериям» был выбран наибольшим количеством респондентов (40 %) как признание ценности показателей (метрик) использования. Причем 95 % респондентов указали, что они «применяли бы» или «скорее применяли бы» показатели использования для оценки качества исследований, если бы имели доступ к этим показателям. Аналогичное предпочтение получено для простых и сложных показателей использования. Все это подтверждает, что один показатель никого не устраивает и одного параметра явно недостаточно для оценки качества. В заключение отметим, что опрос показывает полную готовность и реальное желание респондентов использовать «корзину метрик» для расширения способов, с помощью которых можно будет определить и продемонстрировать качество исследования.

Lies, damned lies, and impact factor

“…As a scientist, I fully agree with proposals that have been around for a long time that the impact factor should not be the sole element for the evaluation of individual researchers and/or articles [6]. It may be useful: I know from my own and my colleagues' experience that it is more difficult to publish a paper in high-impact factor journals -if I publish there I know that, on average (!…”

The Leiden Manifesto under review: what libraries can learn from it

“…Similar to Principle 3, but with a global perspective, the diverse nature of research at the institution, as well as in the field, should be highlighted, and appropriate denominators and indicators should be requested. Using a range of appropriate metrics from which at least two indicators are chosen for assessment is a reasonable approach (Colledge and James, 2015).…”

“…This recommendation facilitates transparency of assessment practices, enables scrutinization of indicators and allows for inclusion of disciplines and data sources that are not standard (specific databases from humanities; Danish Research Indicator Network (FIN), 2016). Bornmann and Haunschild (2016) point out that altmetrics are a valuable resource adding to the “basket of metrics”(Colledge and James, 2015) and expert assessment. Although they neither replace traditional metrics nor peer review, altmetrics can almost immediately provide a broader picture of engagement with scholarly products, provided they are equipped with persistent identifiers, e.g.…”

Field-Weighting Readership: How Does It Compare to Field-Weighting Citations?

“…In PlumX for example, the metrics available include usage (clicks, views, downloads, library holdings, video plays), captures (bookmarks, favourites, reference manager saves), mentions (blog posts, news mentions, comments, reviews, Wikipedia mentions), social media (tweets, +1s, likes, shares) and citations (citation indexes, patent citations, clinical citations, policy citations) [12]. Many studies have been done on the advantages and disadvantages of altmetrics and potential correlations to citation counts [13,14] and if researchers have an appetite and willingness to use more metrics such as usage data [15]. Whilst this paper does not go into the pros and cons of alternative metrics, we realise a growing willingness to use such metrics in the available "basket of metrics".…”