Reviewing the Reviewers: Comparison of Review Quality and Reviewer Characteristics at the <i>American Journal of Roentgenology</i>

Kliewer, Mark A.; Freed, Kelly S; DeLong, David M.; Pickhardt, Perry J.; Provenzale, James M.

doi:10.2214/ajr.184.6.01841731

Cited by 60 publications

(47 citation statements)

References 14 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Primack et al (2009) found no evidence of a difference among genders. Kliewer et al (2005), Ceci &Williams (2011) andWalker (2015) confirmed the findings of Primack et al using different samples. More recent work indicates that gender does not appear to be a bias-inducing factor.…”

Section: Introductionsupporting

confidence: 87%

See 1 more Smart Citation

The iSchool Community: A Case Study of iConference Reviews

Bogers¹

iConference 2016 Proceedings

View full text Add to dashboard Cite

A fair review process is essential to the success of any scientific conference. In this paper we present an analysis of the reviewing process of the 2014-2015 iConferences as well as a demographic analysis of the iConference community as a whole. The results show a clear need for making the reviewer pool more representative of the iSchool community as a whole by including more women and more researchers from Asian institutions. Other recommendations are to improve the continuity of the reviewer pool and to provide clearer instructions to reviewers to ensure that written reviews explicitly cover all the aspects represented by the review scores. The results of our study provide the iSchool community with a descriptive analysis of its community and a better understanding of its review process.

show abstract

Section: Introductionsupporting

confidence: 87%

“…The verdict about age is also unclear. While Kliewer et al (2005) discovered that (especially younger) age has an effect on the review outcome, Primack et al (2009) found the opposite to be true. Age will not be studied in the present study, since we were unable to collect reliable data about age.…”

Section: Introductionmentioning

confidence: 99%

The iSchool Community: A Case Study of iConference Reviews

Bogers¹

iConference 2016 Proceedings

View full text Add to dashboard Cite

show abstract

“…In a logistic regression analysis the only significant characteristics were younger age and those with training in epidemiology or statistics. Other authors have found no significant correlation between quality of reviews and sex, years of reviewing and academic rank (Kliewer et al, 2005).…”

Section: What Makes a Good Reviewer?mentioning

confidence: 88%

“…However, the evidence suggests that younger reviewers make better quality reviews (Stossel, 1985;Evans, McNutt, Fletcher & Fletcher, 1993;Kliewer, Freed, DeLong, Pickhardt & Provenzale, 2005). Research training and postgraduate qualifications were not associated with review quality.…”

Section: What Makes a Good Reviewer?mentioning

confidence: 99%

Peer reviewing made easy

Halder¹,

Ramsay²,

Tyrer³

et al. 2011

Adv. psychiatr. treat

View full text Add to dashboard Cite

SummaryPeer review in scientific journals has existed for over 200 years. This process is currently the accepted way of assessing scientific manuscripts prior to publication for most journals. Despite this, little has been written about the process of peer reviewing, with hardly anything specific to psychiatric journals. This article answers fundamental questions related to peer reviewing and includes practical tips to writing reviews. It will be helpful for those keen on improving their knowledge about the peer-review process. It will not only benefit those who are reviewers or thinking about becoming reviewers, but also authors, who can use the information to improve their chances of publication.

show abstract

“…Dergimizin bilimsel performansını arttırma ve "peer-review" uygulamalarını optimize etme çalışmalarının "kanıta-dayalı yayıncılık" prensipleri (8) çerçevesinde yürütülmesinin uygun olacağına inanıyoruz (9)(10)(11)(12). Elimizde 2001'den bu yana biriken ve sürekli yenilenen veri havuzunun analiz edilmesi, negatif ve pozitif yanlarının tespit edilmesi, gelecek için strateji belirlenmesinde yararlı olabilir.…”

unclassified

Our peer-review practice and strategies to improve journal scientific performance

Kudaiberdieva¹

2010

Anadolu Kardiyol Derg

View full text Add to dashboard Cite

Daha yeni alınan bu kalite ölçütlerinin (IF, Eigenfactor puanı) ve dolayısı ile dergimizin bilimsel performansının iyileştirilmesine yönelik yaklaşımlar arasında anahtar strateji tartışmasız, yayın-lanan makalelerin kalitesinin yükseltilmesi olduğunu vurgulamak gerekir. Bunun da, kavramı 1000 yıl öncesine ve dergilerde uygulamaları 200 yıl öncesine dayanan "peer-review" sistemi ile mümkün olduğu kabul edilmektedir (6, 7). Modern tanımı ile "peer-review", bilimsel araştırmanın kalitesini ölçen bir sistemdir ve araştırmaların öneminin, doğruluğunun ve orijinalliğinin dış bağımsız eksperler tarafından değerlendirilmesine dayanır.Dergimizde, ilk yayın tarihi 2001 yılından itibaren çift-kör (hem hakem, hem yazar isimlerin körlenmesi) dış bağımsız değerlendirme/"peer-review" sistemi uygulanmaktadır. Dergimizde "peer-review" süreci 2 önemli aşamadan oluşmak-tadır: 1) Bilimsel önemi yüksek makalelerin seçilmesine ve 2) Yayına uygun yazıların sunum kalitesinin arttırılmasına yönelik çalışmalardır. Her iki aşamada da hem hakemlerin (hakemlerimizin %90'nı editör kurul dışından, konusunda güncel yayınları olan uzmanlardır), hem editörlerin ve hem de istatistik danışmanları-nın büyük sorumlulukları vardır. Hakem değerlendirmelerine dayanarak, editörlerin bilimsel açıdan etki yaratma potansiyeli taşıyan makalelerin yayına kabul kararı vermede, istatistiksel açısından Tip I (alpha error) ve Tip II (beta error) hataların en düşük seviyede tutulması en önemli amaçlarımızdır.Dergimizin bilimsel performansını arttırma ve "peer-review" uygulamalarını optimize etme çalışmalarının "kanıta-dayalı yayıncılık" prensipleri (8) çerçevesinde yürütülmesinin uygun olacağına inanıyoruz (9-12). Elimizde 2001'den bu yana biriken ve sürekli yenilenen veri havuzunun analiz edilmesi, negatif ve pozitif yanlarının tespit edilmesi, gelecek için strateji belirlenmesinde yararlı olabilir. Editörlerimiz, dergi ve yayınevi ekipleri tarafın-dan, dergimizin performans göstergeleri ile ilgili çeşitli araştırma soruları çerçevesinde bilimsel çalışmalar başlatılmıştır. Aynı yönde, hakemlerimizin makale değerlendirme görevlerini kolaylaştırmak ve netleştirmek amacı ile yeni değerlendirme rapor formuna, hakemlerin ve yazarların "peer-review" uygulamaları-mız hakkında görüşlerini yansıtan anketlerine, yakında çevrimiçi sisteminden ulaşılabilecektir.Dergimizde "peer-review" uygulamalarına özgü yayın değerlen-dirme ve baskı süreçlerinde gecikme gibi bazı dezavantajları (7) asgari düzeye indirmek ve yayın sürecinin hızlandırılmasının sağlan-ması için editör kurul kararı ile hakem değerlendirme sürecinin 21 gün ile sınırlanması ve 2011'den itibaren yayın sayısını yılda 8'e çıkarılması uygun görülmüştür. Bununla beraber, dergimiz ve yayı-nevi girişimi ile, "Baskıdan önce çevrimiçi"/"Epub ahead of print" uygulamasının Ekim 2010'dan itibaren başlanması, orijinal araştırma yazılarımızın konu güncelliğini korumalarına katkıda bulunacaktır."Peer-review" uygulamalarımızda en önemli rolü oynayan tüm hakemlerimize değerli katkıları için tekrar teşekkür etmek istiyoruz. Hake...

show abstract

Reviewing the Reviewers: Comparison of Review Quality and Reviewer Characteristics at the American Journal of Roentgenology

Abstract: The highest-rated AJR reviewers tended to be young and from academic institutions. The quality of peer review did not correlate with the sex, academic rank, or subspecialty of the reviewer.

Cited by 60 publications

References 14 publications

The iSchool Community: A Case Study of iConference Reviews

The iSchool Community: A Case Study of iConference Reviews

Peer reviewing made easy

Our peer-review practice and strategies to improve journal scientific performance

Contact Info

Product

Resources

About