Systematic reviews need to consider applicability to disadvantaged populations: inter-rater agreement for a health equity plausibility algorithm

Abstract

BackgroundSystematic reviews have been challenged to consider effects on disadvantaged groups. A priori specification of subgroup analyses is recommended to increase the credibility of these analyses. This study aimed to develop and assess inter-rater agreement for an algorithm for systematic review authors to predict whether differences in effect measures are likely for disadvantaged populations relative to advantaged populations (only relative effect measures were addressed).MethodsA health equity plausibility algorithm was developed using clinimetric methods with three items based on literature review, key informant interviews and methodology studies. The three items dealt with the plausibility of differences in relative effects across sex or socioeconomic status (SES) due to: 1) patient characteristics; 2) intervention delivery (i.e., implementation); and 3) comparators. Thirty-five respondents (consisting of clinicians, methodologists and research users) assessed the likelihood of differences across sex and SES for ten systematic reviews with these questions. We assessed inter-rater reliability using Fleiss multi-rater kappa.ResultsThe proportion agreement was 66% for patient characteristics (95% confidence interval: 61%-71%), 67% for intervention delivery (95% confidence interval: 62% to 72%) and 55% for the comparator (95% confidence interval: 50% to 60%). Inter-rater kappa, assessed with Fleiss kappa, ranged from 0 to 0.199, representing very low agreement beyond chance.ConclusionsUsers of systematic reviews rated that important differences in relative effects across sex and socioeconomic status were plausible for a range of individual and population-level interventions. However, there was very low inter-rater agreement for these assessments. There is an unmet need for discussion of plausibility of differential effects in systematic reviews. Increased consideration of external validity and applicability to different populations and settings is warranted in systematic reviews to meet this need.

Consideration of health inequalities in systematic reviews: a mapping review of guidance

“…The majority of the guidance documents have an HI focus; three focus on sex and gender [23–25], one on socio-economic status (SES) [26] and one on both sex and SES analysis in systematic reviews [35] All four generic guidance documents in which HI was considered, signposted reviewers onto HI-focused guidance produced by the Campbell and Cochrane Equity Group or the PROGRESS framework [12]. All guidance were produced for informing the production of systematic reviews with two guidance documents also applicable to other types of research [12, 26].…”

“…The documents defined their guidance in different ways, for example, as briefing notes [22–25] equity lens [12, 26, 27, 29, 30], recommendations [29, 30, 36], plausibility algorithm [35], tool [28] framework [31, 39], guidance [37, 38, 40] and guidelines [32–34]. …”

Extending the PRISMA statement to equity-focused systematic reviews (PRISMA-E 2012): explanation and elaboration

“…Authors should justify any judgments about applicability using transparent methods. There is no agreed-upon checklist for judging applicability, although many are available (Burford et al 2013a;Welch et al 2012a). However, authors should provide rationale, and any data used to make judgements about applicability.…”

Информационное Обеспечение Доказательной Охраны Здоровья. Часть ІІ

“…T. Shamliyan et al (2012) відзначено пошире-ність такого недоліку розробки систематичних оглядів з питань епідеміології хронічних неінфекційних захво-рювань, як відсутність оцінки якості першоджерел [49]. В останні роки зросла увага до відображення в система-тичних оглядах досягнення рівності в охороні здоров'я (Welch V. et al, 2012(Welch V. et al, , 2013 [27,30,45,59]. У 3-му виданні згаданої вище монографії Т. Greenhalgh з основ ДМ (2009) наведено алгоритм створення систематичного огляду на основі РКД: «Вкажіть цілі огля-ду РКД і визначте критерії включення  знайдіть випро-бування, що відповідають цим критеріям  вивчіть ха-рактеристики й оцініть методологічну якість кожного ві-дібраного випробування  на основі критеріїв включен-ня поясніть, чому ви виключили те чи інше випробуван-ня з систематичного огляду  зберіть якнайбільше да-них, по можливості звернувшись до дослідників, які здій-снювали випробування  проаналізуйте включені РКД із використанням статистичного синтезу даних (мета-№ 1 (17), 2015 www.mif-ua.com Доказова медицина / Evidence-based medicine аналізу), якщо це можливо  по можливості порівняйте альтернативні аналізи  складіть критичне узагальнен-ня систематичного огляду з зазначенням цілей, матеріа-лів, методів і результатів» [2, с.…”