Subgroup analysis and interpretation for phase 3 confirmatory trials: White paper of the EFSPI/PSI working group on subgroup analysis

Abstract

Subgroup by treatment interaction assessments are routinely performed when analysing clinical trials and are particularly important for phase 3 trials where the results may affect regulatory labelling. Interpretation of such interactions is particularly difficult, as on one hand the subgroup finding can be due to chance, but equally such analyses are known to have a low chance of detecting differential treatment effects across subgroup levels, so may overlook important differences in therapeutic efficacy. EMA have therefore issued draft guidance on the use of subgroup analyses in this setting. Although this guidance provided clear proposals on the importance of pre-specification of likely subgroup effects and how to use this when interpreting trial results, it is less clear which analysis methods would be reasonable, and how to interpret apparent subgroup effects in terms of whether further evaluation or action is necessary.A PSI/EFSPI Working Group has therefore been investigating a focused set of analysis approaches to assess treatment effect heterogeneity across subgroups in confirmatory clinical trials that take account of the number of subgroups explored and also investigating the ability of each method to detect such subgroup heterogeneity. This evaluation has shown that the plotting of standardised effects, bias-adjusted bootstrapping method and SIDES method all perform more favourably than traditional approaches such as investigating all subgroup-by-treatment interactions individually or applying a global test of interaction. Therefore, these approaches should be considered to aid interpretation and provide context for observed results from subgroup analyses conducted for phase 3 clinical trials.

Subtypes of Clinical High Risk for Psychosis that Predict Antipsychotic Effectiveness in Long-Term Remission

“…To test whether subtype moderated the effects of APs on remission, a multiple logistic regression analysis was conducted that included AP subgroup (3 levels), subtype group (3 levels), and subtype-by-AP subgroup interaction. That said, it is challenging and unstable to select variables in regression models and subgroup analysis because different conclusions can be reached depending on the selection method applied (e. g., backward or forward selection) [31]. In the present study, the bootstrapping method (β = 1000 bootstrap samples) [32] was used, and the selection process was repeated on a series of bootstrapped samples from the original data to account and adjust for selection bias.…”

Adjustment for exploratory cut‐off selection in randomized clinical trials with survival endpoint

“…However, resampling does not allow to account for prior beliefs in homogeneous or heterogeneous populations and the level of bias reduction seems to vary. Following the argumentation of Dane, Spencer, Rosenkranz, Lipkovich, and Parke (), one can assume that the quality of adjustment depends on how often the most influential data points are included in the bootstrap samples. Thus, the level of adjustment rather reflects whether the observed effects are based on a few or on many observations.…”

Specific Aspects and Significance of Subgroup Assessment in Confirmatory Clinical Trials

“…В 2015 г. рабочая группа Управления по контролю за качеством продуктов питания и лекарственных средств США (Food and Drug Administration, FDA) подготовила технический документ по анализу подгрупп в подтверждающих исследованиях [1], в 2019 г. Европейское агентство по лекарственным средствам (European Medicines Agency, EMA) выпустило руководство по методологии и интерпретации результатов анализа подгрупп 1 , содержание которого практически полностью соответствует вышеупомянутому документу FDA. Еще один концептуальный документ, основные выводы которого в целом согласуются с позицией регуляторных органов, был подготовлен совместной рабочей группой Европейской федерации статистиков в фармацевтической промышленности (European Federation for Statisticians in the Pharmaceutical Industry, EFSPI) и профессиональной организацией статистиков в фармацевтической промышленности (Statisticians in the Pharmaceutical Industry, PSI) PSI/EFSPI [2], представляющей интересы фармацевтических компаний -разработчиков лекарственных средств.…”

“…), хотя имеющиеся разночтения в деталях еще не урегулированы и на практике могут приводить к серьезным спорным ситуациям. В частности, одна из центральных идей документа EMA 2 , касающаяся поискового анализа подгрупп при изучении отношения ожидаемой пользы к возможному риску применения лекарственных препаратов (соотношение «польза -риск» ) в подтверждающих КИ, заключается в методологическом подходе «генерирования сигналов». Под «сигналом» подразумевается вероятность обнаружения подгруппы, в которой эффект лечения отличается по величине/знаку от значений, наблюдаемых в остальной популяции исследования, при этом номинальный уровень значимости теста взаимодействия p должен составлять >0,05.…”

“…Согласно техническому документу FDA для обнаружения потенциально важных статистических взаимодействий уровень значимости теста взаимодействия p может составлять 0,10 или даже 0,20, однако в этом документе подчеркивается некорректность утверждения о применимости данной рекомендации для каждого конкретного случая вне зависимости от контекста [1]. В подготовленном PSI/EFSPI документе высказаны опасения касательно принятия ошибочных регуляторных решений вследствие ложноположительного обнаружения взаимодействия при номинальном уровне значимости p = 0,10 и предложены альтернативные статистические подходы к выполнению анализа подгрупп [2]. На практике такие разночтения означают противоположные стратегии проведения анализа подгрупп и, следовательно, интерпретации результатов терапевтической эффективности ЛП в подгруппах пациентов.…”