What Can We Learn from Many Labs Replications?

Abstract

Several hundred research groups attempted replications of published effects in so-called Many Labs studies involving thousands of research participants. Given this enormous investment, it seems timely to assess what has been learned and what can be learned from this type of project. My evaluation addresses four questions: First, do these replication studies inform us about the replicability of social psychological research? Second, can replications detect fraud? Third, does the failure to replicate a finding indicate that the original result was wrong? Finally, do these replications help to support or disprove any social psychological theories? Although evidence of replication failures resulted in important methodological changes, the 2015 Open Science Collaboration findings sufficed to make the point. To assess the state of social psychology, we have to evaluate theories rather than randomly selected research findings.

A Meta-analysis on Children’s Trust in Social Robots

“…In all cases, power analyses should be conducted a priori. cHRI researchers could also focus more towards international collaborations, such as the Many Labs project [90].…”

Psychological science from 'publish or perish' to 'trust but verify'

“…Како је социјална психологија последњих година у кризи насталој губитком поверења у поновољивост налаза истраживања, Стробе (Stroebe, 2019) прави процену осврћући се на догађаје који су се одиграли претходних година желећи да сазна, прво, да ли репликационе студије информишу о поновљивости, друго, да ли репликације могу открити превару, треће, да ли неуспех репликација указује на неисправност оригиналних студија и, као последње питање, да ли репликације помажу одрживости или оповргавању теорије. Догађај који је покренуо лавину сумње био је случај преваре коју је починио холандски социјални психолог Дидерик Стапел (Stroebe et al, 2012;Drenth, 2013), убрзо затим су уследили резултати истраживања упитних научних пракси (Simmons et al, 2011;John et al, 2012).…”

“…У исто време, појављују се извештаји неуспелих репликација познатих студија прајминга (Doyen et al, 2012;Shanks et al, 2013). Сумње су мотивисале истраживаче да се прикључе великим колаборативним пројектима и да покушају да понове резултате добијене у оригиналним студијама (Stroebe, 2019). Први пројекат репликабилности спровео je Open Science Collaboration (2015) добивши резултате да је само 36% покушаја репликација било успешно.…”

“…Како је уложено доста времена и труда у покушаје репликације, Стробе (Stroebe, 2019) сматра да је дошло време за процену онога шта смо научили из репликационих истраживања.…”

“…Репликациони пројекти резултирали су променама начина на који радимо истраживања (Stroebe, 2019) кроз побољшање методологије, што подразумева озбиљније схватање статистичке снаге истраживања, а то значи да би требало смањити упитне истраживачке праксе као што су селективно извештавање и недоследни налази. Са друге стране, олакшан је приступ подацима па ће бити лакше спроводити метаанализе.…”