Online randomized controlled experiments at scale: lessons and extensions to medicine

Abstract

Background: Many technology companies, including Airbnb, Amazon, Booking.com, eBay, Facebook, Google, LinkedIn, Lyft, Microsoft, Netflix, Twitter, Uber, and Yahoo!/Oath, run online randomized controlled experiments at scale, namely hundreds of concurrent controlled experiments on millions of users each, commonly referred to as A/ B tests. Originally derived from the same statistical roots, randomized controlled trials (RCTs) in medicine are now criticized for being expensive and difficult, while in technology, the marginal cost of such experiments is approaching zero and the value for data-driven decision-making is broadly recognized. Methods and results: This is an overview of key scaling lessons learned in the technology field. They include (1) a focus on metrics, an overall evaluation criterion and thousands of metrics for insights and debugging, automatically computed for every experiment; (2) quick release cycles with automated ramp-up and shutdown that afford agile and safe experimentation, leading to consistent incremental progress over time; and (3) a culture of 'test everything' because most ideas fail and tiny changes sometimes show surprising outcomes worth millions of dollars annually. Technological advances, online interactions, and the availability of large-scale data allowed technology companies to take the science of RCTs and use them as online randomized controlled experiments at large scale with hundreds of such concurrent experiments running on any given day on a wide range of software products, be they web sites, mobile applications, or desktop applications. Rather than hindering innovation, these experiments enabled accelerated innovation with clear improvements to key metrics, including user experience and revenue. As healthcare increases interactions with patients utilizing these modern channels of web sites and digital health applications, many of the lessons apply. The most innovative technological field has recognized that systematic series of randomized trials with numerous failures of the most promising ideas leads to sustainable improvement. Conclusion: While there are many differences between technology and medicine, it is worth considering whether and how similar designs can be applied via simple RCTs that focus on healthcare decision-making or service delivery. Changessmall and largeshould undergo continuous and repeated evaluations in randomized trials and learning from their results will enable accelerated healthcare improvements.

Nutzenbewertung digitaler Gesundheitsanwendungen – Herausforderungen und Möglichkeiten

“…Den Vorteil randomisierter Studien haben die erfolgreichsten Unternehmen der digitalen Wirtschaft (z. B. Microsoft, Google, Facebook, Amazon, Netflix) längst erkannt und nutzen sie systematisch zur kontinuierlichen Evaluation und Verbesserung ihrer Produkte, auch wenn ihnen große Datenmengen zur Verfügung stehen, die mitunter als Argument für nichtrandomisierte Studien angeführt werden [ 9 , 20 ]. Tatsächlich finden die meisten RCTs heutzutage als sog.…”

“…Tatsächlich finden die meisten RCTs heutzutage als sog. A/B-Tests in der digitalen Technologiebranche statt [ 20 ]. Anstatt Fortschritt zu behindern, beschleunigen sie Innovation und führen zu einer nachhaltigen Verbesserung wichtiger Kennzahlen (z.…”

“…Anstatt Fortschritt zu behindern, beschleunigen sie Innovation und führen zu einer nachhaltigen Verbesserung wichtiger Kennzahlen (z. B. Umsatz oder Benutzerzufriedenheit; [ 20 ]). Jede noch so kleine Verbesserung der digitalen Produkte wird trotz der schnellen Innovationszyklen in kürzester Zeit einer systematischen, randomisierten Testung unterworfen [ 20 ].…”

“…B. Umsatz oder Benutzerzufriedenheit; [ 20 ]). Jede noch so kleine Verbesserung der digitalen Produkte wird trotz der schnellen Innovationszyklen in kürzester Zeit einer systematischen, randomisierten Testung unterworfen [ 20 ]. Dies weist darauf hin, dass dies technisch und methodisch auch für DiGA möglich und vielversprechend wäre.…”

“…Der nachhaltige Stellenwert für eine strukturelle Verbesserung des Gesamtsystems wird daran erkennbar, dass randomisierte Untersuchungen zahlreiche nutzlose Innovationen ausfiltern konnten, die zu keiner Verbesserung führten. Dies betraf 2 von 3 der vielversprechendsten Ideen, in manchen Bereichen lagen die Ausfälle im Bereich von 80–90 % [ 20 ].…”