Testing What Matters (If You Must Test at All): A Context‐Driven Approach to Substantive and Statistical Significance

Abstract

For over a half century, various fields in the behavioral and social sciences have debated the appropriateness of null hypothesis significance testing (NHST) in the presentation and assessment of research results. A long list of criticisms has fueled the so-called significance testing controversy. The conventional NHST framework encourages researchers to devote excessive attention to statistical significance while underemphasizing practical (e.g., scientific, substantive, social, political) significance. I introduce a simple, intuitive approach that grounds testing in subject-area expertise, balancing the dual concerns of detectability and importance. The proposed practical and statistical significance test allows the social scientist to test for real-world significance, taking into account both sampling error and an assessment of what parameter values should be deemed interesting, given theory. The matter of what constitutes practical significance is left in the hands of the researchers themselves, to be debated as a natural component of inference and interpretation.

The Sound of Rebellion: Voting Dissent and Legislative Speech in the UK House of Commons

“…Furthermore, we know from an extensive literature that a statistical association does not mean that a variable will be strongly predictive of a particular phenomenon. There is, after all, a reasonable gulf between statistical and substantive significance (Esarey and Danneman ; Gross ; McCaskey and Rainey ). Here we build a predictive model using a random forest algorithm, and find that many of the language features we study do, in fact, predict rebellion .…”

Führt Polarisierung zu politischem Engagement?

“…Die Frage, die sich nun stellt, ist jedoch, ob dieses statistische und eher abstrakte Ergebnis auch praktische Relevanz aufweist. Zur Überprüfung dieser empfiehlt Gross () die Verwendung von Bezugspunkten, anhand derer die praktische Relevanz der identifizierten Effekte beurteilt werden kann. Er schlägt zwei mögliche Vorgehensweisen vor: Die erste Variante ist eine Beurteilung der empirischen Ergebnisse auf der Grundlage hinlänglicher Erfahrungswerte der theoretischen Diskussion, der vorliegenden Datenlage sowie den methodischen Design‐ und Messmöglichkeiten.…”

“…Da es sich bei der Public Opinion Polarisation jedoch um ein relativ junges Konzept handelt und hier außerdem neue Indikatoren zu ihrer Messung verwendet werden, kann nicht auf ausreichend Erfahrung zurückgegriffen werden, um die Relevanz der identifizierten Effekte zu beurteilen. Ich mache daher von der zweiten von Gross (: 783ff) vorgeschlagenen Möglichkeit Gebrauch und ziehe eine bereits etablierte Determinante politischer Partizipation als Vergleichsmaßstab heran. Da die Regressionskoeffizienten nicht sinnvoll miteinander verglichen werden können, werden dazu die zentralen Prädiktoren standardisiert, um das relative Gewicht der Effekte zu bestimmen.…”

Las pruebas de significación estadística: seis décadas de fuegos artificiales

“…No en balde, Guttman señalaba hace 4 décadas que "la experiencia muestra que la intolerancia suele venir de los firmes creyentes en prácticas sin fundamento" [56]. Lo más curioso es que este tema ya ha dejado de ser controversial entre los estadísticos; el consenso crítico es, simplemente, clamoroso [57], aunque no pocos insisten en la idea de que, si bien los valores p se usan mal a diario, ellos son útiles cuando se usan bien. El problema está en que mientras proliferan miles de ejemplos de un mal uso cada semana, nadie parece poder dar con una explicación de cómo pueden usarse bien, ni mucho menos de ilustrarlo de forma transparente y persuasiva.…”