Statistisch signifikant wird das Ergebnis eines statistischen Tests genannt, wenn Stichprobendaten so stark von einer vorher festgelegten Annahme (der Nullhypothese) abweichen, dass diese Annahme nach einer vorher festgelegten Regel verworfen wird.
Hierfür wird nach gängiger Praxis vor der Testdurchführung ein Signifikanzniveau festgelegt, das die Fehlerwahrscheinlichkeit 1. Art, also die Wahrscheinlichkeit, dass eine Nullhypothese (Hypothesis to be nullified – „Hypothese, die [anhand der Studiendaten] verworfen werden soll“Gigerenzer G. (2004). Mindless statistics. J. Soc. Econ. 33, 587–606. , zitiert nach Fisher, Neyman-Pearson or NHST? A tutorial for teaching data testing. Frontiers in Psychology 2015; 6: 223. ) fälschlich verworfen wird, nach oben beschränkt. Die Fehlerwahrscheinlichkeit 1. Art wird auch als Irrtumswahrscheinlichkeit bezeichnet, das vorgegebene Signifikanzniveau dementsprechend auch zugelassene oder erlaubte Irrtumswahrscheinlichkeit genannt. Der Fehler 2. Art liegt vor, wenn die Nullhypothese nicht abgelehnt wird, obwohl sie falsch ist. Die Fehlerwahrscheinlichkeit 2. Art, also die Wahrscheinlichkeit einen Fehler 2. Art zu begehen, ist in der Regel umso größer, je kleiner das Signifikanzniveau ist. Zu Fragen nach der Stärke von Effekten, der Relevanz der Ergebnisse für eine bestimmte Fragestellung oder deren Übertragbarkeit auf andere Umstände gibt das Ergebnis eines Signifikanztests keine Auskunft.
Der p-Wert als Maß der statistischen Signifikanz wird häufig fehlinterpretiert und falsch verwendet, weswegen sich die American Statistical Association im Jahr 2016 veranlasst sah, eine Mitteilung über den Umgang mit statistischer Signifikanz zu veröffentlichen.R. Wasserstein, N. Lazar: The ASA’s Statement on p-Values: Context, Process, and Purpose. In: The American Statistician. Band 70, Nr. 2, 2016, S. 129–133, . Einer kleinen kanadischen Feldstudie von 2019 zufolge wird in etlichen Lehrbüchern der Begriff nicht korrekt vermittelt.S. Cassidy, R. Dimova, B. Giguère, J. Spence, D. Stanley: Failing Grade: 89% of Introduction-to-Psychology Textbooks That Define or Explain Statistical Significance Do So Incorrectly. In: Advances in Methods and Practices in Psychological Science. Juni 2019, doi:10.1177/2515245919858072.
Grundlagen Überprüft wird statistische Signifikanz durch statistische Tests, die so gewählt werden müssen, dass sie dem Datenmaterial und den zu testenden Parametern bezüglich der Wahrscheinlichkeitsfunktion entsprechen. Nur dann ist es möglich, aus der Wahrscheinlichkeitsverteilung für Zufallsvariablen mathematisch korrekt den jeweiligen p-Wert zu errechnen als die Wahrscheinlichkeit, ein Stichprobenergebnis wie das beobachtete oder ein extremeres zufallsbedingt zu erhalten. Wie hoch deren Anteil bei unendlich oft wiederholten Zufallsstichproben aus derselben Gesamtheit zu erwarten ist, kann als Wert zwischen 0 und 1 angegeben werden. Dieser p-Wert wird somit berechnet unter der Annahme, dass die sogenannte Nullhypothese zutrifft.
Im Folgenden wird zur Vereinfachung angenommen, dass die zu prüfende Nullhypothese einfach ist, also nicht mehrere Wahrscheinlichkeitsverteilungen bzw. Parameter zulässt, und dass die Nullhypothese inhaltlich von der Form ist 'es liegt kein Unterschied vor', 'es liegt kein Effekt vor' oder 'es liegt keine Wirkung vor'.
Anhand des p-Werts wird bestimmt, ob ein bestimmtes vorab festgelegtes Signifikanzniveau überschritten wird oder nicht. Dieses beschränkt die Wahrscheinlichkeit, dass z. B. die Nullhypothese: „Die festgestellten Unterschiede sind zufällig zustande gekommen“ abgelehnt wird, obwohl sie richtig ist. Die irrtümliche Ablehnung einer wahren Nullhypothese heißt Fehler 1. Art oder α-Fehler.
Sinnvollerweise wird bei der Festlegung dieser kritischen Schwelle bedacht, welche Konsequenzen der Fall hätte, dass irrtümlich angenommen wird, ein beobachteter Unterschied sei nur zufällig. Hält man diese Folgen eher für gravierend, so wird man hier eher ein niedriges Niveau als ein höheres wählen, beispielsweise lieber 1 % als 5 %, oder aber 0,1 % für die maximal zulässige Irrtumswahrscheinlichkeit festlegen. Diese Wahrscheinlichkeit wird als Signifikanzniveau bezeichnet.
So bedeutet : Falls die Nullhypothese richtig ist, darf die Wahrscheinlichkeit dafür, dass sie fälschlich abgelehnt wird (Fehler 1. Art), nicht mehr als 5 % betragen. Entsprechend beträgt dann die Wahrscheinlichkeit, eine richtige Nullhypothese aufgrund des statistischen Tests nicht abzulehnen, , sprich mindestens 95 %.
Ergibt die Anwendung des statistischen Verfahrens, dass der geprüfte beobachtete Unterschied statistisch nicht signifikant ist, kann man daraus keine definitiven Schlüsse ziehen. Auch ist in diesem Fall meist noch nicht einmal die Wahrscheinlichkeit eines Fehlers 2. Art () bekannt, eine falsche Nullhypothese für richtig zu halten.
Das Signifikanzniveau sagt also nur, wie groß höchstens die Wahrscheinlichkeit eines Fehlers 1. Art ist, also die Wahrscheinlichkeit, dass die Nullhypothese abgelehnt wird, obwohl sie richtig ist. Das Signifikanzniveau besagt nicht, mit welcher Wahrscheinlichkeit eine Hypothese richtig ist. Soll eine Hypothese als richtig erwiesen werden, so ist die Wahrscheinlichkeit des Fehlers 2. Art, dass die Hypothese als richtig befunden wird, obwohl sie falsch ist, umso größer, je kleiner das Signifikanzniveau ist.
Beispiel: Es liegt ein Versuch zugrunde, der als Grundlage die Wahrscheinlichkeit p = ¼ hat. Geprüft werden soll die Hypothese p = 1/5. Die Wahrscheinlichkeit, dass die Hypothese für richtig befunden wird, obwohl sie falsch ist, hängt von der Anzahl durchgeführter Versuche sowie dem Signifikanzniveau ab. Sie beträgt bei 25 Versuchsdurchführungen 93 % bei einem Signifikanzniveau von 5 % und 99 % bei einem Signifikanzniveau von 1 %; bei 1000 Versuchsdurchführungen sind es 3,6 % bei einem Signifikanzniveau von 5 % und 11,4 % bei einem Signifikanzniveau von 1 %.
Allgemeiner verstanden beschreibt die statistische Signifikanz also den möglichen Informationsgehalt eines Ereignisses bzw. einer Messung vor dem Hintergrund zufälliger Verteilungen als Wahrscheinlichkeit. Je kleiner ist, desto höher ist dann die Informationsqualität eines signifikanten Ergebnisses.
Entscheidend für die qualitative Bewertung ist die Frage: „Wovon hängt die statistische Signifikanz ab?“
In erster Linie sind hier die Größe einer Stichprobe, deren Repräsentativität und ihre Varianz zu nennen. Die statistische Signifikanz wird wesentlich durch die Stichprobengröße beeinflusst. Wird statt einer größeren nur eine kleine Stichprobe untersucht, dann ist es wahrscheinlicher, dass deren Zusammensetzung nicht die Grundgesamtheit repräsentiert. Die infolge zufällig getroffener Auswahl auftretenden Unterschiede fallen so stärker ins Gewicht. Bildet die gewählte Stichprobe die Grundgesamtheit in ihren wesentlichen Merkmalen ab, spricht man von einer repräsentativen Stichprobe. Wichtig für die Informationsqualität ist ebenfalls die Varianz, also die Streuung der Werte innerhalb der untersuchten Gruppe.
Beispielhafte Fragestellungen Bei einer Umfrage wird festgestellt, dass 55 % der Frauen zu Partei A tendieren, während von 53 % der Männer Partei B bevorzugt wird. Gibt es tatsächlich einen Unterschied bei der politischen Überzeugung von Männern und Frauen oder sind nur zufällig bei den Frauen viele Anhängerinnen von Partei A und bei den Männern von Partei B befragt worden? Mit einem neuen Medikament ist die Heilungsrate höher als ohne Medikament. Ist das neue Medikament wirklich wirksam oder sind nur zufällig besonders viele Patienten ausgewählt worden, die auch von alleine wieder gesund geworden wären? In der Umgebung einer Chemiefabrik tritt eine bestimmte Krankheit besonders häufig auf. Ist das Zufall oder gibt es einen Zusammenhang?
Irrtumswahrscheinlichkeit und Signifikanzniveau
In den oben genannten Beispielen muss man annehmen, dass der Zufall die Ergebnisse beeinflusst hat. Man kann jedoch abschätzen, wie wahrscheinlich es ist, dass die gemessenen Ergebnisse auftreten, wenn nur der Zufall wirkt. Dieser zufällige Fehler wird allgemein als Fehler 1. Art (Synonym: -Fehler) bezeichnet und die Wahrscheinlichkeit seines Auftretens – unter der Voraussetzung, dass die Nullhypothese richtig ist – als Irrtumswahrscheinlichkeit.
Bei einem parametrischen Modell hängen die Wahrscheinlichkeiten für die verschiedenen Fehlschlüsse vom unbekannten Verteilungsparameter ab und können mit Hilfe der Gütefunktion des Tests angegeben werden.
Die obere Grenze für die Irrtumswahrscheinlichkeit, also jener Wert, den man für die Wahrscheinlichkeit eines Fehlers 1. Art noch eben zu akzeptieren bereit ist, heißt Signifikanzniveau. Grundsätzlich ist dies frei wählbar; häufig wird ein Signifikanzniveau von 5 % verwendet. Die Etablierung dieses Wertes wird verschiedentlich R. A. Fisher zugeschrieben.Stephen Stigler: Fisher and the 5% level. In: Chance. Bd. 21, Nr. 4, 2008, S. 12, . In der Praxis bedeutet dieses Kriterium, dass im Schnitt eine von 20 Untersuchungen, bei denen die Nullhypothese richtig ist (z. B. ein Medikament tatsächlich wirkungslos ist), zu dem Schluss kommt, sie sei falsch (z. B. behauptet, das Medikament erhöhe die Heilungschancen).
Eine heuristische Motivation des Wertes 5 % ist wie folgt: Eine normalverteilte Zufallsgröße nimmt nur mit einer Wahrscheinlichkeit von kleiner oder gleich (≤) 5 % einen Wert an, der sich vom Erwartungswert um mehr als die 1,96-fache Standardabweichung unterscheidet: Bei einem p-Wert von ≤ 5 % spricht z. B. Jürgen Bortz von einem signifikanten, bei einem Wert von ≤ 1 % (2,3 Standardabweichungen) spricht man von einem sehr signifikanten und bei einem Wert von ≤ 0,1 % (3,1 Standardabweichungen) spricht man von einem hoch signifikanten Ergebnis.Jürgen Bortz, Nicola Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4., überarbeitete Auflage. Springer Medizin, Heidelberg 2006, ISBN 3-540-33305-3, S. 740.
Nicola Döring ergänzt in späteren Auflagen, dass es in der Logik des klassischen Signifikanztests nicht sinnvoll ist, nach der Hypothesenprüfung (a posteriori) bei sehr kleiner Irrtumswahrscheinlichkeit von einem „hoch signifikanten“ (p < .01) oder einem „höchst signifikanten“ (p < .001) Ergebnis zu sprechen.
Wichtig ist hierbei, dass diese Einteilung rein willkürlich ist, an die jeweilige Anwendung angepasst werden muss und durch Wiederholungen bestätigt werden sollte. Weiterhin ist diese Einteilung problematisch in Bezug auf Publikationsbias und p-Hacking. Da bei einem p-Wert von kleiner oder gleich 5 %, falls die Nullhypothese korrekt ist, im Schnitt 5 % aller Untersuchungen die Nullhypothese dennoch verwerfen, ist dieses Kriterium im Allgemeinen nicht ausreichend, um neue Entdeckungen zu belegen. So wurde zum Beispiel für den Nachweis der Existenz des Higgs-Bosons ein sehr viel strengeres Kriterium von 5 Standardabweichungen (entsprechend einem p-Wert von 1 in 3,5 Millionen) angewendet.ATLAS Collaboration: Observation of a new particle in the search for the Standard Model Higgs Boson with the ATLAS detector at the LHC. In: Physics Letters B Bd. 716, Nr. 1, S. 1–29, .
Die Höhe der Signifikanz eines Ergebnisses verhält sich also entgegengesetzt zum Zahlenwert des Signifikanzniveaus – ein niedriges Signifikanzniveau entspricht einer hohen Signifikanz und umgekehrt.
Im Gegensatz zur Fisherschen Auffassung von Signifikanz als Gradmesser für den Wahrheitsgehalt einer Hypothese ist im Kontext einer klassischen strikten Neyman-Pearson-Testtheorie eine nachträgliche Einstufung des Testergebnisses in unterschiedliche Grade der Signifikanz nicht vorgesehen. Aus dieser Sicht sind auch keine „hochsignifikanten“ oder „höchstsignifikanten“ Ergebnisse möglich – zusätzliche Informationen (beispielsweise der p-Wert) müssten anders angegeben werden.