Die Fehler 1. und 2. Art, auch α-Fehler (Alpha-Fehler) und β-Fehler (Beta-Fehler) genannt, bezeichnen eine statistische Fehlentscheidung bei statistischen Tests. Sie beziehen sich auf eine Methode der mathematischen Statistik, den sogenannten Hypothesentest. Beim Test einer Hypothese liegt ein Fehler 1. Art vor, wenn die Nullhypothese zurückgewiesen wird, obwohl sie in Wirklichkeit wahr ist (beruhend auf einer zufällig erhöhten bzw. niedrigeren Anzahl positiver Ergebnisse). Dagegen bedeutet ein Fehler 2. Art, dass der Test die Nullhypothese fälschlicherweise nicht zurückweist, obwohl die Alternativhypothese korrekt ist. Die Fehlerwahrscheinlichkeiten 1. und 2. Art (auch α- und β-Risiko genannt) werden in Qualitätsmanagement und -kontrolle häufig Produzentenrisiko und Konsumentenrisiko genannt (siehe Prüflos). In der statistischen Prozesslenkung durch Qualitätsregelkarten verwendet man dafür die Begriffe blinder Alarm und unterlassener Alarm. Fehler 1. und 2. Art werden auch als frequentistische Konzepte bezeichnet.Denes Szucs, John Ioannidis: When Null Hypothesis Significance Testing Is Unsuitable for Research: A Reassessment. In: Frontiers in human neuroscience, Band 11, 2017, S. 390, doi:10.3389/fnhum.2017.00390, PMID 28824397, (Review). Das Konzept des Fehlers 1. und 2. Art wurde von Jerzy Neyman und Egon Pearson eingeführt.Jerzy Neyman, Egon Pearson: On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference: Part I. In: Biometrika, Bd. 20A, Nr. 1/2 (Juli 1928), Oxford University Press, S. 175–240.
Entscheidungstabelle Wirklichkeit H0 ist wahr H1 ist wahr Entscheidung des Tests … … für H0 Richtige Entscheidung (Spezifität) (richtig negativ) Wahrscheinlichkeit: 1 − α Fehler 2. Art (falsch negativ) Wahrscheinlichkeit: β … für H1Fehler 1. Art (falsch positiv) Wahrscheinlichkeit: α Richtige Entscheidung Wahrscheinlichkeit: 1 − β (richtig positiv) (Trennschärfe des Tests, Sensitivität)
Formale Darstellung Ein statistischer Test ist ein Entscheidungsproblem, bei dem es um einen unbekannten Parameter geht, der in einem bestimmten Parameterraum liegen muss. Der Parameterraum kann in zwei disjunkte Teilmengen und zerlegt werden. Das Entscheidungsproblem liegt nun darin zu entscheiden, ob in oder liegt. Bezeichne die Nullhypothese und die Alternativhypothese. Da und disjunkt sind, kann nur eine der beiden Hypothesen wahr sein. Da das Ziel des Hypothesentests eine Entscheidung ist, gibt es Wahrscheinlichkeiten dafür, dass man eine falsche Entscheidung trifft. Seien und . Wenn Ablehnbereich und Teststatistik definiert wurden, dann kann die Wahrscheinlichkeit abzulehnen für jedes bestimmt werden. Sei Mit ist die Wahrscheinlichkeit des Ereignisses bezeichnet, die vom jeweiligen Parameter abhängt. Eine Interpretation als bedingte Wahrscheinlichkeit ist nicht intendiert. Übliche in der Literatur verwendete Bezeichnungen sind und . Im Rahmen der Bayesschen Statistik wird als realisierter Wert einer Zufallsvariablen interpretiert und damit wird eine Interpretation als bedingte Wahrscheinlichkeit möglich., wobei abgelehnt wird, wenn die Teststatistik in den kritischen Bereich fällt, also gilt. Die Funktion für wird auch Gütefunktion genannt.
Ein Fehler 1. Art liegt vor, wenn die Nullhypothese abgelehnt wird, obwohl diese richtig ist. Dem Fehler erster Art können die Fehlerwahrscheinlichkeiten 1. Art, das sind die Wahrscheinlichkeiten für , mit denen es zu einem Fehler 1. Art kommt, zugeordnet werden. Es gibt also im Allgemeinen nicht die Fehlerwahrscheinlichkeit 1. Art, sondern im Fall einer zusammengesetzten Nullhypothese mehrere Fehlerwahrscheinlichkeiten 1. Art. Bei Hypothesentests ist es üblich, Testverfahren so zu konstruieren, dass die Fehlerwahrscheinlichkeiten 1. Art durch eine vorgegebene Konstante nach oben beschränkt wird, die das Signifikanzniveau oder die zugelassene Irrtumswahrscheinlichkeit des Tests genannt wird. Es gilt also für alle . Ein Test mit dieser Eigenschaft heißt Signifikanztest zum Niveau , kurz Niveau--Test oder -Niveau-Test. Bei einer einfachen Nullhypothese kann der Test in der Regel so konstruiert werden, dass gilt, dann fällt die – in diesem Spezialfall eindeutige – Fehlerwahrscheinlichkeit 1. Art mit dem Signifikanzniveau zusammen. Bei einer zusammengesetzten Nullhypothese ist es häufig möglich, den Test so konstruieren, dass gilt.George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York / Chichester / Brisbane / Toronto / Singapore 1988, ISBN 0-471-62414-4, S. 96. ffJames L. Johnson: Probability and Statistics for Computer Science. S. 340. ff Man sagt dann, dass der Test das Signifikanzniveau ausschöpft. Das Signifikanzniveau ist dann der größte Wert von im Bereich der Nullhypothese, also für alle .
Ein Fehler 2. Art liegt vor, wenn die Nullhypothese nicht abgelehnt wird, obwohl sie falsch ist. Die Fehlerwahrscheinlichkeiten 2. Art sind durch die Wahrscheinlichkeiten für gegeben. Im Gegensatz zum Fehler 1. Art wird der Fehler 2. Art nicht durch eine vorgegebene Schranke für die Fehlerwahrscheinlichkeiten 2. Art kontrolliert. Es ist i. A. nicht möglich, beide Fehlerwahrscheinlichkeiten gleichzeitig zu minimieren. Daher sucht man unter allen Signifikanztests (Tests, die für einen Fehler 1. Art kontrollieren) denjenigen, der die Fehlerwahrscheinlichkeiten 2. Art minimiert. Mit anderen Worten: Wenn das Signifikanzniveau als Schranke für den Fehler 1. Art a priori festgelegt wurde, dann ist man daran interessiert, die Trennschärfe gegen alle relevanten Alternativen zu maximieren. Die Trennschärfe eines Tests ist bestimmt durch die Komplemente der Fehlerwahrscheinlichkeiten 2. Art, d. h. durch für . Eine große Trennschärfe bedeutet also eine kleine Fehlerwahrscheinlichkeit 2. Art.
Die Fehlerwahrscheinlichkeit 2. Art ist abhängig von dem in der Grundgesamtheit vorliegenden Parameter.Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin / Heidelberg 2016, ISBN 978-3-662-50371-3, S. 385. Zusammenfassend gilt für die Fehlerwahrscheinlichkeiten 1. Art
und die Fehlerwahrscheinlichkeiten 2. Art sind durch
gegebenBayer, Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik, S. 154George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York / Chichester / Brisbane / Toronto / Singapore 1988, ISBN 0-471-62414-4, S. 96. ffJeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education, 2015, S. 779. Die Fehlerwahrscheinlichkeiten 2. Art werden auch Betafehler genannt und mit bezeichnet. Im Allgemeinen gilt, dass eine Verringerung von die Wahrscheinlichkeit eines Fehlers 2. Art erhöht und umgekehrt. Durch komplizierte Berechnungen kann auch bestimmt werden.
Im Spezialfall einer einfachen Nullhypothese und einer einfachen Gegenhypothese , wie er häufig bei medizinischen Test vorliegt, bei denen z. B. über 'krank' oder 'gesund', 'infiziert' oder 'nicht Infiziert' entschieden wird, gibt es die Fehlerwahrscheinlichkeit 1. Art und die Fehlerwahrscheinlichkeit 2. Art .
Fehler 1. Art Beim Test einer Hypothese liegt ein Fehler 1. Art vor, wenn die Nullhypothese zurückgewiesen wird, obwohl sie in Wirklichkeit wahr ist (beruhend auf falsch positiven Ergebnissen).
Die Ausgangshypothese (Nullhypothese) ist hierbei die Annahme, die Testsituation befinde sich im „Normalzustand“. Wird also dieser „Normalzustand“ nicht erkannt, obwohl er tatsächlich vorliegt, ergibt sich ein Fehler 1. Art. Beispiele für einen Fehler 1. Art sind:
der Patient wird als krank angesehen, obwohl er in Wirklichkeit gesund ist (Nullhypothese: der Patient ist gesund), der Angeklagte wird als schuldig verurteilt, obwohl er in Wirklichkeit unschuldig ist (Nullhypothese: der Angeklagte ist unschuldig), der Person wird kein Zugang gewährt, obwohl sie eine Zugangsberechtigung hat (Nullhypothese: die Person hat Zugangsberechtigung)
Als Signifikanzniveau oder Irrtumswahrscheinlichkeit bezeichnet man die vor einem Hypothesentest festgelegte maximale Wahrscheinlichkeit dafür, dass die Nullhypothese aufgrund der Testergebnisse abgelehnt wird, obwohl die Nullhypothese wahr ist. In der Regel wählt man ein Signifikanzniveau von 5 % (signifikant) oder 1 % (sehr signifikant).
Die andere mögliche Fehlentscheidung, nämlich die Alternativhypothese zurückzuweisen, obwohl sie wahr ist, heißt Fehler 2. Art.
Beispiele Ein Tester hat eine Urne vor sich, in die er nicht hineinschauen kann. Darin befinden sich rote und grüne Kugeln. Es kann jeweils nur eine Kugel zu Testzwecken aus der Urne entnommen werden. Alternativhypothese: „In der Urne befinden sich mehr rote als grüne Kugeln“. Um ein Urteil über den Inhalt der Urne abgeben zu können, wird der Tester der Urne mehrmals Kugeln zu Testzwecken entnehmen. Wenn er daraufhin zu der Entscheidung gelangt, dass die Alternativhypothese zutreffend sein kann, also er die Meinung vertritt, dass mehr rote als grüne Kugeln in der Urne seien, obwohl in Wirklichkeit die Nullhypothese zutrifft, nämlich dass gleich viele rote wie grüne oder weniger rote als grüne Kugeln in der Urne sind, dann begeht er einen Fehler 1. Art. Wir wollen überprüfen, ob eine neue Lernmethode die Lernleistung von Schülern steigert. Dafür vergleichen wir eine Gruppe von Schülern, die nach der neuen Lernmethode unterrichtet wurden, mit einer Stichprobe von Schülern, die nach der alten Methode unterrichtet wurden. Alternativhypothese: „Schüler, die nach der neuen Lernmethode unterrichtet wurden, haben eine höhere Lernleistung als Schüler, die nach der alten Methode unterrichtet wurden.“ Angenommen in unserer Untersuchung weist die Stichprobe von Schülern, die nach der neuen Lernmethode unterrichtet wurden, tatsächlich eine bessere Lernleistung auf. Vielleicht beruht dieser Unterschied aber auch nur auf Zufall oder anderen Einflüssen. Wenn also in Wahrheit zwischen den beiden Populationen überhaupt kein Unterschied besteht und wir fälschlicherweise die Nullhypothese verwerfen – es also als gesichert ansehen, dass die neue Methode das Lernen verbessert – dann begehen wir einen Fehler 1. Art. Dieser kann natürlich fatale Folgen haben, wenn wir z. B. mit hohen Kosten und viel Aufwand den gesamten Unterricht auf die neue Lernmethode umstellen, obwohl diese in Wahrheit überhaupt keine besseren Ergebnisse bewirkt. Spam-Filter für ankommende E-Mails: Ein Filter soll erkennen, ob eine E-Mail Spam ist oder nicht. Nullhypothese: Es ist eine normale E-Mail und kein Spam. Alternativhypothese: Es ist Spam. Falls eine E-Mail als Spam klassifiziert wird, sie jedoch in Wirklichkeit kein Spam ist, die E-Mail also falsch als Spam klassifiziert wird, so sprechen wir von einem Fehler 1. Art (falsch-positiv).
Fehler 2. Art
Im Gegensatz zum Fehler 1. Art bedeutet ein Fehler 2. Art, dass der Test die Nullhypothese fälschlicherweise bestätigt, obwohl die Alternativhypothese korrekt ist.
Schwierigkeiten bei der Bestimmung des Fehlers 2. Art mini|hochkant=1.6|Darstellung möglicher Werte der Wahrscheinlichkeit eines Fehlers 1. Art (blau) und 2. Art (rot) am Beispiel eines Signifikanztests über den Erwartungswert μ. Da der Fehler 2. Art von der Lage des Nichtzentralitätsparameters (hier ) abhängt, jedoch bei Annahme der Alternativhypothese i. d. R. unbekannt ist, kann die Wahrscheinlichkeit eines Fehlers 2. Art im Gegensatz zu der eines Fehlers 1. Art nicht vorab bestimmt werden.