Multiples Testen bezeichnet Verfahren der statistischen Testtheorie, bei denen mehrere statistische Tests simultan durchgeführt werden.

Überblick über Verfahren des multiplen Testens Unter dem Begriff multiples Testen werden verschiedene Verfahren zusammengefasst, bei denen eine – in der Regel endliche – Anzahl von statistischen Tests simultan durchgeführt wird. Es können drei Gruppen unterschieden werden, die das Konzept des Fehlers 1. Art, das ist die fälschliche Ablehnung einer Nullhypothese, auf unterschiedliche Art für mehrere Test verallgemeinern. Wenn mindestens eine Nullhypothese fälschlich abgelehnt wird, liegt ein multipler Fehler 1. Art vor.

Multiple Tests mit vorgegebenem globalem Signifikanzniveau Für eine Familie von Nullhypothesen wird die Wahrscheinlichkeit, dass mindestens eine Nullhypothese abgelehnt wird, falls alle Nullhypothesen richtig sind, kontrolliert, d. h. durch ein vorgegebenes Signifikanzniveau nach oben beschränkt. In diesem Fall heißt das Signifikanzniveau globales Signifikanzniveau. Diese erste Gruppe von Verfahren testet mit Hilfe der Einzeltests eine Globalhypothese, die als Durchschnitt der einzelnen Nullhypothesen definiert ist.

Multiple Tests mit vorgegebenem multiplem Signifikanzniveau Bei dieser Gruppe multipler Testverfahren wird für eine Familie von Nullhypothesen die Wahrscheinlichkeit, dass mindestens eine Nullhypothese fälschlich abgelehnt wird, kontrolliert, d. h. durch ein Signifikanzniveau , das dann multiples Signifikanzniveau heißt, nach oben beschränkt.

Multiple Tests mit Beschränkung der erwarteten Fehlerquote der Ablehnungen Bei dieser Gruppe von Testverfahren wird die erwartete Fehlerquote der Ablehnungen (englisch: false discovery rate, FDR), das ist der erwartete Anteil fälschlicher Ablehnungen von Nullhypothesen unter allen abgelehnten Nullhypothesen, kontrolliert.

Grundbegriffe Gegeben sei eine Familie von Test mit den Nullhypothesen für , wobei für gilt. Die entsprechenden Gegenhypothesen sind für . Eine simultane Durchführung der Tests wird multipler Test genannt.

Multipler Fehler 1. Art Bei der Durchführung eines multiplen Tests sind mehrere Testergebnisse möglich: es wird keine Nullhypothese abgelehnt oder es wird mindestens eine der Nullhypothesen abgelehnt. Im Extremfall werden alle Nullhypothesen abgelehnt. Die übliche Verallgemeinerung des Konzeptes der Fehlerwahrscheinlichkeit 1. Art für einen einzelnen Test auf multiple Tests ist der multiple Fehler 1. Art, der begangen wird, wenn bei mindestens einem Einzeltest eine Nullhypothese fälschlich abgelehnt wird.

Definition: Für einen simultanen Test mehrerer Nullhypothesen heißt das Testergebnis „Mindestens eine Nullhypothese wird fälschlich abgelehnt“ multipler Fehler 1. Art.

Multiple Fehlerwahrscheinlichkeit 1. Art Definition: Für einen simultanen Test mehrerer Nullhypothesen heißt die Wahrscheinlichkeit, dass ein multipler Fehler 1. Art begangen wird, multiple Fehlerwahrscheinlichkeit 1. Art (engl.: family-wise error rate, FWER)Der englische Begriff family-wise error rate für die multiple Fehlerwahrscheinlichkeit 1. Art hat keine direkt entsprechende deutsche Übersetzung gefunden. Insbesondere wäre eine wörtliche Übersetzung irreführend, da im Deutschen 'Rate' im Allgemeinen einen zeitlichen Bezug hat und nicht für eine Wahrscheinlichkeit benutzt wird. oder versuchsbezogene Irrtumswahrscheinlichkeit (engl.: experimentwise error rate).

Multipler Test zum lokalen Signifikanzniveau Das einfachste Vorgehen beim multiplen Testen ist, jeden Einzeltest mit demselben vorgegebenen Signifikanzniveau durchzuführen, so dass bei jedem Einzeltest die Fehlerwahrscheinlichkeit 1. Art nach oben beschränkt ist.

Definition: Ein multipler Test, bei dem jeder Einzeltest das Signifikanzniveau einhält, für den also

gilt, heißt multipler Test zum lokalen Signifikanzniveau .

Ein multipler Test zum lokalen Signifikanzniveau kontrolliert zwar die Fehlerwahrscheinlichkeiten 1. Art für jeden Einzeltests, da diese durch nach oben beschränkt werden. Die Wahrscheinlichkeit für die fälschliche Ablehnung einer oder mehrerer der Nullhypothese beim simultanen Testen wird aber nur teilweise kontrolliert. Für einen multiplen Test zum lokalen Signifikanzniveau sind die Wahrscheinlichkeiten nicht durch nach oben beschränkt. Es gilt bezeichne für jedes die Menge der wahren Nullhypothesen und bezeichne das Ereignis „ wird abgelehnt“. Dann ist das Ereignis, dass mindestens eine Nullhypothese fälschlich abgelehnt wird. Es gilt lediglich die Ungleichung

die aber für größere nicht zu einer praktikablen Beschränkung führt. Z. B. für wird für für die obere Schranke der Wert Eins erreicht. Diese Problematik wird auch mit dem Begriff Alphafehler-Kumulierung bezeichnet und motiviert Verfahren zur Kontrolle des multiplen Fehlers 1. Art.

Multiple Tests zu vorgegebenem globalem Signifikanzniveau Test einer Durchschnittshypothese Zu einer Familie von Nullhypothesen mit für sei

eine nicht-leere Teilmenge von . Dann heißt die Durchschnittshypothese

Globalhypothese und die einzelnen Nullhypothesen heißen in diesem Zusammenhang Elementarhypothesen. Die Globalhypothese ist falsch, wenn mindestens eine der Hypothesen falsch ist. Ein Test der Globalhypothese kann daher durch simultane Tests der Elementarhypothesen erfolgen, wobei abgelehnt wird, falls mindestens eine der Hypothesen abgelehnt wird.

Definition: Ein simultaner Test der Nullhypothesen mit , der zu einem vorgegebenen Signifikanzniveau die Eigenschaft

hat, heißt multipler Test zum globalen Signifikanzniveau α.

Konstruktionsverfahren Einen multiplen Test zum globalen Signifikanzniveau erhält man regelmäßig nicht dadurch, dass man die einzelnen Tests jeweils zum Niveau durchführt, das es dann zur Alphafehler-Kumulierung kommt, die im Extremfall dazu führt, dass das globale Niveau den Wert hat.

Das Problem der Alphafehler-Kumulierung hat eine allgemeine Lösung in Form der Bonferroni-Korrektur, die für die Durchführung des einzelnen Tests das Niveau vorschreibt, wodurch das globale Niveau garantiert ist.

Unter bestimmten Voraussetzungen Situationen kann die Šidák-Korrektur angewendet werden, die zu einer Verbesserung gegenüber der Bonferroni-Korrektur führt, da das lokale Signifikanzniveau der Einzeltests weniger stark abgesenkt werden muss. Eine Voraussetzung ist die stochastische Unabhängigkeit der Tests, womit gemeint ist, dass die Teststatistiken der einzelnen Tests stochastisch unabhängig sind. Eine alternative Voraussetzung ist, dass die Teststatistiken eine gemeinsame multivariate Normalverteilung besitzen und die Abnahmebereiche Intervalle sind, die symmetrisch zum jeweiligen Erwartungswert sind.

Für einen multiplen Test zum globalen Niveau α ist die multiplen Fehlerwahrscheinlichkeit 1. Art für die Familie von Elementarhypothesen identisch mit der Fehlerwahrscheinlichkeit 1. Art des Tests der Globalhypothese, es gilt also

In Spezialfällen ist das Testen der Durchschnittshypothese auch ohne Verwendung der Einzeltests möglich. Beispiele sind Tests über einen Parametervektor, z. B. das Testen der allgemeinen linearen Hypothese im multiplen linearen Regressionsmodell, die mit einer Teststatistik durchgeführt werden. Diesen Fall bezeichnet man im engeren Sinn nicht als multiples Testen, da es sich um einen Test für die Hypothese eines Parametervektors handelt, er wird allerdings dem Bereich der simultanen Inferenzverfahren zugeordnet.

Schwache und starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art Die Reduktion des Test einer Familie von Hypothesen auf den Test der Globalhypothese mit Hilfe einzelner Tests ist eine mögliche Fragestellung, aber nicht die einzige und typische Behandlungsmöglichkeit multipler Tests. Durch die Vorgabe eines globalen Signifikanzniveaus wird die multiple Fehlerwahrscheinlichkeit 1. Art nur eingeschränkt kontrolliert, da die Ungleichung nur für alle gilt, man spricht daher auch von einer schwachen Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art. Im Unterschied dazu liegt eine starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art vor, falls

gilt. Für multiple Tests, bei denen die Globalhypothese nicht von eigenständigem Interesse ist, ist die schwache Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art wenig sinnvoll. „Weak control is typically not very meaningful, and so when we refer to control of the FWER, we mean strong control.“

Multiple Tests zu vorgegebenem multiplem Signifikanzniveau Gegeben sei eine Familie von Test mit den Nullhypothesen für , wobei für gilt.

Wie oben definiert liegt ein multipler Fehler 1. Art vor, wenn mindestens ein Nullhypothese fälschlich verworfen wird. Wenn die multiple Fehlerwahrscheinlichkeit für alle kontrolliert, d. h. durch ein vorgegebenes Signifikanzniveau nach oben beschränkt wird, nennt man dieses ein multiples Signifikanzniveau.

Definition: Ein simultaner Test der Nullhypothesen mit der Eigenschaft

heißt multipler Test zum multiplen Signifikanzniveau α.

Der entscheidende Unterschied zu einem Test zum globalen Niveau ist, das die Wahrscheinlichkeit fälschlicher Ablehnungen nicht nur für , sondern für alle kontrolliert wird, wobei die fälschliche Ablehnung einer Nullhypothese nur für möglich ist, da in alle Nullhypothesen falsch sind.

Verfahren zur starken Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art Eine allgemeine Methode, um einen multiplen Test zum multiplen Signifikanzniveau zu erhalten, ist das Bonferroni-Verfahren, das darin besteht, für die Einzeltests die adjustierten Signifikanzniveaus vorzugeben. Mit diesem Vorgehen ist eine starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art gewährleistet. Es gibt zahlreiche Modifikationen und Verfeinerungen für bestimmte Anwendungsfälle oder für den Fall, dass bestimmte zusätzliche Voraussetzungen erfüllt sind.

Für stochastisch unabhängige Tests verlangt die Šidák-Korrektur die adjustierten Signifikanzniveaus , um die starke Kontrolle der multiplen Fehlerwahrscheinlichkeit 1. Art zu gewährleisten.

Das Holm-Verfahren oder Bonferroni-Holm-Verfahren ist eine schrittweise Prozedur, die bei den einzelnen Schritten unterschiedliche Signifikanzniveaus verwendet. Unter der stark einschränkenden Voraussetzung der stochastischen Unabhängigkeit der Teststatistiken ergibt sich mit dem Simes-Hochberg-Verfahren. eine Verbesserung des Bonferroni-Holm-Verfahrens.

Multiple Tests mit Beschränkung der erwarteten Fehlerquote der Ablehnungen Eine alternative Idee, das Konzept der Fehlerwahrscheinlichkeit 1. Art für einen einzelnen Test auf multiple Tests zu übertragen, den erwarteten Anteil fälschlich abgelehnter Nullhypothesen unter allen abgelehnten Nullhypothesen zu kontrollieren.

Zu einem fixierten multiplen Test mit vorgegebenem Signifikanzniveau und einem Parameter bezeichne die zufällige Anzahl abgelehnter Nullhypothesen und die zufällige Anzahl fälschlich abgelehnter Nullhypothesen. Die Zufallsvariablen und nehmen Werte in einer Teilmenge von an, wobei

gilt und daher aus auch folgt. Falls für den betrachteten Parameter alle Hypothesen richtig sind, kann alle Werte in annehmen, falls für den betrachteten Parameter alle Nullhypothesen falsch sind, gilt .

Fehlerquote der Ablehnungen Zu einem bestimmten bezeichnet die Zufallsvariable

die zufällige Fehlerquote der Ablehnungen (englisch: false discovery proportion, FDP). Die Fehlerquote der Ablehnungen ist der Anteil der fälschlich abgelehnten Nullhypothesen an allen abgelehnten Nullhypothesen. Die Zufallsvariable hat eine diskrete Wahrscheinlichkeitsverteilung mit Werten in einer Teilmenge der Menge .

Erwartete Fehlerquote der Ablehnungen

Der Erwartungswert der Zufallsvariablen ,

ist die erwartete Fehlerquote der Ablehnungen (englisch: false discovery rate, FDR).