Als Varianzanalyse, kurz VA ( analysis of variance, kurz ANOVA), auch Streuungsanalyse oder Streuungszerlegung genannt, bezeichnet man eine große Gruppe datenanalytischer und strukturprüfender statistischer Verfahren, die zahlreiche unterschiedliche Anwendungen zulassen.
Ihnen gemeinsam ist, dass sie Varianzen und Prüfgrößen berechnen, um Aufschlüsse über die hinter den Daten steckenden Gesetzmäßigkeiten zu erlangen. Die Varianz einer oder mehrerer Zielvariablen wird dabei durch den Einfluss einer oder mehrerer Einflussvariablen (Faktoren) erklärt. Die einfachste Form der Varianzanalyse testet den Einfluss einer einzelnen nominalskalierten auf eine intervallskalierte Variable, indem sie die Mittelwerte der abhängigen Variable innerhalb der durch die Kategorien der unabhängigen Variable definierten Gruppen vergleicht. Somit stellt die Varianzanalyse in ihrer einfachsten Form eine Alternative zum t-Test dar, die für Vergleiche zwischen mehr als zwei Gruppen geeignet ist. Varianzanalytische Modelle sind in der Regel spezielle lineare Regressionsmodelle. Das Verfahren der Varianzanalyse geht im Wesentlichen auf Ronald Aylmer Fisher zurück.
Überblick Grundbegriffe Die abhängige Variable heißt Zielvariable: Die metrische Zufallsvariable, deren Wert durch die kategorialen Variablen erklärt werden soll. Die abhängige Variable enthält Messwerte.
Die unabhängige Variable nennt man Einflussvariable oder Faktor: Die kategoriale Variable (= Faktor), die die Gruppen vorgibt. Ihr Einfluss soll überprüft werden, sie ist nominalskaliert. Die Kategorien eines Faktors heißen dann Faktorstufen. Diese Bezeichnung ist nicht identisch mit jener bei der Faktorenanalyse.
Anzahl der Zielvariablen Je nachdem, ob eine oder mehrere Zielvariablen vorliegen, unterscheidet man zwei Formen der Varianzanalyse:
die univariate Varianzanalyse, nach der englischen Bezeichnung analysis of variance auch als ANOVA abgekürzt die multivariate Varianzanalyse, nach der englischen Bezeichnung multivariate analysis of variance auch als MANOVA abgekürzt
Je nachdem, ob ein oder mehrere Faktoren vorliegen, unterscheidet man zwischen einfacher (einfaktorieller) und mehrfacher bzw. multipler (mehrfaktorieller) Varianzanalyse.
Anzahl der Untersuchungseinheiten Im einfachsten Fall werden aus jeder Faktorstufe gleich viele Beobachtungen betrachtet. Man spricht in diesem Fall auch von einer orthogonalen Varianzanalyse oder von einem balancierten Modell. Die Arbeit mit und Interpretation von Daten, deren Faktorstufen unterschiedlich viele Elemente enthalten (z. B. auch fehlende Werte), ist schwieriger (vgl. unbalanciertes Modell).
Feste und zufällige Effekte Eine gebräuchliche Modellunterscheidung der Varianzanalyse wird danach vorgenommen, ob die Faktoren mit festen Effekten ( fixed factors) oder Faktoren mit zufälligen Effekten ( random factors) vorliegen.Hans Friedrich Eckey: Multivariate Statistik: Grundlagen - Methoden - Beispiele. Dr. Th. Gabler Verlag; Auflage: 2002 (12. September 2002), ISBN 978-3-409-11969-6. S. 94. Von festen Effekten spricht man, wenn die Einflussfaktoren in endlich vielen Faktorstufen vorkommen und man diese alle erfasst hat bzw. die in der Untersuchung interessierende Aussage sich nur auf diese Faktorstufen bezieht. Von Modellen mit zufälligen Effekten spricht man, wenn man nur eine Auswahl aller möglichen Faktorstufen erfassen kann (vgl. hierzu auch Lineare Paneldatenmodelle).
Grundidee mini|350px|Die Gesamtvarianz lässt sich gut in Gruppen zerlegen, wenn die Variabilität zwischen den Faktorstufen groß, die Variabilität innerhalb derselben aber gering ist. Die Verfahren untersuchen, ob (und gegebenenfalls wie) sich die Erwartungswerte der metrischen Zufallsvariablen in verschiedenen Gruppen (auch Klassen) unterscheiden. Mit den Prüfgrößen des Verfahrens wird getestet, ob die Varianz zwischen den Gruppen größer ist als die Varianz innerhalb der Gruppen. Dadurch kann ermittelt werden, ob die Gruppeneinteilung sinnvoll ist oder nicht bzw. ob sich die Gruppen signifikant unterscheiden oder nicht.
Wenn sie sich signifikant unterscheiden, kann angenommen werden, dass in den Gruppen unterschiedliche Gesetzmäßigkeiten wirken. So lässt sich beispielsweise klären, ob das Verhalten einer Kontrollgruppe mit dem einer Experimentalgruppe identisch ist. Ist beispielsweise die Varianz einer dieser beiden Gruppen bereits auf Ursachen (Varianzquellen) zurückgeführt, kann bei Varianzgleichheit darauf geschlossen werden, dass in der anderen Gruppe keine neue Wirkungsursache (z. B. durch die Experimentalbedingungen) hinzukam.
Siehe auch: Diskriminanzanalyse, Bestimmtheitsmaß
Voraussetzungen und Alternativen Die Zuverlässigkeit der Signifikanztests im Rahmen der Varianzanalyse hängt davon ab, inwieweit ihre Voraussetzungen erfüllt sind. Diese Voraussetzungen sind je nach Anwendung etwas unterschiedlich, allgemein gelten folgende:
Varianzhomogenität (Homoskedastizität): Die Messabweichung sollte über alle möglichen Werte der unabhängigen Variablen hinweg gleich verteilt sein. Normalverteilung der Vorhersagefehler (Residuen): Die Residuen sollten aus einer normalverteilten Grundgesamtheit stammen.
Die Überprüfung erfolgt mit anderen Tests außerhalb der Varianzanalyse, die allerdings heute standardmäßig in Statistik-Programmen als Option mitgeliefert werden. Die Normalverteilung der Residuen kann unter anderem mit dem Shapiro-Wilk-Test überprüft werden, Varianzhomogenität mit dem Levene-Test.
Gegen Abweichungen von der Normalverteilungsannahme gelten Varianzanalysen als robust, vor allem bei größeren Stichprobenumfängen (siehe Zentraler Grenzwertsatz). Inhomogene Varianzen stellen bei ungleichen Gruppengrößen ein Problem dar. Im Falle einfacher Varianzanalysen kann in solch einem Fall gegebenenfalls der Brown-Forsythe-Test gerechnet werden. Ferner kommt gegebenenfalls eine Transformation der abhängigen Variable in Betracht, um die Varianzen der Gruppen anzugleichen, beispielsweise durch Logarithmierung. Wenn die Voraussetzungen nicht ausreichend erfüllt sind, bieten sich zudem verteilungsfreie, nichtparametrische Verfahren an, die robust sind, aber geringere Teststärke besitzen und andere Parameter testen als die Varianzanalyse, da sie auf Rängen basieren.
nichtparametrische Verfahren: für zwei Stichproben (t-Test-Alternativen): gepaarte (abhängige) Prüfung: Wilcoxon-Vorzeichen-Rang-Test ungepaarte (unabhängige) Prüfung: Mann-Whitney-U-Test auch Wilcoxon-Mann-Whitney-Test, U-Test, Mann-Whitney-Wilcoxon, (MWW)-Test oder Wilcoxon-Rangsummentest genannt. für drei oder mehr Stichproben: gepaarte Daten: Friedman-Test, Quade-Test ungepaarte Daten: Kruskal-Wallis-Test, Jonckheere-Terpstra-Test, Umbrella-Test, oder bei gleichzeitiger Verletzung von Normalverteilungsannahme und Varianzhomogenitätsannahme auch der Median-Test zur mehrfaktoriellen Analyse: Scheirer-Ray-Hare-Test PERMANOVA: ein Permutationstest
Einfache Varianzanalyse Bei einer einfachen Varianzanalyse, auch Einweg-Varianzanalyse ( one-way analysis of variance, kurz: one-way ANOVA), oder einfaktorielle Varianzanalyse genannt, untersucht man den Einfluss einer unabhängigen Variable (Faktor) mit verschiedenen Stufen (Gruppen) auf die Ausprägungen einer Zufallsvariablen. Dazu werden die Mittelwerte der Ausprägungen für die Gruppen miteinander verglichen, und zwar vergleicht man die Varianz zwischen den Gruppen mit der Varianz innerhalb der Gruppen. Weil sich die totale Varianz aus den zwei genannten Komponenten zusammensetzt, spricht man von Varianzanalyse. Die einfache Varianzanalyse ist die Verallgemeinerung des t-Tests im Falle mehr als zwei Gruppen. Für ist sie äquivalent mit dem t-Test.
Voraussetzungen Die Fehlerkomponenten müssen normalverteilt sein. Fehlerkomponenten bezeichnen die jeweiligen Varianzen (Gesamt-, Behandlungs- und Fehlervarianz). Die Gültigkeit dieser Voraussetzung setzt gleichzeitig eine Normalverteilung der Messwerte in der jeweiligen Grundgesamtheit voraus. Die Fehlervarianzen müssen zwischen den Gruppen (also den k Faktorstufen) gleich bzw. homogen sein (Homoskedastizität). Die Messwerte bzw. Faktorstufen müssen unabhängig voneinander sein.
Beispiel Diese Form der Varianzanalyse ist angezeigt, wenn beispielsweise untersucht werden soll, ob Rauchen einen Einfluss auf die Aggressivität hat. Rauchen ist hier eine unabhängige Variable, welche in drei Ausprägungen ( Faktorstufen) unterteilt werden kann: Nichtraucher, schwache Raucher und starke Raucher. Die durch einen Fragebogen erfasste Aggressivität ist die abhängige Variable. Zur Durchführung der Untersuchung werden die Versuchspersonen den drei Gruppen zugeordnet. Danach wird der Fragebogen vorgelegt, mit dem die Aggressivität erfasst wird.
Hypothesen Es sei der Erwartungswert der abhängigen Variable in der . Gruppe. Die Nullhypothese einer einfachen Varianzanalyse lautet:
Die Alternativhypothese lautet:
Die Nullhypothese besagt demnach, dass zwischen den Erwartungswerten der Gruppen (die den Faktorausprägungen bzw. Faktorstufen entsprechen) kein Unterschied besteht. Die Alternativhypothese besagt, dass zwischen mindestens zwei Erwartungswerten ein Unterschied besteht. Wenn wir beispielsweise fünf Faktorstufen haben, dann ist die Alternativhypothese bestätigt, wenn sich mindestens zwei der Gruppenmittelwerte unterscheiden. Es können sich aber auch drei Erwartungswerte oder vier oder alle fünf deutlich voneinander unterscheiden.
Wird die Nullhypothese verworfen, liefert die Varianzanalyse also weder Aufschluss darüber, zwischen wie vielen noch zwischen welchen Faktorstufen ein Unterschied besteht. Wir wissen dann nur mit einer bestimmten Wahrscheinlichkeit (siehe Signifikanzniveau), dass mindestens zwei Ausprägungen einen bedeutsamen Unterschied aufweisen.
Man kann nun fragen, ob es zulässig wäre, mit verschiedenen t-Tests jeweils paarweise Einzelvergleiche zwischen den Mittelwerten durchzuführen. Vergleicht man mit der Varianzanalyse nur zwei Gruppen (also zwei Mittelwerte), dann führen t-Test und Varianzanalyse zum gleichen Ergebnis. Liegen jedoch mehr als zwei Gruppen vor, ist die Überprüfung der globalen Nullhypothese der Varianzanalyse über paarweise t-Tests nicht zulässig – es kommt zur sogenannten Alphafehler-Kumulierung bzw. Alphafehler-Inflation. Mit Hilfe multipler Vergleichstechniken kann nach einem signifikanten Varianzanalyse-Ergebnis überprüft werden, bei welchem Mittelwertspaar der oder die Unterschiede liegen. Beispiele solcher Vergleichstechniken sind der Bonferroni-Test auf kleinsten signifikanten Unterschied und der Scheffé-Test (vgl. auch Post-hoc-Test). Der Vorteil dieser Verfahren liegt darin, dass sie den Aspekt der Alphafehler-Inflation berücksichtigen.
Grundgedanken der Rechnung Bei der Berechnung der Varianzanalyse berechnet man zunächst die beobachtete Gesamtvarianz in allen Gruppen. Dazu fasst man alle Messwerte aus allen Gruppen zusammen, errechnet den Gesamtmittelwert und die Gesamtvarianz.
Dann möchte man den Varianzanteil der Gesamtvarianz, der allein auf den Faktor zurückgeht, ermitteln. Wenn die gesamte beobachtete Varianz auf den Faktor zurückginge, dann müssten alle Messwerte in einer Faktorstufe gleich sein – in diesem Fall dürften nur Unterschiede zwischen den Gruppen bestehen. Da alle Messwerte innerhalb einer Gruppe dieselbe Faktorausprägung aufweisen, müssten sie folglich alle den gleichen Wert haben, da der Faktor die einzige varianzgenerierende Quelle wäre. In der Praxis werden sich aber auch Messwerte innerhalb einer Faktorstufe unterscheiden. Diese Unterschiede innerhalb der Gruppen müssen also von anderen Einflüssen stammen (entweder Zufall oder sogenannten Störvariablen).