Die Faktorenanalyse oder Faktoranalyse ist ein Verfahren der multivariaten Statistik. Es dient dazu, aus empirischen Beobachtungen vieler verschiedener manifester Variablen (Observablen, Statistische Variablen) auf wenige zugrundeliegende latente Variablen („Faktoren“) zu schließen. Die Entdeckung dieser voneinander unabhängigen Variablen oder Merkmale ist der Sinn des datenreduzierenden (auch dimensionsreduzierenden) Verfahrens der Faktorenanalyse.
Unterschieden wird zwischen explorativer und konfirmatorischer Faktorenanalyse. Letztere ist ein inferenz-statistisches Verfahren und kann als Spezialfall eines Strukturgleichungsmodells aufgefasst werden.
Hintergrund Geschichte Die Faktorenanalyse wurde vom Psychologen Charles Spearman für die Auswertung von Intelligenztests entwickelt. 1904 zeigte er, dass Testergebnisse zu einem guten Teil durch ein eindimensionales Persönlichkeitsmerkmal, den general factor (g-Faktor), erklärt werden konnten. Die Verallgemeinerung auf eine Analyse mit mehreren Faktoren wird James Clerk Maxwell Garnett zugeschrieben (Steiger 1979); popularisiert wurde sie in den 1940er Jahren von Louis Leon Thurstone, der 1938 seine Unterscheidung zwischen der Wortflüssigkeit (verbal fluency) und der Teilfähigkeit des Sprachverstehens (verbal comprehension)George A. Miller: Wörter. Streifzüge durch die Psycholinguistik. Herausgegeben und aus dem Amerikanischen übersetzt von Joachim Grabowski und Christiane Fellbaum. Spektrum der Wissenschaft, Heidelberg 1993; Lizenzausgabe: Zweitausendeins, Frankfurt am Main 1995; 2. Auflage ebenda 1996, ISBN 3-86150-115-5, 50 und 303. publiziert hatte.
Maximum-Likelihood-Schätzmethoden wurden in den 1930er und 40er Jahren von Lawley und Victor Barnett vorgeschlagen; ein stabiler Algorithmus wurde in den 1960ern von Gerhard Derflinger und Karl Gustav Jöreskog entwickelt.(Krzanowski, S. 487)
Bis heute wird jedoch trotz schlechter Konvergenzeigenschaften auch eine iterative Variante der Hauptkomponentenanalyse zur Faktorenextraktion eingesetzt. Ungenauigkeiten bis hin zur völligen Gleichsetzung von Faktoren- und Hauptkomponentenanalyse sind weit verbreitet.
Anwendungen Die Faktorenanalyse ist ein universell einsetzbares Werkzeug, um von den sichtbaren Erscheinungen auf die diesen Erscheinungen zugrunde liegenden unbeobachtbaren Ursachen zu schließen. So sind zum Beispiel Konstrukte wie „Intelligenz“ oder „Ehrgeiz“ nicht messbar, werden aber als Ursache vieler Verhaltensweisen angesehen. Allerdings setzt die Faktorenanalyse, um keine fehlerhaften Ergebnisse zu liefern, für die verwendeten Daten mindestens Intervallskalenniveau voraus. Sozialwissenschaftliche Daten erreichen ein solches Skalenniveau nur selten und sind meist nominal- oder ordinalskaliert.
Gelegentlich wird die Faktorenanalyse auch für naturwissenschaftliche Probleme eingesetzt. Es gibt Beispiele für die faktorenanalytische Bearbeitung von Klangsignalen (Spracherkennung), bei denen akustische Hauptfaktoren herausgezogen werden. Hiermit werden Sprachüberlagerungen (Flughafenansage, Konferenzmitschnitte) oder überlagerte Musikaufnahmen verständlicher gemacht (Blind Source Separation, Unabhängigkeitsanalyse (ICA), siehe auch Weblinks).
Die Faktorenanalyse verfolgt nach Markus Wirtz und Christof Nachtigall im Allgemeinen drei Ziele:Markus Wirtz, Christof Nachtigall: Deskriptive Statistik. 3. Auflage. Juventa Verlag, Weinheim 2004, S. 199–200. Reduktion der Variablenanzahl: Die Faktorenanalyse erkennt Variablengruppen, in denen jeweils alle Variablen ähnliche Informationen erfassen. Werden die Variablen innerhalb jeder homogenen Gruppe zusammengefasst, ergibt sich eine ökonomischere Darstellung der Gesamtinformation. Ermittlung verlässlicher Messgrößen: Werden die Variablen zu einem Faktor zusammengefasst, so besitzt dieser Faktor günstigere messtechnische Eigenschaften als die einzelnen Variablen. Analytische Zielsetzung: Die Faktorenanalyse ermöglicht es, von den manifesten Variablen (den Indikatorvariablen) auf übergeordnete latente Variablen (z. B. Intelligenz) zu schließen.
Die explorative Faktorenanalyse dient ausschließlich der Erkundung verdeckter Strukturen einer Stichprobe bzw. der Dimensionsreduktion. Sie ist nicht dazu geeignet, bereits vorhandene Theorien zu überprüfen. Das geeignete Verfahren hierzu stellt die konfirmatorische Faktorenanalyse dar.
Mathematischer Rahmen Geometrische Bedeutung In der Geometrie werden die in die Berechnung miteinbezogenen Items als Vektoren bezeichnet, die allesamt vom selben Ursprung ausgehen. Die Länge dieser p-Vektoren wird durch die Kommunalität der jeweiligen Items und die Winkel zwischen den Vektoren werden durch deren Korrelation bestimmt. Die Korrelation r zweier Items , und der Winkel zwischen deren Vektoren hängen folgendermaßen zusammen:
Eine Korrelation von 1 stellt also einen Winkel von 0°, eine Unkorreliertheit hingegen einen rechten Winkel á 90° dar. Ein Modell aus p-Variablen spannt somit einen p-dimensionalen Raum auf. Ziel der Faktorenanalyse ist es, dieses Konstrukt geometrisch zu vereinfachen, also einen q-dimensionalen Unterraum zu finden (). Es sollen durch das Extraktionsverfahren irrelevante Faktoren „ausgeblendet“ werden. Die Lösung dieses Verfahrens sind sogenannte „Punktwolken“ in einem q-dimensionalen Koordinatensystem. Die Koordinaten dieser Punkte stellen die sogenannten Faktorladungen dar. Durch ein Rotationsverfahren sollen die q-extrahierten Faktoren so nahe wie möglich in diese Punktwolken gedreht werden.
Lineares Faktorenmodell Der Faktorenanalyse liegt stets ein lineares Modell zugrunde:
mit : Vektor der zu erklärenden Variablen, : Vektor mit konstanten Werten, : Matrix der „Faktorladungen“, : Vektor der Faktorwerte, : Zufallsvektor mit Erwartungswert 0.
Es wird gefordert, dass die Komponenten von zentriert, normiert und untereinander sowie mit unkorreliert sind.
In der Regel wird außerdem gefordert, dass die Komponenten von nicht miteinander korreliert sind. Wird diese Forderung fallengelassen, ist das Modell invariant unter orthogonaler Transformation der , und .
Das empirische Datenmaterial besteht aus Realisierungen des Variablenvektors (z. B. Fragebögen mit Fragen, die von Probanden bearbeitet wurden). Zur Notationsvereinfachung kann angenommen werden, dass die Rohdaten in einem ersten Schritt der Auswertung zentriert wurden, so dass gilt.
Im Rahmen einer Faktorenanalyse sind zu schätzen: die Anzahl der Faktoren, die Faktorladungen aus , die Varianzen der Residuen aus , die Realisierungen des Faktorvektors .
Die Schätzung erfolgt typischerweise in drei oder mehr Schritten: Es werden mögliche Faktoren identifiziert („extrahiert“); es wird entschieden, welche Anzahl von Faktoren berücksichtigt werden soll; eventuell werden Faktoren rotiert, um ihre Interpretation zu vereinfachen; zuletzt werden die Faktorvektoren für die einzelnen Realisierungen von (z. B. persönliche Werte für einzelne Probanden) geschätzt.
Hauptsatz Aus den Modellannahmen folgt nach kurzer Rechnung der Hauptsatz der Faktoranalyse:
Für vereinfacht sich dieser Satz zu
Hier steht Var für die Varianz, für die Kovarianz und für Matrixtransposition.
Der Term ist derjenige Anteil der Varianz der Observablen , der durch das Faktorenmodell nicht erklärt wird. Der erklärte Anteil, , also die Summe der quadrierten Faktorladungen, heißt Kommunalität der Variablen .
Beispiel In einer Müllsortierungsanlage seien zur Trennung des Mülls ein Magnet mit vertikaler Wirkungsrichtung und ein Gebläse mit horizontaler Wirkungsrichtung installiert. Die geometrischen Koordinaten der Müllstücke beim Niederfallen mögen Teil der erhobenen Daten sein. Man findet Richtungskorrelationen bei Stücken ohne Metall und großer Windanfälligkeit sowie bei Stücken mit Metallgehalt und geringer Windanfälligkeit.
Mit der Faktorenanalyse kann man dann zunächst finden, dass es zwei orthogonale Einflüsse gibt, die die Bewegungsrichtung beeinflussen.
Die Applikation der Untersuchungsmethode mag dann sein,
zunächst die Anzahl der Faktoren zu schätzen (s. u.): Es ist sicher nicht interessant, für jedes einzelne Stück die Flugbahn zu dokumentieren und für jedes Stück einen eigenen Faktor anzunehmen, sondern aus den Korrelationen der Daten wesentliche gemeinsame Faktoren zu extrahieren: sehr wahrscheinlich bilden sich zwei Faktoren aus dem Datenmaterial heraus,
die Stärke und die Orientierung dieser Einflüsse zu bestimmen (noch ohne Theorie über die Art der Einflüsse) oder
aus der Kenntnis der Stückeigenschaften (metallisch, kompakt vs nichtmetallisch, windanfällig) die Faktoren inhaltlich zu beschreiben und für die kontinuierlichen Eigenschaften „Metallanteil“ und „Windwiderstand“ die „Ladungen“ auf den Faktoren (deren Korrelationen mit der Magnetkraft und der Gebläsestärke) zu beschreiben.
Es wird an diesem Beispiel auch der Unterschied zwischen orthogonaler und schiefwinkliger Faktorenanalyse deutlich: vor allem in den Sozialwissenschaften wird in der Regel von nicht-orthogonalen Faktoren ausgegangen: die sozialwissenschaftlichen Analoge zu Gebläse und Magnet im Beispiel müssen nicht unbedingt im Winkel von 90 Grad zueinander angeordnet sein und entsprechend einwirken.
In einer explorativen Situation, in der man noch keine Hypothesen über die Gründe für das Auftreten korrelierter Auftreffpunkte hat, wird man sich mit dem Auffinden und Markieren von zwei Faktoren zufriedengeben, und versuchen einzugrenzen, worauf diese Richtungskorrelationen zurückzuführen sind. In einer konfirmatorischen Situation wird man untersuchen, ob die aufgefundenen Korrelationen tatsächlich mit zwei Faktoren (wie vielleicht aus einer Theorie her anzunehmen) zu erklären sind, oder ob man einen dritten Faktor annehmen muss (oder tatsächlich nur ein Faktor wirkt).
Explorative Faktorenanalyse Die explorative Faktorenanalyse wird in vier Schritten durchgeführt
Schätzung einer Korrelationsmatrix oder Kovarianzmatrix, Schätzung der Faktorladungen, Bestimmung der Zahl der Faktoren und Rotation der Faktorladungen zur Verbesserung der Faktorinterpretation.
Faktorenextraktion Der erste Schritt der Faktorenanalyse, die Identifikation möglicher Faktoren, ist die Schätzung der Faktorladungen und der residuellen Varianzen. Für eine solche Schätzung benötigt man ein Gütekriterium. Diese essentielle theoretische Grundlage wird in weiten Teilen der Literatur nicht klar benannt.
Das „Gewicht“ eines Faktors wird daraus bestimmt, wie stark die Messvariablen mit ihm korrelieren, d. h. wie hoch sie „auf diesem Faktor laden“. Quantifiziert wird dies durch die Summe der Ladungsquadrate (dies stimmt im orthogonalen Fall mit den Eigenwerten der Ladungsmatrix überein). Hierbei kann man die Faktoren nach der Höhe der Ladungsquadratsumme (LQS) sortieren.
Findet man gut separierbar zwei Gruppen von Faktoren, einer mit hoher LQS und ein weiterer mit niedriger LQS, wird man die Anzahl der Faktoren des Modells mit der Anzahl der LQS-hohen Faktoren gleichsetzen. Die Separierbarkeit dieser Gruppen kann man sich an einem Linien-Plot über die LQS ansehen; gibt es einen erkennbaren Knick, kann dieser als Trennungskriterium dienen (Scree-Test).
Ein anderes Kriterium ist, dass die LQS eines gemeinsamen Faktors größer als die Varianz einer einzelnen Messvariablen sein sollte (sonst wäre er schlecht als „gemeinsamer“ Faktor zu verstehen). Dies meint dann i. d. R. LQS ≥ 1 (Kriterium nach Kaiser).
Hauptachsenmethode Bei der Hauptachsenmethode werden zunächst die Kommunalitäten geschätzt: Entweder als Bestimmtheitsmaß der Regression der betrachteten Messvariablen auf alle anderen Messvariablen oder als das Maximum der Beträge der Korrelationen der betrachteten Messvariablen mit allen anderen Messvariablen. Danach wird ein iteratives Verfahren durchgeführt:
Die Varianzen der Residuen werden geschätzt als Differenz der Varianz der Messvariablen und der entsprechenden Kommunalität.