Hauptkomponentenanalyse

mini|Hauptkomponentenanalyse als Faktorenanalyse: Zwei Hauptkomponenten einer zweidimensionalen Normalverteilung mit Mittelwert (1,3) und Standardabweichung circa 3 in (0.866, 0.5)-Richtung und 1 in die dazu orthogonale Richtung. Die Vektoren sind die Eigenvektoren der Kovarianzmatrix und haben als Länge die Wurzel des zugehörigen Eigenwertes. Sie sind so verschoben, dass sie am Mittelwert ansetzen.

Die Hauptkomponentenanalyse (kurz: HKA, , kurz: PCA) – das mathematische Verfahren ist auch als Hauptachsentransformation oder Singulärwertzerlegung bekannt – ist ein Verfahren der multivariaten Statistik. Sie strukturiert umfangreiche Datensätze durch Benutzung der Eigenvektoren der Kovarianzmatrix. Dadurch können Datensätze aus ratio-skalierten Variablen vereinfacht und veranschaulicht werden, indem eine Vielzahl statistischer Variablen durch eine geringere Zahl möglichst aussagekräftiger Linearkombinationen (die Hauptkomponenten) genähert wird.

Die Hauptkomponentenanalyse zählt somit zu den Ordinationen. Zur Anwendung kommt die Hauptkomponentenanalyse als Karhunen-Loève-Transformation im Besonderen in der Signal- und dort speziell der Bildverarbeitung. Sie ist von der Faktorenanalyse zu unterscheiden, mit der sie formale Ähnlichkeit hat und in der sie als Näherungsmethode zur Faktorenextraktion verwendet werden kann (der Unterschied der beiden Verfahren wird im Artikel Faktorenanalyse erläutert). Es gibt verschiedene Verallgemeinerungen der Hauptkomponentenanalyse, z. B. die Principal Curves, die Principal Surfaces, t-distributed stochastic neighbor embedding oder die Kernbasierte Hauptkomponentenanalyse (, kurz: kernel PCA) bzw. für kategoriale Daten die multiple Korrespondenzanalyse.

Geschichte Die Hauptkomponentenanalyse wurde von Karl Pearson 1901 eingeführtKarl Pearson: On lines and planes of closest fit to systems of points in space. In: The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science. Series 6, Band 2, Nummer 11, 1901, S. 559–572, . und in den 1930er Jahren von Harold Hotelling weiterentwickelt. Wie andere statistische Analysemethoden erlangte sie weite Verbreitung erst mit der zunehmenden Verfügbarkeit von Computern im dritten Viertel des 20. Jahrhunderts. Die ersten Anwendungen entstammten der Biologie.

Konzeption der Hauptkomponentenanalyse Der zugrundeliegende Datensatz hat typischerweise die Struktur einer Matrix: An Versuchspersonen oder Gegenständen wurden jeweils ratio-skalierte Merkmale gemessen. Ein solcher Datensatz kann als Menge von Punkten im -dimensionalen Raum veranschaulicht werden. Ziel der Hauptkomponentenanalyse ist es, diese Datenpunkte so in einen -dimensionalen Unterraum () zu projizieren, dass dabei möglichst wenig Information verloren geht und vorliegende Redundanz in Form von Korrelation in den Datenpunkten zusammengefasst wird.

Die Arbeitsweise der Hauptkomponentenanalyse zerfällt in drei Schritte, Translation, Rotation und Projektion. Sie lässt sich gut mit Hilfe einer geometrischen Metapher veranschaulichen. Die gerade beschriebene Punktwolke wird so verschoben (Translation), dass ihr Mittelpunkt (Zentroid; Vektor der Variablen-Mittelwerte) auf dem Ursprung eines neuen Koordinatensystems zu liegen kommt. Dann wird die Punktwolke so um diesen Ursprung gedreht (Rotation), dass ihre 'Längsachse' – gemessen als Größe der gemeinsamen Streuung (Kovarianz) – der ersten Achse des neuen Koordinatensystems entspricht, ihre 'Breitenachse', der zweiten Achse des neuen Systems, ihre 'Höhenachse' der dritten usw. Die genaue Lösung für die optimale Rotation ergibt sich aus den Eigenvektoren der Streuungsmatrix (s. u.). Der zumeist abgebildete Biplot ist nach dieser Metapher derjenige zweidimensionale Schatten der multidimensionalen Punktwolke (Projektion), der die Abstände zwischen den Punkten 'am besten' in einer zweidimensionalen Ebene zeigt. Der Anteil der Eigenwerte dieser ersten zwei sog. Hauptachsen an der Summe aller Eigenwerte ist vereinfacht gesagt der Anteil der Unterschiede (Abstände) zwischen den Punkten, den man maximal in einer Ebene zeigen kann. Die zwei Varianten, nämlich die Verwendung der Kovarianzmatrix oder der Korrelationsmatrix, entsprechen in der Metapher der Verwendung der unveränderten Punktwolke (Kovarianzen) bzw. der zuvor entlang der ursprünglichen Variablen gestauchten oder gestreckten Punktwolke (Korrelationen). Die zweite Variante muss angewendet werden, wenn die Variablen des analysierten Datensatzes in unterschiedlichen Maßeinheiten ausgedrückt sind. Ohne diesen Schritt wären die Ladungen (s. u.) nicht deutbar.

Mathematisch wird eine Hauptachsentransformation durchgeführt: Man minimiert die Korrelation mehrdimensionaler Merkmale durch Überführung in einen Vektorraum mit neuer Basis. Die Hauptachsentransformation lässt sich durch eine orthogonale Matrix angeben, die aus den Eigenvektoren der Kovarianzmatrix gebildet wird. Die Hauptkomponentenanalyse ist damit problemabhängig, weil für jeden Datensatz eine eigene Transformationsmatrix berechnet werden muss. Die Rotation des Koordinatensystems wird so ausgeführt, dass die Kovarianzmatrix diagonalisiert wird, d. h., die Daten werden dekorreliert (die Korrelationen sind die Außerdiagonaleinträge der Kovarianzmatrix). Für normalverteilte Datensätze bedeutet dies, dass die einzelnen Komponenten jedes Datensatzes nach der PCA voneinander statistisch unabhängig sind, da die Normalverteilung durch das nullte (Normierung), erste (Erwartungswert) und zweite Moment (Kovarianzen) vollständig charakterisiert wird. Sind die Datensätze nicht normalverteilt, werden die Daten auch nach der PCA – obwohl nun dekorreliert – noch immer statistisch abhängig sein. Die PCA ist also nur für normalverteilte Datensätze eine „optimale“ Methode.

Verfahren mini|300px|Erste Hauptkomponente der Daten (schwarz-dunkelrote Linie) und der Mittelpunkt der Daten (dicker schwarzer Punkt)

Idee Die Daten liegen als Punktwolke in einem -dimensionalen kartesischen Koordinatensystem vor.

Beste lineare Approximation an den Datensatz Das Berechnen der Hauptkomponenten kann man als iterativen Prozess auffassen. In der rechten Grafik wird für die Datenpunkte (nicht ausgefüllte Kreise) diejenige Gerade gesucht, die die Daten am besten approximiert. Der Fehler eines Datenpunktes ist der euklidische Abstand zwischen der Geraden und den Datenpunkten. Für den Datenpunkt rechts oben ist der Fehler die rote Linie, die senkrecht auf der schwarzen Geraden steht. Die erste Hauptkomponente ist die Gerade, bei der die Summe der Quadrate dieser Fehler minimal ist (Vergleiche Deming-Regression).

Danach wird eine weitere Gerade gesucht, die auch durch den Mittelwert der Datenpunkte geht und orthogonal zur ersten Geraden ist: die zweite Hauptkomponente. Im Falle zweidimensionaler Daten ist dies einfach die senkrecht auf der ersten Hauptkomponente stehende Gerade. Ansonsten ist die jeweils nächste Hauptkomponente senkrecht zu allen bisherigen Hauptkomponenten; mit dieser Bedingung wird wieder die Gerade bestimmt, bei der die Quadratsumme der Abstände minimal ist. So können die weiteren Geraden bis zur -ten Hauptkomponente bestimmt werden.

Maximierung der Varianz Die Distanz zwischen dem Zentrum der Daten und einem Datenpunkt ist unabhängig davon, welche Gerade durch das Zentrum als „Referenz“ betrachtet wird (siehe die rote Linie vom Zentrum der Daten zum Datenpunkt rechts oben). Mittels des Satzes von Pythagoras können wir aber den Abstand zerlegen in den Anteil in Richtung der schwarzen Geraden und einen weiteren Anteil rechtwinklig dazu. Eine Minimierung der Abstände rechtwinklig zur Geraden (unter Beibehaltung des Abstands zum Datenzentrum, Länge der roten Linie) bedeutet also eine Maximierung der Abstände in Richtung der schwarzen Geraden ( muss erhalten bleiben). Die aufsummierten Quadrate der Abstände in Richtung der schwarzen Geraden bilden die Varianz der Daten in dieser Richtung.

Dies führt zum folgenden Algorithmus: Die erste Achse soll so durch die Punktwolke gelegt werden, dass die Varianz der Daten in dieser Richtung maximal wird. Die zweite Achse steht auf der ersten Achse senkrecht. In ihrer Richtung ist die Varianz am zweitgrößten usw.

Für die -dimensionalen Daten gibt es also grundsätzlich Achsen, die aufeinander senkrecht stehen, sie sind orthogonal. Die totale Varianz der Daten ist die Summe dieser „Achsenvarianzen“. Mit den Achsen wird nun ein neues Koordinatensystem in die Punktwolke gelegt. Das neue Koordinatensystem kann als Rotation der Variablenachsen dargestellt werden.

Wird nun durch die ersten () Achsen ein hinreichend großer Prozentsatz der totalen Varianz abgedeckt, erscheinen die Hauptkomponenten, die durch die neuen Achsen repräsentiert werden, ausreichend für den Informationsgehalt der Daten. Die totale Varianz der Daten ist also ein Maß für ihren Informationsgehalt.

Häufig können die Hauptkomponenten inhaltlich nicht interpretiert werden. In der Statistik spricht man davon, dass ihnen keine verständliche Hypothese zugeschrieben werden kann (siehe Faktorenanalyse).

Statistisches Modell Man betrachtet Zufallsvariablen , die bezüglich ihrer Erwartungswerte zentriert sind. Das heißt, ihre Erwartungswerte wurden von der Zufallsvariablen subtrahiert. Diese Zufallsvariablen werden in einem -dimensionalen Zufallsvektor zusammengefasst. Dieser hat als Erwartungswertvektor den Nullvektor und die -Kovarianzmatrix , die symmetrisch und positiv semidefinit ist. Die Eigenwerte , , der Matrix sind absteigend der Größe nach geordnet (häufig werden die Eigenwerte dann in einem Paretodiagramm dargestellt). Sie werden als Diagonalelemente in der Diagonalmatrix aufgeführt. Die zu ihnen gehörenden Eigenvektoren bilden die orthogonale Matrix . Es gilt dann

Wird der Zufallsvektor linear transformiert zu , dann ist die Kovarianzmatrix von gerade die Diagonalmatrix , da für die die Kovarianzmatrix des transformierten Zufallsvektors gilt: .

Zur Verdeutlichung betrachten wir einen dreidimensionalen Zufallsvektor .

Die Matrix der Eigenwerte der Kovarianzmatrix von ist

wobei ist.

Die normierten -Eigenvektoren lassen sich als Spalten der Matrix zusammenfassen:

.

Die Matrix-Vektor-Multiplikation

ergibt die Gleichungen

.

Die Eigenvektoren bilden also die (maximal) p-dimensionale Rotationsmatrix, die sog. Ladungen, welche in der Matrixmultiplikation die

Punktwolke so dreht, dass die Koordinaten der Punkte im neuen System gleich der Matrix sind. Die Varianz der Hauptkomponente A, ist

Also hat die Hauptkomponente den größten Anteil an der Gesamtvarianz der Daten, den zweitgrößten Anteil usw. Die Elemente , ; , könnte man als Beitrag der Variablen am Faktor bezeichnen. Die Ladungsmatrix gibt an, „wie hoch eine Variable auf einen Faktor lädt“. Der Ladungswert einer Variablen für eine Hauptkomponente misst, wie viele Einheitsschritte man entlang dieser Variablenachse 'laufen' müsste, um einen Einheitsschritt entlang der Hauptkomponente zu erhalten. Die Variablen-Ladungen drücken also aus, welche Unterschiede bei den alten Variablen diese Hauptkomponente besonders gut misst.

Schätzung der Modellparameter Liegen konkret erhobene Daten mit Merkmalen vor (d. h., jeder Datenpunkt ist ein -dimensionaler Vektor), wird aus den Merkmalswerten die Stichproben-Korrelationsmatrix errechnet. Aus dieser Matrix bestimmt man dann die Eigenwerte und Eigenvektoren für die Hauptkomponentenanalyse. Da die Kovarianzmatrix eine symmetrische -Matrix ist, sind für ihre Berechnung insgesamt Parameter zu schätzen. Dies ist nur dann sinnvoll, wenn die Anzahl der Datenpunkte im Datensatz deutlich größer ist, d. h., wenn . Anderenfalls ist die Bestimmung der Kovarianzmatrix stark fehlerbehaftet und diese Methode sollte nicht angewandt werden.

Beispiele