In der Statistik ist die multiple lineare Regression, auch mehrfache lineare Regression (kurz: MLR) oder lineare Mehrfachregression genannt, ein regressionsanalytisches Verfahren und ein Spezialfall der linearen Regression. Die multiple lineare Regression ist ein statistisches Verfahren, mit dem versucht wird, eine beobachtete abhängige Variable durch mehrere unabhängige Variablen zu erklären. Das dazu verwendete Modell ist linear in den Parametern, wobei die abhängige Variable eine Funktion der unabhängigen Variablen ist. Diese Beziehung wird durch eine additive Störgröße überlagert. Die multiple lineare Regression stellt eine Verallgemeinerung der einfachen linearen Regression bzgl. der Anzahl der Regressoren dar.
Das klassische Modell der linearen Mehrfachregression mini|Regressionsebene, die sich an eine „Punktwolke“ im dreidimensionalen Raum anpasst (Fall ) Im Folgenden wird von linearen Funktionen ausgegangen. Es ist dann keine weitere Beschränkung der Allgemeinheit, dass diese Funktionen direkt aus den unabhängigen (erklärenden, exogenen) Variablen bestehen und es ebenso viele zu schätzende Regressionsparameter gibt wie unabhängige Variablen (Index ). Zum Vergleich: In der einfachen linearen Regression ist und konstant gleich , der zugehörige Regressionsparameter also der Achsenabschnitt.
Das Modell für Messungen der abhängigen (endogenen) Variablen ist also , mit Störgrößen , die rein zufällig sind, falls das lineare Modell passt. Für das Modell wird weiterhin angenommen, dass die Gauß-Markow-Annahmen gelten. In einem stichprobentheoretischen Ansatz wird jedes Stichprobenelement als eine eigene Zufallsvariable interpretiert, ebenso jedes .
Liegen die Daten
vor, so ergibt sich folgendes lineare Gleichungssystem:
Das multiple lineare Regressionsmodell (selten und doppeldeutig allgemeines lineares Modell) lässt sich in Matrixschreibweise wie folgt formulieren
.
Dies ist das zugrundeliegende Modell in der Grundgesamtheit und wird auch als „wahres Modell“ bezeichnet. Hierbei stehen , und für die Vektoren bzw. Matrizen:
und
und eine -Matrix (Versuchsplan- oder Datenmatrix):
, wobei
Aufgrund der unterschiedlichen Schreibweisen für lässt sich erkennen, dass sich das Modell auch darstellen lässt als:
mit
,
hierbei ist die beobachtete abhängige Variable für Beobachtung und , sind die unabhängigen Variablen. Wie gewöhnlich ist, das Absolutglied und sind unbekannte skalare Steigungsparameter. Die Störgröße für Beobachtung ist eine unbeobachtbare Zufallsvariable. Der Vektor ist der transponierte Vektor der Regressoren und wird auch als linearer Prädiktor bezeichnet.
Die wesentliche Voraussetzung an das multiple lineare Regressionsmodell ist, dass es bis auf die Störgröße das „wahre Modell“ beschreibt. Dabei wird in der Regel nicht genau spezifiziert, von welcher Art die Störgröße ist; sie kann beispielsweise von zusätzlichen Faktoren oder Messfehlern herrühren. Jedoch nimmt man als Grundvoraussetzung an, dass dessen Erwartungswert (in allen Komponenten) 0 ist: (Annahme 1). Diese Annahme bedeutet, dass das Modell grundsätzlich für korrekt gehalten wird und die beobachtete Abweichung als zufällig angesehen wird oder von vernachlässigbaren äußeren Einflüssen herrührt. Typisch ist die Annahme, dass die Komponenten des Vektors unkorreliert sind (Annahme 2) und dieselbe Varianz besitzen (Annahme 3), wodurch sich mit Hilfe klassischer Verfahren wie der Methode der kleinsten Quadrate ( ordinary least squares, kurz: OLS) einfache Schätzer für die unbekannten Parameter und ergeben. Die Methode wird daher auch (multiple lineare) KQ-Regression ( OLS regression) genannt.
Zusammenfassend wird für die Störgrößen angenommen, dass
(A1) sie den Erwartungswert null haben: , (A2) unkorreliert sind: und (A3) eine homogene Varianz haben: (skalare Kovarianzmatrix).
Hierbei bezeichnet den Nullvektor und die Einheitsmatrix der Dimension . Die oben genannten Annahmen sind die Annahmen der klassischen linearen Regression. Das Modell (die Gleichung zusammen mit obigen Annahmen) wird daher das klassische Modell der linearen Mehrfachregression genannt.
Statt nur die Varianzen und Kovarianzen der Störgrößen einzeln zu betrachten, werden diese in folgender Kovarianzmatrix zusammengefasst:
Somit gilt für
mit .
Über diese grundlegende Annahme hinaus sind grundsätzlich alle Verteilungsannahmen an erlaubt. Wird zudem vorausgesetzt, dass der Vektor mehrdimensional normalverteilt ist, lässt sich ferner zeigen, dass die beiden Schätzer Lösungen der Maximum-Likelihood-Gleichungen sind (siehe #Statistische Inferenz). In diesem Modell ist die Unabhängigkeit der Störgrößen dann gleichbedeutend mit der der .
Schätzung des Parametervektors mit der Kleinste-Quadrate-Schätzung Auch im multiplen linearen Regressionsmodell wird der Vektor der Störgrößen mithilfe der Kleinste-Quadrate-Schätzung (KQ-Schätzung) minimiert, das heißt, es soll so gewählt werden, dass die euklidische Norm minimal wird. Im Folgenden wird der Ansatz benutzt, dass die Residuenquadratsumme minimiert wird. Dazu wird vorausgesetzt, dass den Rang hat. Dann ist invertierbar und man erhält als Minimierungsproblem:
bezeichnet analog zu (Argument des Maximums) das Argument des Minimums
Die Bedingung erster Ordnung (Nullsetzen des Gradienten) lautet:
mini|hochkant=1.6|Die Kleinste-Quadrate-Schätzung kann als eine Projektion auf die Ebene, die durch die Regressoren aufgespannt wird, interpretiert werden. Die partiellen Ableitungen erster Ordnung lauten:
Dies zeigt, dass sich die Bedingung erster Ordnung für den Vektor der geschätzten Regressionsparameter kompakt darstellen lässt als:
bzw. . Dieses lineare Gleichungssystem wird in der Regel (Gaußsches) Normalgleichungssystem genannt.
Da die Matrix den Rang hat, ist die quadratische symmetrische Matrix nichtsingulär und die Inverse für existiert. Daher erhält man nach linksseitiger Multiplikation mit der Inversen der Produktsummenmatrix als Lösung des Minimierungsproblems den folgenden Vektor der geschätzten Regressionskoeffizienten:George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 192.
Wenn der Rang von kleiner als ist, dann ist nicht invertierbar, also das Normalgleichungssystem nicht eindeutig lösbar, mithin nicht identifizierbar, siehe hierzu aber den Begriff der Schätzbarkeit. Da die Residuenquadratsumme minimiert, wird auch Kleinste-Quadrate-Schätzer (kurz: KQ-Schätzer) genannt.Alvin C. Rencher, G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008, S. 143 Alternativ kann der Kleinste-Quadrate-Schätzer durch Einsetzen des wahren Modells auch dargestellt werden alsPeter Hackl: Einführung in die Ökonometrie. 2. aktualisierte Auflage, Pearson, 2008., ISBN 978-3-86894-156-2, S. 48.
Für die Kovarianzmatrix des Kleinste-Quadrate-Schätzers ergibt sich (dargestellt in kompakter Form):George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 201.
Im Fall der linearen Einfachregression () reduziert sich die obige Formel auf die bekannten Ausdrücke für die Varianzen der KQ-Schätzer und (siehe Statistische Eigenschaften der Kleinste-Quadrate-Schätzer).George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 168. Beweis
Man erhält mit Hilfe des Kleinste-Quadrate-Schätzers das Gleichungssystem
,
wobei der Vektor der Residuen und die Schätzung für ist. Das Interesse der Analyse liegt oft in der Schätzung oder in der Vorhersage der abhängigen Variablen für ein gegebenes Tupel von . Der Vorhersagevektor berechnet sich als
.
Güteeigenschaften des Kleinste-Quadrate-Schätzers Erwartungstreue Im multiplen Fall kann man genauso wie im einfachen Fall zeigen, dass der Kleinste-Quadrate-Schätzvektor erwartungstreu für ist. Dies gilt allerdings nur, wenn die Annahme der Exogenität der Regressoren gegeben ist. Dies ist der Fall, wenn die möglicherweise zufälligen Regressoren und die Störgrößen unkorreliert sind, d. h. wenn gilt. Wenn man also hier voraussetzt, dass die exogenen Variablen keine Zufallsvariablen sind, sondern wie in einem Experiment kontrolliert werden können, gilt bzw. und damit ist erwartungstreu für . Beweis Falls die Exogenitätsannahme nicht zutrifft, , ist der Kleinste-Quadrate-Schätzer nicht erwartungstreu für . Es liegt also eine Verzerrung ( bias) vor, d. h., „im Mittel“ weicht der Parameterschätzer vom wahren Parameter ab:
.
Der Erwartungswert des Kleinste-Quadrate-Parametervektor für ist also nicht gleich dem wahren Parameter , siehe dazu auch unter Regression mit stochastischen Regressoren.
Effizienz Der Kleinste-Quadrate-Schätzer ist linear:
.
Nach dem Satz von Gauß-Markow ist der Schätzer , bester linearer erwartungstreuer Schätzer (BLES bzw. Best Linear Unbiased Estimator, kurz: BLUE), das heißt, er ist derjenige lineare erwartungstreue Schätzer, der unter allen linearen erwartungstreuen Schätzern die kleinste Varianz bzw. Kovarianzmatrix besitzt. Für diese Eigenschaften der Schätzfunktion braucht keine Verteilungsinformation der Störgröße vorzuliegen. Wenn die Störgrößen normalverteilt sind, ist Maximum-Likelihood-Schätzer und nach dem Satz von Lehmann-Scheffé beste erwartungstreue Schätzung (BES bzw. Best Unbiased Estimator, kurz: BUE).
Konsistenz Der KQ-Schätzer ist unter den bisherigen Annahmen erwartungstreu für (), wobei die Stichprobengröße keinen Einfluss auf die Erwartungstreue hat (schwaches Gesetz der großen Zahlen). Ein Schätzer ist genau dann konsistent für den wahren Wert, wenn er in Wahrscheinlichkeit gegen den wahren Wert konvergiert ( probability limit, kurz: plim). Die Eigenschaft der Konsistenz bezieht also das Verhalten des Schätzers mit ein, wenn die Anzahl der Beobachtungen größer wird.
Für die Folge gilt, dass sie in Wahrscheinlichkeit gegen den wahren Parameterwert konvergiert
oder vereinfacht ausgedrückt bzw.
Die Grundlegende Annahme, um die Konsistenz des KQ-Schätzers sicherzustellen lautet , d. h. man geht davon aus, dass das durchschnittliche Quadrat der beobachteten Werte der erklärenden Variablen auch bei einem ins Unendliche gehendem Stichprobenumfang endlich bleibt (siehe Produktsummenmatrix#Asymptotische Resultate). Außerdem nimmt man an, dass
.
Die Konsistenz kann wie folgt gezeigt werden:George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 266. Beweis Hierbei wurde das Slutsky-Theorem und die Eigenschaft verwendet, dass wenn deterministisch bzw. nichtstochastisch ist gilt.
Folglich ist der Kleinste-Quadrate-Schätzer konsistent für . Die Eigenschaft besagt, dass mit steigender Stichprobengröße die Wahrscheinlichkeit, dass der Schätzer vom wahren Parameter abweicht, sinkt. Weiterhin lässt sich durch das Chintschin-Theorem zeigen, dass für die durch die KQ-Schätzung gewonnene Störgrößenvarianz gilt, dass sie konsistent für ist, d. h. .
BeweisDazu schreibt man zunächst die geschätzte Störgrößenvarianz wie folgt um
Damit ergibt sich als Wahrscheinlichkeitslimes
Somit ist ein konsistenter Schätzer für .
Verallgemeinerungen Unter Berücksichtigung von Varianzen (Unsicherheiten oder Gewichte) und Kovarianzen (Korrelationen) verallgemeinert sich die multiple lineare Regression zur gewichteten multiplen linearen Regression
wobei die Inverse der Kovarianzmatrix (Fehlermatrix) darstellt.