mini|400px|Dieses Streudiagramm zeigt eine konkrete empirische Regressionsgerade einer linearen Einfachregression, die bestmöglich durch die „Punktwolke“ der Messung gelegt wurde.
In der Statistik ist die lineare Einfachregression, auch einfache lineare Regression (kurz: ELR), selten univariate lineare Regression genannt, ein regressionsanalytisches Verfahren und ein Spezialfall der linearen Regression. Die Bezeichnung einfach gibt an, dass bei der linearen Einfachregression nur eine unabhängige Variable verwendet wird, um die Zielgröße zu erklären. Ziel ist die Schätzung von Achsenabschnitt und Steigung der Regressionsgeraden sowie die Schätzung der Varianz der Störgrößen.
Einführung in die Problemstellung Das Ziel einer Regression ist es, eine abhängige Variable durch eine oder mehrere unabhängige Variablen zu erklären. Bei der einfachen linearen Regression wird eine abhängige Variable durch lediglich eine unabhängige Variable erklärt. Das Modell der linearen Einfachregression geht daher von zwei metrischen Größen aus: einer Einflussgröße (erklärende Variable, unabhängige Variable, Regressor) und einer Zielgröße (abhängige Variable, erklärte Variable, Regressand). Des Weiteren liegen Paare von Messwerten vor (die Darstellung der Messwerte im --Diagramm wird im Folgenden als Streudiagramm bezeichnet), die in einem funktionalen Zusammenhang stehen, der sich aus einem systematischen und einem stochastischen Teil zusammensetzt:
Die stochastische Komponente beschreibt nur noch zufällige Einflüsse (z. B. zufällige Abweichungen wie Messfehler), alle systematischen Einflüsse sind in der systematischen Komponente enthalten. Die lineare Einfachregression stellt den Zusammenhang zwischen der Einfluss- und der Zielgröße mithilfe von zwei festen, unbekannten, reellen Parametern und auf lineare Weise her, d. h., die Regressionsfunktion wird wie folgt spezifiziert:
(Linearität)
Dadurch ergibt sich das Modell der linearen Einfachregression als . Hierbei ist die abhängige Variable und stellt eine Zufallsvariable dar. Die -Werte sind beobachtbare, nicht zufällige Messwerte der bekannten erklärenden Variablen ; die Parameter und sind unbekannte skalare Regressionsparameter und ist eine zufällige und unbeobachtbare Störgröße. Bei der einfachen linearen Regression wird also eine Gerade so durch das Streudiagramm gelegt, dass der lineare Zusammenhang zwischen und möglichst gut beschrieben wird.
Bestimmtheitsmaß
mini|hochkant|Streudiagramm der Residuen ohne Struktur, das liefert mini|hochkant|Streudiagramm der Residuen, das ein nahe bei liefert Das Bestimmtheitsmaß misst, wie gut die Messwerte zu einem Regressionsmodell passen (Anpassungsgüte). Es ist definiert als der Anteil der „erklärten Variation“ an der „Gesamtvariation“ und liegt daher zwischen:
(oder ): kein linearer Zusammenhang und (oder ): perfekter linearer Zusammenhang.
Je näher das Bestimmtheitsmaß am Wert Eins liegt, desto höher ist die „Bestimmtheit“ bzw. „Güte“ der Anpassung. Ist , dann besteht das „beste“ lineare Regressionsmodell nur aus dem Achsenabschnitt , während ist. Je näher der Wert des Bestimmtheitsmaß an liegt, desto besser erklärt die Regressionsgerade das wahre Modell. Ist , dann lässt sich die abhängige Variable vollständig durch das lineare Regressionsmodell erklären. Anschaulich liegen dann die Messpunkte alle auf der nichthorizontalen Regressionsgeraden. Somit liegt bei diesem Fall kein stochastischer Zusammenhang vor, sondern ein deterministischer.
Eine häufige Fehlinterpretation eines niedrigen Bestimmtheitsmaßes ist es, dass es keinen Zusammenhang zwischen den Variablen gibt. Tatsächlich wird nur der lineare Zusammenhang gemessen, d. h., obwohl klein ist, kann es trotzdem einen starken nichtlinearen Zusammenhang geben. Umgekehrt muss ein hoher Wert des Bestimmtheitsmaßes nicht bedeuten, dass ein nichtlineares Regressionsmodell nicht noch besser als ein lineares Modell ist.
Bei einer einfachen linearen Regression entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten (siehe Bestimmtheitsmaß als quadrierter Korrelationskoeffizient).
Im oben genannten Beispiel kann die Güte des Regressionsmodells mit Hilfe des Bestimmtheitsmaßes überprüft werden. Für das Beispiel ergibt sich für die Residuenquadratsumme und die totale Quadratsumme
und
und das Bestimmtheitsmaß zu
.
Das heißt, ca. 90 % der Variation bzw. Streuung in können mithilfe des Regressionsmodells „erklärt“ werden, nur 10 % der Streuung bleiben „unerklärt“.
Das Modell mini|300px|Datensatz mit wahrer Regressionsgerade (blau) und geschätzter Regressionsgerade (rot) sowie wahrer Störgröße und geschätzter Störgröße (Residuum).
Im Regressionsmodell werden die Zufallskomponenten mit Hilfe von Zufallsvariablen modelliert. Wenn eine Zufallsvariable ist, dann ist es auch . Die beobachteten Werte werden als Realisierungen der Zufallsvariablen aufgefasst.
Daraus ergibt sich das einfache lineare Regressionsmodell:W. Zucchini, A. Schlegel, O. Nenadíc, S. Sperlich: Statistik für Bachelor- und Masterstudenten.
(mit Zufallsvariablen) bzw. (mit deren Realisierungen).
Bildlich gesprochen wird eine Gerade durch das Streudiagramm der Messung gelegt. In der gängigen Literatur wird die Gerade oft durch den Achsenabschnitt und den Regressions- bzw. Steigungsparameter beschrieben. Die abhängige Variable wird in diesem Kontext oft auch endogene Variable genannt. Dabei ist eine additive stochastische Störgröße, die Abweichungen vom idealen Zusammenhang – also der Geraden – achsenparallel misst.
Anhand der Messwerte werden die Regressionsparameter und die geschätzt. So erhält man die Stichproben-Regressionsfunktion . Im Gegensatz zur unabhängigen und abhängigen Variablen sind die Zufallskomponenten und deren Realisierungen nicht direkt beobachtbar. Ihre geschätzten Realisierungen sind nur indirekt beobachtbar und heißen Residuen. Sie sind berechnete Größen und messen den vertikalen Abstand zwischen Beobachtungspunkt und der geschätzten Regressionsgerade.
Modellannahmen Um die Zerlegung von in eine systematische und zufällige Komponente zu sichern sowie gute Schätzeigenschaften für die Schätzung und der Regressionsparameter und zu haben, sind einige Annahmen bezüglich der Störgrößen sowie der unabhängigen Variable nötig.
Annahmen über die unabhängige Variable In Bezug auf die unabhängige Variable werden folgende Annahmen getroffen:
Die Werte der unabhängigen Variablen sind deterministisch, d. h. sie sind fest gegeben Sie können also wie in einem Experiment kontrolliert werden und sind damit keine Zufallsvariablen (Exogenität der Regressoren). Wären die Zufallsvariablen, z. B. wenn die auch nur fehlerbehaftet gemessen werden können, dann wäre und die Verteilung von sowie die Verteilungsparameter (Erwartungswert und Varianz) würden nicht nur von abhängen . Mit speziellen Regressionsverfahren kann dieser Fall aber auch behandelt werden, siehe z. B. Regression mit stochastischen Regressoren. Stichprobenvariation in der unabhängigen Variablen Die Realisierungen der unabhängigen Variablen sind nicht alle gleich.Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 59. Man schließt also den unwahrscheinlichen Fall aus, dass die unabhängige Variable keinerlei Variabilität aufweist, d. h. . Dies impliziert, dass die Quadratsumme der unabhängigen Variablen positiv sein muss.Karl Mosler und Friedrich Schmid: Wahrscheinlichkeitsrechnung und schließende Statistik. Springer-Verlag, 2011, S. 292. Diese Annahme wird im Schätzprozess benötigt.
Annahmen über die unabhängige und abhängige Variable Der wahre Zusammenhang zwischen den Variablen und ist linear Die Regressionsgleichung der einfachen linearen Regression muss linear in den Parametern und sein, kann aber nichtlineare Transformationen der unabhängigen und der abhängigen Variablen beinhalten. Beispielsweise sind die Transformationen
und
zulässig, da sie ebenfalls lineare Modelle darstellen. Bei transformierten Daten ist zu beachten, dass sie die Interpretation der Regressionsparameter ändert.
Vorliegen einer Zufallsstichprobe
Es liegt eine Zufallsstichprobe des Umfangs mit Realisierungen vor, die dem wahren Modell folgt.
Annahmen über die Störgrößen In Bezug auf die Störgrößen werden folgende Annahmen getroffen:Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6., durchges. u. aktualisierte Auflage. 2013, S. 49. Der Erwartungswert der Störgrößen ist Null: Wenn das Modell einen – von Null verschiedenen – Achsenabschnitt enthält, ist es vernünftig, dass man zumindest fordert, dass der Mittelwert von in der Grundgesamtheit Null ist und sich die Schwankungen der einzelnen Störgrößen über die Gesamtheit der Beobachtungen ausgleichen. Mathematisch bedeutet das, dass der Erwartungswert der Störgrößen Null ist . Diese Annahme macht keine Aussage über den Zusammenhang zwischen und , sondern gibt lediglich eine Aussage über die Verteilung der unsystematischen Komponente in der Grundgesamtheit.Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 24. Dies bedeutet, dass das betrachte Modell im Mittel dem wahren Zusammenhang entspricht. Wäre der Erwartungswert nicht Null, dann würde man im Mittel einen falschen Zusammenhang schätzen. Zur Verletzung dieser Annahme kann es kommen, wenn eine relevante Variable im Regressionsmodell nicht berücksichtigt wurde (siehe Verzerrung durch ausgelassene Variablen). Die Störgrößen sind voneinander unabhängige Zufallsvariablen Wären die Störgrößen nicht unabhängig, dann könnte man einen systematischen Zusammenhang zwischen ihnen formulieren. Das würde der Zerlegung von in eine eindeutige systematische und zufällige Komponente widersprechen. Es wird in der Zeitreihenanalyse z. B. oft ein Zusammenhang der Form betrachtet. Oft wird auch nur die Unkorreliertheit der Störgrößen gefordert: oder äquivalent . Unabhängige Zufallsvariablen sind immer auch unkorreliert. Man spricht in diesem Zusammenhang auch von Abwesenheit von Autokorrelation. Eine konstante Varianz (Homoskedastizität) der Störgrößen: Wäre die Varianz nicht konstant, ließe sich evtl. die Varianz systematisch modellieren, d. h., dies widerspräche Zerlegung von in eine eindeutige systematische und zufällige Komponente. Zudem lässt sich zeigen, dass sich die Schätzeigenschaften der Regressionsparameter verbessern lassen, wenn die Varianz nicht konstant ist.
Alle oben genannten Annahmen über die Störgrößen lassen sich so zusammenfassen: , d. h., alle Störgrößen sind unabhängig und identisch verteilt mit Erwartungswert und .
Optionale Annahme: Die Störgrößen sind normalverteilt, also Diese Annahme wird nur benötigt, um z. B. Konfidenzintervalle zu berechnen bzw. um Tests für die Regressionsparameter durchzuführen.
Wird die Normalverteilung der Störgrößen angenommen, so folgt, dass auch normalverteilt ist:
Die Verteilung der hängt also von der Verteilung der Störgrößen ab. Der Erwartungswert der abhängigen Variablen lautet:
Da die einzige zufällige Komponente in die Störgröße ist, gilt für die Varianz der abhängigen Variablen, dass sie gleich der Varianz der Störgrößen entspricht: . Die Varianz der Störgrößen spiegelt somit die Variabilität der abhängigen Variablen um ihren Mittelwert wider. Damit ergibt sich für die Verteilung der abhängigen Variablen:
.
Aufgrund der Annahme, dass die Störgrößen im Mittel Null sein müssen, muss der Erwartungswert von der Regressionsfunktion der Grundgesamtheit
entsprechen. D. h., mit der Annahme über die Störgrößen schlussfolgert man, dass das Modell im Mittel korrekt sein muss. Wenn zusätzlich zu den anderen Annahmen auch die Annahme der Normalverteiltheit gefordert wird spricht man auch vom klassischen linearen Modell (siehe auch #Klassisches lineares Modell der Normalregression).