Die Regressionsanalyse ist ein Instrumentarium statistischer Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen (auch erklärte Variable, Kriterium[svariable], vorhergesagte Variable, Antwortvariable oder Regressand genannt) und einer oder mehreren unabhängigen Variablen (auch erklärende Variable, Prädiktor[variable], Kontrollvariable oder Regressor) zu modellieren. Regressionen werden verwendet, um Zusammenhänge quantitativ zu beschreiben oder Werte der abhängigen Variablen zu prognostizieren. Die häufigste Form der Regressionsanalyse ist die lineare Regression, bei der der Anwender eine Gerade (oder eine komplexere lineare Funktion) findet, die den Daten nach einem bestimmten mathematischen Kriterium am besten entspricht. Beispielsweise berechnet die gewöhnliche Methode der kleinsten Quadrate eine eindeutige Gerade (oder Hyperebene), die die Summe der Abweichungsquadrate zwischen den wahren Daten und dieser Linie (oder Hyperebene), d. h. die Residuenquadratsumme minimiert. Aus bestimmten mathematischen Gründen kann der Anwender den bedingten Erwartungswert der abhängigen Variablen schätzen, wenn die unabhängigen Variablen eine bestimmte Menge von Werten annehmen. Weniger gebräuchliche Formen der Regression verwenden geringfügig unterschiedliche Verfahren zum Schätzen alternativer Lageparameter (z. B. die Quantilsregression) oder zum Schätzen des bedingten Erwartungswertes für eine breitere Klasse nichtlinearer Modelle (z. B. nichtparametrische Regression).
Die Regressionsanalyse wird hauptsächlich zu zwei konzeptionell unterschiedlichen Zwecken verwendet. Erstens wird die Regressionsanalyse häufig für Schätzungen und Vorhersagen verwendet, bei denen sich ihre Verwendung erheblich mit dem Bereich des maschinellen Lernens überschneidet, siehe auch symbolische Regression. Zweitens kann in einigen Situationen eine Regressionsanalyse verwendet werden, um auf kausale Beziehungen zwischen den unabhängigen und abhängigen Variablen zu schließen. Wichtig ist, dass Regressionen für sich genommen nur Beziehungen zwischen einer abhängigen Variablen und einer oder mehrerer unabhängiger Variablen in einem gegebenen Datensatz aufzeigen. Um Regressionen für Vorhersagen zu verwenden oder Kausalzusammenhänge herzuleiten, muss der Anwender sorgfältig begründen, warum bestehende Beziehungen Vorhersagekraft für einen neuen Kontext haben oder warum eine Beziehung zwischen zwei Variablen eine Kausalzusammenhangsinterpretation hat (Korrelation und Kausalzusammenhang). Letzteres ist besonders wichtig, wenn Anwender mithilfe von Beobachtungsdaten kausale Zusammenhänge abschätzen möchten.
Durch die Ergänzung einer Entscheidungsregel wird eine Regression zu einem Klassifikationsverfahren.
Geschichte mini|hochkant|Francis Galton mini|hochkant|Carl Friedrich Gauß Die früheste Form der Regression war die Median-Regression (auch Methode der kleinsten absoluten Abweichungen), die um 1760 von Rugjer Josip Bošković vorgeschlagen wurde.Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 105. Später wurde die Methode der kleinsten Quadrate () 1805 von LegendreA. M. Legendre: Nouvelles méthodes pour la détermination des orbites des comètes. 1805. “Sur la Méthode des moindres quarrés” erscheint als Anhang. und 1809 von Gauß veröffentlicht.C. F. Gauß: Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum. 1809. Beide verwendeten die Methode, um die Umlaufbahnen der Planeten um die Sonne anhand von astronomischen Beobachtungen zu bestimmen. Gauß veröffentlichte eine Weiterentwicklung der Theorie der kleinsten Quadrate im Jahr 1821,C. F. Gauß: Theoria combinationis observationum erroribus minimis obnoxiae. 1821/1823. die eine theoretische Rechtfertigung seiner Methode der kleinsten Quadrate enthielt. Diese ist heute als Satz von Gauß-Markow bekannt.
Der Begriff Regression wurde im 19. Jahrhundert von Francis Galton, einem Cousin Charles Darwins, geprägt. Er beschrieb damit ein biologisches Phänomen, bekannt als Regression zur Mitte, wonach Nachfahren großer Eltern dazu tendieren, nur durchschnittlich groß zu werden. Für Galton hatte Regression nur diese biologische Bedeutung.Francis Galton: Typical laws of heredity. In: Nature. 15, 1877, S. 492–495, 512–514, 532–533. (Galton uses the term "reversion" in this paper, which discusses the size of peas.)Francis Galton. Presidential address, Section H, Anthropology. (1885) (Galton verwendet den Begriff "Regression" in diesem Artikel, welcher die Größe von Menschen untersucht.). Seine Arbeit wurde jedoch später durch Udny Yule und Karl Pearson in einen allgemeineren statistischen Kontext gesetzt. In deren Arbeiten wurde davon ausgegangen, dass die gemeinsame Verteilung der unabhängigen und der abhängigen Variablen normalverteilt ist. Diese Annahme konnte von R. A. Fisher später abgeschwächt werden. Dieser arbeitete mit der Voraussetzung, dass die bedingte Verteilung der abhängigen Variable normalverteilt ist, die gemeinsame Verteilung jedoch nicht notwendigerweise. In dieser Hinsicht war Fishers Ansatz ähnlicher zu Gauß’ Formulierung von 1821.
Regressionsverfahren sind weiterhin ein aktives Forschungsgebiet. In den letzten Jahrzehnten wurden in verschiedensten Bereichen Schätzmethoden entwickelt, etwa zur robusten Regression, zur nichtparametrischen Regression, im Bereich der bayesschen Statistik, bei fehlenden Daten und bei fehlerbehafteten unabhängigen Variablen.
Anwendungen Regressionsverfahren haben viele praktische Anwendungen. Die meisten Anwendungen fallen in folgende Kategorien:Alvin C. Rencher, G. Bruce Schaalje: Linear models in statistics. (PDF; 5,6 MB) John Wiley & Sons, 2008, S. 2.
Vorhersage Schätzungen der einzelnen Regressionsparameter sind weniger wichtig für die Vorhersage, als der Gesamteinfluss der -Variablen auf die Zielgröße . Dennoch sollten gute Schätzer eine hohe Vorhersagekraft haben. Datenbeschreibung und Erklärung Der Statistiker verwendet das geschätzte Modell, um die beobachteten Daten zusammenzufassen und zu beschreiben. Parameterschätzung Die Werte der geschätzten Parameter könnten theoretische Implikationen für das angenommene Modell haben. Variablenauswahl Es soll herausgefunden werden wie wichtig jede einzelne Prädiktorvariable in der Modellierung der Zielgröße ist. Die Prädiktorvariablen, von denen angenommen wird, dass sie einen wichtigen Anteil an der Erklärung der Variation in leisten, werden beibehalten und diejenigen, die wenig zur Erklärung der Variation in beitragen (oder redundante Information über enthalten), werden ausgelassen. Für die Ausgangsvariable kontrollieren Es wird ein Ursache-Wirkung-Zusammenhang (d. h. ein kausaler Zusammenhang) zwischen der Zielvariable und den Prädiktorvariablen angenommen. Das geschätzte Modell kann dann verwendet werden, um für die Ausgangsvariable eines Prozesses zu kontrollieren, indem die Eingangsvariablen variiert werden. Durch systematisches Herumexperimentieren kann es möglich sein den optimalen Ausstoß zu erzielen.
Schema einer Regressionsanalyse Datenaufbereitung Am Beginn jedes statistischen Verfahrens steht die Aufbereitung der Daten, insbesondere die Plausibilisierung. Hierbei wird geprüft, ob die Daten nachvollziehbar sind. Dies kann manuell oder automatisch anhand von Gültigkeitsregeln erfolgen. der Umgang mit fehlenden Daten. Häufig werden unvollständige Datensätze weggelassen, mitunter werden die fehlenden Daten auch nach bestimmten Verfahren aufgefüllt. die Transformation der Daten. Diese kann aus verschiedenen Gründen erfolgen. Sie kann beispielsweise zu einer besseren Interpretierbarkeit oder Visualisierbarkeit der Daten führen. Sie kann auch dazu dienen, die Daten in eine Form zu bringen, in der die Annahmen des Regressionsverfahrens erfüllt sind. Im Falle der linearen Regression werden etwa ein linearer Zusammenhang zwischen den unabhängigen und der abhängigen Variable sowie Homoskedastizität vorausgesetzt. Es gibt mathematische Hilfsmittel zum Finden einer geeigneten Transformation, im Beispiel der Linearisierung des Zusammenhanges etwa die Box-Cox-Transformation. die Berücksichtigung von Interaktionen (bei linearer Regression). Hierbei wird neben dem Einfluss der unabhängigen Variablen auch der Einfluss mehrerer Variablen gleichzeitig berücksichtigt.
Modellanpassung In der Praxis wählt der Anwender zuerst ein Modell aus, das er schätzen möchte, und verwendet dann die gewählte Schätzmethode (z. B. die gewöhnliche Kleinste-Quadrate-Schätzung), um die Parameter dieses Modells zu schätzen. Regressionsmodelle umfassen im Allgemeinen die folgenden Komponenten:
die unabhängigen Variablen, für die Daten vorliegen und oft im Vektor zusammengefasst werden (hierbei stellt eine Datenreihe dar). die abhängige Variable, für die Daten vorliegen und die häufig mit dem Skalar angegeben wird. Man sagt: „Variable wird auf Variable und regressiert“ oder „Regression von auf und “. die unbekannten zu schätzenden Parameter : Sie stellen Skalare dar. die unbeobachtbaren Störgrößen (statistisches Rauschen), die nicht direkt beobachtet werden können und häufig als angegeben werden.
In verschiedenen Anwendungsbereichen der Statistik werden unterschiedliche Terminologien anstelle von abhängige und unabhängige Variablen verwendet (siehe Abhängige und unabhängige Variable#Statistische Bezeichnungen und Konzepte).
In den allermeisten Regressionsmodellen ist eine Funktion von und , wobei diese Beziehung von einer additiven Störgröße überlagert wird, die für nicht modellierte oder unbekannte Bestimmungsfaktoren von stehen kann:
.
Ziel des Anwenders ist es, diejenige Funktion zu schätzen, die am ehesten zu den vorliegenden Daten passt. Um eine Regressionsanalyse durchzuführen, muss die funktionale Form der Funktion angegeben werden. Manchmal basiert die Angabe der Form dieser Funktion auf nicht datenbasierten Erfahrungswissen über die Beziehung zwischen und (die Lineare Regression etwa betrachtet nur lineare Funktionen , logistische Regression betrachtet nur logistische Funktionen). Wenn kein solches Wissen vorhanden ist, kann eine flexiblere bzw. allgemeinere Form für gewählt werden. Beispielsweise kann eine einfache lineare Regression (lineare Einfachregression) angewandt werden, was darauf hindeutet, dass der Forscher glaubt, dass eine angemessene Annäherung für den wahren datengenerierenden Prozess sein könnte.
Sobald der Anwender sein bevorzugtes statistisches Modell festgelegt hat, bieten verschiedene Formen der Regressionsanalyse Werkzeuge zur Schätzung des Parameters . Zum Beispiel findet die Kleinste-Quadrate-Schätzung (einschließlich seiner häufigsten Variante, der gewöhnlichen Kleinste-Quadrate-Schätzung) denjenigen Wert von , der die Residuenquadratsumme minimiert. Eine gegebene Regressionsmethode liefert letztendlich eine Schätzung von , die für gewöhnlich als bezeichnet wird, um die Schätzung von dem wahren (unbekannten) Parameterwert zu unterscheiden, der die Daten generiert hat. Mit dieser Schätzung kann der Anwender dann den angepassten Wert bzw. vorhergesagten Wert () zur Vorhersage verwenden oder auch zur Beurteilung, wie genau das Modell die Daten erklären kann. Ob der Anwender grundsätzlich an der Schätzung oder dem vorhergesagten Wert interessiert ist, hängt vom Kontext und den Zielen des Anwenders ab. Die gewöhnliche Kleinste-Quadrate-Schätzung wird oft verwendet, da die geschätzte Funktion eine Schätzung des bedingten Erwartungswertes darstellt.
Alternative Varianten (z. B. sogenannte robuste Schätzverfahren, die den Betrag der Abweichungen minimieren, wie die Median-Regression oder die Quantilsregression) sind jedoch nützlich, wenn Anwender andere Funktionen z. B. nichtlinearer Modelle modellieren möchte.