mini|hochkant=1.5|Dieses Streudiagramm zeigt zwei konkrete empirische Regressionsgeraden einer linearen Einfachregression, die jeweils bestmöglich durch die „Punktwolke“ der Messung gelegt wurden. Zu erkennen ist, dass die obere Gerade eine bessere Anpassung an die Daten liefert als die untere. Formal lässt sich dies anhand eines höheren R-Quadrat-Wertes erkennen ( vs. ).
Das Bestimmtheitsmaß, auch Determinationskoeffizient (von determinatio „Abgrenzung, Bestimmung“ bzw. determinare „eingrenzen“, „festlegen“, „bestimmen“ und coefficere „mitwirken“), bezeichnet mit , ist in der Statistik eine Kennzahl zur Beurteilung der Anpassungsgüte einer Regression. Das Bestimmtheitsmaß beruht auf der Quadratsummenzerlegung, bei der die totale Quadratsumme in die durch das Regressionsmodell erklärte Quadratsumme einerseits und in die Residuenquadratsumme andererseits zerlegt wird. Allerdings existieren mehrere verschiedene, nicht gleichbedeutende Definitionen des Bestimmtheitsmaßes.
Das Bestimmtheitsmaß steht in enger Beziehung zu weiteren Modellgütemaßen zur Prüfung der Regressionsfunktion, wie z. B. zum Standardfehler der Regression und zur F-Statistik. Weil das Bestimmtheitsmaß durch die Aufnahme zusätzlicher Variablen wächst und die Gefahr der Überanpassung besteht, wird für praktische Anwendungen meist das adjustierte Bestimmtheitsmaß verwendet. Das adjustierte Bestimmtheitsmaß „bestraft“ im Gegensatz zum unadjustierten Bestimmtheitsmaß die Aufnahme jeder neu hinzugenommenen erklärenden Variable.
Obwohl das Bestimmtheitsmaß die am häufigsten benutzte Kennzahl ist, um die globale Anpassungsgüte einer Regression zu quantifizieren, wird es oft fehlinterpretiert und falsch angewendet, auch da bei einer Regression durch den Ursprung zahlreiche alternative Definitionen des Bestimmtheitsmaßes nicht äquivalent sind.
Das Bestimmtheitsmaß ist ein reines Zusammenhangsmaß. So ist es nicht möglich, das Bestimmtheitsmaß zu verwenden, um einen direkten kausalen Zusammenhang zwischen den Variablen nachzuweisen. Außerdem zeigt das Bestimmtheitsmaß nur die Größe des Zusammenhangs zwischen den Variablen, aber nicht, ob dieser Zusammenhang statistisch signifikant ist.
Das Pseudo-Bestimmtheitsmaß und die Devianz verallgemeinern das Bestimmtheitsmaß.
Einführung in die Problemstellung mini|hochkant=1.5|Regressiongerade als Schätzer (Modellfunktion) für den Zusammenhang von Größe und Gewicht der Probanden. ist das geschätzte Gewicht des Probanden bei einer gegebenen Größe . Der Restfehler (das Residuum) stellt die Differenz zwischen dem Messwert und Schätzwert dar.
Gegeben sind Messungen , d. h., bei dem -ten Wertepaar wird einem Wert (z. B. Größe einer Person) ein Messwert (z. B. das gemessene Gewicht der Person) zugeordnet. Dazu berechnet man den empirischen Mittelwert (z. B. das mittlere Gewicht der Probanden). Ferner gibt es einen Schätzer (Modellfunktion), der jedem Wert (z. B. Größe) einen Schätzwert (geschätztes Gewicht für eine Person mit Größe ) zuordnet. Die Abweichung einer Schätzung von der zugehörigen Messung ist durch gegeben und wird „Residuum“ genannt. Bei der einfachen linearen Regression, die zum Ziel hat, das Absolutglied ( intercept) , die Steigung ( slope) und die Störgrößenvarianz zu schätzen, wird der Schätzer anschaulich durch die Regressionsgerade beschrieben und mathematisch durch die Stichproben-Regressionsfunktion definiert. Die beiden Parameterschätzer und werden auch als Kleinste-Quadrate-Schätzer bezeichnet.Die durch die Kleinste-Quadrate-Schätzung gewonnenen Parameterschätzer und werden oft auch als und notiert. Wenn das zugrundeliegende Modell ein von Null verschiedenes Absolutglied enthält, stimmt der empirische Mittelwert der Schätzwerte mit dem der beobachteten Messwerte überein, also
(für einen Beweis siehe unter Matrixschreibweise).
Es empfiehlt sich, nach der Schätzung der Regressionsparameter die Regressionsgerade gemeinsam mit den Datenpunkten in ein Streudiagramm einzuzeichnen. Auf diese Weise bekommt man eine Vorstellung davon, wie „gut“ die Punkteverteilung durch die Regressionsgerade wiedergegeben wird. Je enger die Datenpunkte um die Regressionsgerade herum konzentriert sind, d. h. je kleiner also die Residuenquadrate sind, desto „besser“. In diesem Zusammenhang ist allerdings zu beachten, dass die Residuenquadrate typischerweise klein sind, wenn die abhängige Variable eine geringe Variabilität aufweist. Die geforderte Kleinheit der Residuenquadrate muss also in Relation zur Streuung der abhängigen Variablen betrachtet werden.Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 3. Auflage. 2013, S. 313.
Ein Maß zur Beurteilung der Anpassungsgüte sollte außerdem die Streuung der Messwerte und die der geschätzten Werte in Relation setzen. Die Streuung der jeweiligen Werte um ihren Mittelwert kann mithilfe der „Summe der Abweichungsquadrate“ (Summe der Quadrate bzw. Sum of Squares, kurz: SQ oder SS) gemessen werden. Das „mittlere Abweichungsquadrat“ stellt die empirische Varianz dar. Die Streuung der Schätzwerte um ihren Mittelwert kann durch gemessen werden und die Streuung der Messwerte um das Gesamtmittel kann durch gemessen werden. Erstere stellt die durch die Regression „erklärte Quadratsumme“ (Summe der Quadrate der Erklärten Abweichungen bzw. Sum of Squares Explained, kurz: SQE oder SSE), und letztere stellt die „zu erklärende Quadratsumme“ bzw. die „totale Quadratsumme“ (Summe der Quadrate der Totalen Abweichungen bzw. Sum of Squares Total, kurz: SQT oder SST) dar. Das Verhältnis dieser beiden Größen wird das Bestimmtheitsmaß der Regression genannt. Das Bestimmtheitsmaß zeigt, wie gut die durch die Schätzung gefundene Modellfunktion zu den Daten passt, d. h. wie gut sich die konkrete empirische Regressionsgerade einer angenommenen wahren Gerade annähert. Die durch die Regression „nicht erklärten Abweichungen“ (Restabweichungen), d. h. die Abweichungen der Datenpunkte von der Regressionsgeraden werden durch die Regression „nicht erklärte Quadratsumme“ bzw. die Residuenquadratsumme (Summe der Quadrate der Restabweichungen (oder: „Residuen“) bzw. Sum of Squares Residual, kurz: SQR oder SSR) erfasst, die durch gegeben ist.Thomas Schuster, Arndt Liesen: Statistik für Wirtschaftswissenschaftler. Ein Lehr- und Übungsbuch für das Bachelor-Studium. 2. Auflage. 2017, S. 207.Es gibt in der Literatur keinen Konsens hinsichtlich der Abkürzungen , und . Die „totale Quadratsumme“ (sum of squares total) wird oft statt auch als abgekürzt. Unglücklicherweise wird die „durch die Regression erklärte Quadratsumme“ (sum of squares explained), hier abgekürzt als , manchmal als „Quadratsumme der Regression“ (sum of squares regression) bezeichnet und damit als abgekürzt. Wenn dieser Ausdruck jedoch mit seiner natürlichen Abkürzung abgekürzt wird, kann er leicht mit der „Residuenquadratsumme“ (sum of squares residual) verwechselt werden, die ebenfalls mit abgekürzt wird. Manche statistischen Programmpakete bezeichnen die „erklärte Quadratsumme“ (sum of squares explained) auch als „Modellquadratsumme“ (sum of squares model). Die Abkürzungsproblematik wird dadurch verschärft, dass die „Residuenquadratsumme“ oft auch als „Fehlerquadratsumme“ (sum of squares errors) bezeichnet wird (diese Bezeichnung ist besonders irreführend, da Störgrößen bzw. Fehler und Residuen unterschiedliche Größen sind).
Definitionen Das Bestimmtheitsmaß dient als Maßzahl zur Beurteilung der globalen Anpassungsgüte eines Regressionsmodells.
Variante 1 Das Bestimmtheitsmaß der Regression, auch empirisches Bestimmtheitsmaß,Der Begriff Bestimmtheitsmaß ist eine Komposition aus den beiden Grundbegriffen der philosophischen Logik: Bestimmtheit und Maß. Der Begriff der (inneren) Bestimmtheit bezeichnet in der philosophischen Logik die „Qualität“ bzw. „Güte“ eines Dings und das Maß eine „qualitative Quantität“ (siehe Grundbegriffe der Logik). ist eine dimensionslose Maßzahl, die den Anteil der Variabilität in den Messwerten der abhängigen Variablen ausdrückt, der durch das Modell vorhergesagt wird.Christoph Egert: Lineare statistische Modellierung und Interpretation in der Praxis. 2013, Kapitel Regression, S. 10 (abgerufen über De Gruyter Online).George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee: Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York / Chichester / Brisbane / Toronto / Singapore 1988, ISBN 0-471-62414-4, S. 212. Anders gesagt wird ausgedrückt, um wie viel geringer die verbleibende Variabilität nach Ausgleich des vom Modell vermuteten Zusammenhangs relativ zur Variabilität der Messwerte ist. Gegeben die Quadratsummenzerlegung, ist das Bestimmtheitsmaß der Regression definiert als das Verhältnis der durch die Regression erklärten Quadratsumme zur totalen Quadratsumme:Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/Heidelberg 2016, ISBN 978-3-662-50371-3, S. 151.Zur Vereinfachung werden im Artikel bei allgemeinen Definitionen die Summationsgrenzen weggelassen.
wobei .
Als quadrierter Korrelationskoeffizient Bei einer einfachen linearen Regression (nur eine erklärende Variable) entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten und lässt sich aus der Produktsumme (Summe der Produkte der Abweichungen der Messwerte vom jeweiligen Mittelwert ) und den Quadratsummen und berechnen:
,
wobei der Kleinste-Quadrate-Schätzer für die Steigung der Quotient aus Produktsumme von und und Quadratsumme von ist. In der einfachen linearen Regression ist , wenn ist, d. h. die erklärende Variable steht zur Schätzung von nicht zur Verfügung. Dies folgt aus der Tatsache, dass in der einfachen linearen Regression Dies gilt, wegen . gilt. In diesem Fall besteht das „beste“ lineare Regressionsmodell nur aus dem Absolutglied . Das so definierte Bestimmtheitsmaß ist ebenfalls gleich null, wenn der Korrelationskoeffizient gleich null ist, da es in der einfachen linearen Regression dem quadrierten Korrelationskoeffizienten zwischen und entspricht. Im Kontext der einfachen linearen Regression wird das Bestimmtheitsmaß auch als einfaches Bestimmtheitsmaß bezeichnet. Bei der Interpretation des einfachen Bestimmtheitsmaßes muss man vorsichtig sein, da es u. U. schon deshalb groß ist, weil die Steigung der Regressionsgeraden groß ist.Rainer Schlittgen: Regressionsanalysen mit R. 2013, ISBN 978-3-486-73967-1, S. 30 (abgerufen über De Gruyter Online).
In der einfachen linearen Regression entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten (siehe auch unter Als quadrierter Korrelationskoeffizient). Dieser Umstand ist dafür verantwortlich, dass das Bestimmtheitsmaß als (lies: R Quadrat) oder notiert wird. In deutschsprachiger Literatur findet sich auch der Buchstabe als Bezeichnung für das Bestimmtheitsmaß. In den Anfängen der Statistik wurde mit dem Buchstaben ein Schätzer des Korrelationskoeffizienten der Grundgesamtheit notiert und in der Regressionsanalyse wird diese Notation noch heute verwendet.
Multiple lineare Regression In der Realität hängen abhängige Variablen im Allgemeinen von mehr als einer erklärenden Variablen ab. Zum Beispiel ist das Gewicht eines Probanden nicht nur von dessen Alter, sondern auch von dessen sportlicher Betätigung und psychologischen Faktoren abhängig. Bei einer multiplen Abhängigkeit gibt man die Annahme der einfachen linearen Regression auf, bei der die abhängige Variable nur von einer erklärenden Variablen abhängt. Um eine mehrfache Abhängigkeit zu modellieren, benutzt man ein typisches multiples lineares Regressionsmodell
.