In der Statistik ist die Verallgemeinerte Kleinste-Quadrate-Schätzung (kurz VKQ-Schätzung) oder verallgemeinerte Methode der kleinsten Quadrate, kurz VMKQ, ( generalized least squares, kurz GLS) eine Prozedur, um unbekannte wahre Regressionsparameter in einer linearen Regressionsgleichung, unter problematischen Voraussetzungen (vorliegen von Autokorrelation und Heteroskedastizität), effizient zu schätzen. Die VKQ-Methode kann benutzt werden, um bei einem Modell mit einer allgemeinen Störgrößenstruktur zielführend eine lineare Regression durchzuführen. Eine verallgemeinerte Störgrößenstruktur liegt vor, wenn ein bestimmter Grad an Korrelation zwischen den Residuen und eine nicht konstante Störgrößenvarianz zulässig sind. In diesen Fällen können die gewöhnliche Kleinste-Quadrate-Schätzung und die gewichtete Kleinste-Quadrate-Schätzung statistisch ineffizient sein oder sogar zu falschen Resultaten der statistischen Inferenz führen. Aus diesem Grund wird, um valide Resultate der statistischen Inferenz zu erhalten, eine Transformation des klassischen linearen Modells durchgeführt, durch welche die benötigten Annahmen für die statistische Inferenz weiterhin erfüllt sind. Die VKQ-Methode minimiert im Gegensatz zur gewöhnlichen Methode der kleinsten Quadrate eine gewichtete Residuenquadratsumme. Sie wurde von Alexander Aitken entwickelt und 1934 veröffentlicht und wird daher auch Aitken-Schätzung genannt.
Geschichte mini|hochkant|Carl Friedrich Gauß mini|hochkant|Alexander Aitken Am Neujahrstag 1801 entdeckte der italienische Astronom Giuseppe Piazzi den Zwergplaneten Ceres. 40 Tage lang konnte er die Bahn verfolgen, dann verschwand Ceres hinter der Sonne. Im Laufe des Jahres versuchten viele Wissenschaftler erfolglos, anhand von Piazzis Beobachtungen die Bahn zu berechnen – unter der Annahme einer Kreisbahn, denn nur für solche konnten damals die Bahnelemente aus beobachteten Himmelspositionen mathematisch ermittelt werden. Der 24-jährige Gauß hingegen konnte auch elliptische Bahnen aus drei Einzelbeobachtungen berechnen. Da aber deutlich mehr Bahnpunkte vorlagen, wandte er seine Methode der kleinsten Quadrate an, um so die Genauigkeit zu erhöhen. Als Franz Xaver von Zach und Heinrich Wilhelm Olbers im Dezember 1801 den Kleinplaneten genau an dem von Gauß vorhergesagten Ort wiederfanden, war das nicht nur ein großer Erfolg für Gauß’ Methode: Piazzis Ruf, der aufgrund seiner nicht zu einer Kreisbahn passen wollenden Bahnpunkte stark gelitten hatte, war ebenfalls wiederhergestellt., S. 436.
Den Grundstein der verallgemeinerten Methode der kleinsten Quadrate legte Gauß schon 1795 im Alter von 18 Jahren. Basis war eine Idee von Pierre-Simon Laplace, die Beträge von Fehlern aufzusummieren, so dass sich die Fehler zu Null addieren. Gauß nahm stattdessen die Fehlerquadrate und konnte die Nullsummen-Anforderung an die Fehler weglassen. Unabhängig davon entwickelte der Franzose Adrien-Marie Legendre dieselbe Methode erstmals im Jahr 1805 am Schluss eines kleinen Werkes über die Berechnung der KometenbahnenAdrien-Marie Legendre: Nouvelles méthodes pour la détermination des orbites des comètes. Paris 1805, S. 72–80 (Anhang): Sur la Méthode des moindres quarrés. und veröffentlichte eine zweite Abhandlung darüber im Jahr 1810. Von ihm stammt der Name Méthode des moindres carrés (Methode der kleinsten Quadrate).
1809 publizierte Gauß dann im zweiten Band seines himmelsmechanischen Werkes Theoria motus corporum coelestium in sectionibus conicis solem ambientium (Theorie der Bewegung der Himmelskörper, welche in Kegelschnitten die Sonne umlaufen) sein Verfahren,Carl Friedrich Gauß: Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium. Göttingen 1809; Carl Haase (Übers.): Theorie der Bewegung der Himmelskörper, welche in Kegelschnitten die Sonne umlaufen. Hannover 1865. inklusive der Normalgleichungen und des Gaußschen Eliminationsverfahrens.Matrices and determinants Dabei erwähnte er, dass er es schon vor Legendre entdeckt und benutzt habe, was zu einem Prioritätsstreit zwischen den beiden führte. Die Methode der kleinsten Quadrate wurde nun schnell das Standardverfahren zur Behandlung von astronomischen oder geodätischen Datensätzen.
Gauß benutzte dann das Verfahren intensiv bei seiner Vermessung des Königreichs Hannover durch Triangulation. 1821 und 1823 erschien die zweiteilige Arbeit sowie 1826 eine Ergänzung zur Theoria combinationis observationum erroribus minimis obnoxiae (Theorie der den kleinsten Fehlern unterworfenen Kombination der Beobachtungen),Carl Friedrich Gauß: Theoria combinationis observationum erroribus minimis obnoxiae. 2 Tle. Göttingen 1821–1823 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Bd. 5.); Supplementum Theoria combinationis observationum erroribus minimis obnoxiae. Göttingen 1826/28 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Bd. 6.); Anton Börsch Paul Simon (Hrsg.): Abhandlungen zur Methode der kleinsten Quadrate von Carl Friedrich Gauss. In deutscher Sprache. Berlin 1887. in denen Gauß eine Begründung liefern konnte, weshalb sein Verfahren im Vergleich zu den anderen so erfolgreich war: Die Methode der kleinsten Quadrate ist in einer breiten Hinsicht optimal, also besser als andere Methoden. Die genaue Aussage ist als der Satz von Gauß-Markow bekannt, da die Arbeit von Gauß wenig Beachtung fand und schließlich im 20. Jahrhundert von Andrei Andrejewitsch Markow wiederentdeckt und bekannt gemacht wurde. Die Theoria Combinationis enthält ferner wesentliche Fortschritte beim effizienten Lösen der auftretenden linearen Gleichungssysteme, wie das Gauß-Seidel-Verfahren und die LR-Zerlegung.Pete Stewart, 21. Juni 1991: Maybe We Should Call It “Lagrangian Elimination”, NA Digest Sunday, June 30, 1991 Volume 91, Issue 26.
Schließlich veröffentlichte Alexander Aitken 1935 eine Arbeit, in der er das Konzept der verallgemeinerten kleinsten Quadrate und den viel verwendeten verallgemeinerten kleinsten Quadrate-Schätzer einführte. Ebenso bewies er dort, dass dieser von ihm eingeführte Schätzer Beste Lineare Erwartungstreue Schätzfunktion, kurz BLES ( Best Linear Unbiased Estimator, kurz: BLUE) ist, d. h. in der Klasse der linearen erwartungstreuen Schätzern derjenige mit der kleinsten Kovarianzmatrix ist. Aitken wendete außerdem die statistischen Methoden auf die Theorie der linearen Modelle an und entwickelte die Notation, die man heutzutage als Standard-Vektor-Matrix-Notation betrachtet.Robertnowlan: Aitken veröffentlichte zusammen mit einem seiner Studenten namens Harold Silverstone eine Arbeit, in der sie die untere Grenze der Varianz eines Schätzers einführten,A. C. Aitken, H. Silverstone: On the Estimation of Statistical Parameters. In: Proceedings of the Royal Society of Edinburgh, 1942, 61, S. 186–194. auch bekannt als Cramér-Rao-Ungleichung. Im Gegensatz zu Vorgängern fand er einen effizienten Weg, um das Problem einer nicht konstanten Varianz und korrelierten Störtermen zu lösen. Die verallgemeinerte Kleinste-Quadrate-Schätzung baut auf der Gauß-Markov-Theorie auf und spielt immer noch eine große Rolle in theoretischen und praktischen Aspekten der statistischen Inferenz in verallgemeinerten linearen (multiplen) Regressionsmodellen.Takeaki Kariya, Hiroshi Kurata: Generalized Least Squares
Ausgangslage Da viele Variablen des Interesses nicht nur von einer unabhängigen Variablen abhängen, betrachten wir eine abhängige Variable, die durch mehrere unabhängige Variablen erklärt werden soll. Zum Beispiel ist die Gesamtproduktion einer Volkswirtschaft von dessen Kapitaleinsatz, Arbeitseinsatz und dessen Fläche abhängig. Solch eine multiple Abhängigkeit kommt der Realität viel näher und man gibt die Annahme der einfachen linearen Regression auf, bei der die Variable des Interesses nur von einer Variablen abhängt. Um solch eine multiple Abhängigkeit zu modellieren, betrachten wir als Ausgangslage ein typisches multiples lineares Regressionsmodell mit gegebenen Daten für statistische Einheiten. Hierbei ist zu beachten, dass wir zusätzlich zur Dimension der unabhängigen Variablen auch eine zeitliche Dimension integrieren, wodurch sich ein lineares Gleichungssystem ergibt was sich auch matriziell darstellen lässt. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden
.
In Vektor-Matrix-Form auch
oder in kompakter Schreibweise
Hier stellt einen Vektor von unbekannten Regressionsparametern dar, die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Störgrößen im Mittel null sind: , was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist. Für gewöhnlich stellt man an ein solches Modell die Anforderung, dass die Gauß-Markow-Annahmen gelten sollen. Dies soll hier aber nicht der Fall sein, da man nicht opportunistisch von problematischen Voraussetzungen ausgeht. Aus diesem Grund wird ein Modell betrachtet, bei dem eine allgemeine Störgrößenstruktur zulässig ist.
Das verallgemeinerte lineare Regressionsmodell (VLR) Weiterhin wird für das Modell angenommen, dass der Erwartungswert von linear in ist. Die Matrix stellt die Kovarianzmatrix der Störgrößen dar, wobei als eine beliebige bekannte reelle nichtsinguläre positiv definite Matrix angenommen wird und ein noch unbekannter Skalar darstellt. Die Besonderheit im Gegensatz zur gewöhnlichen Methode der kleinsten Quadrate ist, dass Heteroskedastizität (d. h., dass die Varianz der Störterme bedingt auf die erklärenden Variablen nicht konstant ist) und Autokorrelation (d. h. ein Korrelieren der Störterme) erlaubt ist:
Die Varianz der Störgrößen könnte heteroskedastisch sein:
Wenn die Varianz der Residuen (und somit die Varianz der erklärten Variablen selbst) für alle Ausprägungen der Regressoren nicht unterschiedlich ist, liegt Homoskedastizität ((Residuen-)Varianzhomogenität) vor. Falls diese Annahme verletzt ist spricht man von Heteroskedastizität. Die Störgrößen könnten voneinander nicht unabhängige Zufallsvariablen sein, d. h. autokorreliert sein: . D. h., die Annahme der Abwesenheit von Autokorrelation könnte verletzt sein.
Für die Matrix gibt es je nach Kontext unterschiedliche Definitionen. Bei Vorliegen von Heteroskedastizität nimmt sie folgende Form anGeorge G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York / Chichester / Brisbane / Toronto / Singapore 1988, ISBN 0-471-62414-4, S. 328.
und bei Vorliegen von Autokorrelation die Form .