Die Methode der kleinsten Quadrate (kurz: MKQ) oder KQ-Methode ( method of least squares oder lediglich least squares, kurz: LS); zur Abgrenzung von daraus abgeleiteten Erweiterungen wie z. B. der verallgemeinerten Methode der kleinsten Quadrate oder der zweistufigen Methode der kleinsten Quadrate auch mit dem Zusatz „gewöhnliche“ bezeichnet, d. h. gewöhnliche Methode der kleinsten Quadrate ( ordinary least squares, kurz: OLS; veraltet Methode der kleinsten Abweichungsquadratsumme) ist das mathematische Standardverfahren zur Ausgleichungsrechnung.
Dabei wird zu einer Menge von Datenpunkten eine Funktion bestimmt, die möglichst nahe an den Datenpunkten verläuft und somit die Daten bestmöglich zusammenfasst. Die am häufigsten verwendete Funktion ist die Gerade, die dann Ausgleichsgerade genannt wird. Um die Methode anwenden zu können, muss die Funktion mindestens einen Parameter enthalten. Diese Parameter werden dann durch die Methode bestimmt, so dass, wenn die Funktion mit den Datenpunkten verglichen und der Abstand zwischen Funktionswert und Datenpunkt quadriert wird, die Summe dieser quadrierten Abstände möglichst gering wird. Die Abstände werden dann Residuen genannt.
Typischerweise werden mit dieser Methode reale Daten, etwa physikalische oder wirtschaftliche Messwerte, untersucht. Diese Daten beinhalten oft unvermeidbare Messfehler und Schwankungen. Unter der Annahme, dass die gemessenen Werte nahe an den zugrunde liegenden „wahren Werten“ liegen und zwischen den Messwerten ein bestimmter Zusammenhang besteht, kann die Methode verwendet werden, um eine Funktion zu finden, die diesen Zusammenhang der Daten möglichst gut beschreibt. Die Methode kann auch umgekehrt verwendet werden, um verschiedene Funktionen zu testen und dadurch einen unbekannten Zusammenhang in den Daten zu beschreiben.
mini|320px|Messpunkte und deren Abstand von einer nach der Methode der kleinsten Quadrate bestimmten Funktion. Hier wurde eine logistische Funktion als Modellkurve gewählt. In der Beispielgrafik sind Datenpunkte und eine Ausgleichsfunktion eingetragen. Es wird eine allgemeine Funktion (die Modellfunktion) ausgewählt, die zur Fragestellung und den Daten passen sollte, hier eine logistische Funktion. Deren Parameter werden nun so bestimmt, dass die Summe der Abweichungsquadrate der Beobachtungen von den Werten der Funktion minimiert wird. In der Grafik ist die Abweichung an der Stelle als senkrechter Abstand der Beobachtung von der Kurve zu erkennen.
In der Stochastik wird die Methode der kleinsten Quadrate meistens als regressionsanalytische Schätzmethode benutzt, wo sie auch als Kleinste-Quadrate-Schätzung bzw. gewöhnliche Kleinste-Quadrate-Schätzung bezeichnet wird. Da die Kleinste-Quadrate-Schätzung die Residuenquadratsumme minimiert, ist es dasjenige Schätzverfahren, welches das Bestimmtheitsmaß maximiert. Angewandt als Systemidentifikation ist die Methode der kleinsten Quadrate in Verbindung mit Modellversuchen z. B. für Ingenieure ein Ausweg aus der paradoxen Situation, Modellparameter für unbekannte Gesetzmäßigkeiten zu bestimmen.
Geschichte mini|Carl Friedrich Gauß mini|Piazzis Beobachtungen veröffentlicht in der Monatlichen Correspondenz vom September 1801
Am Neujahrstag 1801 entdeckte der italienische Astronom Giuseppe Piazzi den Zwergplaneten Ceres. 40 Tage lang konnte er die Bahn verfolgen, dann verschwand Ceres hinter der Sonne. Im Laufe des Jahres versuchten viele Wissenschaftler erfolglos, anhand von Piazzis Beobachtungen die Bahn zu berechnen – unter der Annahme einer Kreisbahn, denn nur für solche konnten damals die Bahnelemente aus beobachteten Himmelspositionen mathematisch ermittelt werden.
Der 24-jährige Carl Friedrich Gauß schaffte es, die Bahn mit Hilfe einer neuen indirekten Methode der Bahnbestimmung und seiner Ausgleichsrechnungen auf Basis der Methode der kleinsten Quadrate (wenn auch noch nicht so bezeichnet) so zu berechnen, dass Franz Xaver von Zach ihn am 7. Dezember 1801 und – bestätigt – am 31. Dezember 1801 wiederfinden konnte. Heinrich Wilhelm Olbers bestätigte dies unabhängig von Zach durch Beobachtung am 1. und 2. Januar 1802.
Das Problem der Wiederauffindung der Ceres als solches lag darin, dass durch die Beobachtungen weder der Ort, ein Stück der Bahn, noch die Entfernung bekannt sind, sondern nur die Richtungen der Beobachtung. Dies führt auf die Suche einer Ellipse und nicht nach einem Kreis, wie ihn Gauß’ Konkurrenten ansetzten., hier S. 436. Einer der Brennpunkte der Ellipse ist bekannt (die Sonne selbst), und die Bögen der Bahn der Ceres zwischen den Richtungen der Beobachtung werden nach dem zweiten Keplerschen Gesetz durchlaufen, das heißt, die Zeiten verhalten sich wie die vom Leitstrahl überstrichenen Flächen. Außerdem ist für die rechnerische Lösung bekannt, dass die Beobachtungen selbst von einem Kegelschnitt im Raum ausgehen, der Erdbahn selbst.
Im Grundsatz führt das Problem auf eine Gleichung achten Grades, deren triviale Lösung die Erdbahn selbst ist. Durch umfangreiche Nebenbedingungen und (später) die von Gauß entwickelte Methode der kleinsten Quadrate gelang es dem 24-Jährigen, für die Bahn der Ceres für den 25. November bis 31. Dezember 1801 den von ihm berechneten Ort anzugeben. Damit konnte Zach am letzten Tag der Vorhersage Ceres wiederfinden. Der Ort lag nicht weniger als 7° (d. h. 13,5 Vollmondbreiten) östlich der Stelle, wo die anderen Astronomen Ceres vermutet hatten, was nicht nur Zach, sondern auch Olbers gebührend würdigten.Paul Karlson: Zauber der Zahlen. Ullstein-Verlag, Berlin–West. Neunte, überarbeitete und erweiterte Auflage, 1967, S. 390 f.
Seine ersten Berechnungen waren zwar noch ohne die Methode der kleinsten Quadrate, erst als nach der Wiederentdeckung von Ceres viele neue Daten vorlagen, benutzte er diese für eine genauere Bestimmung der Bahnelemente, ohne aber Details seiner Methode allgemein offenzulegen.A. Abdulle, Gerhard Wanner: 200 years of least square methods. In: Elemente der Mathematik, Band 57, 2002, S. 45–60, doi:10.1007/PL00000559. Piazzis Ruf, der aufgrund seiner nicht zu einer Kreisbahn passen wollenden Bahnpunkte stark gelitten hatte, war ebenfalls wiederhergestellt.Vgl. , S. 436.
Eine Vorgängermethode der Methode der kleinsten Quadrate stellt die Methode der kleinsten absoluten Abweichungen dar, die 1760 von Rugjer Josip Bošković entwickelt wurde. Die Grundlagen der Methode der kleinsten Quadrate hatte Gauß schon 1795 im Alter von 18 Jahren entwickelt. Zugrundeliegend war eine Idee von Pierre-Simon Laplace, die Abweichungen der Messwerte vom erwarteten Wert so aufzusummieren, dass die Summe über all diese sogenannten Fehler null ergab. Im Unterschied zu dieser Methode verwendete Gauß statt der Fehler die Fehlerquadrate und konnte so auf die Nullsummen-Anforderung verzichten. Unabhängig von Gauß entwickelte der Franzose Adrien-Marie Legendre dieselbe Methode, veröffentlichte diese als Erster im Jahr 1805, am Schluss eines kleinen Werkes über die Berechnung der Kometenbahnen,Adrien-Marie Legendre: Nouvelles méthodes pour la détermination des orbites des comètes. Paris 1805, S. 72–80 (Anhang): Sur la Méthode des moindres quarrés. und veröffentlichte eine zweite Abhandlung darüber im Jahr 1810. Seine Darstellung war überaus klar und einfach. Von Legendre stammt auch die Bezeichnung Méthode des moindres carrés (Methode der kleinsten Quadrate).
1809 publizierte Gauß dann im zweiten Band seines himmelsmechanischen Werkes Theoria motus corporum coelestium in sectionibus conicis solem ambientium („Theorie der Bewegung der Himmelskörper, welche in Kegelschnitten die Sonne umlaufen“) das VerfahrenCarl Friedrich Gauß: Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium. Göttingen 1809; Carl Haase (Übers.): Theorie der Bewegung der Himmelskörper, welche in Kegelschnitten die Sonne umlaufen. Hannover 1865. inklusive der Normalengleichungen, sowie das Gaußsche Eliminationsverfahren und das Gauß-Newton-Verfahren,Matrices and determinants. womit er weit über Legendre hinausging. Darin bezeichnete er die Methode der kleinsten Quadrate als seine Entdeckung und behauptete, diese schon im Jahr 1795 (also vor Legendre) entdeckt und angewandt zu haben, was diesen nachhaltig verärgerte. Legendre beschwerte sich darüber in einem langen Brief an Gauß, welchen dieser unbeantwortet ließ.Abgedruckt in Gauß, Werke, Band X/1, S. 380. Gauß verwies nur gelegentlich auf einen Eintrag in seinem mathematischen Tagebuch vom 17. Juni 1798 (dort findet sich der kryptische Satz in Latein: „Calculus probabilitatis contra La Place defensus“ [„Kalkül der Wahrscheinlichkeit gegen Laplace verteidigt“] und sonst nichts).Abdulle, Wanner: Elemente der Mathematik. Band 57, 2002, S. 51. Mit Faksimileabdruck des Tagebucheintrags. Laplace beurteilte die Sache so, dass Legendre die Erstveröffentlichung tätigte, Gauß die Methode aber zweifelsfrei schon vorher kannte, selbst nutzte und auch anderen Astronomen brieflich mitteilte.Laplace, zitiert nach Herman Goldstine: A history of numerical analysis. Springer, 1977, S. 209. Die Methode der kleinsten Quadrate wurde nach ihrer Veröffentlichung schnell das Standardverfahren zur Behandlung von astronomischen oder geodätischen Datensätzen.
Gauß nutzte das Verfahren intensiv bei seiner Vermessung des Königreichs Hannover durch Triangulation. 1821 und 1823 erschien die zweiteilige Arbeit sowie 1826 eine Ergänzung zur Theoria combinationis observationum erroribus minimis obnoxiae („Theorie der den kleinsten Fehlern unterworfenen Kombination der Beobachtungen“),Carl Friedrich Gauß: Theoria combinationis observationum erroribus minimis obnoxiae. 2 Teile. Göttingen 1821–1823 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Band 5.); Supplementum Theoria combinationis observationum erroribus minimis obnoxiae. Göttingen 1826/28 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Band 6.). Anton Börsch Paul Simon (Hrsg.): Abhandlungen zur Methode der kleinsten Quadrate von Carl Friedrich Gauss. In deutscher Sprache. Berlin 1887, . in denen Gauß den Erfolg der Methode der kleinsten Quadrate damit begründete, dass dieses im Vergleich zu anderen Verfahren der Ausgleichungsrechnung in einer breiten Hinsicht optimal ist. Die mathematische Formulierung dieser Aussage ist als Satz von Gauß-Markow bekannt, benannt nach Andrei Andrejewitsch Markow, der diesen anfänglich wenig beachteten Teil der Arbeit Gauß’ im 20. Jahrhundert wiederentdeckt und bekannt gemacht hatte (siehe auch Satz von Gauß-Markow#Geschichte). Die Theoria Combinationis enthält ferner Methoden zum effizienten Lösen linearer Gleichungssysteme, wie das Gauß-Seidel-Verfahren und die LR-Zerlegung, die einen wesentlichen Fortschritt zum damaligen mathematischen Kenntnisstand darstellen.Pete Stewart: Maybe We Should Call It “Lagrangian Elimination”. NA Digest Sunday, 21. Juni 1991, June 30, 1991 Volume 91, Issue 26.
Der französische Vermessungsoffizier André-Louis Cholesky entwickelte während des Ersten Weltkriegs die Cholesky-Zerlegung, die gegenüber den Lösungsverfahren von Gauß nochmal einen erheblichen Effizienzgewinn darstellte. In den 1960er Jahren entwickelte Gene Golub die Idee, die auftretenden linearen Gleichungssysteme mittels QR-Zerlegung zu lösen.
Das Verfahren Voraussetzungen Man betrachtet eine abhängige Größe , die von einer Variablen oder auch von mehreren Variablen beeinflusst wird. So hängt die Dehnung einer Feder nur von der aufgebrachten Kraft ab, die Profitabilität eines Unternehmens jedoch von mehreren Faktoren wie Umsatz, den verschiedenen Kosten oder dem Eigenkapital. Zur Vereinfachung der Notation wird im Folgenden die Darstellung auf eine Variable beschränkt. Der Zusammenhang zwischen und den Variablen wird über eine Modellfunktion , beispielsweise eine Parabel oder eine Exponentialfunktion
,