Das Newtonverfahren, auch Newton-Raphson-Verfahren (benannt nach Sir Isaac Newton 1669 und Joseph Raphson 1690), ist in der Mathematik ein häufig verwendeter Approximationsalgorithmus zur numerischen Lösung von nichtlinearen Gleichungen und Gleichungssystemen. Im Falle einer Gleichung mit einer Variablen lassen sich zu einer gegebenen stetig differenzierbaren Funktion Näherungswerte zu Lösungen der Gleichung , d. h. Näherungen der Nullstellen dieser Funktion finden. Die grundlegende Idee dieses Verfahrens ist, die Funktion in einem Ausgangspunkt zu linearisieren, d. h. ihre Tangente zu bestimmen, und die Nullstelle der Tangente als verbesserte Näherung der Nullstelle der Funktion zu verwenden. Die erhaltene Näherung dient als Ausgangspunkt für einen weiteren Verbesserungsschritt. Diese Iteration erfolgt, bis die Änderung in der Näherungslösung eine festgesetzte Schranke unterschritten hat. Das Iterationsverfahren konvergiert im günstigsten Fall asymptotisch mit quadratischer Konvergenzordnung, die Zahl der korrekten Dezimalstellen verdoppelt sich dann in jedem Schritt.

Formal ausgedrückt, wird ausgehend von einem Startwert die Iteration

wiederholt, bis eine hinreichende Genauigkeit erzielt wird.

Newtonverfahren für reelle Funktionen einer Veränderlichen

Historisches über das Newtonverfahren

Isaac Newton verfasste im Zeitraum 1664 bis 1671 die Arbeit „Methodus fluxionum et serierum infinitarum“ (latein. für: Von der Methode der Fluxionen und unendlichen Folgen). Darin erklärt er einen neuen Algorithmus zum Lösen einer polynomialen Gleichung am Beispiel . Dazu kann man leicht den Punkt als erste Näherung raten. Newton machte den Ansatz mit einem als „klein“ angenommenen und setzte diesen in die Gleichung ein:

Nach den binomischen Formeln gilt

.

Da „klein“ sein soll, können die Terme höherer Ordnung gegenüber den linearen und konstanten vernachlässigt werden, womit bzw. übrig bleibt. Wir können nun dieses Vorgehen wiederholen und ansetzen, in die zweite Gleichung einsetzen, höhere Terme weglassen und erhalten.

Joseph Raphson beschrieb 1690 in der Arbeit „Analysis Aequationum universalis“ diesen Rechenprozess formal und illustrierte den Formalismus an der allgemeinen Gleichung dritten Grades, wobei er die nachfolgende Iterationsvorschrift fand.Xavier Gourdon: Newton’s method and high order iterations, fehlerfreie Darstellung in der Postscript-Datei

Die abstrakte Form des Verfahrens mit Benutzung der Ableitung stammt von Thomas Simpson.

Konstruktion am Graphen

gerahmt|rechts|Animation: Iteration mit dem newtonschen Verfahren Anschaulich gelangt man wie folgt zu diesem Verfahren: Sei eine stetig differenzierbare reelle Funktion, von der wir eine Stelle im Definitionsbereich mit „kleinem“ Funktionswert kennen. Wir wollen einen Punkt nahe finden, der eine verbesserte Näherung der Nullstelle darstellt. Dazu linearisieren wir die Funktion an der Stelle , d. h. wir ersetzen sie durch ihre Tangente im Punkt mit Anstieg .

Die Tangente ist durch die Funktion gegeben. Setzen wir ein, so erhalten wir . Wir wählen als die einzige Nullstelle dieser linearen Funktion, .

Wenden wir diese Konstruktion mehrfach an, so erhalten wir aus einer ersten Stelle eine unendliche Folge von Stellen , die durch die Rekursionsvorschrift

definiert ist. Diese Vorschrift wird auch als Newton­iteration bezeichnet, die Funktion als Newtonoperator. Die Newtoniteration ist ein spezieller Fall einer Fixpunktiteration, falls die Folge gegen konvergiert, so gilt und daher .

Die Kunst der Anwendung des Newtonverfahrens besteht darin, geeignete Startwerte zu finden. Je mehr über die Funktion bekannt ist, desto kleiner lässt sich die notwendige Menge von Startwerten gestalten.

Viele nichtlineare Gleichungen haben mehrere Lösungen, so hat ein Polynom -ten Grades bis zu Nullstellen. Will man alle Nullstellen in einem bestimmten Bereich ermitteln, so muss zu jeder Nullstelle ein passender Startwert in gefunden werden, für den die Newtoniteration konvergiert. Dazu könnte man z. B. per Bisektion genügend kleine isolierende Intervalle zu jeder Nullstelle bestimmen.

Erstes Beispiel

Die Quadratwurzel einer Zahl ist die positive Nullstelle der Funktion . Diese Funktion hat die Ableitung , die Newtoniteration erfolgt also nach der Vorschrift

Der Vorteil dieser Vorschrift gegenüber dem Wurzelziehen nach Heron (siehe unten) ist, dass es divisionsfrei ist, sobald einmal der Kehrwert von bestimmt wurde. Als Startwert wurde in der Tabelle gewählt. Die Iterierten wurden an der ersten ungenauen Stelle abgeschnitten. Es ist zu erkennen, dass nach wenigen Schritten die Anzahl gültiger Stellen schnell wächst.

n bei bei bei 0 1 2 3 4 5 6 7 8

Betrachten wir die Differenz zum Grenzwert im -ten Schritt, so kann mittels der binomischen Formeln die Differenz im -ten Schritt zweimal abgespalten werden:

Nach der Ungleichung vom arithmetischen und geometrischen Mittel gilt , so dass der zweite Faktor sinnvoll durch beschränkt werden kann. Ist die Differenz im -ten Schritt eine kleine Zahl, so ist die Differenz im -ten Schritt proportional zum Quadrat davon, also wesentlich kleiner. So entsteht durch Quadrieren eines Fehlers eine Fehlerabschätzung proportional zu . Deshalb spricht man davon, dass sich die Anzahl der gültigen Stellen in jedem Schritt der Newtoniteration ungefähr verdoppelt.

Konvergenzbetrachtungen

mini|220px|Das Newtonverfahren für das Polynom über den komplexen Zahlen konvergiert für Startwerte aus den roten, den grünen und den blauen Bereichen jeweils zu einer der drei Nullstellen des Polynoms. Für Startwerte aus der hellen Struktur, dem Newtonfraktal, konvergiert das Verfahren nicht. Das Newtonverfahren ist ein sogenanntes lokal konvergentes Verfahren. Konvergenz der in der Newtoniteration erzeugten Folge zu einer Nullstelle ist also nur garantiert, wenn der Startwert, d. h. das 0-te Glied der Folge, schon „ausreichend nahe“ an der Nullstelle liegt. Ist der Startwert zu weit entfernt, ist das Konvergenzverhalten nicht festgelegt, das heißt, es ist sowohl eine Divergenz der Folge möglich als auch eine Oszillation (bei der sich endlich viele Funktionswerte abwechseln) oder eine Konvergenz gegen eine andere Nullstelle der betrachteten Funktion.

220px|mini|Dynamik des Newtonverfahrens für die Funktion mit Startwerten zwischen −4 und 4: Jede farbcodierte Zeile zeigt das Resultat eines Schritts des Verfahrens, angewandt auf die jeweils darüberliegende Zeile. Die Startwerte befinden sich in der obersten Zeile. Viele Startwerte konvergieren gegen die (einzige reellwertige) Nullstelle des Polynoms bei ca. −1,769, deren Farbe Mittelblau ist. Es gibt jedoch auch viele Startwerte, für welche das Verfahren nicht konvergiert und zwischen null (schwarz) und eins (rot) hin- und herpendelt. Die Menge dieser nicht zur Nullstelle führenden Startwerte enthält offene Intervalle, ist also eine Menge von positivem Maß und damit insbesondere keine Nullmenge. Ist der Startwert so gewählt, dass das Newtonverfahren konvergiert, so ist die Konvergenz allerdings quadratisch, also mit der Konvergenzordnung 2 (falls die Ableitung an der Nullstelle nicht verschwindet). Die Menge der Startpunkte, für die das Newtonverfahren gegen eine bestimmte Nullstelle konvergiert, bildet den Einzugsbereich dieser Nullstelle. Färbt man für eine Polynomfunktion, mit reellen oder komplexen Koeffizienten, die Einzugsbereiche verschiedener Nullstellen in der komplexen Ebene unterschiedlich ein, so ergibt sich ein Newtonfraktal. In diesem ist zu erkennen, dass die Einzugsbereiche Bassins, d. h. Kreisscheiben um die Nullstellen enthalten, aus welchen heraus die Newtoniteration stabil gegen die Nullstelle im Zentrum konvergiert. Aber es ist auch zu erkennen, dass die Ränder der Einzugsbereiche „ausgefranst“ sind, sie haben sogar eine fraktale Struktur. Geringe Abweichungen im Startpunkt können also zu unterschiedlichen Nullstellen führen.

Falls es jedoch im Intervall genau eine Nullstelle gibt, sowie für alle gilt und der Startwert links von der Nullstelle gewählt wird, dann ist die Folge im Newtonverfahren streng monoton wachsend und konvergiert gegen (siehe Abbildung unten bzw. die Tabelle oben ab ).

Beispiele für Nicht-Konvergenz

Oszillierendes Verhalten ergibt sich u. a. für das Polynom J. H. Hubbard, D. Schleicher, S. Sutherland: How to Find All Roots of Complex Polynomials by Newton’s Method Preprint (2000), Inventiones Mathematicae vol. 146 (2001) mit . Der Punkt mit und wird durch den Newtonoperator auf den Punkt abgebildet, der Punkt wiederum, mit und , wird auf abgebildet, so dass die Newtoniteration mit einem dieser Punkte als Startwert eine periodische Folge ergibt, diese beiden Punkte wechseln sich zyklisch ab. Dieser Zyklus ist stabil, er bildet einen Attraktor der Newtoniteration. Das bedeutet, um beide Punkte gibt es Umgebungen, so dass Startpunkte aus diesen Umgebungen gegen den Zyklus konvergieren und somit je einen der Punkte 0 und 1 als Grenzwert der Teilfolge mit geradem Index und der mit ungeradem Index haben. Divergenz bzw. beliebig weites Entfernen vom Startpunkt ergibt sich für mit und . Es gibt eine Stelle mit d. h. Man überzeugt sich, dass dann gilt. Dieses Verhalten ist nicht stabil, denn bei leichter Variation des Anfangswertes, wie sie zum Beispiel durch die numerische Berechnung entsteht, entfernt sich die Newtoniteration immer weiter von der idealen divergierenden Folge. Selbst bei schließlicher Konvergenz wird die gefundene Nullstelle sehr weit vom Startwert entfernt sein.

Lokale quadratische Konvergenz

Sei eine zweimal stetig differenzierbare reelle Funktion und eine einfache Nullstelle von , in welcher die Ableitung somit keine Nullstelle hat. Das bedeutet, dass der Graph der Funktion transversal, d. h. nicht-berührend, die -Achse schneidet. Sei ein Punkt nahe bei . Dann kann die Taylorformel zweiten Grades (mit Lagrange-Restglied) liegt zwischen und , nach der Differenz umgestellt werden, . Es wird nun so umgestellt, dass der Newtonoperator auf der rechten Seite erscheint, . Seien ein Intervall um ohne Nullstelle der Ableitung und sowie Schranken der Ableitungen von . Dann folgt für alle die Abschätzung .

Mit sei der konstante Faktor bezeichnet. In jedem Schritt der Newtoniteration wird die Größe kleiner sein als das Quadrat derselben Größe im vorhergehenden Schritt, . Nach vollständiger Induktion ergibt sich . Kann also für den Startpunkt der Iteration die Abschätzung garantiert werden, z. B. indem die Intervalllänge von kleiner als ist, so konvergiert die Folge der Newtoniteration gegen die Nullstelle , denn die Folge und damit ist nach der angegebenen Abschätzung eine Nullfolge. Die Verkürzung des Intervalls kann durch einige Iterationen eines langsameren Verfahrens zur Nullstelleneinschränkung erreicht werden, z. B. des Bisektionsverfahrens oder der Regula falsi.

Die aus dieser Abschätzungen folgende Konvergenzgeschwindigkeit wird als quadratisch bezeichnet, die (logarithmische) Genauigkeit bzw. Anzahl gültiger Stellen verdoppelt sich in jedem Schritt. Die Abschätzung des Abstands zur Nullstelle wird oft linear in angegeben, so gilt z. B. , falls die Länge des Intervalls kleiner als ist. Dies ergibt eine Abschätzung der gültigen Stellen im Binärsystem. , falls die Länge des Intervalls kleiner als ist, d. h. nahe genug an der Nullstelle ergibt sich eine Verdopplung der gültigen Dezimalstellen in jedem Schritt.

Lokale quadratische Konvergenz bei mehrfacher Nullstelle durch Modifikation

Für den Fall, dass bei eine mehrfache Nullstelle endlichen Grades besitzt, lässt sich ebenfalls die Konvergenzgeschwindigkeit abschätzen und durch eine geringfügige Modifikation wieder quadratische Konvergenz erzwingen.

Hat bei eine -fache Nullstelle, lässt sich schreiben als mit .

Dann ist nach der Produktregel und damit der Ausdruck

.

Setzt man dies nun in die Iteration ein, so erhält man

und daraus nach beidseitiger Subtraktion von den Iterationsfehler

.