Der Robbins-Monro-Prozess ist ein stochastischer Prozess, mit dessen Hilfe die Nullstelle einer unbekannten Regressionsfunktion stochastisch approximiert werden kann. Er wurde 1951 von Herbert Robbins und Sutton Monro vorgestellt. Definition Sei eine Familie von Zufallsvariablen und eine messbare Funktion, sodass gilt: . Sei zudem eine eindeutige Lösung gegeben, sodass . Dann heißt die Folge von Zufallsvariablen gegeben durch
Robbins-Monro-Prozess, wobei eine beliebige reelle Konstante und eine Folge reeller Konstanten mit sei.
Konvergenz von Xn gegen θ Unter den folgenden vier Bedingungen konvergiert in gegen Herbert Robbins, Sutton Monro: A Stochastic Approximation Method. In: The Annals of Mathematical Statistics. 22, Nr. 3, 1951, S. 405 Theorem 2.: , ist monoton wachsend, existiert, genügt folgenden Bedingungen:
Einfaches Beispiel Seien um verschobene Sinusfunktionen zwischen und mit zufälligen Schwankungen , die an den Rändern linear fortgesetzt werden.
Wobei unabhängige, gleichverteilte Zufallsvariablen in sind. Sei außerdem und . Dann konvergiert gegen .
Einzelnachweise
Literatur Herbert Robbins, Sutton Monro: A Stochastic Approximation Method. In: The Annals of Mathematical Statistics. 22, Nr. 3, 1951, S. 400–407(PDF-Datei; 514KB). Marie Duflo: Random Iterative Models, Springer Verlag, 1997.
Kategorie:Stochastischer Prozess