Anwendung von Gaußprozessen

Technische Anwendungen von Gaußprozessen findet man unter anderem in der Numerik, Informatik und speziell im Bereich des maschinellen Lernens. Sie stellen dort ein vielseitiges Werkzeug zum Umgang mit realen Messdaten und zur Modellierung von Funktionen dar.

Einleitung

Ein Gaußprozess ist ein stochastischer Prozess mit der Eigenschaft, dass jede endliche Teilmenge seiner Werte mehrdimensional normalverteilt (gaußverteilt) ist. Als stochastischen Prozess bezeichnet man eine Funktion, deren Werte Zufallsvariablen sind und die einer vorgegebenen Wahrscheinlichkeitsverteilung folgen. Damit lassen sich Funktionen mit Wahrscheinlichkeiten modellieren, deren Werte aus einem Mangel an Information nicht vollständig festgelegt werden können. Einen Gaußprozess konstruiert man aus Funktionen der Erwartungswerte, Varianzen und Kovarianzen und beschreibt damit die Funktionswerte als ein Kontinuum aus im Allgemeinen korrelierten Zufallsvariablen in Form einer unendlichdimensionalen Normalverteilung. Die Verteilung eines Gaußprozesses kann man sich als eine Wahrscheinlichkeitsverteilung für Funktionen vorstellen. Eine Stichprobe davon ergibt eine zufällige Funktion mit bestimmten bevorzugten Eigenschaften seiner Kurvenform.

Anwendungen

Angewendet werden Gaußprozesse zur mathematischen Modellierung des Verhaltens von nicht-deterministischen Systemen auf der Basis von stochastischen Größen oder Beobachtungen. Gaußprozesse eignen sich zur Signalanalyse und -synthese, bilden ein mächtiges Werkzeug bei der Interpolation, Extrapolation oder Glättung beliebig-dimensionaler diskreter Messpunkte (Gaußprozess-Regression bzw. Kriging-Verfahren) und finden Anwendung in Klassifizierungsproblemen. Gaußprozesse, die mit Kernel-Methoden verwandt sind, können wie ein überwachtes Maschinenlernverfahren zur abstrakten Modellierung anhand von Trainingsbeispielen verwendet werden. Dieser bayessche Ansatz des maschinellen Lernens bietet den Vorteil, dass häufig kein iteratives Training wie bei neuronalen Netzen notwendig ist. Stattdessen können Gaußprozesse sehr effizient mit linearer Algebra aus statistischen Größen der Beispiele abgeleitet werden und sind dabei mathematisch klar interpretierbar und gut kontrollierbar. Außerdem wird bei Interpolationen und Vorhersagen für jeden einzelnen Ausgabewert ein zugehöriges Vertrauensintervall berechnet, das den eigenen Vorhersagefehler präzise schätzt, während die Fehlerfortpflanzung bei bekannter Varianz der Eingabewerte korrekt berücksichtigt wird.

Mathematische Beschreibung

Definition Ein Gaußprozess ist ein spezieller stochastischer Prozess auf einer beliebigen Indexmenge , wenn seine endlichdimensionalen Verteilungen mehrdimensionale Normalverteilungen (auch Gaußverteilungen) sind. Es soll also für alle und alle Indizes die multivariate Verteilung von durch eine -dimensionale Normalverteilung gegeben sein.

Begriff: Obwohl der Begriff Gaußprozess auf zeitliche oder sequenzielle Vorgänge hindeutet, besteht diese Einschränkung nicht. Im verallgemeinerten Sinn kann Prozess auch als Kontinuum verstanden werden.

Notation Analog zur ein- und mehrdimensionalen Gaußverteilung ist ein Gaußprozess über seine ersten beiden Momente vollständig und eindeutig bestimmt. Bei der mehrdimensionalen Gaußverteilung sind dies der Erwartungswertvektor und die Kovarianzmatrix . Beim Gaußprozess treten an deren Stelle eine Erwartungswertfunktion

und eine Kovarianzfunktion . Diese Funktionen können im einfachsten eindimensionalen Fall als Vektor mit kontinuierlichen Zeilen bzw. als Matrix mit kontinuierlichen Zeilen und Spalten aufgefasst werden. Folgende Tabelle vergleicht die Notationen von eindimensionalen und mehrdimensionalen Gaußverteilungen mit der von Gaußprozessen. In manchen Fällen ist die Angabe einer Wahrscheinlichkeitsdichtefunktion möglich. Das Tilde-Symbol kann gelesen werden als „Ist verteilt als“. Art der Verteilung Notation Größen Wahrscheinlichkeitsdichtefunktion Eindimensionale Gaußverteilung Mehrdimensionale Gaußverteilung Gaußprozess-Verteilung (keine analytische Darstellung)

Die Wahrscheinlichkeitsdichtefunktion eines Gaußprozesses lässt sich nicht analytisch darstellen, da es keine entsprechende Notation für Operationen mit kontinuierlichen Matrizen gibt. Das erweckt den Eindruck, dass man mit Verteilungen von Gaußprozessen nicht wie mit endlichdimensionalen Normalverteilungen rechnen kann. Jedoch ist die wesentliche Eigenschaft von Gaußprozessen in der Anwendung weniger die Unendlichkeit der Dimensionen, sondern vielmehr die Zuordnung der Dimensionen zu den Koordinaten einer Funktion. In praktischen Anwendungen hat man es immer nur mit endlich vielen Stützstellen zu tun und kann daher alle Berechnungen wie im endlichdimensionalen Fall durchführen. Der Grenzwert für unendlich viele Dimensionen wird dabei nur in einem Zwischenschritt benötigt, nämlich dann, wenn Werte an neuen interpolierten Stützstellen geschätzt werden sollen. In diesem Zwischenschritt wird der Gaußprozess, d. h. die Erwartungswertfunktion und Kovarianzfunktion, durch geeignete analytische Ausdrücke dargestellt bzw. approximiert. Dabei erfolgt die Zuordnung zu den Stützstellen über die parametrisierten Koordinaten im analytischen Ausdruck. Im endlichdimensionalen Fall mit diskreten Stützstellen werden die zugehörigen Koordinaten den Dimensionen über ihre Indizes zugeordnet.

Beispiel eines Gaußprozesses Als ein einfaches Beispiel sei ein Gaußprozess

mit einer skalaren Variable (Zeit) durch die Erwartungswertfunktion

und Kovarianzfunktion

gegeben. Dieser Gaußprozess beschreibt ein endloses zeitliches elektrisches Signal mit gaußschem weißen Rauschen mit einer Standardabweichung von einem Volt um eine mittlere Spannung von 5 Volt.

Definitionen spezieller Eigenschaften Ein Gaußprozess heißt zentriert, wenn sein Erwartungswert konstant Null ist, also wenn für alle .

Eine Kovarianzfunktion heißt stationär wenn sie translationsinvariant ist und durch eine relative Funktion beschrieben werden kann.C. E. Rasmussen, C. K. I. Williams: Gaussian Processes for Machine Learning, Chapter 4.1 Preliminaries

Ein Gaußprozess heißt stationär (oder translationsinvariant), wenn seine Kovarianzfunktion stationär und sein Erwartungswert konstant ist.Topics in Probability: Gaussian Analysis, Math 7880-1, Spring 2015, University of Utah, Chapter 6 "Gaussian Processes", siehe Definition 1.7 für Stationarität und Lemma 1.8 zur Translationsinvarianz.

Ein Kovarianzfunktion heißt radial, wenn radialsymmetrisch ist mit der Euklidischen Norm . Stationäre Gaußprozesse mit dieser Eigenschaft können Systeme mit isotropen Modell-Eigenschaften beschreiben.

Liste gängiger Gaußprozesse und Kovarianzfunktionen Konstant: und Entspricht einem konstanten Wert aus einer Gaußverteilung mit Standardabweichung . Offset: und Entspricht einem konstanten Wert, der durch fest vorgegeben ist. Gaußsches Weißes Rauschen: (: Standardabweichung, : Kronecker-Delta) Rational quadratisch: Gamma-Exponentiell: Ornstein-Uhlenbeck:C. E. Rasmussen, C. K. I. Williams: Gaussian Processes for Machine Learning. MIT Press, 2006, ISBN 0-262-18253-X, Kapitel 4.2 Examples of Covariance Functions, Seite 85 Entspricht einem einfachen Gauß-Markov-Prozess und beschreibt stetige, nicht-differenzierbare Funktionen, außerdem weißes Rauschen, nachdem es einen RC-Tiefpass-Filter durchlaufen hat. Quadratisch exponentiell: Beschreibt glatte unendlich oft differenzierbare Funktionen. Matérn:C. E. Rasmussen, C. K. I. Williams: Gaussian Processes for Machine Learning. MIT Press, 2006, ISBN 0-262-18253-X, Kapitel 4.2 Examples of Covariance Functions, Seite 84.

Sehr universell verwendbare Gaußprozesse zur Beschreibung der meisten typischen Messkurven. Die Funktionen des Gaußprozesses sind -mal stetig differenzierbar, wenn . Kovarianzfunktionen mit , , usw. entsprechen weißem Rauschen, welches 1, 2 bzw. 3 RC-Tiefpass-Filter durchlaufen hat bzw. entsprechend oft mit der Funktion gefaltet wurde. Gängige Spezialfälle sind:

entspricht der Ornstein-Uhlenbeck-Kovarianzfunktion und der quadratisch exponentiellen. Periodisch: Funktionen von diesem Gaußprozess sind sowohl periodisch mit der Periodendauer als auch glatt (quadratisch exponentiell). Wird das Quadrat um den Sinus durch den Betrag ersetzt, ergeben sich nicht-glatte periodische Funktionen. Polynomial: Wächst nach außen stark an und ist meist eine schlechte Wahl bei Regressionsproblemen, kann aber bei hochdimensionalen Klassifizierungsproblemen nützlich sein. Sie ist positiv semidefinit und erzeugt nicht notwendigerweise invertierbare Kovarianzmatrizen.C. E. Rasmussen, C. K. I. Williams: Gaussian Processes for Machine Learning MIT Press, 2006, ISBN 0-262-18253-X, Kapitel 4.2.2 Dot Product Covariance Functions. S. 89 und Table 4.1, S. 94. Brownsche Brücke: und Wiener-Prozess: und Entspricht der Brownschen Bewegung bzw. dem Integral über gaußsches weißes Rauschen.

Bemerkungen: ist die Distanz bei stationären und radialen Kovarianzfunktionen ist die charakteristische Längenskala der Kovarianzfunktion, bei der die Korrelation auf etwa abgefallen ist. Die meisten stationären Kovarianzfunktionen werden auf normiert notiert und sind somit gleichbedeutend zu Korrelationsfunktionen. Für den Gebrauch als Kovarianzfunktion werden sie mit einer Varianz multipliziert, was den Variablen eine Skalierung und/oder physikalische Einheit zuordnet. Kovarianzfunktionen dürfen nicht beliebige Funktionen oder sein, da sichergestellt sein muss, dass sie positiv definit sind.C. E. Rasmussen, C. K. I. Williams: Gaussian Processes for Machine Learning. MIT Press, 2006, ISBN 0-262-18253-X, Kapitel 4 Covariance Functions, valide Kovarianzfunktionen sind zum Beispiel in Table 4.1 auf Seite 94 als ND aufgelistet. Positiv semidefinite Funktionen sind ebenfalls gültige Kovarianzfunktionen, wobei zu beachten ist, dass diese nicht notwendigerweise invertierbare Kovarianzmatrizen ergeben und daher meistens mit einer positiv definiten Funktion kombiniert werden.

Rechenoperationen mit Gaußprozessen Mit Gaußprozessen (oder Normalverteilungen) können verschiedene stochastische Rechenoperationen durchgeführt werden mit denen unterschiedliche Funktionen mit normalverteilten Fehlern miteinander in Verbindung gebracht oder aus einander extrahiert werden können. Liegen Kreuzkorrelationen zwischen den Funktionen vor, wird zusätzlich vorausgesetzt, dass sie auch im Verbund normalverteilt sind. In der Signalverarbeitung werden mit den Operationen z. B. zeitliche Signale und deren Messunsicherheiten behandelt. Die Verteilungen dieser Funktionen werden in den folgenden Operationen in der Vektor- und Matrixschreibweise für endlich viele Stützstellen dargestellt, was analog auf beliebige Erwartungswertfunktionen und Kovarianzfunktionen anwendbar ist. Die normalverteilten Vektoren (, etc.) werden entsprechend als Funktionen beschrieben.

Lineare Transformation Addition: unkorrelierte Funktionen Wird die Summe von zwei unabhängigen (und insbesondere unkorrelierten) Funktionen gebildet, dann addieren sich deren Erwartungswertfunktionen und deren Kovarianzfunktionen:

Die zugehörigen Wahrscheinlichkeitsdichtefunktionen erfahren dadurch eine Faltung.

Addition: korrelierte Funktionen Korrelierte Funktionen können im Extremfall identisch sein oder sich nur durch konstante Faktoren unterschieden. Die Summe entspricht dann einer Multiplikation mit den addierten Faktoren. Sind beide Funktionen identisch, ergibt sich .

Differenz: unkorrelierte Funktionen Wird die Differenz von zwei unabhängigen Funktionen gebildet, dann subtrahieren sich deren Erwartungswertfunktionen und es addieren sich deren Kovarianzfunktionen:

Subtraktion eines korrelierten Anteils Wenn die Funktion y2 einen additiven Anteil der Funktion y1 eines anderen Gaußprozesses beschreibt, dann bewirkt die Subtraktion dieses Anteils die Subtraktion der Erwartungswertfunktion und der Kovarianzfunktion: