Eine Ridge-Funktion ist eine multivariate Funktion , die aus der Komposition einer univariaten Funktion mit einer affinen Abbildung entsteht:
für .
Dabei ist die Transposition des Vektors, so dass , wenn die die Koordinaten der Vektoren bzw. sind. Man bezeichnet als Profilfunktion, als Richtungsvektor und als Verschiebung.
Im Deutschen hat sich die direkte Übersetzung Gratfunktion oder Kammfunktion nicht etabliert.
Eigenschaften
Niveaumengen sind parallele Hyperebenen
Für heißt die Niveaumenge zum Wert .
Ist einelementig, so ist eine affine Hyperebene mit Normalenrichtung :
Falls mehr als einen Punkt enthält, ist eine Vereinigung von parallelen Hyperebenen.
Nicht eindeutige Darstellung
Die Darstellung einer Ridge-Funktion ist im Allgemeinen nicht eindeutig. Für , definiere eine skalierte Richtung als auch neue Verschiebung . Zusammen mit der Profilfunktion entsteht somit dieselbe Ridge-Funktion
Eine eindeutige Darstellung erhält man erst nach zusätzlichen Normierungs- und Orientierungsbedingungen.
Normierte Darstellung
Zunächst kann die Verschiebung in die Profilfunktion absorbiert werden. Um Eindeutigkeit zu erreichen, kann ohne Einschränkung die Verschiebung gewählt werden.
Außerdem wird der Richtungsvektor normiert und orientiert. Dazu setzt man
Das heißt, die erste von null verschiedene Komponente von ist positiv. Mit werden sowohl Skalierung als auch Vorzeichenwechsel ausgeschlossen.
Für nichtkonstante Ridge-Funktionen lässt sich nun beweisen, dass die normierte Darstellung
tatsächlich eindeutig ist.
Ist allerdings die Profilfunktion konstant, so kann die Richtung beliebig gewählt werden.
Gradient
Ist die Profilfunktion differenzierbar, so ist auch die Ridge-Funktion differenzierbar. Nach der Kettenregel gilt
Der Gradient ist also an jedem Punkt ein skalares Vielfaches des Richtungsvektors . Die Richtung der stärksten Änderung liegt damit stets parallel zu .
Höhere Glattheit
Die Glattheit einer Ridge-Funktion wird von der Profilfunktion geerbt. Ist für ein , so gilt für auch Dies folgt aus der Kettenregel, denn die Abbildung ist affin und damit glatt.
Für die partiellen Ableitungen gilt insbesondere
für alle Multiindizes mit .
Vorkommen
Ridge-Funktionen spielen unter anderem eine wesentliche Rolle bei Projection Pursuit, generalisierten linearen Modellen und als Aktivierungsfunktionen in neuronalen Netzen. Für ausführliche Darstellungen zu Ridge-Funktionen siehe die Bücher von Pinkus und Ismailov.
Fourierreihe
Auch die multivariate Fourierreihe lässt sich als Summe von Ridge-Funktionen auffassen. Jede periodische Funktion in mehreren Variablen besitzt formal eine Darstellung
Jeder Summand ist eine Ridge-Funktion mit Richtung und Profil . Ist reellwertig, so erfüllen die Fourier-Koeffizienten die Symmetriebedingung .
Neuronale Netze
In neuronalen Netzen treten Ridge-Funktionen als Ausgaben einzelner Neuronen auf. Ist eine Aktivierungsfunktion, ein Gewichtsvektor und ein Bias, so ist
eine Ridge-Funktion. Beispielsweise ergibt die ReLU-Aktivierung als Profil die Ridge-Funktion
Ein neuronales Netz mit einer verdeckten Schicht ist daher eine endliche Linearkombination solcher Ridge-Funktionen.
Einzelnachweise
Kategorie:Numerische Mathematik Kategorie:Mathematische Funktion