Eine Encoder-Decoder-Architektur, auch bekannt als „Sequence-to-Sequence“- oder „Seq2seq“-Technik, ist eine neuronale Netzwerkarchitektur für die Verarbeitung von Sequenzen, bei der ein Encoder eine Eingabesequenz in eine interne Repräsentation überführt und ein Decoder eine bedingte Wahrscheinlichkeitsverteilung über die Ausgabesequenz modelliert, aus der anschließend autoregressiv eine konkrete Sequenz erzeugt wird. Eine Eingabesequenz kann dabei aus Wörtern bestehen, und die Ausgabesequenz beispielsweise eine Übersetzung des Satzes in eine andere Sprache sein. Die Encoder-Decoder-Architektur wurde 2014 eingeführt.
In der ursprünglichen Form bestanden Encoder-Decoder-Modelle aus zwei rekurrenten neuronalen Netzen (RNNs), wobei eines als Encoder und das andere als Decoder fungierte. In modernen Ansätzen wird die Architektur aber auch in Transformer umgesetzt. Der erste Transformer aus der 2017 erschienenen Arbeit Attention Is All You Need baute auf dem Encoder-Decoder-Modell auf.
Encoder-Decoder-Architektur Die Eingabesequenz und die Ausgabesequenz bestehen aus Symbolen (z. B. Wörtern oder Zeichen). Das Ergebnis der Encoder-Decoder-Architektur ist die bedingte Wahrscheinlichkeit der Ausgabesequenz gegeben der Eingabesequenz:
Die bedingte Wahrscheinlichkeit lässt sich wiederum zerlegen in
Sei nun abgekürzt wobei .
Der Encoder-Decoder modelliert die bedingte Wahrscheinlichkeit
daraus folgt
Aus der bedingten Wahrscheinlichkeit lässt sich dann die optimale Ausgabe bestimmen:
Beispiel Gegeben sei die Eingabesequenz
welche von einem Encoder-Decoder ins Englische übersetzt wird. Die Ausgabe wird autoregressiv erzeugt, beginnend mit:
Dabei entsteht die Sequenz
Einzelnachweise
Kategorie:Deep Learning Kategorie:Künstliche Neuronale Netze