Wie man RNN auf Sequenz-zu-Sequenz-NLP-Aufgabe anwenden?

Question

Ich bin ziemlich verwirrt über Sequenz-Sequenz-RNN auf NLP-Aufgaben. Zuvor habe ich einige neuronale Modelle von Klassifikationsaufgaben implementiert. In diesen Aufgaben nehmen die Modelle Worteinbettungen als Eingabe und verwenden eine Softmax-Schicht am Ende der Netzwerke, um eine Klassifizierung vorzunehmen. Aber wie machen neuronale Modelle seq2seq Aufgaben? Wenn die Eingabe Worteinbettung ist, was ist dann die Ausgabe des neuronalen Modells? Beispiele für diese Aufgaben sind Fragen beantworten, Dialogsysteme und maschinelle Übersetzung.

Answer 1

Sie können einen Encoder-Decoder Architektur verwenden. Der Codierteil codiert Ihre Eingabe in einen Vektor mit fester Länge, und dann decodiert der Decodierer diesen Vektor in Ihre Ausgabesequenz, was immer dies auch sein mag. Kodierungs- und Dekodierschichten können gemeinsam gegen Ihre Zielfunktion gelernt werden (was immer noch ein Soft-Max beinhalten kann). Check out this paper, die zeigt, wie dieses Modell in der neuralen maschinellen Übersetzung verwendet werden kann. Der Decoder sendet hier Wörter nacheinander aus, um eine korrekte Übersetzung zu erzeugen.