"Aufmerksamkeit Köpfe" in seq2seq.embedding_attention_seq2seq von Tensorflow

Ich bin neu in der Tensorflow und versuchen, die "seq2seq" -Modell nach dem Tutorial zu implementieren. Ich bin mir nicht sicher über ein Argument "num_heads" (default = 1) der Funktion "embedding_attention_seq2seq". Was stellt es dar? Ich habe es in den zugehörigen Papieren nicht gefunden."Aufmerksamkeit Köpfe" in seq2seq.embedding_attention_seq2seq von Tensorflow

Quelle

2016-06-30 Huaqing Luo

Hätten Sie den Quellcode eines Decoders wie this one gelesen, würden Sie erfahren, dass er die Anzahl der Aufmerksamkeiten darstellt.

Manchmal gibt es mehrere Aufmerksamkeiten (hierarchische Aufmerksamkeiten), z. B. diese (wie unten abgebildet) in this paper.
TL; DR; der erste ist für das Wort und der zweite ist für den Satz.
Bitte überprüfen Sie diese Grafik:

Quelle

2017-05-19 06:28:13 lerner

Wie viele Aufmerksamkeitsvektoren haben wir für eine Einheit im Decoder berechnet? Wie ändere ich die Anzahl der Aufmerksamkeiten? Ist das so, dass wir die Encoder-Zustände zweimal durchlaufen? –

Ja, Sie können diese im folgenden Code überprüfen, insbesondere [diese Zeile] (https://github.com/tensorflow/tensorflow/blob/r1.1/tensorflow/contrib/legacy_seq2seq/python/ops/seq2seq.py# L683). – lerner

ja. Aber ich habe dieses Problem. Wenn wir zwei Aufmerksamkeiten haben, was wird passieren? –

"Aufmerksamkeit Köpfe" in seq2seq.embedding_attention_seq2seq von Tensorflow

Antwort

Verwandte Themen