Einbettungen mit rekurrenten neuronalen Netzen

Question

Ich arbeite an einem Forschungsprojekt über Textdaten (es geht um Suchmaschinen-Abfragen überwachte Klassifizierung). Ich habe bereits verschiedene Methoden implementiert, und ich habe auch verschiedene Modelle für den Text verwendet (z. B. Binärvektoren der Dimension meines Vokabulars - 1 wenn das i-te Wort im Text erscheint, 0 sonst - oder Wörter, die mit dem Modell word2vec eingebettet sind)).

Mein Berater sagte mir, dass wir vielleicht eine andere Darstellung der Abfragen finden könnten, die das Recurrent Neural Network verwenden. Diese Darstellung sollte die Reihenfolge der Wörter im Text dank der Wiederholungsbeziehung berücksichtigen. Ich habe einige Dokumentationen über RNN gelesen, aber ich habe nichts Nützliches für dieses Ziel gefunden. Ich habe viele Dinge über Sprachmodellierung gelesen (die die Wahrscheinlichkeiten der Wörter vorhersagen), aber ich verstehe nicht, wie ich dieses Modell anpassen könnte, um etwas wie einen eingebetteten Vektor zu erhalten.

Vielen Dank!

Answer 1

Wenn Sie Einbettungen von einer Abfrage oder einem Satz, der RNN ausnutzt, erhalten möchten, werden normalerweise die Logits verwendet. Die Logits sind einfach die Ausgabewerte des Netzwerks nach dem Vorwärtsdurchlauf des vollständigen Satzes/der vollständigen Abfrage.

Die Logit-Werte erzeugen einen Vektor mit den Dimensionen der Ausgabeschicht (d. H. Anzahl der Zielklassen): Üblicherweise handelt es sich um das Vokabular, da sie aus einem Sprachmodell extrahiert werden.

Für Hinweise haben einen Blick auf diese:

• http://arxiv.org/abs/1603.07012
• How does word2vec give one hot word vector from the embedding vector?

Beachten Sie, dass im Prinzip könnte man auch auf andere Aufgaben geschult bidirektionale Netzwerke oder Netzwerke nutzen, verwenden, kleinere Einbettungen zu erhalten , auch wenn diese letzte Option etwas Besonderes ist und meines Wissens nicht erforscht wurde.