Word2Vec Ausgabe Vektoren

Question

Wie ich es verstehe, Word2Vec baut ein Wort Wörterbuch (oder, Vokabular) basierend auf einem Training Korpus, und gibt einen K-Dim-Vektor für jedes Wort im Wörterbuch. Meine Frage ist, was genau ist die Quelle dieser K-Dim-Vektoren? Ich nehme an, dass jeder Vektor entweder eine Zeile oder eine Spalte in einer der Gewichtungsmatrizen zwischen der Eingabe- und versteckten Ebene oder der ausgeblendeten Ebene und der Ausgabeebene ist. Jedoch konnte ich keine Quellen finden, um dies zu untermauern, und ich bin nicht ausreichend in Programmiersprachen befähigt, den Quellcode zu untersuchen und es selbst herauszufinden. Jede klärende Bemerkung zu diesem Thema wäre sehr zu begrüßen!

Answer 1

Was genau ist die Quelle dieser K-Dim-Vektoren? Ich nehme an, dass jeder Vektor entweder eine Zeile oder eine Spalte in einer der Gewichtungsmatrizen zwischen der Eingabe- und versteckten Ebene oder der ausgeblendeten Ebene und der Ausgabeebene ist.

Im Word2vec-Modell (CBOW, Skip-Gramm) gibt es eine Funktionsmatrix von Wörtern aus. Diese Matrix ist die erste Gewichtsmatrix zwischen Eingabeebene und Projektionsebene (im Word2vec-Modell gibt es keine verborgene Ebene, keine Aktivierungsfunktion). Denn wenn wir das Wort im Kontext trainieren (im CBOW-Modell), aktualisieren wir diese Gewichtsmatrix (zweites - zwischen Projektion und Ausgabeschicht - auch die Matrix wird aktualisiert. Wir verwenden sie jedoch nicht)

in der ersten Matrix, Zeilen bedeuten ein Vokabular Wörter und Spalten bedeuten Merkmal des Wortes (K-Dimension).

, wenn Sie weitere Informationen wünschen, erkunden sie

http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

Answer 2

word2vec verwendet maschinelles Lernen Wortdarstellungen zu erhalten. Es sagt ein Wort voraus, indem es seinen Kontext (CBOW) oder umgekehrt (Skip-Gramm) benutzt.

Beim maschinellen Lernen haben Sie eine Verlustfunktion, die den von Ihrem Modell verursachten Fehler darstellt. Dieser Fehler hängt von den Modellparametern ab. Das Trainieren eines Modells bedeutet, den Fehler in Bezug auf die Modellparameter zu minimieren.

In Word2vec sind diese Einbettungsmatrizen die Modellparameter, die während des Trainings aktualisiert werden. Ich hoffe, es hilft dir zu verstehen, woher sie kommen. In der Tat werden sie zuerst zufällig initialisiert und während des Trainings geändert.

Sie können in diesem Bild von this paper einen Blick:

Die W Matrix, die die Eingabe eines glühende Wortdarstellung auf, dass k-dimensionalen Vektoren abbildet und die W‘ Matrix, die Karten Eine k-dimensionale Darstellung der Ausgabe sind die Parameter des Modells, die wir während des Trainings optimieren.