2016-03-21 5 views

Antwort

0

Da aus dem Papier von Mikolov, klar ist, dass Die Ausgabe von Worteinbettungen aller Wörter wird in der letzten Schicht nicht erhalten. Stattdessen zerhacken sie die letzte Ebene und nehmen die Gewichte der verborgenen Ebene, die die Dimension [vocab_size x embd_dim] aufweist, d.h. jede Zeile ist ein Wortvektor (Dimension: embd_dim) des entsprechenden Wortes.

Siehe dies zum besseren Verständnis: http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

Also, in der tensorflow Implementierung, die tf.embedding_lookup das Wort Einbettungen aller Worte hat. Es ist in Linie erwähnt 26 der Datei word2vec.py in /tensorflow/models/embedding/

24 The key ops used are: 
25 * placeholder for feeding in tensors for each example. 
26 * embedding_lookup for fetching rows from the embedding matrix. 
27 * sigmoid_cross_entropy_with_logits to calculate the loss. 
28 * GradientDescentOptimizer for optimizing the loss. 
29 * skipgram custom op that does input processing. 
Verwandte Themen