Mit einer vortrainierten Worteinbettung (word2vec oder Glove) in TensorFlow

Question

Ich habe vor kurzem eine interessante Implementierung für convolutional text classification überprüft. Jedoch sind alle TensorFlow Code, den ich überprüft habe verwendet eine zufällige (nicht vortrainiert) Einbetten von Vektoren wie folgt aus:

with tf.device('/cpu:0'), tf.name_scope("embedding"): 
    W = tf.Variable(
     tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), 
     name="W") 
    self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) 
    self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) 

Weiß jemand, wie die Ergebnisse der Word2vec verwenden oder einer Glove-Wort vorge trainiert Einbettung statt ein zufälliger?

Answer 1

Es gibt einige Möglichkeiten, wie Sie eine vortrainierte Einbettung in TensorFlow verwenden können. Nehmen wir an, Sie haben die Einbettung in ein NumPy-Array namens , mit vocab_size Zeilen und embedding_dim Spalten, und Sie möchten einen Tensor W erstellen, der in einem Aufruf an tf.nn.embedding_lookup() verwendet werden kann.

1. einfach W als tf.constant() erstellen, die embedding als Wert nimmt:

   W = tf.constant(embedding, name="W") 
   

   Dies ist der einfachste Ansatz, aber es ist nicht Speicher effizient, weil der Wert eines tf.constant() in mehrfach gespeichert wird Erinnerung. Da sehr groß sein kann, sollten Sie diesen Ansatz nur für Spielzeugbeispiele verwenden.

2. erstellen W als tf.Variable und aus dem NumPy Array initialisieren über eine tf.placeholder():

   W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]), 
          trainable=False, name="W") 
   
   embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim]) 
   embedding_init = W.assign(embedding_placeholder) 
   
   # ... 
   sess = tf.Session() 
   
   sess.run(embedding_init, feed_dict={embedding_placeholder: embedding}) 
   

   dies zu vermeiden, eine Kopie embedding in dem Diagramm zu speichern, aber es ist genügend Speicher erfordert zwei Kopien zu halten die Matrix im Speicher auf einmal (eins für das NumPy-Array und eins für das tf.Variable). Beachten Sie, dass ich davon ausgegangen bin, dass Sie die Einbettungsmatrix während des Trainings konstant halten möchten. Daher wird W mit trainable=False erstellt.

3. Wenn die Einbettung als Teil eines anderen TensorFlow-Modells trainiert wurde, können Sie den Wert mit tf.train.Saver aus der Prüfpunktdatei des anderen Modells laden. Dies bedeutet, dass die Einbettungsmatrix Python vollständig umgehen kann. Erstellen W wie in Option 2, dann gehen Sie wie folgt vor:

   W = tf.Variable(...) 
   
   embedding_saver = tf.train.Saver({"name_of_variable_in_other_model": W}) 
   
   # ... 
   sess = tf.Session() 
   embedding_saver.restore(sess, "checkpoint_filename.ckpt") 
   

Answer 2

ich diese Methode verwenden zu laden und mit anderen teilen Einbettung.

W = tf.get_variable(name="W", shape=embedding.shape, initializer=tf.constant_initializer(embedding), trainable=False) 

Answer 3

Die Antwort von @mrry ist nicht richtig, weil es die Überschreibung der Einbettungen Gewichte jeweils das Netzwerk ausgeführt wird, provoques wenn Sie also ein mini Ansatz folgen Ihrem Netzwerk zu trainieren, überschreiben Sie die Gewichte der Einbettungen. Also, auf meiner Sicht der richtige Weg vortrainiert Einbettungen ist:

embeddings = tf.get_variable("embeddings", shape=[dim1, dim2], initializer=tf.constant_initializer(np.array(embeddings_matrix))