Wie macht man die Gewichte einer RNN-Zelle im Tensorflow unzugänglich?

Question

Ich versuche ein Tensorflow-Diagramm zu machen, wo ein Teil des Graphen bereits vortrainiert ist und im Vorhersage-Modus läuft, während der Rest trainiert. Ich habe wie so meine vortrainiert Zelle definiert:

rnn_cell = tf.contrib.rnn.BasicLSTMCell(100) 

state0 = tf.Variable(pretrained_state0,trainable=False) 
state1 = tf.Variable(pretrained_state1,trainable=False) 
pretrained_state = [state0, state1] 

outputs, states = tf.contrib.rnn.static_rnn(rnn_cell, 
              data_input, 
              dtype=tf.float32, 
              initial_state = pretrained_state) 

die anfänglichen Variablen trainable=False Einstellung hilft nicht. Diese werden nur verwendet, um die Gewichte zu initialisieren, und als Ergebnis ändern sich die Gewichte noch.

Ich muss noch einen Optimierer in meinem Trainingsschritt ausführen, da der Rest meines Modells trainieren muss. Aber wie kann ich verhindern, dass der Optimierer die Gewichte in dieser Zelle ändert?

Gibt es eine rnn_cell entspricht trainable=False?

Answer 1

Sie können entweder tf.stop_gradient() verwenden, um zu verhindern, dass die pretrained Teile des Graphen seine Gewichte aktualisieren, oder Sie können optimiser() verwenden, wo Sie angeben können, welche Teile des Graphen trainiert werden sollen. Die zweite Methode würde beinhalten:

#Create variable scope for the trainable parts of the graph: tf.variable_scope('train'). 

# get trainable variables 
t_vars = tf.trainable_variables() 
train_vars = [var for var in t_vars if var.name.startswith('train')] 
# train only the variables of a particular scope 
opt = optimizer.minimize(cost, var_list=train_vars)