Tensorflow: Wie bekomme ich alle Variablen von rnn_cell.BasicLSTM & rnn_cell.MultiRNNCell

Question

Ich habe ein Setup, wo ich ein LSTM nach der Hauptinitialisierung initialisieren muss, die tf.initialize_all_variables() verwendet. I.e. Ich möchte tf.initialize_variables([var_list])

nennen, ist es Weg, um alle internen trainierbar Variablen für beide zu sammeln:

• rnn_cell.BasicLSTM
• rnn_cell.MultiRNNCell

so dass ich GERADE initialisieren diese Parameter?

Der Hauptgrund, warum ich das möchte, ist, weil ich einige trainierte Werte von früher nicht neu initialisieren möchte.

Answer 1

Der einfachste Weg zur Lösung Ihres Problems ist die Verwendung eines variablen Bereichs. Den Namen der Variablen in einem Bereich wird der Name vorangestellt. Hier ist ein kurzer Ausschnitt:

cell = rnn_cell.BasicLSTMCell(num_nodes) 

with tf.variable_scope("LSTM") as vs: 
    # Execute the LSTM cell here in any way, for example: 
    for i in range(num_steps): 
    output[i], state = cell(input_data[i], state) 

    # Retrieve just the LSTM variables. 
    lstm_variables = [v for v in tf.all_variables() 
        if v.name.startswith(vs.name)] 

# [..] 
# Initialize the LSTM variables. 
tf.initialize_variables(lstm_variables) 

Es wäre mit MultiRNNCell die gleiche Art und Weise arbeiten.

EDIT: geändert tf.trainable_variables zu tf.all_variables()

Answer 2

Sie auch tf.get_collection() verwenden können:

cell = rnn_cell.BasicLSTMCell(num_nodes) 
with tf.variable_scope("LSTM") as vs: 
    # Execute the LSTM cell here in any way, for example: 
    for i in range(num_steps): 
    output[i], state = cell(input_data[i], state) 

    lstm_variables = tf.get_collection(tf.GraphKeys.VARIABLES, scope=vs.name) 

(zum Teil aus Rafal Antwort kopiert)

Beachten Sie, dass die letzte Zeile in die Liste Verständnis entspricht in Rafals Code.

Grundsätzlich speichert Tensorflow eine globale Sammlung von Variablen, die entweder durch tf.all_variables() oder tf.get_collection(tf.GraphKeys.VARIABLES) abgerufen werden können. Wenn Sie in der Funktion tf.get_collection()scope (Bereichsname) angeben, werden in der Auflistung nur Tensoren (Variablen in diesem Fall) abgerufen, deren Bereiche sich im angegebenen Bereich befinden.

EDIT: Sie können auch tf.GraphKeys.TRAINABLE_VARIABLES verwenden, um nur trainierbare Variablen zu erhalten. Aber da vanilla BasicLSTMCell keine nicht trainierbare Variable initialisiert, werden beide funktional äquivalent sein. Für eine vollständige Liste der Standard-Graph-Sammlungen, überprüfen Sie this heraus.