TensorFlow dynamic_rnn Regressor: ValueError Dimension nicht übereinstimmen

Question

Ich möchte ein Spielzeug LSTM-Modell für die Regression zu bauen. This nettes Tutorial ist schon zu kompliziert für einen Anfänger.

Bei einer gegebenen Sequenz der Länge time_steps den nächsten Wert vorhersagen. Betrachten time_steps=3 und die Sequenzen:

array([ 
    [[ 1.], 
    [ 2.], 
    [ 3.]], 

    [[ 2.], 
    [ 3.], 
    [ 4.]], 
    ... 

die Zielwerte sollten:

array([ 4., 5., ... 

ich folgendes Modell definieren:

# Network Parameters 
time_steps = 3 
num_neurons= 64 #(arbitrary) 
n_features = 1 

# tf Graph input 
x = tf.placeholder("float", [None, time_steps, n_features]) 
y = tf.placeholder("float", [None, 1]) 

# Define weights 
weights = { 
    'out': tf.Variable(tf.random_normal([n_hidden, 1])) 
} 
biases = { 
    'out': tf.Variable(tf.random_normal([1])) 
} 

#LSTM model 
def lstm_model(X, weights, biases, learning_rate=0.01, optimizer='Adagrad'): 

    # Prepare data shape to match `rnn` function requirements 
    # Current data input shape: (batch_size, time_steps, n_features) 
    # Required shape: 'time_steps' tensors list of shape (batch_size, n_features) 
    # Permuting batch_size and time_steps 
    input dimension: Tensor("Placeholder_:0", shape=(?, 3, 1), dtype=float32) 

    X = tf.transpose(X, [1, 0, 2]) 
    transposed dimension: Tensor("transpose_41:0", shape=(3, ?, 1), dtype=float32) 

    # Reshaping to (time_steps*batch_size, n_features) 
    X = tf.reshape(X, [-1, n_features]) 
    reshaped dimension: Tensor("Reshape_:0", shape=(?, 1), dtype=float32) 

    # Split to get a list of 'time_steps' tensors of shape (batch_size, n_features) 
    X = tf.split(0, time_steps, X) 
    splitted dimension: [<tf.Tensor 'split_:0' shape=(?, 1) dtype=float32>, <tf.Tensor 'split_:1' shape=(?, 1) dtype=float32>, <tf.Tensor 'split_:2' shape=(?, 1) dtype=float32>] 

    # LSTM cell 
    cell = tf.nn.rnn_cell.LSTMCell(num_neurons) #Or GRUCell(num_neurons) 

    output, state = tf.nn.dynamic_rnn(cell=cell, inputs=X, dtype=tf.float32) 

    output = tf.transpose(output, [1, 0, 2]) 
    last = tf.gather(output, int(output.get_shape()[0]) - 1) 


    return tf.matmul(last, weights['out']) + biases['out'] 

Wir mit pred = lstm_model(x, weights, biases) das LSTM Modell instanziieren ich die folgende :

---> output, state = tf.nn.dynamic_rnn(cell=cell, inputs=X, dtype=tf.float32) 
ValueError: Dimension must be 2 but is 3 for 'transpose_42' (op: 'Transpose') with input shapes: [?,1], [3] 

1) Weißt du, was das Problem ist?

2) Multiplizieren die LSTM-Ausgabe mit den Gewichtungen die Regression?

Answer 1

Wie in den Kommentaren diskutiert, die tf.nn.dynamic_rnn(cell, inputs, ...) Funktion erwartet eine Liste von dreidimensionalen Tensoren ^* als inputs Argument, wobei die Abmessungen standardmäßig interpretiert werden als batch_size x num_timesteps x num_features. (Wenn Sie time_major=True übergeben, werden sie als num_timesteps x x num_features interpretiert.) Daher ist die Vorverarbeitung, die Sie in dem ursprünglichen Platzhalter ausgeführt haben, nicht erforderlich, und Sie können den Wert X direkt an tf.nn.dynamic_rnn() übergeben.

---

^* Technisch kann es kompliziert verschachtelte Strukturen zusätzlich zu Listen akzeptieren, aber die Blattelemente müssen dreidimensionale Tensor sein. ^**

^** Untersuchung stellte sich dabei um einen Fehler bei der Umsetzung von tf.nn.dynamic_rnn() auf. Im Prinzip sollte es ausreichend sein, dass die Eingänge mindestens zwei Dimensionen haben, aber der Pfad time_major=False nimmt an, dass sie genau drei Dimensionen haben, wenn sie die Eingabe in das Zeit-Haupt-Format umsetzt, und es war die Fehlermeldung, dass dieser Fehler versehentlich auftritt Ursachen, die in Ihrem Programm aufgetaucht sind. Wir arbeiten daran, das behoben zu bekommen.