verschmelzen wiederkehrende Schichten mit dichten Schicht in Keras

Question

Ich möchte ein neuronales Netzwerk erstellen, wo die beiden ersten Schichten Feedforward und die letzte ist wiederkehrend. hier ist mein Code:

model = Sequential() 
model.add(Dense(150, input_dim=23,init='normal',activation='relu')) 
model.add(Dense(80,activation='relu',init='normal')) 
model.add(SimpleRNN(2,init='normal')) 
adam =OP.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08) 
model.compile(loss="mean_squared_error", optimizer="rmsprop") 

und ich bekomme diese Fehlermeldung:

Exception: Input 0 is incompatible with layer simplernn_11: expected ndim=3, found ndim=2. 
model.compile(loss='mse', optimizer=adam) 

Answer 1

Es ist korrekt, dass in Kera RNN Schicht Eingabe als erwartet. Wenn Sie jedoch eine RNN-Schicht nach einer dichten Schicht hinzufügen möchten, können Sie dies auch nach dem Umformen der Eingabe für die RNN-Schicht tun. Reshape kann sowohl als erste Schicht als auch als Zwischenschicht in einem sequentiellen Modell verwendet werden.

model = Sequential() 
model.add(Reshape((3, 4), input_shape=(12,))) 
# now: model.output_shape == (None, 3, 4) 
# note: `None` is the batch dimension 

model.add(Reshape((6, 2))) 
# now: model.output_shape == (None, 6, 2) 

Zum Beispiel, wenn Sie ändern

Reshape als Zwischenschicht in einem sequentiellen Modell

Reshape als erste Schicht in einem Sequential Modell: Beispiele sind unten angegeben Ihr Code in der folgenden Weise, dann wird es keinen Fehler geben. Ich habe es überprüft und das Modell kompiliert ohne Fehler gemeldet. Sie können die Dimension nach Ihren Bedürfnissen ändern.

from keras.models import Sequential 
from keras.layers import Dense, SimpleRNN, Reshape 
from keras.optimizers import Adam 

model = Sequential() 
model.add(Dense(150, input_dim=23,init='normal',activation='relu')) 
model.add(Dense(80,activation='relu',init='normal')) 
model.add(Reshape((1, 80))) 
model.add(SimpleRNN(2,init='normal')) 
adam = Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08) 
model.compile(loss="mean_squared_error", optimizer="rmsprop") 

Answer 2

In Keras, können Sie keine Reccurrent Schicht nach einer dichten Schicht gesetzt, weil die dichte Schicht Ausgang gibt als (nb_samples, output_dim). Eine rekurrente Schicht erwartet jedoch die Eingabe als (nb_samples, time_steps, input_dim). Eine "Density" -Schicht gibt also einen 2-D-Ausgang, eine "Recurrent" -Schicht hingegen einen 3-D-Eingang. Sie können jedoch das Umgekehrte tun, d. H. Eine Dichten-Schicht nach einer Recurrent-Schicht einfügen.