Keras - Eingang ein 3-Kanal-Bild in LSTM

Question

I mit Form einer Folge von Bildern in einen numpy Array gelesen haben (7338, 225, 1024, 3) wo 7338 die Probengröße ist, werden 225 die Zeitschritte und 1024 (32x32) werden Bildpixel abgeflacht, in 3 Kanälen (RGB).

Ich habe ein sequentielles Modell mit einer LSTM Schicht:

model = Sequential() 
model.add(LSTM(128, input_shape=(225, 1024, 3)) 

Aber dies führt zu dem Fehler:

Input 0 is incompatible with layer lstm_1: expected ndim=3, found ndim=4 

Die documentation erwähnt, dass der Eingang Tensor für LSTM Schicht ein 3D tensor with shape (batch_size, timesteps, input_dim) sein sollte, aber in meinem Fall ist meine input_dim 2D.

Wie wird ein 3-Kanal-Bild in eine LSTM-Ebene in Keras eingegeben?

Answer 1

Wenn Sie die Anzahl der Bilder wollen eine Sequenz sein (wie ein Film mit Frames), müssen Sie Pixel und Kanäle setzen, wie Features:

input_shape = (225,3072) #a 3D input where the batch size 7338 wasn't informed 

Wenn Sie vor dem Wurf 3072 weitere Verarbeitung wollen Features in ein LSTM, können Sie 2D-Faltungen und LSTMs für ein verfeinertes Modell kombinieren oder verschachteln (nicht unbedingt besser, obwohl jede Anwendung ihr besonderes Verhalten hat).

Sie können auch versuchen, die neuen ConvLSTM2D zu verwenden, die die fünf dimensionale Eingabe nehmen:

input_shape=(225,32,32,3) #a 5D input where the batch size 7338 wasn't informed 

---

ich wahrscheinlich ein Faltungsnetz mit mehrere TimeDistributed(Conv2D(...)) schaffen würde und TimeDistributed(MaxPooling2D(...)) vor einem TimeDistributed(Flatten()) Zugabe und endlich die LSTM(). Dies wird sehr wahrscheinlich sowohl Ihr Bildverständnis als auch die Leistung des LSTM verbessern.