Welche Form sollte Eingabe- und Ausgabedaten für ein LSTM NN haben?

Question

Ich habe ein Problem mit der Erstellung meiner Daten für ein NN mit einer LSTM-Schicht. Ich habe viele Dateien mit Hunderten von Zeilen. Jede Datei repräsentiert ein Lied und jede Zeile stellt eine Notiz mit 4 Werten. Ich möchte die NN lesen die Notizen mit eine Sequenz von 10 Notizen, so dass es die nächste Note von ihnen vorhersagen kann. Wenn es nötig ist, können wir die Anzahl der Noten auf 5000 pro Song festlegen.

Also ich möchte nur wissen, welche Form meine Ein- und Ausgabedaten haben sollte und wie Sie die erste LSTM-Schicht definieren.

model = Sequential() 
model.add(LSTM(32, input_shape=(5000, 4),return_sequences=True)) 

zum Sumpf bis:

• Eine Datei hat 5000 Zeilen und 4 Spalten und für 1 Song.

• Eine Zeile in einer Datei steht für eine Note mit 4 Werten.

Vielen Dank für Ihre Hilfe.

Answer 1

Die Eingabeform der ersten LSTM-Schicht sollte (None, 10, 4) sein. Die Ausgabeform des Modells wäre (None, 4). Ich verwende None für die Losgröße.

I codiert ein einfaches LSTM als Beispiel:

# ... 
# Define model 
hidden_size = 50 
model = Sequential() 
model.add(LSTM(hidden_size, input_shape=(window_length, note_dim), return_sequences=True)) # The batch dimension is implicit here 
model.add(LSTM(note_dim)) 
# ... 

---

:

import numpy as np 
from keras.layers import LSTM 
from keras.models import Sequential 

batch_size = 32 
window_length = 10 
note_dim = 4 
n_samples = 5000 

# Input data. TODO: Slide window and modify it to use real data 
x = np.ones(shape=(n_samples, window_length, note_dim)) 
y = np.ones(shape=(n_samples, note_dim)) 

# Define model 
model = Sequential() 
model.add(LSTM(note_dim, input_shape=(window_length, note_dim))) # The batch dimension is implicit here 

model.compile('sgd', 'mse') 
model.fit(x=x, # Batch input shape is: (None, window_length, note_dim) 
      y=y, # Batch output shape is: (None, note_dim) 
      batch_size=batch_size) 

Falls Sie ein komplexeres Modell (dh 2 LSTM Schichten) wollen, dass es auf diese Weise definieren könnte

UPDATE: Beantworten Sie Ihren ersten Kommentar.

x sollte alle Lieder enthalten, nachdem Sie ein Fenster auf sie verschoben haben. Angenommen, Sie haben eine Variable songs mit der Form (n_songs, notes_per_song, note_dim), die alle Ihre Songs enthält.Dann könnten Sie x und y wie folgt erstellen:

# ... 
# Input data  
# Suppose that variable ´songs´ is an array with shape: (n_songs, notes_per_song, note_dim). 
samples_per_song = notes_per_song-window_length 
n_samples = n_songs*samples_per_song 
x = np.zeros(shape=(n_samples, window_length, note_dim)) 
y = np.zeros(shape=(n_samples, note_dim)) 
for n, song in enumerate(songs): 
    for i in range(samples_per_song): 
     x[i+n*samples_per_song, :, :] = song[i:(i+window_length), :] 
     y[i+n*samples_per_song, :, :] = song[i+window_length, :] # note that you want to predict 
# ... 

Answer 2

Ich möchte die NN lesen Sie die Notizen mit einer Folge von 10 Noten, so dass es die nächste Note von ihnen vorhersagen kann.

Ich habe Keras noch nie verwendet, aber ich denke, dass Sie diese Notizen zuerst in Ids konvertieren sollten. Zum Beispiel: (aa, bb, cc, dd) als 1 und (ab, bb, cc, dd) als 2 usw.

Dann lesen Sie 10 IDs/Noten für den Encoder und fügen Sie dann eine Projektion zum Projekt hinzu der Endzustand zur 11. Note. Und wenn Sie das Modell mit 10 Noten aus einer beliebigen Note im Lied testen möchten, trainieren Sie dann die zweite bis zur elften und legen die 12. als Ziel nach der Projektion fest. Und so weiter und so weiter, bis die letzte Note das Ziel ist. Dies ist für ein Lied und wiederholen Sie dies für alle Lieder.

Sie können die Notizen unbedingt über die IDs abrufen. Sie können ein Vokabular erstellen, um es vor und zurück zu übertragen.