Was ist die Struktur von ATIS (Airline Travel Information System) Datensatz

Question

Wenn ich ATIS (Airline Travel Information System) -Datensatz (http://lisaweb.iro.umontreal.ca/transfert/lisa/users/mesnilgr/atis/) verwenden, um Forschung in rekurrenten neuronalen Netzwerk. Ich bin verwirrt mit seiner Struktur.

Zum Beispiel, nachdem ich data = pickle.load(open("./dataset/atis.fold0.pkl", "rb"),encoding='iso-8859-1') verwendet habe, um die atis.fold0.pkl zu laden, verwende ich print (np.shape(data_train)), um (4,) zu bekommen. Ich denke, die Daten [0] sind der Trainingssatz, die Daten [1] sind der gültige Satz, die Daten [2] sind der Testsatz und die Daten [3] sind das Diktat. Wenn ich print(np.shape(data[0])) verwende, bekomme ich (3, 3983). Ich frage mich, warum ich 3 Zeilen drin bekomme? Was ist der Unterschied zwischen diesen drei Zeilen?

Und was ist der Unterschied zwischen Datei atis.fold0.pkl, atis.fold1.pkl, atis.fold2.pkl, atis.fold3.pkl, atis.fold4.pkl?

Answer 1

Jede der Gurken kann in Training, Validierung, Tests und ihr Wörterbuch unterteilt werden. Wenn Sie die Wörterbuch-Elemente zu sehen, enthalten sie die
words2idx
tables2idx
labels2idx

Jetzt for i in train_set: print len(i[0])

den folgenden Code testen Sie gleiche Länge Datei zurück. So Das erste Element ist die words.Second die tables2idx ist und die dritte ist Endergebnis Nutbelegung (labels2idx)

die dict verwenden pt Ide zu bemängeln, werden Sie die Bedeutung bekommen.