Batch Padding und Shuffling für tf, train.SequenceBeispiel

Question

Ich habe einige Referenzen wie in https://github.com/tensorflow/tensorflow/issues/2354 und https://indico.io/blog/tensorflow-data-inputs-part1-placeholders-protobufs-queues/ zu sehen, um zu sehen, wie wir Padding und Shuffling innerhalb Batch durchführen können. Der erste Link ist näher an dem, was ich erwarte, tut aber Padding, das nicht innerhalb des Stapels mischt. Einzelne Chargen werden gemischt, nicht jedoch die Chargenelemente.

in der zweiten Link-Standard-Tensorflow-APIs werden wie tf.train.batch verwendet, die Padding tut aber nicht mischen und tf.train.suffle_batch, die Shuffling aber nicht Auffüllen tut.

gibt es einen anderen Ansatz sowohl Polsterung durchzuführen und mit dem Batch-schlurfenden

Answer 1

In Bezug auf dynamic_rnn, die Sie im Kommentar gefragt wurden, überprüfen Sie die Dokumentation hier: dynamic_rnn

Den Parameter Sie angeben müssen ist sequence_length=[], das standardmäßig None ist. Sie sollen einen Vektor mit so vielen Sequenzen wie bei jedem Aufruf an dynamic_rnn übergeben, wobei jedes Vektorelement eine Zahl ist, die die Anzahl der Schritte jeder Sequenz darstellt. Ich denke, letztlich sollte es alle gleich lang und mit Nullen auffüllen, aber der Punkt ist, den Zustand über die leeren Stufen zu aktualisieren.

Ich musste das nie selbst tun, aber habe verschiedene Beispiele gesehen, also solltest du vielleicht suchen. Ein Beispiel ist hier: Variable Length Sequences. Hoffe, das hilft ...