Leistung von RNN mit langen Sequenzen in Tensorflow

Question

Ich habe eine RNN, die eine Sequenzlänge von etwa 10.000 hat. Es dauerte sehr lange, um den Optimierer train_op = tf.train.GradientDescentOptimizer(0.008).minimize(cost) zu erstellen, und es dauerte sehr lange, um zu trainieren. Ich frage mich, wie ich den Berechnungsprozess beschleunigen kann.

Answer 1

Die neueste Version von TensorFlow (aktuelle nächtliche Version/kommende Version 0.8) enthält eine experimentelle Funktion namens tf.nn.dynamic_rnn(). Mit dieser Funktion können Sie eine RNN mithilfe einer Schleife im TensorFlow-Diagramm erstellen, wodurch die Anzahl der im Diagramm verwendeten Knoten (und damit die Größe des Diagramms, das für den Gradientenabstieg erstellt werden muss) drastisch reduziert wird.