TensorFlow: Wie benutzt man CudnnLSTM mit variabler Eingangslänge (wie dynamic_rnn)?

Question

Ich möchte mein LSTM-Netzwerk beschleunigen, aber da ich es für eine OCR verwende (wo Sequenzen variable Länge haben), kann ich keine einfache LSTM-Implementierung verwenden. Deshalb verwende ich "tf.nn.dynamic_rnn".

Basierend auf dem Benchmark von RNN in Tensorflow (https://github.com/tensorflow/tensorflow/blob/754048a0453a04a761e112ae5d99c149eb9910dd/tensorflow/contrib/cudnn_rnn/python/kernel_tests/cudnn_rnn_ops_benchmark.py#L77) wird die CUDNN-Implementierung für die Erstellung aller Modelle auf einmal verwendet (es verwendet nicht die Struktur "tf.nn.rnn" wie andere). Ich nehme an, dass es vielleicht unmöglich ist, CUDNN mit variabler Länge zu verwenden, aber vielleicht jemand Erfolg?

Zweitens ist dies "tf.nn.bidirektional_dynamic_rnn", wie ich Bi-LSTM für OCR verwenden möchte. Dies sollte jedoch nach der Implementierung des ersten Teils gelöst werden.

Edit: Es sieht aus wie "tf.contrib.cudnn_rnn.CudnnLSTM" haben "bidirektionale" Implementierung im Inneren. Das einzige Unbekannte ist, dass CUDNN mit variabler Eingabesequenz verwendet werden kann.

Oder vielleicht irgendein Arbeitsbeispiel, das "CudnnLSTM" verwendet, wäre hilfreich.

Answer 1

gefunden Nur soviel:

tf.contrib.cudnn_rnn.CudnnLSTM unterstützt derzeit keine Chargen mit Sequenzen von unterschiedlicher Länge, so dass dies in der Regel nicht eine Option zu verwenden.

Quelle: http://returnn.readthedocs.io/en/latest/tf_lstm_benchmark.html