Dropout für wiederkehrende LSTM-Gewichte im Tensorfluss

Question

Tensorflow DropoutWrapper ermöglicht es, Dropout auf die Eingänge, Ausgänge oder Zustände der Zelle anzuwenden. Ich habe jedoch keine Option gesehen, dasselbe für die wiederkehrenden Gewichte der Zelle zu tun (4 der 8 verschiedenen Matrizen, die in der ursprünglichen LSTM-Formulierung verwendet wurden). Ich wollte nur überprüfen, ob dies der Fall ist, bevor ich einen eigenen Wrapper implementiere, was meiner Meinung nach ganz einfach wäre.

Answer 1

Es ist, weil Original LSTM Modell Dropout gilt nur auf den Eingangs- und Ausgangsschichten (nur für die nicht-wiederkehrenden Schichten.) Das Papier als „Lehrbuch“ in Betracht gezogen wird, dass die LSTM mit Dropout beschreibt: https://arxiv.org/pdf/1409.2329.pdf

Kürzlich Einige Leute versuchten, Dropout auch in wiederkehrenden Schichten anzuwenden. Wenn Sie sich die Implementierung und die dahinter stehende Mathematik ansehen möchten, suchen Sie nach "Theoretisch geerdete Anwendung von Dropout in rekurrenten neuronalen Netzwerken" von Yarin Gal. Ich bin mir nicht sicher, ob Tensorflow oder Keras diesen Ansatz bereits implementiert haben.