Ich bin ein Anfänger in Deep Learning.Ich weiß in regelmäßigen neuronalen Netzen Menschen Batch-Norm vor der Aktivierung verwenden und es wird die Abhängigkeit von der guten Gewicht Initialisierung reduzieren. Ich frage mich, ob es das gleiche zu RNN/lstm RNN tun würde, wenn ich es benutze. Hat jemand Erfahrung damit? Vielen Dank.Ist es normal, Batch-Normalisierung in RNN/lstm RNN zu verwenden?
Nein, Sie können die Batch-Normalisierung in einem rekurrenten neuronalen Netzwerk nicht verwenden, da die Statistiken pro Batch berechnet werden. Dies berücksichtigt nicht den wiederkehrenden Teil des Netzwerks. Gewichte werden in einem RNN geteilt, und die Aktivierungsantwort für jede "wiederkehrende Schleife" kann vollständig unterschiedliche statistische Eigenschaften haben.
Andere Techniken ähnlich der Batch-Normalisierung, die diese Einschränkungen berücksichtigen, wurden entwickelt, zum Beispiel Layer Normalization.