Ist Layer-Normierung immer besser als Batch-Normalisierung für Deep Learning

Question

Die kürzlich entwickelte Layer Normalization-Methode adressiert das gleiche Problem wie Batch Normalization, aber mit weniger Rechenaufwand und keine Abhängigkeit von der Charge, so dass es konsequent während des Trainings und Tests angewendet werden kann.

Meine Frage ist, ist Schichtnormalisierung immer besser als Batchnormalisierung, oder gibt es noch einige Fälle, in denen Batch-Normalisierung vorteilhaft sein kann?

Answer 1

Im Papier der Schichtnormalisierung heißt es, dass die Stapelnormalisierung besser für konvolutionelle neuronale Netze funktioniert. Daher hängt es vom Anwendungstyp ab. Es gibt einen Grund dafür: Wenn jedes Neuron ähnliche Beiträge liefert, dann funktioniert das Verschieben und Skalieren gut, aber in Convnets ist dies nicht der Fall, da die Aktivitäten von Neuronen an den Grenzen eines Bildes sehr unterschiedlich sind. Versuchen Sie also, es nur auf vollständig verbundene Layer und RNNs anzuwenden. Obwohl, zumindest für die erstgenannte, könnte BN je nach Chargengröße und Problemart auch besser als LN arbeiten.