Ich habe in Keras mit Batch-Normalisierung gespielt. Ich habe mich gefragt, ob die Batch-Normalisierung auch die Eingaben in das neuronale Netzwerk normalisiert. Bedeutet das, dass ich meine Eingaben für mein Netzwerk nicht standardisieren muss und mich auf BN verlassen muss?Müssen Sie Eingaben standardisieren, wenn Sie die Stapelnormalisierung verwenden?
Während Sie es sicherlich dafür verwenden können, ist es nicht dafür ausgelegt und Sie werden aufgrund der begrenzten Stichprobengröße wahrscheinlich Stichprobenfehler in Ihre Normalisierung einführen (Stichprobenumfang ist Ihre Losgröße).
Ein weiterer Faktor, warum ich die Batch-Normalisierung nicht empfehlen würde, ist die Einführung der Korrekturbedingungen Gamma und Beta (trainierte Parameter), die Ihre Trainingsdaten verfälschen, wenn sie nicht deaktiviert sind.
Für die Normalisierung Ihrer Testdaten würde ich die Verwendung von Z-Score-Normalisierung auf dem kompletten Trainingssatz oder etwas angemessenem, aber nicht Batch-Normalisierung empfehlen.
Also, sagst du, dass, wenn ich alle Standardparameter in BatchNormalization (außer Impuls = 1 und Epsilon = 0) als erste Schicht verwenden, ist es im Wesentlichen gleich Z-Score-Normalisierung? –
Ja, aber mit einer kleineren Stichprobe, um den Mittelwert und die Varianz (d. H. Ihre Losgröße) zu schätzen. – nemo