Skalierung der Eingangsdaten in das neuronale Netz

Question

Müssen wir die Eingangsdaten für das neuronale Netz skalieren? Wie beeinflusst es die endgültige Lösung des neuronalen Netzwerks?

Ich habe versucht, einige zuverlässige Quellen dazu zu finden. Das Buch "Elemente des statistischen Lernens" (Seite 400) sagt, dass es helfen wird, anfänglich vernünftige Anfangsgewichte zu wählen.

Sind die endgültigen Gewichte nicht deterministisch, unabhängig von den anfänglichen zufälligen Gewichten, die wir verwenden?

Vielen Dank.

Answer 1

Erstens gibt es viele Arten von KNNs, ich nehme an, Sie sprechen über die einfachste - mehrschichtige Perceptron mit Backpropagation.

Zweitens, in Ihrer Frage mischen Sie Daten Skalierung (Normalisierung) und Gewicht Initialisierung.

Sie müssen Gewichte zufällig initialisieren, um Symmetrie während des Lernens zu vermeiden (wenn alle Gewichtungen anfänglich gleich sind, wird ihr Update auch dasselbe sein). Im Allgemeinen sind konkrete Werte nicht wichtig, aber zu große Werte können eine langsamere Konvergenz verursachen.

Sie sind nicht erforderlich Ihre Daten zu normalisieren, aber Normalisierung kann Lernprozess schneller machen. Weitere Details finden Sie unter this question.