Was ist der beste Weg, um negative/nicht numerische Daten für tanh Aktivierung neuronalen Netzen zu normalisieren

Question

Ich verwende Feed Forward, Gradientenabstieg, Backpropagation neuronalen Netzen wo versteckte/Ausgabe Neuronen tanh Aktivierungsfunktion verwenden und Eingabe Neuronen linear sind .

Was ist der beste Weg, Ihrer Meinung nach, für numerische Daten zu normalisieren, wenn:

1. Maximale Anzahl bekannt ist und zum Beispiel maximale positive Zahl würde negativ -1000 1000 und maximal sein.

2. Maximale Anzahl ist nicht bekannt.

Und wenn ich die maximale Anzahl für alle Eingänge halten sollte oder wäre es in Ordnung, wenn Netzwerk der Eingänge unterschiedliche Normalisierungs Art und Weise haben?

Danke!

Answer 1

Wenn max und min bekannt sind, ist die einfachste Normalisierung ist:

normalized = (val - min)/(max - min) 

Wenn max nicht bekannt ist, können Sie auf die Daten normalisieren basierend Sie zu tun haben, mit dem Wissen, dass tanh gute Eigenschaften hat für Werte, die eine Größenordnung von 1 überschreiten.

Sie sollten normalisieren verschiedene Eingaben basierend auf dem Bereich der Werte dieser Eingänge und Sie kann verschiedene Normalisierungsverfahren für verschiedene Eingaben verwenden.