Aktivierungsfunktion - Neuronales Netzwerk

Question

Ich arbeite in meiner Freizeit mit neuronalen Netzen. Ich habe bereits eine einfache XOR-Operation mit einem neuronalen Netzwerk entwickelt. Aber ich weiß nicht, wann ich die richtige activationsfunction verwenden sollte.

Gibt es einen Trick oder ist es nur mathematische Logik?

Answer 1

Es gibt viele Optionen für Aktivierungsfunktionen wie Identität, Logistik, Tanh, Relu usw. Die Wahl der Aktivierungsfunktion kann auf der Gradientenberechnung (Backpropagation) basieren. Z.B. Die logistische Funktion ist immer differenzierbar, aber sie sättigt sich, wenn die Eingabe einen großen Wert hat, und verlangsamt daher die Geschwindigkeit der Optimierung. In diesem Fall wird Relu über Logistik bevorzugt. Oben ist nur ein einfaches Beispiel für die Auswahl der Aktivierungsfunktion. Es hängt wirklich von der tatsächlichen Situation ab. Außerdem denke ich nicht, dass die Aktivierungsfunktionen, die im neuronalen XOR-Netzwerk verwendet werden, in komplexeren Anwendungen repräsentativ sind.

Answer 2

Sie können Sie Problem mit einem sigmoiden Neuronen in diesem Fall lösen die Aktivierungsfunktion ist:

https://chart.googleapis.com/chart?cht=tx&chl=%5Csigma%20%5Cleft%20(%20z%20%5Cright%20)%20%3D%20%5Cfrac%7B1%7D%7B1%2Be%5E%7B-z%7D%7D

Wo:

https://chart.googleapis.com/chart?cht=tx&chl=z%20%3D%20%5Csum_%7Bj%7D%20(w_%7Bj%7Dx_%7Bj%7D%2Bb)

In dieser Formel w gibt es die Gewichte für jeder Eingang, b ist der Bias und x gibt es die Eingänge, schließlich können Sie Rückpropagation für die Berechnung der Kostenfunktion verwenden.