Warum wird ReLU als Aktivierungseinheit im Convolutional Neural Network verwendet?

Question

Ich versuche CNN zu verwenden, um Bilder zu klassifizieren und so weit ich sehen kann, ist ReLu eine beliebte Wahl für die Aktivierungseinheit in jeder Faltungsschicht. Nach meinem Verständnis würde ReLU alle positiven Bildintensitäten beibehalten und die negativen in Nullen umwandeln. Für mich ist es wie Bearbeitungsschritt, nicht wirklich "feuern" Schritt überhaupt . Also was ist der Zweck der Verwendung von ReLU hier?

Answer 1

Zunächst führt es Nichtlinearität ein. Ohne sie wäre das ganze CNN nichts anderes als eine Folge von Matrixmultiplikationen und Max-Poolings (so dass Sie keine komplizierten Funktionen approximieren und lernen könnten). Aber ich stelle mir vor, Sie fragen, warum gerade ReLU populär ist. Ein Grund, der mir in den Sinn kommt, ist, dass andere Aktivierungsfunktionen wie tanh oder Sigmoids ein Gradientensättigungsproblem haben. Dies bedeutet, dass, sobald der Wert, den sie ausgegeben haben, nahe dem maximalen Wert ist, ihr Gradient insignifikant wird (schaue einfach auf ihren Graphen, , zum Beispiel auf wikipedia) und sie würden den Gradienten bei der Rückpropagation abtöten. ReLU hat dieses Problem nicht. Darüber hinaus bedeutet die Tatsache, dass ReLUs Nullen für negative Werte erzeugen, dass die von dem Netzwerk produzierten Zwischendarstellungen eher spärlicher sind.