ReLu und Dropout in CNN

Question

Ich studiere Convolutional Neural Networks. Ich bin verwirrt über einige Schichten in CNN.

In Bezug auf ReLu ... Ich weiß nur, dass es die Summe einer unendlichen logistischen Funktion ist, aber ReLu keine Verbindung zu irgendwelchen oberen Schichten. Warum brauchen wir ReLu und wie funktioniert es?

In Bezug auf Dropout ... Wie funktioniert Dropout? Ich habe ein Video von G. Hinton gehört. Er sagte, dass es eine Strategie gibt, die beim Training der Gewichte zufällig die Hälfte der Knoten ignoriert und das Gewicht bei der Vorhersage halbiert. Er sagt, es sei von zufälligen Wäldern inspiriert und arbeite genauso wie das geometrische Mittel dieser zufällig trainierten Modelle.

Ist diese Strategie die gleiche wie Dropout?

Kann mir jemand helfen, das zu lösen?

Answer 1

relu: Die Gleichrichterfunktion ist eine Aktivierungsfunktion f (x) = Max (0, x), die wie jede andere Aktivierungsfunktion von Neuronen verwendet werden kann, ist ein Knoten, der den Gleichrichter-Aktivierungsfunktion ist ein ReLu-Knoten genannt. Der Hauptgrund, warum es verwendet wird, ist, wie effizient es im Vergleich zu konventionelleren Aktivierungsfunktionen wie dem Sigmoid- und Hyperbeltangens berechnet werden kann, ohne einen signifikanten Unterschied in der Generalisierungsgenauigkeit zu machen. Die Gleichrichteraktivierungsfunktion wird anstelle einer linearen Aktivierungsfunktion verwendet, um dem Netzwerk eine Nichtlinearität hinzuzufügen, andernfalls würde das Netzwerk nur in der Lage sein, eine lineare Funktion zu berechnen.

Dropout: Ja, die beschriebene Technik ist die gleiche wie Dropout. Der Grund, dass das zufällige Ignorieren von Knoten nützlich ist, liegt darin, dass es verhindert, dass Abhängigkeiten zwischen Knoten auftreten (z. B. Knoten lernen keine Funktionen, die auf Eingabewerte von einem anderen Knoten angewiesen sind), dies ermöglicht dem Netzwerk, eine robustere Beziehung zu lernen. Der Ausfall von Implementierungen wirkt sich in etwa genauso aus wie der Durchschnitt eines Netzwerk-Komitees, allerdings sind die Kosten sowohl in Bezug auf die Zeit als auch auf die Speicherkapazität erheblich geringer.