Welche Schichten sollten beim Training eines Neuronalen Netzwerks "Dropout" erfahren?

Question

Ich habe dieses Multilayer-Netzwerk mit ReLU versteckt Schichtaktivierungen und Sigmoid-Ausgang Schichtaktivierungen. Ich möchte implementieren Dropout (wo jedes Neuron eine Chance hat, nur Null während des Trainings ausgeben).

Ich dachte, ich könnte nur dieses Geräusch als Teil der ReLU Aktivierungsroutine während des Trainings einzuführen und damit fertig sein, aber ich war mir nicht sicher, ob, im Prinzip, Dropout erstreckt sich auf die sichtbare/output Schicht oder nicht.

---

(In meinem Kopf Dropout eliminiert Überanpassung, weil es effektiv das Netzwerk einen Durchschnitt von vielen kleineren Netzwerken macht. Ich bin nur nicht sicher über die Ausgabeschicht)

Answer 1

Ja, Sie sind richtig - Sie sollten Dropout nicht anwenden, um Schicht auszugeben. Intuitiv - die Einführung eines solchen Rauschens macht die Ausgabe Ihres Netzwerks sehr wahrscheinlich unabhängig von der Struktur Ihres Netzwerks. Egal, welche Art von Berechnungen in versteckten Layern durchgeführt wurden - mit einer gewissen Wahrscheinlichkeit könnte die Ausgabe unabhängig von ihnen sein. Dies ist genau der Philosophie einer Modellierung entgegengesetzt.