Wie berechnet man Gradienten in der ResNet-Architektur?

Question

Ich nehme an, dass der Gradient bei jeder Schicht irgendwie 0,1 ist. Der Gradient eines Farb-/Stapelnetzwerkes, den eine Schicht berechnen kann, indem der Gradient als

berechnet wird. In dem ResNet wird der Gradient durch die Skip-Verbindung propagiert. Also, wie kann ich den Gradienten von x wie oben Abbildung erreichen? Ist es 0.1x0.1+0.1 oder 0.1?

Answer 1

Haben die Gradientenberechnung im obigen Diagramm hinzugefügt. Der Gradient delta_x ist die Summe des eingehenden Gradienten delta_y und des Produkts der Gradienten delta_y und delta_F.

In Ihrem Beispiel sollte es also 0,1x0,1x0,1 + 0,1 sein.

Aber beachten Sie, dass die bei der tatsächlichen Berechnung der delta_F, die delta_y von weight_1 multipliziert wird und bekommt passed/blocked je nachdem, ob ReLu aktiv ist, und dann durch die weights_2 multipliziert wird.