Summe oder Durchschnitt der Subgradienten ?, Mini-Batch SGD Keras

Question

Ich habe viel gesucht für, wie die Gradienten für eine Mini-Charge in Keras bei der Verwendung der Multilayer Perceptron berechnet werden, aber nicht scheinen, die Antwort zu finden. Ich frage mich, ob der Durchschnitt der Gradienten für jeden Mini-Batch verwendet wird, um die Gewichte und Verzerrungen zu aktualisieren, oder ob es die Summe der Gradienten ist?

Ich würde mich freuen, wenn jemand helfen könnte, wenn sie die Antwort wissen und wenn möglich, sagen Sie mir, wo ich diese Informationen finden kann.

Answer 1

Ich denke, es ist sinnvoll, entweder Durchschnitt der Verlust oder Summe des Verlustes zu sagen, aber nicht Durchschnitt/Summe der Gradienten. Und ich denke, es ist immer sicher, Durchschnitt der Verluste zu verwenden, um die Gradienten zu berechnen.