Mini-Batch-Gradient anständige Implementierung in Tensorflow

Question

Wenn ich eine Tensorflow-Implementierung für ein Deep Learning-Modell lese, versuche ich das folgende Codesegment zu verstehen, das im Trainingsprozess enthalten ist.

self.net.gradients_node = tf.gradients(loss, self.variables) 
for epoch in range(epochs): 
      total_loss = 0 
      for step in range((epoch*training_iters), ((epoch+1)*training_iters)): 
       batch_x, batch_y = data_provider(self.batch_size) 

       # Run optimization op (backprop) 
       _, loss, lr, gradients = sess.run((self.optimizer, self.net.cost, self.learning_rate_node, self.net.gradients_node), 
                feed_dict={self.net.x: batch_x, 
                  self.net.y: util.crop_to_shape(batch_y, pred_shape), 
                  self.net.keep_prob: dropout}) 

       if avg_gradients is None: 
        avg_gradients = [np.zeros_like(gradient) for gradient in gradients] 
       for i in range(len(gradients)): 
        avg_gradients[i] = (avg_gradients[i] * (1.0 - (1.0/(step+1)))) + (gradients[i]/(step+1)) 

       norm_gradients = [np.linalg.norm(gradient) for gradient in avg_gradients] 
       self.norm_gradients_node.assign(norm_gradients).eval() 



       total_loss += loss 

Ich denke, es zu Mini-Batch-Gradientenverfahren verwendet ist, aber ich kann nicht verstehen, wie es funktioniert, oder ich habe einige Schwierigkeiten gezeigt, den Algorithmus zu verbinden, wie folge

Answer 1

Dies bezieht sich nicht auf Mini-Charge SGD.

Es berechnet durchschnittliche Steigung über alle Zeitschritte. Nachdem der erste Zeitschritt avg_gradients den gerade berechneten Gradienten enthält, wird er nach dem zweiten Schritt elementweise gemittelt aus den zwei Gradienten aus den zwei Schritten, nach n Schritten wird er elementweise gemittelt aus allen n Gradienten, die bisher berechnet wurden. Diese mittleren Gradienten werden dann normalisiert (so dass ihre Norm Eins ist). Es ist schwer zu sagen, warum diese durchschnittlichen Gradienten ohne den Kontext, in dem sie präsentiert wurden, benötigt werden.