Was bedeutet globaler Schritt?

Question

ich kürzlich die Cloud ML Criteo tutorial, und einer der letzten Log-Meldungen aus dem verteilten Schulungsauftrag auf dem „kleinen“ Daten-Set (~ 40M Beispiele) war:

Saving dict for global step 7520: accuracy = 0.78864, ...

Was „global Schritt“ bezieht sich auf Hier? Ursprünglich dachte ich, es war:

global step = (number of training examples * number of epochs)/batch size

jedoch der Trainingssatz Größe 40,8 Mio., ist die Losgröße 30K, und die Anzahl der Epochen ist 5, so dass diese auf die richtige Antwort nicht führen:

(40.8M x 5)/30K = 6800

Answer 1

Ich glaube, ich verstehe das jetzt. Obwohl die Größe des Trainingssatzes 40,8 Millionen beträgt, gibt es im Code einen line, der besagt, dass es 45M Beispiele sind (ich weiß nicht warum). Und

(45M x 5)/30K = 7500

, die im Grunde die Log-Nachricht übereinstimmt.