Wie werden Trainingsdaten "Chargen" an Mitarbeiter in Tensorflow verteilt?

Question

Ich verwende Distributed Tensorflow mit dem CIFAR10-Beispiel mit bis zu 128 Arbeitern und 1 Parameter-Server.

Ich frage mich, ob die FLAGS.batch_size die Größe jedes an JEDEN Arbeiter gesendeten Stapels bestimmt, oder ob diese FLAGS.batch_size die Größe jedes an ALLE Arbeiter gesendeten Stapels bestimmt?

Dieser Unterschied hat Auswirkungen auf die Leistung, da das Aufteilen eines Stapels auf zu viele Worker zu viel Kommunikation und zu wenig Berechnung führen kann.

Answer 1

Die Stapelgröße im Beispiel mit verteiltem CIFAR10 bezieht sich auf die Stapelgröße pro GPU.

(Aber es ist eine gute Frage zu stellen - einige der synchronen Modelle beziehen sich darauf als die Aggregatchargengröße!)