Gibt es sowieso etwas wie MPI_BARRIER im Tensorflow zu tun?

Question

Wenn Sie verteiltes Async-Training durchführen, müssen alle Mitarbeiter darauf warten, die Modellparameter zu synchronisieren, z. B. nach Abschluss einer Epoche synchronisieren und den Aux on-Validierungssatz berechnen.

MPI_BARRIER ist gut genug bei der Verwendung von MPI, gibt es etwas Ähnliches im Tensorflow?

Answer 1

Sie könnten geteilte Zählervariablen verwenden, um eine Barriere zu implementieren. IE, nach 3.6.4 vom Little Book of Semaphores Sie so etwas wie diese

# N is number of workers 
def barrier(): 
    sess.run(counter_adder_ops[0]) 
    while sess.run(counter_vars[0]) % N != 0: 
     time.sleep(FLAGS.sleep_interval) 
    sess.run(counter_adder_ops[1]) 
    while sess.run(counter_vars[1]) % N != 0: 
     time.sleep(FLAGS.sleep_interval) 

während des Trainings

for i in range(FLAGS.iters): 
     barrier() 
     sess.run(sync_op) 
     barrier() 
     old_val, updated_val = sess.run([local_param_var, train_op]) 

Hier ist ein voll example tun könnte, die lokal durch synchronisierte Trainingsschleife läuft