Tensorflow und läuft verteilt Training mit Drehmoment

Question

ich habe auf verteilte Ausbildung eines neuronalen Netzes im Einklang mit der tensorflow Führung geschrieben: https://www.tensorflow.org/deploy/distributed

Wenn der Cluster Ich mag würde die Ausbildung laufen auf Drehmoment für Job-Scheduling und Verteilung verwendet, Wie passt das zu Tensorflow und wie verteilt es das Training über den Cluster?

Setzen Sie das Training auf einen Knoten in Drehmoment und lassen Tensorflow es von dort verteilen, oder würde dies mit der Funktionsweise von Drehmoment kollidieren. Ist Drehmoment überhaupt notwendig, wenn Tensorflow Verteilungen bewältigen kann? Wie vermeide ich Zusammenstöße zwischen den beiden?

Vielen Dank im Voraus.

Answer 1

Drehmoment und verteilter Tensorfluss sind für verschiedene Aufgaben verantwortlich, die nicht direkt miteinander in Beziehung stehen. Torque dient dazu, die Ressourcen eines Clusters auf mehrere Jobs zu verteilen. Innerhalb eines Jobs werden nur die entsprechenden angeforderten Ressourcen verfügbar sein. Distributed Tensorflow ist dort, um die Tensorflow-Aufgabe zwischen den verfügbaren Ressourcen (innerhalb eines Jobs) zu parallelisieren.

Normalerweise würden Sie das Drehmoment verwenden, um alle benötigten Ressourcen für die Tensorflow-Task zu erhalten, und dann den verteilten Tensorflow verwenden, um die Task auf die Ressourcen zu verteilen, die durch das Drehmoment bereitgestellt wurden.

Wenn tf.train.ClusterSpec korrekt mit den vom Drehmoment bereitgestellten Ressourcen initialisiert wird, treten keine Konflikte auf.