Laufendes Tensorflow-Modell Training aus Datenfluss

Question

Ich spiele mit Tensorflow herum und heute habe ich festgestellt, dass Google auch Open-Source-Python SDK für ihren Datenfluss. Derzeit, wenn ich mehrere Netzwerke parallel trainieren und auswerten muss, verwende ich normalerweise entweder luigi und führe ein Modelltraining nach dem anderen durch oder ich benutze spark und führe jedes Modelltraining im Kartenschritt durch. Ganze diese Datenverarbeitung ist nur ein Teil der Pipeline.

Ich frage mich, ob es gibt oder ob es etwas wie Durchführung Tensorflow Modell Trainingsschritt innerhalb der Dataflow-Pipeline geplant ist?

Gibt es derzeit einige Best Practices in diesem Bereich?

Oder muss ich jede Modelleinstellung innerhalb des Kartenschritts ausführen?

Ich ging durch die Dokumentation und für den Moment scheint es wirklich vage zu sein, also frage ich hier, ob jemand etwas Erfahrung damit hat.

Answer 1

Es ist derzeit nichts geplant.

Wenn Sie das Tensorflow-Training auf einer einzigen Maschine ausführen können (es klingt, als würden Sie mit Spark arbeiten), dann sollte es möglich sein, das Training innerhalb einer DoFn einer Dataflow-Pipeline zu machen.