Tensorflow hängt vor der Initialisierung globaler Variablen in Joblib

Question

Ich habe eine Multi-Layer-CNN in CPU tensorflow.

Ich verwende die Parallel und Funktionen in joblib, um mehrere Instanzen meines CNN zu lernen, trainiert auf dem gleichen Satz von Daten.

Wenn ich versuche, dies auszuführen, wird das Programm hängen nach einem joblib Arbeiter seine tf.Session() startet, aber bevor tensorflow Variablen initialisiert werden, und bevor ich eine Ausgabe erhalten aus dem verbose Argument der Parallel Funktion.

Ich weiß nicht wirklich, warum das passieren würde. Also suche ich nach allgemeinen Debugging-Strategien von anderen Leuten, die tensorflow und joblib kombiniert haben könnten.

Answer 1

konnte ich das Programm erhalten, indem die backend Möglichkeit Parallel-"threading" zu arbeiten. Anscheinend hat die Option "multiprocessing" beim Austausch von Eingabe- und Ausgabedaten zu viel Kommunikations- und Speicheraufwand erzeugt.