Verwendet Tensorflow automatisch Cuda-Streams zur gleichzeitigen Ausführung des Berechnungsgraphen auf einer einzelnen GPU oder sollten Streams manuell Ops/Tensoren zugewiesen werden?Wie unterstützt Tensorflow Cuda Streams?
Derzeit verwendet TensorFlow nur einen Datenstrom und mehrere Kopienströme. Einige Kernel können mehrere Streams für die Berechnung verwenden, während sie eine Single-Stream-Semantik beibehalten.
Unser Experiment zeigte, dass das automatische Aktivieren von Multi-Stream nicht viel Performance bringt, da die meisten unserer Kernel groß genug sind, um alle Prozessoren in der GPU zu nutzen. Die Aktivierung von Multi-Stream würde jedoch unser aktuelles Design deaktivieren, um GPU-Speicher aggressiv zu recyceln.
Dies ist eine Entscheidung, die wir in Zukunft vielleicht noch einmal besprechen werden. Wenn dies geschieht, ist es wahrscheinlich, dass TensorFlow automatisch Ops/Kernel verschiedenen Cuda-Streams zuweist, ohne sie den Benutzern zu zeigen.