Gibt es eine maximale Anzahl von Streams in CUDA?

Question

Gibt es eine maximale Anzahl von Streams, die in CUDA erstellt werden können?

Zur Klarstellung meine ich CUDA-Streams wie im Stream, mit dem Sie Kernel und Speicheroperationen ausführen können.

Answer 1

Ich habe in keiner Dokumentation ein Limit gesehen, aber das bedeutet nicht, dass alle Streams gleichzeitig ausgeführt werden, da dies ein Hard-Hardware-Limit ist (Multiprozessoren, Register usw.).

Answer 2

Gemäß dieser NVIDIA-Präsentation sind max 16 Streams (auf Fermi).

Um zu verdeutlichen, habe ich erfolgreich mehr als 16 Streams erstellt, aber ich denke, die Hardware kann nur 16 gleichzeitige Kernel unterstützen, so dass die überschüssigen in Bezug auf Nebenläufigkeit verschwendet werden.

Kepler ist wahrscheinlich anders.

Answer 3

Es gibt keine realistische Grenze für die Anzahl der Streams, die Sie erstellen können (mindestens 1000). Es gibt jedoch eine Begrenzung für die Anzahl der Streams, die Sie effektiv verwenden können, um Parallelität zu erzielen.

In Fermi unterstützt die Architektur gleichzeitige 16-Wege-Kernel-Starts, es gibt jedoch nur eine einzige Verbindung vom Host zur GPU. Selbst wenn Sie also 16 CUDA-Streams haben, werden diese schließlich in eine HW-Warteschlange geleitet. Dies kann falsche Datenabhängigkeiten erzeugen und die Menge an Gleichzeitigkeit begrenzen, die man leicht erhalten kann.

Mit Kepler beträgt die Anzahl der Verbindungen zwischen dem Host und der GPU jetzt 32 (statt einer mit Fermi). Mit der neuen Hyper-Q-Technologie ist es jetzt viel einfacher, die GPU mit gleichzeitiger Arbeit zu beschäftigen.