Was bedeutet "zyklischer Datenfluss" in Apache Spark?

Question

Spark ist eine DAG-Ausführungs-Engine. Sind nicht zyklische und DAG entgegengesetzte Konzepte? Es ist überraschend schwer, die Antwort auf diesen scheinbaren Widerspruch zu finden.

Wie Sie hier sehen können: Understanding your Apache Spark Application Through Visualization, ist es möglich, die Ausführung DAG mit dem Spark UI zu visualisieren. Keines der Beispiele auf dieser Seite zeigt jedoch einen zyklischen Datenfluss. In der folgenden Abbildung sehen Sie eines dieser Beispiele.

Spark execution DAG example

Können diese Iterationen (cyclic Datenflüsse) außerhalb der Graph? Ich habe in MAPR gelesen, dass "jeder Spark-Job eine DAG von Aufgabenstufen erstellt, die auf dem Cluster ausgeführt werden sollen". Dann tritt möglicherweise der zyklische Datenfluss zwischen DAGs (Jobs) auf.

Vielen Dank.

Answer 1

Ok, es scheint, dass es ein Tippfehler oder etwas in der Dokumentation war.

Apache Spark verfügt über eine erweiterte DAG-Ausführungs-Engine, die Rechen azyklische Datenfluss und im Speicher unterstützt: Ab heute können wir dies in der Spark homepage gefunden.