Aufgabenübereinstimmung zwischen abhängigen Dags im Luftstrom

Question

Wir haben viele DAGs geplant, die täglich unter Verwendung von Airflow ausgeführt werden. Abhängigkeiten wurde mit ExternalTaskSensor, TriggerDagRunOperator und benutzerdefinierte Betreiber aktiviert

Sample:

Aufgabe 1 in DAG A auf Aufgabe abhängig sind, 2 in DAG B
Aufgabe 3 in DAG A auf Aufgabe abhängig sind 4 in DAG C
Aufgabe 5 in DAG A ist abhängig von Aufgabe 6 in DAG D
...

Aufgabe 2 in DAG B sind abhängig von Aufgabe 7 in DAG E
Aufgabe 4 in DAG B ist abhängig von Aufgabe 8 in DAG F .. .

Beim Überprüfen der Details der Task-Instanz in der Benutzeroberfläche werden nur die Tags downstream_task_ids und upstream_task_ids angezeigt, die zum selben Tag gehören.

Wie können wir die vollständige Herkunft einer einzelnen Aufgabe über mehrere DAGs hinweg auf der letzten verfügbaren Ebene sehen?

Answer 1

Airflow verfügt derzeit (v 1.8.1) nicht über einen Mechanismus zum Anzeigen von cross-dag-Abhängigkeiten.

Wenn Sie zu diesem Zeitpunkt eine Visualisierung der Beziehungen zwischen den Aufgaben benötigen, müssen sie sich in demselben Tag befinden. Möglicherweise zeigt eine Ansicht in einem benutzerdefinierten Plug-In diese Abhängigkeiten an, aber die Bestands-UI tut dies nicht.