Erfrischende Dags ohne Webserver Neustart von Apache Luftstrom

Question

Gibt es eine Möglichkeit, die Jobs zu rebooten, ohne den Server neu starten zu müssen?

Answer 1

Dags sollten neu geladen werden, wenn Sie die zugehörige Python-Datei aktualisieren.

Wenn nicht, versuchen Sie zunächst manuell in UI zu aktualisieren, indem Sie auf die Schaltfläche klicken, die wie ein Recycling-Symbol aussieht:

Wenn das nicht funktioniert, löschen Sie alle Dateien .pyc im dags-Ordner.

Normalerweise, wenn ich die Python-Datei speichern, wird die dag in wenigen Augenblicken aktualisiert.

Answer 2

In Ihrem airflow.cfg, haben Sie diese beiden Konfigurationen dieses Verhalten zu steuern:

# after how much time a new DAGs should be picked up from the filesystem 
min_file_process_interval = 0 
dag_dir_list_interval = 60 

Sie können den Web-Server, Scheduler und Arbeiter für die neue Konfiguration wirksam werden müssen, um neu zu laden.