Können wir einen Luftströmungsdag verwenden, um einen nie endenden Auftrag zu definieren (dh eine Aufgabe, die eine unbedingte Schleife zum Verbrauch von Stromdaten hat), indem Sie das Task/dag-Zeitlimit auf None setzen und dessen Ausführung manuell auslösen? Würde der Luftstrom-Monitor eine nie endende Aufgabe verursachen, ein Problem? DankeKann Luftstrom verwendet werden, um eine nie endende Aufgabe zu erfüllen?
Ein bisschen seltsam, dies durch Airflow zu laufen, aber ja, ich denke nicht, dass das ein Problem ist. Beachten Sie, dass Sie den Vorgang unterbrechen und ihn manuell erneut starten müssen, wenn Sie den Arbeiter, der den Auftrag ausführt, neu starten (vorausgesetzt, SellerieExecutor), wenn retries nicht festgelegt ist. Stellen Sie außerdem sicher, dass die DAG execution_timeout=None (Standardeinstellung) festlegt.
Sie können einen Sensor verwenden, der überwacht, ob "Daten vorhanden sind", und dann einen Dag auslöst, der etwas verarbeitet. Wolltest du das? lass es mich wissen, bitte.
Nicht wirklich. Vielen Dank für Ihre Antwort, aber der Anwendungsfall ist ein wahrer Verbrauch von Streaming-Logs. Die vorherige Antwort ist, was ich gesucht habe. – FZF