Google Cloud Dataflow - Apache Beam - Pipeline-Shutdown Hook

Question

Fragen, ob es eine Art "Haken" gibt, um ein Stück Code zu platzieren, der ausgeführt würde, wenn Apache Beam-Pipeline heruntergefahren wird (aus welchem ​​Grund auch immer - Absturz, Abbrechen)

Ich muss ein Abonnement auf Pubsub Thema jedes Mal löschen, wenn Dataflow gestoppt ist.

Answer 1

Apache Beam ist nicht natürlich für diese Art von Strömung geeignet. Hierzu sollten Sie sich eine Orchestrierungs-Engine wie beispielsweise Apache Airflow ansehen.

Mit Airflow sollten Sie in der Lage sein, jede Art von Skript zu planen, das ausgeführt wird, nachdem eine Beam-Pipeline beendet wurde/fehlschlägt/abgebrochen wird, usw. Schauen Sie sie sich an!