Eine Aufgabe auf einmal aus einem Stream starten

Question

Ich verwende die Dateiquellenstromkomponente, um Dateien aus einem Verzeichnis zu lesen und eine Dateiinstanz an einen benutzerdefinierten Prozessor zu senden, der die Datei liest und eine bestimmte Task mithilfe einer TaskLauncher-Senke startet. Wenn ich 5 Dateien im Verzeichnis lösche, werden 5 Aufgaben gleichzeitig gestartet. Was ich versuche zu erreichen, ist, dass jede Aufgabe nacheinander ausgeführt wird, also muss ich den Status der Aufgaben überwachen, um sicherzustellen, dass die vorherige Aufgabe abgeschlossen wurde, bevor eine andere Aufgabe gestartet wird. Was sind meine Möglichkeiten, dies zu implementieren? Als Randnotiz führe ich dies auf einem Yarn-Cluster.

Danke,

-Frank

Answer 1

denke ich asynchrone Aufgabe Starten durch das GARN TaskLauncher könnte der Grund sein, um es wie alle Aufgaben aussehen werden zur gleichen Zeit gestartet. Ein möglicher Ansatz, den Sie versuchen können, ist ein custom Taskstartprogramm sink, dass launches die Aufgabe und waits für den Task-Status completed sein, bevor es beginnt, die nächste Triggeranforderung zu verarbeiten.