Apache Beam: Kann Schritt B von Schritt A abhängen, ohne die Ausgaben von A in B zu übergeben?

Question

Gibt es eine Möglichkeit, PTransform B von PTransform A abhängig zu machen, wenn A keine Ausgänge erzeugt? Oder muss ich A eine Dummy-Ausgabe produzieren lassen, die als Seiteneingabe in B eingegeben wird? Ein Beispiel Anwendungsfall ist, wo ich die folgende Pipeline haben will:

Z = read file 
A = count lines in file, and throw error if there are no lines 
B = do something with the file 

Ich will B nur starten, nachdem A beendet ist, aber A erzeugt keine Ausgabe PCollection nützlich B.

Answer 1

Es ist möglich, aber in Ihrem Fall möglicherweise nicht wirklich wünschenswert. Das Hinzufügen einer Abhängigkeit wie dieser wird die parallele Ausführung des Programms verlangsamen, da B warten muss, bis A abgeschlossen ist, bevor es starten kann.

Wenn Sie dies wirklich tun möchten, sollte die Art und Weise, wie Sie beschrieben haben - die Ausgabe eines Elements und die Verwendung als Seiteneingabe in B funktionieren. Betrachten Sie stattdessen die folgenden, die Sie die primitive Count Transformation zu implementieren A verwenden können, und bewegt die gesamte Logik in einem Ort:

Z = read file 
A = count lines in file 
B = side input from A, throw error if the count of lines was zero,  
    otherwise do something with the file