Apache Beam In-Memory-Speicher

Question

Mein Anwendungsfall ist eine unbeschränkte Streaming-Pipeline, die Daten in festen stündlichen Fenstern verarbeitet. Ich muss jedoch die Daten aus den vorherigen Fenstern wissen. Gibt es eine Möglichkeit, die Daten in einer ArrayList irgendwo im Speicher zu speichern, oder muss ich sie irgendwo in eine db schreiben?

Ich versuche, Schiebefenster zu vermeiden, weil nur ein Teil der Verarbeitung diese Daten aus dem vorherigen Fenster benötigt, und ich wollte Überschneidungen so weit wie möglich vermeiden.

Answer 1

Versuchen Sie Stateful DoFn's zu verwenden. Beachten Sie jedoch, dass der Status selbst pro Schlüssel pro Fenster ist. Siehe https://beam.apache.org/blog/2017/02/13/stateful-processing.html und https://beam.apache.org/blog/2017/08/28/timely-processing.html.

Beachten Sie, dass in Beam-Fenstern in "Event-Zeit" (anstatt "Verarbeitungszeit") - wenn also Daten in der Reihenfolge ankommen können (was in der Praxis fast immer der Fall ist), der Begriff "vorheriges Fenster" Dies ist nicht länger sinnvoll, da Daten für ein früheres Fenster möglicherweise nach Daten für ein späteres Fenster eintreffen. Und Daten für einige Fenster können einfach nie ankommen. Sie müssen wahrscheinlich Ihren Algorithmus neu formulieren, wenn Sie dies berücksichtigen. Es wird hilfreich sein, wenn Sie Ihren Anwendungsfall detaillierter beschreiben.