Ich werte Flink speziell für die Streaming-Fenster-Unterstützung für mögliche Alert-Generierung aus. Meine Sorge ist der Speicherverbrauch, also wenn jemand mit diesem helfen könnte, würde es geschätzt werden.Flink Stream Fenster Speicherverbrauch
Zum Beispiel wird diese Anwendung möglicherweise eine erhebliche Menge an Daten aus dem Stream in einem gegebenen Tumbling-Fenster von etwa 5 Minuten verbrauchen. Hätten wir zum Zeitpunkt der Auswertung, wenn es zum Beispiel eine Million Dokumente gab, die den Kriterien entsprachen, alle in den Speicher geladen?
würde der allgemeine Fluss sein:
producer -> kafka -> flinkkafkaconsumer -> table.window(Tumble.over("5.minutes").select("...").where("...").writeToSink(someKafkaSink)
Außerdem, wenn es eine klare Dokumentation ist, die wie mit Speicher beschreibt in diesen Fällen behandelt wird, die ich übersehen hat, dass jemand, dass würde sein könnte hilfreich.
Dank
Danke, der von Ihnen zur Verfügung gestellte Backend-Link scheint der zu sein, nach dem ich suche. – Sam