Jetzt habe ich eine Anforderung, die jemand Operationen in den letzten 3 Monaten aggregieren. Dann setzen Sie das Ergebnis in das ML-Modell, um eine Anomalie zu erhalten.Wie mit super Größe Fenster in FLINK umgehen?
Berücksichtigt man den enormen Fluss des Systems, ist es ein sehr großes Fenster.
Wie kann ich mit diesem Szenario umgehen?
Sie können die Stapelverarbeitung für Flink verwenden, da Sie über ein Dataset verfügen. Allerdings ist flink eine echte Streaming-Engine, was bedeutet, dass Batch als Sonderfall für das Streaming angesehen wird. Eine weitere Option ist die Verwendung von Hadoop für diese Art der Stapelverarbeitung.
Ich beantworte Ihre Frage basierend auf der Annahme, dass die Daten in einer Streaming-Mode kommen und Sie müssen ein Fenster oben auf diesem Stream erstellen, weil dieses Detail nicht klar aus Ihrer Frage verfügbar ist.
Mit dem gesagt, Sie können ein Fenster von solch großer Größe mit einem RocksDB-Status-Backend erstellen, da das Fenster nicht im Speicher gespeichert würde und Ihre Fenstergrößenbeschränkung nur von der Festplattengröße Ihrer Hardware abhängen würde.