Apache Ignite CEP Implementierung mit großen Datensätzen

Question

Wir haben eine CEP-Engine benötigen, die große Datenmengen überfahren kann, damit ich einen Blick über Alternativen wie FLink hatte, Ignite usw.

Wenn ich auf Ignite war, sah ich, dass Ignite anfragende api ist nicht geeignet genug, um große Daten zu verarbeiten. Der Grund ist: so viele Daten können nicht im Cache gespeichert werden (zu wenig Speicher: 2 TB). Ich habe mir Durchschreibe und Durchlesen angeschaut, aber die Datennutzlast (nicht der Schlüssel) kann nicht mit Prädikaten (für zB SQLPredicate) abgefragt werden.

Meine Frage ist: Vermisse ich etwas oder ist es wirklich so?

Thx

Answer 1

Ignite ist ein In-Memory-System von Entwurf. Cache-Speicher (Read-Through/Write-Through) ermöglicht das Speichern von Daten auf der Festplatte, aber Abfragen funktionieren nur über In-Memory-Daten.

, dass viele Daten nicht in dem Cache gespeichert werden (nicht genügend Speichergröße: 2 TB benötigt wird)

Warum nicht? Ignite ist ein verteiltes System, es ist möglich, einen Cluster mit mehr als 2 TB kombiniertem RAM zu erstellen.