compute aggregations auf Ereignisdaten empfangen mit Spring Cloud Stream Kafka

Question

Ich habe gerade angefangen mit Spring Cloud Stream Kafka.

Ich habe eine einfache Producer und Consumer-Anwendung und das funktioniert gut mit Spring Cloud Stream Kafka.

Ich habe jetzt eine Anforderung, Aggregationen (SUM, AVG) zu den Ereignisdaten zu berechnen, die über das Thema empfangen und in Kafka beibehalten wurden.

Die berechneten Aggregationen würden dann über die Request-Response-Schicht in der Benutzeroberfläche bereitgestellt.

Ich möchte wissen, ob es eine Unterstützung für Aggregationen in Spring Cloud Stream und/oder Kafka gibt.

Ich überlege auch, die Daten von Kafka in den Mongo Store zu verschieben und dann eine Aggregationsabfrage zu machen (OR) die Aggregationen zu berechnen und sie nur anstelle der Rohdaten zu Mongo Data Store zu speichern.

Wenn jemand an einem ähnlichen Szenario gearbeitet hat, können Sie mir bitte Ihre Gedanken darüber, wie ich fortfahren kann.

Answer 1

Sie können reactive Spring Cloud Stream-Anwendung verwenden, die diese Aggregation Windowing-Operatoren von Anfang an bietet. Here ist ein Beispiel für eine solche Anwendung.