Basisdaten aktualisieren, wenn Spark-Streaming

Question

Foy mein Szenario, die Daten werden von Kafka in Echtzeit mit Funken-Streaming gelesen. Basierend auf den Daten A von einem rdbms (MySQL, usw.), welche die akkumulierten T + 1 Daten sind, wird die Berechnung durchgeführt, beispielsweise Ergebnis = A + a. Die nächste der gesammelten Daten ist B, die Berechnung wird Ergebnis = B + a

Meine Frage ist, wie kann ich die Daten basierend auf den T + 1 Daten von Rdbms summieren.

Vielen Dank im Voraus!

Answer 1

Endlich haben wir es mit einem Redis entwickelt. Importieren Sie täglich Daten von rdbms, aktualisieren Sie die Daten in redis und exportieren Sie die Daten am Ende jedes Tages in die rdbms-Ergebnistabelle. Schließen Sie diese Frage, danke.