Redshift mit Spark-Streaming

Question

Ich habe eine Kafka - Spark-Streaming-Anwendung, um 60K Ereignisse pro Minute aufzunehmen und zu verarbeiten. Ich brauche eine Datenbank, um meine transformierten Daten zu speichern, auf die die Visualisierungsebene zugreifen soll. Kann Redshift dafür mit Spark Streaming verwendet werden oder sollte Cassandra verwendet werden? Ich werde die Datenframes in jedem Funkenfenster von 30 Sekunden verarbeiten und speichern. Außerdem muss ich in jedem Fenster aus dem Datenspeicher lesen. Ich denke, Redshift ist in erster Linie eine Data-Warehousing-Datenbank nicht für OLTP Art der Verarbeitung .. irgendwelche Ideen?

Answer 1

Sie sollten SnappyData überprüfen. SnappyData integriert tief eine In-Memory-Datenbank mit Spark, die hybride OLTP/OLAP-Anwendungen ermöglicht. Sie können Spark Streaming-Anwendungen über Snappy schreiben, die Daten aus der Datenbank aktualisieren/löschen können. Weiter, weil es nicht über einen Stecker geht, hat es performs better als the myriad datastores, die Spark-Anschlüsse und sogar den nativen Spark-Cache haben. Möglicherweise befinden sich andere Datastores, die hybride OLTP/OLAP-Anwendungen auf Spark in dem zuvor genannten Link anbieten.

Haftungsausschluss: Ich bin ein SnappyData-Mitarbeiter.