Spark Kafka Structured Streaming Integration mit Apache Ignite

Question

Im Moment gibt es keine Möglichkeit, mit denen ich Spark DataFrames in Apche Ignite speichern kann. Es wird in Apache Ignite 2.2 Version wie hier erwähnt https://issues.apache.org/jira/browse/IGNITE-3084 enthalten sein. Ich verwende die Structured Streaming API von Apache Spark mit Kafka für den Datenverbrauch. Ich möchte einige Aggregationen wie Durchschnittswert für eine bestimmte Spalte oder Min-Max-Wert für verbrauchte Daten machen.

Meine Frage ist, ob ich Spark SQL DataFrame API zu den oben genannten Aggregationen verwenden soll oder sollte ich auf Apache Ignite 2.2 Version warten? Sie haben es in der Dokumentation erwähnt, dass Ignite SQL 100s schneller ist als Spark SQL.

Answer 1

Eigentlich liegt es an Ihnen. Sie können jetzt mit Spark fortfahren, dann warten, bis DataFrames Unterstützung in Ignite bereit ist, vergleichen Sie diese beiden Ansätze und wählen Sie, welche Ihren Bedürfnissen besser entspricht.