Wie kann ich wissen, dass keine Zeilen mit Spark in Cassandra eingefügt werden

Question

Ich füge in Cassandra mit Spark ein.

CassandraJavaUtil.javaFunctions(newRDD) 
      .writerBuilder("dmp", "dmp_user_user_profile_spark1", mapToRow(UserSetGet.class)).saveToCassandra(); 
      logger.info("DataSaved"); 

Meine Frage ist, wenn RDD 5k Zeilen hat, und beim Einfügen in Cassandra aus irgendeinem Grund schlägt der Auftrag fehl.

Wird es für die Zeilen werden Rollback, die 5k aus

wurden eingesetzt und wenn nicht, wie kann ich wissen, wie viele Zeilen tatsächlich eingefügt ist, so dass ich meine Arbeit von der ausgefallenen Zeile wieder starten kann.

Answer 1

Einfache Antwort, Nein, es wird kein automatisches Rollback geben.

Welcher Datenfunke auch in Cassandra gespeichert werden konnte, bleibt in Cassandra erhalten.

Und nein, es gibt keine einfache Möglichkeit zu wissen, bis zu welchem ​​Dataset der Funke-Job erfolgreich speichern konnte. Tatsächlich kann ich nur daran denken, Daten aus Cassandra zu lesen, zu verbinden und aus dem Ergebnissatz herauszufiltern, basierend auf dem Schlüssel.

Um ehrlich zu sein, das scheint ziemlich und Overhead, wenn die Daten riesig sind, um humong Join machen. In den meisten Fällen können Sie den Job für Spark einfach erneut ausführen und ihn erneut in der Cassandra-Tabelle speichern lassen. Da in Cassandra Update und Einsätze funktionieren auf die gleiche Weise. Es wird kein Problem sein.

Nur Platz dies kann problematisch sein, wenn Sie Zähler Tabellen beschäftigen.

Aktualisierung: Für dieses spezielle Szenario können Sie Ihre RDD in Chargen Ihrer Größe aufteilen und dann versuchen, sie zu speichern. Auf diese Weise, wenn Sie auf einem RDD scheitern, wissen Sie, welche RDD fehlgeschlagen ist. Wenn nicht gesetzt, sollten Sie in der Lage sein, von nächsten RDD sicher abholen.