-1
Ich versuche rund 2 Millionen Datensätze in Cassandra durch Funken zu laden. Spark hat 4 Executoren und Cassandra hat 4 Knoten im Cluster. Aber es dauert ungefähr 20 Minuten, um alle Daten in Cassandra zu speichern. Kann mir bitte jemand helfen, dieses Ding etwas schneller zu machen.Spark Cassandra Write Performance
Dies ist nur 1,6 k schreibt pro Sekunde, die für 4 Knoten von C * ziemlich langsam ist. Sie müssen jedoch viel mehr Informationen angeben, wenn jemand Ihnen helfen kann. Wie lesen Sie die Datensätze Welchen Code verwenden Sie zum Schreiben Welche Art von Hardware sind die Knoten ... – RussS
Eigentlich verwende ich Dataframe, um die Datensätze zu lesen, und alle Knoten haben 7G Speicher – franyfpk
können Sie bitte lassen Ich weiß im Allgemeinen, was ist die Schreibgeschwindigkeit für einen 4-Knoten-Cluster. – franyfpk