Map reduzieren, um Gruppe durchzuführen und Summe in Cassandra, mit Funken und Job-Server

Question

Ich erstelle einen Spark-Job-Server, der mit Cassandra verbindet. Nachdem ich die Datensätze erhalten habe, möchte ich eine einfache Gruppe durchführen und auf sie eingehen. Ich kann die Daten abrufen, ich konnte die Ausgabe nicht drucken. Ich habe google stundenlang ausprobiert und auch in cassandra google groups gepostet. Mein aktueller Code ist wie folgt und ich erhalte Fehler beim Sammeln.

override def runJob(sc: SparkContext, config: Config): Any = { 
//sc.cassandraTable("store", "transaction").select("terminalid","transdate","storeid","amountpaid").toArray().foreach (println) 
// Printing of each record is successful 
val rdd = sc.cassandraTable("POSDATA", "transaction").select("terminalid","transdate","storeid","amountpaid") 
val map1 = rdd.map (x => (x.getInt(0), x.getInt(1),x.getDate(2))->x.getDouble(3)).reduceByKey((x,y)=>x+y) 
println(map1) 
// output is ShuffledRDD[3] at reduceByKey at Daily.scala:34 
map1.collect 
//map1.ccollectAsMap().map(println(_)) 
//Throwing error java.lang.ClassNotFoundException: transaction.Daily$$anonfun$2 

}

Answer 1

Ihre map1 ist ein RDD. Sie können Folgendes versuchen:

map1.foreach(r => println(r)) 

Answer 2

Spark macht faul Bewertung auf RDD. Versuchen Sie also eine Aktion

map1.take(10).foreach(println)