Ich versuche Cassandra mit Spark mit dem Datastax Spark-Cassandra-Connector abzufragen. Der Spark-Code istSpark Cassandra Connector kann java.time.LocalDate nicht finden
val conf = new SparkConf(true)
.setMaster("local[4]")
.setAppName("cassandra_query")
.set("spark.cassandra.connection.host", "mycassandrahost")
val sc = new SparkContext(conf)
val rdd = sc.cassandraTable("mykeyspace", "mytable").limit(10)
rdd.foreach(println)
sc.stop()
So läuft es nur lokal jetzt. Und meine build.sbt Datei sieht aus wie
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.0",
"org.apache.spark" %% "spark-sql" % "2.0.0",
"cc.mallet" % "mallet" % "2.0.7",
"com.amazonaws" % "aws-java-sdk" % "1.11.229",
"com.datastax.spark" % "spark-cassandra-connector_2.11" % "2.0.0"
)
ich ein fettes Glas mit der Montage-Plugin erstellen und wenn ich den Funken Job, den ich die folgende Fehlermeldung einreichen
Lost task 6.0 in stage 0.0 (TID 6) on executor localhost: java.io.IOException (Exception during preparation of SELECT "pcid", "content" FROM "mykeyspace"."mytable" WHERE token("pcid") > ? AND token("pcid") <= ? LIMIT 10 ALLOW FILTERING: class java.time.LocalDate in JavaMirror with [email protected] of type class org.apache.spark.util.MutableURLClassLoader with classpath [file:/root/GenderPrediction-assembly-0.1.jar] and parent being [email protected] of type class sun.misc.Launcher$AppClassLoader with classpath [file:/root/spark/conf/,file:/root/spark/jars/datanucleus-core-3.2.10.jar,...not found.
(Anmerkung: es gab zu viele Gläser in den oben genannten Classpath aufgelistet, so habe ich nur ersetzt sie mit einem "...")
So sieht es aus wie es nicht finden kann java.time.LocalDate - wie kann ich das beheben?
Ich fand einen anderen Beitrag, der ähnlich aussieht spark job cassandra error Allerdings ist es eine andere Klasse, die nicht gefunden werden kann, also bin ich mir nicht sicher, ob es hilft.