0
Ich habe ein Upgrade 2.1.0 Spark und beschlossen, meine Daten mit Beeline zu testen, aber aus irgendeinem Grund gibt es mir:java.lang.ClassNotFoundException: org.apache.spark.Logging
Error: org.spark_project.guava.util.concurrent.UncheckedExecutionException: java.lang.ClassNotFoundException: org.apache.spark.Logging was removed in Spark 2.0. Please check if your library is compatible with Spark 2.0 (state=,code=0)
I Das alte Verzeichnis wurde umbenannt, damit alle Dateien neu sind. Ich benutze nicht meinen eigenen Code, sondern fliege mit Spark.
Hier sind Schritte, die ich gefolgt:
cd /usr/local/spark
./sbin/start-thriftserver.sh --master spark://REMOVED:7077 --num-executors 2 --driver-memory 6G --executor-cores 6 --executor-memory 14G --hiveconf hive.server2.thrift.port=10015 --packages datastax:spark-cassandra-connector:1.6.4-s_2.11 --conf spark.cassandra.connection.host=REMOVED --conf spark.cassandra.auth.username=REMOVED --conf spark.cassandra.auth.password=REMOVED
./bin/beeline -u jdbc:hive2://REMOVED:10015
Also ich bin nicht ganz sicher, was jetzt zu tun, irgendwelche Vorschläge bitte?
Vielen Dank, es hat gut funktioniert! Ich habe 1.6.4 gewählt, weil es die erste Version ist, die hier auftaucht: https://spark-packages.org/package/datastax/spark-cassandra-connector, weshalb ich dachte, dass es das Neueste war und ich dachte, 2.0.0 wäre ein Beta-Version oder etwas. – Jason