Spark ClassNotFoundException mit dem Master

Question

Ich habe Spark 0,80 mit sbt/sbt assembly heruntergeladen und erstellt. Es war erfolgreich. Allerdings, wenn ./bin/start-master.sh der folgende Fehler ausgeführt wird, in der Protokolldatei

Spark Command: /System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home/bin/java -cp :/shared/spark-0.8.0-incubating-bin-hadoop1/conf:/shared/spark-0.8.0-incubating-bin-hadoop1/assembly/target/scala-2.9.3/spark-assembly-0.8.0-incubating-hadoop1.0.4.jar 
/shared/spark-0.8.0-incubating-bin-hadoop1/assembly/target/scala-2.9.3/spark-assembly_2.9.3-0.8.0-incubating-hadoop1.0.4.jar -Djava.library.path= -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip mellyrn.local --port 7077 --webui-port 8080 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/deploy/master/Master 
Caused by: java.lang.ClassNotFoundException: org.apache.spark.deploy.master.Master 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:202) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at java.net.URLClassLoader.findClass(URLClassLoader.java:190) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:306) 
     at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:247) 

aktualisieren gesehen: sbt sauber (pro Vorschlag unten) nach tut es ausgeführt wird: siehe Screenshot.

Answer 1

Es kann eine Reihe von Dingen, die diesen Fehler verursachen, die Funken nicht spezifisch sind:

1. Bad zu bauen, sbt clean compile dass wieder Welpen.
2. Sie haben eine Cache-Abhängigkeit in Ihrem .ivy2-Cache, die mit einer Abhängigkeit dieser Projektversion von Spark in Konflikt steht. Leeren Sie Ihren Cache und versuchen Sie es erneut.
3. Ihr Projekt, das auf Spark baut, hat eine Bibliotheksversion, die einer Abhängigkeit von Spark widerspricht. Das heißt, Spark kann von "foo-0.9.7" abhängig sein, während Ihr Projekt "foo-0.8.4" verwendet.

Versuchen Sie, diese zuerst zu betrachten.