Ausprobieren Cloudera Spark-Tutorial wird nicht „ClassNotFoundException“ arbeiten

Question

Ich habe versucht, Lösungen in ähnlichen bestehenden Post vorgeschlagen, aber keine funktioniert für mich :-(wirklich hoffnungslos bekommen, so dass ich beschlossen, dies als eine neue Frage zu stellen.

ich habe versucht, ein Tutorial (Link unten) auf dem Aufbau eine erste scala oder Java-Anwendung mit spark in einer Cloudera VM.

dies ist mein Funke einreichen Befehl und seine Ausgabe

[cloudera@quickstart sparkwordcount]$ spark-submit --class com.cloudera.sparkwordcount.SparkWordCount --master local /home/cloudera/src/main/scala/com/cloudera/sparkwordcount/target/sparkwordcount-0.0.1-SNAPSHOT.jar 
java.lang.ClassNotFoundException: com.cloudera.sparkwordcount.SparkWordCount 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:270) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:176) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:689) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
[cloudera@quickstart sparkwordcount]$ spark-submit --class com.cloudera.sparkwordcount.SparkWordCount --master local /home/cloudera/src/main/scala/com/cloudera/sparkwordcount/target/sparkwordcount-0.0.1-SNAPSHOT.jar 

ich auch versucht, die pom Aktualisierung .xml Datei mit meiner aktuellen CDH, Spark und Scala Version ns funktioniert aber immer noch nicht.

Wenn ich die JAR-Datei extrahiere, die zuvor von Maven mithilfe des MVN-Pakets generiert wurde, kann ich keine .Class-Datei in ihrem Ordnerhierachie finden.

Entschuldigung, ich bin etwas neu in Cloudera und Spark. Ich habe im Grunde versucht, das folgende Tutorial mit Scala: https://blog.cloudera.com/blog/2014/04/how-to-run-a-simple-apache-spark-app-in-cdh-5/

Ich überprüfte die Klasse, Ordner und Scala-Dateinamen ziemlich viele Namen sehr genau, speziell Klein-/Großbuchstaben Probleme schien nichts falsch.

Ich öffnete mein Glas und es gibt einige Dateihierarchie und im tiefsten Ordner kann ich wieder die pom.xml-Datei finden, aber ich kann keine .class-Dateien irgendwo innerhalb des Glases sehen. Bedeutet das, dass die Kompilierung über "mvn package" nicht wirklich funktioniert hat, obwohl die Konsolenausgabe sagte, dass Building erfolgreich war?

Answer 1

Ich hatte das gleiche Problem. Versuchen Sie, indem Sie Klassennamen rerunning von

--class com.cloudera.sparkwordcount.SparkWordCount 

zu

--class SparkWordCount 

Der vollständige Befehl i verwendet sah aus wie:

spark-submit --class SparkWordCount --master local --deploy-mode client --executor-memory 1g --name wordcount --conf "spark.app.id=wordcount" target/sparkwordcount-0.0.1-SNAPSHOT.jar /user/cloudera/inputfile.txt 2