2016-11-27 9 views
2

kann nicht geladen werden Ich habe eine Anwendung Spark-Scala, ich habe versucht, eine einfache Nachricht "Hallo meine App" anzuzeigen. wenn ich es kompilieren by sbt kompilieren ist es in Ordnung, auch ich es durch sbt laufen lasse es ist in Ordnung, ich zeigte meine Nachricht mit Erfolg, aber er zeigt einen Fehler an; wie folgt:Hauptklasse aus JAR-Datei

Hello my application! 
16/11/27 15:17:11 ERROR Utils: uncaught error in thread SparkListenerBus, stopping SparkContext 
     java.lang.InterruptedException 
    ERROR ContextCleaner: Error in cleaning thread 
    java.lang.InterruptedException 
    at org.apache.spark.ContextCleaner$$anon$1.run(ContextCleaner.scala:67) 
    16/11/27 15:17:11 INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040 
    [success] Total time: 13 s, completed Nov 27, 2016 3:17:12 PM 
    16/11/27 15:17:12 INFO DiskBlockManager: Shutdown hook called 

Ich kann nicht verstehen, es ist gut oder nicht! Auch wenn ich versuche, meine Datei jar nach dem Lauf zu laden, er dispaly auch einen Fehler:

meine Befehlszeile wie folgt aussehen:

spark-submit "appfilms" --master local[4] target/scala-2.11/system-of-recommandation_2.11-1.0.jar 

und der Fehler dieses ist:

Error: Cannot load main class from JAR file:/root/projectFilms/appfilms 
Run with --help for usage help or --verbose for debug output 
16/11/27 15:24:11 INFO Utils: Shutdown hook called 

Bitte kannst du mir antworten!

+1

Haben Sie versucht, was die Fehlermeldung sagte? Verwenden Sie --help oder --verbose auf dem Funken, um zu sehen, was die Protokolle zu sagen haben. –

+0

AFAIK sollte es mit '--jars' Option wie ...' $ SPARK_HOME/bin/spark-submit - Treiber-Klasse-Pfad Ihr Glas [s] --jars Ihre Glas [s] ' –

+0

eingereicht werden können Sie versuchen, diese 'Spark-senden \ --verbose --master local [4] \ --klasse yourklasse yourjar.jar' –

Antwort

2

Der Fehler ist aufgrund der Tatsache, dass der SparkContext nicht gestoppt wird, ist dies in Versionen höher als Spark 2.0 erforderlich. Dies sollte gestoppt werden, um diesen Fehler durch SparkContext.stop() oder sc.stop() zu verhindern. Inspiration für die Lösung dieses Fehlers wird aus eigenen Erfahrungen und den folgenden Quellen gewonnen: Spark Context, Spark Listener Bus error