So beheben Sie Fehler beim Laden des Pakets in Spark

Question

Ich benutze Funken in HDInsight mit Jupyter Notebook. Ich verwende die %% configure "magic" um Pakete zu importieren. Jedes Mal gibt es ein Problem mit dem Paket, Funken stürzt mit dem Fehler:

The code failed because of a fatal error: Status 'shutting_down' not supported by session..

oder

The code failed because of a fatal error: Session 28 unexpectedly reached final status 'dead'. See logs:

Normalerweise war das Problem mit mir den Namen des Pakets, so dass nach ein paar Versuchen Vertippen I könnte es lösen. Jetzt versuche ich spark-streaming-eventhubs_2.11 zu importieren und ich denke, ich habe den richtigen Namen, aber ich erhalte immer noch den Fehler. Ich habe alle Arten von Protokollen betrachtet, konnte aber immer noch keine finden, die relevante Informationen enthält. Irgendeine Idee, wie man ähnliche Fehler behandelt?

%%configure -f 
{ "conf": {"spark.jars.packages": "com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5" }} 

Zusätzliche Informationen: wenn ich

spark-shell --conf spark.jars.packages=com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5 

Die Shell laufen beginnt in Ordnung, und lädt das Paket

Answer 1

I, die den Fehler enthalten endlich in der Lage war, um die Protokolldateien zu finden. Es gibt zwei Protokolldateien, die

• Livius log interessant sein könnte: Livius-livy-server.out
• Yarn log

Auf meinem HDInsight Cluster ich das livy Protokoll durch den Anschluss an einen gefunden der Leiter Knoten mit SSH und das Herunterladen von aa Datei auf diesem Weg (dieses Protokoll nicht nützliche Informationen enthalten):

/var/log/livy/livy-livy-server.out

der eigentliche Fehler war in der Garn-Protokolldatei von YarnUI zugänglich. Navigieren Sie in HDInsight Azure Portal zu "Cluster Dashboard" -> "Yarn", suchen Sie Ihre Sitzung (KILLED Status), klicken Sie auf "Logs" in der Tabelle, finden Sie "Log Type: stderr", klicken Sie auf "hier klicken für vollständiges Log" .

Das Problem in meinem Fall war Scala Version Inkompatibilität zwischen einer der Abhängigkeiten von spark-streaming_2.11 und Livy. Dies soll Livy 0,4 behoben werden. Weitere Informationen here