Ich führe Spark 1.1.0, HDP 2.1, auf einem kerberisierten Cluster. Ich kann Spark-Submit erfolgreich ausführen, indem ich --master yarn-client verwende und die Ergebnisse korrekt in HDFS geschrieben werden. Der Job wird jedoch nicht auf der Hadoop All Applications-Seite angezeigt. Ich will laufen Funken einreichen mit --master Garn-Cluster, aber ich weiterhin diese Fehlermeldung erhalten:Ausführen von Spark-Submit mit --master yarn-cluster: Problem mit Spark-Assembly
appDiagnostics: Application application_1417686359838_0012 failed 2 times due to AM Container
for appattempt_1417686359838_0012_000002 exited with exitCode: -1000 due to: File does not
exist: hdfs://<HOST>/user/<username>/.sparkStaging/application_<numbers>_<more numbers>/spark-assembly-1.1.0-hadoop2.4.0.jar
.Failing this attempt.. Failing the application.
Ich habe mein Konto mit Zugriff auf den Cluster bereitgestellt. Ich habe garn-site.xml konfiguriert. Ich habe gelöscht.sparkStaging. Ich habe versucht, --jars [Pfad zu meiner Funkenbaugruppe in spark/lib] zu verwenden. Ich habe this question gefunden, das ist sehr ähnlich, aber unbeantwortet. Ich kann nicht sagen, ob dies ein 2.1-Problem, Spark 1.1.0, kerberisierter Cluster, Konfigurationen oder was ist. Jede Hilfe würde sehr geschätzt werden.
In das gleiche Problem läuft. Hast du es zur Arbeit gebracht? Würde mich über Hinweise freuen. Vielen Dank. – DilTeam
Scheint, dass ein Upgrade auf eine neuere Version von Spark geholfen hat. Ich benutze Spark 1.3 jetzt, aber es funktionierte gut mit 1.2.1. Ich hoffe, das hilft! – jackar