Apache Spark-Shell nicht in der Lage ist Executor zu starten, in Cluster-Modus verlassen immer

Question

Ich versuche, Funken-Shell über Cluster und immer den Fehler als folgt-

16/07/21 11:27:28 INFO client.AppClient$ClientEndpoint: Executor updated: app-20160721112151-0000/179 is now RUNNING 
16/07/21 11:27:33 INFO client.AppClient$ClientEndpoint: Executor updated: app-20160721112151-0000/177 is now EXITED (Command exited with code 1) 
16/07/21 11:27:33 INFO cluster.SparkDeploySchedulerBackend: Executor app-20160721112151-0000/177 removed: Command exited with code 1 
16/07/21 11:27:33 INFO cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 177 
16/07/21 11:27:33 INFO client.AppClient$ClientEndpoint: Executor added: app-20160721112151-0000/180 on worker-20160721112059-10.65.104.9-43892 (10.65.104.9:43892) with 8 cores 
16/07/21 11:27:33 INFO cluster.SparkDeploySchedulerBackend: Granted executor ID app-20160721112151-0000/180 on hostPort 10.65.104.9:43892 with 8 cores, 4.0 GB RAM 
16/07/21 11:27:33 INFO client.AppClient$ClientEndpoint: Executor updated: app-20160721112151-0000/180 is now RUNNING 
16/07/21 11:27:34 INFO client.AppClient$ClientEndpoint: Executor updated: app-20160721112151-0000/178 is now EXITED (Command exited with code 1) 
16/07/21 11:27:34 INFO cluster.SparkDeploySchedulerBackend: Executor app-20160721112151-0000/178 removed: Command exited with code 1 
16/07/21 11:27:34 INFO cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 178 
16/07/21 11:27:34 INFO client.AppClient$ClientEndpoint: Executor added: app-20160721112151-0000/181 on worker-201607211 

12059-10.65.105.6-37622 (10.65.105.6:37622) with 8 cores 

ich zu starten versucht, so gut Jobs und die Ergebnis bleibt gleich. Ich habe meine Slave-Datei überprüft und alle Config überprüft, konnte aber nichts falsch finden.

Gleiche geschieht nicht, wenn man versucht Shell als lokal zu starten, so dass ich denke, es kann auf Hosts in Beziehung gesetzt werden, so überprüft I/etc/host -

127.0.0.1  localhost 
127.0.1.1  theubuntu 
10.65.104.9  Mainserver 
10.65.105.6  Client1 
10.65.104.16 Client2 
10.65.104.14 Client3 

Jeder Vorschlag

Answer 1

Der Fehler war in meinem Spark-env.sh, ich habe

bereitgestellt

export SPARK_JAVA_OPTS=-Dspark.driver.port=53411 

aber, dass der Port nicht verfügbar war und Worker-Protokolle innerhalb SPark_Home \ work \ APPLICATION_ID, protokolliert den Fehler genau, welche ich nicht sehen.