Spark "start-all.sh" auf EC2 (rhel7)

kann nicht gestartet werden Ich versuche, Standalone Spark-2.1.1 durch Triggern /sbin/start-all.sh in einer EC2-Instanz (RHEL 7) zu laufen. Wann immer es läuft, fragte es nach dem Passwort root @ localhost und sogar hart, dass ich das richtige Passwort gegeben habe, wirft es mich - [email protected]'s password: localhost: Permission denied, please try again. Fehler.Spark "start-all.sh" auf EC2 (rhel7)

Unabhängig von diesem Fehler, wenn ich jps in der Konsole traf, konnte ich sehen, dass der Master läuft. this-

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
17/06/12 15:36:15 INFO Master: Started daemon with process name: [email protected] 
17/06/12 15:36:15 INFO SignalUtils: Registered signal handler for TERM 
17/06/12 15:36:15 INFO SignalUtils: Registered signal handler for HUP 
17/06/12 15:36:15 INFO SignalUtils: Registered signal handler for INT 
17/06/12 15:36:15 WARN Utils: Your hostname, localhost.org.xxxxxxxxx.com resolves to a loopback address: 127.0.0.1; using localhost ip instead (on interface eth0) 
17/06/12 15:36:15 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 
17/06/12 15:36:16 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
17/06/12 15:36:16 INFO SecurityManager: Changing view acls to: root 
17/06/12 15:36:16 INFO SecurityManager: Changing modify acls to: root 
17/06/12 15:36:16 INFO SecurityManager: Changing view acls groups to: 
17/06/12 15:36:16 INFO SecurityManager: Changing modify acls groups to: 
17/06/12 15:36:16 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); groups with view permissions: Set(); users with modify permissions: Set(root); groups with modify permissions: Set() 
17/06/12 15:36:16 INFO Utils: Successfully started service 'sparkMaster' on port 7077. 
17/06/12 15:36:16 INFO Master: Starting Spark master at spark://localhost.org.xxxxxxxxx.com:7077 
17/06/12 15:36:16 INFO Master: Running Spark version 2.1.1 
17/06/12 15:36:16 INFO Utils: Successfully started service 'MasterUI' on port 8080. 
17/06/12 15:36:16 INFO MasterWebUI: Bound MasterWebUI to 0.0.0.0, and started at http://localhost:8080 
17/06/12 15:36:16 INFO Utils: Successfully started service on port 6066. 
17/06/12 15:36:16 INFO StandaloneRestServer: Started REST server for submitting applications on port 6066 
17/06/12 15:36:16 INFO Master: I have been elected leader! New state: ALIVE

Ich versuche, herauszufinden, warum ich nicht in der Lage bin zu meinem Arbeiter Knoten starten

[email protected]# jps 
27863 Master 
28093 Jps

Weitere überprüfte ich die Protokolle und gefunden. Könnte mir jemand damit helfen? Vielen Dank.

Quelle

2017-06-12 Panchu

Überprüfen Sie Ihren Hostnamen, wenn er korrekt aufgelöst wurde. Wenn Sie localhost verwenden, stellen Sie sicher, dass es in Ihrer /etc/hosts Datei aufgelöst ist.

lassen Sie mich wissen, wenn dies hilft. Prost.

Quelle

2017-06-13 04:08:02

Ich verwende tatsächlich die System-IP-Adresse anstelle von 'localhost' (nur aus Sicherheitsgründen umbenannt). Und ja, der Hostname ist korrekt aufgelöst und das Problem besteht weiterhin. – Panchu

noch, versuchen 'localhost' Lösung in Ihrer'/etc/hosts' Datei und sehen, ob es funktioniert, wie folgt aus: '192.168.y.xxx \t hostname' ' 192.168.y.xxx \t localhost'. Wenn dies der Fall ist, müssen Sie Änderungen in Ihrem Spark conf (spark-env.sh) für die Eigenschaft 'SPARK_LOCAL_IP' vornehmen. –

Spark "start-all.sh" auf EC2 (rhel7)

Antwort

Verwandte Themen