Funken Arbeiter nicht verbinden mit Master

Question

Ich möchte ein Funke Standalone-Cluster erstellen. Ich kann Master und Slave auf demselben Knoten ausführen, aber der Slave auf verschiedenen Knoten zeigt weder Master-URL noch Verbindung zum Master.

Ich betreibe Befehl:

start-slave.sh spark://spark-server:7077 

wo spark-server der Hostname meines Herrn ist.

Ich bin in der Lage, Master vom Arbeiter zu pingen, aber die WebUI des Meisters zeigt keinen Arbeiter außer dem, der auf demselben Computer läuft. Der Client-Knoten führt einen Worker aus, ist jedoch unabhängig und nicht mit dem Master verbunden.

Answer 1

Bitte überprüfen Konfigurationsdatei "spark-env.sh" auf Ihrem Master-Knoten. Haben Sie die Variable SPARK_MASTER_HOST auf die IP-Adresse des Master-Knotens gesetzt? Wenn nicht, versuchen Sie es zu setzen und starten Sie den Master und die Slaves neu. Wenn zum Beispiel die IP-Adresse Ihres Master-Knotens 192.168.0.1 ist, sollten Sie SPARK_MASTER_HOST = 192.168.0.1 darin haben. Beachten Sie, dass Sie diese Variable nicht auf Ihren Slaves setzen müssen.

Answer 2

Wenn Sie sind in der Lage den Master-Knoten ping von Worker bedeutet es, die Netzwerkverbindung Sie einige Dinge aktualisieren müssen .Der neue Arbeiter Knoten muss hinzugefügt werden in Spark-Master hat spark-env.sh Überprüfen Sie bitte das offizielle Dokument Spark CLuster launch und Update die reuired fileds.

Hier ist ein weiteres Blog, das Ihnen Spark Cluster modeBlog

Answer 3

1) Stellen Sie sicher, dass Sie ein Kennwort festlegen, zwischen dem Knoten

Bitte lesen Sie den folgenden Link Setup ein Passwort weniger ssh zwischen dem Knoten

weniger SSH kann helfen http://www.tecmint.com/ssh-passwordless-login-using-ssh-keygen-in-5-easy-steps/

2) Geben Sie die Slaves IP-Adresse in Sklaven in $ SPARK_HOME/conf

Datei

[Dies ist der Funke Ordner conf enthält] auf Master-Knoten

3) Wenn Sie die IP-Adresse in Slaves angeben Datei den Funken Cluster

[Führen Sie die start-all.sh Skript in $ starten SPARK_HOME/sbin Verzeichnis] ​​auf Master-Knoten

this helps