4

Ich versuche, Apache Spark mit folgenden Systemen einzurichten:Bindung Multiple IP in Spark-Master adressiert

1 Master Node (mit öffentlichen IP, lokalen IP)
Slave Node-3 (mit öffentlichen IP, lokale IP)
Slave-Knoten-2 (mit Local IP)

die Konfiguration so ist, dass der Master-Knoten und Slave-Knoten-3 über öffentliche IP-Adressen kommunizieren, während Slave-Knoten-2 kommuniziert mit den anderen zwei Knoten über LocalIP ist.

Das Problem, das mir gegenübersteht, ist, dass Slave Node-2, da der Master Node an eine öffentliche IP bindet, keine Verbindung zum Master über seine lokale IP herstellen kann, was zu einem Verbindungsfehler führt, jedoch Slave Node-3 ist kann problemlos mit dem Master-Knoten kommunizieren.

Gibt es einen Weg, wie kann ich die Kommunikation zwischen Master-Knoten und Slave-Node-2 oder wie kann ich mehrere Adressen an den Master-Knoten binden, für zB eine solche Konfiguration ist möglich in Hadoop, wo wir haben können Der Nameode bindet an mehrere Hosts.

Danke

+0

"Die Konfiguration ist so, dass Master-Knoten und Slave-Node-3 über öffentliche IPs kommunizieren, während Slave-Node-2 mit den anderen beiden Nodes über öffentliche IPs kommuniziert." - Ich nehme an, Sie haben gemeint, dass "öffentlich" in einem dieser Fälle "privat" ist, weil Sie "where" verwenden? –

+0

@LiamKelly Entschuldigung! Bearbeitet. – StarLord

Antwort

0

Wenn Sie den Master ‚0.0.0.0‘ oder alle lokalen Adressen binden, sollte der Master in der Lage sein, mit Node-2 über das private Netzwerk und Node-3 auf dem öffentlichen Netz zu kommunizieren.

+0

Ich habe den Master über die SPARK_MASTER_HOST -Eigenschaft an '0.0.0.0' gebunden, aber jetzt zeigen alle Worker-Knoten einen Verbindungsabbruchfehler, d. H. Kein Worker kann eine Verbindung zum Master herstellen. – StarLord

+0

Ok, stellen Sie zunächst sicher, dass Ihre Routing-Regeln die Kommunikation ermöglichen, indem Sie beide Geräte vom Master-Knoten aus anpingen. Überprüfen Sie dann, ob Ihre Firewallregeln den Verbindungstyp für beide Schnittstellen zulassen. –

+0

Ich bin in der Lage zu beiden Knoten vom Master zu pingen, und auch wie oben gesagt, habe ich es geschafft, dies mit hadoop zu tun, aber es scheint ein Problem mit Funken zu geben – StarLord