Ich versuche, zwei VMs mit Apache Spark zum Verbinden zu bekommen; ein Meister und ein Arbeiter. Ich verwende VirtualBox und einen host-only Netzwerkadapter. Die VMs können sich gegenseitig ping, aber wenn ich den Worker starte, erscheint es nicht in der Web-Benutzeroberfläche des Masters.Apache Spark 2.1.0 - Grundlegende Einrichtung: Worker-Knoten verbindet sich nicht mit Master-Knoten
Ich bin mit statischen IP-Adressen mit der Master sein 10.10.10.2 und 10.10.10.3 Arbeiter
Meine spark-env.sh Datei konfiguriert ist, schließen ein:
SPARK_MASTER_IP=10.10.10.2
ich zuerst den Master-Knoten starten:
./start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/lib/spark/logs/spark-masternode-org.apache.spark.deploy.master.Master-1-masternode.out
Dann der Arbeiter:
./start-slave.sh spark://10.10.10.2:7077
starting org.apache.spark.deploy.worker.Worker, logging to /usr/lib/spark/logs/spark-modelnode1-org.apache.spark.deploy.worker.Worker-1-modelnode1.out
Die resultierende Ausgabe des Master-Knotens GUI:
Wenn ich nmap 10.10.10.2 vom Arbeiter:
Nmap scan report for 10.10.10.2
Host is up (0.00035s latency).
Not shown: 998 closed ports
PORT STATE SERVICE
22/tcp open ssh
8080/tcp open http-proxy
Ich bin nicht sicher, ob das ist relevant, aber es zeigt nicht, alles bei 7077
Jede Hilfe wird sehr geschätzt!
Sind Sie sicher, dass es keine Firewall-Regeln gibt (siehe 'iptables -L '), die Verbindungen blockieren? –
@JamesFry, keine Regeln wurden aufgeführt. Danke für den Vorschlag. – macourtney7
Komplett vermisst, dass Sie Spark 2.1.0 verwendet haben, sorry! –