Ich frage mich, warum der Client, mit apache-spark/sbin/start-slave.sh <master's URL> dieses master's URL anzuzeigen hat, da der Master gibt es bereits in: apache-spark/sbin/start-master.sh --master spark://my-master:7077e.g.?Warum benötigt start-slave.sh die Master-URL?
Ist es, weil der Kunde warten muss der Master die submit vom Master gesendeten zu erhalten? Wenn ja: Warum muss der Master in seiner submit--master spark://.... angeben?
start-slave.sh <master's URL> startet einen eigenständigen Worker (früher ein Slave), den der Standalone-Master unter <master's URL> verwendet, um Ressourcen für Spark-Anwendungen bereitzustellen.
Standalone-Master verwaltet Arbeiter und die Arbeiter selbst mit einem Master registrieren und CPU und Speicher für das Ressourcenangebot geben.
Von Starting a Cluster Manually:
Sie können einen eigenständigen Master-Server starten, indem Sie die Ausführung:
./sbin/start-master.shEinmal gestartet, wird der Master einen Funken ausdrucken: // HOST: PORT-URL für selbst, die Sie verwenden können, um Worker mit ihm zu verbinden, oder als "Master" -Argument an SparkContext übergeben. Sie finden diese URL auch auf der Web-Benutzeroberfläche des Masters, standardmäßig http://localhost:8080.
Ebenso können Sie einen oder mehrere Arbeitnehmer beginnen und sie mit dem Master verbinden über:
./sbin/start-slave.sh <master-spark-URL>
da der Master schon gibt es in: Apache-Funken/sbin /start-master.sh --master funke: // mein-master: 7077
Sie können das U angeben RL des Standalone-Meister, dass standardmäßig spark://my-master:7077, aber das ist nicht im Netz bekannt gegeben, so könnte jemand die URL kennen (es sei denn, auf der Kommandozeile angegeben).
warum der Meister --master Funke angeben muss: // .... in seiner einreichen
nicht. Standalone Master und Submit sind verschiedene "Werkzeuge", dh der erste ist ein Cluster-Manager für Spark-Anwendungen, während der zweite Spark-Anwendungen an einen Cluster-Manager für die Ausführung (das kann auf einem der drei unterstützten Cluster-Manager sein): Spark Standalone, Apache Mesos und Hadoop YARN).
Siehe Submitting Applications.
Das ist, weil Sie zu jedem Master anschließen, können Sie wollen, und das ist nicht die einzige Möglichkeit, den Standard-Master angeben. Ich empfehle Ihnen, hier http://spark.apache.org/docs/latest/configuration.html zu lesen – eliasah