Rolle des Masters im Spark-Standalone-Cluster

In einem eigenständigen Spark-Cluster: Was genau ist die Rolle des Masters (ein Knoten, der mit dem Skript start_master.sh gestartet wurde)?Rolle des Masters im Spark-Standalone-Cluster

Ich verstehe, dass der Knoten, der die Aufträge aus dem Skript submit-job.sh empfängt, aber was ist seine Rolle bei der Verarbeitung eines Auftrags?

Ich sehe in der Web-Benutzeroberfläche, die immer den Job an einen Slave (ein Knoten mit start_slave.sh) liefert und nicht von der Verarbeitung beteiligt ist, habe ich Recht? Sollte ich in diesem Fall auch das Skript start_slave.sh auf dem gleichen Rechner wie der Master ausführen, um seine Ressourcen (CPU und Speicher) zu nutzen?

Vielen Dank im Voraus.

Quelle

2017-05-12 italktothewind

Ich habe es in einem echten Cluster getestet. Ja, es ist notwendig, ein Slave- oder Worker-Skript in dem Knoten auszuführen, der den Master hostet, wenn wir die CPU und den Speicher des Knotens verwenden wollen, auf irgendeine andere Weise werden sie verschwendet, da der Master nur einige wenige dieser Ressourcen verwendet. – italktothewind

Funken läuft in den folgenden Cluster-Modi:

Lokale
Standalone
Mesos
Yarn

Die oben genannten sind Cluster-Modi, die Ressourcen bieten Anwendungen

Spark

Funken s Tandalone-Modus ist Master-Slave-Architektur, wir haben Spark Master und Spark Workers. Spark Master wird in einem der Clusterknoten ausgeführt, und Spark Workers wird auf den Slave-Knoten des Clusters ausgeführt.

Spark-Master (oft geschrieben Standalone-Master) ist der Ressourcenmanager für die Spark-Standalone-Cluster die Ressourcen (CPU, Speicher, Festplatten usw. ...) unter den Spark-Anwendungen zuzuordnen. Die Ressourcen werden zum Ausführen der Spark Driver und Executors verwendet.

Spark Workers berichten an Spark Master über Ressourceninformationen auf den Slave-Knoten.

[Apache-Funke]

Quelle

2017-05-12 18:43:09 Naga

Aber sollte ich in diesem Fall auch das Skript start_slave.sh auf derselben Maschine ausführen wie der Master, um seine Ressourcen (CPU und Speicher) zu nutzen? – italktothewind

Wir haben ein paar Skripts zum Starten und Stoppen dieser Prozesse (Master und Worker). Wir benötigen einen Master und mindestens einen Slave, um den Spark-Standalone-Modus auszuführen. Wenn Sie über einen physischen Knoten verfügen, führen Sie Master und Worker auf demselben Knoten mit start-all.sh im Verzeichnis $ SPARK_HOME/sbin aus. Wenn Sie mehrere Knoten haben, führen Sie Master mit Knoten und Worker auf anderen Knoten mit dem Skript start-all.sh aus. Wir können auch start-master.sh und start-slave.sh verwenden, um diesen Prozess auszuführen. – Naga

Rolle des Masters im Spark-Standalone-Cluster

Antwort

Verwandte Themen