Konfigurieren Master-Knoten in Funken-Cluster

Question

Entschuldigung im Voraus, wie ich neu zu funken bin. Ich habe einen Funkencluster im Standalone-Modus mit 4 Arbeitern erstellt, und nachdem ich erfolgreich Arbeitereigenschaften konfigurieren konnte, wollte ich wissen, wie man die Haupteigenschaften konfiguriert.

ich eine Anwendung schreibe und es den Cluster mit SparkSession.builder Anschluss (ich will nicht, es zu unterwerfen mit Funken vorlegen.)

Ich weiß, daß die Arbeiter in der conf/spark-env.sh Datei konfiguriert werden und hat Parameter wie "SPARK_WORKER_MEMORY" und "SPARK_WORKER_CORES"

Meine Frage ist: Wie konfiguriere ich die Eigenschaften für den Master? Weil in dieser Datei kein 'SPARK_MASTER_CORES' oder 'SPARK_MASTER_MEMORY' vorhanden ist.

Ich dachte darüber nach, dies in der spark-defaults.conf Datei zu setzen, aber es scheint, dass dies nur für Funken-Submit verwendet wird.

Ich dachte über die Einstellung in der Anwendung mit SparkConf().set("spark.driver.cores", "XX") aber dies spezifiziert nur die Anzahl der Kerne für diese Anwendung zu verwenden.

Jede Hilfe würde sehr geschätzt werden.

Danke.

Answer 1

Drei Möglichkeiten zum Festlegen der Konfigurationen von Spark Master-Knoten (Treiber) und Funke Worker-Knoten. Ich werde Beispiele für die Einstellung des Speichers des Master-Knotens zeigen. Weitere Einstellungen finden Sie unter here

1- Programmatisch durch die SpackConf-Klasse.

Beispiel:

new SparkConf().set("spark.driver.memory","8g") 

2- Mit Funken Senden: stellen Sie sicher, nicht die gleiche configuraiton im Code zu setzen (Programatically wie 1) und beim Tun Funke vor. Wenn Sie die Einstellungen bereits programmatisch konfiguriert haben, wird jede in Spark-submit erwähnte Job-Konfiguration, die sich mit (1) überschneidet, ignoriert.

Beispiel:

spark-submit --driver-memory 8g 

3- durch die Funken defaults.conf: Falls keine der oben genannten wird diese Einstellungen die Standardwerte sein.

Beispiel:

spark.driver.memory  8g