SPARK_WORKER_INSTANCES Einstellung funktioniert nicht in Spark Standalone Windows

Question

Ich versuche, einen eigenständigen Spark 2.0-Server für die parallele Verarbeitung einer Analysefunktion einzurichten. Um dies zu tun, möchte ich 8 Arbeiter haben, mit einem Kern pro Arbeiter. Die Spark Master/Worker-Benutzeroberfläche scheint jedoch nicht meine Konfiguration zu reflektieren.

Ich verwende:

• Standalone-Spark-2.0
• 8 Cores 24gig RAM
• Windows Server 2008
• pyspark

spark-env.sh Datei ist so konfiguriert, wie folgt:

SPARK_WORKER_INSTANCES = 8 
SPARK_WORKER_CORES = 1 
SPARK_WORKER_MEMORY = 2g 

Funken defaults.conf wird wie folgt konfiguriert:

spark.cores.max = 8 

I startet den Master:

spark-class org.apache.spark.deploy.master.Master 

I beginnen die Arbeiter durch diesen Befehl 8-mal in einer Stapeldatei ausgeführt wird:

spark-class org.apache.spark.deploy.worker.Worker spark://10.0.0.10:7077 

Das Problem ist, dass die Benutzeroberfläche wie folgt angezeigt wird:

Wie Sie sehen können, hat jeder Arbeiter 8 Kerne anstelle des 1 Kerns, den ich ihm über die Einstellung SPARK_WORKER_CORES zugewiesen habe. Außerdem spiegelt der Speicher den gesamten Maschinenspeicher wider, nicht die jedem Arbeiter zugewiesene 2g. Wie kann ich Spark so konfigurieren, dass es im Standalone-Modus mit 1 Core/2g pro Worker ausgeführt wird?

Answer 1

Ich reparierte das Hinzufügen der Kerne und Speicherargumente zum Arbeiter selbst.

start spark-class org.apache.spark.deploy.worker.Worker --cores 1 --memory 2g spark://10.0.0.10:7077