Ändern Sie die minimale Heap-Größe von Executor in Funken auf Garn

Ich möchte die ursprüngliche/minimale Heap-Größe meiner Executoren ändern, während Funke auf Garn läuft. Gerade jetzt wirft es die folgende Ausnahme,Ändern Sie die minimale Heap-Größe von Executor in Funken auf Garn

java.lang.Exception: spark.executor.extraJavaOptions nicht Speichereinstellungen zu verändern, erlaubt

ich folgende --conf "spark.executor.extraJavaOptions=-Xms4096m" verwende, während meine Funken Shell läuft .

Ich verwende Spark 1.6.0. Ich schätze die Hilfe sehr!

Quelle

2016-12-01 Adi Kish

ein bisschen über spark.executor.extraJavaOptions vom docs

Beachten Sie, dass es illegal ist, mit dieser Option Spark-Eigenschaften oder Heap-Größe Einstellungen einzustellen. Spark-Eigenschaften sollten mithilfe eines SparkConf-Objekts oder der Datei Spark-defaults.conf festgelegt werden, die mit dem Spark-Submit-Skript verwendet wird. Einstellungen für die Heap-Größe können mit spark.executor.memory festgelegt werden.

Versuchen Sie, diese --conf "spark.executor.memory=4g"

Quelle

2016-12-01 20:07:51 David

dies mir eine statische Zuweisung von 4g auf dem Testamentsvollstrecker mit einem -Xmx von 4g gibt, aber ich möchte meine Xms auch einzustellen. –

Ich glaube, Heap-Größe ist für Executoren in Spark behoben. In Java ausgedrückt, ist 'spark.executor.memory = 4g' gleichbedeutend mit der Einstellung von Xms und Xmx auf 4g – David

Ich schätze nicht, weil meine Garn-Executor-Logs scheinbar bei etwa 192m beginnen und dort weiter zunehmen. –

Ändern Sie die minimale Heap-Größe von Executor in Funken auf Garn

Antwort

Verwandte Themen