Was ist der richtige Weg, um spark-env.sh vor dem Ausführen von Spark-Shell zu bearbeiten?

Question

Ich funke auf meiner lokalen Windows-Maschine. Ich kann die Funkenschale erfolgreich starten.

Ich möchte die Datei Spark-env.sh im Conf/Ordner bearbeiten. Was ist der richtige Weg, um der Datei spark-env.sh Werte hinzuzufügen?

Zum Beispiel wenn ich der Variablen SPARK_EXECUTOR_MEMORY einen Wert hinzufügen möchte, wie geht das? Am zwischen verschiedenen Antworten verwirrt, die 1. SPARK_EXECUTOR_MEMORY verfügbar sind = „2G“ 2. Export

Answer 1

Die spark-env.sh ist ein regelmäßiger Bash-Skript, die für Unix, so auf einer Windows-Installation wird es nie abgeholt bekommen.

Auf Windows-, werden Sie eine spark-env.cmd Datei im Verzeichnis conf haben müssen und stattdessen die folgende Syntax verwenden:

set SPARK_EXECUTOR_MEMORY=2G 

Auf Unix, wird die Datei spark-env.sh und Sie werden aufgerufen werden müssen Sie jede Ihrer Eigenschaften mit export (zB: export SPARK_EXECUTOR_MEMORY=2G)

Answer 2

Sie müssen export verwenden müssen jede Konfiguration in *.sh Datei hinzuzufügen. So in spark-env.sh Datei Verwendung folgenden Beispiel

export SPARK_MASTER_IP=192.165.5.1 
export SPARK_EXECUTOR_MEMORY=2g 
#OR export SPARK_EXECUTOR_MEMORY=2G 

Keine Notwendigkeit, doppelte Anführungszeichen für Werte zu verwenden.