Einstellung der Executor-Umgebungsvariablen in Spark

Question

Ich verwende die Spark-Defaults-Klassifizierung [http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html]] und die folgende Eigenschaft: - , um Umgebungsvariablen im Garnmaster zu setzen.

Ich wollte wissen, ob diese Variablen auch in den Executor-Instanzen vorhanden sind? Wenn nicht, gibt es einen Weg, das Gleiche zu tun?

Answer 1

Umgebungsvariablen, die durch die Eigenschaft spark.yarn.appMasterEnv.FOO = "foo" festgelegt wurden, sind auf Executor-Instanzen nicht vorhanden.

Ich benutze die unten Klassifizierung Umgebungsvariablen auf Testamentsvollstrecker und Master-Knoten Set-up:

[ 
    { 
    "Classification": "yarn-env", 
    "Properties": {}, 
    "Configurations": [ 
     { 
     "Classification": "export", 
     "Properties": { 
      "VARIABLE_NAME": VARIABLE_VALUE, 
     } 
     } 
    ] 
} 
]