Mehrere Treiber-java-Optionen in Funken einreichen

Question

ich bin mit Funken-SUBMIT in einem Bash-Skript wie folgt angegeben:

CLUSTER_OPTIONS=" \ 
--master yarn-cluster \ 
--files  file:///${CONF_DIR}/app.conf#app.conf,file:///${CONF_DIR}/log4j-executor.xml#log4j.xml \ 
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.xml" \ 
--driver-java-options '-Dlog4j.configuration=file:log4j.xml -Dconfig.file=app.conf' \ 
--keytab ${KEYTAB} \ 
--principal ${PRINCIPAL} \ 
" 

ich bin, dass app conf finden nicht auf dem Pflücken wird, wie ich diese Fehlermeldung:

1)

:

Error: Unrecognized option: -Dconfig.file=file:app.conf' 

ich habe auch verschiedene Möglichkeiten, um kapseln die Treiber-java-Optionen versucht

2)

--driver-java-options "-Dlog4j.configuration=file:log4j.xml -Dconfig.file=file:transformation.conf" \ 


./start_app.sh: line 30: -Dconfig.file=file:app.conf --keytab /app/conf/keytab/principal.keytab --principal principal : No such file or directory 

Wie kann ich mehr Treiber-java-Optionen angeben, für die Verwendung durch meinen Spark-App?

N.B. Ich bin mit Funken 1.5.0

Answer 1

Versuchen zu verwenden:

--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.xml -Dconfig.file=app.conf" 

In meinem Fall funktioniert es großes --files entlang, wie Sie es

verwendet

Möchten Sie folgendes hinzufügen:

--conf "spark.executor.extraJavaOptions=...." 

, wenn die Dateien von den Vollstreckern zugegriffen werden

hilft es Hoffnung, Reg ards