Funke Auftrag senden mit Konfigurationsdatei

Question

Ein Job wird mit spark-submit im Garn-Client-Modus gesendet. Eine Eigenschaftendatei, AA.conf, befindet sich in $ current_dir.

(1) die AA_With_All_Jars.jar wird auf alle Knoten kopiert? (2) AA.conf wird auf alle Knoten kopiert? (3) Wenn eine Ausgabedatei zu $ ​​current_dir/data generiert wird, wird es funktionieren?

Wenn der Modus auf Garn-Cluster geändert wird, was passiert? gleich ?

spark-submit \ 
--conf "spark.driver.extraClassPath=$current_dir/AA_With_All_Jars.jar" \ 
--class "MyMain" \ 
--master yarn-client \ 
--num-executors 4 \ 
--driver-memory 16g \ 
--executor-cores 10 \ 
--executor-memory 6g \ 
$current_dir/AAA-assembly.jar $current_dir T-2 2>&1 | tee ./my_log 

Dank

Answer 1

nicht sicher, ich verstehe Ihre Frage

Von dem, was ich verstehe Sie, indem Sie den Pfad der Konfigurationsdatei der Funke vorlegen tun. Der beste Ansatz, den ich vorschlage, ist, die JAR-Dateien und Konfigurationsdateien in die hdfs zu verschieben und dann zu senden.

Answer 2

unten ist meine Antwort

(1) die AA_With_All_Jars.jar wird an alle Knoten kopiert werden?

wird ja diese an alle Knoten wird

(2) AA.conf an alle Knoten kopiert werden kopiert werden?

nicht nur Gläser Datei

(3), wenn eine Ausgabedatei wird auf $ current_dir/Daten erzeugt kopiert werden, wird es funktionieren?

der Ausgang der Funken Job ist, können Sie auf HDFS schreiben, so können Sie von jedem Knoten zugreifen