spark-launcher

5Hitze

2Antwort

Wie man während des Startens von einer anderen Anwendung auf Apache Funke Launcher Job ordnungsgemäß wartet?

Ich versuche zu vermeiden "while (true)" -Lösung, wenn ich warte, bis meine Spark Apache Job erledigt ist, aber ohne Erfolg. Ich habe Spark-Anwendung, die einige Daten verarbeiten und ein Ergebnis in

0Hitze

1Antwort

SparkLauncher Run spark-submit mit Garn-Client mit Benutzer als Bienenstock

Versuchen, Funke-Job mit masterURL=yarn-client zu starten. Verwenden von SparkLauncher 2.10. Der Java-Code ist in Nifi-Prozessor verpackt. Nifi läuft derzeit als root. Wenn ich Garn-list mache, sehe i

0Hitze

1Antwort

SparkLauncher: App-Argumente werden als nicht erkannte Option behandelt

Ich verwende SparkLauncher, um eine Funke-Anwendung aus Code zu übermitteln. Map<String, String> env = new HashMap<String, String>(); env.put("SPARK_PRINT_LAUNCH_COMMAND", "1"); System.o

1Hitze

2Antwort

Spark Launcher-Ausgabe in Datei speichern

Ich übertrage meine Jobs zu einem Funke-Cluster (mit YARN) programmatisch mit einer Java-App und dem Spark Launcher (Starten des Jobs mit startApplication(), nicht starten()). Ich habe gerne die gesam

1Hitze

1Antwort

Spark Launcher kann Funke Job nicht auslösen?

Ich bin ein Funke Standalone Cluster, in dem ich 3 Knoten habe. Einer ist Meister und die anderen zwei sind Arbeiter. Ich kopierte den Job in allen drei Knoten an der Position /home/bizruntime/***.jar

1Hitze

1Antwort

Scala, SparkLauncher kann das Programm nicht ausführen "/etc/spark/conf.cloudera.CD-SPARK_ON_YARN-brkvSOzr/yarn-conf/topology.py"

Der folgende Code wurde als jar erstellt und mithilfe des Befehls sparkSubmit through putty ausgeführt . Es funktioniert gut. var conf = new SparkConf().setAppName("ABC") val sc = new SparkContext(c