Ich bin neu zu funken. Jetzt kann ich Funke 0.9.1 auf Garn (2.0.0-cdh4.2.1) laufen lassen. Aber es gibt kein Protokoll nach der Ausführung.Wo sind Sparks auf YARN?
Der folgende Befehl wird zum Ausführen eines Funkenbeispiels verwendet. Protokolle werden jedoch nicht wie in einem normalen MapReduce-Job im Verlaufsserver gefunden.
SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \
--class SimpleApp --args yarn-standalone --num-workers 3 --master-memory 1g \
--worker-memory 1g --worker-cores 1
Wo finde ich die Protokolle/stderr/stdout?
Gibt es einen Ort, an dem die Konfiguration eingerichtet werden kann? Ich habe eine Ausgabe von Konsole finden sagen:
14/04/14 18:51:52 INFO-Client: Befehl zur ApplicationMaster: $ JAVA_HOME/bin/java -Server -Xmx640m -Djava.io.tmpdir = $ PWD/tmp org.apache.spark.deploy.yarn.ApplicationMaster - Klasse SimpleApp --jar./spark-beispiel-1.0.0.jar --args 'Garn-Standalone' --Worker-Speicher 1024 - Arbeiter-Kerne 1 --num-workers 3 1> <LOG_DIR>/stdout 2> < LOG_DIR>/stderr
In dieser Zeile Hinweis 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr
Wo kann LOG_DIR eingestellt werden?
Das ist nur wahr, wenn 'yarn.log-aggregation-enable' in' garn-site.xml' 'wahr' ist und die Anwendung bereits beendet ist. – thSoft
Wie bekomme ich applicationId auf Yarn innerhalb des Codes? – nish1013
Dies funktioniert nicht, wenn der Cluster sicher ist. – Sohaib