Ich versuche, eine einfache Spark Java-Anwendung auszuführen. Ich kann die Anwendung ausgeführt durch Funken in unserem ClusterFehler beim Ausführen von Spark-Aktionen auf Oozie in HDP 2.5.0 (java.lang.IllegalArgumentException: Ungültige ContainerId)
meine job.properties Datei wie folgt ist einreichen:
nameNode=hdfs://auper01-01-20-01-0.prod.vroc.com.au:8020
jobTracker=auper01-02-10-01-0.prod.vroc.com.au:8050
master=yarn-cluster
queueName=default
#examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/livy
oozie.libpath=${nameNode}/user/oozie/share/lib/lib_20161001110339/spark
im oozie.libpath, ich habe zwei Dateien ist Oozie-sharelib-Funken-4.2 .0.2.5.0.0-1245.jar und eine andere ist meine Spark-Anwendung jar
Die workflow.xml-Datei befindet sich in meinem (user/livy) -Verzeichnis und ich habe auch meine Application-Jar zu diesem Verzeichnis als auch zu avoif hochgeladen bekommen nicht classfound experion für funken senden, die datei ist wie folgt:
<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkExample'>
<start to='spark-node' />
<action name='spark-node'>
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>${master}</master>
<name>Spark-Oozie</name>
<class>au.com.vroc.mdm.SimpleApp</class>
<jar>${nameNode}/tmp/simple-project/mdm-mahdi.jar</jar>
</spark>
<ok to="end" />
<error to="fail" />
</action>
<kill name="fail">
<message>Workflow failed, error
message[${wf:errorMessage(wf:lastErrorNode())}]
</message>
</kill>
<end name='end' />
</workflow-app>
I sucesfully initite Oozie kann und eine Anwendungs-ID bekommen, wenn ich zu Oozie gehen meldet mein Funke log unten Ausnahme
2017-05-26 16:51:01,880 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
java.lang.IllegalArgumentException: Invalid ContainerId: container_e20_1489119643653_0943_02_000001
at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:182)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1343)
Caused by: java.lang.NumberFormatException: For input string: "e20"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Long.parseLong(Long.java:589)
at java.lang.Long.parseLong(Long.java:631)
at org.apache.hadoop.yarn.util.ConverterUtils.toApplicationAttemptId(ConverterUtils.java:137)
at
org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:177)
... 1 more
nicht sicher hat, warum ich oben Fehlermeldung erhalten, würde jede mögliche Hilfe apprecited werden.