Spark-Jobs können nicht mit Oozie

Question

bereitgestellt werden. Ich muss einen Spark-Job rund um die Uhr laufen lassen und dafür benutze ich Oozie. Um dies zu tun, habe ich eine workflow.xml und job.properties Dateien geschrieben, die die notwendigen Informationen enthalten, um sie aufzurufen.

Allerdings, wenn ich versuche, den Oozie Job mit diesem zu senden:

oozie job –config /home/oozie/tst/job.properties -run 

Ich erhalte die folgende Fehlermeldung, die sehr klar:

java.io.IOException: configuration is not specified 
     at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816) 
     at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1055) 
     at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686) 
     at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639) 
     at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225) 
configuration is not specified 

Das Problem hierbei ist, dass die Konfigurationsdatei (job.properties) existiert lokal auf dem angegebenen Pfad. Ich auch PUT das Verzeichnis, das beide Dateien und .jar im HDFS enthält.

Irgendeine Idee warum ist das scheitern?

Ist Oozie das beste Werkzeug für diese Aufgabe, die ich habe?

Answer 1

Die Konfigurationsparameter lokalen Pfad nicht HDFS nimmt. überprüfen job.properties in /home/oozie/tst/job.properties

Check job.properties oozie.wf.application.path=PATH_TO_HDFS_PATH_WHERE_WORKFLOW.XML_IS_PRESENT enthalten

plus Ich sehe den Bindestrich (-) in der Konfigurationsparameter gegeben ist anders dann Bindestrich (-) in Lauf Parameter

Answer 2

den Host in Ihrem Befehl angeben

oozie job --oozie http://your_host:11000/oozie -config /home/oozie/tst/job.properties -run 

11000 ist deafult Port