JobTracker Eigenschaft in Job.properties von Oozie

Question

Ich benutze Hadoop-2.7.2 und Oozie-4.0.1, was sollte der JobTracker Wert in der Datei job.properties von Oozie Workflow sein. Ich habe diesen Link erwähnt;

http://hadooptutorial.info/apache-oozie-installation-on-ubuntu-14-04/

, die besagt, dass in GARN Architektur der Job Tracker auf 8032 Port läuft und ich bin zur Zeit diese verwenden. Aber in mapred-site.xml von hadoop habe ich den Wert hdfs: // localhost: 54311 für Job-Tracker-Eigenschaft.

Ich bin verwirrt, kann mir jemand erklären oder einige nützliche Links für die Installation von oozie und laufenden Jobs auf oozie.

Momentan kann ich keine Workflow-Jobs auf oozie ausführen, es befindet sich längere Zeit im Status "Running" und wird dann mit einem Verbindungsfehler angehalten. Job DAG wird auch nicht generiert, es wirft einige UI-Ausnahmen auf.

Bitte helfen Sie mir jemand dabei.

Answer 1

In Ihrer Eigenschaftendatei übergeben Sie einfach die Resorucemanager Adresse, die Sie im Faden site.xml konfiguriert haben oder direkt mit der Resourcemanager-Adresse in workflow.xml Datei als

 <job-tracker>localhost:8032</job-tracker> 

analysieren Während des Laufen Eigenschaften, die Sie in Datei benötigen Geben Sie an, auf welchem ​​Host der Oozie-Server ausgeführt wird. Ich denke, in diesem Teil hatten Sie keine Probleme. Fügen Sie dann die Fehlermeldung ein und aktualisieren Sie die Frage.

edited: Konfigurationen benötigt in Garn-site.xml sein

<property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
     <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
    <description>NM Webapp address.</description> 
    <name>yarn.nodemanager.webapp.address</name> 
    <value>${yarn.nodemanager.hostname}:8042</value> 
    </property> 
    <property> 
    <description>hostname </description> 
    <name>yarn.nodemanager.hostname</name> 
    <value>localhost</value> 
    </property> 

man entweder Hostnamen oder die lokalen Host für Pesudo Knoten-Cluster angeben. für HA-Cluster müssen die folgenden

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

Answer 2

in Produktionsumgebung, wahrscheinlich Sie einen Cluster Hoch availbility Garn konfiguriert haben. In diesem Fall sollte die Oozie Job Tracker-Konfiguration in job.properties der Konfigurationswert yarn.resourcemanager.cluster-id sein.

ein Schnitt meiner Garn Konfiguration:

<property> 
       <name>yarn.resourcemanager.ha.enabled</name> 
       <value>true</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.cluster-id</name> 
       <value>datayarn</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.ha.rm-ids</name> 
       <value>resourcemanager1,resourcemanager2</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.hostname.resourcemanager1</name> 
       <value>11.11.11.11</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.hostname.resourcemanager2</name> 
       <value>11.11.11.12</value> 
     </property> 

So sollte der Wert sein Jobtracker: datayarn