Ausführen von Sqoops mit Oozie

Question

Ich habe 2 Sqoops, die Daten von HDFS zu MySQL lädt. Ich möchte sie mit Oozie ausführen. Ich habe gesehen, dass Oozie eine XML-Datei ist. Wie kann ich es konfigurieren, damit ich diese Sqoop ausführen kann? Demonstration mit Schritten wird geschätzt?

Zwei sqoops sind:

1.

sqoop export --connect jdbc:mysql://localhost/hduser --table foo1 -m 1 --export-dir /user/cloudera/bar1 

2.

sqoop export --connect jdbc:mysql://localhost/hduser --table foo2 -m 1 --export-dir /user/cloudera/bar2 

Dank.

Answer 1

Sie müssen es nicht über eine Shell-Aktion ausführen. In oozie gibt es eine separate Aktion. Hier ist, was Sie in Ihrem workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="oozie-wf"> 
    <start to="sqoop-wf1"/> 
    <action name="sqoop-wf1"> 
     <sqoop xmlns="uri:oozie:sqoop-action:0.2"> 
       <job-tracker>${jobTracker}</job-tracker> 
       <name-node>${nameNode}</name-node> 
       <command>export --connect jdbc:mysql://localhost/hduser --table foo1 -m 1 --export-dir /user/cloudera/bar1</command> 
     </sqoop> 
     <ok to="sqoop-wf2"/> 
     <error to="fail"/> 
    </action> 
    <action name="sqoop-wf2"> 
     <sqoop xmlns="uri:oozie:sqoop-action:0.2"> 
       <job-tracker>${jobTracker}</job-tracker> 
       <name-node>${nameNode}</name-node> 
       <command>export --connect jdbc:mysql://localhost/hduser --table foo1 -m 1 --export-dir /user/cloudera/bar2</command> 
     </sqoop> 
     <ok to="end"/> 
     <error to="fail"/> 
    </action> 
    <kill name="fail"> 
     <message>Failed, Error Message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
    </kill> 
    <end name="end"/> 
</workflow-app> 

this helps ..

Answer 2

Sie können hierfür eine verwenden. Grundsätzlich müssen Sie eine Shell-Aktion erstellen bieten & die Befehle, die Sie in Ihrer Frage gestellt, da die Befehle innerhalb der Aktion

Probe Oozie Aktion ausgeführt werden:

<action name="SqoopAction"> 
    <shell xmlns="uri:oozie:shell-action:0.1"> 
     <job-tracker>[JOB-TRACKER]</job-tracker> 
     <name-node>[NAME-NODE]</name-node> 
     <prepare> 
      <delete path="[PATH]"/> 
      ... 
      <mkdir path="[PATH]"/> 
      ... 
     </prepare> 
     <job-xml>[SHELL SETTINGS FILE]</job-xml> 
     <configuration> 
      <property> 
       <name>[PROPERTY-NAME]</name> 
       <value>[PROPERTY-VALUE]</value> 
      </property> 
      ... 
     </configuration> 
     <exec>[SHELL-COMMAND]</exec> 
     <argument>[ARG-VALUE]</argument> 
      ... 
     <argument>[ARG-VALUE]</argument> 
     <env-var>[VAR1=VALUE1]</env-var> 
      ... 
     <env-var>[VARN=VALUEN]</env-var> 
     <file>[FILE-PATH]</file> 
     ... 
     <archive>[FILE-PATH]</archive> 
     ... 
     <capture-output/> 
    </shell> 

In Ihrem Fall würden Sie ersetzen [SHELL-COMMAND] mit dem, was Sqoop Befehl mögen Sie, wie laufen:

<exec>sqoop export --connect jdbc:mysql://localhost/hduser --table foo1 -m 1 --export-dir /user/cloudera/bar1</exec> 

auch könnten Sie alle Ihre Sqoop Befehle in einem Shell-Skript setzen, und das Skript stattdessen auszuführen. Dies ist besser, wenn Sie viele Befehle ausführen müssen.