können wir dynamische Verzeichnisstruktur in Oozie-Koordinator erstellen?

Question

Ich möchte einen Event-gesteuerten Oozie-Koordinator erstellen. aber der Verzeichnispfad ändert sich regelmäßig. Ich möchte das Verzeichnis im Code nicht hart codieren.

<datasets> 
     <dataset name="test_co" frequency="${coord:minutes(120)}" initial-instance="${coordStartDate}" timezone="${timezone}"> 
      <uri-template>**${nameNode}/dynamicName**</uri-template> 
      <done-flag>_OK</done-flag> 
     </dataset> 
    </datasets> 

Wie kann ich laufe Shell-Skript, bevor diese Aktion ausgelöst wird, erstellt es die Ordnernamen und überprüfen, ob OK-Datei in diesem Ordner vorhanden ist oder nicht?

Answer 1

Oozie unterstützt die Erstellung dynamischer Verzeichnisstrukturen, d. H. Datierte Verzeichnisse mit Koordinator-Datasets (wenn möglich mit verwenden). z.B.

<datasets> 
    <dataset name="logs" frequency="${coord:hours(1)}" initial-instance="2009-  01-01T01:00Z" timezone="UTC"> 
    <uri-template>hdfs://bar:9000/app/logs/${YEAR}${MONTH}/${DAY}/${HOUR}</uri-template> 
    </dataset> 
</datasets> 

Nach oben Oozie Code läuft heute viz.22-03-2017 16.00 Uhr Die Struktur Verzeichnis wäre wie: hdfs://bar:9000/app/logs/2017/03/22/16