hdfs entfernen Verzeichnisse älter als 7 Tage

Question

I Archiv Verzeichnisstruktur wie /archivedData/Mappings/Web/NOW/, wo NOW aktuelles Datum: NOW=$(date +"%Y%m%d%H%M").

Ich muss NOW Verzeichnisse löschen, die älter als 7 Tage von hdfs sind.

Answer 1

kann dies über awk und date Befehl erreicht wird, ist unter dem Shell-Skript

#!/bin/bash 
hadoop fs -ls /archivedData/Mappings/Web/NOW/| while read path; 
do 
dir_date=`echo $path | awk '{print $6}'`|cut -d'/' -f5 
purge_criteria=`date +"%Y%m%d%H%M" --date "7 days ago"` 
     if [ $dir_date -lt $purge_criteria ]; then 
      hadoop fs -rm $f 
     fi 
done