Vorhandene Partition in HIVE einbinden

Question

Wie Sie vorhandene Partitionen zusammenführen und zu einer Partition machen. Für ex: Ich habe Partitionen auf Jahr Spalte wie Jahr = 2011, Jahr = 2012, Jahr = 2013, Jahr = 2014.

Meine Anforderung besteht darin, Partitionen von 2011 bis 2013 Partitionen zusammenzuführen. So dass ich nur 2 Partitionen 2013 und 2014 haben kann.

Bitte helfen.

Regards, Manoj

Answer 1

1) Tabelle neue Ziel erstellen

2) Einfügen von Daten in Zieltabelle mit einer dynamischen Partition Laden:

insert overwrite table partition (partition_year) 
select col1, col2 ..., case when year between 2011 and 2013 then 2013 
          when year >=2014 then 2014 
         end as partition_year from source_table 

3) fallen SOURCE_TABLE

Answer 2

Wenn Ihre Partitionierungsspalte year ist als STRING definiert, dann können Sie einfach ...

1. eine neue Partition erstellen für year=History(zum Beispiel)
2. bewegen brutal die Datendateien aus Verzeichnissen wie .../year=2011/ auf das neue Verzeichnis .../year=History/
3. die Partitionen löschen, die jetzt leer sind