Partition Spalt gleich aktuelles Datum in Hive

Question

Ich versuche, Daten in eine Hive Tabellenpartition mit zu laden.

Der Code ist wie folgt:

CREATE EXTERNAL TABLE URL(url STRING, clicks INT) 
COMMENT 'Unique Clicks per URL' 
PARTITIONED BY(dt STRING) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '\t' 
LINES TERMINATED BY '\n' 
STORED AS TEXTFILE 
LOCATION '/mypath/URL'; 

LOAD DATA INPATH '/inputpath/' INTO TABLE URL 
PARTITION (dt=date_format(CURRENT_TIMESTAMP, "yyyy.MM.dd HH:mm:ss")); 

ich folgende Fehlermeldung bin Gettin:

FAILED: ParseException line 4:14 cannot recognize input near 
'date_format' '(' 'CURRENT_TIMESTAMP' in constant 

Ich versuchte

mit

SET hive.exec.dynamic.partition.mode=nonstrict; 

aber nichts geändert.

Warum funktioniert es nicht? Wie setze ich das aktuelle Datum als Partitionsspalte?

Vielen Dank im Voraus.

Lorenzo

Answer 1

Warum die Dateien verschieben, wenn Sie die externe Tabelle auf ihnen schaffen?
LOAD DATA INPATH bewegt sich nur die Dateien (HDFS Metadatenoperation) „wie sie ist“, um die Lage der Tabelle.

Warum die Partitionsspalte als String definieren, wenn es eindeutig ein Datum?

CREATE EXTERNAL TABLE URL ... PARTITIONED BY(dt DATE) ... 

Warum versuchen Sie nicht-ISO-Formate (YYYY.MM.DD) zu benutzen?
ISO-Datumsformat ist yyyy-MM-dd

---

Da es die Partitionsinformationen scheint nicht Teil der Daten, die Sie 3 Möglichkeiten:

1.
eine Konstante verwenden (kein Ausdruck erlaubt, einschließlich Funktionen), z

LOAD DATA INPATH '/inputpath/' INTO TABLE URL PARTITION (dt=date '2017-03-04'); 

2.
Erstellen Sie eine zusätzliche Tabelle, URL_STG, ähnlich wie URL aber ohne Partition und es verwenden, um die Partitionen dynamisch einzufügen.

set hive.exec.dynamic.partition.mode=nonstrict; 

insert into URL select *,current_date from URL_STG; 

3.

Versorgung das Datum als Variable vom CLI

hive --hivevar dt=$(date +"%Y-%m-%d") -e \ 
'LOAD DATA INPATH '\''/inputpath/'\'' INTO TABLE URL PARTITION (dt=date '\''${hivevar:dt}'\'')'