Wie kann ich Partitionen dynamisch aus der Hive-Tabelle löschen?

Question

Ich bin neu in Bienenstock. Kann mir bitte jemand mit dieser Anforderung helfen?

Meine Anforderung ist, Partitionen dynamisch zu löschen. Ich hatte eine SQL, die verschiedene Regionen ergibt (SQL ist unten: nach ALTER TABLE FROM). Jetzt möchte ich die Regionen löschen (partitioniert in meiner Hive-Tabelle), die von meinem SQL zurückgegeben werden.

ich in der folgenden Art und Weise versucht:

ALTER TABLE <TableName> PARTITION(region=tab.region) 
FROM 
select tab.region from 
(SELECT * from Table1) tab join 
(select filename from Table2) tab1 
on tab1.filename = tab.filename 

Es ist die unten stehende Ausnahme werfen:

'1:21:13 [ALTER - 0 row(s), 0.008 secs] [Error Code: 40000, SQL State: 42000] Error while compiling statement: FAILED: ParseException 
line 1:77 cannot recognize input near 'tab' '.' 'region' in constant 
... 1 statement(s) executed, 0 row(s) affected, exec/fetch time: 0.008/0.000 sec [0 successful, 0 warnings, 1 errors] 

jemand mir bitte helfen?

Vielen Dank im Voraus

Answer 1

Shell-Skript:

$ cat test 
#!/bin/sh 

IFS=$'\n' 

#get partitions 
part=`hive -e "select tab.region from (SELECT * from Table1) tab join (select filename from Table2) tab1 on tab1.filename = tab.filename"` 

for p in $part 
do 

    partition=`echo $p|cut -d '=' -f2` 

    echo Drooping partitions .... $partition 

    #drop partitions 
    hive -e "ALTER TABLE test_2 DROP PARTITION(region=\"$partition\")" 

done 

Ausgang:

$ ./test 
OK 
Time taken: 1.343 seconds, Fetched: 2 row(s) 
Drooping partitions .... 2016-07-26 15%3A00%3A00 
Dropped the partition region=2016-07-26 15%3A00%3A00 
OK 
Time taken: 2.686 seconds 
Drooping partitions .... 2016-07-27 
Dropped the partition region=2016-07-27 
OK 
Time taken: 1.612 seconds 

Update: ~~> Laufen sh ell Skript von hql (Dies ist nur ein POC, Änderungen nach Ihrem erf.) mit ! <command> - Executes a shell command from the Hive shell.

test_1.sh:

#!/bin/sh 
echo " This massage is from $0 file" 

hive-test.hql:

! echo showing databases... ; 
show databases; 

! echo showing tables...; 
show tables; 

! echo runing shell script...; 
! /home/cloudera/test_1.sh 

Ausgabe:

$ hive -v -f hive-test.hql 
showing databases... 

    show databases 
OK 
default 
retail_edw 
sqoop_import 
Time taken: 0.997 seconds, Fetched: 3 row(s) 
showing tables... 

    show tables 
OK 
scala_departments 
scaladepartments 
stack 
stackover_hive 
Time taken: 0.062 seconds, Fetched: 4 row(s) 
runing shell script... 
This massage is from /home/cloudera/test_1.sh file