Ausführen von Unix-Befehlen in Hive-Skript

Question

Ich schreibe Hive-Skript und ich muss eine Datei in hdfs in Hive-Skript lesen und den Dateiinhalt in Hive-Abfrage verwenden. Die Datei in hdfs enthält das Datum in einer einzigen Zeile.

Ich weiß, wir können Unix-Befehle in Hive-Shell verwenden mit '!' Aber ich muss den folgenden Befehl verwenden und es funktioniert nicht mit!

while IFS= read -r line; do snapshot_id=$line done < <(hadoop fs -cat /hdfs_path/date.txt) 

select * from <tablename> where datestring = $snapshot_id 

Ist es möglich. ?

Answer 1

Dies ist ähnlich zu dem, was Sie brauchen

#!/bin/bash 

old_IFS=$IFS 
IFS=$'\n' 
for line in $(hadoop fs -cat /hdfs_path/date.txt) 
do 
    hive -f "select * from test where datestring = $line" 
done   
IFS=$old_IFS 

hoffe, das hilft