Run HIVE auf S3?

Question

Ich möchte SQL Abfragen auf S3 Dateien/Eimer durch HIVE ausführen. Ich habe keine Ahnung, wie Setup zu tun ist. Schätze deine Hilfe.

Answer 1

Sie zuerst eine EXTERNAL TABLE erstellen, die das Datenformat und zeigt auf die Stelle in Amazon S3 definiert:

CREATE EXTERNAL TABLE s3_export(a_col string, b_col bigint, c_col array<string>) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
LOCATION 's3://bucketname/path/subpath/'; 

Sie können dann aus der Tabelle mit den normalen SELECT Befehle, zum Beispiel:

SELECT b_col FROM s3_export 

Alternativ können Sie Amazon Athena verwenden, um Hive-like-Abfragen erneut Daten in Amazon S3 auszuführen, ohne dass sogar ein Hadoop-Cluster erforderlich ist. (Es basiert tatsächlich auf Presto syntax, die Hive sehr ähnlich ist.)