Ich versuche AWS Athena zu verwenden, um CSV-Dateien auf S3 abzufragen, es gibt mehrere Datumsspalten in der CSV-Datei, aber die Spaltentypen in Athena haben kein "Datum", ich habe versucht, "timestamp" zu verwenden, aber dann konnten die Datumsspalten nicht abgefragt werden.Wie definiert man die Spalte "Datum" in AWS Athena?
Irgendwelche Vorschläge?
Eigentlich hat Athena eine Spalte Datum.
Hier ein kurzes Beispiel einer Tabelle mit Daten.
CSV:
2016-10-12,2016-10-01,hello,world1
2016-10-13,2016-10-01,hello,world2
2016-10-14,2016-10-01,hello,world3
2016-10-15,2016-10-01,hello,world4
DDL:
CREATE EXTERNAL TABLE test (
startdate date,
enddate date,
val1 string,
val2 string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = ',',
'field.delim' = ','
) LOCATION 's3://test-data/test/';
QUERY:
select * from test where startdate > DATE'2016-10-13';
Amazon Athena verwendet Apache Hive. Apache Hive erlaubt primitive_type von 'date' in Hive 0.12.0 und höher. Ich habe getestet und bestätigt, dass es mit der aktuellen Athena-Implementierung funktioniert.
Link zur Dokumentation: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL
Ja, ich bemerkte ich die DDL verwendet außer Kraft setzen kann „Datum“ Typen, aber von der Benutzeroberfläche gibt es nicht „Datum“ in der Spalte Typ Drop-Down, nicht sicher, ob das ist etwas absichtlich oder nicht. – ciphor
Tatsächlich bietet die Benutzeroberfläche diese Option nicht. Ich habe das bisher nicht benutzt. –