Verwenden von tar.gz-Datei als Quelle für Amazon Athena

Question

Wenn ich * .tsv-Dateien auf Amazon S3 als Quelle für eine Athena-Tabelle definieren und OpenCSVSerde oder LazySimpleSerDe als Deserializer verwenden, funktioniert es ordnungsgemäß. Aber wenn ich * .tar.gz-Dateien definiere, die * .tsv-Dateien enthalten, sehe ich mehrere seltsame Zeilen in einer Tabelle (z. B. eine Zeile, die den tsv-Dateinamen und mehrere leere Zeilen enthält). Was ist der richtige Weg, um tar.gz-Dateien in Athena zu verwenden?

Answer 1

Das Problem ist tar, es fügt zusätzliche Zeilen hinzu. Athena kann nur * .gz Dateien öffnen, aber nicht tar. In diesem Fall muss ich * .gz anstelle von * .tar.gz verwenden.