Athena: Kopfzeile mit LazySimpleSerde überspringen

Question

Möchten Sie wissen, ob es möglich ist, die Kopfzeile in org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe in Aws Athena zu überspringen. Ich habe versucht tblproperties ('skip.header.line.count' = '1') aber funktioniert nicht. Ich Header es funktioniert mit OpenCSVSerDe, aber es scheint nur string Datentyp zu unterstützen, die viel Arbeit in der Abfrage enden wird.

Answer 1

Ich habe versucht, nur die folgende:

eine CSV-Datei erstellen und laden Sie sie auf S3:

breed_id, breen_name, category 
1,pug,toy 
2,German Shepard,working, 
3,Scottish Terrier,Working 

Führen Sie das folgende DDL in Athena:

create external table dogs (
    breed_id int, 
    breen_name string, 
    category string 
) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n' 
LOCATION 's3://XXXXXXXXXXXXXX/' 
TBLPROPERTIES ('skip.header.line.count'='1') 
; 

Dann die folgende Abfrage ausführen :

SELECT * FROM "default"."dogs" LIMIT 10; 

Ergeben des folgenden Ergebnisses: