Wie man Parkett Datei zu einem Bienenstock Tisch laden

Question

Ich habe einen sqoop Import von MySQL gemacht und bekam eine CSV-Datei. Der Inhalt der Datei wie unten

1,KM,Skypark,null,2017-02-21 14:40:49.0,null 
2,KM,null,null,2017-02-21 14:40:49.0,null 
3,HD,null,null,2017-02-21 14:40:49.0,null 
4,AB,SD,USA,2017-02-21 14:40:49.0,null 
5,ABa,SaD,US,2017-02-21 14:40:49.0,null 
6,DF,SDF,SF,2017-02-21 14:40:49.0,null 
7,DF,SDF,SF,2017-02-21 14:41:44.0,null 
8,DF,SDF,SF,2017-02-21 14:44:55.0,null 
9,DF,SDF,SF,2017-02-21 14:47:59.0,null 

Nun ist die gleiche Sqoop Import ich als Parkett-Datei getan haben. Ich habe eine Datei mit .parquet-Erweiterung.

Ich möchte eine Tabelle mit der Parkettdatei erstellen. Ich habe folgendes versucht, aber es gab mir einen anderen seltsamen Fehler.

create external table test(id int, name string, address string, nation string, date string) row format delimited fields terminated by ',' stored as parquet; 

load data inpath '/user/XXXXX/test' into table test; 

Wie bekomme ich den Parketttisch, um mir genaue Ergebnisse als die CSV-Tabelle zu geben.

Angenommen, ich habe eine inkrementelle Daten in den gleichen Ordner, wo ich die vorherigen Daten gespeichert. Ich habe Datensätze für ID 10 und 11. Wenn ich jetzt die Daten aus dem Ordner in die Parkett-Tabelle lade, bekomme ich die inkrementellen Daten als erste Datensätze und dann die Anfangsdaten.

Ich meine die Tabelle wie

sagen, sieht

10 .............. 
11 .............. 
1 .............. 
2 .............. 

Mag ich der erste Datensatz erste und inkrementelle Daten zuletzt

sein wollen Wie können wir das erreichen?

Answer 1

Sie nicht brauchen die folgende Anweisung angeben, wenn Sie Parkett Tabellen erstellen

Zeilenformat getrennte Felder durch beendet ‚‘

wie Parkett gespeichert angeben genug

create external table test(id int, name string, address string, nation string, date string) stored as parquet location '/user/XXXXX/test';