lokalen csv in bigquery hochladen - sdk console

Question

Ich benutze BQ Shell in der SDK-Konsole, um eine CSV nach BQ hochzuladen. Wie verwende ich eine lokale Datei für die Datenquelle & Tabellenschema? Diese Tools wurden im August 2017 installiert, also neuste Versionen.

Befehl Ich versuche, (dies ist die Vorlage): bq Last

Zieltabelle ich habe.

Gibt es ein Beispiel wofür data_source_uri & table_schema aussehen, wenn Sie auf lokale Dateien verweisen?

ich erfolgreich eine Tabelle, die den Web-UI verwenden, aber es hat eine Grenze von 10 Millionen Dateien & jetzt ich

Answer 1

einen größeren Tisch legen will Wenn Sie bq load --help ausführen können Sie bereits einen guten Blick über die Verwendung von Dieser Befehl für Ihre Bedürfnisse. Weitere Informationen finden Sie unter docs, in dem jede Methode beschrieben wird, die der Lade-Ressource zugeordnet ist.

Beispiel Laden der Datei von der Festplatte zu BQ:

bq load --skip_leading_rows=1 dataset.test1 test.csv schema.json 

test.csv:

user,id 
'user1',1 
'user2',2 

schema.json:

[{"name": "user", "type": "STRING"}, {"name": "id", "type": "INTEGER"}] 

Sie das gleiche für das Laden von Dateien tun könnte von Ihrem GCS so:

bq load dataset.table gs://bucket/folder/*.csv schema.json 

Um zu verstehen, wie Sie Ihr Schema definieren, habe ich versucht, eine Art Leitfaden here zu schreiben, hoffentlich ist es einfach genug, um zu verstehen, wie man sie definiert.