BigQuery schneller Weg Millionen Zeilen einzufügen

Question

Ich benutze bq Befehlszeile und versuche, große Menge von JSON-Dateien mit einer Tabelle pro Tag einzufügen.

Mein Ansatz:

1. Liste aller Datei push (Datum benannt YYYMMDDHHMM.meta1.meta2.json)
2. concatenate am selben Tag file => YYYMMDD.ndjson
3. Split YYYMMDD sein. ndjson Datei (500 Zeilen Dateien bei jedem) YYYMMDD.ndjson_splittedij

Schleife über YYYMMDD.ndjson_splittedij und führen

bq insert --template_suffix=20160331 --dataset_id=MYDATASET TEMPLATE YYYMMDD.ndjson_splittedij 

Dieser Ansatz funktioniert. Ich frage mich nur, ob es möglich ist, es zu verbessern.

Answer 1

Wieder verwirren Sie Streaming-Einsätze und Job-Ladungen. Sie müssen nicht jede Datei in 500 Zeilen aufteilen (gilt für das Streaming-Einfügen).

Sie können für Einsatz sehr große Dateien haben, die Befehlszeile Registerkarte Beispiele hier aufgeführt: https://cloud.google.com/bigquery/loading-data#loading_csv_files

Sie nur laufen müssen:

bq load --source_format=NEWLINE_DELIMITED_JSON --schema=personsDataSchema.json mydataset.persons_data personsData.json 

JSON-Datei komprimiert unter 4 GB, wenn dekomprimiert werden müssen muss unter 5 TB liegen, größere Dateien sind also besser. Versuchen Sie immer mit einer 10-Zeilen-Beispieldatei, bis der Befehl funktioniert.