2016-08-22 2 views
1

Was ist die effizienteste Möglichkeit, eine Batch-Einfügung in Python mit Google Bigquery Api durchzuführen. Ich habe versucht, eine Stream-Zeile mit dieser code auf einem großen Dataset (1 000 000 +) durchzuführen, aber es dauert eine Weile, sie einzufügen. Gibt es eine effizientere Möglichkeit, ein großes Dataset in Python einzufügen?Batch mit Google Bigquery und Python

  • Die Tabelle existiert bereits, und sie enthält Informationen.
  • Ich habe eine Liste von 1 Millon Datenpunkte, die ich einfügen möchte
  • Ich möchte es mit Python tun, weil ich den Code viele Male wiederverwenden werde.

Antwort

1

Ich glaube nicht, Streaming (Insert Alle API) macht Sinn in Ihrem Fall
Sie lieber versuchen sollte Load Job
Siehe Python-Code Beispiel in documentation