2016-07-11 11 views
4

Ich folgte dem Node.js Beispiel auf der Ladedaten Post Anfrage Seite (in der Nähe der unteren hier: https://cloud.google.com/bigquery/loading-data-post-request), aber ich bin auf ein Problem mit größeren Dateien stoßen. Der Beispielcode funktioniert für eine .csv von 13 MB, aber wenn ich größere Dateien versuche, ob 25 MB oder 300 MB, funktioniert es nicht. Ich sehe den folgenden Fehler:Timeout Fehler beim Laden von 300 MB Datei in BigQuery

events.js:154 throw er; // Unhandled 'error' event ^

Error: ETIMEDOUT 
    at null._onTimeout (/Users/Hertig/Development/BitDeliver/BigQuery/node_modules/request/request.js:772:15) 
    at Timer.listOnTimeout (timers.js:92:15) 

Ich dachte, dass diese Methode des Ladens von Daten größere Dateien unterstützen würde. Hat jemand anderes das erlebt? Jeder Rat zum Laden viel größerer Dateien (ca. 400 MB oder mehr) wäre willkommen.

Antwort

3

Wenn Sie große Dateien in BigQuery laden, laden Sie sie am besten zuerst in Google Cloud Storage hoch - und weisen BigQuery dann zu, sie aus Ihrem gs: // bucket/Pfad/Datei * zu lesen.

Verwandte Themen