Wie hoch ist die erwartete Aufnahmezeit für BigQuery Streaming-Einsätze?

Question

Das klingt wie eine Wiederholung von this year-old issue, aber ich frage mich, ob das BQ-Team einen weiteren Einblick hat, warum Streaming-Inserts so lange dauern könnten. (Ich komme auf eine Stunde für nur 9K Reihen.)

Nicht sicher, ob es relevant ist, aber die einzige 'ungewöhnliche' Sache, die ich tue, benutzt python-pandas 'to_gbq' Eigenschaft. Ich habe tatsächlich mit @felipehoffa zusammengearbeitet, um diesen Ansatz zu beschreiben (siehe https://github.com/pmueller1/s3-bigquery-conga). Ich verwende die Anweisung if_exists = 'append', aber die Verzögerung tritt beim ersten Versuch auf (d. H. Wenn die Tabelle noch nicht erstellt wurde). Nicht sicher, ob das hilfreich ist oder nicht, aber ich dachte, ich würde es da rauswerfen.

Answer 1

Ich denke, ich muss meine eigene Antwort auf diese eine schreiben. Wir haben bei unserem Streaming immer wieder 8 Stunden mehr Zeit in Anspruch genommen, also sind wir zu den günstigeren, zuverlässigeren "Lade" -Funktionen für unsere Dateien gewechselt. Ich bin ein ziemlich guter BigQuery-Benutzer, aber es gibt etwas im Streaming, das noch nicht zur Primetime bereit ist. Wir können nicht sagen, was es ist, aber wenn es funktioniert, funktioniert es großartig. Wenn dies nicht der Fall ist, landen Sie viel zu lange, um Ihre Daten verfügbar zu machen. Bis wir unterscheiden können, welcher Fall passieren wird, lassen wir uns vorerst davon abhalten.