2013-12-11 13 views
7

Die BQ-Quotenrichtlinie von Google gibt an, dass pro Projekt maximal 10.000 Ladevorgänge zulässig sind.Wie kann ich die aktuell verwendete Quote in BQ sehen?

Unter Google APIs Website kann ich die Kontingente für mein Projekt sehen, aber die Spalte "Used" ist konsistent bei 0%. (Obwohl ich weiß, dass ich das Maximum erreicht habe)

Wie kann ich die Anzahl der Ladeanforderungen sehen, die ich am letzten Tag ausgeführt habe? Genau zu welcher Stunde wird das Kontingent zurückgesetzt?

Danke.

Antwort

3

Sie können nicht herausfinden, wie viele Ladevorgänge Sie pro Tag verwendet haben (abgesehen davon, dass Sie Ihre Jobs am letzten Tag aufgelistet und die Anzahl der Ladevorgänge gezählt haben). Wir überlegen, der Seite "Quoten" auf der Google Cloud Console-Seite weitere Daten hinzuzufügen. Wir fügen der Liste Ladegrenzen hinzu.

In BigQuery gibt es verschiedene Arten von Kontingentbeschränkungen. Einige sind harte Grenzen, die verhindern sollen, dass Benutzer zu viel von unserer begrenzten Kapazität nehmen. Die Grenze für gleichzeitige "große" Abfragen ist eine davon, da große Abfragen eine Menge Ressourcen verbrauchen und wir nicht möchten, dass ein Kunde die Leistung anderer Benutzer beeinträchtigen kann. Harte Quoten erhöhen sich im Laufe der Zeit, wenn wir die Kapazität erhöhen.

Es gibt andere Kontingente, die "weiche" Kontingente sind, die vorhanden sind, um die effiziente Verwendung von BigQuery zu fördern. Die Ladegrenze ist eine dieser "weichen" Kontingenten, die verhindern soll, dass Benutzer viele kleine Aktualisierungen vornehmen oder auf viele kleine Tabellen schreiben.

Wenn Sie viele kleine Aktualisierungen durchführen, sollten Sie besser den Streaming-Insert-Mechanismus (tabledata.insertAll()) verwenden, mit dem Sie Zeilen an BigQuery senden können, die sofort zu Ihren Tabellen hinzugefügt werden. Wenn Sie viele kleine Ladejobs haben, die an dieselbe Tabelle anhängen, bedeutet dies, dass die Tabelle erst dann optimiert wird, wenn der periodische Koaleszenzvorgang von BigQuery auf Ihrer Tabelle ausgeführt wird. Tabellen, die mit tabledata.insertAll() geschrieben werden, werden dagegen viel effizienter ausgeschrieben und müssen nicht zusammengeführt werden.

Wenn Sie an viele kleine Tabellen schreiben, kann dies ein Hinweis darauf sein, dass Sie eine Abfrage über eine große Anzahl von Tabellen planen. Viele kleine Tabellen in einer Abfrage bedeuten, dass BigQuery viel mehr Arbeit pro Abfrage ausführen muss und weniger Flexibilität beim Speichern der Daten hat.

Es gibt viele andere Gründe, dass Sie mehr als 10k Lasten pro Projekt pro Tag haben möchten. Wenn Sie dies tun, möchten wir Ihren Anwendungsfall besser verstehen. Wenn Sie eine Support-Vereinbarung mit der Unterstützung von Google Cloud haben (https://cloud.google.com/support/), kann Ihr Support-Kontakt mit Ihnen zusammenarbeiten, um herauszufinden, welche Anforderungen Sie haben und ob eine Quotenschwelle sinnvoll ist.

Verwandte Themen