So erhalten Sie die Kosten für eine Abfrage in BQ

Question

In BigQuery, wie können wir die Kosten für eine bestimmte Abfrage erhalten? Wir machen eine Menge High-Compute-Abfragen - https://cloud.google.com/bigquery/pricing#high-compute - die oft die verarbeiteten Daten mit 2 oder mehr multipliziert.

Gibt es eine Möglichkeit, die "Kosten" einer Abfrage mit der Ergebnismenge zu erhalten?

Answer 1

Für die API oder die CLI Sie die Wohnung --dry_run verwenden könnte, die die Abfrage statt läuft es überprüft, etwa so:

cat ../query.sql | bq query --use_legacy_sql=False --dry_run 

Ausgang:

Abfrage erfolgreich validiert. Unter der Annahme, dass die Tabellen nicht geändert werden, verarbeitet mit dieser Abfrage 9614741466 Datenbytes.

Für Kosten, teilen nur die Gesamtzahl der Bytes von 1024^4, multiplizieren Sie das Ergebnis durch 5 und dann multiplizieren mit der Billing Tier Sie sind in, und Sie haben die erwarteten Kosten ($ 0.043 in diesem Beispiel).

Wenn Sie bereits die Abfrage ausgeführt und wollen wissen, wie viel es verarbeitet, können Sie ausführen:

Und es wird Bytes Billed und Billing Tier zurückkehren (sieht aus wie Sie noch die Mathematik zu tun haben zur Kostenberechnung).

Für WebUI können Sie BQMate installieren und es kostet bereits Kosten für Sie (aber Sie müssen noch für Ihre Billing Tier anpassen). Als abschließende Empfehlung ist es manchmal möglich, die Performance der Analysen erheblich zu verbessern, indem man einfach die Abfrageprozessdaten optimiert (hier in unserem Unternehmen gab es mehrere hochgradig rechenintensive Abfragen, die Daten normalerweise nur mithilfe von Funktionen wie ARRAYS and STRUCTS verarbeiten) Beispiel).