Sind Bigquery-Jobprotokolle gespeichert?

Mit dem Protokollierungsdienst https://console.cloud.google.com/logs?project=xxxx&service=bigquery.googleapis.com kann ich keine Protokolle finden, die sich auf den Job für die UI- oder bq-Befehlszeile beziehen.Sind Bigquery-Jobprotokolle gespeichert?

[EDIT]

Wie @DoIT Internationale bq ls -j zeigen Liste der Aufträge vorgeschlagen, aber kein Protokoll über den Fehler

Quelle

2016-04-06 Ali SAID OMAR

Verwenden Sie den folgenden Befehl, um die Geschichte der Abfrage Jobs zur Liste:

bq ls -j

Die bq ist der Teil von Google CloudSDK hier verfügbar: https://cloud.google.com/sdk/

Quelle

2016-04-06 17:15:02

Ja, es ist das Protokoll gedruckt, aber ich muss die Ursache des Fehlers gesehen haben. Ich habe eine Datei mit 25 Millionen Zeilen geladen. Der Job ist fehlgeschlagen, ohne dass die Zeile gedruckt wurde, die den Absturz verursacht hat. –

@AliSAIDOMAR versuchen, es als '' 'ls --all -j''' zu laufen, um alle Jobs anzuzeigen, einschließlich dieser von anderen Benutzern und Dienstkonten ausgeführt. Sie müssen die Berechtigung '' 'Besitzer'' im Projekt haben, um dies zu tun. –

Um Fehlerdetails für einen bestimmten Job anzuzeigen, verwenden Sie: 'bq show -j ', und wenn Sie die rohe Antwort sehen möchten, verwenden Sie: 'bq --format = prettyjson show -j ' –

können Sie Jobs: list API verwenden, um Job-Info zu sammeln und laden Sie sie
GBQ Da es in GBQ ist - Sie können es jede mögliche Weise analysieren können Sie Leistung von BigQuery verwenden wollen
Sie entweder Ergebnis abflachen oder Original verwenden - i empfehle die Verwendung von Original, da es weniger Kopfschmerzen als keine Transformation vor dem Laden in GBQ (Sie buchstäblich nur, was auch immer Sie von API haben). Natürlich alles in einfachen app/Skript, das Sie noch

Hinweis schreiben haben: Stellen Sie sicher, dass Sie full Wert für projection Parameter

verwenden

Info über das Scheitern, wie unten vorhanden sein sollte

"errorResult": { 
    "reason": string, 
    "location": string, 
    "debugInfo": string, 
    "message": string 
    },

sehen mehr Details in https://cloud.google.com/bigquery/docs/reference/v2/jobs/list#response

Quelle

2016-04-07 15:56:21

Danke :) in der Tat mit diesem Service kann ich Job-Informationen bekommen, aber in meinem Fall "CSV-Tabelle zu viele Fehler gefunden, aufgeben. Zeile: 138130 Fehler: 21" es ist nicht genug für mich, die wahre Ursache des Fehlers zu diagnostizieren. –

Sind Bigquery-Jobprotokolle gespeichert?

Antwort

Verwandte Themen