Wie bekomme ich Fortschritte beim Laden der BQ-Datei?

Wie können wir beim Importieren einer großen CSV-Datei (oder einer anderen Datei) in BigQuery den Fortschritt des Imports ermitteln? Wenn wir zum Beispiel eine 1 TB-Datei haben und den Befehl import csv verwenden, möchte ich nicht nur zehn Stunden warten, bis die Datei importiert wird. Wie können wir Fortschritte erzielen, oder ist das nicht möglich?Wie bekomme ich Fortschritte beim Laden der BQ-Datei?

https://cloud.google.com/bigquery/loading-data

Im Moment sind wir nicht in der Lage zu erhalten, bis die CSV-Datei

In Bezug auf Fortschrittsbalken geladen wurde:

spezifische Statistiken

laden Aufgabe nie zurückgegeben wird, während Aufgabe ist in Bearbeitung. Statistiken enthalten nur die Start-/Endzeit und die Java-API analysiert sie stattdessen in die CopyStatistics-Klasse.

{ 
"kind": "bigquery#job", 
"etag": "\"smpMas70-D1-zV2oEH0ud6qY21c/crKHebm6x2NXA6pCjE8znB7dp-E\"", 
"id": "YYY:job_l9TWVQ64YjKx7BgDufu2gReMEL0", 
"selfLink": "https://www.googleapis.com/bigquery/v2/projects/YYY/jobs/job_l9TWVQ64YjKx7BgDufu2gReMEL0", 
"jobReference": { 
    "projectId": "YYY", 
    "jobId": "job_l9TWVQ64YjKx7BgDufu2gReMEL0" 
}, 
"configuration": { 
    "load": { 
    "sourceUris": [ 
    "gs://datadocs/afdfb50f-cbc2-47d4-985e-080cadefc963" 
    ], 
    "schema": { 
    "fields": [ 
     ... 
    ] 
    }, 
    "destinationTable": { 
    "projectId": "YYY", 
    "datasetId": "1aaf1682dbc2403e92a0a0ed8534581f", 
    "tableId": "ORIGIN" 
    }, 
    "createDisposition": "CREATE_IF_NEEDED", 
    "writeDisposition": "WRITE_EMPTY", 
    "fieldDelimiter": ",", 
    "skipLeadingRows": 1, 
    "quote": "\"", 
    "maxBadRecords": 1000, 
    "allowQuotedNewlines": true, 
    "sourceFormat": "CSV" 
    } 
}, 
"status": { 
    "state": "RUNNING" 
}, 
"statistics": { 
    "creationTime": "1490868448431", 
    "startTime": "1490868449147" 
}, 
"user_email": "[email protected]" 
}

Ladestatistiken werden erst am Ende zurückgegeben, wenn die gesamte CSV-Datei importiert wurde.

Wie erhalten wir den Fortschritt, während es hochgeladen wird?

Quelle

2017-03-29 David542

Check out statistics.load.outputBytes

Per Dokumentation - während eine Last Job in dem Fahrzustand ist, kann dies Wert

ändern Sie können damit experimentieren - wenn dies als Fortschritt genutzt werden können Metrik über Anruf an Jobs: get

Quelle

2017-03-29 21:31:26

Nein, das scheint nicht zu funktionieren - siehe aktualisierte Frage bitte. – David542

Ich habe gerade mit viel kleineren Datei experimentiert und bekam die gleiche Erfahrung, aber dachte, es könnte wegen der kleinen Datei sein - in der Hoffnung, dass dies für 1 TB Datei anders wäre. Danke für die Aktualisierung mit Ihren Ergebnissen! Ich denke, die in der Dokumentation erwähnte "Änderung" ist entweder nicht korrekt (weniger wahrscheinlich) oder relevant für Multi-Datei-Lastszenario - hatte nie eine Chance, damit zu spielen, wie in meiner Umgebung, wenn wir Dateien laden (was nicht mehr so häufig ist) Streaming) stellen wir sicher, dass sie bis zu 256 MB groß sind und dann auf unserer Seite Fortschritte gemacht haben –

Wie bekomme ich Fortschritte beim Laden der BQ-Datei?

Antwort

Verwandte Themen