Kann ich Daten aus einer CSV-Datei mithilfe der API an eine vorhandene BigQuery-Tabelle anhängen?

Question

Ich versuche mit Google Apps Script Daten mithilfe der BigQuery-API in eine BigQuery-Tabelle einzufügen. Die anzuhängenden Daten sind derzeit im CSV-Format. Bisher habe ich festgestellt, dass Sie stream data into BigQuery mit tabledata().insertAll() verwenden können, aber es sieht so aus, dass erfordert JSON-Format und ich bin nicht einmal davon überzeugt, dass es tun würde, was ich brauche. Gibt es eine einfache Lösung, die ich vermisse? Da ich weiß, dass BigQuery das Anhängen unterstützt, konzentriert sich alles, was ich finde, auf das Laden von Daten in neue Tabellen.

EDIT: Klingt wie tabledata().insertAll() in der Tat die richtige Methode zu verwenden ist (hoffentlich). Also konvertierte ich meine Datei stattdessen in json, aber jetzt bin ich fest, wie ich sie benutzen soll. Ich versuche das, was ich mache, von der reference page for it abzustützen, aber es ist immer noch sehr verwirrend für mich. Zur Zeit bekomme ich einen 404 Fehler, wenn ich meinen Code starte und es den fetch Aufruf trifft. Ich versuche einen URL-Abruf durchzuführen, vielleicht sollte ich das nicht tun? Ich bin wirklich neu in APIs und ich finde immer noch heraus, wie sie funktionieren. Hier ist der Code Ich habe derzeit das ist diese verursacht:

var tableId = 'users'; 
var file = DriveApp.getFileById(jsonId); 
//I don't know if a blob is the type that I want or not, but I'm trying it 
var data = file.getBlob(); 

var url = 'https://www.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/tableId/insertAll' 
.replace("PROJECT_ID", params.PROJECT_ID) 
.replace("DATASET_ID", params.DATASET_ID) 
.replace("tableId", tableId); 

var response = UrlFetchApp.fetch(url, { 
"kind": "bigquery#tableDataInsertAllRequest", 
"skipInvalidRows": 0, 
"ignoreUnknownValues": 0, 
"rows": [ 
    { 
    "json": data 
    } 
], 
headers: { 
    Authorization: 'Bearer ' + service.getAccessToken() 
} 
}); 


var result = JSON.parse(response.getContentText()); 
Logger.log(JSON.stringify(result, null, 2)); 

Answer 1

Dies ist nicht der direkteste von csv zu BQ JSON, aber es ist ein Code, den ich, dass ich verwenden, sollten Sie auf der BigQuery Seite helfen.

var PROJECT_ID = "xxx"; 
var DATASET_ID = "yyy"; 
function convertValuesToRows(data) { 
    var rows = []; 
    var headers = data[0]; 

    for (var i = 1, numColumns = data.length; i < numColumns; i++) { 
    var row = BigQuery.newTableDataInsertAllRequestRows(); 
    row.json = data[i].reduce(function(obj, value, index) { 
     obj[headers[index]] = value; 
     return obj 
    }, {}); 
    rows.push(row); 
    }; 
    return rows; 
} 

function bigqueryInsertData(data, tableName) { 
    var insertAllRequest = BigQuery.newTableDataInsertAllRequest(); 
    insertAllRequest.rows = convertValuesToRows(data); 
    var response = BigQuery.Tabledata.insertAll(insertAllRequest, PROJECT_ID, DATASET_ID, tableName); 
    if (response.insertErrors) { 
    Logger.log(response.insertErrors); 
    } 
} 

Auf diese Weise können Sie jede GAS Stil Wertmatrix liefern (von getValues ​​oder in der Tat Utilities.parseCsv)

convertValuesToRows wird ein 2D-Array von Strings (mit Header) nehmen und kodieren sie in dem Format BigQuery benötigt, zum Beispiel

[["H1", "H2", "H3"], 
[1 , 2 , 3 ], 
[4 , 5 , 6 ]]; 

wird die int insertRows Anfrage hinzugefügt wird er Form von Schlüssel-Wert-Paaren, dh

[{H1: 1, H2: 2, H3: 3}, 
{H1: 4, H2: 5, H3: 6}] 

Sie brauchen nur um die erste Darstellung als dass zu befürchten ist, was Sie in bigQueryInsertData passieren zusammen mit dem Tisch Name, dem die Daten zugeführt werden sollen (Das Schema der Tabelle muss mit dem übereinstimmen, was Sie senden), und die Konverterfunktion wird von innen aufgerufen.

Utilities.parseCsv bereits einen 2D-Array von Strings zurück, so dass Sie im Grunde bigQueryInsertData(Utilities.parseCsv(data.getDataAsString()), "myTable") nennen