Daten mit der GET-Methode in Google BigQuery streamen?

Question

Ich brauche eine gute Lösung, vorzugsweise eine bestehende, wie die Google Rest API, um Daten in BigQuery zu streamen oder einzufügen. Ich möchte die POST-Methode nicht verwenden, um Daten zu senden - aus vielen Designgründen. Ich erwarte Tausende von Schreibvorgängen pro Sekunde. Die Daten werden an die Abfrageparameter von URL angehängt. Es ähnelt dem, was Google Analytics macht, indem es Analysedaten mit der Get-Methode sendet.

Answer 1

Google Cloud-Funktionen (GCF) lösten das Problem. GCF ist immer noch in der Beta-Phase, aber die meisten Google-Produkte sind sowieso in der Betaversion. GCF ist serverlos und man kann HTTP-Trigger in wenigen Codezeilen schreiben. Weitere Informationen finden Sie unter ->https://console.cloud.google.com/functions

Answer 2

haben hier ein Geschenk:

http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq

Wenn Sie irgendwelche zusätzlichen Fragen Sie mich fragen, ich mit dieser Lösung gearbeitet.

Answer 3

Ich könnte Sie auch ermutigen, etwas wie eine Dataflow-Streaming-Pipeline zu verwenden, um diese Einfügungen zu handhaben, anstatt die API direkt aufzurufen.