So importieren Sie eine JSON-Daten in den Google Cloud-Datenspeicher. Importieren von Daten in BigQuery von Datastore aus Code

Question

Ich möchte eine Pipeline implementieren, wo ich Daten in Cloud Datastore speichern und inkrementell in BigQuery lesen, BigQuery-Daten in Tf-Datensätze konvertieren und dann ML Tf-Algorithmen ausführen. Ich bekomme keine saubere Methode zum Importieren einer JSON-Datei in den Datenspeicher und zum erneuten Exportieren der Daten aus Python-Code nach BigQuery.

Answer 1

Ich konnte nach und nach eine Antwort auf das Laden von JSON-Datei in den DataStore finden. Was ich coudn't noch zu finden ist, schrittweise Laden es zu BigQuery

Die Antwort darauf, wie JSON-Daten in Datenspeicher zu importieren ist: https://cloud.google.com/datastore/docs/reference/data/rest/v1/Entity

Verschiedene Arten von Google-Datenspeicher unterstützt werden, können Sie hier:

https://cloud.google.com/appengine/docs/standard/python/datastore/entities#Python_Properties_and_value_types