Quellcodeverwaltung BigQuery-Datensatz mit GitHub

Question

Gibt es eine elegante Möglichkeit, die Tabellen-/Ansichtsdefinitionen eines Datasets zwischen BigQuery und GitHub (vielleicht etwas ähnlich wie Visual Studios -> Datenbankprojekt) zu verwalten, um Konsistenz und Rückverfolgbarkeit über mehrere Entwickler hinweg zu gewährleisten?

Ich kann sehen, wie wir manuell Skripts erstellen können und sie zu einem Repo hinzufügen, aber ich möchte den Aufwand der manuellen Verwaltung dieser Dateien mit der unvermeidlichen Trennung von BigQuery vermeiden.

Stellt BigQuery nativ alle zu unterstützenden Funktionen bereit?

1. erstellenden Skript aus einer vorhandenen BigQuery Umgebung zu extrahieren Tabellen/View-Definitionen
2. diese Skripte in einem Datenbank-Projekt zu speichern, die synchron mit BigQuery
3. gehalten werden konnten die Freigabe von Daten-Set/Tabelle/View-Definition automatisieren Skript eine neue Umgebung zu schaffen
4. Vergleich eines Datensatzes BigQuerys Definition auf die Quelle gesteuert (GitHub) -Modell Metadaten Diskrepanzen zu identifizieren

Answer 1

B igQuery da es sich um einen Managed Service handelt, stellt es Endpoints zur Verfügung, über die der Besitzer des Projekts eigene Ops erstellen kann.

Es ist kein Server, es ist ein Warehouse-Dienst, und es bietet nicht nativ all diese Automatisierungen.

Sie sollten ständig ein aktives Repo mit allen gesicherten Informationen behalten, damit Sie bei einer eventuell unterbrochenen oder erforderlichen Wiederherstellung die gesamte Automatisierung haben, um Ihr Datasat zu erstellen und alle Ereignisse wiederzugeben. Dies ist für jeden Managed Service von entscheidender Bedeutung.