Google Big Query - Datum-partitionierte Tabellen mit eventuellen Daten

Question

Unser Anwendungsfall für BigQuery ist ein wenig einzigartig. Ich möchte anfangen, Date-Partitioned Tables zu verwenden, aber unsere Daten sind sehr wahrscheinlich. Es wird nicht eingefügt, wenn es auftritt, aber schließlich, wenn es dem Server zur Verfügung gestellt wird. Manchmal kann dies Tage oder sogar Monate dauern, bevor irgendwelche Daten eingefügt werden. Daher ist das Attribut _PARTITION_LOAD_TIME für uns nutzlos.

Meine Frage gibt es eine Möglichkeit, ich kann die Spalte angeben, die wie das _PARTITION_LOAD_TIME-Argument handeln würde und immer noch die Vorteile einer Date-Partitioned-Tabelle haben? Wenn ich dies manuell emulieren könnte und BigQuery entsprechend aktualisieren würde, dann könnte ich Date-Partitioned-Tabellen verwenden.

Wer hat hier eine gute Lösung?

Answer 1

Sie müssen keine eigene Spalte erstellen.
_PARTITIONTIME Pseudospalte wird immer noch für Sie arbeiten!
Das einzige, was Sie tun müssen, ist das Einfügen/Laden entsprechenden Datenstapel in entsprechende Partition durch Verweis nicht nur Tabellenname, sondern Tabelle mit Partition Dekorator - wie Yourtable $ 20160718 Auf diese Weise können Sie Daten in die Partition laden, die es gehören