BigQuery-Job einfügen statt streamen

Question

Ich verwende derzeit die Stream-Option von BigQuery, um Daten in Tabellen zu laden. Tabellen, die eine Partition auf dem Datum haben, zeigen jedoch keine Partitionen an ... Ich bin mir bewusst, dass dies ein Effekt des Streaming ist.

Die Python-Code verwende ich:

def stream_data(dataset_name, table_name, data): 
    bigquery_client = bigquery.Client() 
    dataset = bigquery_client.dataset(dataset_name) 
    table = dataset.table(table_name) 

    # Reload the table to get the schema. 
    table.reload() 
    rows = data 
    errors = table.insert_data(rows) 
    if not errors: 
     print('Loaded 1 row into {}:{}'.format(dataset_name, table_name)) 
    else: 
     print('Errors:') 
     print(errors) 

Will Datum partitionierten Tabellen zeigen schließlich, und wenn nein, wie kann ich einen Einsatz Auftrag erstellen, dies zu realisieren?

Answer 1

Nicht sicher, was Sie unter "Partitionen werden nicht angezeigt" verstehen, aber wenn Sie eine partitionierte Tabelle erstellen, sehen Sie nur eine einzige Tabelle.

Der einzige Unterschied ist, dass Sie in dieser Tabelle für Datum Partitionen abfragen können, etwa so:

SELECT 
    * 
FROM 
    mydataset.partitioned_table 
WHERE 
    _PARTITIONTIME BETWEEN TIMESTAMP('2016-12-25') 
    AND TIMESTAMP('2016-12-31'); 

Wie Sie in diesem Beispiel partitionierten Tabellen haben die Meta-Spalte _PARTITIONTIME und das ist zu sehen, was Sie verwenden Wählen Sie die Partitionen, an denen Sie interessiert sind.

Für weitere Informationen, hier sind die docs erklären ein bisschen mehr über die Abfrage von Daten in partitionierten Tabellen.