Wie wird BigQuery Standard SQL in Dataflow verwendet?

Question

Ich möchte eine einfache Abfrage mit BigQuery Standard SQL in Datenfluss ausführen, aber ich kann nicht finden, wo diese Option aktiviert ist. Wie kann ich das machen?

pipeline.apply(Read.named(metricName + " Read").fromQuery("select * from table1 UNION DISTINCT select * from table2")); 

Wenn ich versuche, es zu laufen erhalte ich die Fehlermeldung:

2016-07-20T13:35:22.543Z: Error: (6e0ad847af078af9): Workflow failed. Causes: (fe6c7bcb1a35a057): S01:warehouse_handled_returns Read/DataflowPipelineRunner.BatchBigQueryIONativeRead+ParMultiDo(FormatData)+warehouse_handled_returns Write/DataflowPipelineRunner.BatchBigQueryIOWrite/DataflowPipelineRunner.BatchBigQueryIONativeWrite failed., (7f29f1d9435d27bc): BigQuery execution failed., (7f29f1d9435d2823): Error: 
Message: Encountered "" at line 23, column 27. 

HTTP Code: 400 

Answer 1

Sie jetzt verwenden können, Standard-SQL mit Datenfluss.

https://cloud.google.com/dataflow/model/bigquery-io

PCollection<TableRow> weatherData = p.apply(
BigQueryIO.Read 
.named("ReadYearAndTemp") 
.fromQuery("SELECT year, mean_temp FROM `samples.weather_stations`") 
.usingStandardSql(); 

Answer 2

Datenfluß-SDK für Java unterstützt 1.8.0 BigQuery Standard SQL-Dialekt in Anfang Version.

Answer 3

Bis Dataflow BigQuery Standard-SQL offiziell unterstützt, ist eine Abhilfe Abfrage mit dem folgenden Kommentar zu starten:

#StandardSQL 

Dies wird anweisen BigQuery Standard-SQL verwenden anstelle von Legacy-SQL