BigQuery select * außer verschachtelte Spalte

Question

Was ich tun möchte, sollte einfach sein: Angesichts eines BigQuery-Schemas möchte ich alle Tabellen (einschließlich verschachtelter) bis auf einige auswählen. Das Schwierige ist, dass BigQuery eine verschachtelte Struktur hat und die wenigen, die ich ausschließen möchte, in anderen Datensätzen verschachtelt sind.

Ich habe die SELECT * Ausnahme-Klausel in der BigQuery documentation gefunden, die sehr vielversprechend scheint. Das Problem ist, dass der geschachtelte Strukturausschluss nicht unterstützt wird.

Um zum Beispiel der öffentlichen github_nested Dataset wir eine Abfrage wie

schreiben

#standardSQL 
SELECT * except (payload) FROM `bigquery-public-data.samples.github_nested` LIMIT 1000 

Das tut, was wir durch das Entfernen der Nutzlast Datensatz aus den Ergebnissen erfolgreich erwarten. Stellen wir uns nun vor, dass wir payload.comment nur entfernen wollen und dabei den Rest des Payload-Datensatzes in der Antwort erhalten. Ich versuchte

#standardSQL 
SELECT * except (payload.comment) FROM `bigquery-public-data.samples.github_nested` LIMIT 1000 

Dies schlägt jedoch fehl.

Wer weiß von einem Weg, dies zu erreichen?

Danke!

Answer 1

Die Art und Weise, an das Problem zu denken ist, dass Sie immer noch eine payload Spalte im Ergebnis wollen, aber Sie möchten, dass es eine andere Struktur hat, nämlich comment auszuschließen. In diesem Fall können Sie SELECT * REPLACE verwenden, um die Änderung vorzunehmen. Zum Beispiel

#standardSQL 
SELECT * REPLACE ((SELECT AS STRUCT payload.* EXCEPT (comment)) AS payload) 
FROM `bigquery-public-data.samples.github_nested` 
LIMIT 1000;