Ist das möglich, meine Streaming-Daten bei BigQuery Vorschau?Ist das möglich, meine Streaming-Daten in BigQuery Vorschau
Ich benutze bigquery, um meine Streaming-Daten zu speichern, aber diese Daten gehen in den Streaming-Puffer, was bedeutet, dass ich diese Daten nicht in der Vorschau anzeigen kann. Gibt es eine Möglichkeit, diese Daten vor einer Abfrage in der Vorschau anzuzeigen?
Wenn das Problem Kosten verursacht, können Sie Tabellen-Dekoratoren verwenden, mit denen Sie die "letzten x Millisekunden" scannen können, anstatt eine ganze Tabelle/Spalte zu scannen.
Zum Beispiel dieser Abfrage zeigt Ihnen die letzten 15 Minuten von GDELT Aufzeichnung, zu einem Preis von 132 MB (statt 2,91 TB ohne @-900000- Dekorateur):
SELECT *
FROM [gdelt-bq:[email protected]]
LIMIT 1000
Sie sehen können Puffer Statistiken Streaming über Tables: get API - in streamingBuffer Eigenschaft
oder in Web-UI
Wie Felipe bemerkt, können Sie es mit den Bereichsoperatoren fälschen, solange Sie die Daten nicht auf andere Weise hinzugefügt haben. Für eine * leere * (oder kleine) Tabelle können Sie auch 'bq head' in der Befehlszeile verwenden. Der Inhalt des Streaming-Puffers wird in tabledata.list-Operationen angezeigt. Für große Tabellen ist dies nur unpraktisch. –
das ist eine kleine Überraschung für mich, dass Zeilen im Puffer für die Abfrage zugänglich sind. Irgendwie dachte ich, sie sind nicht bevor sie aus dem Puffer gespült wurden. Ich muss das irgendwie testen, damit ich mich mit dieser Idee wohl fühle. Danke für die Hervorhebung thi spoint für mich –
Das spezifische Verhalten ist hier dokumentiert: https://cloud.google.com/bigquery/streaming-data-into-bigquery#dataavailability –
ich sehe w meinst du, aber ich dachte, wenn ich meine BigQuery nur an meine Mitarbeiter weitergeben möchte und sie selbst einige Abfragen durchführen wollen, ist es nützlich, wenn sie meine Streaming-Tabellenstruktur visualisieren können, bevor sie ihre Abfragen erstellen. Von Ihrer Antwort glaube ich, dass ich eine kleine Abfrage für sie erstellen werde, um meine Tabellenstruktur zu visualisieren. –