Partitionieren einer Tabelle

Question

BigQuery erlauben Partitionierung, nur nach Datum, zu diesem Zeitpunkt.

Lässt anzeigen Ich habe eine 1 Milliarde Tabellenzeilen mit inserted_timestamp Feld. Dieses Feld hat Daten von vor 1 Jahr.

Was ist der richtige Weg, um vorhandene Daten in eine neue partitionierte Tabelle zu verschieben?

Edited

Ich sah es eine elegante Lösung auf Java mit Version 2.0 < Sharding BigQuery output tables auch bei BigQuery partitioning with Beam streams erarbeitet wurde, die Tabellennamen (oder Partition Suffix) Windowing-Daten parametrisieren ist.

Aber ich vermisse BigQueryIO.Write auf 2.x Strahl Projekt auch gibt es keine Beispiele über Fensterzeit von Python serialisierbare Funktion erhalten.

Ich habe versucht, Partitionen auf Rohr zu machen, aber wenn mit einer großen Anzahl von Partitionen fehlschlägt (läuft mit 100 aber mit 1000 fehlschlägt).

Dies ist mein Code so weit wie ich konnte:

   ( p 
       | 'lectura' >> beam.io.ReadFromText(input_table) 
       | 'noheaders' >> beam.Filter(lambda s: s[0].isdigit()) 
       | 'addtimestamp' >> beam.ParDo(AddTimestampDoFn()) 
       | 'window' >> beam.WindowInto(beam.window.FixedWindows(60)) 
       | 'table2row' >> beam.Map(to_table_row) 
       | 'write2table' >> beam.io.Write(beam.io.BigQuerySink(
         output_table, #<-- unable to parametrize by window 
         dataset=my_dataset, 
         project=project, 
         schema='dia:DATE, classe:STRING, cp:STRING, import:FLOAT', 
         create_disposition=CREATE_IF_NEEDED, 
         write_disposition=WRITE_TRUNCATE, 
            ) 
           ) 
       ) 

p.run() 

Answer 1

der Funktionalität sind alle notwendigen dies in Breite zu tun gibt, obwohl es zur Zeit auf das Java SDK beschränkt werden kann.

Sie würden BigQueryIO verwenden. Insbesondere können Sie DynamicDestinations verwenden, um eine Zieltabelle für jede Zeile zu bestimmen.

Aus dem Beispiel von DynamicDestinations:

events.apply(BigQueryIO.<UserEvent>write() 
    .to(new DynamicDestinations<UserEvent, String>() { 
     public String getDestination(ValueInSingleWindow<String> element) { 
      return element.getValue().getUserId(); 
     } 
     public TableDestination getTable(String user) { 
      return new TableDestination(tableForUser(user), 
      "Table for user " + user); 
     } 
     public TableSchema getSchema(String user) { 
      return tableSchemaForUser(user); 
     } 
     }) 
    .withFormatFunction(new SerializableFunction<UserEvent, TableRow>() { 
    public TableRow apply(UserEvent event) { 
     return convertUserEventToTableRow(event); 
    } 
    }));