Ich habe 2 TableRow PCollection -Google Dataflow - Erstellen einer PCollection <TableRow> von mehreren PCollection < TableRow >
Aus der obigen PCollection möchte ich ein PCollection TableRow schaffen beide keyvalue-Paaren ((key1, valiue1), (key2, Wert2))
Sie können in here auf eine ähnliche Frage auf meine Antwort suchen. Sie wollen eine PCollectionList erstellen und dann abflachen:
PCollection<TableRow> validRow = ...
PCollection<TableRow> inValidRow = ...
PCollectionList<TableRow> rowList = PCollectionList.of(validRow).and(inValidRow);
PCollection<TableRow> rows = rowList.apply(Flatten.pCollections());
Hallo Matthias, Ich mag
Das ist genau das, was der oben genannte Code tut. Sie haben 2 'PCollection's von TableRows (validRow und inValidRow) und kombinieren diese in einer PCollection von TableRows, die Sie in BigQuery schreiben können. Du verwirrst mich immer noch, wenn ich mich verbinde und verkette, weil die obige Erklärung so klingt, als ob du mitmachen möchtest, während du vorher gesagt hast, du willst verketten. –
Baji, willst du ein einzelnes Element in der gesamten Sammlung? Wenn nicht, wie entscheiden Sie, welche Zeilen kombiniert werden sollen? –
Suchen Sie die beiden PCollections verketten, oder sie miteinander zu verbinden? –
Ich möchte zwei PCollection verketten. Da beide PCollection unterschiedliche Schlüssel enthält. Ich möchte eine PCollection mit key1, key2 keys erstellen und in der Bigquery-Tabelle speichern. –
Baji
Meine Frage ist, Wenn Sie diese pcollection die in BQ Tabelle schreiben möchten, dann können Sie diese pcollection separat in BigQuery schreiben. warum möchtest du diese in einer pcollection verbinden? –