Apache Beam: DoFn vs PTransform

Question

Sowohl DoFn und PTransform ist ein Mittel zum Definieren der Operation für PCollection. Woher wissen wir, was wann zu verwenden ist?

Answer 1

Ein einfacher Weg, um es zu verstehen ist analog zu map(f) für Listen:

• Die Funktion höherer Ordnung map wendet eine Funktion auf jedes Element einer Liste eine neue Liste der Ergebnisse zurück. Sie könnten es ein Rechenmuster nennen.
• Die Funktion f ist die Logik, die auf jedes Element angewendet wird.

Jetzt, Schalten über Beam-Spezifika zu reden, ich glaube, Sie fragen nach ParDo.of(fn), die eine PTransform ist.

• PTransform A ist eine Operation, die als Eingang und PCollections Ausbeuten PCollections als Ausgang nimmt. Beam hat nur fünf primitive Typen von PTransform, die peinlich parallele Rechenmuster einkapseln.
• ParDo ist das Berechnungsmuster der Berechnung pro Element. Es hat einige Variationen, aber Sie müssen sich darüber keine Gedanken machen.
• Die DoFn, hier habe ich es fn genannt, ist die Logik, die auf jedes Element angewendet wird.

Es ist auch die Tatsache zu denken, kann dazu beitragen, dass Sie ein DoFn schreiben zu sagen, was für jedes Element zu tun, und die Beam-Läufer stellen die ParDo Ihre Logik anzuwenden.