Apache Beam: FlatMap vs Karte?

Question

Ich möchte verstehen, in welchem ​​Szenario ich FlatMap oder Map verwenden soll. The documentation schien mir nicht klar zu sein.

Ich verstehe immer noch nicht, in welchem ​​Szenario ich die Transformation von FlatMap oder Map verwenden sollte.

Kann mir jemand ein Beispiel geben, damit ich ihren Unterschied verstehen kann?

Ich verstehe den Unterschied von FlatMap vs Karte in Spark, und aber nicht sicher, ob es Ähnlichkeiten gibt?

Answer 1

Diese Transformationen in Beam sind genau wie Spark (Scala auch).

A Map Transformation abbildet aus einem PCollection von N Elementen in einer anderen PCollection von N Elementen.

A FlatMap Transformation ordnet einen PCollections von N Elemente in N Sammlung von null oder mehr Elemente, die dann in einer einzigen PCollection abgeflacht.

Als einfaches Beispiel, geschieht folgendes:

beam.Create([1, 2, 3]) | beam.Map(lambda x: [x, 'any']) 
# The result is a collection of THREE lists: [[1, 'any'], [2, 'any'], [3, 'any']] 

Während:

beam.Create([1, 2, 3]) | beam.FlatMap(lambda x: [x, 'any']) 
# The lists that are output by the lambda, are then flattened into a 
# collection of SIX single elements: [1, 'any', 2, 'any', 3, 'any']