Apache Spark: Python-Funktion serialisiert automatisch

Question

Ich ging durch die Apache Spark Dokumentation. Spark docs for python sagt der folgende:

... Wir Funktionen Python passieren kann Funken, der zusammen mit allen Variablen serialisiert automatisch sind , die sie sich beziehen ...

Ich verstehe nicht ganz, was es bedeutet. Muss es etwas vom RDD-Typ machen?

Was bedeutet es im Zusammenhang mit Funken?

Answer 1

Die serialization ist erforderlich, wenn PySpark verwendet wird, da die lokal definierte Funktion auf jedem der Arbeiterknoten remote ausgeführt werden muss. Dieses Konzept bezieht sich nicht unbedingt auf den RDD-Typ.