Wie unterscheidet man eine Operation in Spark ist eine Transformation oder eine Aktion?

Question

Ich lehne Funken vor kurzem und verwirrt über die Zugbildung und Aktion Operation. Ich lese die Funken-Dokumentation und ein Buch über Funken, und ich weiß, dass die Aktion einen Funke Jon im Cluster auslösen wird, während Transformation nicht funktioniert. Aber die Operationen von rdd, die in sparks api doc aufgelistet sind, geben nicht an, ob es sich um eine Transforamtion oder eine Aktionsoperation handelt.

Zum Beispiel ist Reduzieren eine Aktion, auf der anderen Seite reduceByKey ist eine Transformation! Warum könnte das sein?

Answer 1

Das können Sie erkennen, indem Sie sich den Rückgabetyp ansehen. Eine Aktion gibt einen Nicht-RDD-Typ zurück (normalerweise Ihre gespeicherten Werttypen), während eine Umwandlung einen RDD[Type] zurückgibt, da es sich immer noch nur um eine Darstellung Ihrer Berechnung handelt.