Client-seitiger Paketcode zum Übergeben an eine RDD

Question

Eine Scala-Funktion wird an rdd.map() übergeben. Die Logik ist zu komplex, um in der Funktion selbst enthalten zu sein, und stattdessen ist die Logik in einer Skala object eingekapselt. Das Objekt ist Teil der Anwendung, die den Funken Kontext instanziiert, wie im folgenden Beispiel:

def func(s.String) = { 
    // LogicEngine is object which, given a string, returns a different string 
    LogicEngine.process(s) 
} 

val sc = new SparkContext(config) 

val rdd = sc.textFile(“…”) 

val rdd2 = rdd.map(func) 

Die Frage ist, was ist der richtige Weg, dies zu tun, damit sich an den Knoten, auf denen übergeben wird die rdd selbst wird verarbeitet (so dass es zusammen mit dem an die rdd übergebenen Funktionscode lebt), anstatt auf dem Client zu sitzen?

Dank

Answer 1

Das ist, was Sie bereits haben. Jeder Knoten wird beim ersten Zugriff eine eigene Kopie von instanziieren und verwenden.