Apache Spark und Remote Method Invocation

Question

Ich versuche zu verstehen, wie Apache Spark hinter den Kulissen arbeitet. Nach der Codierung ein wenig in Spark bin ich ziemlich sicher, dass es implementiert als RMI Remote-Objekte, nicht wahr?

Auf diese Weise kann es sie innerhalb der Transformation ändern, wie map s, flatMap s, und so weiter. Objekte, die nicht Teil einer sind, werden einfach serialisiert und während der Ausführung an einen Arbeiter gesendet.

Im Beispiel unten, lines und tokens als entfernte Objekte, behandelt werden, während die Saite toFind einfach serialisiert und an die Arbeiter kopiert werden.

val lines: RDD[String] = sc.textFile("large_file.txt") 
val toFind = "Some cool string" 
val tokens = 
    lines.flatMap(_ split " ") 
     .filter(_.contains(toFind)) 

Bin ich falsch? Ich habe ein wenig gegoogelt, aber ich habe keinen Hinweis darauf gefunden, wie Spark intern implementiert ist.

Answer 1

Sie haben Recht. Spark serialisiert Closures, um Remote-Methodenaufrufe durchzuführen.