Spark Broadcast einen Wert, der zum Zeitpunkt der Kompilierung bekannt ist

Question

Ich bin ein Spark Job ausgeführt und ich habe ein Objekt Konstanten, die alle konstanten Werte enthält, die ich in meinem Programm verwende.

Als Beispiel nehmen wir an, dass wir die folgende Aufgabe haben:

object Constants{ 
    ... 
    val aSet=Set[String]("foo","bar","etc",...} 
    ... 
} 

Lohnt es sich, die Übertragung der aSet val zu den Knoten, oder ist es ihnen bereits zur Verfügung, da es Teil des Codes ist und es ist in der Kompilierungszeit bekannt?

Answer 1

Mein Verständnis ist, dass jeder Arbeiter Zugriff auf das Objekt haben wird. Einige verwandte Diskussion here.