Spark-Mechanismus des Startens von Executoren

Question

Ich weiß, dass nach dem Start der Spark-Anwendung der Treiberprozess Executor-Prozesse auf Worker-Knoten startet. Aber wie genau macht es das (auf niedriger Ebene des Zündquellencodes)?

Welche Spark Klassen/Methoden implementieren diese Funktionalität? Kann mich jemand auf diese Klassen verweisen?

Answer 1

Sieht auf diesen beiden Klassen: StandaloneAppClient und StandaloneSchedulerBackend

ich hoffe, dass es für Sie hilfreich ist