Warum starten Sprink-Stream-Executoren zu unterschiedlichen Zeiten?

Question

Ich bin mit Spark-1.6-Streaming, die als Quelle sind

Meine Eingabeargumente kafka verwendet wie folgt:

num-executors 5 
num-cores  4 
batch Interval 10 sec 
maxRate   600 
blockInterval 350 ms 

Warum einige meiner Testamentsvollstrecker beginnen später als ein anderer ??

Answer 1

Das ist nicht Testamentsvollstrecker ist Startzeit, aber Aufgaben Startzeit.

Dies ist höchstwahrscheinlich auf Lokalitätsplanung zurückzuführen. Spark hat den Start einer Task verzögert, um den besten Executor für die Ausführung dieser Task zu finden. Überprüfen Sie die Konfiguration "spark.locality.wait" in Spark's documentation für weitere Details.