Ich führe meine Spark Streaming-Anwendung im Yarn-Cluster-Modus aus. Ich möchte die Anzahl der Executoren auf nur einen Knoten beschränken. Wie macht man das in Spark?Festlegen der Anzahl der Executoren für meine Spark Streaming-Anwendung
können Sie die Anzahl der Testamentsvollstrecker steuern, indem zwei Möglichkeiten:
Option 1: direkt mit Funken Senden Befehl:
spark-submit -class ClassName --num-executors 1 .... other parameters
Option 2: Innen Conf Flagge mit Spark-Befehl Senden:
spark-submit --class ClassName --conf "spark.executor.instances=1" .... other parameters.
Sie können m Erz detaillierte Informationen über das gleiche von Submitting Applications.
Löst es Ihr Problem? – Hokam
Ihre Frage ist ein wenig verwirrend. Möchten Sie die Anzahl der Executoren oder die Ausführung aller Executoren auf nur einem Knoten steuern? – Hokam
Nein Ich möchte nur einen Executor und einen Treiber haben – Luckylukee