Wie ändere ich den spark.ui.port?

Question

Ich benutze Spark-Submit und versuchte, dies in der JAR-Datei mit .setExecutorEnv("spark.ui.port", "4050") auf den Funkenkontext zu tun, aber es versuchte immer 4040 zu schlagen. Ich habe dann versucht, eine --conf spark.ui.port=4050 nach spark-submit und vor --class CLASSNAME, aber das tat nicht arbeiten Sie entweder dieses Mal und sagen "Error: Unrecognized option '--conf'". Wie komme ich hier zurecht? Der eigentliche Fehler, auf den ich stoße, ist, dass es einen aktiven Spark-Server gibt, den andere nutzen, der verhindert, dass dieser Spark-Submit den Anlegesteg-Server startet. Es trifft dann nicht auf andere Ports, also versuche ich es zu erzwingen.

Answer 1

--conf spark.ui.port=4050 ist eine Spark 1.1-Funktion. Sie können es in Ihren Codes wie zum Beispiel festlegen:

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050") 
val sc = new SparkContext(conf)