Zugriff auf Spark Web UI?

Question

Ich führe eine Spark-Anwendung lokal von 4 Knoten. wenn ich meine Anwendung renne es zeigt meine Fahrer mit dieser Adresse 10.0.2.15:

INFO Utils: Successfully started service 'SparkUI' on port 4040. 
INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.0.2.15:4040 

am Ende es laufen zeigt:

INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040 
INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped! 
INFO MemoryStore: MemoryStore cleared 
INFO BlockManager: BlockManager stopped 
INFO BlockManagerMaster: BlockManagerMaster stopped 
INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped! 
INFO SparkContext: Successfully stopped SparkContext 

Ich habe versucht, durch den Funken Web zuzugreifen: 10.0.2.15:4040 aber die Seite ist nicht zugänglich. mit der unten stehenden Adresse Versuch auch nicht geholfen hat:

http://localhost:18080 

Mit ping 10.0.2.15 das Ergebnis ist:

Send a request 'Ping' 10.0.2.15 with 32 bytes of data 

Waiting time exceeded 

Waiting time exceeded 

Waiting time exceeded 

Waiting time exceeded 

Ping statistics for 10.0.2.15: Packages: sent = 4, received = 0, lost = 4 (100% loss) 

überprüfte die Verfügbarkeit des Hafens 4040 netstat -a mit dem verfügbaren, welchen Ports zu überprüfen sind. Das Ergebnis ist wie folgt:

Active connexion: 

    Active  local address  Remote address      state 

    TCP   127.0.0.1:4040  DESKTOP-FF4U.....:0     Listening 

PS .: Bekannte, dass mein Code erfolgreich ausgeführt wird. Was könnte der Grund sein?

Answer 1

Auf die Web-Ui kann nur zugegriffen werden, während die Spark-Anwendung ausgeführt wird. Sobald die Spark-Anwendung fertig ist, hat auch die Benutzeroberfläche.

Um die Protokolle von bereits fertiggestellten und aktuell laufenden Spark-Anwendungen, die Ihnen die Spark History server verwenden zu überprüfen.