2017-11-09 3 views
1

Im Spark-Standalone-Cluster mit und SparkUI zeigt nicht abgeschlossen Anwendungen obwohl Job successfully.please lief vorschlagenSpark-Ui nicht abgeschlossen Anwendungen zeigt

enter image description here

+0

Um abgeschlossene (fertige) Anwendungen anzuzeigen, richten Sie den Spark-Verlaufsserver ein https://spark.apache.org/docs/latest/monitoring.html#viewing-after-the-fact –

+0

@RaphaelRoth Ich möchte Running & Completed sehen Anwendungen unter 8080 Port nicht in der History Server, ich auch unter Eigenschaften immer noch Noluck – shiv455

Antwort

0

Aktuelle Screenshot Standalone-Master UI Funken zeigt. Es zeigt Links zu SparkUIs der aktuell laufenden Anwendungen/Treiber und Anwendungen, die abgeschlossen wurden, jedoch ohne die Links.

In oder SparkUI die fertigen Anwendungen, um zu sehen, müssen Sie die folgende Konfiguration in spark-defaults.conf haben:

spark.eventLog.enabled true 
spark.history.fs.logDirectory file:///path/to/event-log-folder 
spark.eventLog.dir file:///path/to/event-log-folder 

und Sie müssen auch sbin/start-history-server.sh auch starten, um die Ergebnisse zu sehen. Es könnte auch für laufende Anwendungen (wie "Show unvollständige Anwendungen" Link auf der Benutzeroberfläche) verwendet werden, aber auf hoch geladenen Spark Master würden Sie einige Verzögerungen erhalten und Ergebnisse werden mit Verzögerungen angezeigt werden.

+0

in der Regel http: // : 8080/Json sollte abgeschlossene Anwendungen, ActiveApps usw. .. richtig? , muss ich Eventlogs aktivieren und Event Log Directory bereitstellen? – shiv455

Verwandte Themen