Spark History UI funktioniert nicht | Ambari

Ich habe eine Hadoop-Cluster-Setup mit Ambari, die Dienste wie HDFS, YARN hat, Funke läuft auf den Hosts. Wenn ich den Sample-Funke Pi im Cluster-Modus als Master-Garn ausführen, wird die Anwendung erfolgreich ausgeführt und ich kann dieselben aus den Ressourcenmanagerprotokollen anzeigen. Spark History UI funktioniert nicht | Ambari | YARN

Aber wenn ich auf den Verlauf Link klicke, zeigt es nicht die Funken Geschichte UI. Wie kann ich dasselbe aktivieren/anzeigen?

Quelle

2017-01-13 taransaini43

Überprüfen Sie zuerst, ob Ihr Spark-History-Server bereits konfiguriert ist, indem Sie in spark.yarn.historyServer.address in spark-defaults.conf Datei suchen.

Wenn nicht konfiguriert ist, sollte dieser Link helfen Sie den Server konfigurieren: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.6/bk_installing_manually_book/content/ch19s04s01.html

Wenn bereits konfiguriert ist, zu prüfen, ob die Geschichte Server-Host von allen Knoten im Cluster zugänglich ist, und auch der Port offen ist.

Quelle

2017-01-13 05:48:48 code

Ich kann 2 Ordner mit spark-defauls.conf sehen: '/etc/spark/2.5.3.0-37/0/spark-defaults.conf' und '/usr/hdp/2.5.3.0-37/ etc/spark/conf/spark-defaults.conf ' Welche hat Vorrang? '/etc/spark/2.5.3.0-37/0/spark-defaults.conf' enthält: "spark.history.ui.port 18080 spark.yarn.historyServer.address : 18080" während ' /usr/hdp/2.5.3.0-37/etc/spark/conf/spark-defaults.conf 'enthält auskommentierte Einstellungen: "# spark.yarn.historyServer.address localhost: 18080" So erscheint es auskommentiert? oder sind diese Eigenschaften standardmäßig aktiviert? – taransaini43

und der History-Server ist von allen Hosts aus zugänglich ... über SSH und Telnet gecheckt – taransaini43

Also Geschichte-Server läuft. Ist die Eigenschaft 'spark.eventLog.dir' in dieser Konfigurationsdatei gesetzt? – code

Spark History UI funktioniert nicht | Ambari | YARN

Antwort

Verwandte Themen