HDP 2.5: Die Benutzeroberfläche des Spark History Servers zeigt keine unvollständigen Anwendungen an

Question

Ich habe einen neuen Hadoop-Cluster mit Hortonworks Data Platform 2.5 eingerichtet. In dem „alten“ Cluster (installiert HDP 2.4) konnte ich die Informationen über das Ausführen von Spark-Jobs, die über die Geschichte Server UI, um zu sehen, indem Sie den Link show incomplete applications:

Innerhalb der neuen Installation öffnet dieser Link wird die Seite , aber es ist immer sais No incomplete applications found! (wenn noch eine Anwendung läuft).

Ich habe gerade gesehen, dass die YARN ResourceManager UI zeigt zwei verschiedene Arten von Links in der "Tracking-UI" Spalte, abhängig von dem Status der Spark-Anwendung:

• Anwendung läuft: Bewerbungsmaster
  • Link öffnet http://master_url:8088/proxy/application_1480327991583_0010/
• Anwendung beendet: Geschichte
  • Link öffnet http://master_url:18080/history/application_1480327991583_0009/jobs/

über den Link GARN RM ich die Lauf Spark-App Infos sehen kann, aber, warum ich sie nicht über Spark-History-Server zugreifen UI? Wurde etwas von HDP 2.4 auf 2.5 geändert?

Answer 1

Ich löste es, es war ein Netzwerkproblem: Einige der Cluster-Hosts (Spark-Slaves) konnten sich aufgrund einer falschen Switch-Konfiguration nicht erreichen. Fand es heraus, als ich versuchte, jeden Host von einander zu pingen.

Da alle Hosts sich gegenseitig anpingen können, ist das Problem weg und ich kann aktive und beendete Jobs in meinem Spark History Server UI wieder sehen!

Ich habe das Problem nicht bemerkt, weil die Ambari-Agenten an jedem Host gearbeitet haben und der Ambari-Server auch von jedem Cluster-Host aus erreichbar war! Da ALLE Hosts sich jedoch erreichen können, ist das Problem gelöst!