gibt es eine Möglichkeit, Spark Tracking URL anders als Mining-Protokolldateien für die Protokollausgabe zu erhalten?

Question

Ich habe eine Scala-Anwendung, die eine Spark-Sitzung erstellt, und ich habe Health-Checks eingerichtet, die die Spark-REST-API verwenden. Die Spark-Anwendung selbst läuft auf Hadoop Yarn. Die REST-API-URL wird derzeit durch Lesen der Spark-Protokollierung abgerufen, die beim Erstellen der Spark-Sitzung generiert wird. Dies funktioniert die meiste Zeit, aber es gibt einige Randfälle in meiner Anwendung, wo es nicht so gut funktioniert. Kennt jemand eine andere Möglichkeit, diese Tracking-URL zu erhalten?

Answer 1

„Sie können dies tun, indem Sie den yarn.resourcemanager.webapp.address Wert von GARN config zu lesen und die Anwendungs-ID (die auf den Zuhörer-Bus gesendet beide in einem Ereignis ausgesetzt ist, und eine bestehende SparkContext Methode.“

kopiert, wie aus ist Die Antwort des Entwicklers wurde gefunden unter: https://issues.apache.org/jira/browse/SPARK-20458