Spark Monitoring-REST-API im YARN-Cluster-Modus

Question

Wenn Spark im YARN-Cluster-Modus bereitgestellt wird, wie sollte ich die Spark-Überwachung REST API-Aufrufe http://spark.apache.org/docs/latest/monitoring.html?

Hat GARN eine API, die die REST Aufruf zum Beispiel nimmt (ich weiß schon, die app-ID)

http://localhost:4040/api/v1/applications/[app-id]/jobs

, es Proxies auf den richtigen Treiber-Port und gibt die JSON zurück zu mir ? Mit "ich" meine ich meinen Klienten.

Angenommen (oder schon vom Entwurf) Ich kann aus Sicherheitsgründen nicht direkt mit dem Treiber sprechen.

Answer 1

pls haben einen Blick auf spark docs - REST API

Ja mit der neuesten api seine zur Verfügung.

von diesem Artikel It turns out there is a third surprisingly easy option which is not documented. Spark has a hidden REST API which handles application submission, status checking and cancellation.

Neben den Metriken in der Benutzeroberfläche sieht, sind sie als JSON ebenfalls zur Verfügung. Dies gibt Entwicklern eine einfache Möglichkeit, neue Visualisierungen und Überwachungstools für Spark zu erstellen. Der JSON ist sowohl für laufende Anwendungen als auch für den Verlaufsserver verfügbar. Die Endpunkte sind unter/api/v1 bereitgestellt. Für den History-Server wären sie beispielsweise typischerweise unter http: //: 18080/api/v1 und für eine laufende Anwendung unter http://localhost:4040/api/v1 zugänglich.

Diese sind die anderen Optionen zur Verfügung ..

• Livius Job Server

Senden Spark jobs remotely to an Apache Spark cluster Linux using Livy

Weitere Optionen sind

Triggering spark jobs with REST