Bluemix Apache Spark Metrics

Ich habe nach einer Möglichkeit gesucht, die Leistung in Spark auf Bluemix zu überwachen. Ich weiß, dass sie im Apache Spark-Projekt einen Metrik-Service basierend auf der Coda Hale Metrics Library bereitstellen. Dadurch können Benutzer Spark-Messwerte an eine Vielzahl von Senken, einschließlich HTTP-, JMX- und CSV-Dateien, melden. Details hier: http://spark.apache.org/docs/latest/monitoring.html Bluemix Apache Spark Metrics

Kennt jemand eine Möglichkeit, dies im Bluemix Spark Service zu tun? Im Idealfall möchte ich die Messwerte in einer CSV-Datei im Object Storage speichern.

Schätzen Sie die Hilfe.

Dank

Saul

Quelle

2016-04-19 S. Gill

Derzeit ich keine Option für die Nutzung von "Coda Hale Metrics Library" und die Berichterstattung über die Job-Historie oder die Informationen über REST-API finden Sie erreichbar.

Auf der Hauptseite des Spark-Verlaufsservers können Sie jedoch das Ereignisprotokollverzeichnis sehen. Es bezieht sich auf Ihr folgendes Benutzerverzeichnis: Datei:/gpfs / fs01/Benutzer/USER_ID/events/

Dort sah ich JSON (like) formatierte Dateien.

Quelle

2016-04-20 13:00:31

Ja, ich habe einige Dinge im Spark-History-Server gesehen. Kann ich über meinen Browser auf diese JSON-Daten zugreifen? –

Die JSON-Dateien sollten die gleichen Daten enthalten, auf die Sie über den Spark-Verlaufsserver-Link im Seitenbereich zugreifen können. Mit "..durch meinen Browser" meinen Sie Download? –

Ich weiß, dass, um auf Daten über den Browser oder über curl oder andere Methoden zugreifen zu können, eine Rest-API vorhanden sein müsste, die es nicht gibt. Das Verzeichnis des Ereignisprotokolls ist auf/gpfs / fs01/user/USER gesetzt. ID/Ereignisse Wenn dies wie Open Source Funke ist, bedeutet dies, dass ein Ereignisprotokoll in diesem Verzeichnis vorhanden ist. Was ich meine ist, kann ich Zugang zu diesem Protokoll bekommen? –

Bluemix Apache Spark Metrics

Antwort

Verwandte Themen