Spark-Programm zu überwachen, die Ausführenden -leistung

Question

ich auf einem Funken Programm arbeite, dass jeder Vollstrecker der Leistung überwachen, wie notieren, wenn ein Vollstrecker zu arbeiten beginnen und wann sie beendet seine Arbeit. Ich denke, zwei Möglichkeiten, das zu tun:

Zuerst entwickeln Programme, so wenn der Executor beginnt zu arbeiten, markieren Sie die aktuelle Zeit in eine Datei, wenn es fertig ist, markieren Sie diese Zeit auf die gleiche Datei. Am Ende werden alle "Log" -Dateien die gesamten Cluster-Netzwerke mit Ausnahme des Treibers verteilt.

Zweitens, da die Executoren dem Treiber regelmäßig berichten, jedes Mal, wenn der Treiber eine Nachricht von den Executoren erhält, wenn die Nachricht "Start" und "Finish" Informationen enthält, den Fahrer alles aufzeichnen lassen.

Ist das möglich?

Answer 1

Es gibt viele Möglichkeiten, um die Testamentsvollstrecker Leistung sowie Anwendungsleistung

Die besten Möglichkeiten zur Überwachung sind mit Hilfe von Spark-Web-UI und andere Überwachungstools Open Source (Ganglia)

Sie überwachen müssen, Überwachen Sie Ihre Anwendung, ob Ihr Cluster nicht ausgelastet ist oder nicht, wie viele Ressourcen von Ihrer Anwendung, die Sie erstellt haben, verwendet werden.

Die Überwachung kann mit verschiedenen Tools durchgeführt werden z. Ganglia Von Ganglien Sie CPU, Speicher und Netzwerkauslastung .Based auf Beobachtung über CPU- und Speichernutzung finden Sie eine bessere Idee, welche Art von Tuning benötigt wird, für Ihre Anwendung

hoffe, das hilft bekommen !!! ....