5
Wir haben einen Cluster, der etwa 20 Knoten hat. Dieser Cluster wird von vielen Benutzern und Jobs gemeinsam genutzt. Daher ist es sehr schwierig für mich, meinen Job zu beobachten, so dass ich einige Metriken wie CPU-Auslastung, E/A, Netzwerk, Speicher usw. erhalten kann.Wie erhalten Sie die Messdaten eines Spark-Jobs?
Wie kann ich eine Metrik auf Job-Ebene erhalten?
PS: Der Cluster hat bereits Ganglia installiert, aber nicht sicher, wie ich es auf der Job-Ebene arbeiten könnte. Was ich tun möchte, ist die vom Cluster verwendete Ressource zu überwachen, um nur meinen Job auszuführen.
Nicht sicher, ob Sie richtig verstanden habe. Sie möchten direkt von Ihrem Job verschiedene Cluster-Metriken erhalten? Oder möchten Sie wissen, wie viele Ressourcen Ihr Job verwendet? – maxteneff
@maxteneff, sorry, wenn ich nicht klar auf meinem Post war. Ich möchte wissen, wie viele Ressourcen mein Job verwendet hat. – diplomaticguru