Wie kann ich die Dauer jedes Schritts in einer Spark-Phase ermitteln?Ermitteln der Ausführungszeit für jeden Schritt einer Spark-Stufe
Ich möchte die genau Schritt, um herauszufinden, ist der Engpass meiner Arbeit.
Ich glaube nicht, dass Sie Spark UI verwenden können, um viele Leistungsmetriken zu bestimmten Transformationen innerhalb einer Stufe wie map oder flatMap zu erhalten, da dies Teil der Optimierung von Pipelineoperationen in Spark ist.
Sie könnten jedoch collect() Aktion und Timer zwischen diesen Transformationen einfügen, um es zu simulieren.
Hier ist ein Beitrag, der Aufschluss darüber geben könnte, wie man mit Spark UI Anwendungen debuggen kann. Understanding your Apache Spark application through visualization
können Sie auf die Klasse verweisen StreamingJobProgressListener, die die Standardimplementierung von StreamingListener von Spark ist für Metriken Fortschritt Job zu erfassen.
kannJavaStreamingContext jssc = new JavaStreamingContext(sparkconf, Durations.seconds(60));
StreamingJobProgressListener progressListener = jssc.ssc().progressListener();
Sie die progressListener.onStageSubmitted, progressListener.onStageCompleted, progressListener.onTaskStart für das Erhalten der Metriken Sie und progressListener.onTaskEnd Funktionen erforderlich erkunden:
Dieser Hörer kann wie folgt abgerufen werden.