Schauen Sie auf das Bild unten, diese 24 Aufgaben gehören zu einem gleichen Job und die Menge der Daten für jede Aufgabe verarbeitet wird im Grunde genommen die gleiche Zeit und verwendet GC ist sehr kurz, meine Frage ist, warum die Dauer der Aufgaben sind zum selben Job gehören, sind so verschieden?Warum sind die Laufzeiten von Aufgaben, die zum selben Job gehören, im Spark-Streaming sehr unterschiedlich?
Vielleicht können Sie versuchen, und überprüfen Ereigniszeitleiste für Aufgaben in Ihren Funken UI. Überprüfen Sie, warum die langsame Aufgabe langsam ausgeführt wird.
Benötigen sie mehr Zeit bei der Serialisierung/Deserialisierung?
Ist es wegen der Verzögerung des Schedulers?
oder die Executor-Rechenzeit?
Vielen Dank für die Antwort, wissen Sie, wie kann ich die Zeitkosten einer bestimmten Aufgabe sehen, um diese zu tun? – zwb
Entschuldigung, ich konnte nicht herausfinden, was Sie wirklich fragen wollen? Sie fragen, wie Sie zum obigen Bildschirm gelangen? oder wie man obigen Graphen versteht? – infiniti
Danke, ich verstehe es jetzt. Normalerweise werden mehr Shuffle-Daten mehr Zeit kosten? – zwb
Ohne Blick auf den Code nicht möglich ist, zu sagen, und dann gibt es Netzwerk- und Festplattenzugriff im picture.Or 'in den Job ein' Thread.sleep (Random.nextInt (72000)) haben könnte , so weit ich weiss. – maasg