6
Ich habe eine sehr lange Spark Job, von dem eine kleine Anzahl von Aufgaben derzeit blockiert sind. Gibt es eine Möglichkeit, diese blockierten Aufgaben vom Treiberknoten zu töten?Töten Sie eine einzige Funke Aufgabe
Aus Gründen der Berechtigung kann ich mich einloggen, aber die Jobs auf den Slave-Knoten nicht beenden, also suche ich nach einer Möglichkeit, dies nur vom Treiberknoten aus zu tun. Beachten Sie, dass ich nicht den gesamten Spark-Job abbrechen möchte - nur ein oder zwei blockierte Aufgaben.
Wenn es hilft, verwende ich Mesos und habe Zugriff auf Web-UI, aber das enthält nicht die Option zum Töten der Aufgabe.
Die Spark UI scheint Ihnen zu erlauben, einzelne Aufgaben zu töten, und ich denke, sie neu planen und arbeiten, um das nächste Mal. Dies scheint darauf hinzuweisen, dass es eine API zum Töten von Aufgaben gibt. Es wäre wahrscheinlich eine Menge Handarbeit, um es zu benutzen. Ich leide unter dem gleichen Problem und Spekulationen verursachen derzeit andere Probleme, also debattiere ich es zu versuchen. –
Spark UI können Sie Job-Phasen zu töten, aber ich bin mir nicht bewusst, irgendeine Funktionalität zum Abbruch einzelner Job-Aufgaben. Wo ist das Töten in der Benutzeroberfläche möglich? – Garren
Sie sind richtig, ich entschuldige mich. Ich benutzte den falschen Begriff und dachte an die Bühnen. –