Wie kann ich feststellen, ob Spark-submit erfolgreich ausgeführt wurde?

Question

Gibt es eine Möglichkeit zu sagen, ob es ohne Ausnahmen lief oder den Job abgeschlossen? Das einzige, ich habe festgestellt, ist diese https://github.com/apache/spark/pull/1788

Answer 1

Sie Spark RESTful API verwenden können, für Ihre Anwendung Status abfragen:

1. Basis-URL von Spark-History Server ist: http: //: 18080/api/v1
2. Liste Anwendungen mit /applications
3. prüfen Status Ihrer Bewerbung

Wenn die Namen sind verschieden, es ist ganz einfach zu überprüfen, was applicat Ion ist Ihre Anwendung, sogar auf einem geteilten Cluster. Sie können auch sparkContext.applicationId protokollieren und direkt im Aufruf von Web Service

verwenden