Spark-Streaming-Jobs Ausnahmebehandlung

Question

In meinem Spark-Streaming (Kafka Consumer) -Code habe einen Fehler. Ich habe die Ausnahmebehandlung implementiert, aber das hat nie geklappt. Ich habe beide überprüfte & ungeprüfte Ausnahmen versucht.

Mein Code läuft im Executor. Wie bekomme ich die Ausnahme, wenn es in Executor anstelle von Treiber ausgeführt wird?

Bitte schlagen Sie mir vor.

Answer 1

Spark ist ein paralleler Rahmen. Auch wenn Sie in Ihrem Code versuchen, Fangcode einzufügen, wird die Ausnahme in anderen Threads ausgelöst. Ihr Code kann also keine Ausnahme erfassen.