Herunterfahren von Spark Streaming

Question

Ich bin neu bei Spark und ich habe eine Frage.

Ich habe Spark-Streaming-Anwendung, die Kafka verwendet. Gibt es eine Möglichkeit, meiner Anwendung zu sagen, dass sie herunterfahren soll, wenn ein neuer Stapel leer ist (sagen wir BatchDuration = 15 min)?

Answer 1

Etwas in den Zeilen sollte es tun:

dstream.foreachRDD{rdd => 
    if (rdd.isEmpty) { 
     streamingContext.stop() 
    } 
} 

aber bewusst sein, dass je nach Anwendung Workflow, könnte es sein, dass die erste Partie (oder eine Charge dazwischen) auch leer ist und damit Ihre Der Job wird beim ersten Durchlauf gestoppt. Möglicherweise müssen Sie einige Bedingungen für einen zuverlässigeren Stopp kombinieren.