Stoppen der Standardausgabe in Spark Streaming

Gibt es eine Möglichkeit, die Standardausgabe zu deaktivieren, die in Spark streaming angezeigt wird. Im Folgenden finden Sie die Standardausgabe, die beim Ausführen einer Spark-Streaming-Anwendung gedruckt wird. Ich möchte nur die Log-Meldungen (im Treiber), um zu sehen, die von mir hinzugefügt werdenStoppen der Standardausgabe in Spark Streaming

spark-submit --class a11_TCP_IP.a11_Basic.a11_HelloTcp target/scala-2.10/sparkstreamingexamples_2.10-1.0.jar 

16/04/27 13:20:15 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data 
16/04/27 13:20:15 ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Socket data stream had no more data 
16/04/27 13:20:17 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data 
16/04/27 13:20:17 ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Socket data stream had no more data 
------------------------------------------- 
Time: 1461777618000 ms 
------------------------------------------- 

16/04/27 13:20:19 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data 
16/04/27 13:20:19 ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Socket data stream had no more data 
------------------------------------------- 
Time: 1461777621000 ms 
------------------------------------------- 

16/04/27 13:20:21 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data

Quelle

2016-04-27 Raj

Ihr Spark-Ordner soll ein conf/ Verzeichnis wird gedruckt haben. Darin befindet sich eine log4j.properties Datei. Wenn nicht, kopieren Sie conf/log4j.properties.template zu .

jetzt offen conf/log4j.properties in einem Editor, und ersetzen Sie diese Zeile:

log4j.rootCategory=INFO, console

Mit diesen beiden:

log4j.rootCategory=INFO, null 
log4j.appender.null=org.apache.log4j.varia.NullAppender

Quelle

2016-04-27 20:16:32

Dank. Das erledigt ERROR & WARN. Aber ich bekomme immer noch diese Ausgabe '------------------------------------------ - Zeit: 1462045608000 ms ------------------------------------------- ' – Raj

ok. Ich habe mich endlich identifiziert. Die Ausgabeoperation für 'DStream'; 'Dstream.print()' gibt standardmäßig diese Ausgabe (dh '---- Time: ....'). Ich benutzte eine andere Ausgabeoperation 'DStream.foreREDD (..)', die half, das Problem loszuwerden – Raj

Stoppen der Standardausgabe in Spark Streaming

Antwort

Verwandte Themen