In Funke, "INFO metrics.MetricsSaver: Gespeicherte 10:24 Datensätze zu ...."

Ich verarbeite eine 500M Textdatei (.gz) in Amazon sc3 mit Funken und Funken sql auf Amazon EMR (6-Knoten-Cluster) . Und mein Programm druckt weiterhin "INFO metrics.MetricsSaver: Gespeicherte 10:24 Datensätze in /mnt/var/em/raw/i-d1bfb6dd_20150301_SparkSubmit_05013_raw.bin" für mehrere Stunden.In Funke, "INFO metrics.MetricsSaver: Gespeicherte 10:24 Datensätze zu ...."

Meine Fragen sind:

, was die Bedeutung des Stammes ist?
Wie kann ich dieses Problem lösen?

Vielen Dank im Voraus.

Quelle

2015-03-01 oldflag

Es Metriken Protokollierung, die kontinuierlich geschehen würde. Worüber bist du besorgt? es ist kein Problem. –

Ich möchte wissen, was es in diesem Schritt macht. Was ist gespeichert? – oldflag

Wie kann ich diesen Logger ausschalten? Ich habe alle anderen Protokolle erfolgreich deaktiviert, aber nicht diese. – hajons

Wie Sean sagte, es sind nur Metriken und es ist nichts, worüber man sich Sorgen machen muss. Es wird solche Nachrichten regelmäßig aufzeichnen, auch wenn Sie nichts aktiv machen.

Um diese Meldungen zu unterdrücken, können Sie die folgende Zeile in /home/hadoop/spark/conf/log4j.properties aktualisieren.

Ändern Sie log4j.logger.amazon.emr.metrics=INFO zu log4j.logger.amazon.emr.metrics=WARN.

Quelle

2015-04-17 18:51:36 Ryan

Neben Ryan Antwort, eine andere Möglichkeit, diese ärgerliche Sache zu deaktivieren (in Code statt config):

import org.apache.log4j.Logger 
import org.apache.log4j.Level 
Logger.getLogger("amazon.emr.metrics").setLevel(Level.OFF)

Quelle

2015-05-19 12:38:09

In Funke, "INFO metrics.MetricsSaver: Gespeicherte 10:24 Datensätze zu ...."

Antwort

Verwandte Themen