Wie die Protokollebene eines MR Job

Question

ich die Protokollebene eines MR Job zu ändern versuchen zu ändern, habe ich den folgenden Befehl ein:

hadoop jar appMR.jar MainMR -Dmapreduce.map.log.level=DEBUG <args...> 

aber die -Dmapreduce.map.log.level=DEBUG geht als erstes Argument, um den Job .
Gibt es eine Möglichkeit, dies nur für einen bestimmten MR-Auftrag zu tun, ohne die Ebene in der log4j-Eigenschaftendatei zu ändern?

Answer 1

Sie nur die -Dname = Wertform, wenn Ihre Haupt-Klasse implementiert die Werkzeugschnittstelle verwenden können und wird über das ToolRunner Dienstprogramm aufgerufen. Überprüfen Sie das Werkzeug javadoc Beispiel und modellieren Ihre Implementierung drum herum: http://archive.cloudera.com/cdh5/cdh/5/hadoop/api/org/apache/hadoop/util/Tool.html (Harsh J)

http://community.cloudera.com/t5/Batch-Processing-and-Workflow/How-to-change-the-log-level-of-a-MR-job/m-p/59245#M3264?eid=3&aid=1

Answer 2

können Sie verwenden:

$ export HADOOP_ROOT_LOGGER="DEBUG,console" 

Dann wird Ihr hadoop jar Befehl ausführen.

https://wiki.apache.org/hadoop/HowToConfigure (Unter Umgebungsvariablen)