Greifen Sie auf Protokolle über die Web-Benutzeroberfläche zu

Question

Wie kann ich auf das Garn-Jobprotokoll über die Web-UI zugreifen?

1. Ich kann das Jobprotokoll über die Garnmanager-Website anzeigen. Aber jedes Mal, wenn der Faden neu gestartet wird, ist die Anwendungsliste des Garnmanagers leer. das Bild ist vor dem Neustart

2. I Anwendungsprotokoll über CLI-Befehl zugreifen kann, auch ich Garn neu starten.

   $ HADOOP_HOME/bin/Garn Protokolle -applicationId application_1499949542308_0020

3. Der jobhistory Server Web-UI ist leer die ganze Zeit

4. Meine Protokolleinstellungen in yarn-site.xml und mapred-site.xml

<property> 
    <name>yarn.nodemanager.log-dirs</name> 
    <value>/home/hadoop/hadoop/nodemanager-logs</value> 
</property> 
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
<property> 
    <name>yarn.nodemanager.remote-app-log-dir</name> 
    <value>/app-logs</value> 
</property> 
<property> 
    <name>yarn.nodemanager.remote-app-log-dir-suffix</name> 
    <value>logs</value> 
</property> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>604800</value> 
</property> 
<property> 
    <name>yarn.log.server.url</name> 
    <value>http://hdp03.hp.sp.prd.bmsre.com:19888/jobhistory/logs</value> 
</property> 

---

<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>hdp03.hp.sp.prd.bmsre.com:10020</value> 
</property> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>hdp03.hp.sp.prd.bmsre.com:19888</value> 
</property> 

Answer 1

Ja, können Sie Yarn im Ruhestand Jobs von Web-Benutzeroberfläche zugreifen.

Zugriff auf diese URL http://<jobtracker>:50070, um die Jobs im Ruhestand zu erhalten.

In Bezug auf Ihre Frage, die Sie den Faden neu gestartet haben, was bedeutet, weckt ein neues Protokoll Faden und macht einen Upload der Protokolle an den konfigurierten Standort auf.

Aber in Ihrer Frage, existiert '/ app-logs'/app-logs Pfad in Ihrem Dateisystem. Bitte prüfe.

Es gibt eine Aufbewahrungsfrist, wie lange die Protokolle in diesem Pfad gespeichert werden müssen und es wird von dem Eigenschaftsnamen definiert yarn.log-aggregation.retain-Sekunden Parameter aufgerufen.

Zu meinem Verständnis, die Job Tracker UI von verfügbaren Standard bei http://<jobtracker>:50070, legt Informationen über alle aktuell sowie im Ruhestand MapReduce Jobs und GARN hat einen JobHistory REST-Service ausgeführt wird, die Details zu fertigen Anwendungen verfügbar macht.