Hadoop JobHistoryServer speichert keinen bestimmten Job

Question

Ich habe einen Cluster von PCs mit einer Hadoop-Installation. Der Service funktioniert gut und ich habe viele Jobs ohne Probleme ausgeführt. Zu Forschungszwecken sende ich die Jobprotokolle an einen JobHistoryServer Service.

Für einen Job hat der History Service die Statistiken nicht gespeichert. Wenn ich einen anderen Job mit derselben Konfiguration ausführe, werden die Statistiken gespeichert. Aber ich führe diesen Job erneut aus, und der History Server speichert die Statistiken nicht.

Die Geschichte Serverprotokoll (Datei mapred-hduser-historyserver-master.log):

2017-05-13 11:28:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files 
2017-05-13 11:31:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files 
2017-05-13 11:34:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files 
2017-05-13 11:37:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files 
2017-05-13 11:40:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files 

Meine Frage ist: Wie kann ich anfangen zu debuggen, was geschieht?

Weitere Daten:

• Es gibt keine Probleme mit der Java Heap Space of History Server (ich sehe viele, dass, wenn ich suche)
• Die Arbeiter und Meister genug Platten Platz haben.
• HDFS Raum ist es auch OK.

Answer 1

Nun, endlich habe ich das Problem gefunden. Einer der Arbeiter hatte das Update nicht aktualisiert. Ich habe das richtige Datum festgelegt, und der Verlaufsserver hat das Protokoll des Jobs korrekt gespeichert.