Wie bekomme ich spezifische MR-Zähler von Hadoop Java API?

Question

In hadoop ui können wir Standard-MR-Zähler in getrennten Spalten sehen: map-task, reduce-task und total.

Aber ich sehe nicht, solche Verfahren in hadoop java API. Wie können wir getrennte Zähler von Java API, z. Wie bekomme ich CPU-Zeit ausgegeben (ms) Werte für Map und Reduce Spalten?

Answer 1

Wenn Sie getrennte Aufgabenzähler erhalten möchten, müssen Sie die Methode getTaskReports() für Ihren Hadoop-Job verwenden. Danach können Sie die Methoden getTaskCounter() und findCounter() verwenden, um den benötigten Zähler für jede Aufgabe separat zu finden.

Zum Beispiel, wie Ihre Karte gc-time-millis Zähler erhalten:

Long result = 0L;  
TaskReport[] taskReports = job.getHadoopJob().getTaskReports(TaskType.MAP); 
for (TaskReport taskReport : taskReports) { 
    try { 
     result += taskReport.getTaskCounters().findCounter(TaskCounter.GC_TIME_MILLIS).getValue(); 
     } catch (Exception ignored) {} 
}