Wie Jobstatus von Crawl Aufgaben in nutch

Question

In einem Schleichen Zyklus erhalten, haben wir viele Aufgaben/Phasen wie inject, erzeugen, holen, analysieren, updatedb, invertlinks, dedup und einen Index Job. Jetzt würde ich gerne wissen, gibt es irgendwelche Methoden, um Status einer Crawl-Task (ob es läuft oder nicht bestanden) mit anderen Mitteln als Bezug auf hadoop.log Datei zu erhalten? Um genauer zu sein, würde ich gerne wissen, ob ich den Status einer generate/fetch/parse Phase verfolgen kann? Jede Hilfe wäre willkommen.

Answer 1

Sie sollten Nutch mit Hadoop immer im Pseudo- oder vollständig verteilten Modus ausführen. Auf diese Weise können Sie die Hadoop-Benutzeroberfläche verwenden, um den Fortschritt Ihrer Crawls zu verfolgen, die Protokolle für jeden Schritt anzuzeigen und auf die Zähler zuzugreifen sinnvoll!).