Führen Sie ein paar Zeilen nach map & reduzieren

Question

ich ein MapReduce-Programm haben (in Java), die Anzahl der Wörter in einem Dokument findet und speichert die Ausgabe als:

word1 10 
word2 20 
... 

Ich würde gerne wissen, wie ein hinzufügen ein paar Zeilen bis zum Ende der endgültigen Ausgabe, (etwas wie ein endlich Block von einem Versuch und fangen) das ist, würde ich gerne einige Wörter & ihre Ergebnisse an die endgültige Ausgabe anhängen.

Also meine Frage hier, gibt es eine Möglichkeit, ein Stück Code hinzuzufügen, der nach der Ausführung des Reduzierers läuft, damit ich etwas nach der ganzen Map machen kann & Reduzieren beendet?

Answer 1

One Reducer: Wenn Sie einen Minderer haben, dann können Sie das Kontextobjekt in der Bereinigung verwenden die Rang/Punktzahl für jedes Wort zu schreiben. Dazu benötigen Sie die Daten, die bereits in die Ausgabedatei geschrieben wurden (Wortzahl). Ich würde vorschlagen, dass Sie eine Karte oder ein anderes Objekt in der Reduzierungsfunktion hinzufügen, um die Wortanzahl zu speichern. Verwenden Sie dieses Map-Objekt beim Aufräumen, um den Rang/die Punktzahl zu finden, und schreiben Sie das Ergebnis über das Kontextobjekt.

Multiple Reducer: Wenn Sie mehrere Minderer haben, dann müssen Sie nur in main/laufen Verfahren das gleiche tun. Aber in diesem Fall müssten Sie die Daten der Ausgabedatei lesen und dann die Berechnung durchführen, bevor Sie sie an die Datei anhängen. Ich würde vorschlagen, dass Sie Combiner verwenden und einen Reduzierer wie oben vorgeschlagen verwenden, um den Rang/die Punktzahl zu berechnen.