0
Wenn in einem Map Reduce-Code mehrere Reduzierungen vorhanden sind, besteht zwischen diesen keine Kommunikation. Wenn jedoch eine Operation wie die Aggregation durchgeführt wird, erzeugen alle Reduzierer zusammen eine einzige Endausgabe. Wie erfolgt die Aggregation, wenn keine Kommunikation zwischen ihnen stattfindet? (Context.write())Wie aggregiert der Reduktor den Output aller Reduktoren und produziert den endgültigen Output?
Danke für die Antwort @veththym. Ich verstehe, dass es so viele Teildateien wie die Anzahl der Reduzierungen geben würde. Aber meine Frage war die Logik oder die durchgeführte Operation wird auf allen Reduzierern sein und es wird nur einen Ausgang für alle diese geben und nicht ein lokales Ergebnis pro Reduzierer (was ein Kombinierer tut). Klärt das meine Frage? –
@spark_dream Nein, tut es nicht. Jeder der Reduzierer arbeitet unabhängig, verarbeitet eine unabhängige Menge von Schlüsseln (regiert von Partitioner) und hat einen eigenen unabhängigen Ausgabepfad in HDFS. Also verstehe ich nicht, was Sie unter dem Begriff "Aggregation" verstehen. – gudok
@gudok Lass mich es klarer machen. Wenn mein Anwendungsfall zum Beispiel darin besteht, die Gesamtzahl der Wörter in einer gegebenen Textdatei zu finden (nicht die individuelle Anzahl für jedes Wort), wie könnte ein MapReduce-Job dies tun? –