Reduzieren Sie Methode beschäftigt sich mit gruppierten Daten aus der Karte. Aber ich frage mich, wie reduzieren Aufgaben die Gruppen Daten? Wenn Karten viele gruppierte Daten ausgeben, liest jeder Reduktor nur die gleiche Anzahl von Gruppen? Was ist der Mechanismus?Wie Hadoop reduzieren Aufgaben mit Karte gruppierten Daten umgehen
0
A
Antwort
0
Wie reduzieren Aufgaben die Gruppen Daten?
Es auf Shuffle behandelt und Sortierphase
Während dieser phasedData die von Mapper werden durch Schlüssel (Wie Gruppe von (key)) gruppiert gesendet wird, schließlich erhält sie Schlüssel, List <> Ergebnis. Ergebnis wird an Reduzierstücke gesendet. Wenn Ergebnisse an verschiedene Reduzierungen gesendet werden müssen, wird auf die Partitionsphase geachtet, die eine andere Phase als die Shuffle- und Sort-Phase ist.
Diese Phase wird von Hadoop Framework durchgeführt und soweit ich weiß, haben Sie nichts zu tun oder zu ändern über diese Phase.
auch schlage ich bei dieser Frage einen Blick What is the purpose of shuffling and sorting phase in the reducer in Map Reduce Programming?
Verwandte Themen
- 1. Lesen eine Matrix in hadoop Karte reduzieren
- 2. Hadoop-Karte zu reduzieren hipi.mapreduce.BinaryOutputFormat nicht gefunden
- 3. Hadoop-Karte reduzieren nehmen für immer
- 4. InstanziierungException in Hadoop-Karte Programm reduzieren
- 5. Karte reduzieren Wortanzahl Beispiel
- 6. Implementierungsgruppe mit Karte reduzieren
- 7. Anzahl Aufgaben reduzieren Spark
- 8. Multi Karte reduzieren Index RavenDB
- 9. Migrieren reduzieren auf Karte
- 10. Spark-Karte mit Bedingung reduzieren
- 11. mongoDB Karte/reduzieren minus die reduzieren
- 12. hadoop mit mongodb plugin - Daten lesen
- 13. MongoDB Karte mit Abfrage reduzieren
- 14. Wahrheitstabelle reduzieren mit Karnaugh Karte
- 15. Karte reduzieren - pearson Korrelation
- 16. Karte reduzieren Komplexität
- 17. Hadoop Karte reduzieren ignoriert die xmx Speicher in meinem Java-Code definiert
- 18. Pig Latin Scheidungs Karte oder Reduzieren Abfragen
- 19. Imputation mit Mäusen mit gruppierten Daten
- 20. Sortieren nach Karte/Reduzieren mit Inline-Ergebnis
- 21. Hadoop Map Reduzieren lesen Sie eine Textdatei
- 22. Wie mit Streaming-Daten in PHP umgehen?
- 23. Ähnlichkeit Join mit Hadoop
- 24. Mysql Summe von gruppierten Daten
- 25. Sammeln heterogener Daten mit hadoop
- 26. Puffer Aufgaben Daten mit Timeout
- 27. entfernen Ausreißer aus gruppierten Daten
- 28. Hadoop reduzieren aktuellen Wert mit früheren Werten verketten
- 29. Karte Job in Java für distcp reduzieren
- 30. Wie sollte ich meine Redis Verbindungen in Sellerie Aufgaben umgehen?