35
Was ist der Hauptunterschied zwischen Fork/Join und Map/Reduce?Unterschied zwischen Fork/Join und Map/Reduce
Unterscheiden sie sich in der Art der Zerlegung und Verteilung (Daten vs. Berechnung)?
A
Antwort
31
Ein wichtiger Unterschied besteht darin, dass F-J für die Arbeit mit einer einzelnen Java-VM konzipiert ist, während M-R explizit für die Arbeit auf einem großen Cluster von Computern entwickelt wurde. Dies sind sehr unterschiedliche Szenarien.
F-J bietet Funktionen, um eine Aufgabe in mehrere Subtasks auf rekursive Weise zu partitionieren; mehr Stufen, Möglichkeit der "Inter-Gabel" -Kommunikation in diesem Stadium, viel mehr traditionelle Programmierung. Erstreckt sich (zumindest in der Zeitung) nicht über eine einzelne Maschine hinaus. Großartig für die Nutzung Ihres Achtkerns.
M-R macht nur einen großen Split, wobei die abgebildeten Splits überhaupt nicht miteinander kommunizieren und dann alles zusammen reduzieren. Eine einzige Ebene, keine Inter-Split-Kommunikation, bis sie reduziert und massiv skalierbar ist. Hervorragend geeignet, um Ihren Anteil an der Cloud zu nutzen.
10
Es gibt eine ganze wissenschaftliche Arbeit zu diesem Thema, Comparing Fork/Join and MapReduce.
Der Artikel vergleicht die Leistung, Skalierbarkeit und Programmierbarkeit von drei parallelen Paradigmen: fork/join, MapReduce und einem hybriden Ansatz.
Was sie finden, ist im Grunde, dass Java Gabel/beitreten niedrigen Start Latenz und skaliert gut für kleine Eingänge (< 5MB), aber es kann nicht größer Eingänge aufgrund der Größenbeschränkungen von Shared-Memory, einzelnen Knoten Architekturen verarbeiten. Auf der anderen Seite hat MapReduce eine erhebliche Startwartezeit (mehrere zehn Sekunden), skaliert aber gut für viel größere Eingaben (> 100 MB) in einem Rechencluster.
Aber es gibt viel mehr zu lesen, wenn Sie dafür bereit sind.
Verwandte Themen
- 1. Unterschiede zwischen vorhandenem MapReduce und YARN (MRv2)
- 2. angular2 rxjs beobachtbares forkjoin
- 3. rxjs forkjoin erfüllt nicht
- 4. Unterschied zwischen Vorzeichen & und *?
- 5. VBA: Unterschied zwischen & und +
- 6. Unterschied zwischen "**/* /" und "** /"?
- 7. Unterschied zwischen $ # und $ {# @}
- 8. Unterschied zwischen = und: =
- 9. Unterschied zwischen '#', '%' und '$'
- 10. MySQL: Unterschied zwischen ', `,' und '
- 11. C++ Unterschied zwischen '//' und '///'
- 12. Unterschied zwischen String.Empty und ""
- 13. Unterschied zwischen `% in%` und `==`
- 14. Unterschied zwischen numpy.logical_and und &
- 15. Unterschied zwischen. und #
- 16. Unterschied zwischen // und http: //
- 17. Unterschied zwischen -Wconversion zwischen gcc und g ++
- 18. Unterschied zwischen Wörterbuch und Hashtable
- 19. Unterschied zwischen FetchMode und FetchType
- 20. Unterschied zwischen Application_Start und Application_OnStart
- 21. Unterschied zwischen Uint8Array und Uint8ClampedArray
- 22. Unterschied zwischen BOOST_CHECK_CLOSE und BOOST_CHECK_CLOSE_FRACTION?
- 23. Unterschied zwischen Suche und Index
- 24. Unterschied zwischen AJAX und Senden
- 25. Unterschied zwischen Spekulation und Vorhersage
- 26. Unterschied zwischen inproc und outproc
- 27. Unterschied zwischen Clojure und Clojurescript?
- 28. Unterschied zwischen NSArray und NSMutableArray
- 29. Unterschied zwischen libcurl und libsoup
- 30. Unterschied zwischen DirectoryCatalog und AssemblyCatalog
Genauer gesagt ermöglicht F-J den Mitarbeitern, Teilaufgaben aus den Warteschlangen der anderen zu stehlen. Dies ist nicht möglich, wenn sich die Worker-Threads auf unterschiedlichen Computern befinden (und daher keinen gemeinsamen Speicher haben). – finnw
Laut dem [MapReduce Wikipedia-Eintrag] (http://en.wikipedia.org/wiki/MapReduce) ist MR nicht verfügbar notwendigerweise beschränkt auf eine einzelne Stufe von gespaltenen Aufgaben. –
Was ist der Unterschied zwischen fork/join & mapreduce außerhalb des Kontexts von Java? – user2001850