MapReduce-Implementierung in Scala

Question

Ich möchte ein gutes und robustes MapReduce-Framework finden, das von Scala verwendet werden kann.

Answer 1

Um die Antwort auf Hadoop hinzuzufügen: Es gibt mindestens zwei Scala-Wrapper, die die Arbeit mit Hadoop schmackhafter machen.

Scala Map Reduce (SMR): http://scala-blogs.org/2008/09/scalable-language-and-scalable.html

SHadoop: http://jonhnny-weslley.blogspot.com/2008/05/shadoop.html

UPD 5. Oktober 11

Es gibt auch Scoobi Framework, das eine beeindruckende Ausdruckskraft hat.

Answer 2

http://hadoop.apache.org/ ist Sprache agnostisch.

Answer 3

Sie könnten interessiert sein an scouchdb, eine Scala-Schnittstelle zu verwenden CouchDB.

Eine andere Idee ist, GridGain zu verwenden. ScalaDudes haben ein Beispiel für die Verwendung von GridGain mit Scala. Und here ist ein weiteres Beispiel.

Answer 4

Vor einiger Zeit habe ich genau dieses Problem gelöst und am Ende eine kleine Infrastruktur geschrieben, um die Verwendung von Hadoop von Scala zu vereinfachen. Ich habe es eine Weile alleine benutzt, aber letztendlich habe ich es ins Internet gestellt. Es heißt (sehr ursprünglich) ScalaHadoop.

Answer 5

weiter jshen der Punkt:

hadoop Streaming verwendet einfach Steckdosen. Bei Verwendung von Unix-Streams muss Ihr Code (in jeder Sprache) einfach nur von stdin- und output tab-delimierten Streams lesen können. Implementieren Sie einen Mapper und bei Bedarf einen Reduzierer (und konfigurieren Sie diesen gegebenenfalls als Combiner).

Answer 6

Für eine Scala API oben auf Hadoop überprüfen Sie Scoobi, es ist immer noch in der schweren Entwicklung, aber zeigt viel versprechen. Es gibt auch einige Bemühungen, verteilte Sammlungen oben auf dem Hadoop in der Scala incubator zu implementieren, aber dieser Aufwand ist noch nicht verwendbar.

Es gibt auch einen neuen Scala-Wrapper für die Kaskadierung von Twitter, genannt Scalding. Nach einem kurzen Blick auf die Dokumentation für Verbrühung scheint es , dass während es die Integration mit kaskadierenden glatter macht es immer noch nicht lösen, was ich sehe, wie das Hauptproblem mit Kaskadierung: Typ Sicherheit. Jede Operation in Kaskadierung arbeitet mit Kaskadierungstupeln (im Grunde eine Liste von Feldwerten mit oder ohne ein separates Schema), was bedeutet, dass Typfehler, d.i. Wenn Sie einen Schlüssel als String und einen Schlüssel als Long verknüpfen, führt dies zu Laufzeitfehlern .

Answer 7

Persönlich habe ich ein großer Fan von Funken wird

http://spark-project.org/

Sie haben die Möglichkeit, In-Memory-Cluster-Computing zu tun, erheblich den Aufwand reduzieren Sie von der Festplatte intensiver mapreduce Operationen erfahren würden.