Sollte ich Hadoop vs Kondor bei der Arbeit mit R bevorzugen?

Question

Ich bin auf der Suche nach Möglichkeiten, Arbeiten für mehrere Computer auf meinem Computerraster zu senden.

Derzeit ist es Condor läuft und bietet auch Hadoop.

Meine Frage ist also, sollte ich versuchen, mit R zu Hadoop oder zum Conder für meine Projekte zu verbinden?

Für die Diskussion nehmen wir an, dass wir über peinlich parallele Aufgaben sprechen.

ps: Ich habe die Ressourcen in der CRAN task views beschrieben.

Answer 1

Sie können beides tun.

Sie können HDFS für Ihre Datensätze und Condor für Ihre Jobplanung verwenden. Verwenden von Condor zum Platzieren von Executoren auf Maschinen und HDFS + Hadoops Map-Reduzieren Sie Funktionen, um Ihre Daten zu verarbeiten (vorausgesetzt, Ihr Problem ist map-reduce mappable). Dann verwenden Sie das am besten geeignete Werkzeug für den Job: Condor ist ein Job-Scheduler und funktioniert daher besser als Hadoop. Und das HDFS- und M-R-Framework von Hadoop sind Dinge, die Condor nicht hat (aber für Jobs, die auf Condor laufen, sehr hilfreich sind).

Ich würde persönlich betrachten hat HDFS, um Daten unter Jobs, die diskret als Condor Jobs laufen zu teilen. Gerade in einer Universitätsumgebung, in der die Ressourcen für gemeinsam genutzte Computer nicht zu 100% zuverlässig sind und nach Belieben kommen und gehen können, wird die Flexibilität von Condor bei dieser Art der Einrichtung die Arbeit sehr viel einfacher machen.