Hadoop On Demand

Question

Wird dieses Apache-Projekt (Hadoop On Demand) noch aktiv entwickelt? Ich konnte keine aktuelle Dokumentation finden, aber das Konzept (oder die Motivation des Projekts) scheint ziemlich faszinierend zu sein. Mein Anwendungsfall ist der Aufbau eines relativ großen Clusters (intern) und die Zuteilung/Freigabe eines Teils davon an verschiedene Benutzer (ich bin nicht daran interessiert, ElasticMapReduce oder einen anderen Cloud-Dienst zu verwenden).

Wenn es jemanden gibt, der diese oder etwas ähnliches benutzt hat, würde ich gerne irgendwelche Kommentare über die Erfahrung der Benutzung hören.

Answer 1

IMHO eine mögliche Alternative zu Hadoop On Demand und ElasticMapReduce ist Apache Whirr (http://whirr.apache.org/), die Sie nehmen und an Ihre Bedürfnisse und interne Infrastruktur anpassen können.

Meine begrenzte Erfahrung mit Apache Whirr war bisher positiv mit kleinen Clustern auf EC2. Allerdings hatte ich Probleme mit größeren Clustern, aber diese könnten eher mit der Bereitstellung von EC2-Instanzen als mit Whirr selbst zusammenhängen. auch

Siehe:

• http://hadoop.apache.org/common/docs/r1.0.1/capacity_scheduler.html
• http://hadoop.apache.org/common/docs/r1.0.1/fair_scheduler.html
• http://hadoop.apache.org/common/docs/r1.0.1/hod_scheduler.html