Hadoop: Wie starte ich mein erstes Projekt

Question

Ich beginne mit Hadoop zu arbeiten, aber ich weiß nicht wo und wie es geht. Ich arbeite an OS X und ich befolge ein Tutorial, um Hadoop zu installieren, es ist fertig und es funktioniert, aber jetzt weiß ich nicht, was ich tun soll.

Gibt es eine IDE zu installieren (vielleicht Eclipse)? Ich finde einige Codes, aber nichts funktioniert und ich weiß nicht, was ich hinzufügen muss in meinem Projekt etc ...

Können Sie mir einige Informationen geben oder mich zu einem kompletten Tutorial führen?

Answer 1

Wenn Sie Hadoop Framework wollen, dann empfehle ich lernen, mit der Installation von Cloudera Quick virtuelle Maschine auf Ihrem OSX System vorausgesetzt Ihr System verfügt über alle Voraussetzungen, um gerade zu beginnen:

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

Cloudera Quick virtuelle Maschinen umfassen alles Sie müssen Hadoop, MapReduce, Hive, Pig, Impala usw. und Eclipse IDE ausprobieren.

Wenn Sie sich für eine Karriere als Hadoop Developer interessieren, können Sie oben beschrieben werden. Wenn Sie sich für den Hadoop-Systemadministrator interessieren, folgen Sie der @ Alvaro-Empfehlung.

Dann gibt es eine Einführung in Hadoop und MapReduce Kurs auf Udacity ein guter Start für Anfänger wäre: https://www.udacity.com/course/intro-to-hadoop-and-mapreduce--ud617

Hadoop: The Definitive Guide von Tom White könnte ein großes umfassendes Buch zu verweisen: http://shop.oreilly.com/product/0636920033448.do

Answer 2

Ich würde Ihnen empfehlen, die Cloudera Pseudo-verteilten Beispiel auf einer virtuellen Maschine, dem neuesten LTS Ubuntu zu installieren. Auf diese Weise werden Sie nicht mit Ihrem Laptop durcheinander gebracht und es wäre eine Umgebung, die näher an allem ist, was Sie in der Produktion tun würden. Haben Sie vagrantup.com überprüft?

Wenn Sie es installiert haben, können Sie auf Arbeit direkt auf Java oder wählen Sie ein Framework wie MrJob (Python), um einige benutzerdefinierte Programme auszuführen.

Beste, Alvaro.