Ich plane, einige Erfahrungen auf Hadoop, MapReduce und andere Big Data Dinge zu sammeln. Anfangs möchte ich es auf dem Laptop installieren. Ich habe mich gefragt, was ist die beste Laptop-Hardware für die Installation von Hadoop auf Windows empfohlen. Ich nehme an, dass ich eine Installation mit einem einzigen Knoten installieren muss, wenn nicht bitte führe mir die richtige Konfiguration Grüße NadeemHardware-Anforderung für Hadoop-Installation auf Laptop
ich myhobbyandexperiments.wordpress.com wissen Sie wollen erwähnt unter Windows installieren, aber Cloudera Single-Node-Hadoop Linux VM-Images, die bekommen anbietet können Sie rennen und rennen in kürzester Zeit. Sie haben sogar Beispiele und Skripte, es ist ein sehr guter Startpunkt.
https://www.cloudera.com/downloads.html
(Vergessen Sie nicht, am Getting Started Abschnitt zu suchen.)
Meiner Meinung nach, wenn Sie über Big Data und Hadoop lernen möchten, können Sie auch einige Zeit, um sich in vertraut gemacht investieren sollten mit Linux, da die meisten realen Umgebungen Linux-basiert sind.
Systemanforderungen: Pro Cloudera-Seite benötigt die VM 4 GB RAM und 3 GB Speicherplatz. Das bedeutet, dass Ihr Laptop mehr als das haben sollte (ich würde 8GB + empfehlen). Storage-mäßig, solange Sie genug haben, um mit kleinen und mittelgroßen Datensätzen (10 GB) zu testen, werden Sie in Ordnung sein. Wie für die CPU, wenn Ihre Maschine diese Menge an RAM hat, werden Sie wahrscheinlich in Ordnung sein. Ich benutze einen Single-Node crappy Pentium G3210 mit 4 GB RAM zum Testen meiner kleinen Jobs und es funktioniert gut.
Wenn Sie später diese Umgebung verlassen, können Sie einfach zu Ihrem eigenen pseudo-verteilten Setup wechseln.
Natürlich, wenn das, was ich gerade gesagt habe keinen Sinn macht für Sie, haben Sie etwas zu lesen voraus ...
Links sind tot - aktuelle Version ist 5-4 (und so alte URL funktioniert nicht). Wenn jemand interessiert ist, sehen Sie https://www.cloudera.com/content/www-en-us/downloads.html und wählen Sie dann die aktuelle Version – tlegutko
Wenn ich einen Cluster für Trainingszwecke einrichten möchte - sagen Sie 30 Personen gleichzeitig nur um ihnen ein Gefühl für das System zu geben (es wird hauptsächlich Hive sein) - welche Art von Hardware sollte ich für den NameNode und den DataNode suchen? Wie viele Datenknoten sollte ich idealerweise erreichen? Ich untersuche nicht viele Daten. Es ist nur für die Erfahrung und das Training. – Indrajit
Windows 64 bit OS mit 4 GB RAM sollte gut tun. Ich habe einen Blog gepostet. In diesem Blog habe ich detaillierte Schritte mit unterstützten Screenshots aufgezeichnet zu installieren und Setup-Hadoop-Cluster in einem Pseudo verteilten Modus Ihres 64-Bit-PC oder Laptop Windows mit
Dies ist ein 3-Schritt-Prozess
Schritt 1 - Installieren Sie VM-Player
Schritt 2 - Einrichtung Lubuntu Virtual Machine
Schritt 3 - Installieren Sie Hadoop
Die Frage bezieht sich auf Hardware-Anforderungen, nicht wirklich auf Installationsanweisungen. – sth
Es ist unwahrscheinlich, dass Sie bereit sind, einen Linux-only Laptop zu haben. Dafür benötigen Sie eine 64-Bit-CPU, die 64-Bit-Virtualisierung unterstützt - und natürlich 64-Bit-OS. Beachten Sie, dass die Unterstützung für die Virtualisierung oft auf BIOS-Ebene deaktiviert ist. Sie müssen sie finden und aktivieren.
Abgesehen davon, viel RAM - mindestens 8 GB, obwohl 16 GB ist bevorzugt. Ich habe auch gerne verschiedene Festplatten für verschiedene Betriebssysteme, so ein Laptop, wo Sie DVD mit einem HD-Caddy ersetzen können, und eine zweite SSC-Festplatte (sagen wir 128GB) wäre gut.
Wenn Sie einfache Programme (nicht datenintensiv) üben möchten, sollten 4GB RAM gut sein. Wenn Sie einen einzelnen Knoten installieren möchten, wäre die beste Konfiguration 32GB RAM mit mindestens 4 Kernen.
Für weitere Informationen darüber, wie Sie einen einzelnen Knoten installieren, siehe
Werfen Sie einen Blick auf http://wiki.apache.org/hadoop/Hadoop2OnWindows für Windows-Installation (ohne Cygwin). Es gibt nicht wirklich eine Liste von Systemanforderungen, aber wenn ich Hadoop wie auf der Site angegeben herunterlade, hat der Download eine README (BUILDING.txt), die die Systemanforderungen erfüllt. –