2014-11-21 8 views
6

Ich ging durch die HADOOP fs-Befehlsliste. Ich bin etwas perplex, keinen "cd" Befehl in hadoop fs zu finden.Hadoop-Dateisystem ändern Verzeichnisbefehl

Warum ist es so? Es mag eine dumme Frage für die HADOOP-Benutzer sein, aber als Anfänger kann ich nicht verstehen, warum es keine Liste von CD-Befehlen in HADOOP fs gibt?

+0

Sie werden nicht den 'cd' Befehl verwenden, wenn sie mit HDFS.Try die Interaktion zu bekommen praktische Erfahrung; nur das Lesen der Dokumente kann etwas verwirrend sein, da HDFS anderen Dateisystemen nicht ähnlich ist –

Antwort

6

Denken Sie es so:

Hadoop hat ein spezielles Dateisystem „hdfs“ genannt, die auf der Oberseite läuft der Linux-Dateisystem sagen existieren. Es gibt kein Konzept von aktuellen oder gegenwärtigen Arbeitsverzeichnis aka PWD

Lassen Sie uns sagen, dass wir in hdfs folgende Struktur haben:

d1/ 
    d2/ 
    f1 
    d3/ 
    f2 
    d4/ 
     f3 

Sie cd tun könnte in Ihrem Linux-Dateisystem aus von einem zum anderen zu bewegen, aber tun Sie denken, dass das Ändern des Verzeichnisses in Hadoop sinnvoll ist? HDFS ist wie ein virtuelles Dateisystem und Sie interagieren nicht direkt mit hdfs, außer mit dem Befehl hadoop oder dem Job-Tracker.

+0

@ almas shaikh: Danke! also können wir "cd" von außerhalb des HDFS, d. h. vom Linux-Dateisystem? Bitte korrigieren Sie mich, wenn ich ein falsches Konzept habe. Danke! – user4221591

+0

Nein. Sie brauchen es nicht und cd wird nicht von hadoop unterstützt. Sie müssten nur den vollständigen Pfad der Datei angeben, während Sie mapred ausführen oder einen Hadoop-Befehl ausführen. – SMA

+0

Ich denke die Lösung re. Das Dateisystem zu mounten und somit die Shell direkt mit ihr interagieren zu lassen, scheint hier die richtige Lösung zu sein. –

2

HDFS bietet verschiedene Funktionen, die den Zugriff auf HDFS (Hadoop-Dateisystem) auf lokalen Maschinen oder Edge-Knoten erleichtern. Sie haben die Möglichkeit, HDFS mit einer der folgenden Methoden zu mounten. Sobald Hadoop-Dateisystem auf Ihrem Computer angebracht ist, können Sie Befehl cd, um zu sehen über das Dateisystem (Es ist wie Montage Remote-Netzwerk-Dateisystem wie NAS)

  • Fuse dfs (erhältlich von Hadoop 0,20 ab)
  • verwenden NFSv3-Gateway Zugriff auf HDFS Daten (erhältlich von Hadoop Version
    Hadoop 2.2.0)
+0

danke für den Kommentar. Ich verwende HADOOP 1.x Version. – user4221591

+0

Das klingt viel mehr nach dem, was ich vom OP erwarten würde –