Hadoop dfs -ls gibt eine Liste der Dateien in meinem hadoop/dir zurück

Question

Ich habe eine Hadoop-Konfiguration mit einem einzelnen Knoten eingerichtet, die über Cygwin unter Win7 läuft. Nach dem Start von Hadoop durch

bin/start-all.sh

starte ich

bin/hadoop dfs -ls

, die mir eine Liste von Dateien in meinem Hadoop-Verzeichnis zurückgibt. Dann laufe ich

bin/hadoop datanode -format
bin/hadoop namenode -format

aber -ls gibt mir immer noch den Inhalt meines Hadoop-Verzeichnisses zurück. Soweit ich weiß, sollte es nichts zurückgeben (leerer Ordner). Was mache ich falsch?

Answer 1

Haben Sie die Dateien core-site.xml und mapred-site.xml unter conf bearbeitet? Ihr Hadoop-Cluster scheint sich im lokalen Modus zu befinden.

Answer 2

Ich hatte das gleiche Problem und löste es durch explizite Angabe der URL zum NameNode.

Um alle Verzeichnisse in der Wurzel Ihrer hdfs Raumliste wie folgt vor:

./bin/hadoop dfs -ls hdfs://<ip-of-your-server>:9000/ 

Die Dokumentation sagt etwas über eine Standard hdfs in der Konfiguration zeigen, aber ich kann es nicht finden. Wenn jemand weiß, was sie bedeuten, erleuchte uns bitte.

Dies ist, wo ich die Info bekam: http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#Overview

Answer 3

Oder Sie könnten nur tun:

• Run stop-all.sh.
• dfs Daten und Namen Verzeichnisse
• NameNode -format
• Run start-all.sh

Answer 4

Ich weiß, diese Frage ziemlich alt entfernen, aber Verzeichnisstruktur in Hadoop hat sich ein wenig (Version 2.5 geändert) Jeroen's aktuelle Version wäre.

hdfs dfs -ls hdfs: // localhost: 9000/users/Smalldata

Auch Nur zur Information - Verwendung von start-all.sh und stop-all.sh veraltet ist, stattdessen sollte man Verwenden Sie start-dfs.sh und start-yarn.sh