Ich habe eine Hadoop-Umgebung mit einem Knoten auf CentOS mithilfe des Cloudera-CDH-Repositorys erstellt. Wenn ich eine lokale Datei auf HDFS kopieren möchten, verwendete ich den Befehl:hadoop fs -put command
sudo -u hdfs hadoop fs -put /root/MyHadoop/file1.txt/
Aber das Ergebnis bedrückte mich:
put: '/root/MyHadoop/file1.txt': No such file or directory
Ich bin sicher, dass diese Datei vorhanden ist.
Bitte helfen Sie mir, Danke!
Als Benutzer hdfs, haben Sie Zugriffsrechte auf /root/ (in Ihrer lokalen Festplatte) ?. Normalerweise nicht. Sie müssen file1.txt an einen Ort kopieren, an dem hdfs Benutzer Leseberechtigung hat.
Versuchen:
cp /root/MyHadoop/file1.txt /tmp
chown hdfs:hdfs /tmp/file1.txt
sudo -u hdfs hadoop fs -put /tmp/file1.txt/
--- edit:
einen Blick auf the cleaner roman-nikitchenko's answer bellow nehmen.
hatte ich die gleiche Situation und hier ist meine Lösung:
HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt/
Vorteile:
sudo brauchen.Ich mag Diese Lösung, aber ich vergesse immer, was ist der Name der Umgebungsvariablen: P +1 –
versuchen, ein Verzeichnis in dem HDFS von Usig zu erstellen: $ hadoop fs -mkdir your_dir und es dann in die $ hadoop fs -put -put /root/MyHadoop/file1.txt your_dir
Dank setzen, aber ich versuchte, diese Datei an einem anderen Ort zu bewegen, geben Sie den Follow-Befehl: {sudo - hdfs hadoop fs -put /home/skfeng/Downloads/hadoop-book-master/test-data/ch1/file1.txt /} funktioniert immer noch nicht und hat die gleichen Ergebnisse: {put: '/ home/skfeng /Downloads/hadoop-book-master/test-data/ch1/file1.txt ': Keine solche Datei oder Verzeichnis } – skfeng
Und hat Benutzer 'hdfs' Zugriffsrechte auf das Heim des Benutzers' skfeng'? –
Aktualisierte Antwort. Probieren Sie die Befehlsliste aus und kreuzen Sie die Finger. –