Ich versuche eine Lösung für das Kopieren einer Datei von meinem lokalen Windows-Rechner oder lokalen Linux-Rechner zu hdfs on cloud zu finden.Hochladen von Datei aus dem haddop cluster (remote windows machine) nach hdfs wie hue upload
Ich kenne eine Lösung,
remote -> cluster node (using scp)
node -> hdfs (using hdfs command)
Aber für meinen Anwendungsfall ist es nicht funktioniert, ich brauche eine Lösung, um herauszufinden, welche Dateien direkt auf hdfs von lokalen laden wie Farbton für den Upload der Fall ist.
Ich habe auch versucht Befehl folgende
hdfs dfs -copyFromLocal file:://<'local-host'>:<'local-path'> hdfs://<'hdfs-path'>
Aber es durch folgende Fehlermeldung:
copyFromLocal: `<'local-path'>': No such file or directory
Jeder Vorschlag geschätzt wird.
-Danke
Vikash
Dank für die Antwort. Dies ist korrekt für lokale Linux zu hdfs, aber meine Frage ist für das Kopieren von Remote-Windows-Maschine zu hdfs. –
'Katze | ssh Benutzername @ masternode "hadoop dfs -put - hadoopFoldername /" 'Überprüfen Sie dies: [Hadoop - Kopieren direkt auf hdfs von externen Rechner] (http://one-line-it.blogspot.de/2013/05/hadoop-copy -directly-to-hdfs-from.html) –
Ich habe herausgefunden, Farbton-Implementierung, und es ist nicht möglich, Datei/s von Remote-Speicherort auf hdfs direkt zu kopieren. Wir müssen Dateien in Staging-Speicherort kopieren, dann können wir nach hdfs verschieben. Jetzt habe ich nur einen Pfad für diese remote -> Cluster-Knoten (mit scp) Knoten -> hdfs (mit hdfs Befehl) –