AWS EMR-Dateierstellung auf Cluster funktioniert nicht

Question

Ich führe einige Shell-Skript in EMR, wenn ich das Skript durch Hinzufügen von Schritt - Der Prozess läuft, aber eine Zeile im Skript, die eine Datei auf dem lokalen System erstellt. Wenn ich mich jedoch über SSH anmelde und dasselbe Skript ausführe (d. H. Kopieren und Einfügen in die Befehlszeile, sobald ich mich angemeldet habe), erhalte ich die Dateierstellung.

die Linie, die eine Datei erstellt wird:

echo $FILENAMEUS > /home/hadoop/filename.csv 

Meine ersten Gedanken Besitz des Hadoop-Dateisystem ist, aber ich habe keine wirkliche Ahnung, warum dies geschieht. Jede Hilfe wird sehr geschätzt. Vielen Dank.

Answer 1

So kann man nicht einfach echo direkt auf hadoop fs, müssen Sie die hadoop fs -put-Funktion verwenden, um es dort zu setzen.

echo $FILENAME | hadoop fs -put - filesystem:///url 

wirklich praktisch, können Sie direkt hadoop fs-schöpferische Leistungen auf HDFS-Dateisystem, so könnten Sie tun all die sedawk etc und dann -Setzen es auf HDFS.