Wie lese ich die Datei von hdfs

Question

Ich habe eine Textdatei namens mr.txt in der Hadoop-Datei-System unter/Projekt1-Verzeichnis. Ich muss den Python-Code schreiben, um die erste Zeile der Textdatei zu lesen, ohne die mr.txt-Datei in local herunterladen zu müssen. Aber ich habe Probleme, die mr.txt-Datei von hdfs zu öffnen. Ich hatte versucht:

open('hdfs:///project1/mr.txt','r') 

Answer 1

Get PySpark installiert.

Answer 2

Ohne genauer zu wissen, was Ihre Software ist oder wo es läuft ...

Sie ein NFS server verwenden kann, so können Sie das HDFS Volumen und den Zugang zu lokal montieren . Wenn diese Option nicht Ihren Anforderungen entspricht, sollten Sie Hadoop Streaming verwenden. Wenn Sie schließlich einen Spark-Job schreiben, können Sie auf das HDFS zugreifen, als wäre es Ihr lokaler FS.