2017-03-04 2 views
-2

Ich versuche, eine Textdatei aus dem lokalen Pfad mit Funken zu lesen. Aber es wirft eine Ausnahme auf. Error imageLesen einer Textdatei vom lokalen Rechner

Der Code, den ich verwendete Datei zu lesen, ist dies:

val assetFile = sc.textFile(assetFilePath) 

assestFilePath eine Variable ist whichrepresent der Pfad in meinem lokalen Rechner somehere.

adFilePath ist eine Variable, die den Pfad zu etwas in meinem lokalen Rechner darstellt.

+0

Ich empfehle Ihnen dringend, den Fehler-Stack zu posten und den Link mit dem Bild zu entfernen. – dbustosp

+0

Haben Sie diesen Link überprüft: [http://stackoverflow.com/questions/27299923/how-to-load-local-file-in-sc-textfile-instead-of-hdfs](http://stackoverflow.com/questions/27299923/how-to-load-lokale-Datei-in-sc-Textdatei-statt-von-hdfs) – dbustosp

Antwort

0

sc.textFile liest standardmäßig von HDFS nicht vom lokalen Dateisystem, aber Spark unterstützt mehrere Dateisysteme außer HDFS wie LocalFileSyetem, Amazon S3, Azure, Swift FS.

Um also vom lokalen Dateisystem zu lesen, müssen Sie im Dateipfad als Protokoll angeben. zum Beispiel:

sc.textFile("file:///tmp/myfile.txt") 

Dies wird eine Datei mit dem Namen myfile.txt aus tmp-Verzeichnis in der lokalen Dateisystem, in dem Funkentreibercode ausgeführt wird gelesen.

Verwandte Themen