Eingabedatei oder Pfad nicht existiert, wenn scala Skript ausgeführt

Question

Ich habe gerade angefangen Zünd-/Scala Lernen, hier ist eine verwirrende Frage, die ich auf meiner ersten Praxis stieß:

1. ich eine Testdatei erstellt: Eingang .txt in/etc/Funken/bin
2. habe ich eine RDD
3. ich begann ein Wortanzahl zu tun, sondern erhalten die Fehlermeldung, dass Input path does not exist

Hier ein Screenshot ist:

Warum die input.txt nicht von Scala abgeholt? Wenn es um Erlaubnis geht, wurde die Datei von root erstellt, aber ich führe auch Spark/Scala unter root.

Vielen Dank.

Answer 1

Spark liest Datei von hdfs. Kopieren Sie es mit:

hadoop fs -put /etc/spark/bin/input.txt /hdfs/path 

Wenn es eine lokale Installationsdatei hadoop Ordner verschoben werden ist.