Lauf Funke-Maschine Beispiel auf Garn Lernen fehlgeschlagen

Question

Nach dem dfs, Garn und Funken starten, ich diesen Code unter dem Stammverzeichnis von Funken auf Master-Host ausgeführt werden:

MASTER=yarn ./bin/run-example ml.LogisticRegressionExample \ data/mllib/sample_libsvm_data.txt

Eigentlich bekomme ich diesen Code von Spark README, und hier ist der Quellcode über LogisticRegressionExample auf GitHub: https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/LogisticRegressionExample.scala

Dann Fehler tritt auf:

Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://master:9000/user/root/data/mllib/sample_libsvm_data.txt;

Erstens, ich weiß nicht, warum es hdfs://master:9000/user/root ist, setze ich die IP-Adresse von namenode auf hdfs://master:9000, aber warum funken wählte /user/root?

Dann mache ich ein Verzeichnis /user/root/data/mllib/sample_libsvm_data.txt auf jedem Host des Clusters, also hoffe ich, dass Spark diese Datei finden kann. Aber derselbe Fehler tritt erneut auf. Bitte sag mir, wie ich es beheben kann.

Answer 1

Spark sucht nach der Datei auf HDFS, nicht das normale Linux-Dateisystem. Der Pfad, den Sie Ihren Daten gegeben haben (data/mllib/sample_libsvm_data.txt), ist ein relativer Pfad. In HDFS wird davon ausgegangen, dass relative Pfade in Ihrem Home-Verzeichnis beginnen.

Der LogRegExample.scala auf GitHub setzt eine lokale Ausführung voraus, keine Garnausführung. Wenn Sie eine Garnausführung durchführen möchten, müssen Sie Dateien in HDFS hochladen.