Spark unter Windows - "Das System kann den angegebenen Pfad nicht finden."

Question

Dies scheint ein häufiges Problem mit dem Versuch, Spark unter Windows aus den Untersuchungen, die ich bisher getan habe, zu verwenden, und hat in der Regel damit zu tun, dass der PATH falsch eingestellt ist. Ich habe den PATH jedoch dreifach überprüft und viele der Lösungen ausprobiert, die ich online gefunden habe, und ich kann immer noch nicht herausfinden, was das Problem verursacht.

---

1. Versuch "spark-shell" von der Eingabeaufforderung in Windows 7 (64 Bit) gibt "Das System kann nicht den angegebenen Pfad finden." Auszuführen

"Cannot find the specified path" screen shot

1. Allerdings kann ich den gleichen Befehl aus dem Verzeichnis, in dem die Funken shell.exe befindet sich (wenn auch mit einigen Fehlern), was dazu führt, Ich glaube, dass dies ein PATH-Problem ist, wie die meisten anderen Beiträge zu diesem Problem im Internet. Allerdings ....

Spark-shell works when called from directory

Shell appears to be working

3. Von dem, was ich sagen kann, mein PATH richtig angezeigt wird gesetzt werden. Die meisten Lösungen für dieses Problem, denen ich begegnet bin, beziehen sich auf das Fixieren der Systemvariable% JAVA_HOME%, um auf den korrekten Speicherort zu verweisen und das Hinzufügen von% JAVA_HOME%/bin zum PATH (zusammen mit dem Verzeichnis, das 'Spark-Shell enthält .exe '). Sowohl die Variablen JAVA_HOME als auch PATH scheinen jedoch die erforderlichen Verzeichnisse zu enthalten.

Screenshot of PATHs

Vielen Dank für jede Hilfe!

Answer 1

Es stellte sich heraus, dass dieses Problem von einer zuvor installierten Version von Spark auf meinem Computer verursacht wurde. PySpark wurde bereits über "pip install PySpark" installiert, als ich versuchte, den eigenständigen Spark-Client zu installieren, und mit zwei Instanzen von Spark installiert "func-shell" einen Konflikt erstellt, wenn beide dieser Orte referenziert wurden.

Obwohl der PATH korrekt eingestellt wurde, verursachte die Tatsache, dass "Spark-Shell" auf eine vorherige PySpark-Installation und eine eigenständige Spark-Installation referenzierte, das Problem.

Ich bemerkte, wenn ich "pypspark" von der Befehlszeile ausgeführt wurde, gab es zwei Instanzen von "Das System konnte den angegebenen Pfad nicht finden." error .. was mich zu der Annahme brachte, dass pyspark/spark an zwei Stellen installiert war und möglicherweise ein Problem bei der Auflösung des PATH verursachen konnte, als ich "funken-shell" anrief.

Ich habe "pip uninstall pyspark" ausgeführt, und dann, als ich "funke-shell" von der Befehlszeile erneut versuchte, funktionierte es wie erwartet!