Apache Spark: Wie man pyspark mit Python 3 verwendet

Ich baute Spark 1.4 von der GH-Entwicklung Master, und der Build ging gut durch. Aber wenn ich eine bin/pyspark mache, bekomme ich die Python 2.7.9 Version. Wie kann ich das ändern?Apache Spark: Wie man pyspark mit Python 3 verwendet

Quelle

2015-05-16 tchakravarty

Für alle, die für die, wie man tun Sie dies: 'PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS =" Notizbuch "./bin/pyspark', in diesem Fall führt es IPython 3 Notebook. – tchakravarty

Schauen Sie sich die Datei an. Die Shebang-Zeile wird wahrscheinlich auf die Binärdatei 'env' gerichtet, die den Pfad nach der ersten kompatiblen ausführbaren Datei durchsucht.

Sie können Python zu Python3 ändern. Ändere das env, um die Python3-Binärdatei direkt zu verwenden. Oder führe die Binärdatei direkt mit python3 aus und lasse die shebang-Zeile weg.

Quelle

2015-05-16 19:28:10 rfkortekaas

Ja, in die Datei schauen geholfen. Erforderlich, um die Umgebungsvariable 'PYSPARK_PYTHON' zu setzen. – tchakravarty

PYSPARK_PYTHON=python3 ./bin/pyspark

Wenn Sie in IPython Notebook laufen in möchten, schreiben Sie:

PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark

Wenn python3 nicht zugänglich ist, müssen Sie Pfad statt, um es zu übergeben.

Denken Sie daran, dass die current documentation (as of 1.4.1) Anweisungen hat outdate. Glücklicherweise it has been patched.

Quelle

2015-08-19 09:45:56

Ich denke, Ihr Befehl für das IPython-Notebook ist nicht korrekt. Sollte wie folgt aussehen: PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS = "Notizbuch" ./bin/pyspark – SpiderRico

@ChrisNielsen Im Terminal. –

@ChrisNielsen Unter Linux oder OS X ist ein Terminal/Konsole. Ich habe keine Ahnung, wie es unter Windows funktioniert (in Windows habe ich Spark nur in einem Docker-Container verwendet). –

Setzen Sie einfach die Umgebungsvariable:

export PYSPARK_PYTHON=python3

falls Sie dies eine permanente Änderung dieser Zeile Skript pyspark hinzufügen zu sein.

Quelle

2015-08-19 11:57:53 Rtik88

Das hat bei mir funktioniert. – Jinw

Die Umgebungsvariablen können unter/etc/profile bearbeitet werden. Vergessen Sie nicht, nach dem Speichern des Profils "source/etc/profile" auszuführen, damit die Änderungen sofort ausgeführt werden können. – Phyticist

Arbeitete wie Charme, –

1, Profil bearbeiten: vim ~/.profile

2, fügen Sie den Code in die Datei: export PYSPARK_PYTHON=python3

3, Befehl ausführen: source ~/.profile

4, ./bin/pyspark

Quelle

2016-08-14 02:38:13 yangh

Apache Spark: Wie man pyspark mit Python 3 verwendet

Antwort

Verwandte Themen