Fehler beim Ausführen von pyspark

Question

Ich habe versucht, pyspark über Terminal zu betreiben. Von meinem Terminal starte ich Snotebook und es wird automatisch Jupiter geladen. Danach, wenn ich Python3 auswähle, kommt der Fehler vom Terminal.

[IPKernelApp] WARNUNG | Unbekannter Fehler in PYTHON Datei Handhabung /Users/simon/spark-1.6.0-bin-hadoop2.6/python/pyspark/shell.py

Hier ist meine Bash_profile Einstellung:

export PATH="/Users/simon/anaconda/bin:$PATH" 

export SPARK_HOME=~/spark-1.6.0-bin-hadoop2.6 

export PATH=$PATH:$SPARK_HOME/bin 

export PYSPARK_DRIVER_PYTHON=jupyter 

export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 

export PYSPARK_PYTHON=python3 

alias snotebook='$SPARK_HOME/bin/pyspark' 

Bitte lassen Sie mich wissen, wenn Sie irgendwelche Ideen haben, danke.

Answer 1

Sie müssen unter der Linie in Ihrem Code

PYSPARK_DRIVER_PYTHON=ipython 

oder

PYSPARK_DRIVER_PYTHON=ipython3 

Hoffe, dass es helfen wird, hinzuzufügen.