Einrichten von PySpark

Question

Ich habe Scala und Spark installiert und funktioniert, aber PySpark funktioniert nicht. Hier ist die löschte Im erhalten:

user@ubuntu:~/spark$ pyspark 
Python 2.7.6 (default, Jun 22 2015, 17:58:13) 
[GCC 4.8.2] on linux2 
Type "help", "copyright", "credits" or "license" for more information. 
Traceback (most recent call last): 
    File "/home/user/spark/python/pyspark/shell.py", line 30, in <module> 
    import pyspark 
    File "pyspark.py", line 1, in <module> 
NameError: name 'sc' is not defined 

Hier ist mein .bashrc:

export SPARK_HOME=/home/user/spark 
export PATH=$PATH:$SPARK_HOME/bin:$PATH 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH 

Was mache ich falsch?

Dank

Answer 1

Es sieht aus wie Sie einen Importkonflikt haben. Irgendwo in Ihrem Pfad gibt es pyspark.py Datei, die vor tatsächlichen pyspark Paket abgeholt wird.

Answer 2

Ich konnte das Problem nicht reproduzieren, sah aber trotzdem nicht, warum es notwendig ist, SPARK_HOME, PATH und PYTHONPATH zu setzen. Wenn pyspark mit Pfad gestartet wird, sollte SparkContext bereits erstellt werden.
Wenn Sie mit ipython oder Python starten, können Sie findspark Paket verwenden Funken zu lokalisieren und erstellen SparkContext

$ python 
>>> import findspark 
>>> findspark.init('/home/user/spark') 
>>> from pyspark import SparkContext 
>>> sc = SparkContext('local[4]', 'myapp')