Registrieren Spyder für Spark Fehler

Question

Ich habe versucht, eine einfache Standalone Spark-Cluster, mit einer Schnittstelle zu Spyder einrichten. Es gab einige Bemerkungen in der Zündfunken-Verteilerliste und an anderer Stelle, die eine Richtlinie how to do this geben.

Dies funktioniert jedoch nicht für meine Einrichtung. Nachdem ich das Drehbuch zu spark-submit einreichen, ich die folgenden Fehlermeldung erhalten:

File "/home/philip/Programme/anaconda2/bin/spyder.py", line 4, in <module> import spyder.app.start 
ImportError: No module named app.start 

Von meinem Verständnis hat dies etwas mit dem $PYTHONPATH Variable zu tun. Ich habe bereits den Weg zum py4j Modul geändert (in Stromfunken Version 2.1.0 ist es py4j-0.10.4 anstelle der aufgeführten ein

Meine .bashrc Datei sieht derzeit wie folgt aus:.

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre 
export SPARK_HOME=~/Programme/spark-2.1.0-bin-hadoop2.7 
export PATH=$PATH:$SPARK_HOME/bin 
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH 
export PATH=$PATHusr/bin/spyder 

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/ 

# added by Anaconda2 4.3.0 installer 
export PATH=/home/philip/Programme/anaconda2/bin:$PATH 

Wenn jemand gestoßen ein ähnliches Problem, ist Hilfe sehr geschätzt

Answer 1

ich einen ähnlichen Fehler aufgetreten der Grund in meinem Fall war, dass ich nicht PYTHONPATH gesetzt hatte, sollten Sie versuchen, dies zu Ihrer Installation von python Einstellung Also statt:...

Versuchen

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/

export PYTHONPATH=/home/philip/Programme/anaconda2/bin/python2.7

konnte ich meine spyder Setup gehen erhalten, indem Sie den folgenden Code in das spyder Editor-Fenster mit:

import os 
import sys 

if 'SPARK_HOME' not in os.environ: 
    os.environ['SPARK_HOME']='/home/ramius/spark-2.1.1-bin-hadoop2.7' 
SPARK_HOME=os.environ['SPARK_HOME'] 

if 'PYTHONPATH' not in os.environ: 
    os.environ['PYTHONPATH']='/home/ramius/anaconda2/bin/python2.7' 
PYTHONPATH=os.environ['PYTHONPATH'] 

sys.path.insert(0,os.path.join(SPARK_HOME,"python")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","pyspark.zip")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","py4j-0.10.4-src.zip")) 

from pyspark import SparkContext 

Hoffnung, das hilft.