Running pySpark in Jupyter Notebooks - Windows

Question

Ich möchte pySpark von Jupyter Notebook ausführen. Ich habe Anaconda mit Jurtyer heruntergeladen und installiert. Ich habe die folgenden Zeilen

from pyspark import SparkConf, SparkContext 
conf = SparkConf().setMaster("local").setAppName("My App") 
sc = SparkContext(conf = conf) 

bekomme ich folgende Fehler

ImportError        Traceback (most recent call last) 
<ipython-input-3-98c83f0bd5ff> in <module>() 
    ----> 1 from pyspark import SparkConf, SparkContext 
    2 conf = SparkConf().setMaster("local").setAppName("My App") 
    3 sc = SparkContext(conf = conf) 

C:\software\spark\spark-1.6.2-bin-hadoop2.6\python\pyspark\__init__.py in <module>() 
39 
40 from pyspark.conf import SparkConf 
    ---> 41 from pyspark.context import SparkContext 
42 from pyspark.rdd import RDD 
43 from pyspark.files import SparkFiles 

C:\software\spark\spark-1.6.2-bin-hadoop2.6\python\pyspark\context.py in <module>() 
26 from tempfile import NamedTemporaryFile 
27 
---> 28 from pyspark import accumulators 
29 from pyspark.accumulators import Accumulator 
30 from pyspark.broadcast import Broadcast 

ImportError: cannot import name accumulators 

Ich habe versucht, die folgende Umgebungsvariable PYTHONPATH Zugabe, die zum Funken/Python Verzeichnis zeigt, basierend auf einer Antwort in Stackoverflow importing pyspark in python shell

aber das war keine Hilfe

Answer 1

Dies funktionierte für mich:

Um zu überprüfen:

In [2]: sc 
Out[2]: <pyspark.context.SparkContext at 0x707ccf8>