Einführung pyspark IPython Notebook auf EC2

Question

Ich habe ein Upgrade 2.0 von 1,4 Spark und heruntergeladen die EC2-Verzeichnis von github.com/amplab/spark-ec2/tree/branch-2.0

Um einige Cluster spin up Ich gehe zu mein EC2-Verzeichnis und diese Befehle ausführen:

./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name> 

./spark-ec2 -k <keypair> -i <key-file> login <cluster-name> 

ich habe meinen Cluster und ich bin in Master angemeldet, aber ich weiß nicht, wie ein pyspark Notebook zu starten. Mit 1,4 Funken werde ich den Befehl

IPYTHON_OPTS="notebook --ip=0.0.0.0" /root/spark/bin/pyspark --executor-memory 4G --driver-memory 4G & 

laufen und ich habe meinen Notebook und läuft gut, aber mit Spark-2.0 gibt es kein ist/pyspark Verzeichnis. Kann mir jemand helfen?

Answer 1

Laut der Quelle Kommentare:

https://apache.googlesource.com/spark/+/master/bin/pyspark

In Spark-2.0 werden IPython und IPYTHON_OPTS entfernt und pyspark nicht zu starten, wenn eine Option in der Umgebung des Benutzers festgelegt ist. Stattdessen sollten Benutzer PYSPARK_DRIVER_PYTHON = ipython für die Verwendung von IPython festlegen und PYSPARK_DRIVER_PYTHON_OPTS zum Übergeben von Optionen festlegen, wenn der Python-Treiber gestartet wird (z. B. PYSPARK_DRIVER_PYTHON_OPTS = 'Notizbuch'). Dies unterstützt vollständige Anpassung der ausführbaren Python-Dateien von IPython und Executor.

Die folgenden link führen Sie Schritt für Schritt. Neben dem Upgrade auf Spark 2.0 sollten Sie auch auf Juypter Notebooks (früher Ipython Notebooks) upgraden.