Dataproc: Jupyter Pyspark Notebook kann Graphframes-Paket nicht importieren

Question

In Dataproc Funken Cluster, Graphframe-Paket ist in Spark-Shell, aber nicht in Jupyter Pyspark Notebook verfügbar.

Pyspark Kernel-Konfiguration:

PACKAGES_ARG='--packages graphframes:graphframes:0.2.0-spark2.0-s_2.11' 

Nach dem cmd-Cluster zu initialisieren:

gcloud dataproc clusters create my-dataproc-cluster --properties spark.jars.packages=com.databricks:graphframes:graphframes:0.2.0-spark2.0-s_2.11 --metadata "JUPYTER_PORT=8124,INIT_ACTIONS_REPO=https://github.com/{xyz}/dataproc-initialization-actions.git" --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-workers 2 --properties spark:spark.executorEnv.PYTHONHASHSEED=0,spark:spark.yarn.am.memory=1024m  --worker-machine-type=n1-standard-4 --master-machine-type=n1-standard-4 

Answer 1

Dies ist ein alter Bug mit Funken Muscheln und GARN, dass ich in SPARK-15782 fixierte gedacht, aber Offensichtlich wurde dieser Fall verpasst.

Die vorgeschlagene Abhilfe ist das Hinzufügen

import os 
sc.addPyFile(os.path.expanduser('~/.ivy2/jars/graphframes_graphframes-0.2.0-spark2.0-s_2.11.jar')) 

vor Ihrem Import.

Answer 2

fand ich eine andere Art und Weise Pakete zu tun hinzuzufügen, die auf Jupyter Notebook funktioniert:

spark = SparkSession.builder \ 
.appName("Python Spark SQL") \ \ 
.config("spark.jars.packages", "graphframes:graphframes:0.5.0-spark2.1-s_2.11") \ 
.getOrCreate()