Automatisches Einschließen von Gläsern in den PySpark-Klassenpfad

Question

Ich versuche, Gläser automatisch in meinen PySpark-Klassenpfad aufzunehmen. Im Moment kann ich den folgenden Befehl ein und es funktioniert:

$ pyspark --jars /path/to/my.jar 

Ich möchte, dass Glas standardmäßig enthalten haben, so dass ich nur pyspark geben kann und es auch in IPython Notebook verwenden.

Ich habe gelesen, dass ich das Argument, indem PYSPARK_SUBMIT_ARGS in env umfassen kann:

export PYSPARK_SUBMIT_ARGS="--jars /path/to/my.jar" 

Leider ist das oben nicht funktionieren. Ich bekomme den Laufzeitfehler Failed to load class for data source.

Laufender Spark 1.3.1.

bearbeiten

Meine Abhilfe bei der Verwendung von IPython Notebook ist folgende:

$ IPYTHON_OPTS="notebook" pyspark --jars /path/to/my.jar 

Answer 1

Sie können die JAR-Dateien in der Funken defaults.conf Datei hinzufügen (im conf Ordner Ihrer Funkeninstallation). Wenn es mehr als einen Eintrag in der Gläserliste gibt, verwende: als Trennzeichen.

spark.driver.extraClassPath /path/to/my.jar 

Diese Eigenschaft wird in dokumentiert https://spark.apache.org/docs/1.3.1/configuration.html#runtime-environment

Answer 2

Soweit ich weiß, muss man Gläser importieren sowohl Treiber UND Testamentsvollstrecker. Sie müssen also conf/spark-defaults.conf bearbeiten, indem Sie die beiden folgenden Zeilen hinzufügen.

spark.driver.extraClassPath /path/to/my.jar 
spark.executor.extraClassPath /path/to/my.jar 

Als ich das durchging, brauchte ich keine anderen Parameter. Ich nehme an, du wirst sie auch nicht brauchen.