2016-09-22 4 views
1

Ich bin sehr neidisch auf Autovervollständigung DataBricks in seinen jupyter Notebooks, aber ich kann es nicht auf meiner lokalen Installation arbeiten.Autovervollständigung in Jupyter mit pyspark & ​​scala

Ich grub doc, dass% config IPCompleter.greedy = True das funktioniert für Python, aber nicht mit Pyspark oder Spark-Shell (Scala). Weiß jemand, wie das funktioniert?

BTW: Ich arbeite mit Spark 2.0.0 & Spark 2.11 auf Ubuntu 16.04 64bit. Auch toee mit Spark 2.0 & Spark2.11 zu arbeiten, kompilierte ich toree-assembly-0.2.0.dev1-Inkubation-SNAPSHOT Das ist in meinem binstar unter hyoon. https://anaconda.org/hyoon/toree

+0

soweit ich weiß keine dieser Autovervollständigungen so gut arbeiten. Normalerweise schreibe und teste ich meinen Code in Intellij Idee, und dann verschiebe ich meinen Code in die Notizbücher für Präsentationen oder Plottings. Ich hätte gerne einen besseren Weg, aber es könnte bestenfalls das sein, was Databricks getan hat, was auch nicht so gut war. –

+0

Ich benutze beide Intellij n ensime, das ist fast gleich (zumindest mit Emacs). Ich hoffe, dass Jupiter in der Zukunft in ensime integriert werden konnte und das sollte sich um die Scala-Seite kümmern. Spark-Notebook und Zeppline scheinen beide etwas experimenteller als Jupiter. Ich hatte Kompilierungs- oder Implementierungsseite. – user6273920

+0

Ich habe ensime + emacs schon vor Ewigkeiten getestet. Ich fand intellij ist insgesamt besser und auch viel schneller, aber immer noch langsam. Ich mochte es aber wirklich. Für jemanden, der emacs mag (was ich bin), ist ensime + emacs gott send! –

Antwort

0

Scheint so, als ob dies ab Spark 2.2 gelöst wurde. Stellen Sie sicher, dass die Umgebungsvariable korrekt gesetzt wird. Jetzt funktioniert alles.

unten ist ein wichtiger!

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH 
Verwandte Themen