Wie importiert man pyspark in google-cloud-datelab notebook? Auch nach dem Einrichten von PYTHONPATH, SPARK_HOME auf Knoten, funktioniert es nicht? Fehle ich etwas?pyspark auf Google Cloud Datalab
ImportErrorTraceback (most recent call last)
<ipython-input-4-c15ae3402d12> in <module>()
----> 1 import pyspark
ImportError: No module named pyspark
Datalab derzeit nicht unterstützt (py) Funken noch (auch überprüfen ihre roadmap). Auf der Google Cloud Platform ist die einfachste Option in diesem Moment die Bereitstellung eines DataProc-Clusters mit dem Jupyter-Notebook, siehe Dokumentation here.
Beachten Sie, dass sich das Dataproc-Team auch auf StackOverflow befindet, damit er Ihnen weitere Informationen zur Roadmap geben kann.
Wie Fematich sagte, wird es leider noch nicht unterstützt. Wie auch immer, Datalab is open source, wenn Sie möchten, können Sie die Docker-Datei ändern, um pyspark hinzuzufügen und ein eigenes Bild zu erstellen. Sie können auch eine Pull-Anfrage senden, wenn Sie denken, dass dies auch für andere interessant sein könnte.
Sie können Datalab laufen bequem auf Cloud Dataproc über eine Initialisierung Aktion:
https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/tree/master/datalab
Diese Sie mit der pySpark Umgebung interagieren können.
Alternativ können Sie das Dataproc Docker-Bild so bearbeiten, dass es spark (mit pyspark) enthält. Dies ermöglicht es Ihnen, Datalab mit Spark überall dort, wo Sie mit (lokal oder VMs) laufen.