1
Ich benutze Jupyter Notebook mit PySpark, die Spark als Kernel verwendet.Schließen PySpark Notebook ordnungsgemäß
Das Problem ist, dass ich nicht sicher bin, wie man es richtig schließt und ich habe den Eindruck, dass etwas hängen bleibt, da der Speicher des Treibers, auf dem das Notebook läuft, voll wird und abstürzt).
Ich schließe die ganze Sache, indem ich einfach das Notebook mit der Prozess-ID, die ich in .pid-Datei speichern. Aber ich habe das Gefühl, dass der folgende Zustand Note gut:
Was ist das eigentliche Problem und wie es zu lösen, das heißt, wie die Nähe der ganze Sache (Fahrer und auf dem Garn) richtig?
Danke für die Antwort. Und gibt es einen Unterschied in dem, was ich mache? – Marko
Ich bin mir nicht sicher, die Verwendung des Jupyter-Menüs funktioniert immer in meiner Umgebung, auch wenn der Treiber keine Speicherausnahmen mehr hat. Vielleicht tötest du den falschen Prozess? – Mariusz
Ich denke nicht. Aber hast du eine Ahnung, was für ein Problem ich habe? Weil diese Spark-Shell-Instanzen sich zu akkumulieren scheinen, auch wenn ich das Notebook nicht heruntergefahren habe, das heißt, während der Arbeit akkumulieren sie und am Ende bekomme ich einen GC-Overhead-Fehler, der in Spark ui angezeigt wird. – Marko