Verbinden Sie lokale jupyter Notebook mit HDInsight Cluster über Sparkmagic

Question

Ich habe einen HDInsight 3.5 Spark (2.0) Cluster auf Microsoft Azure mit den Standardkonfigurationen (Standort = US Ost, Kopfknoten = D12 v2 (x2), Arbeiterknoten = D4 v2) bereitgestellt (x4)). Vor Ort habe ich sparkmagic nach den Schritten in https://github.com/jupyter-incubator/sparkmagic/blob/master/README.md#installation und https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-jupyter-notebook-install-locally installiert und die Datei config.json geändert. Beim Start von jupyter Notebook kann ich den PySpark-Kernel auswählen. Selbst wenn ich die Meldung bekomme, dass der Kernel bereit ist, wenn ich versuche, eine einfache Anweisung (z. B. t = 4) auszuführen, beginnt der Kernel unendlich zu laufen. Können Sie eine mögliche Lösung anbieten?

Answer 1

Höchstwahrscheinlich ist dies ein Problem, bei dem die config.json mit dem falschen Endpunkt, Benutzernamen oder Kennwort konfiguriert ist. Wenn Sie das base64-Kennwortfeld verwenden, vergewissern Sie sich, dass das Kennwort base64-codiert ist.

Ohne weitere Informationen zu Fehlern (Protokolldatei sollte in ~/.sparkmagic/logs sein), ist es schwer zu sagen, warum Sie keine Verbindung herstellen konnten.