wie Intellij als Spark Python IDE

Question

konfigurieren Ich möchte einen einfachen Apache Spark Python-Code mit Intellij IDE ausführen, also ich ein Python-Projekt erstellen und Spark Beispielcode schreiben. Dann gehe ich zu:

RUN ---> Bearbeiten Konfigurationen ... ---> Umgebungsvariablen und fügen Sie diese beiden Variablen:

SPARK_HOME=/usr/local/spark 
PYTHONPATH=/usr/local/spark/python:/usr/local/spark/python/lib/py4j-0.10.3-src.zip 

und ich kann einfach meine Spark-Python laufen und in der zweiten Stufe, für die automatische Vervollständigung und Spark-Python-Codes zu identifizieren, füge ich Python-Verzeichnis in Spark_Home zu meinem Projekt Classpath:

Datei ---> Projektstruktur ---> ClassPath ---> add +

und ich fügen $SPARK_HOME/python zum Projekt Classpath hinzu. Und ich habe zwei Fragen:

) Ist mein Weg zum Konfigurieren von Spark Python in Intellij, ein Standard Weg?

(am wichtigsten): Wenn ich Intellij schließe und es wieder öffne, wird mein manuell hinzugefügter Klassenpfad gelöscht (ich meine, was ich im zweiten Schritt getan habe) und jedes Mal, wenn ich es hinzufügen sollte! Gibt es eine Möglichkeit, Klassenpfad dauerhaft zu meinem Projekt in Intellij hinzuzufügen?

Dank

Answer 1

Ja, es ist der Standard Weg. Im Allgemeinen benötigt IDE einige Abhängigkeiten für die Ausführung jedes Codes, und hier ist Ihnen die IDE bekannt, wo sie Abhängigkeiten zum Ausführen von PySpark-Code finden kann. Sie können auch PyCharm IDE verwenden.

Über Ihr zweites Problem, könnten Sie uns mehr darüber erzählen?