wie pyspark job mit abhängigkeit von google dataproc cluster

Question

übermitteln Ich verwende google dataproc cluster um spark job auszuführen, das skript ist in python.

Wenn nur ein Skript (test.py zum Beispiel) ist, kann ich Job mit folgendem Befehl einreichen:

gcloud dataproc jobs submit pyspark --cluster analyse ./test.py

Aber jetzt test.py Importmodule aus anderen Skripten von mir geschrieben, wie kann Ich spezifiziere die Abhängigkeit im Befehl?

Answer 1

könnten Sie verwenden --py-Dateien Option

Siehe hier: https://cloud.google.com/sdk/gcloud/reference/dataproc/jobs/submit/pyspark