Wie Standard-Maven-Repositories für funken einreichen Pakete

Question

Wenn ich ausführen mein Funken Schale oder Funken einreichen Befehl

spark-shell --repositories https://myrepository.com/release 
--packages com.myrepo:spark-helpers:0.1 

funktioniert perfekt definieren, und ich kann meine eigenen Code verwenden.

Da gibt es mehrere Konfigurationsdateien wie spark-defaults.properties und spark-env.sh ich davon aus, dass Sie diese Einstellungen irgendwie konfigurieren können.

Was ich gefunden habe ist, dass Sie spark.jars.ivy in spark-defaults.properties zur Definition eines Efeu-Repositorylink-to-source verwenden sollte, aber ich habe keinen Punkt, warum ich Efeu verwenden sollte Wenn spark-submit unterstützt Maven standardmäßig.

Answer 1

Es ist eine Weile her, seit diese Frage gestellt wurde, und die documentation auf spark.jars.ivy hat sich seitdem geändert, aber ich werde versuchen und trotzdem antworten.

Eine Verwendung von spark.jars.ivy dient zur Ressourcenisolierung für alle Anwendungen im Cluster.

Wenn zwei Funken Anwendungen auf demselben Cluster ausgeführt erfordern zwei unterschiedliche (und möglicherweise widersprüchlichen) Versionen des gleichen Pakets, können Sie die 2 Gläser isolieren von spark.jars.ivy=/ivy/cache/for/app1 und spark.jars.ivy=/ivy/cache/for/app2

vorbei Die Gläser werden in der nach heruntergeladen werden Verzeichnis, so dass die Gläser aus verschiedenen Läufen isoliert werden und nicht miteinander in Konflikt stehen.