Wie reiche ich eine jAR mit Abhängigkeiten zu Livy ein?

Ich benutze Livy in HDInsight, um Jobs an einen Spark-Cluster zu senden. Ich habe meinen Code geschrieben und in ein JAR kompiliert, aber es hat mehrere Abhängigkeiten, von denen einige aus einem benutzerdefinierten Repository stammen.Wie reiche ich eine jAR mit Abhängigkeiten zu Livy ein?

Wie bekomme ich Livy, um diese Abhängigkeiten selbst aufzulösen? Ich möchte nicht ein dickes Glas einreichen, weil die Abhängigkeiten sich immer ändern und ich nicht den Operationsaufwand mag.

Quelle

2017-04-19 SiddharthaRT

Sie können spark.jars.ivy als Parameter übergeben. Siehe https://spark.apache.org/docs/latest/configuration.html

Sie können alles übergeben, die Livius unterstützt in der/Chargen POST Körper: https://github.com/cloudera/livy#post-batches

Quelle

2017-04-19 18:53:42 aggFTW

wird diese Abhängigkeiten auflösen? ich. e. Wenn ich com.X.Y 0.3 erwähne, fügt es auch alle Abhängigkeiten von com.X.Y hinzu, die in der pom.xml im Repository erwähnt werden? – SiddharthaRT

Es verhält sich genau wie Spark Verhalten. Versuchen Sie einen Spark-Submit-Job, um herauszufinden, welche Parameter Sie übergeben müssen, und replizieren Sie dann mit Livy. – aggFTW

Wie reiche ich eine jAR mit Abhängigkeiten zu Livy ein?

Antwort

Verwandte Themen