3
Ich führe einige meiner benutzerdefinierten Spark-Mitarbeiter aus, die eine Abhängigkeit von anderen Bibliotheken haben. Jedes Mal, wenn ich sie unter Verwendung von spark-submit ausfühle, versucht Ivy, die letzte Abhängigkeit vom Internet zu holen, was am Anfang einige Zeit in Anspruch nimmt. Gibt es irgendeine Flagge, um dieses Holen jedes Mal zu entbinden? Ich meine, sobald Ivy die Abhängigkeit zwischenspeichert, können wir sie für das nächste Mal deaktivieren?ant - Deaktivieren Sie Ivy, um die Abhängigkeit bei jedem Lauf abzurufen.
Mein ivysettings.xml aus einer 3rd-Party-JAR-Datei geladen zu werden. Wie kann ich Werte darin überschreiben? Gibt es auch eine Befehlszeilenmarkierung, die wir an sie übergeben können? Im Folgenden sind die Protokolle, wenn ich es aus: Standard Cache Ivy auf: /Users/rootcss/.ivy2/cache Die Gläser für die gespeicherten Pakete in: /Users/rootcss/.ivy2/jars :: Lade Einstellungen :: url = jar: Datei: /Users/rootcss/infrastructure/spark-1.6.0-bin-hadoop2.6/lib/spark-assembly-1.6.0-hadoop2.6.0.jar!/org/apache/ivy/core/settings/ivysettings.xml com.datastax.spark #funken-cassandra-connector_2.10 hinzugefügt als abhängigkeit :: auflösende abhängigkeiten ...... – rootcss