Wie ein Funke scala Projekt

Question

externe JAR-Dateien hinzufügen ich eine LSH Implementierung von Scala (https://github.com/marufaytekin/lsh-spark) in meinem Funken zu verwenden versuchen project.I geklont das Repository mit einigen Änderungen an die SBT-Datei (hinzugefügt Organization)

diese Implementierung zu verwenden, ich es mit sbt zusammengestellt kompilieren und in die „lib“ Ordner meines Projekts die jAR-Datei und die sbt Konfigurationsdatei meines Projekts aktualisiert, die wie folgt aussieht,

Nun, wenn Ich versuche, mein Projekt mit sbt kompilieren zu kompilieren, es lädt nicht die externe JAR-Datei mit der Fehlermeldung "unaufgelöste Abhängigkeit: com.lendap. spark.lsh.LSH # lsh-scala_2.10; 0.0.1-SNAPSHOT: nicht gefunden ". Befolge ich die richtigen Schritte zum Hinzufügen einer externen JAR-Datei? Wie löse ich das Abhängigkeitsproblem

Answer 1

Dieses Problem bezieht sich nicht auf Funken sondern auf sbt Konfiguration.

Stellen Sie sicher, die richtige Ordnerstruktur von sbt auferlegt gefolgt und haben Ihr Glas in den lib Ordnern, wie here erklärt - lib Ordner auf dem gleichen Niveau sein sollten als build.sbt (vgl this post).

Sie können auch diese SO post überprüfen.

Answer 2

Als Alternative können Sie das lsh-spark-Projekt erstellen und das Glas in Ihre Spark-Anwendung einfügen. Zum Hinzufügen der externen Jars kann die Option addJar während der Ausführung der Spark-Anwendung verwendet werden. Siehe Running spark application on yarn