Wenn Sie dann sbt package
laufen keine Abhängigkeiten haben ein Glas werden alle Ihren Code erstellen.
Sie können dann Ihren Spark-App als laufen:
$SPARK_HOME/bin/spark-submit --name "an-app" my-app.jar
Wenn Ihr Projekt externe Abhängigkeiten hat (anders als Funke selbst, wenn es nur Spark oder irgendetwas davon ist Abhängigkeiten, dann der obige Ansatz funktioniert immer noch), dann haben Sie zwei Optionen:
1) Verwenden Sie das sbt assembly Plugin, um ein Uper-Jar mit Ihrem gesamten Klassenpfad zu erstellen. Wenn Sie sbt assembly
ausführen, wird ein weiteres Glas erstellt, das Sie auf die gleiche Weise wie zuvor verwenden können.
2) Wenn Sie nur sehr wenige einfache Abhängigkeiten haben (sagen Sie nur joda-time), dann können Sie sie einfach in Ihr Spark Submit Skript einfügen.
I hav Die zwei Abhängigkeiten für spark-core und spark-mllib, laufe ich durch: spark-submit --klasse "an-app" --master local [4] target/scala-2.11/myproject_2.11-1.0.jar – sirine
Ich will um meine JAR-Datei zu erhalten oder sie auf meine lokale CD zu kopieren. – sirine
Sie haben gerade gesagt, wo das Glas ist. Warum hast du Probleme beim Kopieren? Ich bin verwirrt ... – marios