Wie importiert man eigenes Scala-Paket mit Spark-Shell?

Question

Ich habe eine Klasse für Spark-ml-Bibliothek geschrieben, die eine andere Klassen verwendet. Wenn klar ist, ist meine Klasse ein Wrapper für RandomForestClassifier. Jetzt möchte ich eine Möglichkeit haben, diese Klasse von Spark-Shell zu importieren.

Also die Frage ist: Wie mache ich ein Paket mit meiner eigenen Klasse, dass es aus Spark-Shell importiert werden kann? Danke vielmals!

Answer 1

Lesen Sie die Dokumentation:

In the Spark shell, a special interpreter-aware SparkContext is already created for you, in the variable called sc. Making your own SparkContext will not work. You can set which master the context connects to using the --master argument, and you can add JARs to the classpath by passing a comma-separated list to the --jars argument. You can also add dependencies (e.g. Spark Packages) to your shell session by supplying a comma-separated list of maven coordinates to the --packages argument. Any additional repositories where dependencies might exist (e.g. SonaType) can be passed to the --repositories argument.

Answer 2

Wenn Sie nicht kompilierten Dateien wie Hello.scala, tun unten in Funken Shell importieren möchten:

scala> :load ./src/main/scala/Hello.scala