Mahout und Spark Version Kompatibilität

Question

Ich verwende derzeit Mahout 0.13.0. Wenn ich versuche, funken itemsimilarity zu verwenden bekomme ich einen Fehler:

Exception in thread "main" java.lang.NoClassDefFoundError: org/Apache/Funken/SparkConf

Ich vermute, kann es ein Problem mit Spark-Version sein , aber ich kann nicht finden, welche Version von Spark ich brauche. Ich verwende derzeit Spark 2.1.0.

Also meine Frage ist, mit welcher Version von Spark ist Mahout 0.13.0 kompatibel?

Answer 1

Es gibt keine Binärdateien für Mahout 0.13.0 auf Spark-2.1 ​​/ Scala 2.11, aber es möglich ist, Mahout zu bauen für Spark 2.1 (leider gibt es keine Profile, haben sie alle mit D Schalter zu tun)

bauen Sie folgendes tun müssen:

git clone http://github.com/apache/mahout

cd mahout

mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11

Auch Pat ist korrekt - Release kommt hoffentlich sehr bald, wird Binärdateien haben.

Answer 2

Ich denke, es gibt ein Maven-Profil in der Entwicklung Zweig für den Aufbau mit Spark 2.x und Scala 2.11, aber keine Artefakte veröffentlicht bis 0.13.1 kommen in einer Woche oder so.

Es ist kompatibel mit beiden, nur zu viele Kombinationen von Artefakten aufholen.