Wie speichert man mllib.recommendation.MatrixFactorizationModel in HDFS?

Question

Ich möchte mein Modell der Ausbildung in HDFS zu retten, habe ich versucht, durch:

model.saveAsTextFile("hdfs://sandbox.hortonworks.com:8020/tmp/Project/Model") 

und

model.saveAsTextFile("hdfs:///sandbox.hortonworks.com:8020/tmp/Project/Model") 

Aber es einen Fehler Dispaly ist folgende:

value saveAsTextFile is not a member of org.apache.spark.mllib.recommendation.MatrixFactorizationModel 

Kann ich Verwenden Sie saveAsnewAPIHadoopFile("hdfs://....")?

Können Sie sagen, wie Sie das Modell in HDFS speichern.

Answer 1

In the scaladoc of MatrixFactorizationModel ich nur die Methode gefunden:

save(sc: SparkContext, path: String): Unit 

Verwenden statt save.

save (sc: SparkContext, Pfad: String): Einheit

Speichern dieses Modell auf den angegebenen Pfad.

Das spart:

• Menschen lesbaren (JSON) Modell Metadaten Pfad/Metadaten/
• Parkett Daten Pfad/Daten formatiert/

---

Sie scheinen ALS verwendet haben. Wenn dies der Fall ist, verwenden Sie bitte das Paket org.apache.spark.ml.recommendation (nicht org.apache.spark.mllib.recommendation).