Die Ausgabe von StringIndexer und StandardScaler sind beide RDDs, so dass Sie die Modelle entweder direkt in einer Datei speichern können oder, was wahrscheinlicher ist, können Sie die Ergebnisse für spätere Berechnungen beibehalten.
Um zu einem Parkett Datei Aufruf zu speichern (möglicherweise benötigen Sie auch ein Schema) sqlContext.createDataFrame(string_indexed_rdd).write.parquet("indexer.parquet"). Sie müssten dann das Laden dieses Ergebnisses aus einer Datei programmieren, wenn Sie es wollten.
Um fortzufahren Anruf string_indexed_rdd.persist(). Dies speichert die Zwischenergebnisse im Speicher zur späteren Wiederverwendung. Sie können Optionen übergeben, um auch auf die Festplatte zu speichern, wenn Sie speicherbegrenzt sind.
Wenn Sie möchten, bestehen bleiben nur das Modell selbst, sind Sie auf einer vorhandenen Fehler/fehlende Fähigkeit im api stecken (PR). Wenn das zugrunde liegende Problem gelöst wurde und keine neuen Methoden bereitgestellt wurden, müssen Sie einige zugrunde liegende Methoden manuell aufrufen, um die Modellparameter abzurufen und festzulegen. Beim Durchsehen des Modellcodes können Sie sehen, dass die Modelle von einer Kette von Klassen erben, von denen eine Params ist. Diese Klasse hat die , die die im Modell verwendeten Parameter herauszieht. Sie können dies auf beliebige Weise speichern, die Sie für persistente Python-Dicts wünschen. Dann müssen Sie ein leeres Modellobjekt erstellen und mit einem Aufruf an copy(saved_params) folgen, um die persistenten Parameter in das Objekt zu übergeben.
Etwas in dieser Richtung sollte funktionieren:
def save_params(model, filename):
d = shelve.open(filename)
try:
return d.update(model.extractParamMap())
finally:
d.close()
def load_params(ModelClass, filename):
d = shelve.open(filename)
try:
return ModelClass().copy(dict(d))
finally:
d.close()
Können Sie klären, ob Sie mit MLlib oder ML arbeiten? – zero323
Hoppla, tut mir leid. Ich arbeite mit pyspark.ml. –