Ob wir das vorhandene Modell in Spark ml aktualisieren können?

Question

Eines Tages verwenden wir funken ml, um das Modell aus vorhandenen Daten zu erstellen, später haben wir jeden Tag mehr Daten. Gibt es eine Möglichkeit, dass wir nur die neuen Daten lesen und das vorhandene Modell aktualisieren können, ohne jedes Mal alle Daten lesen zu müssen?

Dank ...

Answer 1

Es auf dem Modell macht Sie verwenden, aber für einige Funken hängt genau das, was Sie want. Sie können StreamingKMeans, StreamingLinearRegressionWithSGD, StreamingLogisticRegressionWithSGD und breiter StreamingLinearAlgorithm betrachten.

Answer 2

Um Florents Antwort zu vervollständigen, wenn Sie nicht im Streaming-Kontext sind, unterstützen einige Spark mllib-Modelle initialModel als Ausgangspunkt für inkrementelle Updates. Siehe KMeans oder GMM zum Beispiel.