Können MLLib-Klassifikatoren trainiert und ohne Spark-Installation verwendet werden?

Question

Ich möchte einige der von MLLib bereitgestellten Klassifizierer (zufällige Gesamtstrukturen usw.) verwenden, aber ich möchte sie ohne Verbindung zu einem Spark-Cluster verwenden.

Wenn ich irgendwie Spark-Sachen in-process ausführen muss, damit ich einen Spark-Kontext verwenden kann, ist das in Ordnung. Ich konnte jedoch keine Informationen oder ein Beispiel für einen solchen Anwendungsfall finden.

Also meine beiden Fragen sind:

• Gibt es eine Möglichkeit an alle MLLib Klassifizierer ohne Funken Kontext zu benutzen?
• Kann ich sie sonst verwenden, indem ich einen Spark-Kontext während des Prozesses starte, ohne dass eine tatsächliche Spark-Installation erforderlich ist?

Answer 1

org.apache.spark.mllib Modelle:

• nicht ohne Funken Cluster trainiert werden kann.
• Normalerweise kann für Vorhersagen ohne Cluster mit Ausnahme von verteilten Modellen wie ALS verwendet werden.

org.apache.spark.ml Modelle:

• erforderlich für die Ausbildung Spark-Cluster.
• Spark-Cluster für die Prognosen erforderlich, obwohl es in der Zukunft (https://issues.apache.org/jira/browse/SPARK-10413)

Es gibt eine Reihe von Tools von Drittanbietern, die ausgelegt sind, exportieren Funken ml Modelle auf die Form ändern können, die in Funken verwendet werden können, Agnostiker Umgebung (jpmml-spark und modeldb, um einige ohne besondere Vorliebe zu zählen).

Spark mllib Modelle haben begrenzte PMML-Unterstützung.

Kommerzielle Anbieter stellen normalerweise ihre eigenen Werkzeuge zur Verfügung, um Spark-Modelle zu produzieren.

Sie können natürlich local "Cluster" verwenden, aber es ist wahrscheinlich immer noch ein wenig zu schwer für die meisten möglichen Anwendungen. Das Starten eines vollständigen Kontexts dauert mindestens ein paar Sekunden und weist einen erheblichen Speicherbedarf auf.

auch:

• Best Practice to launch Spark Applications via Web Application?
• How to serve a Spark MLlib model?