Optimierungsroutine für logistische Regression in ML (Spark 1.6.2)

Liebe Apache-Spark-Community:Optimierungsroutine für logistische Regression in ML (Spark 1.6.2)

Ich habe die Dokumentation von Spark mehrere Wochen gelesen. Ich lese Logistische Regression in MLlib und ich erkannte, dass Spark zwei Arten von Optimierungsroutinen (SGD und L-BFGS) verwendet.

Aber zur Zeit lese ich die Dokumentation von LogistReg in ML. Ich konnte nicht explizit sehen, welche Art von Optimierungsroutine-Entwicklern verwendet wurden. Wie kann ich diese Informationen anfordern?

Mit vielen Dank, Kevin Isaac Carbajal

Quelle

2016-07-28 Kevin Isaac Carbajal

-1

Der große Punkt ist, über die API, die sie verwenden.

Die MlLib ist Schwerpunkt in RDD API. Der Kern von Spark, aber einige der Prozesse wie Sums, Avgs und andere einfache Funktionen benötigen mehr Zeit für den DataFrame-Prozess.

Die ML ist eine Bibliothek, die mit Dataframe arbeitet. Dieser datFrame hat die Abfrageoptimierung für grundlegende Funktionen wie Summen und einige Art davon.

Sie können dieses Blog post überprüfen und dies ist einer der Gründe, dass ML schneller als MlLib sein sollte.

Quelle

2016-07-28 19:51:49

Danke für Ihre Antwort, aber das war nicht meine Frage. Wie kann ich wissen, welche Art von Optimierung Rutine Entwickler in der logistischen Regression (ML) verwenden? Zum Beispiel schreiben sie in dieser Algorithmusbeschreibung (http://spark.apache.org/docs/1.6.2/ml-classification-regression.html#multilayer-perceptron-classifier) speziell die Optimierungsroutine ... " Wir verwenden die logistische Verlustfunktion für die Optimierung und L-BFGS als Optimierungsroutine. " –

Verstanden! Es tut uns leid! Ich werde nach dem Festhalten Ausschau halten! –

Optimierungsroutine für logistische Regression in ML (Spark 1.6.2)

Antwort

Verwandte Themen