Ich bin neu in Machine Learning und versuche den Klassifikationsalgorithmus für ein Projekt von mir zu analysieren. Ich stieß auf SGDClassifier in sklearn Bibliothek. Aber viele Arbeiten haben SGD als Optimierungstechnik bezeichnet. Kann mir bitte jemand erklären wie ist SGDClassifier implementiert?Stochastischer Gradientenabfall ist ein Klassifikator oder ein Optimierer?
SGD ist in der Tat eine Technik, die verwendet wird, um die Minima einer Funktion zu finden. SGDClassifier ist ein linearer Klassifikator (standardmäßig sklearn ist eine lineare SVM), der SGD für das Training verwendet (dh die Minima des Verlusts mit SGD sucht). Nach dem documentation:
SGDClassifier ist eine lineare Klassifizierer (SVM, logistische Regression, u.a.) mit SGD Ausbildung.
Dieser Schätzer implementiert lineare Modelle mit stochastischem Gradientenabstiegsverfahren (SGD) Lernregula: der Gradient des Verlustes zu einem Zeitpunkt jede Probe geschätzt wird, und das Modell auf dem Weg mit einem abnehm Stärke Zeitplan aktualisiert wird (auch bekannt als Lern Bewertung). SGD ermöglicht Minibatch (online/out-of-core) Lernen, siehe die partially_fit-Methode. Für die besten Ergebnisse, die den Standardlerngeschwindigkeitsplan verwenden, sollten die Daten null Mittelwert und Einheitsvarianz haben.
Diese Implementierung arbeitet mit Daten, die als dichte oder spärliche Arrays von Fließkommawerten für die Features dargestellt werden. Das Modell passt kann mit dem Verlustparameter gesteuert werden; Standardmäßig passt es in eine lineare Support Vektor Maschine (SVM).
von SGD Genommen Dokumentation sikit erlern
loss="hinge": (soft-margin) Vector Machine lineare Unterstützung, loss="modified_huber": geglättete Scharnier Verlust, loss="log": logistische Regression
Stochastic Gradientenabfallsaktualisierung ist ein stochastischer Approximation des Gradientenabstiegs-Optimierungsverfahrens zum Minimieren einer Zielfunktion, die als eine Summe von differenzierbaren Funktionen geschrieben ist. Mit anderen Worten versucht SGD, Minima oder Maxima durch Iteration zu finden. – sera