Stattdessen LBFGS, mit Gradientenabstieg in Sparse Autoencoder

Question

In Andrew Ng Vorlesungsnotizen, verwenden sie LBFGS und erhalten einige versteckte Funktionen. Kann ich stattdessen Gradientenabstieg verwenden und die gleichen versteckten Funktionen erzeugen? Alle anderen Parameter sind gleich, nur den Optimierungsalgorithmus ändern.

Weil, wenn ich LBFGS benutze, mein Autoencoder die gleichen versteckten Funktionen wie in den Vorlesungsnotizen erzeugen kann, aber wenn ich Gradientenabstieg benutze, sind die Funktionen in der versteckten Ebene verschwunden, scheint total zufällig zu sein.

Um genauer zu sein, um die Kostenfunktion zu optimieren, implementiere ich 1) die Kostenfunktion, 2) Gradient jedes Gewichts und Bias. Und werfen Sie sie in scipy optimieren Werkzeugkasten, um die Kostenfunktion zu optimieren. Und diese Einstellung kann mir die angemessenen versteckten Funktionen geben.

Aber wenn ich zum Gradientenabstieg wechseln. Ich habe versucht, das "Gewicht - Gradient des Gewichts" und "Bias - Gradient des Bias" zu lassen. Aber die resultierenden versteckten Features sehen total zufällig aus.

Kann jemand mir helfen, den Grund zu wissen? Vielen Dank.

Answer 1

Ja, Sie können stattdessen SGD verwenden, tatsächlich ist es die beliebteste Wahl in der Praxis. L-BFGS-B ist keine typische Methode zum Trainieren neuronaler Netze. Allerdings:

• Sie müssen Hyper des Trainingsmethode optimieren, können Sie nicht nur die gleichen, die verwenden, die für LBFGS verwendet wurden, da dies völlig andere Methode ist (ok, nicht ganz, aber es nutzt erster Ordnung Optimierung statt von zweiter Ordnung)
• sollten Sie Impuls in Ihrem SGD einschließen, es ist ein extrem einfacher Weg, eine Art der Näherung zweiter Ordnung zu bekommen, und bekannt ist (wenn sorgfältig abgestimmt) so gut wie tatsächliche Methoden zweiter Ordnung durchzuführen in der Praxis