Ich fange an, das maschinelle Lernen shorly zu lernen. Ich stoße auf ein Problem, als ich das PRML-Buch gelesen habe. Es spricht über den LMS-Algorithmus und verwendet es, um das Problem der Regression zu lösen. wi + 1 = wi + alpha * gradient Ich weiß nicht, wie das 'Alpha' zu bestimmen. Also, wie es zu lösen?Wie bekommt man die Geschwindigkeit der Regerung?
alpha ist die Lernrate oder Schrittgröße (des Gradientenabfalls). Es ist ein kritischer Parameter wir stimmen wollen, so dass Sie mit einer Liste von Optionen, wie konnte beginnen:
0.1, 0.01, 0.001, ...
und sehen, die man arbeitet besser mit Bezug auf Trainingszeit und Vorhersagegenauigkeit. Wenn die Lernrate zu hoch ist, sehen Sie möglicherweise, dass die Kosten nicht sinken (oder sogar steigen). Auf der anderen Seite, wenn es zu niedrig ist, könnten Sie bemerken, dass das Lernen zu lange dauert, um zu einem guten Zustand zu konvergieren.
Wenn Sie Tensorflow (oder eine andere Bibliothek/Werkzeuge) verwenden, müssen Sie zur Implementierung des Algorithmus ein Optimierungsprogramm auswählen, z. B. GradientDescentOptimizer. Sie werden feststellen, dass das erste Argument eine learning_rate ist.