Gradient-Sink-Konvergenz Wie entscheidet man über die Konvergenz?

Question

Ich lernte Gradientenabstieg durch Online-Ressourcen (nämlich maschinelles Lernen bei Courgra). Die angegebene Information besagt jedoch nur, dass der Gradientenabfall wiederholt wird, bis er konvergiert.

Ihre Definition von Konvergenz bestand darin, einen Graphen der Kostenfunktion relativ zur Anzahl der Iterationen zu verwenden und zu beobachten, wann der Graph flacher wird. Daher gehe ich davon aus, dass ich folgendes tun würde:

if (change_in_costfunction > precisionvalue) { 
      repeat gradient_descent 
} 

Alternativ ich frage mich, ob eine andere Art und Weise der Konvergenz zu bestimmen, ist der Koeffizient Ansatz zu sehen, es ist wahr Wert:

if (change_in_coefficient_j > precisionvalue) { 
      repeat gradient_descent_for_j 
} 
...repeat for all coefficients 

So Konvergenz auf basieren die Kostenfunktion oder die Koeffizienten? Und wie bestimmen wir den Präzisionswert? Sollte es ein% des Koeffizienten oder der Gesamtkostenfunktion sein?

Answer 1

Sie können sich vorstellen, wie Gradient Descent (GD) funktioniert, wenn man bedenkt, dass man Marmor in eine Schüssel wirft und Fotos macht. Der Marmor wird oszillieren, bis die Reibung ihn am Boden stoppt. Wenn man nun feststellt, dass man sich in einer Umgebung befindet, in der die Reibung so gering ist, dass der Marmor lange braucht, um vollständig aufzuhören, kann man davon ausgehen, dass der Marmor den Boden erreicht hat (obwohl er weiter oszillieren könnte). Auf dem folgenden Bild können Sie die ersten acht Schritte (Fotos des Marmors) der GD sehen.

Wenn wir weiterhin Fotos der Marmor macht keine nennenswerten Bewegungen einnehmen, sollten Sie das Bild vergrößern:

Wir halten fotografieren konnte und die Bewegungen werden mehr irrelevants sein.

Das Erreichen eines Punktes, an dem GD sehr kleine Änderungen in Ihrer Zielfunktion vornimmt, heißt Konvergenz, was nicht bedeutet, dass es das optimale Ergebnis erreicht hat (aber es ist wirklich ziemlich nah, wenn nicht schon).

Der Genauigkeitswert kann als der Schwellenwert gewählt werden, in dem Sie aufeinanderfolgende Iterationen von GD sind fast die gleichen:

grad(i) = 0.0001 
grad(i+1) = 0.000099989 <-- grad has changed less than 0.01% => STOP