Was in Verlustkurve von Schritt bedeutet

Question

ich etwas Papier (RESNET Papier) zu finden hat die Grafik wie folgt:

Wie Sie sehen, nimmt der Verlust allmählich, wenn Iterationen zu erhöhen. Aber irgendwann (roter Pfeil) nimmt der Verlust schnell ab (als Schritt). Was ist dieser Punkt? Ändert sich der Lerngeschwindigkeits-Punkt? Danke allen

Answer 1

Ja, sie haben die Lernrate an diesem Punkt geändert. Es könnte ein Lerngeschwindigkeitsplan sein, was bedeutet, dass die Lernrate um einen Faktor bei jeder X-Iteration verringert wird, oder es könnte eine andere Strategie sein, wie die Lernrate zu verringern, wenn ein Plateau in dem Verlust erfasst wird.