Ist es möglich, dass der MSE während des Trainings zunimmt?MSE während Neural Network Training
Ich berechne derzeit den MSE des Validierungssatzes pro Epoche und an einem bestimmten Punkt beginnt der MSE zu steigen statt zu sinken. Hat jemand eine Erklärung für dieses Verhalten?
Beantworten Sie Ihre Frage: Ja, es ist möglich.
Wenn Sie Regularisierung oder estochastischen Training verwenden, ist es normal einige Höhen und Tiefen auf dem MSE während des Trainings.
Einige möglichen Gründe für das Problem
Sie verwenden eine Lernrate zu hoch, was die lokalen Minima der Kostenfunktion von überschieß das Problem lassen.
Das neuronale Netzwerk ist überstattet. Traning zu viel und verlieren ihre Fähigkeiten zu verallgemeinern.
Was Sie versuchen können:
Wenn dies zu geschehen beginnt, Ihre Lernrate reduzieren.
Wenden Sie eine Art von Regularisierung in Ihrem Netzwerk an, z. B. Dropout, um eine Überanpassung zu vermeiden.
Vielen Dank für Ihre Antwort! Ich habe auch über die Lernrate nachgedacht. Überarbeiten ist ein guter Punkt. Ich hatte das nicht in meinem Kopf. Kennen Sie einen guten Ansatz, um die Lernrate anzupassen? –
Sie können es manuell tun, erkennen, wenn der MSE ansteigt und die Lernrate um eine Dezimalstelle reduzieren. Wenn Sie 0,01 verwenden, ändern Sie es zum Beispiel auf 0,001. Wenn Sie den stochastischen Gradientenabfall als Optimierungsfunktion verwenden, können Sie nach Optimierungsalgorithmen wie Adam https://arxiv.org/abs/1412.6980 suchen. Tensorflow hat Adam Optimizer implementiert. Ich hoffe es hilft. –
Danke! Ich werde Adam anschauen und wenn möglich umsetzen. Ich bin oft zu faul, um Dinge manuell zu machen :) Aus Ihrer Erfahrung: Ist Gewichtsverfall wert, als Regularisierung zu implementieren? –