Wie zu interpretieren Erhöhung in Verlust und Genauigkeit

Question

Ich habe Deep Learning-Modelle (CNN) mit Tensorflow ausgeführt. Viele Male während der Epoche habe ich beobachtet, dass sowohl der Verlust als auch die Genauigkeit zugenommen haben oder beide abgenommen haben. Mein Verständnis war, dass beide immer umgekehrt verwandt sind. Was könnte ein Szenario sein, bei dem beides gleichzeitig zunimmt oder abnimmt.

Answer 1

Der Verlust sinkt mit fortschreitendem Trainingsprozess, mit Ausnahme einiger Fluktuationen, die durch den Minibatch-Gradientenabfall und/oder Regularisierungstechniken wie Dropout (das zufälliges Rauschen einführt) verursacht werden.

Wenn der Verlust abnimmt, läuft der Trainingsprozess gut.

Die Genauigkeit (Validierung nehme ich an), stattdessen ist es das Maß dafür, wie gut die Vorhersagen Ihres Modells sind.

Wenn das Modell lernt, erhöht sich die Genauigkeit. Wenn das Modell überbaut, wird stattdessen die Genauigkeit erhöht und kann sogar abnehmen.

Wenn der Verlust abnimmt und die Genauigkeit abnimmt, ist Ihr Modell überanpassend.

Wenn der Verlust steigt und die Genauigkeit steigt auch, weil Ihre Regularisierungstechniken gut funktionieren und Sie das Überanpassungsproblem bekämpfen. Dies trifft nur zu, wenn der Verlust dann abnimmt, während die Genauigkeit weiter zunimmt. Andernfalls, wenn der Verlust weiter wächst, divergiert Ihr Modell und Sie sollten nach der Ursache suchen (normalerweise verwenden Sie einen zu hohen Lernratenwert).