Was sind Unterschiede zwischen 1) Training eines CNN aus dem ganzen Trainingssatz und 2) Training aus einer Teilmenge des Trainingssatzes und dann des ganzen Trainingssatzes?

Question

Ich arbeite am Training eines Segmentierungsnetzwerks U-net auf dem LIDC-IDRI Datensatz. Es gibt derzeit zwei Trainingsstrategien:

1. Trainieren Sie das Modell auf dem gesamten Trainingssatz von Grund auf (40k Schritte, 180k Schritte).
2. Trainieren Sie das Modell auf 10% des gesamten Trainingssets. Nach der Konvergenz (30k Schritte), trainieren Sie das Modell auf dem gesamten Trainingssatz (10k Schritte).

Mit Dice coefficient als Verlustfunktion, die auch in V-Netzarchitektur verwendet wird (paper), Modell mit Methode 2 trainiert ist immer besser als die mit Methode 1. Erstere ein Würfel Score von 0.735 erreichen können, während Letzterer kann nur 0,71 erreichen.

BTW, mein U-net-Modell wird in TensorFlow umgesetzt, und das Modell auf NVidia GTX 1080Ti

eine Erklärung oder Referenzen Könnte jemand trainiert geben. Vielen Dank!

Answer 1

Nun, ich habe deine Antwort gelesen und beschlossen, es zu versuchen, da es ziemlich einfach war, da ich auch Vnets auf LIDC-IDRI trainiert habe. Üblicherweise trainiere ich den gesamten Datensatz von Anfang an. Option 2) gab einen schnelleren Würfelbeitrag, fiel jedoch bald auf 2% bei der Validierung und sogar nachdem das Netzwerk den gesamten Datensatz, den es nicht wiedererlangte, gelernt hatte, trainierte er Würfel. natürlich, nahm zu. Scheint, dass meine 10% des Datensatzes nicht ganz repräsentativ waren und sich stark überfrachten.