Verwenden des Dev-Sets oder des Zugsets

Question

Kann jemand diesen Zweifel beheben?

Bei der Bewertung des Modells sollten wir einen kleineren Satz versuchen. Das Entwicklerset ist ein kleines Set. Also versuchen wir etwas auf dem Dev Set und kommen zu einem Schluss und gehen dann zum Zug, um es richtig zu trainieren und zu überprüfen.

OR

Wir trainieren den Trainingssatz und bewerten das Modell auf dev-Set. mit dev als Benchmark gesetzt.

Answer 1

Normalerweise würden Sie drei Sets haben:

• Zug - die man verwendet eigentliches Training zu tun, Optimierung über
• Validierung - einen zu bewerten/verify Training verwendet, Entscheidungen über Hyper, früh zu stoppen und so weiter
• Test - die man als endgültige Benchmarking

aus verschiedenen Gründen von t einigen Die obige Beschreibung fehlt möglicherweise im Setup, aber dies ist der Standardansatz, und jede Änderung erfordert gute Gründe dafür.

Oft Datensätze nicht angeben „Validierung“, wie Einbau von hyperprameters etc. Teil der Ausbildung als, damit jeder Datenpunkt für das verwendet wird, de facto ist verwendet, um Ihr Modell zu trainieren (und damit ein Teil von " Zug "Datensatz". In der Praxis bedeutet dies, dass Sie den Zugsatz selbst in "richtigen Zug" und "Validierung" aufteilen müssen (wenn die verwendete Methode zusätzliche Hyperparameter benötigt).