Richtiger Weg Testfehler eines optimierten Modell

Question

Kontext zu ermitteln:

Nach dem Workflow von Müller „Einführung in Maschinelles Lernen mit Python“ zu empfehlen, würde man auf einem Test-Set eine einzige Partitur Auswertung zu tun, das war beiseite zu Beginn des Prozesses links:

Dies hat den Vorteil ein bestimmtes Modell mit seinem Hyper gesetzt, über verschachtelte Kreuzvalidierung zu erhalten, die mehr (verschiedene) Modelle nutzen könnte.

Die Auswertung über einen einzelnen Testsatz ergibt einen Schätzer mit hoher Varianz.

Die Frage:

Gibt es eine Möglichkeit, eine bessere Verallgemeinerung Fehlerabschätzung als diese Einzel Punktzahl zu bekommen? (Auch wenn diese Methode mehr Trainingsiterationen erfordert)

Answer 1

Der Workflow ist perfekt, aber ich denke, dass Ihr Modell etwas Arbeit braucht. Sie können den Datensatz in Training/Validierung/Testsatz aufteilen. Dann können Sie Ihre Trainingsdaten mit Hilfe der Kreuzvalidierung trainieren, das Validierungsset testen, bis Sie gute Ergebnisse erzielen, und dann als letzten Schritt die Testdaten verwenden.