Wie kann ich sklearns GridSearchCV mit Daten verwenden, die nicht in den Speicher passen?

Question

Ich habe einen Datensatz, der viel zu groß ist, um in den Speicher zu passen, also muss ich Modelle in Batches trainieren. Ich habe mein Modell in ein GridSearchCV, ein RandomisedSearchCV oder ein BayesSearchCV (von scikit-optimize) eingepackt und sehe, dass ich nicht mehrere Instanzen davon in verschiedenen Teilen meines riesigen Datasets trainieren kann und erwarte, dass die besten von jedem gefundenen Hyperparameter übereinstimmen.

Ich habe überlegt, meine Schätzer in einen BatchVoter (meines eigenen Designs) zu integrieren, der das Lesen aus der Datenbank in Stapeln verwaltet und eine Liste von Modellen führt. Dies an den XSeachCV zu übergeben und das Parameter-Space-Dictionary so zu aktualisieren, dass alle Schlüssel mit 'estimator__' führen, kann die Suche anweisen, die Parameter des Unterobjekts zu setzen, aber es gibt immer noch ein Problem: Eine Suche wird mit einem Aufruf an die .fit() - Methode, die Daten aufnehmen muss.

Gibt es eine clevere Möglichkeit, die native GridSearchCV mit Daten zu verwenden, die zu groß sind, um sie an die .fit() - Methode zu übergeben?

Answer 1

Versuchen Sie dask. Es unterstützt Datenrahmen, Arrays und Sammlungen. Es besteht aus einem Scheduler und Arbeitern. Es hat auch einen distributed Scheduler, der es ermöglicht, Datenrahmen auf mehreren PCs zu verarbeiten.

Here ist die Beschreibung zur Parallelisierung von Modellen.

Here ist der Link zu einem vollständigen Modul, das ein Drop-in-Ersatz von GridSearchCV