Ich frage mich nur, ob es einen Ansatz für das Training eines maschinellen Lernmodells auf großen Trainingsdaten gibt, wo die Hardware die gesamten Trainingsdaten nicht unterstützen kann.Maschinelles Lernen Modelltraining mit Hardware-Einschränkungen
Dies ist einer der entscheidenden Gründe für die Existenz von inkrementelles Lernen sowie Techniken wie stochastischen Gradientenabfallsaktualisierung (und seine Mini-Batch Verallgemeinerungen); Im Allgemeinen muss das einzige Modell, das in Ihre Hardware (z. B. GPU) passen muss, das Modell selbst sein, mit ausreichender Kapazität, um einen kleinen Stapel Ihrer Trainingsdaten zu parsen. Insbesondere werden alle modernen neuronalen Netze auf solche Weise trainiert (wo Daten durch das Modell in Stapeln gesendet werden, müssen Sie niemals den gesamten Datensatz in den Speicher legen).
Diese Frage ist * viel zu breit * für Stack Overflow. –
Dies ist eine ziemlich breite Frage, die davon abhängt, welche Art von Daten Sie betrachten. Der erste Ort, den ich mir ansehen würde, ist ein Modell, das die Daten iterativ behandeln kann, was nicht das gesamte Trainingssatz im Speicher benötigt. Das Beste wäre, wenn Sie so etwas ausprobieren und eine Frage stellen, wenn Sie auf ein Problem stoßen. – danielunderwood