Gibt es eine Methode, die mit einer hohen Dimensionsreduktion für das Regressionsmodell umgehen kann?

Question

Ich habe einen Trainingsdatensatz, der so groß ist, ungefähr 15 GB, den ich nicht in meinen Computerspeicher einbauen kann, um irgendeine Art von Regressionsmodell zu trainieren. Jede Stichprobe des Datensatzes ist eine 4-D-Matrix. Sie können das Sample als Vektor abflachen, aber die Dimension dieses Vektors ist so groß. Gibt es eine Methode, um die Dimension meiner Stichprobe für das Training eines linearen Regressionsmodells zu reduzieren?

Answer 1

Ich empfehle Folgendes als Test, da Sie ein lineares Modell verwenden. Dies ist ein Schritt in Richtung einer endgültigen Lösung und sollte Ihnen eine Vorstellung davon geben, wie die endgültige Lösung aussehen könnte.

Filtern Sie die Daten so, dass für jede Dimension die Werte für max, min und median enthalten sind. Das sollte einen Arbeitsdatensatz von rechnerisch vernünftiger Größe ergeben, und Regressionen auf diesem kleineren Datensatz werden Ihnen eine brauchbare Vorstellung von den endgültigen Lösungsparametern geben.