Wie neurales Netzwerk mit großen Datensätzen in R mit neuronalen Netzen trainieren?

Question

Ich habe data.table in r mit 150 000 Zeilen drin. Ich benutze 9 Funktionen und es ist Trainingszeit mehr als 30 Minuten, ich habe nicht mehr gewartet. Probieren Sie es auch in 500 Zeilen aus (es dauert 0,2 Sekunden) und bei 5000 dauert es (71,2 Sekunden). Also wie soll ich mein Modell mit allen Daten trainieren oder darfst du mir noch einen anderen Rat geben?

hier kompilieren log:

train1 <- train[1:5000,]+1 
> f1 = as.formula("target~ v1+ v2+ v3+ v4+ v5+ v6+ v7+ v8+ v9") 
> a=Sys.time() 
> nn <-neuralnet(f1,data=train1, hidden = c(4,2), err.fct = "ce", linear.output = TRUE) 
Warning message: 
'err.fct' was automatically set to sum of squared error (sse), because the response is not binary 
> b=Sys.time() 
> difftime(b,a,units = "secs") 
Time difference of 71.2000401 secs 

Answer 1

Das in meiner Erfahrung zu erwarten ist, gibt es eine Menge von Berechnungen in Neuronale Netze beteiligt. Ich persönlich habe eine in Python (2 versteckte Ebenen) geschrieben, einschließlich Momentum Begriff, ich habe etwa 38.000 Muster von 56 Eingänge und 3 Ausgänge. Es dauerte ungefähr 10 Minuten, um sie in 8.000 Brocken aufzuteilen und knapp eine Woche, um zu meiner Zufriedenheit zu lernen.

Der ganze Satz von 38.000 hatte einen größeren versteckten Knoten, um alle Muster zu speichern und das dauerte über 6 Stunden, um einen Zyklus zu durchlaufen und über 3 Monate zu lernen. Neural Networks ist ein sehr leistungsfähiges Werkzeug, aber es hat einen Preis nach meiner Erfahrung, andere haben eine bessere Implementierung, aber alle Vergleiche von Klassifikationsalgorithmen, die ich gesehen habe, haben immer die Zeit erwähnt, um als signifikant zu lernen.