Tricks zur Vermeidung doppelter Speicherzuweisung beim Zurückgeben von data.table oder data.frame in R?

Question

Ich habe eine Funktion erstellt, die in lesen genannt wird und dann eine data.table zurück:

read.in.data <- function(filename) 
{ 
    library(data.table) 
    data.holder<-read.table(filename, skip=1) 
    return(data.table(data.holder)) 
} 

Ich habe aus der Beobachtung meiner RAM als Funktionsabläufe bemerkt, dass R in 2 Schritten, dies zu verarbeiten scheint (oder zumindest ist das meine beste Schätzung für das, was vor sich geht). Wenn ich beispielsweise eine 1,5-GB-Datei (15 Spalten mit insgesamt 136 Zeichen pro Zeile) lade, scheint R 1) die Daten einzulesen und 1,5 GB RAM zu verwenden und dann 2) weitere 1,5 GB RAM für die Rückkehr.

Gibt es einige Tricks, um eine Funktion zu erstellen, um eine data.table (oder data.frame für diese Angelegenheit) zu erstellen und die data.table zurückzugeben, ohne doppelte Arbeitsspeicher zu benötigen? Oder muss ich die gesamte Verarbeitung für die data.table innerhalb der Funktion ausführen, in der die Tabelle erstellt wird?

Beobachtungen: Wenn ich diesen Code zweimal hintereinander ausführen, wird der Speicher nicht gelöscht; Da ich nur 8 GB RAM habe, schlägt die Funktion fehl. Überspringe ich den Schritt des Speicherns der "read.table" in einer Variablen (wie unten gezeigt), bekomme ich keinen Vorteil. Ich würde das auf keinen Fall machen wollen, da ich gerne die data.table bereinigen möchte, bevor ich sie zurückschicke. Eine Behebung meines Problems würde es mir auch ermöglichen, größere Dateien zu verarbeiten, ohne den Arbeitsspeicher zu verlieren.

library(data.table) 
read.in.data <- function(filename) 
{ 
    data.holder <- read.table(filename, skip=1) 
    dt <- data.table(data.holder[[1]]) 
    names(dt) <- names(data.holder)[1] 
    data.holder[[1]] <- NULL 

    for(n in names(data.holder)) { 
    dt[, `:=`(n, data.holder[[n]]) ] 
    data.holder[[n]] <- NULL 
    } 
    return(dt) 
} 

(ungetestet)

Es wird nicht schneller sein,:

short.read.trk <- function(fntrk) 
{ 
    library(data.table) 
    return(data.table(read.table(fntrk, skip=1))) 
} 

Answer 1

Wenn Speichereinsparungen meistens ist, was Sie wollen, können Sie es eine Spalte zu einer Zeit umwandeln könnte in der Tat ist es wahrscheinlich langsamer. Aber es sollte weniger Speicherverschwendung sein.