Merge mehrere data.frames in einem data.frame mit einer Schleife

Question

Ich versuche merge mehrere in einem data.frame. Da ich eine ganze Liste von Dateien habe, versuche ich es mit einer Schleifenstruktur zu machen.

Bisher funktioniert der Loop-Ansatz gut. Es sieht jedoch ziemlich ineffizient aus und ich frage mich, ob es einen schnelleren und einfacheren Ansatz gibt.

Hier ist das Szenario: Ich habe ein Verzeichnis mit mehreren .csv Dateien. Jede Datei enthält denselben Bezeichner, der als Fusionsvariable verwendet werden kann. Da die Dateien ziemlich groß sind, dachte ich, jede Datei einzeln in R zu lesen, anstatt alle Dateien gleichzeitig zu lesen. So bekomme ich alle Dateien des Verzeichnisses mit list.files und lese die ersten beiden Dateien ein. Danach benutze ich merge um eine data.frame zu bekommen.

FileNames <- list.files(path=".../tempDataFolder/") 
FirstFile <- read.csv(file=paste(".../tempDataFolder/", FileNames[1], sep=""), 
      header=T, na.strings="NULL") 
SecondFile <- read.csv(file=paste(".../tempDataFolder/", FileNames[2], sep=""), 
       header=T, na.strings="NULL") 
dataMerge <- merge(FirstFile, SecondFile, by=c("COUNTRYNAME", "COUNTRYCODE", "Year"), 
      all=T) 

Jetzt benutze ich eine for Schleife alle verbleibenden .csv Dateien zu erhalten und merge sie in die bereits bestehende data.frame:

for(i in 3:length(FileNames)){ 
ReadInMerge <- read.csv(file=paste(".../tempDataFolder/", FileNames[i], sep=""), 
       header=T, na.strings="NULL") 
dataMerge <- merge(dataMerge, ReadInMerge, by=c("COUNTRYNAME", "COUNTRYCODE", "Year"), 
      all=T) 
} 

Auch wenn es ganz gut funktioniert Ich habe mich gefragt, ob es ein mehr elegante Weise, um den Job zu erledigen?

Answer 1

Sie können sich die related question on stackoverflow genauer ansehen.

Ich würde dies in zwei Schritten nähern: importieren Sie alle Daten (mit plyr), dann miteinander verschmelzen:

filenames <- list.files(path=".../tempDataFolder/", full.names=TRUE) 
library(plyr) 
import.list <- llply(filenames, read.csv) 

, die Ihnen eine Liste aller Dateien, die Sie jetzt zusammen fusionieren müssen . Es gibt viele Möglichkeiten, dies zu tun, aber hier ist ein Ansatz (mit Reduce):

data <- Reduce(function(x, y) merge(x, y, all=T, 
    by=c("COUNTRYNAME", "COUNTRYCODE", "Year")), import.list, accumulate=F) 

Alternativ können Sie dieses mit dem reshape Paket tun können, wenn Sie sich nicht wohl mit Reduce:

library(reshape) 
data <- merge_recurse(import.list) 

Answer 2

wenn mich nicht alles täuscht, könnte eine ziemlich einfache Änderung der 3:length(FileNames) kludge beseitigen:

FileNames <- list.files(path=".../tempDataFolder/", full.names=TRUE) 
dataMerge <- data.frame() 
for(f in FileNames){ 
    ReadInMerge <- read.csv(file=f, header=T, na.strings="NULL") 
    dataMerge <- merge(dataMerge, ReadInMerge, 
       by=c("COUNTRYNAME", "COUNTRYCODE", "Year"), all=T) 
}