ist es möglich, Datei lesen und analysieren in R

Question

Es gibt viele Dateien in einem Verzeichnis, das Json formatierte Einträge in jeder Zeile hat. Die Größe der Dateien variiert von 5k bis 200MB. Ich habe diesen Code, um jede Datei zu gehen, analysiere die Daten, nach denen ich suche, und schließlich einen Datenrahmen. Dieses Skript braucht sehr viel Zeit, um fertig zu sein, es endet nie.

Gibt es eine Möglichkeit, es zu beschleunigen, damit ich die Dateien schneller lesen kann?

Code:

library(jsonlite) 
library(data.table) 

setwd("C:/Files/") 

#data <- lapply(readLines("test.txt"), fromJSON) 

df<-data.frame(Timestamp=factor(),Source=factor(),Host=factor(),Status=factor()) 
filenames <- list.files("Json_files", pattern="*.txt", full.names=TRUE) 

for(i in filenames){ 
    print(i) 
    data <- lapply(readLines(i), fromJSON) 
    myDf <- do.call("rbind", lapply(data, function(d) { 
    data.frame(TimeStamp = d$payloadData$timestamp, 
       Source = d$payloadData$source, 
       Host = d$payloadData$host, 
       Status = d$payloadData$status)})) 

    df<-rbind(df,myDf) 

}

Dies ist ein Beispieleintrag aber es gibt Tausende von Einträgen wie dies in der Datei:

{"senderDateTimeStamp":"2016/04/08 10:53:18","senderHost":null,"senderAppcode":"app","senderUsecase":"appinternalstats_prod","destinationTopic":"app_appinternalstats_realtimedata_topic","correlatedRecord":false,"needCorrelationCacheCleanup":false,"needCorrelation":false,"correlationAttributes":null,"correlationRecordCount":0,"correlateTimeWindowInMills":0,"lastCorrelationRecord":false,"realtimeESStorage":true,"receiverDateTimeStamp":1460127623591,"payloadData":{"timestamp":"2016-04-08T10:53:18.169","status":"get","source":"STREAM","fund":"JVV","client":"","region":"","evetid":"","osareqid":"","basis":"","pricingdate":"","content":"","msgname":"","recipient":"","objid":"","idlreqno":"","host":"WEB01","servermember":"test"},"payloadDataText":"","key":"app:appinternalstats_prod","destinationTopicName":"app_appinternalstats_realtimedata_topic","hdfsPath":"app/appinternalstats_prod","esindex":"app","estype":"appinternalstats_prod","useCase":"appinternalstats_prod","appCode":"app"} 

{"senderDateTimeStamp":"2016/04/08 10:54:18","senderHost":null,"senderAppcode":"app","senderUsecase":"appinternalstats_prod","destinationTopic":"app_appinternalstats_realtimedata_topic","correlatedRecord":false,"needCorrelationCacheCleanup":false,"needCorrelation":false,"correlationAttributes":null,"correlationRecordCount":0,"correlateTimeWindowInMills":0,"lastCorrelationRecord":false,"realtimeESStorage":true,"receiverDateTimeStamp":1460127623591,"payloadData":{"timestamp":"2016-04-08T10:53:18.169","status":"get","source":"STREAM","fund":"JVV","client":"","region":"","evetid":"","osareqid":"","basis":"","pricingdate":"","content":"","msgname":"","recipient":"","objid":"","idlreqno":"","host":"WEB02","servermember":""},"payloadDataText":"","key":"app:appinternalstats_prod","destinationTopicName":"app_appinternalstats_realtimedata_topic","hdfsPath":"app/appinternalstats_prod","esindex":"app","estype":"appinternalstats_prod","useCase":"appinternalstats_prod","appCode":"app"} 

{"senderDateTimeStamp":"2016/04/08 10:55:18","senderHost":null,"senderAppcode":"app","senderUsecase":"appinternalstats_prod","destinationTopic":"app_appinternalstats_realtimedata_topic","correlatedRecord":false,"needCorrelationCacheCleanup":false,"needCorrelation":false,"correlationAttributes":null,"correlationRecordCount":0,"correlateTimeWindowInMills":0,"lastCorrelationRecord":false,"realtimeESStorage":true,"receiverDateTimeStamp":1460127623591,"payloadData":{"timestamp":"2016-04-08T10:53:18.169","status":"get","source":"STREAM","fund":"JVV","client":"","region":"","evetid":"","osareqid":"","basis":"","pricingdate":"","content":"","msgname":"","recipient":"","objid":"","idlreqno":"","host":"WEB02","servermember":""},"payloadDataText":"","key":"app:appinternalstats_prod","destinationTopicName":"app_appinternalstats_realtimedata_topic","hdfsPath":"app/appinternalstats_prod","esindex":"app","estype":"appinternalstats_prod","useCase":"appinternalstats_prod","appCode":"app"} 

Answer 1

Mit Ihrem Beispiel Daten in „c: /tmp.txt“:

> df <- jsonlite::fromJSON(paste0("[",paste0(readLines("c:/tmp.txt"),collapse=","),"]"))$payloadData[c("timestamp","source","host","status")] 
> df 
       timestamp source host status 
1 2016-04-08T10:53:18.169 STREAM WEB01 get 
2 2016-04-08T10:53:18.169 STREAM WEB02 get 
3 2016-04-08T10:53:18.169 STREAM WEB02 get 

so Ihren Code anzupassen eine Liste von Datenrahmen zu erhalten:

dflist <- lapply(filenames, function(i) { 
    jsonlite::fromJSON(
    paste0("[", 
      paste0(readLines(i),collapse=","), 
      "]") 
)$payloadData[c("timestamp","source","host","status")] 
}) 

die Idee ist, Ihre Linien zu verwandeln (von readLines) in einem großen json Array und dann den Datenrahmen erstellen, indem es als json Parsen . mit lapply auf Ihrer filenmaes Liste procide Sie mit einer Liste von Datenrahmen

Wie lmo bereits, zur Schau gestellt, wenn Sie wirklich nur einen Datenrahmen am Ende wollen Sie die data.table Pakete laden und rbindlist verwenden Sie dann auf dflist nur einen Datenrahmen zu erhalten.

Oder wenn Sie kurz im Speicher sind this thread kann Ihnen helfen.

Answer 2

Eine Geschwindigkeit bis Ihr for ersetzen Schleife mit lapply Dann fallen die endgültigen rbind. die Geschwindigkeit hier wäre, dass R nicht wiederholt eine immer größere Datei, df über Ihren "Haufen" von Dateien kopieren müsste. Das Ergebnis wäre in einer praktischen Liste gespeichert werden, die Sie entweder wie oder konvertieren zu einem data.frame in einem Rutsch verwenden:

# create processing function 
getData <- function(i) { 
    print(i) 
    data <- lapply(readLines(i), fromJSON) 
    myDf <- do.call("rbind", lapply(data, function(d) { 
    data.frame(TimeStamp = d$payloadData$timestamp, 
      Source = d$payloadData$source, 
      Host = d$payloadData$host, 
      Status = d$payloadData$status)})) 
} 

# lapply over files 
myDataList <- lapply(filenames, getData)