Mehrere Schleifen mit data.table in R

Question

Ich versuche mit loops.table für mehrere Zeit mit mehreren Schleifen umzugehen und wurde frustriert. Mit sql ist es ziemlich intuitiv, aber mit R habe ich einige Probleme.

Zum Beispiel würde ich eine txt-Datei (wie ich Hunderte von Dateien, jeweils etwa 1 GB haben), die Berechnungen (Summe Preis und Quant, wenn Zeit> my.time und für einige ausgewählte Isins, gruppiert von my.time, isin und price), schreibe die Ergebnisse in eine CSV-Datei, entferne die ursprüngliche TXT-Datei aus dem R-Speicher; Wiederholen Sie diese Berechnungen dann nacheinander für alle TXT-Dateien und hängen Sie die Ausgabe-CSV-Datei an.

Fangen wir mit den Beispieldaten (ziemlich klein, nur zwei identische Dateien für Illustration) beginnen:

 time<-format(seq.POSIXt(as.POSIXct(Sys.Date()), as.POSIXct(Sys.Date()+1), by = "1 sec"),"%H:%M:%S") 
     n<-length(time) 
     isin<-paste("US",1:n,sep="") 
     price<-rnorm(n,101,1) 
     quant<-rnorm(n,5,1) 
     dt<-data.table(time,isin,price,quant) 
     write.table(dt,"raw.txt",append = FALSE,sep = ",",col.names = TRUE, row.names = FALSE) 
     write.table(dt,"raw2.txt",append = FALSE,sep = ",",col.names = TRUE, row.names = FALSE) 

    my.files <- list.files(pattern = "raw*.txt") 
    my.time<-format(seq.POSIXt(as.POSIXct(Sys.Date()), as.POSIXct(Sys.Date()+1), by = "5 min"),"%H:%M:%S") 
    my.isin<-c("US100","US150","US225","US250","US1050") 

Dann versuche ich diese 2 einfache Schleifen:

 for (i in my.files){ 
       for (j in my.time){ 
       dt<-fread(i) 
     write.table(dt[which(isin %in% my.isin & time>j), 
      .(sprice=sum(price),squant=sum(quant),**time.my=j**), by = .(isin,price)], 
      "output.csv",append = TRUE,sep = ",",col.names = TRUE) 
     rm(dt) 
     }} 

Zweite edit: Die Schleife mit j fing schließlich an, für mich zu arbeiten (wegen des fettgedruckten Teils). Vielleicht wäre es möglich, ohne for-Schleifen zu arbeiten und die gleichen Ergebnisse zu erhalten?

Vielen Dank für Ihre Hilfe!

Answer 1

Das Problem, das Sie haben, ist die Ausgabe Ihrer which Anweisung gibt null Zeilen zurück. Zuerst würde ich Ihre Zeit in time Art umwandeln. Ich habe dann eine 5-Minuten-Gruppierungsvariable erstellt.

Dies würde zuerst Ihre Tabellen aggregieren.

dt[,`:=`(time= as.ITime(strptime(time, format="%H:%M:%S")))] 
dt[,`:=`(time5 = format(strptime("1970-01-01", "%Y-%m-%d", tz="UTC") + 
          round(as.numeric(time)/300)*300,"%H:%M"))] 

dt[, list(sprice = sum(price),squant= sum(quant)),by = c("time5","price","isin")][isin %in% my.isin] 


# time5  price isin sprice squant 
# 1: 00:00 102.46668  US1 102.46668 3.002960 
# 2: 00:00 99.02186  US2 99.02186 5.253252 
# 3: 00:00 100.23665  US3 100.23665 6.153950 
# 4: 00:00 102.21466  US4 102.21466 3.461051 
# 5: 00:00 100.97890  US5 100.97890 5.893336 

Sie können dann filtern, indem Sie Ihre my.isn oder time5 größer als benutzerdefinierte Zeiten?