schneller subsetting von data.table

Ich habe eine Datentabelle „d“ und ich bin zur Zeit wie folgt subsetting:schneller subsetting von data.table

d[d$time >= as.POSIXct("2016-01-01 00:31:13",tz="GMT") & d$category =="b" & num1==8 & num2>=4 & num3 ==7, ]

Was ist der schnellste Weg, um die Zeilen einer Datentabelle der Teilmenge? Kann das schneller gemacht werden?

Vielen Dank.

Hier ist der Code:

times= as.POSIXct("2016-01-01",tz="GMT")+seq(1,2000,by = 1) 
d =data.table(time= times, category1 = rep(c("a","b"),1000), num1=rep(c(2,8),1000), num2=rep(c(3,4),1000), num3=rep(c(5,7),1000)) 
setkey(d,time)#  
d[d$time >= as.POSIXct("2016-01-01 00:31:13",tz="GMT") & d$category =="b" & num1==8 & num2>=4 & num3 ==7, ]

Quelle

2016-03-24 user3022875

Ich habe die $ los und es war immer noch die gleiche Zeit – user3022875

Warum sind Sie subsetting es? Nur um das Ergebnis zu sehen? – Frank

@David was meinst du "du brauchst nicht alle diese Anrufe". Ich muss auf diese Spalten unterteilen. Lassen Sie uns über $ vergessen, weil das die Leistung nicht verbessert. Ich verwende system.time, um die Geschwindigkeit zu testen. – user3022875

Unter der Annahme, dass der allgemeine Ansatz, den Sie heraus gelegt haben, ist, was Sie tun möchten, können Sie eine Verbesserung der Geschwindigkeit erhalten, indem die & Bedingungen Verkettungs anstatt sie alle in ein einzelner Anruf an [.data.table. Je mehr & Bedingungen, desto mehr Verbesserung erhalten Sie.

library(data.table) 

# Create a big table to play with 
set.seed(1987) 
n <- 1e7 
myDT <- data.table(X = sample(LETTERS, n, replace = TRUE), 
        Y = sample(1:1000, n, replace = TRUE), 
        Z = sample(1:1000, n, replace = TRUE)) 
myDT # 10 million rows 

system.time(myDT[X %in% c("R", "S", "G") & Y <= 30 & Z >= 500]) #0.86s 
system.time(myDT[X %in% c("R", "S", "G")][Y <= 30][Z >= 500]) #0.19s

Hinweis: logisch dies wird nicht mit oder | Bedingungen arbeiten.

Quelle

2016-03-26 03:22:51

schneller subsetting von data.table

Antwort

Verwandte Themen