Zähldistanz dauert zu lange

Question

Ich habe einen Datenrahmen mit mehr als 10 Millionen Zeilen. Ich möchte den Abstand zwischen den lat-lon-Paaren zählen und sie zu einer nem Spalte hinzufügen. Ich habe versucht, das Skript auszuführen (siehe unten), aber es dauert zu lange (mehr als 5 Stunden). Jeder Tipp, wie kann ich die Geschwindigkeit dieses Prozesses steigern? Ich benutze das Geosphären-Paket, um den Abstand zwischen den Lat-lon-Paaren zu zählen.

for (i in seq_len(nrow(dm_kekk))) 
{ 
dm_kekk$dist[i]<-distm (c(dm_kekk$lon[i], dm_kekk$lat[i]), 
         c(dm_kekk$lon_ok[i], dm_kekk$lat_ok[i]), 
         fun = distHaversine) 

} 

Danke !!!

Answer 1

Geben Sie immer ein Beispiel für Ihre Daten und die Ausgabe, die Sie erwarten, um die Beantwortung der Frage ein wenig einfacher zu machen. Eine Option ist, dass Sie den Prozess einfach parallelisieren oder mit dplyr mutieren versuchen.

library(doParallel) 
cores <- detectCores() -1 
cl <- makeCluster(cores) 
registerDoParallel(cl) 

oper_dist <- foreach(i=1:seq_len(nrow(dm_kekk))) %dopar% { 
library(geosphere) 
    distm (c(dm_kekk$lon[i], dm_kekk$lat[i]), 
        c(dm_kekk$lon_ok[i], dm_kekk$lat_ok[i]), 
        fun = distHaversine) 
} 
stopCluster(cl) 
dm_kekk$dist <- do.call(c, oper_dist) 

Oder mutate

library(dplyr) 

dm_kekk %>% mutate(dist = distm(lon, lat, lon_ok, lat_ok, fun = distHaversine))