Mit fread mit foreach und doParallel in R

Question

Ich verwendete fread mit foreach und doParallel Paket in R 3.2.0 in ubuntu 14.04. Der folgende Code funktioniert einwandfrei, obwohl ich registerDoParallel nicht verwendet habe.

library(foreach) 
library(doParallel) 
library(data.table) 

write.csv(iris,'test.csv',row.names=F) 

cl<-makeCluster(4) 

tmp<-foreach(i=1:10) %dopar% { t <- fread('test.csv') } 

tmp<-rbindlist(tmp) 

stopCluster(cl) 

Beim Wechsel zu Windows 7 funktioniert es jedoch nicht mehr, mit oder ohne 'registerDoParallel'.

library(foreach) 
library(doParallel) 
#library(doSNOW) 
library(data.table) 

write.csv(iris,'test.csv',row.names=F) 

cl<-makeCluster(4) 
registerDoParallel(cl) 
#registerDoSNOW(cl) 

tmp<-foreach(i=1:10) %dopar% { t <- fread('test.csv') } 

tmp<-rbindlist(tmp) 

stopCluster(cl) 

"DoSNOW" -Paket funktioniert auch nicht. Unten ist die Fehlermeldung.

Error in { : task 1 failed - "could not find function "fread"" 

Hat jemand ähnliche Erfahrung?

Eine weitere Frage betrifft verschachtelte foreach. Es scheint, dass das Folgende nicht funktioniert.

cl<-makeCluster(4) 
registerDoParallel(cl) 
clusterEvalQ(cl , library(data.table)) 

tmp<-foreach(j=1:10) %dopar% { 

      tmp1<-foreach(i=1:10) %dopar% { 
          t<-fread('test.csv',data.table=T) 
        } 
      rbindlist(tmp1) 
     } 
stopCluster(cl) 

Answer 1

Dank user20650 für die Referenz in here. Grundsätzlich kann es gelöst werden, indem .export='fread' in der foreach Funktion gesetzt wird.

Genauer gesagt, das Folgende wird das Problem beheben.

tmp<-foreach(i=1:10,.export = 'fread') %dopar% { 
       t <- fread('test.csv',data.table=T) 
     } 

Um meine Follow-up Frage foreach verschachtelt in Bezug auf, user20650 antwortete er in seinen Kommentaren. Nämlich das Hinzufügen von clusterEvalQ(cl , c(library(data.table),library(foreach))). Der folgende Code scheint sowohl in Ubuntu als auch in Windows zu funktionieren.

cl<-makeCluster(4) 
registerDoParallel(cl) 
clusterEvalQ(cl , c(library(data.table),library(foreach))) 

tmp<-foreach(j=1:10) %dopar% { 

    tmp1<-foreach(i=1:10) %dopar% { t <- fread('test.csv',data.table=T) } 
    rbindlist(tmp1) 
    }