Ein ganzes Paket an einen Schnee-Cluster übergeben

Question

Ich versuche parallel (mit snow::parLapply) einige Code, der auf einem Paket (dh ein anderes Paket als snow) abhängt. Objekte, die in der von parLapply aufgerufenen Funktion referenziert werden, müssen explizit an den Cluster übergeben werden, indem clusterExport verwendet wird. Gibt es eine Möglichkeit, ein ganzes Paket an den Cluster zu übergeben, anstatt jede Funktion (einschließlich der internen Funktionen eines Pakets, die von Benutzerfunktionen aufgerufen werden) explizit in clusterExport zu benennen?

Answer 1

Installieren Sie das Paket auf allen Knoten und Ihre Coderuf haben library(thePackageYouUse) auf allen Knoten über einen der verfügbaren Befehle, Ei so etwas wie

clusterApply(cl, library(thePackageYouUse)) 

Ich denke, die parallel-Paket, das mit den jüngsten R Releases kommt, hat Beispiele - siehe zum Beispiel hier von help(clusterApply) wo das boot Paket überall geladen wird -:

## A bootstrapping example, which can be done in many ways: 
clusterEvalQ(cl, { 
    ## set up each worker. Could also use clusterExport() 
    library(boot) 
    cd4.rg <- function(data, mle) MASS::mvrnorm(nrow(data), mle$m, mle$v) 
    cd4.mle <- list(m = colMeans(cd4), v = var(cd4)) 
    NULL 
})