8
Frageforeach% dopar% verwendet die sequentielle Worker-Einrichtung mit PSock-Cluster?
ich bemerkt habe, dass foreach /% dopar% sequenzielle führt, nicht parallel Setup einen Clusters vor den Aufgaben parallel ausführen. Wenn jeder Worker ein Dataset benötigt und N Sekunden dauert, um das Dataset an den Worker zu übertragen, gibt foreach /% dopar% #workers * N seconds von setup Zeit aus. Dies kann für große Mitarbeiter oder große N (große zu übertragende Datensätze) von Bedeutung sein.
Meine Frage ist, ob dies von Entwurf ist oder gibt es einige Parameter/Einstellungen, die ich foreach oder vielleicht Cluster-Generation fehlt?
Setup-
- R 2.15.2
- neuesten Versionen von foreach/parallel/doParallel ab heute (1/7/2013)
- Windows 7 x64
Beispiel
library(foreach)
library(parallel)
library(doParallel)
# lots of data
data = eval(rnorm(100000000))
# make cluster/register - creates 6 nodes fairly quickly
cluster = makePSOCKcluster(6 , outfile = "")
registerDoParallel(cluster )
# fire up Task Manager. Observer that each node recieves data sequentially.
# When last node gets data, then all nodes process at the same time
results = foreach(i = 1 : 500) %dopar%
{
print(data[ i ])
return(data[ i ])
}
Das "sequenzielle Setup" ist die einzige Art von Verhalten, die ich erlebt habe, ohne einen Shared-Memory-Cluster zu verwenden. Wenn es eine Möglichkeit gibt, dies ohne gemeinsamen Speicher zu beschleunigen, wäre ich auch sehr interessiert. Da 'clusterExport()' (über 'clusterCall()') sequentiell ausgeführt wird, glaube ich nicht, dass ich bis dahin den Atem anhalten werde. – BenBarnes
Ben - Könnten Sie das näher erläutern? Und verzeihe meine Unwissenheit über Dinge, die mit OS/Gedächtnis zu tun haben ... In dem Beispiel gibt es 6 Kindprozesse und ich würde eine Gelegenheit sehen, Daten parallel an sie zu senden. Kann der Elternprozess nur sequenziell auf diese internen Daten zugreifen? – SFun28
Dies grenzt an die Grenzen meines Wissens über Cluster-Kommunikation, aber auf Unix-ähnlichen Systemen kann man einen Prozess "forken", so dass untergeordnete Prozesse auf Objekte zugreifen können, die im übergeordneten Prozess geladen sind und nur diejenigen kopieren, die modifiziert wurden. Windows-Rechner verfügen nicht über diese spezielle Fähigkeit, und bei allen Clustertypen, die ich verwendet habe (was ** nicht ** alles ist), ist das Cluster-Setup sequenziell erfolgt. – BenBarnes