Senden von Daten an Worker

Question

Ich versuche, ein Stück parallelen Code zu erstellen, um die Verarbeitung eines sehr großen Arrays (einige hundert Millionen Zeilen) zu beschleunigen. Um dies parallel zu machen, zerhackte ich meine Daten in 8 Teile (meine Anzahl an Kernen) und versuchte, jedem Arbeiter 1 Stück zu schicken. Ein Blick auf meine RAM-Nutzung aber es scheint, jedes Stück zu jedem Arbeiter senden wird, effektiv meine RAM-Nutzung von 8. Ein Mindestarbeitsbeispiel multipliziert:

A = 1:16; 
for ii = 1:8 
    data{ii} = A(2*ii-1:2*ii); 
end 

Nun, wenn ich diese Daten an Arbeitnehmer parfor es mit schicken scheint

output = cell(1,8); 
parfor ii = 1:8 
    output{ii} = data{ii}; 
end 

I verwenden tatsächlich eine Funktion innerhalb der parfor Schleife, aber dies stellt den Fall dar: die vollständige Zelle statt nur das gewünschte Stück zu senden. Sendet MATLAB tatsächlich die volle Zelle data an jeden Arbeiter, und wenn ja, wie kann man nur das gewünschte Stück senden?

Answer 1

In meiner persönlichen Erfahrung fand ich, dass parfeval ist besser in Bezug auf Speicherverbrauch als parfor. Darüber hinaus scheint Ihr Problem eher zerbrechlich zu sein. Sie können daher parfeval verwenden, um kleinere Aufträge an MATLAB-Mitarbeiter zu senden.

Nehmen wir an, Sie haben workerCnt MATLAB Worker, mit denen Sie arbeiten jobCnt Jobs. Sei data ein Zellenarray der Größe jobCnt x 1, und jedes seiner Elemente entspricht einem Dateneingang für die Funktion getOutput, die die Datenanalyse durchführt. Die Ergebnisse werden dann in dem Zellenfeld output der Größe jobCnt x 1 gespeichert.

Im folgenden Code werden Jobs in der ersten for-Schleife zugewiesen und die Ergebnisse werden in der zweiten while-Schleife abgerufen. Die boolesche Variable doneJobs gibt an, welcher Job ausgeführt wurde.

poolObj = parpool(workerCnt); 
jobCnt = length(data); % number of jobs 
output = cell(jobCnt,1); 
for jobNo = 1:jobCnt 
    future(jobNo) = parfeval(poolObj,@getOutput,... 
     nargout('getOutput'),data{jobNo}); 
end 
doneJobs = false(jobCnt,1); 
while ~all(doneJobs) 
    [idx,result] = fetchnext(future); 
    output{idx} = result; 
    doneJobs(idx) = true; 
end 

Auch Sie können diesen Ansatz einen Schritt weiter gehen, wenn Sie mehr Speicher sparen möchten. Sie können nach dem Abrufen der Ergebnisse eines abgeschlossenen Jobs das entsprechende Element future löschen. Der Grund ist, dass dieses Objekt alle Eingabe- und Ausgabedaten der getOutput-Funktion speichert, die wahrscheinlich sehr groß sein wird. Aber Sie müssen vorsichtig sein, wenn Mitglieder von future Ergebnisse index shift löschen.

Das folgende ist der Code, den ich für diesen porpuse schrieb.

poolObj = parpool(workerCnt); 
jobCnt = length(data); % number of jobs 
output = cell(jobCnt,1); 
for jobNo = 1:jobCnt 
    future(jobNo) = parfeval(poolObj,@getOutput,... 
     nargout('getOutput'),data{jobNo}); 
end 
doneJobs = false(jobCnt,1); 
while ~all(doneJobs) 
    [idx,result] = fetchnext(future); 
    furure(idx) = []; % remove the done future object 
    oldIdx = 0; 
    % find the index offset and correct index accordingly 
    while oldIdx ~= idx 
     doneJobsInIdxRange = sum(doneJobs((oldIdx + 1):idx)); 
     oldIdx = idx 
     idx = idx + doneJobsInIdxRange; 
    end 
    output{idx} = result; 
    doneJobs(idx) = true; 
end 

Answer 2

Ich würde vorschlagen, den spmd Befehl von MATLAB zu verwenden.

Sie können Code fast so schreiben, wie es für eine nicht parallele Implementierung wäre, und auch Zugriff auf den aktuellen Worker durch die labindex "System" Variable haben.

Werfen Sie einen Blick hier:

http://www.mathworks.com/help/distcomp/spmd.html

Und dies auch über spmd vs parfor SO Frage:

SPMD vs. Parfor

Answer 3

Der Kommentar von @ms ist richtig - wenn parforScheiben ein Array, dann wird jeder Worker nur das Slice gesendet, das für das Schleifen-Iteratio notwendig ist ns, an dem gearbeitet wird. Es kann jedoch vorkommen, dass die RAM-Auslastung über das hinausgeht, was Sie ursprünglich erwartet haben, da leider Kopien der Daten erforderlich sind, da sie vom Client an die Worker über den Kommunikationsmechanismus parfor übergeben werden.

Wenn Sie die Daten nur für die Worker benötigen, dann ist es die beste Lösung, wenn möglich nur auf die Worker zu erstellen/laden/zuzugreifen. Es klingt, als ob Sie nach Datenparallelität und nicht nach Aufgabenparallelität streben, für die spmd tatsächlich eine bessere Anpassung ist (wie @Kostas vorschlägt).