Prozess kann nicht in Python Multiprocessing-Pool stoppen

Question

Ich habe ein Programm mit Python Multiprocessing. Ich finde, dass der gesamte Prozess, der in den Hauptprogrammen erstellt wurde, beendet werden kann, aber das Hauptprogramm immer auf die Rückgabewerte wartet und nicht aufhören kann. Kann mir jemand Vorschläge machen, wie ich dieses Problem lösen kann?

Die Code-Schnipsel ist wie folgt:

Hauptprogramm:

workers = multiprocessing.Pool(4) 
args = [arg1, arg2, arg3, arg4] 
results = workers.map(subfunc, args) 
print "we are in main functions " 

subfunc (* arg)

# doing some other jobs 
result = {.....} # a large dictionary 
print 'done with sub functions' 
return result # if I change it to "return 1", it can finish successfully 

ich die Ausgabe für alle "mit Unterfunktionen done" sehen die in main angelegten Prozesse, aber keine Ausgaben "Wir sind in Hauptfunktionen". Kann mir jemand helfen, das Problem herauszufinden?

Answer 1

Nachdem subfunc das Ergebnis zurückgibt, muss der untergeordnete Prozess das Ergebnis noch einfrieren und über die Interprozesskommunikation an den Masterprozess senden. Sie drucken also "fertig", bevor der Subprozess tatsächlich beendet werden kann.

Sie könnten versuchen, einfach "fake" zurückgeben, um sicherzustellen, dass das das Problem ist, und dann über Möglichkeiten nachdenken, die Ergebnisse zwischen den Prozessen schneller zu kommunizieren. Abhängig vom Inhalt Ihrer Liste können Sie beispielsweise die Inhalte in einem engeren Format verpacken, oder geteilter Speicher ist eine praktikable Option.