Python parallel Karte (multiprocessing.Pool.map) mit globalen Daten

Question

Ich versuche, eine Funktion für mehrere Prozesse aufzurufen. Die offensichtliche Lösung ist Pythons multiprocessing Modul. Das Problem ist, dass die Funktion Nebenwirkungen hat. Es erstellt eine temporäre Datei und registriert die zu löschende Datei beim Beenden unter Verwendung der atexit.register und einer globalen Liste. Das Folgende sollte das Problem demonstrieren (in einem anderen Kontext).

import multiprocessing as multi 

glob_data=[] 
def func(a): 
    glob_data.append(a) 

map(func,range(10)) 
print glob_data #[0,1,2,3,4 ... , 9] Good. 

p=multi.Pool(processes=8) 
p.map(func,range(80)) 

print glob_data #[0,1,2,3,4, ... , 9] Bad, glob_data wasn't updated. 

Gibt es eine Möglichkeit, die globalen Daten aktualisiert zu haben?

Hinweis: Wenn Sie das obige Skript ausprobieren, sollten Sie es wahrscheinlich nicht über den interaktiven Interpreter ausprobieren, da multiprocessing erfordert, dass das Modul __main__ von untergeordneten Prozessen importiert werden kann.

UPDATE

Added die global Schlüsselwort in func hilft nicht - zB:

def func(a): #Still doesn't work. 
    global glob_data 
    glob_data.append(a) 

Answer 1

Sie müssen diese Liste (glob_data) durch Shared-Memory gesichert werden soll, Multi der Manager gibt Ihnen genau das:

import multiprocessing as multi 
from multiprocessing import Manager 

manager = Manager() 

glob_data= manager.list([]) 

def func(a): 
    glob_data.append(a) 

map(func,range(10)) 
print glob_data #[0,1,2,3,4 ... , 9] Good. 

p=multi.Pool(processes=8) 
p.map(func,range(80)) 

print glob_data # Super Good. 

Für einige Hintergrund (für Manager-Suche):

http://docs.python.org/library/multiprocessing.html

Answer 2

Haben func ein Tupel mit den Ergebnissen kehren Sie aus der Verarbeitung möchten, und das, was Sie wollen an glob_data anhängen. Wenn die p.map abgeschlossen ist, können Sie die Ergebnisse aus den ersten Elementen in den zurückgegebenen Tupeln extrahieren, und Sie können glob_data aus den zweiten Elementen erstellen.