Python Multiprocessing eine Reihe von Arbeitern beginnen und andere beginnen, wenn man fertig

Question

So habe ich etwas Ähnliches wie dieses

import multiprocessing 

class MyFancyClass(object): 

    def __init__(self, name): 
    self.name = name 

    def do_something(self): 
    proc_name = multiprocessing.current_process().name 
    print 'Doing something fancy in %s for %s!' % (proc_name, self.name) 


def worker(q): 
    obj = q.get() 
    obj.do_something() 


if __name__ == '__main__': 
     urls = [ 
    'http://www.python.org', 
    'http://www.python.org/about/', 
    'http://www.python.org/community/awards/' 
    # etc.. 
] 

    queue = multiprocessing.Queue() 

    p = multiprocessing.Process(target=worker, args=(queue,)) 
    p.start() 

    queue.put(MyFancyClass('Fancy Dan')) 

    # Wait for the worker to finish 
    queue.close() 
    queue.join_thread() 
    p.join() 

Was ich tun möchte, ist 4 oder mehr „Arbeiter“ starten und verarbeiten die Urls und wenn man endet mit einem anderen. Was wäre der beste Weg, dies zu tun. Ich verbringe zwei Tage damit und finde es nicht heraus.

Vielen Dank Vielen Dank.

Answer 1

Mit concurrent.futures

import concurrent.futures 
import multiprocessing 

def do_something(name): 
    proc_name = multiprocessing.current_process().name 
    print 'Doing something fancy in %s for %s!' % (proc_name, name) 

class MyFancyClass(object): 

    def __init__(self, name): 
    self.name = name 


MyFancy = MyFancyClass("Name") 

if __name__ == '__main__': 
    urls = [ 
     'http://www.python.org', 
     'http://www.python.org/about/', 
     'http://www.python.org/community/awards/' 
     # etc.. 
] 

with concurrent.futures.ProcessPoolExecutor() as executor: 
    results = executor.map(do_something, urls) 

Siehe concurrent.futures documentation für weitere Einzelheiten.

Answer 2

Keine Notwendigkeit, das Rad zu erfinden. ProcessPoolExecutor von concurrent.futures macht genau das, was Sie brauchen.

Answer 3

Verwenden Pool von multiprocessing:

Hier ist ein Beispiel kurze Nutzung, die Ihren Zweck auch passen:

from multiprocessing import Pool 

def f(x,y): 
    print x*y 

p = Pool(5) 
for i in range(100): 
    p.apply_async(f,(i,i+1)) 
p.close() 
p.join()