Multiprocessing Python ist es möglich, einen Job in den Pool zu senden

Question

Ich versuche, Aufträge an einen Pool eins nach dem anderen zu senden (aufgrund der Speicherbegrenzungen kann ich keine Karte verwenden). Ist es möglich, dass der Pool verdaut wird, wenn er verfügbare Mitarbeiter hat und ansonsten warten muss? z.B. kann ich sowas machen? p = Pool(n_workers) for item in list: p.work_on_this(item) wobei work_on_this den Job sendet, wenn der Pool mehr Arbeiter zur Verfügung hat und ansonsten warten, bis es funktioniert.

Answer 1

Die Lösung des Problems besteht in der Verwendung eines Semaphors, der mit der Anzahl der Worker initialisiert wurde. Sie erwerben und lösen den Semaphor vor dem Füttern des Pools und nachdem ein Arbeiter die Aufgabe erfüllt hat.

Hier ist ein Beispiel mit Python 2.6 oder höher.

from threading import Semaphore 
from multiprocessing import Pool 


def TaskManager: 
    def __init__(self, processes): 
     self.pool = Pool(processes=processes) 
     self.workers = Semaphore(processes) 

    def new_task(self): 
     """Start a new task, block if all workers are busy.""" 
     self.workers.acquire() 
     self.pool.apply_async(function, callback=self.task_done) 

    def task_done(self, results): 
     """Called once task is done, releases the caller if blocked.""" 
     self.workers.release()