Wann ist Queue.join() notwendig?

Question

Der Python 3 docs ein Beispiel eines Arbeiter-Thread geben, die eine Warteschlange verwendet (https://docs.python.org/3/library/queue.html):

def worker(): 
    while True: 
     item = q.get() 
     if item is None: 
      break 
     do_work(item) 
     q.task_done() 

q = queue.Queue() 
threads = [] 
for i in range(num_worker_threads): 
    t = threading.Thread(target=worker) 
    t.start() 
    threads.append(t) 

for item in source(): 
    q.put(item) 

# block until all tasks are done 
q.join() 

# stop workers 
for i in range(num_worker_threads): 
    q.put(None) 
for t in threads: 
    t.join() 

In diesem Beispiel ist, warum q.join() notwendig? Bewirken die nachfolgenden Operationen q.put(None) und t.join() nicht dasselbe, den Hauptthread zu blockieren, bis die Worker-Threads abgeschlossen sind?

Answer 1

So verstehe ich das Beispiel.

Jeder Arbeiter läuft unendlich, immer auf der Suche nach etwas Neuem aus der Warteschlange. Wenn das Item None bekommt, bricht es ab und gibt die Kontrolle an main zurück.

Also, zuerst lassen wir das Programm warten, bis die Warteschlange leer ist. Jeder Anruf an q.task_done() markiert einen neuen Artikel als abgeschlossen. Der Code hängt am folgenden, so dass wir sicherstellen, dass jedes Element als erledigt markiert ist.

# block until all tasks are done 
q.join() 

Dann unten, fügen wir die gleiche Anzahl von None Elemente in die Warteschlange, wie es Arbeiter sind (so stellen wir sicher, dass jeder Mitarbeiter bekommt man.)

for i in range(num_worker_threads): 
    q.put(None) 

Als nächstes wir kommen alle Fäden. Da wir jedem Arbeiter einen None Gegenstand über die Warteschlange gegeben haben, werden alle kaputt gehen. Bis sie alle brechen und die Kontrolle zurückgeben, wollen wir hier hängen.

for t in threads: 
    t.join() 

es auf diese Weise tut, stellen wir sicher, dass jedes Element in der Warteschlange wird jeder Arbeitnehmer behandelt wird bricht, wenn die Warteschlange leer ist, und jeder Arbeiter herunterfahren, bevor wir mit unserem Code weitergehen, Waise helfen vermeiden Prozesse.