Python 2.5 - Multi-Threaded-for-Schleife

Question

Ich habe ein Stück Code bekommt:

for url in get_lines(file): 
    visit(url, timeout=timeout) 

Es wird URLs aus der Datei und besucht sie (von urllib2) in for-Schleife.

Ist es möglich, dies in wenigen Threads zu tun? Zum Beispiel 10 Besuche gleichzeitig.

---

Ich habe versucht:

for url in get_lines(file): 
    Thread(target=visit, args=(url,), kwargs={"timeout": timeout}).start() 

Aber es funktioniert nicht - keine Wirkung, werden URLs besucht normalerweise.

---

Die vereinfachte Version der Funktion Besuch:

def visit(url, proxy_addr=None, timeout=30): 
    (...) 
    request = urllib2.Request(url) 
    response = urllib2.urlopen(request) 
    return response.read() 

Answer 1

Um auf senderle Antwort zu erweitern, können Sie die Pool-Klasse verwenden, können in Multiprozessing dies leicht zu tun:

from multiprocessing import Pool 
pool = Pool(processes=5) 
pages = pool.map(visit, get_lines(file)) 

Wenn die Kartenfunktion gibt dann „Seiten“ wird eine Liste der Inhalte der URLs sein. Sie können die Anzahl der Prozesse auf das für Ihr System geeignete einstellen.

Answer 2

Ich vermute, dass Sie in die Global Interpreter Lock ausgeführt haben. Grundsätzlich kann threading in Python keine Parallelität erreichen, was Ihr Ziel zu sein scheint. Sie müssen stattdessen multiprocessing verwenden.

multiprocessing ist entworfen, um eine ungefähr analoge Schnittstelle zu threading zu haben, aber es hat ein paar Macken. Ihre visit Funktion wie oben geschrieben sollte richtig funktionieren, glaube ich, weil es in einem funktionalen Stil geschrieben ist, ohne Nebenwirkungen.

In multiprocessing entspricht die Klasse Process der Klasse Thread in threading. Es hat alle die gleichen Methoden, so dass es in diesem Fall ein Drop-In-Ersatz ist. (Obwohl ich glaube, könnten Sie pool als JoeZuntz schlägt verwenden - aber ich würde testen mit dem Grunde Process Klasse zuerst, um zu sehen, ob es das Problem behebt.)