Python und Multithreading sys.excepthook fehlt

Question

So habe ich viele Dateien von einem Server herunterladen. Über 1000 ... Also dachte ich, ich würde ein Skript schreiben, das das für mich tut, das Multithread ist, so dass ich nicht ewig warten muss, bis es fertig ist. Das Problem ist, dass es eine Reihe von Fehlern ausspuckt. Ich habe nach diesem gesucht, aber konnte wirklich nichts finden, das mit dem Fehler verbunden zu sein schien, den ich habe, da ich keine Ausgabe in meinen anderen threads drucke.

mein Plan war es, die Threads-Kette sich gegenseitig zu starten, so dass sie nicht zufällig eine Datei zweimal nehmen und eine andere Datei überspringen.

danke für jede Hilfe!

mylist = [list of filenames in here] 

mycount = 0 

def download(): 
    global mycount 
    url = "http://myserver.com/content/files/" + mylist[mycount] 
    myfile = urllib2.urlopen(url) 
    with open(mylist[mycount],'wb') as output: 
     output.write(myfile.read()) 


def chain(): 
    global mycount 
    if mycount <= len(mylist) - 1: 
     thread.start_new_thread(download,()) 
     mycount = mycount + 1 
     chain() 

chain() 

Answer 1

Also schaffte ich es tatsächlich nach etwas mehr googeln und lesen zu arbeiten.

aktuellen Code:

mycount = 0 
mylistLoc = [] 
for index in range(len(mylist)): 
    mylistLoc.append(index) 

def download(mycount): 
global mylistLoc 
url = "http://myserver.com/content/zips/" + mylist[mycount] 
try: 
    myfile = urllib2.urlopen(url) 
    with open(mylist[mycount],'wb') as output: 
     output.write(myfile.read()) 
except: 
    print "Could not open URL: " + url 
mycount = mycount + 1 
mylistLoc = [mycount] 

from multiprocessing.dummy import Pool as ThreadPool 
pool = ThreadPool(50) 
pool.map(download, mylistLoc) 

Zunächst einmal möchte ich erwähnen, dass der Versuch: Aussage hat nichts mit dem Multi-Threading für alle Neulinge zu tun, die diese Zeilen lesen kann.

Aber ich fand diese Methode auf einem anderen Stackoverflow-Thread, der das ein bisschen besser erklärt.

How to use threading in Python?

Aber im Grunde, wenn ich das richtig verstehe, importieren Sie zunächst alle notwendigen Funktionen mit dem

from multiprocessing.dummy import Pool as ThreadPool 

Und dann setzen Sie, wie viele Threads Sie aktiv werden soll. Für mich war 50 gut. Aber lesen Sie mehr darüber, da zu viele Probleme verursachen können.

dann der Saft

pool.map(download, mylistLoc) 

Grundsätzlich Anruf Pool Karte für jede Zahl in mylistLoc.

Ich denke, es ist ein komisches System, aber was weiß ich. Es klappt. Außerdem bin ich selbst ein Neuling.