wie anmutig Timeout während mit Python Download

Question

ich mit folgendem Code in einer Schleife eine riesige Menge von Dateien herunterzuladen:

try: 
    urllib.urlretrieve(url2download, destination_on_local_filesystem) 
except KeyboardInterrupt: 
    break 
except: 
    print "Timed-out or got some other exception: "+url2download 

Wenn die Server-mal-out auf URL url2download, wenn die Verbindung nur initiiert Die letzte Ausnahme wird ordnungsgemäß behandelt. Aber manchmal reagiert Server, und das Herunterladen gestartet, aber der Server ist so langsam, dass es dann Stunden dauert es noch eine Datei, und schließlich gibt es so etwas wie:

Enter username for Clients Only at albrightandomalley.com: 
Enter password for in Clients Only at albrightandomalley.com: 

und hängt nur dort (obwohl kein Benutzername/passworde wird geantwortet, wenn der gleiche Link über den Browser heruntergeladen wird).

Meine Absicht in dieser Situation wäre - überspringen Sie diese Datei und gehen Sie zum nächsten. Die Frage ist - wie geht das? Gibt es einen Weg in Python zu spezifizieren, wie lange es OK ist, beim Herunterladen einer Datei zu arbeiten, und wenn mehr Zeit bereits verbraucht ist, unterbrechen Sie und gehen Sie weiter?

Answer 1

Es gibt eine Diskussion dieser here. Vorbehalte (zusätzlich zu den, die sie erwähnen): Ich habe es nicht versucht, und sie verwenden urllib2, nicht urllib (wäre das ein Problem für Sie?) (Eigentlich, jetzt, wo ich darüber nachdenke, würde diese Technik wahrscheinlich auch für urllib arbeiten).

Answer 2

Wenn Sie sich nicht darauf beschränkt, was mit Python ausgeliefert ist aus der Box, dann ist das urlgrabber Modul könnte sich als nützlich erweisen:

import urlgrabber 
urlgrabber.urlgrab(url2download, destination_on_local_filesystem, 
        timeout=30.0) 

Answer 3

Diese Frage zu Ablaufen allgemeinere ist eine Funktion: How to limit execution time of a function call in Python

Ich habe die in meiner Antwort beschriebene Methode verwendet, um eine Wartezeit für Textfunktion zu schreiben, die abläuft, um eine automatische Anmeldung zu versuchen. Wenn Sie eine ähnliche Funktionalität möchten Sie den Code verweisen können hier:

http://code.google.com/p/psftplib/source/browse/trunk/psftplib.py

Answer 4

Versuchen:

import socket

socket.setdefaulttimeout(30)