Umgang mit Netzwerkfehlern Python, Web Crawler

Question

Ich mache einen Web-Crawler auf einer großen Website. Es traf jedoch immer geschlossene Verbindungen, SSL-Fehler oder andere zeitweilige Fehler aufgrund von instabiler Verbindung. Daher finde ich einen Weg, um mit diesem Problem umzugehen. Dies ist mein Code unten, kann mir jemand sagen, wie das Warten zu implementieren oder versuchen Sie es erneut das Projekt erneut zu starten, wenn die Netzwerkverbindung besteht

try: 
    requests.get("http://example.com") 
except requests.exceptions.RequestException: 
    pass # handle the exception. maybe wait and try again later 

Answer 1

ohne zu versuchen, die Netzwerk-Schnittstelle selbst zu hören, Sie ein einfaches hinzufügen 'Retry' Mechanismus, wenn es fehlschlägt:

import time 

while True: 
    try: 
     requests.get("http://example.com") 
     break # you can also check the returned status before breaking the loop 
    except requests.exceptions.RequestException: 
     time.sleep(300) # wait 5 mins before retry