scrapy Liste der Anfragen verzögert

Question

Ich muss eine Liste von Webseiten 10 Mal im 5-Minuten-Intervallen zu kratzen. Dies ist zum Sammeln von URLs für spätere Scraping. Ein anderer Weg, um es zu betrachten ist

url_list = [] 
for i in 1:10 { 
    url_list += scrape request 
    url_list += scrape request 
    url_list += scrape request 
    sleep 5 min 
} 
for site in url_list 
    scrape site 

Wie kann ich eine Verzögerung zwischen den Sätzen, aber keine Verzögerung zwischen den Schaben Anforderungen hinzufügen?

Wie kann ich das erreichen?

Dank

Answer 1

Sie DOWNLOAD_DELAY Projekteinstellungen oder download_delay Spinne Klassenattribut mit einer Reihe von gewünschter Verzögerung in Sekunden verwenden können.

Official docs on download_delay