Wie zu verhindern, dass schwarze Liste beim Schaben Amazon

Question

Ich versuche, Amazon von Scrapy kratzen. , aber ich habe diesen Fehler

DEBUG: Retrying <GET http://www.amazon.fr/Amuses-bouche-Peuvent-b%C3%A9n%C3%A9ficier-dAmazon-Premium-Epicerie/s?ie=UTF8&page=1&rh=n%3A6356734031%2Cp_76%3A437878031> 
(failed 1 times): 503 Service Unavailable 

Ich denke, dass es ist, weil = Amazon bei der Erkennung Bots ist sehr gut. Wie kann ich das verhindern?

ich benutzte time.sleep(6) vor jeder Anfrage.

Ich möchte nicht ihre API verwenden.

Ich versuchte ich tor und polipo

Answer 1

Sie haben mit Amazon sehr vorsichtig sein und den Amazon Nutzungsbedingungen und Richtlinien für Web-Scraping Zusammenhang folgen.

Amazon ist ziemlich gut darin, IPs der Bots zu verbieten. Sie müssten die DOWNLOAD_DELAY und CONCURRENT_REQUESTS zwicken, um die Website seltener zu treffen und ein guter Web-scraping Bürger zu sein. Und Sie müssten IP-Adressen drehen (Sie können zum Beispiel in crawlera schauen) und user agents.

Answer 2

Dies könnte auch für Sie interessant sein, basic scrapy setup mit zwei Middlewares, eine für zufällige IP-Adresse und zweite für zufällige Benutzer-Agenten.