Scrapy Twisted ConnectionLost Fehler

Question

Ich lerne scrapy und habe eine harte Zeit versucht, dieses Problem zu lösen. Meine Spinne wird die macys Website nicht kriechen und hält werfen den folgenden Fehler:

[<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>] 

Dinge, die ich bisher ausprobiert habe:

1. einstellen Kopf- und robotstxt pro diesen Thread zu gehorchen: Scrapy Shell: twisted.internet.error.ConnectionLost although USER_AGENT is set
2. Ändern des Benutzeragenten für diesen Thread: How to prevent a twisted.internet.error.ConnectionLost error when using Scrapy?
3. Kryptografie < 2 zu diesem Thema: Scrapy twisted connection lost in non-clean fashion. No proxy. Already tried headers
4. Monkeypatch: Twisted Python Failure - Scrapy Issues

I scrapy shell "www.macys.com" in der Eingabeaufforderung auch überprüft, und die gleichen Fehler. Also ich vermute, das Problem ist nicht mit meiner Spinne. Könnte jemand bitte helfen?

Answer 1

Es scheint, dass Ihre IP von Ihnen starten Ihren Scraper wurde auf die schwarze Liste gesetzt.

Sie könnten die folgenden lesen möchten: https://doc.scrapy.org/en/latest/topics/practices.html#avoiding-getting-banned

Auch Sie könnten stimmen wollen the settings über die Anzahl der Anfragen von scrapy ausgegeben: CONCURRENT_REQUESTS, DOWNLOAD_DELAY usw.