Ich benutze Reddit als Basis für das Lernen von Scrappy. Es funktionierte für eine Weile gut, aber jetzt gibt es immer eine 301 Weiterleitung, selbst wenn man die Shell einfach mit "scrapy shell www.reddit.com" aufruft. Irgendwelche Ideen, wie das zu beheben ist?Scrapy Returning 301 für reddit.com
verwenden Sie das https/http-Schema in der URL
scrapy shell https://www.reddit.com
Ich denke, es ist etwas im Zusammenhang selbst reddit, wie es Ihre IP oder User-Agent scheint zu blockieren, müssen Sie versuchen, zwicken die folgenden: 1- Raise die DOWNLOAD_DELAY in scrapy Einstellungen 2- Versuchen Sie, Ihren User-Agent 3- Proxy verwenden mit scrapy
Für weitere Informationen über die Einstellungen zu ändern: http://doc.scrapy.org/en/latest/topics/settings.html
Für Scrapy-Proxy: http://doc.scrapy.org/en/latest/topics/downloader-middleware.html
Ziemlich sicher, es würde Fehler ohne eine vorangehende http oder https –