Scrapy - 301 Redirect in der Shell

Question

Ich kann keine Lösung für das folgende Problem finden. Ich benutze Scrapy (neueste Version) und versuche eine Spinne zu debuggen. Mit scrapy shell https://jigsaw.w3.org/HTTP/300/301.html -> es folgt nicht die Umleitung (es verwendet eine Standardspinne, um die Daten zu erhalten). Wenn ich meine Spinne laufen lasse, folgt die 301 - aber ich kann nicht debuggen.

Wie können Sie die Shell dazu bringen, der 301 zu folgen, damit Sie die letzte Seite debuggen können?

Answer 1

Scrapy verwendet Redirect Middleware für Redirects, ist jedoch in der Shell nicht aktiviert. Schnelle Lösung dafür:

scrapy shell "https://jigsaw.w3.org/HTTP/300/301.html" 
fetch(response.headers['Location']) 

Auch Ihre Spinne debuggen Sie wollen wahrscheinlich die Antwort Ihre Spinnen inspizieren empfangen:

from scrapy.shell import inspect_response 
def parse(self, response) 
    inspect_response(response, self) 
    # the spider will stop here and open up an interactive shell during the run