Anforderungen verschwinden nach der Warteschlange in scrapy

Question

Scrapy scheint abgeschlossen zu sein, ohne alle Anfragen zu verarbeiten. Ich weiß das, weil ich vor und nach dem Anstehen der Anfrage logge, und ich kann das klar sehen.

Ich melde mich beide Parsen und Fehler Callback-Methoden und keiner von ihnen wurde für diese fehlenden Anforderungen aufgerufen.

Wie kann ich debuggen, was mit diesen Anfragen passiert ist?

Answer 1

Sie müssen dont_filter=True hinzufügen, wenn Sie die Anfrage erneut einreihen. Obwohl die Anfrage möglicherweise nicht mit anderen Anfragen übereinstimmt, merkt sich Scrapy, welche Anfragen bereits gestellt wurden und es wird herausgefiltert, wenn Sie es erneut in die Warteschlange stellen. Es wird angenommen, dass es aus Versehen war.