ReactorNotRestartable Fehler mit CrawlerRunner in scrapy

Question

Ich habe den gleichen Code wie in der Dokumentation mit einem kleinen Unterschied der Instantiierung der Crawlrunner mit Einstellungen verwendet, so dass es die Pipeline-Operationen nicht verpassen. Wenn dies nicht verwendet wird, wird es aber funktionieren wird die Pipeline überspringen.

from twisted.internet import reactor 
import scrapy 
from scrapy.crawler import CrawlerRunner 
from scrapy.utils.log import configure_logging 
from forspef_scrapper import ForspefScrapper 
from scrapy.utils.project import get_project_settings 

configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'}) 
runner = CrawlerRunner(get_project_settings()) 

d = runner.crawl(ForspefScrapper) 
d.addBoth(lambda _: reactor.stop()) 
reactor.run() 

Bitte schlagen Sie die Ursache und mögliche Korrekturen vor.

Answer 1

Entfernen Sie den Rückruf für reactor.stop und Sie sollten dieses Problem nicht mehr sehen. Der Reaktor ist entworfen, um immer zu laufen