Anhalten und Fortsetzen eines eigenständigen Scrapy-Skripts

Question

Ich benutze eine eigenständige Scrapy-Spinne, die in einer einzigen .py Datei lebt. Im Falle eines Serverfehlers/Stromausfalls/aus irgendeinem anderen Grund, dass das Skript fehlschlagen könnte, gibt es einen eleganten Weg, um sicherzustellen, dass ich einen Lauf nach der Wiederherstellung fortsetzen kann?

Vielleicht etwas ähnliches wie die eingebaute JOBDIR Einstellung?

Answer 1

Sie können immer noch JOBDIR Option verwenden, wenn Sie ein in sich geschlossenes Skript, z.B. Sie können einen Wert in custom_settings Attribute:

class MySpider(scrapy.Spider): 
    custom_settings = { 
     'JOBDIR': './job', 
    } 
    #... 

Alternativ können Sie diese Option, wenn CrawlerProcess zu schaffen (wenn das, was Sie in einem Skript Spinnen laufen verwenden):

process = CrawlerProcess({'JOBDIR': './job'}) 
process.crawl(MySpider) 
process.start() 

Answer 2

Sie können supervisor verwenden.

[program:foo] 
command=~/script_path/script.py 

Answer 3

Es gibt eine ganze documentation page dieses Problem zu verdecken:

Um eine Spinne mit Ausdauer zu starten aktiviert unterstützt wird, führen Sie es wie dies:

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

Dann können Sie aufhören die Spinne jederzeit sicher (durch Drücken von Strg-C oder Senden eines Signals), und später wieder aufnehmen, indem Sie den gleichen Befehl absetzen :

scrapy crawl somespider -s JOBDIR=crawls/somespider-1