Sieht so aus, als gäbe es keine legale Möglichkeit, Scrapyd anzuhalten/weiter zu kriechen, wie es bei Scrapy selbst der Fall war (scrapy crawl spider -s JOBDIR = jobdir/spider-1). Die einzige Lösung die ich gefunden habe war hier:Scrapyd Pause/Job fortsetzen
https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ
aber ich verstehe nicht die Idee.
So ist es möglich, Job mit Scrapyd zu pausieren/fortzusetzen?
Vielen Dank für Ihre Zeit
Die Idee ist folgende:
Wenn Sie Ihre Spinne aus cmd laufen können Sie zusätzliche Argument einfügen, zum Beispiel: scrapy crawl myspider -s JOBDIR=crawls/somespider-1
Wenn Sie Scrapyd in Endpunkt verwenden schedule.json Sie können auch einige Einstellungen einfügen. Wenn Sie scrapyd-client verwenden wird dies wie folgt aussehen:
s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)
Nachdem Sie einen Job abbrechen. Das nächste Mal, wenn Sie den gleichen Job ausführen - Scrapyd Lebenslauf vorherige Arbeit
Sorry, ich verstehe nicht, wo Sie diese Optionen schreiben. Wenn ich crawler mit: (curl http: // localhost: 6800/schedule.json -d projekt = meine-parser -d spinne = mein_spider) wo soll ich ihren code einfügen? – Pachvarsh
In diesem Fall können Sie einen Anruf tätigen: 'curl localhost: 6800/schedule.json -d projekt = meine-parser -d spider = mein_spider -d einstellungen = JOBDIR = crawls/somespider-1' – AndMar
Leider ist es nicht ' t arbeiten entweder. Wenn ich einen solchen Job mit folgendem Befehl fortsetze: 'curl localhost: 6800/schedule.json -d projekt = meine-parser -d spinne = mein_spider -d einstellungen = JOBDIR = crawls/einspider-1 jobid = 3123asds5f34141asdfesw324' der neue parse beginnt von anfang an , nur ein Protokoll ist das gleiche – Pachvarsh