Update Start URLs auf scrapinghub gehosteten Scrapy-Projekt über API-Aufruf

Question

Meine Scrapy Spider ist bei Scrapinghub gehostet. Es wird über einen Run-Spider-API-Aufruf verwaltet. Das einzige, was sich bei Spider von Anruf zu Anruf ändert, ist eine Liste von Start-URLs. Die Liste kann zwischen 100 und tausend variieren. Was ist der beste Weg, Start-URLs in diesem Szenario zu aktualisieren? Von dem, was ich sehe, gibt es keine direkte Option in SH API dafür. Ich denke über das Aktualisieren von MySql mit einer Liste von URLs und einmal aktualisiert senden Sie einfach Run Job API-Aufruf. (Start-URLs werden aus der MySql-Tabelle generiert). Irgendwelche Kommentare zu einer solchen Lösung oder anderen Optionen?

Meine aktuelle Einstellung ist wie folgt.

def __init__(self, startUrls, *args, **kwargs): 

    self.keywords = ['sales','advertise','contact','about','policy','terms','feedback','support','faq'] 

    self.startUrls = startUrls 

    self.startUrls = json.loads(self.startUrls) 

    super(MySpider, self).__init__(*args, **kwargs) 

def start_requests(self): 

    for url in self.startUrls: 

     yield Request(url=url) 

Answer 1

Sie können Parameter an Scrapy Spider übergeben und sie in Ihrer Spinne lesen.

Senden Sie eine Liste von URLs, die als JSON codiert sind, und dekodieren Sie sie.

class MySpider(scrapy.Spider): 

    def __init__(self, startUrls, *args, **kwargs): 

     self.startUrls = startUrls 

     self.startUrls = json.loads(self.startUrls) 

     super(MySpider, self).__init__(*args, **kwargs) 


    def start_requests(self): 

     for url in self.startUrls: 

      yield Request(url=url ...) 

Und hier ist, wie Sie diesen Parameter an Ihre Spinne senden.

curl -u APIKEY: https://app.scrapinghub.com/api/run.json -d project=PROJECT -d spider=SPIDER -d startUrls="JSON_ARRAY_OF_LINKS_HERE" 

Ihre scrapinghub.yml Datei sollte wie sein diese

projects: 
    default: 160868