Wie füge ich Links zu CSV-Dateien, die von SitemapSpider gesammelt wurden, in eine zweite Spinne ein, die CSVFeedSpider ist

Question

Ich habe eine Sitemap Spider, die Links zu CSV-Dateien sammeln kann. Ich würde gerne eine CSV-Spinne verwenden, um über diese Links zu kriechen. Wie würde ich den Output einer Spinne in eine andere spinnen?

Answer 1

Sehen Sie ein Beispiel von official documentation:

from scrapy.spiders import CSVFeedSpider 
from myproject.items import TestItem 

class MySpider(CSVFeedSpider): 
    name = 'example.com' 
    allowed_domains = ['example.com'] 
    start_urls = ['http://www.example.com/feed.csv'] 
    delimiter = ';' 
    quotechar = "'" 
    headers = ['id', 'name', 'description'] 

    def parse_row(self, response, row): 
     self.logger.info('Hi, this is a row!: %r', row) 

     item = TestItem() 
     item['id'] = row['id'] 
     item['name'] = row['name'] 
     item['description'] = row['description'] 
     return item 

Um es mit einer lokalen Datei zu verwenden stattdessen nur Datei-URL verwenden: file:///home/user/some.csv