Multiple Scaping mit Scrapy Spider

Question

Ich wollte eine website kratzen. Die Extraktion, die ich machen möchte, ist die Dokumentenliste, der Name des Autors und das Datum. Ich habe mir ein paar Scrapy-Spider-Videos angeschaut und war in der Lage, den 3-Shell-Script-Befehl herauszufinden, der die erforderlichen Daten von der Website liefert. Die Befehle sind

scrapy shell https://www.cato.org/research/34/commentary 

für Datum:

response.css('span.date-display-single::text').extract() 

für author:

response.css('p.text-sans::text').extract() 

für die Dokumentenlinks auf der Seite

response.css('p.text-large.experts-more-h > a::text').extract() 

Ich versuche, es zu bekommen durch Python aber alles umsonst. Da gibt es mehrere Daten. Hier

ist der Python-Code:

import scrapy 
class CatoSpider(scrapy.Spider): 

    name = 'cato' 

    allowed_domains = ['cato.org'] 

    start_urls = ['https://www.cato.org/research/34/commentary'] 


def parse(self, response): 

    pass 

Answer 1

Diese funktionieren soll. Alles, was Sie brauchen, ist nur diesen Befehl ausführen: scrapy runspider cato.py -o out.json Aber ich sehen kann, gibt es Fehler mit Links, werden Sie nur Text von Links zu nehmen, href nicht für diesen Einsatz nicht

import scrapy 

class CatoItem(scrapy.Item): 
    date = scrapy.Field() 
    author = scrapy.Field() 
    links = scrapy.Field() 


class CatoSpider(scrapy.Spider): 

    name = 'cato' 

    allowed_domains = ['cato.org'] 

    start_urls = ['https://www.cato.org/research/34/commentary'] 


    def parse(self, response): 
     date = response.css('span.date-display-single::text').extract() 
     author = response.css('p.text-sans::text').extract() 
     links = response.css('p.text-large.experts-more-h > a::text').extract() 
     for d, a, l in zip(date, author, links): 
      item = CatoItem() 
      item['date'] = d 
      item['author'] = a 
      item['links'] = l 
      yield item