Wie kann man mehrere Seiten mit Scrapy verschrotten?

Question

Hier ist eine Struktur einer Website, die ich mit scrapy Schrott, wo * ist eine Seite und --- Link angibt. Ich möchte Daten von # Seiten auskratzen. Ich habe bereits einen Scraper gemacht, der Daten von einer einzigen # Seite scrappen kann.

import scrapy 


class MyItem(scrapy.Item): 
    topic = scrapy.Field() 
    symptoms = scrapy.Field() 


class QuotesSpider(scrapy.Spider): 
    name = "medical" 

    allowed_domains = ['medlineplus.gov'] 
    start_urls = ['https://medlineplus.gov/ency/article/000178.htm'] 

    def parse(self, response): 
     item = MyItem() 

     item["topic"] = response.css('h1.with-also::text').extract_first() 
     item["symptoms"] = response.css("article div#section-2 li::text").extract() 

     yield item 

Ausgang Homepage ist https://medlineplus.gov/encyclopedia.html ich Informationen über alle Krankheiten in der Enzyklopädie kratzen will.

Answer 1

Sie benötigen würden mit der „encyclopedia.html“ Seite, folgen Sie den „Alpha“ Links (die A-Z Artikel Links) zu starten, dann für jede gefolgt Seite, die Links zu den Artikeln folgen.

Sie können dies mit einem CrawlSpider und der Link Extractors, aber da die Crawling Tiefe klein ist, können wir dies tun mit einer regelmäßigen Spider:

from urlparse import urljoin # Python 2 only 

import scrapy 
from scrapy.http import Request 


class MyItem(scrapy.Item): 
    topic = scrapy.Field() 
    symptoms = scrapy.Field() 


class MedicalSpider(scrapy.Spider): 
    name = "medical" 

    allowed_domains = ['medlineplus.gov'] 
    start_urls = ['https://medlineplus.gov/encyclopedia.html'] 

    def parse(self, response): 
     for link in response.css("ul.alpha-links li a::attr(href)").extract(): 
      yield Request(urljoin(response.url, link), callback=self.parse_alpha_page) 

    def parse_alpha_page(self, response): 
     for link in response.css("ul#index li a::attr(href)").extract(): 
      yield Request(urljoin(response.url, link), callback=self.parse_page) 

    def parse_page(self, response): 
     item = MyItem() 

     item["topic"] = response.css('h1.with-also::text').extract_first() 
     item["symptoms"] = response.css("article div#section-2 li::text").extract() 

     yield item 

Beachten Sie, dass es aussieht wie es eine bessere Art und Weise ist um die gewünschten Daten vom MedlinePlus zu erhalten (siehe "For Developers" page).