Wie geht man mit scrapy zur nächsten Seite?

Question

Hallo Danke, dass Sie sich die Zeit genommen haben, um Ihnen zu helfen.

Problem: Ich habe versucht, die Spinne zu verknüpfen, um weiter zur nächsten Seite zu gehen, aber es funktioniert nicht, also hatte ich gehofft, einige Hinweise darauf zu bekommen, was ich falsch mache.

class infoSpider(scrapy.Spider): 
name = 'info_spider' 
start_urls = ['https://www.youtube.com/results?search_query=cars'] 

def parse(self, response): 
    SET_SELECTOR = '.yt-lockup' 
    for content in response.css(SET_SELECTOR): 

     NAME_SELECTOR = '.yt-lockup-byline a ::text' 
     IMAGE_SELECTOR = 'img ::attr(src)' 
     yield { 
      'name': content.css(NAME_SELECTOR).extract_first(), 
      'image': content.css(IMAGE_SELECTOR).extract_first(), 
     } 

    NEXT_PAGE_SELECTOR = '.yt-uix-button-content a ::attr(href)' 
    next_page = response.css(NEXT_PAGE_SELECTOR).extract_first() 
    if next_page: 
     yield scrapy.Request(
      response.urljoin(next_page), 
      callback=self.parse 
     ) 

Update: Es gibt ein paar Ergebnisse zurück, geht aber nicht weiter auf die nächste Seite. Ich habe festgestellt, dass es einen zufälligen Schlüssel zu jedem nächsten Tasten gibt, muss einen Weg um das zu finden.

Bitte lassen Sie mich wissen, wenn Sie weitere Informationen benötigen (do downvote nicht bitte!)

Vielen Dank im Voraus.

Answer 1

Sie werden einen Link Extractor verwenden wollen. Sie können den Regelsatz verwenden, um den Link für die nächste Seite anzugeben. Hier ist die offizielle Dokumentation https://doc.scrapy.org/en/latest/topics/link-extractors.html

class infoSpider(scrapy.Spider): 
name = 'info_spider' 
start_urls = ['https://www.youtube.com/results?search_query=cars'] 

rules = (
    Rule(LinkExtractor(allow=(), restrict_css=('.yt-uix-button-content a ::attr(href)')), callback="parse_page", follow=True), 
) 

def parse_page(self, response): 
    SET_SELECTOR = '.yt-lockup' 
    for content in response.css(SET_SELECTOR): 

     NAME_SELECTOR = '.yt-lockup-byline a ::text' 
     IMAGE_SELECTOR = 'img ::attr(src)' 
     yield { 
      'name': content.css(NAME_SELECTOR).extract_first(), 
      'image': content.css(IMAGE_SELECTOR).extract_first(), 
     } 

Answer 2

ändern

NEXT_PAGE_SELECTOR = '.yt-uix-button-content a ::attr(href)' 

zu

NEXT_PAGE_SELECTOR = '.yt-uix-button-content a::attr(href)' 

ODER ändern Sie Ihre letzten Zeilen Code

try: 
    next_page = response.css('.yt-uix-button-content a::attr(href)').extract()[0] 

    yield scrapy.Request(
     response.urljoin(next_page), 
     callback=self.parse 
    ) 
except IndexError: 
    pass 

Answer 3

I sug gest Sie verwenden REGELN

rules = (
     Rule(
       LinkExtractor(
          restrict_xpaths='//*[contains(@class, "yt-uix-button-content")]/a'), 
       callback='self.parse'), 

     ) 

andere suggeston, nicht überschreiben Parse Funktion.