Klicken Sie zum Simulieren einer JavaScript-Schaltfläche mit Scrapy

Question

Meine Absicht ist es, einen scrapy Crawler auf dieser Webseite auszuführen: http://visit.rio/en/o-que-fazer/outdoors/. Es gibt jedoch einige Ressourcen auf id = "container", die nur durch einen JavaScript-Button ("VER MAIS") geladen werden. Ich habe ein paar Sachen über Selen gelesen, aber ich habe nichts.

Answer 1

Sie lesen richtig, Ihre beste Wette wäre Scrapy + Selen mit einem Firefox-Browser oder eine kopflose wie PhantomJS für schneller kratzen.

Beispiel aus https://stackoverflow.com/a/17979285/2781701 angepasst

import scrapy 
from selenium import webdriver 

class ProductSpider(scrapy.Spider): 
    name = "product_spider" 
    allowed_domains = ['visit.rio'] 
    start_urls = ['http://visit.rio/en/o-que-fazer/outdoors'] 

    def __init__(self): 
     self.driver = webdriver.Firefox() 
    def parse(self, response): 
     self.driver.get(response.url) 

     while True: 
      next = self.driver.find_element_by_xpath('//div[@id="show_more"]/a') 

      try: 
       next.click() 

       # get the data and write it to scrapy items 
      except: 
       break 

     self.driver.close()