Wie schreibe anpassen Downloader Middleware für Selen und Scrapy?

Question

Ich habe Probleme bei der Kommunikation zwischen Selen und Scrapy-Objekt.

Ich benutze Selen, um mich auf einer Site anzumelden, sobald ich diese Antwort bekomme, möchte ich die Scrape-Funktionäre zum Parsen und Verarbeiten benutzen. Bitte helfen Sie mir, Middleware zu schreiben, so dass jede Anfrage Selen Web-Treiber durchlaufen sollte und die Antwort sollte an scrapy übergeben werden.

Vielen Dank!

Answer 1

Es ist ziemlich einfach, eine Middleware mit einem WebDriver erstellen und verwenden process_request die Anforderung abfangen, verwerfen sie und verwenden Sie die URL es es zu einem Selen WebDriver passieren musste:

from scrapy.http import HtmlResponse 
from selenium import webdriver 


class DownloaderMiddleware(object): 
    def __init__(self): 
     self.driver = webdriver.Chrome() # your chosen driver 

    def process_request(self, request, spider): 
     # only process tagged request or delete this if you want all 
     if not request.meta.get('selenium'): 
      return 
     self.driver.get(request.url) 
     body = self.driver.page_source 
     response = HtmlResponse(url=self.driver.current_url, body=body) 
     return response 

Die Kehrseite der Medaille ist dass du die Nebenläufigkeit in deiner Spinne beseitigen musst, da selen webdrive immer nur eine URL gleichzeitig verarbeiten kann. Siehe hierzu settings documentation page.