scrapy deny Urls lokalisierte

Question

Ich versuche lokalisierte URLS zu leugnen, wie folgt:

rules = (
    Rule(LinkExtractor(deny=(r'\/es\/')), follow = True) 
) 

jedoch dies nicht gelingen. Versuchte andere Regexes wie das Folgende, aber kein Glück.

rules = (
    Rule(LinkExtractor(deny=(r'\/es\/*.*')), follow = True) 
) 

Im Wesentlichen bin ich nur an der englischen Version der Ressource interessiert. Keine Version, die spanisch ist, dh: es hat /es/ in der URL.

Wie kann ich sicherstellen, dass ich keine spanischen URLs crawle?

Answer 1

Definieren Sie Ihre Middleware in der Spinne wie diese

class MySpider(scrapy.Spider): 
    name = "my_spider" 

    custom_settings = { 
     'DOWNLOADER_MIDDLEWARES': { 
      'project_root_path.MyMiddlewaresFile.MyMiddleware': 300, 

     } 
    } 


    def start_requests(self): 

     yield Request() 

und in Ihrem MyMiddlewaresFile.py

class MyMiddleware(object): 

    def process_request(self, request, spider): 
     if "/en/" in request.url: 
      pass #Do not do anything. 

     else: 
      #keep processing request 
      return request 

Siehe docs: https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.DownloaderMiddleware.process_request