Scrapy Link Extractors unterstützt keine Basistag

Question

Wenn es ein base Tag in HTML gibt, werden die relativen Links unterschiedlich gerendert. Wir erwarteten Link Extractors class in scrapy, um es automatisch zu behandeln. Aber das scheint nicht zu geschehen.

Was wäre der Standard-Scrapy-Weg, um dieses Problem zu lösen?

Answer 1

könnten Sie wahrscheinlich versuchen Sie Folgendes:

from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor 
from scrapy.utils.response import _baseurl_cache 
from w3lib import html 


def set_base_url(response, base_tag_search_length): 
    if response not in _baseurl_cache: 
     text = response.text[0:base_tag_search_length] 
     _baseurl_cache[response] = html.get_base_url(text, response.url, 
                response.encoding) 


class CustomLinkExtractor(LxmlLinkExtractor): 
    some_other_arbitrary_length = 4096*4 

    def extract_links(self, response): 
     set_base_url(response, self.some_other_arbitrary_length) 
     return super(CustomLinkExtractor, self).extract_links(response) 

Hinweis: ungetesteten Code