Zurückgeben bestimmter URLs nur in scrapy

Question

Ich benutze Scrapy, um URLs von einer Website zu entfernen. Im Moment gibt es alle URLs zurück, aber ich möchte nur URLs zurückgeben, die das Wort "Download" enthalten. Wie kann ich das machen?

from scrapy.selector import HtmlXPathSelector 
from scrapy.spider import BaseSpider 
from scrapy.http import Request 
import scrapy 

DOMAIN = 'somedomain.com' 
URL = 'http://' +str(DOMAIN) 

class MySpider(scrapy.Spider): 
    name = DOMAIN 
    allowed_domains = [DOMAIN] 
    start_urls = [ 
     URL 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     for url in hxs.select('//a/@href').extract(): 
      if not (url.startswith('http://') or url.startswith('https://')): 
       url= URL + url 
      print url 
      yield Request(url, callback=self.parse) 

EDIT:

I implementiert die folgenden Vorschläge. Es gibt immer noch einige Fehler, aber zumindest gibt dies nur die Links zurück, die den Download enthalten.

from scrapy.selector import HtmlXPathSelector 
from scrapy.spider import BaseSpider 
from scrapy.http import Request 
import scrapy 
from scrapy.linkextractors import LinkExtractor 


DOMAIN = 'somedomain.com' 
URL = 'http://' +str(DOMAIN) 

class MySpider(scrapy.Spider): 
    name = DOMAIN 
    allowed_domains = [DOMAIN] 
    start_urls = [ 
     URL 
    ] 

# First parse returns all the links of the website and feeds them to parse2 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     for url in hxs.select('//a/@href').extract(): 
      if not (url.startswith('http://') or url.startswith('https://')): 
       url= URL + url 
      yield Request(url, callback=self.parse2) 

# Second parse selects only the links that contains download 

    def parse2(self, response): 
     le = LinkExtractor(allow=("download")) 
     for link in le.extract_links(response): 
       yield Request(url=link.url, callback=self.parse2) 
       print link.url 

Answer 1

eine pythonic und saubere Lösung wäre LinkExtractor zu verwenden:

from scrapy.linkextractors import LinkExtractor 

... 

le = LinkExtractor(deny="download") 
for link in le.extract_links(response): 
    yield Request(url=link.url, callback=self.parse) 

Answer 2

Sie versuchen zu überprüfen, ob eine Teilzeichenfolge in einer Zeichenfolge vorhanden ist.

Beispiel:

string = 'this is a simple string' 

'simple' in string 
True 

'zimple' in string 
False 

---

So haben Sie gerade wie eine if Anweisung hinzuzufügen:

if 'download' in url:

Nach der Zeile:

for url in hxs.select('//a/@href').extract():

d.h .:

for url in hxs.select('//a/@href').extract(): 
    if 'download' in url: 
     if not (url.startswith('http://') or url.startswith('https://')): 
      url = URL + url 
     print url 
     yield Request(url, callback=self.parse) 

So wird der Code nur überprüfen, ob Verbindung mit http:// beginnt, wenn die Bedingung 'download' in url kehrt True.