Scrapy, Parsen E-Mail an mehreren Standorten

Question

Ich habe eine Frage zum Parsen von E-Mail in verschiedenen Websites durch Scrapy.
Ich habe solche Spinne:

from scrapy.contrib.spiders import CrawlSpider 

from sufio.items import MItem 


class MSpider(CrawlSpider): 
    name = 'mparser' 
    start_urls = [ 
     'https://horizonsupply.myshopify.com/pages/about-us', 
     'https://fnatic-shop.myshopify.com/pages/about-us', 
     'https://horizonsupply.myshopify.com/pages/about-us', 
     'https://fnatic-shop.myshopify.com/pages/about-us' 

    ] 
    def parse(self, response): 
     item = MItem() 
     item['facebook'] = response.xpath('//a[contains(@href, "facebook")]/@href').extract_first() 
     item['twitter'] = response.xpath('//a[contains(@href, "twitter")]/@href').extract_first() 
#  item['email'] = 
     yield item 

Ich brauche jeden Link zu folgen und überprüfen, ob E-Mail ist. Kann man mit scrapy arbeiten?

Answer 1

ich so etwas wie folgt verwenden:

mails = response.xpath('//a[contains(@href, "mailto:")]/@href').extract() 
    mails += response.xpath('//*[not(self::script or self::style)]/text()[normalize-space(.)][contains(.,"@")] | ' 
          '//a[contains(./@href,"@")]/@href').extract() 
    for a in response.xpath('//a[contains(text(),"@")]'): 
     ma = ''.join(a.xpath('./text()').extract()) 
     mails.append(ma) 

Aber nach diesem, i für zusätzliche Funktion entfernen doppelte und ungültige Zeilen.