Scrapy sanitize URL Links

Question

Ich versuche, Daten von einer Webseite zu erhalten, wo ich alle Ihre Links verfolgen. Das Web ist schlecht modelliert, die Links in bestimmten Teilen der Seiten enthalten Leerzeichen vor und nach dem Link, also folgt scrapy und Ihr Web-Server leitet 301 Schleifen um.

Ich habe versucht, die URL der Links zu filtern, aber es ist unmöglich, gibt immer leere Leerzeichen oder Symbol + zurück.

Teil Code

def cleanurl(link_text): 
    print "original: ", link_text 
    print "filter: ", link_text.strip("\s+\t\r\n '\"") 
    return link_text.strip("\s+\t\r\n '\"") 
    #return " ".join(link_text.strip("\t\r\n '\"")) 
    #return link_text.replace("\s", "").replace("\t","").replace("\r","").replace("\n","").replace("'","").replace("\"","") 

rules = (
    Rule (LinkExtractor(allow=(), deny=(), process_value= cleanurl)), 
) 

Web Code

<a href= 
          "        ?on_sale=1 
          " 
         class="selectBox">ON SALE 
        </a> 

Ausgabe cleanurl

original: http://www.portshop.com/computers-networking-c_11257/        ?on_sale=1 

filter: http://www.portshop.com/computers-networking-c_11257/        ?on_sale=1 

habe ich versucht, reguläre Ausdrücke und andere zu verwenden, aber ich kann die URL nicht sanieren, in In einigen Fällen, wenn es in anderen nicht funktioniert, ändern Sie% 20 (Leerzeichen) in +.

Danke!

Answer 1

Ich habe bereits gelöst, ich habe den folgenden Code eingegeben, um die URL zu säubern und jetzt funktioniert es richtig. Ich hoffe, du kannst jemandem helfen, der das gleiche Problem hat wie ich.

Danke allen!

Answer 2

Sie erwähnen "% 20" und "+" als Teil der URLs, deshalb vermute ich, dass diese URLs URL-codiert sind.

Also, bevor sie von irgendwelchen Whitespaces Strippen, Sie müssen es urldecode:

Python 3:

import urllib 

def cleanurl(link_text): 
    print "original: ", link_text 
    print "filter: ", link_text.strip("\s\t\r\n '\"") 
    link_text = urllib.parse.unquote(link_text) 
    return link_text.strip("\s+\t\r\n '\"") 

Wenn noch mit Python 2.7, können Sie die unquote Linie ersetzen müssen:

link_text = urllib.unquote(link_text)