So erhalten Sie den vollständigen Linktext mit Scrapy

Question

Ich habe Scrapy verwenden, um Daten von der Webseite zu erhalten. Und ich stieß auf ein Problem wie unten.

<li> 
<a href="NEW-IMAGE?type=GENE&amp;object=EG10567"> 
<b> 
man 
</b> 
X - 
<i> 
Escherichia coli 
</i> 
</a> 
<br> 
</li> 

In Webseite, sieht der Datensatz Namen wie folgt aus:

ich den Inhalt erhalten möchten (zB: Mann X-Escherichia coli) im <a> Tag und wollen nicht Erhalte andere Tags. Und hier ist mein Code:

def parse(self, response): 
    sel = Selector(response) 
    sites = sel.xpath('//ul/li/a[contains(@href,"NEW-IMAGE")]') 
    base_url = "http://www.metacyc.org/META" 
for site in sites: 
    item = MetaCyc() 
    name_tmp = map(unicode.strip, site.xpath('text()').extract()) 
    item['Name'] = unicode(name_tmp).encode('utf-8') 
    item['Link'] = map(unicode.strip, site.xpath('@href').extract()) 
    yield item 

ich versucht habe, die Unicode zu utf-8, zu konvertieren, aber die Ergebnisse sieht immer noch wie folgt aus:

{"Link": ["NEW-IMAGE?type=GENE&object=EG10567"], "Name": "[u'X -']"} 

Manchmal wird es einige Zeichen haben fehlt in den Aufzeichnungen. Also ich möchte wissen, wie man die vollständigen und korrekten Formatdaten vom HTML-Code erhält.

Answer 1

Ich schlage vor, Sie verwenden XPath's normalize-space()

Die normalize-space-Funktion das Argument Zeichenfolge mit Leerzeichen durch Strippen führende und nachfolgende Leerzeichen normalisiert zurückgibt und Sequenzen von Leerzeichen durch ein Leerzeichen ersetzt werden. Whitespace-Zeichen entsprechen denen, die von der S-Produktion in XML zugelassen werden. Wenn das Argument nicht angegeben wird, wird standardmäßig der Context-Knoten in eine Zeichenfolge konvertiert, dh der String-Wert des Context-Knotens.

>>> html = """<li> 
... <a href="NEW-IMAGE?type=GENE&amp;object=EG10567"> 
... <b> 
... man 
... </b> 
... X - 
... <i> 
... Escherichia coli 
... </i> 
... </a> 
... <br> 
... </li>""" 
>>> import scrapy 
>>> selector = scrapy.Selector(text=html) 

>>> 
>>> links = selector.xpath('//li/a[contains(@href,"NEW-IMAGE")]') 
>>> for link in links: 
...  item = {} 
...  item['Name'] = link.xpath('normalize-space(.)').extract_first() 
...  item['Link'] = link.xpath('@href').extract_first() 
...  print(item) 
... 
{'Link': u'NEW-IMAGE?type=GENE&object=EG10567', 'Name': u'man X - Escherichia coli'} 
>>> 

Answer 2

Wenn Sie Text von a Tag bekommen und seine Kinder Sie diese //text() statt text()

Versuchen Sie verwenden müssen:

name_tmp = map(unicode.strip, site.xpath('//text()').extract()) 

Sie ein anderes Modul verwenden können html2text nur Text eines bekommen bestimmtes Tag.

import html2text 
htmlconverter = html2text.HTML2Text() 
print htmlconverter.handle(''.join(name_tmp)) 

Answer 3

Ich möchte den Inhalt bekommen (z .: Mann X-Escherichia coli) im <a> Tag und wollen nicht andere Tags erhalten.

Teil des Problems ist, dass der Text nicht alle im <a> Tag enthalten ist. Einige davon sind im <i> Tag unter dem <a> Tag verschachtelt. Um den vollständigen Link-Text als String zu erhalten:

item_name = " ".join([word.strip() for word in sel.xpath('//li/a[contains(@href,"NEW-IMAGE")]//text()').extract() if len(word.strip())]) 
# => item_name = 'man X - Escherichia coli' 

Die //a//text() Mittel rekursiv greifen den gesamten Text unter allen <a>-Tags und ihre Kinder im Dokument.Ihre sel.xpath('//ul/li/a[contains(@href,"NEW-IMAGE")]/text()').extract() bekommen würde "Some Text"

<a href="../">Some text</a> 

Aber würde weglassen "Und einige mehr hier" innerhalb der <b> tags:

<a href="../">Some text<b>And some more here</b></a>