Get xpath(), um leere Werte zurück

Question

ich eine Situation, wo ich eine Menge <b> Tags haben:

<b>12</b> 
<b>13</b> 
<b>14</b> 
<b></b> 
<b>121</b> 

Wie Sie sehen können, der zweite letzte Tag ist leer. Als ich nennen:

sel.xpath('b/text()').extract() 

Was mich gibt:

['12', '13', '14', '121'] 

ich haben möchte:

['12', '13', '14', '', '121'] 

Gibt es einen Weg, um den leeren Wert zu bekommen?

---

Meine aktuelle Arbeit ist um zu nennen:

sel.xpath('b').extract() 

Und dann durch die einzelnen HTML-Analyse selbst markieren (die leeren Tags hier, sind das, was ich will).

Answer 1

Hier ist es in Ordnung, die Tags manuell zu entfernen und den Text zu erhalten. Sie können remove_tags() Funktion von w3lib bereitgestellt verwenden:

>>> from w3lib.html import remove_tags 
>>> map(remove_tags, sel.xpath('//b').extract()) 
[u'12', u'13', u'14', u'', u'121'] 

Beachten Sie, dass w3lib ein Scrapy dependency ist und verwendet wird, intern. Keine Notwendigkeit, es separat zu installieren.

Auch hier wäre es besser, Scrapy Input and Output Processors hier zu verwenden. Verwenden Sie weiterhin sel.xpath('b') und definieren Sie einen Eingangsprozessor. Zum Beispiel können Sie es für bestimmte Field s für die Item Klasse definieren:

from scrapy.contrib.loader.processor import MapCompose 
from scrapy.item import Item, Field 
from w3lib.html import remove_tags 

class MyItem(Item): 
    my_field = Field(input_processor=MapCompose(remove_tags))