XPATH funktioniert in Chrome, aber nicht in Scrapy

Question

Ich habe versucht, diese Seite zu kratzen:

https://www.cimbbank.com.sg/en/personal/support/help-and-support/rates-and-charges.html

print response.xpath('//tr') 

Aber es ist seltsam, die XPath funktioniert nur auf Chrome Dev-Tools, aber nicht auf Scrapy. Ich überprüfte den geschabten HTML über response.body, und das HTML ist normal.

Answer 1

Die Antwort gefunden. Es stellt sich heraus, dass der HTML-Code nicht korrekt ist und Scrapy selbst nicht reparieren kann. Daher benötigt er die Hilfe von Beautiful Soup. Ich mache es so:

from scrapy.selector import Selector 

from bs4 import BeautifulSoup 

fixed_html = str(BeautifulSoup(response.body, "lxml")) 

print Selector(text=fixed_html).xpath('//*')