Scrping css-Werte mit Scrapy-Framework

Question

Gibt es eine Möglichkeit, css-Werte beim Scraping mit Python Scrapy Framework oder durch Verwendung von PHP Scraping Ausschuss. jede Hilfe wird empfohlen

Answer 1

scrapy.Selector ermöglicht es Ihnen, Xpath zu verwenden, um Eigenschaften von HTML-Elementen einschließlich CSS zu extrahieren.

z.B. https://github.com/okfde/odm-datenerfassung/blob/master/crawl/dirbot/spiders/data.py#L83

(schauen Sie sich um diesen Code zu, wie es passt in eine ganze scrapy Spinne)

Wenn Sie Web nicht kriechen und nur HTML-Analyse können Sie XPath direkt von lxml in Python verwenden. Ein weiteres Beispiel:

https://github.com/codeformunich/feinstaubbot/blob/master/feinstaubbot.py

schließlich bei der CSS von XPath zu bekommen nur ich weiß, wie es über CSS zu tun = element.attrib [ ‚Stil‘] - das gibt Ihnen alles, was innerhalb des style-Attributs der Du teilst weiter durch zB css.split (';') und dann jede davon mit ':'.

Es würde mich nicht überraschen, wenn jemand einen besseren Vorschlag hat. Ein wenig Wissen reicht aus, um viel zu kratzen, und so würde ich es basierend auf früheren Projekten angehen.

Answer 2

Ja, überprüfen Sie bitte die Dokumentation für selectors im Grunde haben Sie zwei Methoden response.xpath() für xpath und response.css() für css Selektoren. Zum Beispiel eines Titels Text erhalten Sie eine der folgenden tun könnten:

response.xpath('//title/text()').extract_first() 
response.css('title::text').extract_first()