python [lxml] - reinigung html tags

Question

from lxml.html.clean import clean_html, Cleaner 
    def clean(text): 
     try:   
      cleaner = Cleaner(scripts=True, embedded=True, meta=True, page_structure=True, links=True, style=True, 
         remove_tags = ['a', 'li', 'td']) 
      print (len(cleaner.clean_html(text))- len(text)) 
      return cleaner.clean_html(text) 
     except: 
      print 'Error in clean_html' 
      print sys.exc_info() 
      return text 

Ich habe den obigen (hässlichen) Code als meine ersten Streifzüge in Python Land. Ich versuche, LXML-Reiniger zu verwenden, um ein paar HTML-Seiten zu säubern, so am Ende bin ich nur mit dem Text und nichts anderes übrig - aber versuchen Sie, wie ich könnte, das obige scheint nicht so zu funktionieren, ich bin noch links mit einer substial Menge von Markup (und es funktioniert nicht gebrochen html zu sein scheint), und insbesondere Verbindungen, die nicht entfernt zu werden, trotz des args ich verwende in remove_tags und links=True

eine Ahnung, was los ist, vielleicht Ich bellte den falschen Baum mit lxml? Ich dachte, das war der Weg, mit HTML-Parsing in Python zu gehen?

Answer 1

Ich denke, Sie sollten Beautiful Soup überprüfen. Verwenden Sie den Rat von this article und isolieren Sie die HTML-Elemente auf folgende Weise:

from BeautifulSoup import BeautifulSoup 

''.join(BeautifulSoup(page).findAll(text=True)) 

Wo page Ihre HTML-String ist.

Sollten Sie weitere Erläuterungen benötigen, können Sie die Fallstudie zu Dive in Python unter HTML parsing lesen.

Answer 2

nicht sicher, ob diese Methode um die Zeit existierte Sie Ihre Frage gestellt, aber wenn man

durch

document = lxml.html.document_fromstring(html_text) 
raw_text = document.text_content() 

Das sollten Sie alle Textinhalt im HTML-Dokument zurückzukehren, minus all das Markup.

Answer 3

Lösung von David verkettet den Text ohne Trennzeichen:

import lxml.html 
    document = lxml.html.document_fromstring(html_string) 
    # internally does: etree.XPath("string()")(document) 
    print document.text_content() 

aber dieses hat mir geholfen - Verkettung der Art, wie ich brauchte:

from lxml import etree 
    print "\n".join(etree.XPath("//text()")(document))