Konvertieren von HTML-Entitäten zu ASCII in Python

Question

Ich muss jede HTML-Entität in seine ASCII-Entsprechung mit Python konvertieren. Mein Anwendungsfall ist, dass ich etwas HTML bereinige, das zum Erstellen von E-Mails verwendet wird, um Klartext-E-Mails aus dem HTML zu erstellen.

Im Moment kann ich wirklich nur Unicode von diesen Entitäten erstellen, wenn ich ASCII brauche (denke ich), damit die Klartext-E-Mail korrekt mit Dingen wie Akzentbuchstaben liest. Ich denke, ein grundlegendes Beispiel ist die HTML-Entität "& aacute;" oder á wird in ASCII codiert.

Darüber hinaus bin ich nicht einmal 100% sicher, dass ASCII ist, was ich für eine Klartext-E-Mail brauche. Wie Sie sehen können, bin ich bei diesem Coding-Zeug völlig verloren.

Answer 1

ASCII ist der amerikanische Standard-Code für den Informationsaustausch und enthält nicht einschließlich akzentuierte Buchstaben. Am besten ist es, Unicode zu bekommen (wie du sagst) und es als UTF-8 zu kodieren (vielleicht ISO-8859-1 oder irgendeine seltsame Codepage, wenn du mit schlecht codierten User-Agents/Clients arbeitest, Seufzer) - - Der Content-Type-Header dieses Teils zusammen mit text/plain kann ausdrücken, welche Kodierung Sie verwenden möchten (Ich empfehle UTF-8 auszuprobieren, es sei denn, Sie haben positiv gezeigt, dass es nicht funktioniert - es ist fast universell unterstützt in diesen Tagen und VIEL flexibler als jeder ISO-8859 oder "Codepage" Hack!).

Answer 2

Sie können das htmlentitydefs Paket:

import htmlentitydefs 
print htmlentitydefs.entitydefs['aacute'] 

Grundsätzlich entitydefs ist nur ein Wörterbuch, und Sie können sehen, indem sie bei der Python-Prompts:

from pprint import pprint 
pprint htmlentitydefs.entitydefs 

Answer 3

Dies ist die komplette Implementierung, die auch Unicode-HTML-Entitäten behandelt. Vielleicht finden Sie es nützlich.

Es gibt eine Unicode-Zeichenfolge zurück, die nicht ascii ist, aber wenn Sie plain ascii möchten, können Sie die Ersetzungsoperationen so ändern, dass die Entitäten durch eine leere Zeichenfolge ersetzt werden.

def convert_html_entities(s): 
    matches = re.findall("&#\d+;", s) 
    if len(matches) > 0: 
     hits = set(matches) 
     for hit in hits: 
      name = hit[2:-1] 
      try: 
       entnum = int(name) 
       s = s.replace(hit, unichr(entnum)) 
      except ValueError: 
       pass 

    matches = re.findall("&#[xX][0-9a-fA-F]+;", s) 
    if len(matches) > 0: 
     hits = set(matches) 
     for hit in hits: 
      hex = hit[3:-1] 
      try: 
       entnum = int(hex, 16) 
       s = s.replace(hit, unichr(entnum)) 
      except ValueError: 
       pass 

    matches = re.findall("&\w+;", s) 
    hits = set(matches) 
    amp = "&" 
    if amp in hits: 
     hits.remove(amp) 
    for hit in hits: 
     name = hit[1:-1] 
     if htmlentitydefs.name2codepoint.has_key(name): 
      s = s.replace(hit, unichr(htmlentitydefs.name2codepoint[name])) 
    s = s.replace(amp, "&") 
    return s 

Edit: hinzugefügt passend für Hexcodes. Ich benutze das schon seit einer Weile und lief in meine erste Situation mit ', die ein einfaches Zitat/Apostroph ist.

Answer 4

Wir haben ein kleines Modul mit agazso die Funktion auf:

http://github.com/ARTFL/util/blob/master/ents.py

Wir agazso die Funktion schneller als die Alternativen für ent Umwandlung finden. Danke für das Posten.