Unicode-Zeichen-Modifizierer entfernen

Question

Was ist der einfachste Weg, die Zeichenmodifikatoren von einer Unicode-Zeichenfolge in Python zu entfernen?

Zum Beispiel:

arthur Arthur

werden soll ich versucht, die Dokumentation, aber ich konnte nichts finden, dass dies der Fall ist.

Answer 1

Versuchen Sie, diese

import unicodedata 
a = u"STRING GOES HERE" # using an actual string would break stackoverflow's code formatting. 
u"".join(x for x in a if not unicodedata.category(x).startswith("M")) 

Diese alle Zeichen entfernen wird als Zeichen klassifiziert, das ist, was ich glaube, Sie wollen. Im Allgemeinen können Sie die Kategorie eines Charakters mit unicodedata.category erhalten.

Answer 2

könnten Sie auch r'\p{M}' verwenden, die von regex module unterstützt:

import regex 

def remove_marks(text): 
    return regex.sub(ur"\p{M}+", "", text) 

Beispiel:

>>> print s 
A͋͠r͍̞̫̜t̼̭͞h́u̡̙̞̘rͬͣ̐ͮ 
>>> def remove_marks(text): 
...  return regex.sub(ur"\p{M}+", "", text) 
...  
... 
>>> print remove_marks(s) 
Arthur 

auf Ihrem Anwendungsfall Je ein Whitelist-Ansatz besser zB sein könnte, die Eingabe nur zu begrenzen, zu folgenden Zeichen:

>>> s.encode('ascii', 'ignore').decode('ascii') 
u'Arthur' 

Das Ergebnis hängt möglicherweise von der Unicode-Normalisierung ab, die im Text verwendet wird.