Python-Regex entspricht Unicode-Eigenschaften

Question

Perl und einige andere aktuelle Regex-Engines unterstützen Unicode-Eigenschaften wie die Kategorie in einer Regex. Z.B. In Perl können Sie \p{Ll} verwenden, um einen beliebigen Kleinbuchstaben zu finden, oder p{Zs} für jedes Leerzeichen. Ich sehe keine Unterstützung dafür in den 2.x- oder 3.x-Zeilen von Python (mit Bedauern). Kennt jemand eine gute Strategie, um einen ähnlichen Effekt zu erzielen? Selbstgewählte Lösungen sind willkommen.

Answer 1

Haben Sie versucht Ponyguruma, eine Python-Bindung an die Oniguruma Engine für reguläre Ausdrücke? In dieser Engine können Sie einfach \p{Armenian} sagen, um armenischen Zeichen zu entsprechen. \p{Ll} oder \p{Zs} funktionieren auch.

Answer 2

Sie haben Recht, dass Unicode-Eigenschaftsklassen vom Python-Regex-Parser nicht unterstützt werden.

Wenn Sie einen netten Hack machen wollten, wäre das in der Regel nützlich, könnten Sie einen Präprozessor erstellen, der eine Zeichenfolge für solche Klassen-Token (\p{M} oder was auch immer) scannt und sie durch die entsprechenden Zeichensätze ersetzt Beispiel: \p{M} würde [\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F] werden und \P{M} würde [^\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F] werden.

Menschen würden Ihnen danken. :)

Answer 3

Beachten Sie, dass \p{Ll} keine Entsprechung in regulären Python-Ausdrücken hat, \p{Zs} sollte von '(?u)\s' abgedeckt werden. Die (?u), wie die Dokumentation sagt, "machen \ w, \ W, \ b, \ B, \ d, \ D, \ s und \ S abhängig von der Unicode-Eigenschaft Eigenschaften-Datenbank." Und \s bedeutet jedes Leerzeichen.

Answer 4

Sie können sorgfältig auf jedes Zeichen verwenden unicodedata:

import unicodedata 

def strip_accents(x): 
    return u''.join(c for c in unicodedata.normalize('NFD', x) if unicodedata.category(c) != 'Mn') 

Answer 5

Das regex Modul (eine Alternative zu dem Standard-Modul re) unterstützt Unicode-Codepoint-Eigenschaften mit der \p{} Syntax.

Answer 6

von homegrown Lösungen Sprechen, vor einiger Zeit schrieb ich eine kleine program, genau das zu tun - eine Unicode-Kategorie wie \p{...} in einem Bereich von Werten, aus dem Unicode-specification (v.5.0.0) extrahiert geschrieben konvertieren. Es werden nur Kategorien unterstützt (z. B. L, Zs) und sind auf den BMP beschränkt. Ich poste es hier für den Fall, dass jemand es nützlich findet (obwohl das Oniguruma wirklich eine bessere Option scheint).

Beispiel Nutzung:

>>> from unicode_hack import regex 
>>> pattern = regex(r'^\\p{Lu}(\\p{L}|\\p{N}|_)*') 
>>> print pattern.match(u'疂_1+2').group(0) 
疂_1 
>>> 

Hier ist die source. Es gibt auch eine JavaScript version, die die gleichen Daten verwendet.