Interpunktion von Unicode formatierte Strings

Question

Ich habe eine Funktion, die Zeichensetzung aus einer Liste von Strings entfernt:

def strip_punctuation(input): 
    x = 0 
    for word in input: 
     input[x] = re.sub(r'[^A-Za-z0-9 ]', "", input[x]) 
     x += 1 
    return input 

ich meinen Skript vor kurzem Unicode geändert zum Einsatz von Strings, so konnte ich andere nicht-westliche Zeichen verarbeiten. Diese Funktion bricht, wenn sie auf diese Sonderzeichen trifft, und gibt nur leere Unicode-Zeichenfolgen zurück. Wie kann ich Interpunktion von Unicode-formatierten Zeichenfolgen zuverlässig entfernen?

Answer 1

Sie unicode.translate() Methode verwenden:

import unicodedata 
import sys 

tbl = dict.fromkeys(i for i in xrange(sys.maxunicode) 
         if unicodedata.category(unichr(i)).startswith('P')) 
def remove_punctuation(text): 
    return text.translate(tbl) 

Sie auch r'\p{P}' verwenden könnte, die von unterstützt wird regex module:

import regex as re 

def remove_punctuation(text): 
    return re.sub(ur"\p{P}+", "", text) 

Answer 2

Sie können die Zeichenfolge mithilfe der -Funktion mithilfe der unicodedata-Funktion durchlaufen, um festzustellen, ob das Zeichen Interpunktion ist.

Für mögliche Ausgänge von category finden unicode.org des doc auf General Category Values

import unicodedata.category as cat 
def strip_punctuation(word): 
    return "".join(char for char in word if cat(char).startswith('P')) 
filtered = [strip_punctuation(word) for word in input] 

---

Darüber hinaus stellen Sie sicher, dass Sie richtig Kodierungen und Arten der Handhabung. Diese Präsentation ist ein guter Anfang: http://bit.ly/unipain

Answer 3

Etwas kürzere Version basiert auf Daenyth answer

import unicodedata 

def strip_punctuation(text): 
    """ 
    >>> strip_punctuation(u'something') 
    u'something' 

    >>> strip_punctuation(u'something.,:else really') 
    u'somethingelse really' 
    """ 
    punctutation_cats = set(['Pc', 'Pd', 'Ps', 'Pe', 'Pi', 'Pf', 'Po']) 
    return ''.join(x for x in text 
        if unicodedata.category(x) not in punctutation_cats) 

input_data = [u'somehting', u'something, else', u'nothing.'] 
without_punctuation = map(strip_punctuation, input_data) 

Answer 4

Wenn Sie JF Sebastian-Lösung in Python 3 verwenden mögen:

import unicodedata 
import sys 

tbl = dict.fromkeys(i for i in range(sys.maxunicode) 
         if unicodedata.category(chr(i)).startswith('P')) 
def remove_punctuation(text): 
    return text.translate(tbl) 

Answer 5

Eine einfache und besser lesbar Lösung wäre:

import string 
punctuations_to_remove = string.punctuation 

# replace any punctuations here with empty '' if you want to keep any punctuations 
# eg. punctuations_to_remove = punctuations_to_remove.replace(".", "") 

unicode_string_without_punctuations = unicode_string_with_punctuations.translate({ord(char): None for char in punctuations_to_remove}) 

Getestet auf Python 2