nltk regulären Ausdruck tokenizer

Question

Ich habe versucht, einen regulären Ausdruck tokenizer mit nltk in Python zu implementieren, aber das Ergebnis ist folgendes:

>>> import nltk 
>>> text = 'That U.S.A. poster-print costs $12.40...' 
>>> pattern = r'''(?x) # set flag to allow verbose regexps 
...  ([A-Z]\.)+  # abbreviations, e.g. U.S.A. 
... | \w+(-\w+)*  # words with optional internal hyphens 
... | \$?\d+(\.\d+)?%? # currency and percentages, e.g. $12.40, 82% 
... | \.\.\.   # ellipsis 
... | [][.,;"'?():-_`] # these are separate tokens; includes ], [ 
... ''' 
>>> nltk.regexp_tokenize(text, pattern) 
[('', '', ''), ('', '', ''), ('', '-print', ''), ('', '', ''), ('', '', '')] 

Aber das gewünschte Ergebnis ist folgendes:

['That', 'U.S.A.', 'poster-print', 'costs', '$12.40', '...'] 

Warum? Wo ist der Fehler?

Answer 1

Sie sollten alle einfangenden Gruppen zu nicht-Capturing drehen:

• ([A-Z]\.)+>(?:[A-Z]\.)+
• \w+(-\w+)* ->\w+(?:-\w+)*
• \$?\d+(\.\d+)?%? zu \$?\d+(?:\.\d+)?%?

Das Problem ist, dass regexp_tokenize scheint Verwenden Sie re.findall, die ca Tupel-Listen, wenn mehrere Capture-Gruppen im Muster definiert sind. Siehe this nltk.tokenize package reference:

pattern (str) - Das Muster verwendet, um diesen tokenizer zu bauen. (muß Dieses Muster enthält keine Klammern erfassen; Verwenden nicht-einfangenden Klammern, zB (...), stattdessen?)

Auch ich bin nicht sicher, ob Sie verwenden :-_ wollten, dass ein Treffer Bereich einschließlich aller Großbuchstaben, setzen Sie die - an das Ende der Zeichenklasse.

So verwenden

pattern = r'''(?x)   # set flag to allow verbose regexps 
     (?:[A-Z]\.)+  # abbreviations, e.g. U.S.A. 
     | \w+(?:-\w+)*  # words with optional internal hyphens 
     | \$?\d+(?:\.\d+)?%? # currency and percentages, e.g. $12.40, 82% 
     | \.\.\.    # ellipsis 
     | [][.,;"'?():_`-] # these are separate tokens; includes ], [ 
    '''