Wie fügen Sie dem Tagger in NLTK zusammengesetzte Wörter hinzu?

Question

Also, ich fragte mich, ob jemand eine Idee hatte, wie mehrere Begriffe zu einem einzigen Begriff in den Taggern in NLTK. zu kombinieren.

Zum Beispiel, wenn ich das tue:

nltk.pos_tag(nltk.word_tokenize('Apple Incorporated is the largest company')) 

Es gibt mir:

[('Apple', 'NNP'), ('Incorporated', 'NNP'), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), ('company', 'NN')] 

Wie mache ich es ausdrückte 'von Apple' und 'Incorporated' Gemeinsam ('Apple Incorporated','NNP')

Answer 1

zu sein Sie können versuchen, einen Blick auf nltk.RegexParser zu werfen. Es ermöglicht Ihnen, einen Teil des mit Sprache markierten Inhalts basierend auf regulären Ausdrücken zu teilen. In Ihrem Beispiel Sie

so etwas wie

pattern = "NP:{<NN|NNP|NNS|NNPS>+}" 
c = nltk.RegexpParser(p) 
t = c.parse(nltk.pos_tag(nltk.word_tokenize("Apple Incorporated is the largest company"))) 
print t 

tun könnte Dies würde Ihnen:

Tree('S', [Tree('NP', [('Apple', 'NNP'), ('Incorporated', 'NNP')]), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), Tree('NP', [('company', 'NN')])]) 

Answer 2

Der Code genau das tut, was es tun soll. Es fügt den Token Teil der Sprache Tags hinzu. "Apple Incorporated" ist kein einzelnes Token. Es handelt sich um zwei separate Tokens, auf die kein POS-Tag angewendet werden kann. Das ist das richtige Verhalten.

Ich frage mich, ob Sie versuchen, das falsche Werkzeug für den Job zu verwenden. Was versuchst du zu tun/Warum versuchst du es zu tun? Vielleicht sind Sie daran interessiert, Kollokationen statt POS-Tags zu identifizieren? Sie können hier einen Blick werfen: collocations module