Bestimmen, ob ein Wort ein Nomen ist oder nicht

Question

Gegeben ein Eingabewort, ich möchte feststellen, ob es ein Nomen ist oder nicht (im Falle der Mehrdeutigkeit, zum Beispiel cook kann ein Substantiv oder ein Verb sein, das Wort muss identifiziert werden als ein Nomen).

Eigentlich verwende ich den POS-Tagger aus dem Stanford-Parser (ich gebe es ein einzelnes Wort als Eingabe, und ich extrahiere nur das POS-Tag aus dem Ergebnis). Die Ergebnisse sind ziemlich gut, aber es dauert sehr lange.

Gibt es einen Weg (in Python, bitte :), um diese Aufgabe schneller als das, was ich eigentlich tue?

Answer 1

Wenn Sie nur überprüfen möchten, ob ein einzelnes Wort als Substantiv verwendet werden kann, besteht der schnellste Weg darin, eine Menge aller Substantive zu erstellen und dann das Wort auf Mitgliedschaft in dieser Gruppe zu überprüfen.

Eine Liste aller Substantive Sie die WordNet corpus verwenden könnte (die durch NLTK beispielsweise zugegriffen werden kann):

>>> from nltk.corpus import wordnet as wn 
>>> nouns = {x.name().split('.', 1)[0] for x in wn.all_synsets('n')} 
>>> "cook" in nouns 
True 
>>> "and" in nouns 
False 

Answer 2

ich nicht für die Python-Wrapper sprechen kann, aber wenn man die Stanford verwenden POS tagger eher als der Parser sollte es viel schneller sein. Es gibt Wrapper für Stanford CoreNLP, die den Tagger enthalten: https://pypi.python.org/pypi/corenlp-python; oder, es sieht aus wie nltk hat ein Stanford-Tagger-Modul zu http://www.nltk.org/_modules/nltk/tag/stanford.html.

Sie können auch bessere Ergebnisse erzielen, wenn Sie das einzelne Wort in einen Spielzeugsatz einbetten. Etwas wie "Das X ist eine Sache." Je nach Satz kann dies Sie dazu verleiten, Wörter auch als Substantive zu erraten.

Answer 3

Ich würde die Verwendung von Wordnet Sekunde, wenn Sie einzelne Wörter überprüfen. Ich habe auch den frei verfügbaren TreeTagger verwendet: http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/ Die Binärdatei läuft sehr schnell und unterstützt mehrere Sprachen. Wenn Sie eine reine Pythonic-Lösung benötigen, überprüfen Sie die NLTK-Implementierung des Brill Tagger: http://www.nltk.org/_modules/nltk/tag/brill.html