NLTK Wordnet Synset für Wortgruppe

Question

Ich arbeite mit der Python NLTK Wordnet API. Ich versuche das beste Synset zu finden, das eine Gruppe von Wörtern repräsentiert.

Wenn ich das beste Synset für etwas wie "Schule & Bürobedarf" finden muss, bin ich mir nicht sicher, wie man das macht. Bisher habe ich versucht, die Synsets für die einzelnen Worte zu finden und dann die Berechnung der besten kleinsten gemeinsamen hypernym wie folgt aus:

def find_best_synset(category_name): 
    text = word_tokenize(category_name) 
    tags = pos_tag(text) 

    node_synsets = [] 
    for word, tag in tags: 
     pos = get_wordnet_pos(tag) 
     if not pos: 
      continue 
     node_synsets.append(wordnet.synsets(word, pos=pos)) 

    max_score = 0 
    max_synset = None 
    max_combination = None 
    for combination in itertools.product(*node_synsets): 
     for test in itertools.combinations(combination, 2): 
      score = wordnet.path_similarity(test[0], test[1]) 
      if score > max_score: 
       max_score = score 
       max_combination = test 
       max_synset = test[0].lowest_common_hypernyms(test[1]) 
    return max_synset 

Dies gilt jedoch nicht sehr gut funktionieren und es ist sehr teuer. Gibt es Möglichkeiten, herauszufinden, welches Synset mehrere Wörter am besten repräsentiert?

Danke für Ihre Hilfe!

Answer 1

Abgesehen von dem, was ich bereits in den Kommentaren gesagt habe, denke ich, dass die Art, wie Sie das beste Hyperonym auswählen, fehlerhaft sein könnte. Das Synset, mit dem Sie enden, ist nicht das niedrigste allgemeine Hyperonym von allen Wörtern, sondern nur das von zweien von ihnen.

Lassen Sie uns bei Ihrem Beispiel von "Schule & Bürobedarf" bleiben. Für jedes Wort im Ausdruck erhalten Sie eine Anzahl von Synsets. So wird die Variable node_synsets in etwa wie folgt aussehen:

[[school_1, school_2], [office_1, office_2, office_3], [supply_1]] 

In diesem Beispiel gibt es sechs Möglichkeiten, um jedes Synset mit einem der anderen zu kombinieren:

[(school_1, office_1, supply_1), 
(school_1, office_2, supply_1), 
(school_1, office_3, supply_1), 
(school_2, office_1, supply_1), 
(school_2, office_2, supply_1), 
(school_2, office_3, supply_1)] 

Diese Tripel sind, was Sie iterieren in der äußeren for Schleife (mit itertools.product). Wenn der Ausdruck 4 Wörter hat, würden Sie über Quadrupel iterieren, mit 5 ist es Fünffach usw.

Jetzt, mit der inneren for Schleife, paaren Sie jedes Triple ab. Die erste ist:

[(school_1, office_1), 
(school_1, supply_1), 
(office_1, supply_1)] 

... und Sie bestimmen den niedrigsten Hyperonym unter jedem Paar. So erhalten Sie am Ende den niedrigsten Hyperonym von, sagen wir, school_2 und office_1, die eine Art Institution sein könnte. Dies ist wahrscheinlich nicht sehr sinnvoll, da es kein Synset des letzten Wortes berücksichtigt.

Vielleicht sollten Sie versuchen, den niedrigsten gemeinsamen Hyperonym von alle drei Wörter in jeder Kombination ihrer Synsets zu finden, und nehmen Sie die eine Bewertung am besten unter ihnen.