Wie kann man den spezifischen TF-IDF-Wert eines Wortes erkennen?

Question

Wie kann ich den Wert eines bestimmten Wortes mithilfe der TfidfVectorizer-Funktion ermitteln? Zum Beispiel ist mein Code:

docs = [] 
docs.append("this is sentence number one") 
docs.append("this is sentence number two") 
vectorizer = TfidfVectorizer(norm='l2',min_df=0, use_idf=True, smooth_idf=True, stop_words='english', sublinear_tf=True) 
sklearn_representation = vectorizer.fit_transform(docs) 

Nun, wie kann ich den TF-IDF-Wert von "Satz" kenne den Satz 2 (docs [1])?

Answer 1

Sie müssen das vectorizervocabulary_ Attribut verwenden, das eine Zuordnung von Begriffen zu Feature-Indizes ist.

>>> from sklearn.feature_extraction.text import TfidfVectorizer 
>>> docs = [] 
>>> docs.append("this is sentence number one") 
>>> docs.append("this is sentence number two") 
>>> vectorizer = TfidfVectorizer(norm='l2',min_df=0, use_idf=True, smooth_idf=True, stop_words='english', sublinear_tf=True) 
>>> x = vectorizer.fit_transform(docs) 
>>> x.todense() 
matrix([[ 0.70710678, 0.70710678], 
     [ 0.70710678, 0.70710678]]) 
>>> vectorizer.vocabulary_['sentence'] 
1 
>>> c = vectorizer.vocabulary_['sentence'] 
>>> x[:,c] 
<2x1 sparse matrix of type '<class 'numpy.float64'>' 
    with 2 stored elements in Compressed Sparse Row format> 
>>> x[:,c].todense() 
matrix([[ 0.70710678], 
     [ 0.70710678]])