Python Word-Frequenzen mit vordefinierten Wörtern

Question

Ich habe eine Reihe von Daten in einer Textdatei und ich möchte eine Häufigkeitstabelle basierend auf vordefinierten Wörtern (Laufwerk, Straße, ich, Leben) erstellen. unten ist das Beispiel

ID | Text 
---|-------------------------------------------------------------------- 
1 | i drive to work everyday in the morning and i drive back in the evening on main street 
2 | i drive back in a car and then drive to the gym on 5th street 
3 | Joe lives in Newyork on NY street 
4 | Tod lives in Jersey city on NJ street 

Hier ist, was ich, ich möchte als Ausgabe erhalten

ID | drive | street | i | lives 
----|--------|----------|------|------- 
1 | 2 | 1  | 2 | 0 
2 | 2 | 1  | 1 | 0 
3 | 0 | 1  | 0 | 1 
4 | 0 | 1  | 0 | 1 

Hier ist mein Code, ich verwende und i die Anzahl der Wörter zu finden, aber das löst nicht die Notwendigkeit für mich, und ich würde eine Reihe von vordefinierten Wörter verwenden, wie die Zählungen zu finden, wie oben

from nltk.corpus import stopwords 
    import string 
    from collections import Counter 
    import nltk 
    from nltk.tag import pos_tag 

    xy = open('C:\Python\data\file.txt').read().split() 
    q = (w.lower() for w in xy) 

    stopset = set(stopwords.words('english')) 

    filtered_words = [word for word in xyz if not word in stopset] 
    filtered_words = [] 
    for word in xyz: 
     if word not in stopset: 
     filtered_words.append(word) 
    print(Counter(filtered_words)) 
    print(len(filtered_words)) 

Answer 1

so etwas wie sklearn.feature_extraction.text.CountVectorizer gezeigt scheint nahe zu sein, was Sie suchen. Auch collections.Counter könnte hilfreich sein. Wie planen Sie diese Datenstruktur zu verwenden? Wenn Sie versuchen, maschinelles Lernen/Vorhersage zufällig zu machen, dann lohnt es sich, in die verschiedenen Vectorizer in sklearn.feature_extraction.text zu schauen.

Edit:

text = ['i drive to work everyday in the morning and i drive back in the evening on main street', 
     'i drive back in a car and then drive to the gym on 5th street', 
     'Joe lives in Newyork on NY street', 
     'Tod lives in Jersey city on NJ street'] 

from sklearn.feature_extraction.text import CountVectorizer 

vocab = ['drive', 'street', 'i', 'lives'] 

vectorizer = CountVectorizer(vocabulary = vocab) 

# turn the text above into a matrix of shape R X C 
# where R is number of rows (elements in your text array) 
# and C is the number of elements in the set of all words in your text array 
X = vectorizer.fit_transform(text) 

# sparse to dense matrix 
X = X.toarray() 

# get the feature names from the already-fitted vectorizer 
vectorizer_feature_names = vectorizer.get_feature_names() 

# prove that the vectorizer's feature names are identical to the vocab you specified above 
assert vectorizer_feature_names == vocab 

# make a table with word frequencies as values and vocab as columns 
out_df = pd.DataFrame(data = X, columns = vectorizer_feature_names) 

print(out_df) 

Und Ihr Ergebnis:

 drive street i lives 
    0  2  1 0  0 
    1  2  1 0  0 
    2  0  1 0  1 
    3  0  1 0  1 

Answer 2

einfach die Worte fragen Sie anstelle der Stoppwörter wollen Sie nicht wollen:

filtered_words = [word for word in xyz if word in ['drive', 'street', 'i', 'lives']] 

Answer 3

Wenn Sie die Menge eines bestimmten Wortes in einer Liste finden möchten, können Sie list.count(word) verwenden, um das zu finden, also wenn Sie haben eine Liste von Wörtern Sie Frequenzen erhalten möchten, können Sie etwas tun:

wanted_words = ["drive", "street", "i", "lives"] 
frequencies = [xy.count(i) for i in wanted_words] 

Answer 4

Basierend auf Alex Halls Idee Vorfilter - danach nur defaultdict verwenden. Es ist sehr bequem zum Zählen.

from collections import defaultdict 
s = 'i drive to work everyday in the morning and i drive back in the evening on main street' 
filtered_words = [word for word in s.split() 
        if word in ['drive', 'street', 'i', 'lives']] 
d = defaultdict(int) 
for k in filtered_words: 
    d[k] += 1 
print(d)