Beschleunigung der Textreinigung mit vielen Stoppworten

Question

Ich habe eine Datenbank mit Textdaten und einen kleinen Zähler erstellt, um die Wortzahl von der gesamten Datenbank zu erhalten. Die gebräuchlichsten Wörter sind die üblichen Verdächtigen ('ist', 'und' usw.) und die am wenigsten verbreiteten sind eine Mischung aus Emojis, Dollarwerten, Tippfehlern und so weiter. Ich möchte die Wörter aus dem Text entfernen, damit ich nur die Werte vektorisieren kann, die nicht am häufigsten oder am seltensten sind. Aber die Liste der höchst ungewöhnlich/anomaler Worte sind etwa 600.000 Artikel lang:

stopwords = [] 

    for key, value in ctr.items(): #ctr is a Counter() object of words in the entire corpus of text and their counts 
     if value < 4: 
      words += 1 
      stopwords.append(key) 

print (len(stopwords)) 
643392 

Das heißt, ein Beispiel für Tokenisieren nur ein Stück Text unter:

start = time.time() 

[word for word in word_tokenize(stemmer.stem(dataframe.text[20])) if word not in stopwords] 

end = time.time() 

print (end - start) 

79.92309927940369 

also mehr als eine Minute für ein einzelnes Stück Text. Es gibt ungefähr 160.000 Artikel zu reinigen und zu vektorisieren.

Gibt es eine Art vektorisierte Funktion zum Entfernen von Stoppwörtern? Die einzigen Möglichkeiten, die ich beim Umgang mit Stoppwörtern gesehen habe, behandeln das Problem iterativ. Bei dieser Geschwindigkeit dauert die Reinigung dieses Textes etwa drei Monate.

Danke wie immer für jede Hilfe.

Answer 1

Word-Suche sollte in Python nicht so lange dauern. Sie müssen die Stoppwortentfernung nicht vektorisieren, Sie müssen nur Ihren Code reparieren. Sie zeigen Ihren Code nicht, aber die Wahrscheinlichkeit ist, dass stopwords eine enorme Liste ist. Konvertiere es in ein Set und deine Probleme sollten verschwinden.

stopwords = set(stopwords) 

Zweitens wieder zeigen Ihnen nicht vollständigen Code, aber ich bezweifle wirklich, Sie stemmer haben, die eine Mehrwortkette stammen kann. Tokenize zuerst die Zeichenfolge und dann jedes Wort.