Schneller Weg Stoppwörter in Python

Question

Ich versuche, von Stoppwörtern einer Reihe von Text zu entfernen zu entfernen:

from nltk.corpus import stopwords 
text = 'hello bye the the hi' 
text = ' '.join([word for word in text.split() if word not in (stopwords.words('english'))]) 

Ich bin die Verarbeitung 6 mil solcher Strings so die Geschwindigkeit wichtig ist. Profiling mein Code, der langsamste Teil ist die Zeilen oben, gibt es eine bessere Möglichkeit, dies zu tun? Ich denke daran, etwas wie Regex re.sub zu verwenden, aber ich weiß nicht, wie man das Muster für eine Reihe von Wörtern schreibt. Kann mir jemand eine Hand geben und ich bin auch froh, andere möglicherweise schnellere Methoden zu hören.

Hinweis: Ich habe versucht, jemand schlägt vor, stopwords.words('english') mit set() zu wickeln, aber das machte keinen Unterschied.

Vielen Dank.

Answer 1

Versuchen Sie, das Stoppwörter-Objekt wie unten gezeigt zwischenzuspeichern. Dies ist bei jedem Aufruf der Funktion der Flaschenhals.

from nltk.corpus import stopwords 

    cachedStopWords = stopwords.words("english") 

    def testFuncOld(): 
     text = 'hello bye the the hi' 
     text = ' '.join([word for word in text.split() if word not in stopwords.words("english")]) 

    def testFuncNew(): 
     text = 'hello bye the the hi' 
     text = ' '.join([word for word in text.split() if word not in cachedStopWords]) 

    if __name__ == "__main__": 
     for i in xrange(10000): 
      testFuncOld() 
      testFuncNew() 

Ich laufe dies durch den Profiler: python -m cProfile es kumulativen test.py. Die relevanten Zeilen sind unten aufgeführt.

ncalls kumulative Zeit

10000 7,723 words.py:7(testFuncOld)

10000 0,140 words.py:11(testFuncNew)

also die Instanz Stoppwörter Cachen gibt eine ~ 70x Speedup .

Answer 2

Zuerst erstellen Sie Stoppwörter für jede Zeichenfolge. Erstellen Sie es einmal. Set wäre in der Tat toll hier.

forbidden_words = set(stopwords.words('english')) 

Später werde [] innen join befreien. Benutze stattdessen den Generator.

' '.join([x for x in ['a', 'b', 'c']]) 

zu

' '.join(x for x in ['a', 'b', 'c']) 

Das nächste, was ersetzen wäre zu umgehen .split() Ertragswerte anstelle der Rücksendung eines Arrays zu machen. Ich glaube, regex wäre ein guter Ersatz hier. Siehe thist hread für warum s.split() ist eigentlich schnell.

Zuletzt, machen Sie einen solchen Job parallel (Entfernen von Stoppwörtern in 6m Strings). Das ist ein ganz anderes Thema.

Answer 3

ein regexp Verwenden Sie alle Wörter zu entfernen, die nicht zusammenpassen:

import re 
pattern = re.compile(r'\b(' + r'|'.join(stopwords.words('english')) + r')\b\s*') 
text = pattern.sub('', text) 

Dies ist wahrscheinlich Weise schneller als Looping selbst, vor allem für große Eingabezeichenfolgen sein.

Wenn das letzte Wort im Text dadurch gelöscht wird, haben Sie möglicherweise nachgestellte Leerzeichen. Ich schlage vor, dies getrennt zu behandeln.