Entfernen Sie Wörter weniger als 4 Zeichen aus Pandas Series

Question

Ich versuche, alle Wörter mit weniger als 4 Zeichen aus jedem Skalarwert in einer Pandas-Serie zu entfernen. Was ist der beste Weg, es zu tun? Hier ist mein gescheiterter Versuch:

df['text'] = df['text'].str.join(word for word in df['text'].str.split() if len(word)>3) 

ich die folgende Fehlermeldung angezeigt:

AttributeError: 'generator' object has no attribute 'join'

ich anhand meines Versuch aus diesem Beitrag in Bezug auf das gleiches in einem String: Remove small words using Python

Randbemerkung: Wenn es besser ist, meine Wörter zu symbolisieren, bevor Sie sie mit weniger als 4 Zeichen entfernen, lassen Sie es mich bitte wissen.

EDIT: Jeder skalare Wert enthält Sätze, also möchte ich für alle Wörter weniger als eine Länge von 4 innerhalb des Wertes entfernen.

Answer 1

Mit Regex mit .str.findall und .str.join erscheint am schnellsten zu sein:

df['text'].str.findall('\w{4,}').str.join(' ') 

Timings

Unter Verwendung der folgenden Einstellung:

df = pd.DataFrame({'text':["The quick brown fox", "jumped over the lazy dog", "foo bar baz", 'words exceeding desired length']}) 
df = pd.concat([df]*10**4, ignore_index=True) 

def pir2(df): 
    t = df.text.str.split(expand=True).stack() 
    return t.loc[t.str.len() >= 4].groupby(level=0).apply(' '.join) 

ich die folgenden Timings erhalten:

%timeit df['text'].str.findall('\w{4,}').str.join(' ') 
10 loops, best of 3: 44.8 ms per loop 

%timeit df.text.apply(lambda i: ' '.join(filter(lambda j: len(j) > 3, i.split()))) 
10 loops, best of 3: 79.3 ms per loop 

%timeit df['text'].str.split().map(lambda sl: " ".join(s for s in sl if len(s) > 3)) 
10 loops, best of 3: 87.2 ms per loop 

%timeit pir2(df) 
1 loop, best of 3: 2.87 s per loop 

Answer 2

Sie können etwas tun:

>>> df = pd.DataFrame({'text':["The quick brown fox", "jumped over the lazy dog"]}) 
>>> df 
         text 
0  The quick brown fox 
1 jumped over the lazy dog 
>>> df['text'].str.split().map(lambda sl: " ".join(s for s in sl if len(s) > 3)) 
0   quick brown 
1 jumped over lazy 
Name: text, dtype: object 

Aber ehrlich gesagt, ich bleibe in der Regel zu Vanille Python für Textverarbeitungspipelines. pandas Datenstrukturen spielen nicht gut mit Text. Zumindest verlieren Sie die Speicher-/Geschwindigkeitsvorteile von numpy/pandas.

Answer 3

df.test.apply(lambda i: ' '.join(filter(lambda j: len(j) > 3, i.split())))

Answer 4

Versuchen Betrachten @ juanpa.arrivillaga der dataframedf

df = pd.DataFrame({'text':["The quick brown fox", "jumped over the lazy dog"]}) 

Dann können wir

t = df.text.str.split(expand=True).stack() 
t.loc[t.str.len() >= 4].groupby(level=0).apply(' '.join) 

0   quick brown 
1 jumped over lazy 
dtype: object