Wählen Sie Teile von Pandas Dataframe basierend auf Werten in einer Liste in einer Spalte

Question

Nach einer Weile Suche kann ich keine Antwort auf was ein häufiges Problem sein, so dass Zeiger begrüßen.

Ich habe einen Datenrahmen:

df = DataFrame({'A' : [5,6,3,4], 'B' : [1,2,3,5], 'C' : [['a','b'],['b','c'] ,['g','h'],['x','y']]}) 

und ich möchte eine Teilmenge davon (einige Zeilen) auszuwählen, die Werte in den Listen in der ‚C‘ Spalte haben, die in einer Liste angezeigt Dinge, an denen ich interessiert bin

listOfInterestingThings = [a, g] 

so, wenn die Filter angewandt wird ich eine df1 hätte:

df1 = 
A B  C  
5 1 ['a','b'] 
3 3 ['g','h'] 

Der Datenrahmen Ich bin der Umgang mit ist ein massiver Import von Rohdaten in dem RAM ~ 12GB in der aktuellen df Form. Etwa die Hälfte davon auf der Festplatte als eine Reihe von JSON-Dateien.

Answer 1

Ich stimme voll und ganz mit @DSM überein.

Als letztes Mittel können Sie verwenden:

In [21]: df.loc[pd.DataFrame(df.C.values.tolist(), index=df.index) \ 
        .isin(listOfInterestingThings).any(1)] 
Out[21]: 
    A B  C 
0 5 1 [a, b] 
2 3 3 [g, h] 

oder:

In [11]: listOfInterestingThings = set(['a', 'g']) 

In [12]: df.loc[df.C.apply(lambda x: len(set(x) & listOfInterestingThings) > 0)] 
Out[12]: 
    A B  C 
0 5 1 [a, b] 
2 3 3 [g, h] 

Erläuterung:

In [22]: pd.DataFrame(df.C.values.tolist(), index=df.index) 
Out[22]: 
    0 1 
0 a b 
1 b c 
2 g h 
3 x y 

In [23]: pd.DataFrame(df.C.values.tolist(), index=df.index).isin(listOfInterestingThings) 
Out[23]: 
     0  1 
0 True False 
1 False False 
2 True False 
3 False False 

Answer 2

Dies funktioniert auch:

df[list(np.any(('a' in i) | ('g' in i) for i in df.C.values))] 

    A B  C 
0 5 1 [a, b] 
2 3 3 [g, h] 

Benchmarks:

time df.loc[df.C.apply(lambda x: len(set(x) & listOfInterestingThings)> 0)] 

CPU times: user 873 µs, sys: 193 µs, total: 1.07 ms 
Wall time: 987 µs 

time df[list(np.any(('a' in i) | ('g' in i) for i in df.C.values))] 

CPU times: user 1.02 ms, sys: 224 µs, total: 1.24 ms 
Wall time: 1.08 ms 

time df.loc[pd.DataFrame(df.C.values.tolist(), index=df.index).isin(listOfInterestingThings).any(1)] 

CPU times: user 2.58 ms, sys: 1.01 ms, total: 3.59 ms 
Wall time: 5.41 ms 

kurz So, @ MAXU Antwort die schnellste Methode ist.