Pandas groupby auf einer Spalte und dann filtern basierend auf Quantil Wert einer anderen Spalte

Question

Ich versuche, meine Daten auf nur die Zeilen im unteren Dezil der Daten für ein bestimmtes Datum zu filtern. Daher muss ich zuerst das Datum gruppieren, um das Unteruniversum von Daten zu erhalten, und dann von dort das gleiche Unteruniversum auf nur jene Werte filtern, die in das untere Dezil fallen. Ich muss dann alle verschiedenen Daten zu einem großen Datenrahmen zusammenfassen.

Zum Beispiel möchte ich die folgende df nehmen:

df = pd.DataFrame([['2017-01-01', 1], ['2017-01-01', 5], ['2017-01-01', 10], ['2018-01-01', 5], ['2018-01-01', 10]], columns=['date', 'value']) 

und nur die Zeilen, in denen der Wert für dieses Datum in der unteren Dezil (unter 1,8 bzw. 5,5):

 date  value 
0 '2017-01-01'  1 
1 '2018-01-01'  5 

Ich kann eine Reihe der unteren Dezile mit df.groupby(['date'], 'value'].quantile(.1) bekommen, aber das würde dann erfordern, dass ich durch die gesamte DF durchlaufen und vergleichen Sie den Wert mit dem Quantil Wert in der Serie, die ich wegen Leistungsprobleme vermeiden möchte .

Answer 1

So ähnlich?

df.groupby('date').value.apply(lambda x: x[x < x.quantile(.1)]).reset_index(1,drop = True).reset_index() 

    date  value 
0 2017-01-01  1 
1 2018-01-01  5 

Edit:

df.loc[df['value'] < df.groupby('date').value.transform(lambda x: x.quantile(.1))]