Pandas cumsum auf groupby verhält sich nicht wie erwartet

Question

Ich habe einen Datenrahmen wie folgt aus:

df = pd.DataFrame({'prob':np.random.uniform(0,1,size), 'target':np.random.randint(0,2, size=size), 
       'pred':np.random.randint(0,2, size=size)}) 

Dass ich cumsum eines groupby eines qcut berechnen möchten:

df['box'] = pd.qcut(df['prob'], 10) 

Meine Erwartung wäre, Berechnen Sie die kumulative Funktion für jede Gruppe in der Reihenfolge, aber berechnet stattdessen eine Summe für jedes Element:

mit der Antwort

0  0.000000 
1  0.018182 
2  0.018182 
3  0.018182 
4  0.000000 
5  0.018182 
6  0.018182 
7  0.018182 
8  0.036364 
9  0.018182 
10 0.000000 
11 0.018182 
12 0.018182 
13 0.036364 
14 0.000000 
15 0.036364 
16 0.036364 
17 0.036364 
18 0.054545 
19 0.000000 
20 0.000000 
21 0.018182 
22 0.018182 
23 0.05454 

statt

'(0.0, 0.1)' 0.04 
'(0.1, 0.2)' 0.12 #(0.08 + previous 0.04) 
'(0.2, 0.3)' 0.17 #(0.05 + previous 0.12) 

Answer 1

Sie möchten den Prozentsatz für jede Gruppe und dann nehmen Sie die cumsum berechnen.

In Ihrem ursprünglichen Code df.groupby('box').target.cumsum() wird die cumsum von jeder Gruppe - so haben Sie ein Element für jedes der Elemente in der gruppierten DataFrame. Dann wird die Abteilung über alle diese Elemente ausgestrahlt werden.

Stattdessen möchten Sie eine Summenstatistik für jede Gruppe erhalten und dann die cumsum über diese Statistiken nehmen.

ch_curve = (df.groupby('box').target.sum()/df.target.sum()).cumsum() 
nch_curve = (df.groupby('box').target_1.sum()/df.target_1.sum()).cumsum()