Seltsame Pandas.DataFrame.sum (Achse = 1) Verhalten

Question

Ich habe eine Pandas DataFrame zusammengestellt aus einigen Web-Daten (für Tennis-Spiele), die seltsames Verhalten zeigt beim Summieren über ausgewählte Zeilen.

DataFrame: 
In [178]: tdf.shape 
Out[178]: (47028, 57) 

In [201]: cols 
Out[201]: ['L1', 'L2', 'L3', 'L4', 'L5', 'W1', 'W2', 'W3', 'W4', 'W5'] 

In [177]: tdf[cols].head() 
Out[177]: 
L1 L2 L3 L4 L5 W1 W2 W3 W4 W5 
0 4.0 2 NaN NaN NaN 6.0 6 NaN NaN NaN 
1 3.0 3 NaN NaN NaN 6.0 6 NaN NaN NaN 
2 7.0 5 3 NaN NaN 6.0 7 6 NaN NaN 
3 1.0 4 NaN NaN NaN 6.0 6 NaN NaN NaN 
4 6.0 7 4 NaN NaN 7.0 5 6 NaN NaN 

Wenn dann versucht wird, die Summe über die Zeilen mit tdf[cols].sum(axis=1) zu berechnen. Aus der obigen Tabelle sollte die Summe für die erste Zeile seine 18.0, aber es ist wie 10 berichtet, wie unten:

In [180]: tdf[cols].sum(axis=1).head() 
Out[180]: 
0 10.0 
1  9.0 
2 13.0 
3  7.0 
4 13.0 
dtype: float64 

Das Problem wird durch einen bestimmten Datensatz (Zeile 13.771) verursacht zu sein scheint, denn als ich ausschließen, diese Zeile wird die Summe richtig berechnet:

In [182]: tdf.iloc[:13771][cols].sum(axis=1).head() 
Out[182]: 
0 18.0 
1 18.0 
2 34.0 
3 17.0 
4 35.0 
dtype: float64 

Erwägung, einschließlich es:

In [183]: tdf.iloc[:13772][cols].sum(axis=1).head() 
Out[183]: 
0 10.0 
1  9.0 
2 13.0 
3  7.0 
4 13.0 
dtype: float64 

für die gesamte Spalte der falschen Ergebnis führt.

Der fehlbare Datensatz ist wie folgt:

In [196]: tdf[cols].iloc[13771] 
Out[196]: 
L1  1 
L2  1 
L3 NaN 
L4 NaN 
L5 NaN 
W1  6 
W2  0 
W3 
W4 NaN 
W5 NaN 
Name: 13771, dtype: object 

In [197]: tdf[cols].iloc[13771].W3 
Out[197]: ' ' 

In [198]: type(tdf[cols].iloc[13771].W3) 
Out[198]: str 

mir die folgenden Versionen ausgeführt wird:

In [192]: sys.version 
Out[192]: '3.4.3 (default, Nov 17 2016, 01:08:31) \n[GCC 4.8.4]' 
In [193]: pd.__version__ 
Out[193]: '0.19.2' 
In [194]: np.__version__ 
Out[194]: '1.12.0' 

Sicherlich ein einziger schlecht formatierte Datensatz sollte die Summe von anderen Datensatz nicht beeinflussen? Ist das ein Fehler oder mache ich etwas falsch?

Hilfe sehr geschätzt!

Answer 1

Problem ist mit empty string - dann dtype der Spalte W3 ist object (offensichtlich string) und sum es weglassen.

Lösungen:

problematisch empty string Wert NaN ersetzen versuchen und werfen dann float

tdf.loc[13771, 'W3'] = np.nan 

tdf.W3 = tdf.W3.astype(float) 

Oder versuchen alle leeren Saiten NaN in Teilmenge ersetzen cols:

tdf[cols] = tdf[cols].replace({'':np.nan}) 
#if necessary 
tdf[cols] = tdf[cols].astype(float) 

Eine andere Lösung Verwenden Sie to_numeric in problemati c Spalte - ersetzen alle nicht numerisch NaN:

tdf.W3 = pd.to_numerice(tdf.W3, erors='coerce') 

Oder gelten in der Regel für die Spalten cols:

tdf[cols] = tdf[cols].apply(lambda x: pd.to_numeric(x, errors='coerce'))