Wie finde ich heraus, welche Zellen nicht in Float konvertiert werden konnten?

Question

pandas.DataFrame.astype(float) erhöht ValueError: could not convert string to float Fehler.

Was ist der beste Weg zu finden, welche Zelle (n) das verursacht hat?

Answer 1

Ich denke, Sie können zuerst fillna mit einer Nummer, z.B. 1, apply Funktion to_numeric mit Parameter errors='coerce' und wenn der Wert nicht konvertiert werden kann, wird durch NaN gefüllt. Dann überprüfen Sie isnull mit any. Letzte Verwendung boolean indexing zum Suchen von Spalten und Index mit NaN Werte - es bedeutet, dass es offensichtlich string Werte oder andere Werte, die nicht in numerische konvertiert werden können.

import pandas as pd 
import numpy as np 

df = pd.DataFrame({'A':['a','b','',5], 
        'B':[4,5,6,5], 
        'C':[np.nan,8,9,7]}) 

print (df) 
    A B C 
0 a 4 NaN 
1 b 5 8.0 
2  6 9.0 
3 5 5 7.0 

a = (df.fillna(1).apply(lambda x: pd.to_numeric(x, errors='coerce'))) 
print (a) 
    A B C 
0 NaN 4 1.0 
1 NaN 5 8.0 
2 NaN 6 9.0 
3 5.0 5 7.0 

b = (pd.isnull(a)) 
print (b) 
     A  B  C 
0 True False False 
1 True False False 
2 True False False 
3 False False False 

print (b.any()) 
A  True 
B False 
C False 
dtype: bool 

print (b.any()[b.any()].index) 
Index(['A'], dtype='object') 

print (b.any(axis=1)) 
0  True 
1  True 
2  True 
3 False 
dtype: bool 

print (b.any(axis=1)[b.any(axis=1)].index) 
Int64Index([0, 1, 2], dtype='int64') 

#df is not modified 
print (df) 
    A B C 
0 a 4 NaN 
1 b 5 8.0 
2  6 9.0 
3 5 5 7.0 

Answer 2

Sie dtype Attribut verwenden können, um den Datentyp von numpy Objekt zu finden. für zB

df = pd.DataFrame([[1.9, 2.987, 'abcd',1]]) 
result = df.dtypes == np.float64 

Diese eine Typ boolean Ausgabe von wo generieren Sie leicht

result 
0  True 
1  True 
2 False 
3 False 
dtype: bool 

Der obige Ausgang eindeutig vergleichen können, dass das Element mit dem Index 2 & 3 Sie nicht float type

Answer 3

ist könnte einfach über die Zellen mit Hilfe von Indizes iterieren und den Fehler folgendermaßen abfangen:

for r in range(df_rows): 
    for c in range(df_cols): 
     try: 
      float(df[r][c]) 
     except ValueError: 
      print("Conversion error at coordinates", r, c) 

Ich schließe die Schleife nicht ab, da Sie alle Problemzellen sehen möchten, und möglicherweise mehrere.