Wie die NaN-Werte in einer Spalte in Pandas DataFrame

Question

zählen Ich habe Daten, in denen ich die Nummer NaN finden möchte, so dass, wenn es weniger als ein Schwellenwert ist, werde ich diese Spalten fallen lassen. Ich schaute, aber konnte keine Funktion dafür finden. es gibt value_counts, aber es wäre langsam für mich, weil die meisten Werte eindeutig sind und ich nur NaN zählen möchte.

Answer 1

Sie konnten die Gesamtlänge von der count von nicht-nan Werte subtrahieren:

count_nan = len(df) - df.count() 

Sie sollten es auf Ihre Daten Zeit. Für kleine Serie wurde eine 3fache Geschwindigkeit im Vergleich mit der isnull Lösung.

Answer 2

Sie können die Methode isnull() verwenden und dann die Summe der Nan-Werte zählen. Für eine Spalte:

In [1]: s = pd.Series([1,2,3, np.nan, np.nan]) 

In [4]: s.isnull().sum() 
Out[4]: 2 

für mehrere Spalten, es funktioniert auch:

In [5]: df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]}) 

In [6]: df.isnull().sum() 
Out[6]: 
a 1 
b 2 
dtype: int64 

Answer 3

Da Pandas 0.14.1 mein Vorschlag here haben ein Schlüsselwort-Argument in der value_counts Methode umgesetzt wurde:

import pandas as pd 
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]}) 
for col in df: 
    print df[col].value_counts(dropna=False) 

2  1 
1  1 
NaN 1 
dtype: int64 
NaN 2 
1  1 
dtype: int64 

Answer 4

wenn Sie Jupyter Notebook verwenden, wie etwa ....

%%timeit 
df.isnull().any().any() 

oder

%timeit 
df.isnull().values.sum() 

oder gibt es irgendwo NaNs in den Daten, wenn ja, wo?

df.isnull().any() 

Answer 5

Basierend auf den meisten Stimmen Antwort, die wir die fehlenden Werte in der Vorschau anzeigen und die% der fehlenden Werte in jeder Spalte eine Funktion, die uns einen Datenrahmen leicht definieren gibt:

def missing_values_table(df): 
     mis_val = df.isnull().sum() 
     mis_val_percent = 100 * df.isnull().sum()/len(df) 
     mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1) 
     mis_val_table_ren_columns = mis_val_table.rename(
     columns = {0 : 'Missing Values', 1 : '% of Total Values'}) 
     mis_val_table_ren_columns = mis_val_table_ren_columns[ 
      mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
     '% of Total Values', ascending=False).round(1) 
     print ("Your selected dataframe has " + str(df.shape[1]) + " columns.\n"  
      "There are " + str(mis_val_table_ren_columns.shape[0]) + 
       " columns that have missing values.") 
     return mis_val_table_ren_columns 

Answer 6

, wenn seine Zählung nur Nan Werte in einer Pandas Spalte hier ist ein schneller Weg

Answer 7

Verwendet die Lösung von @sushmit in meinem Code vorgeschlagen.

kann eine mögliche Variation des gleichen auch von nun an sein

colNullCnt = [] 
for z in range(len(df1.cols)): 
    colNullCnt.append([df1.cols[z], sum(pd.isnull(trainPd[df1.cols[z]]))]) 

Vorteil davon ist, dass es das Ergebnis für jede der Spalten in der df zurückgibt.

Answer 8

Sie können auf die Antwort value_counts Verfahren und Druckwerte von np.nan

s.value_counts(dropna = False)[np.nan] 

Answer 9

Basis verwenden, die gegeben wurde und einige Verbesserungen dies ist mein Ansatz

def PercentageMissin(Dataset): 
    """this function will return the percentage of missing values in a dataset """ 
    if isinstance(Dataset,pd.DataFrame): 
     adict={} #a dictionary conatin keys columns names and values percentage of missin value in the columns 
     for col in Dataset.columns: 
      adict[col]=(np.count_nonzero(Dataset[col].isnull())*100)/len(Dataset[col]) 
     return pd.DataFrame(adict,index=['% of missing'],columns=adict.keys()) 
    else: 
     raise TypeError("can only be used with panda dataframe")