Pandas: Griff Spalte fehlt

Question

ich den folgenden Code mithilfe einer CSV-Datei in Blöcken lesen Pandas mit read_csv

headers = ["1","2","3","4","5"] 
fields = ["1", "5"] 

for chunk in pandas.read_csv(fileName, names=headers, header=0, usecols=fields, chunksize=chunkSize): 

Manchmal wird meine CSV nicht Spalte „5“ haben und ich möchte in der Lage sein Behandle diesen Fall und gib einige Standardwerte an. Gibt es eine Möglichkeit, nur die Header meiner CSV-Datei zu lesen, ohne die gesamte Datei zu lesen, damit ich das manuell behandeln kann? Oder kann eine andere clevere Möglichkeit sein, den Wert für die fehlende Spalte zu übernehmen?

Answer 1

Wenn Sie nrows=0 dies liest nur die Spaltenzeile übergeben, können Sie dann intersection rufen die gemeinsamen Spaltenwerte und vermeiden Fehler zu finden:

In[14]: 
t="""1,2,3,5,6 
0,1,2,3,4""" 
headers = ["1","2","3","4","5"] 
fields = ["1", "5"] 
cols = pd.read_csv(io.StringIO(t), nrows=0).columns 
cols 

Out[14]: Index(['1', '2', '3', '5', '6'], dtype='object') 

So, jetzt wir Spaltennamen haben wir intersection nennen zu finden die gültigen Spalten gegen den erwarteten und tatsächlichen Spalten:

In[15]: 
valid_cols = cols.intersection(headers) 
valid_cols 

Out[15]: Index(['1', '2', '3', '5'], dtype='object') 

Sie können mit fields das gleiche tun und dann können Sie diese mit Ihrem aktuellen Code passieren alle Ausnahmen zu vermeiden

Nur um zu zeigen, dass nrows=0 gerade liest die Kopfzeile vorbei:

In[16]: 
pd.read_csv(io.StringIO(t), nrows=0) 

Out[16]: 
Empty DataFrame 
Columns: [1, 2, 3, 5, 6] 
Index: []