Warum überschreibt meine for-Schleife statt anzuhängen?

Question

Ich habe mehrere (25k) .csv-Dateien, die ich in eine HDFStore-Datei anhängen möchte. Sie alle teilen sich identische Header. Ich verwende den folgenden Code, aber aus irgendeinem Grund wird der Datenrahmen nicht immer mit allen Dateien angehängt, sondern nur mit der letzten Datei in der Liste.

filenames = [] #list of .csv file paths that I've alredy populated 
dtypes= {dict of datatypes} 
store = pd.HDFStore('store.h5') 
store.put('df', pd.read_csv(filenames[0],dtype=dtypes,parse_dates= 
["date"])) #store one data frame 

for f in filenames: 
    try: 
     temp_csv = pd.DataFrame() 
     temp_csv = pd.read_csv(f,dtype=dtypes,parse_dates=["trade_date"]) 
     store.append('df', temp_csv) 
    except: 
    pass 

Ich habe versucht, mit einer Teilmenge der Dateinamen Liste, aber immer den letzten Eintrag zu bekommen. Aus irgendeinem Grund hängt die Schleife meine Datei nicht an, sondern überschreibt sie jedes Mal. Jeder Rat würde geschätzt werden, da dies mich verrückt macht. (Python 3, Fenster)

Answer 1

ich glaube, das Problem verwandt ist:

store.append('df', temp_csv)

Wenn ich richtig verstehe, was Sie versuchen, zu tun 'df' sollte jeder Iteration ändern, du bist überschreibt es jetzt einfach.

Answer 2

Sie erstellen/speichern einen neuen DataFrame mit jeder Iteration, wie @SeaMonkey sagt. Ihr konsolidierter Datenrahmen sollte außerhalb Ihrer Schleife instanziiert werden, in etwa so.

filenames = [] #list of .csv file paths that I've alredy populated 
dtypes= {dict of datatypes} 

df = pd.DataFrame() 
for f in filenames: 
    df_tmp = pd.read_csv(f,dtype=dtypes,parse_dates=["trade_date"]) 
    df = df.append(df_tmp) 

store = pd.HDFStore('store.h5') 
store.put('df', df)