beschleunigen Pandas csv lesen und nachfolgende gesenkten

Question

Einfache Frage - ich tue das folgende:

train_set = pd.read_csv('./input/train_1.csv').fillna(0) 
for col in train_set.columns[1:]: 
    train_set[col] = pd.to_numeric(train_set[col],downcast='integer') 

erste Spalte der Datenrahmen ist ein String - der Rest sind ints. Read_csv gibt Floats, die ich nicht brauche. Das Downsampling führt zu einer Reduzierung des verwendeten Arbeitsspeichers um fast 50%, verlangsamt den Prozess jedoch erheblich. Kann ich das Ganze in einem Schritt machen? Oder weiß jemand, wie man dies multithread?
thx

Answer 1

Ich würde vorschlagen, dass Sie diese beiden Funktionen versuchen und wieder die Leistung sehen:

1. konvertieren, wenn Sie die Datei

   # or uint8/int16/int64 depends on your data 
   pd.read_csv('input.txt', sep=' ', dtype=np.int32) 
   
   # or you can use converters with lambda function 
   pd.read_csv('test.csv', sep=' ', converters={'1':lambda x : int(x)}) 
   

2. Konvertieren Sie Ihre Datenrahmen nach

   Datei zu lesen lesen

   df['MyColumnName'] = df['MyColumnName'].astype(int)