Pandas gelten für große CSV-Datei

Question

Ich habe eine 3 GB CSV-Datei, die geändert werden muss. Ich habe eine Spalte, die ich will Lambda-Funktion anzuwenden, um (das sollte den Wert der Zeilen ändern)

Die Lösung habe ich versucht, so weit ist die CSV als segmentierte Datei zu lesen, aber das Speicherproblem immer noch geschieht

Dies ist, was ich bisher versucht:

dataframe = read_csv(file_path, iterator=True, chunksize=10000) 

for chunk in dataframe: 
    chunk['column_name'].apply(change_row_lambda_function) 

dataframe.to_csv(result_file_path, sep=',') 

Answer 1

Try this:

# write header (column names) 
read_csv(file_path, nrows=1).head(0).to_csv(result_file_path) 

dataframe = read_csv(file_path, iterator=True, chunksize=10000) 

for chunk in dataframe: 
    chunk['column_name'] = chunk['column_name'].apply(change_row_lambda_function) 
    chunk.to_csv(result_file_path, mode='a', header=None)