Fehler beim Laden von .csv-Datei mit Pandas in Python

Question

Ich habe eine große CSV-Datei, ca. 6 GB, und es dauert eine lange Zeit, um auf Python zu laden. Ich erhalte die folgende Fehlermeldung:

import pandas as pd 
df = pd.read_csv('nyc311.csv', low_memory=False) 


Python(1284,0x7fffa37773c0) malloc: *** mach_vm_map(size=18446744071562067968) failed (error code=3) 
*** error: can't allocate region 
*** set a breakpoint in malloc_error_break to debug 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 646, in parser_f 
    return _read(filepath_or_buffer, kwds) 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 401, in _read 
    data = parser.read() 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 939, in read 
    ret = self._engine.read(nrows) 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 1508, in read 
    data = self._reader.read(nrows) 
    File "pandas/parser.pyx", line 851, in pandas.parser.TextReader.read (pandas/parser.c:10438) 
    File "pandas/parser.pyx", line 939, in pandas.parser.TextReader._read_rows (pandas/parser.c:11607) 
    File "pandas/parser.pyx", line 2024, in pandas.parser.raise_parser_error (pandas/parser.c:27037) 
pandas.io.common.CParserError: Error tokenizing data. C error: out of memory 

Ich glaube nicht, dass ich den Fehlercode bin zu verstehen, die letzte Zeile scheint darauf hinzudeuten, dass die Datei zu groß ist, zu laden? Ich habe auch versucht low_memory=FALSE Option, aber das hat auch nicht funktioniert.

Ich bin mir nicht sicher, was "Region nicht zuordnen" bedeuten kann, könnte es möglich sein, dass die Kopfzeile "Region" enthält und Pandas die Spalte darunter nicht finden können?

Answer 1

Nicht genügend Arbeitsspeicher wegen RAM. Es gibt keine andere Erklärung dafür.

Sum of all data memory-overheads for in-RAM objects !< RAM

malloc: *** mach_vm_map(size=18446744071562067968) failed Sie können deutlich von dieser Fehler Aussage verstehen.

Versuchen Sie mit.

df = pd.read_csv('nyc311.csv',chunksize =5000,lineterminator='\r') 

Oder, wenn diese csv lesen ist nur ein Teil des Programms, und wenn es irgendwelche anderen Datenrahmen vor erstellt ist, versucht sie, wenn sie nicht in Gebrauch zu reinigen.

import gc 
del old_df    #clear dataframes not in use 
gc.collect()  # collect Garbage 
del gc.garbage[:] # Clears RAM 

`