Python Pandas: Abrufen der ID von Daten aus einem Chunk

Question

Der Datensatz wird Chunk für Chunk gelesen, weil es zu groß ist. Die IDs sind die erste Spalte und ich möchte sie in Datenstruktur wie Array speichern. Bis jetzt funktioniert es nicht. Es sieht so aus

tf = pd.read_csv('data.csv', chunksize=chunksize) 
for chunk in tf: 
    here I wanna store the ids chunk["Id"] in an array 

Wie mache ich das?

Answer 1

IIUC Sie können es auf diese Weise tun:

ids = pd.DataFrame() 
tf = pd.read_csv('data.csv', chunksize=chunksize) 
for chunk in tf: 
    ids = pd.concat([ids, chunk['Id']], ignore_index=True) 

Sie immer ids Series als NumPy Array zugreifen können:

ids.values