Ich möchte bcolz verwenden, um ein Pandas Dataframe in Datei zu speichern.Speichern Pandas Dataframe in Datei mit bcolz
Ich habe versucht:
Danach wird ct die komprimierte Datenrahmen enthält, aber ich kann nicht finden, wie ich es retten kann Datei.
Sie können bcolz mit persistenten Datencontainern genau wie In-Memory-Daten verwenden. Sie können einen Blick auf dieses Tutorial haben wollen, die mit Datensätzen auf der Festplatte arbeitet Pandas/HDF5, reine PyTables, SQLite und bcolz mit:
https://github.com/FrancescAlted/EuroPython2015/blob/master/4-On-Disk-Tables.ipynb
Es sieht aus wie bcolz.ctable hat eine tohdf5 Methode, die Sie verwenden könnten; Allerdings müssen Sie hdf5, pytables usw. installieren. Andernfalls können Sie pickle verwenden, was die übliche Methode ist, ein generisches Python-Objekt auf der Festplatte zu speichern.
Übrigens, wenn Sie nur daran interessiert sind, Ihre Daten zu komprimieren, möchten Sie vielleicht eine eher Low-Tech-Option wie gzip; Die Komprimierung ist genauso gut, wenn nicht sogar besser als ein spaltenförmiges Datenformat, das sich mehr darauf konzentriert, schnelle Abfragen gegen Ihre Daten zu machen.
Sie müssen lediglich angeben, wo die Tabelle erstellen, wenn Sie lesen in dem Datenrahmen, so wie:
import bcolz
import pandas as pd
df = pd.read_csv(open("mydata.csv", 'rb'), delimiter='\t')
ct = bcolz.ctable.fromdataframe(df, rootdir='dataframe.bcolz')
rootdir ist ein Verzeichnis keine Datei – wyx
I haben eine Ausdehnung von bcolz genannt BQUERY ersichtlich, dass die folgenden Befehl verwendet: ct = bquery.ctable (rootdir = 'example.bcolz'). Also ich denke, dass es möglich ist, einen Pandas-Datenrahmen im bcolz-Dateiformat zu speichern. Und nein, ich bin nicht nur daran interessiert zu komprimieren; Ich möchte auch abfragen. –
hmm Blick auf die Dokumente scheint es, dass "Carray" hat einen 'rootpath' Parameter, aber' ctable' doesnt .. aus irgendeinem Grund .... Sie könnten also stattdessen ein 'Carray' verwenden (Sie verlieren jedoch Ihre Spaltennamen) – maxymoo
' ctable' unterstützt auch das 'rootdir' Argument. Siehe: http://bcolz.blosc.org/tutorial.html#tutorial-on-ctable-objects – Francesc