Was ist der schnellste Weg, um eine große Liste in Python 2.7 zu speichern/zu laden?

Question

Was ist der schnellste Weg, eine große Liste in Python 2.7 zu speichern/zu laden? Ich entschuldige mich, wenn dies bereits gefragt wurde, konnte ich keine Antwort auf diese genaue Frage finden, als ich suchte ...

Genauer gesagt, ich testen Methoden für die Simulation von etwas, und ich muss das Ergebnis vergleichen Von jeder Methode teste ich zu einer exakten Lösung aus. Ich habe ein Python-Skript, das eine Liste von Werten erzeugt, die die exakte Lösung darstellen, und ich möchte es nicht jedes Mal neu berechnen, wenn ich eine neue Simulation starte. Daher möchte ich es irgendwo speichern und einfach die Lösung laden, anstatt sie jedes Mal neu zu berechnen, wenn ich sehen möchte, wie gut meine Simulationsergebnisse sind.

Ich brauche auch nicht die gespeicherte Datei für Menschen lesbar. Ich muss es nur in Python laden können.

Answer 1

np.load und ToList Verwendung ist deutlich schneller als jede andere Lösung:

In [77]: outfile = open("test.pkl","w") 
In [78]: l = list(range(1000000)) 

In [79]: timeit np.save("test",l) 
10 loops, best of 3: 122 ms per loop 

In [80]: timeit np.load("test.npy").tolist() 
10 loops, best of 3: 20.9 ms per loop 

In [81]: timeit pickle.load(outfile) 
1 loops, best of 3: 1.86 s per loop 

In [82]: outfile = open("test.pkl","r") 

In [83]: timeit pickle.load(outfile) 
1 loops, best of 3: 1.88 s per loop 

In [84]: cPickle.dump(l,outfile) 
....: 
1 loops, best of 3: 
273 ms per loop  
In [85]: outfile = open("test.pkl","r") 
In [72]: %%timeit 
cPickle.load(outfile) 
    ....: 
1 loops, best of 3: 
539 ms per loop 

In Python 3 numpy ist wesentlich effizienter, wenn Sie eine numpy Array verwenden:

In [24]: %%timeit     
out = open("test.pkl","wb") 
pickle.dump(l, out) 
    ....: 
10 loops, best of 3: 27.3 ms per loop 

In [25]: %%timeit 
out = open("test.pkl","rb") 
pickle.load(out) 
    ....: 
10 loops, best of 3: 52.2 ms per loop 

In [26]: timeit np.save("test",l) 
10 loops, best of 3: 115 ms per loop 

In [27]: timeit np.load("test.npy") 
100 loops, best of 3: 2.35 ms per loop 

Wenn Sie möchten, In einer Liste ist es wieder schneller, tolist anzurufen und np zu verwenden.Last:

In [29]: timeit np.load("test.npy").tolist() 
10 loops, best of 3: 37 ms per loop 

Answer 2

Sie möchten vielleicht einen Blick auf Python Objektserialisierung nehmen, pickle und cPickle http://pymotw.com/2/pickle/

pickle.dumps(obj[, protocol]) Wenn das Protokoll Parameter weggelassen wird, Protokoll wird 0 verwendet. Wenn das Protokoll als negativer Wert oder HIGHEST_PROTOCOL angegeben wird, wird die höchste Protokollversion verwendet.

Answer 3

Wie PadraicCunningham erwähnt hat, können Sie die Liste einlegen.

import pickle 

lst = [1,2,3,4,5] 

with open('file.pkl', 'wb') as pickle_file: 
    pickle.dump(lst, pickle_file, protocol=pickle.HIGHEST_PROTOCOL) 

Dies lädt die Liste in eine Datei.

Und es zu extrahieren:

import pickle 

with open('file.pkl', 'rb') as pickle_load: 
    lst = pickle.load(pickle_load) 
print(lst) # prints [1,2,3,4,5] 

Das HIGHEST_PROTOCOL Bit ist optional, wird aber normalerweise empfohlen. Protokolle definieren, wie Pickle das Objekt serialisiert, wobei niedrigere Protokolle dazu tendieren, mit älteren Versionen von Python kompatibel zu sein.

Es ist erwähnenswert, zwei weitere Dinge:

Es gibt auch das cPickle Modul ist - in C geschrieben Geschwindigkeit zu optimieren. Sie verwenden dies auf die gleiche Weise wie oben.

Pickle ist auch dafür bekannt, einige Unsicherheiten zu haben (es gibt Möglichkeiten zu manipulieren, wie Essiggurke ein Objekt deserialisiert, das Sie manipulieren können, damit Python mehr oder weniger alles macht, was Sie wollen). Daher sollte diese Bibliothek nicht verwendet werden, wenn unbekannte Daten geöffnet werden. In extremen Fällen können Sie eine sicherere Version wie spickle ausprobieren: https://github.com/ershov/sPickle

Andere Bibliotheken, die ich empfehlen würde aufzublicken sind json und marshall.

Answer 4

Ich habe einige Profilierung von vielen Methoden durchgeführt (mit Ausnahme der numpy-Methode) und Gurke/cPickle ist sehr langsam auf einfachen Datensatz. Der schnellste Weg hängt davon ab, welche Art von Daten Sie speichern. Wenn Sie eine Liste von Strings und/oder Ganzzahlen speichern. Der schnellste Weg, den ich gesehen habe, ist es, ihn direkt in eine Datei zu schreiben, indem man eine for-Schleife und ',' verwendet. (...) lies ihn mit einer ähnlichen for-Schleife mit .split (',') wieder ein.