Schnellste Möglichkeit, eine Liste von Fließkommazahlen in Python in Bytes zu packen

Question

Ich habe eine Liste von sagen 100k floats und ich möchte es in einen Bytes-Puffer konvertieren.

buf = bytes() 
for val in floatList: 
    buf += struct.pack('f', val) 
return buf 

Dies ist ziemlich langsam. Wie kann ich es schneller machen, wenn nur Standard-Python 3.x-Bibliotheken verwendet werden?

Answer 1

Sagen Sie einfach struct wie viele float s Sie haben. 100k Floats dauert etwa eine 1/100 einer Sekunde auf meinem langsamen Laptop.

import random 
import struct 

floatlist = [random.random() for _ in range(10**5)] 
buf = struct.pack('%sf' % len(floatlist), *floatlist) 

Answer 2

Die meisten der Langsamkeit wird sein, dass Sie wiederholt an eine Bytestring anhängen. Das kopiert die Bytezeichenfolge jedes Mal. Stattdessen sollten Sie b''.join() verwenden:

import struct 
packed = [struct.pack('f', val) for val in floatList] 
return b''.join(packed) 

Answer 3

Wie bei Strings, wird .join() mit schneller sein als ständig verketten. ZB:

import struct 
b = bytes() 
floatList = [5.4, 3.5, 7.3, 6.8, 4.6] 
b = b.join((struct.pack('f', val) for val in floatList)) 

Ergebnisse in:

b'\xcd\xcc\xac@\x00\x00`@\x9a\x99\xe9@\x9a\x99\xd9@33\x93@' 

Answer 4

, die funktionieren sollte:

return struct.pack('f' * len(floatList), *floatList) 

Answer 5

Sie ctypes verwenden können, und verfügen über ein Doppel-Array (oder Array-float) genau so, wie Sie‘ d haben in C, anstatt Ihre Daten in einer Liste zu halten. Dies ist ein faires niedriges Niveau, aber es ist eine Empfehlung, wenn Sie eine gute Leistung benötigen und wenn Ihre Liste eine feste Größe hat.

Sie können das Äquivalent eines C erstellen double array[100]; in Python, indem Sie:

array = (ctypes.c_double * 100)() 

Der ctypes.c_double * 100 Ausdruck ergibt lange eine Python-Klasse für eine Reihe von Doppelzimmer, 100 Einzelteile. Um es zu einer Datei zu verbinden, können Sie einfach buffer verwenden, um seinen Inhalt zu erhalten:

>>> f = open("bla.dat", "wb") 
>>> f.write(buffer(array)) 

Wenn Ihre Daten bereits in einer Python-Liste sind, es in ein Doppel Array Verpackung kann oder nicht sein können schneller als Aufruf struct als in AGF akzeptierte Antwort - ich Mess verlassen wird, die schneller als Hausaufgaben, aber der gesamte Code Sie benötigen, ist dieses:

>>> import ctypes 
>>> array = (ctypes.c_double * len(floatlist))(*floatlist) 

Um es als String zu sehen, tun gerade: str(buffer(array)) - die man hier den Nachteil, dass Sie ist muss auf Float-Größe (float vs. double) und CPU-abhängigen Float-Typ achten - das struct-Modul kann sich darum kümmern. Der große Gewinn ist, dass man mit einem Float-Array die Elemente immer noch als Zahlen verwenden kann, indem man dann genauso wie bei einer einfachen Python-Liste darauf zugreift, während man dann als Planare Speicherregion mit buffer zur Verfügung steht.

Answer 6

Wie Sie sagen, dass Sie wirklich wollen, Single-Precision 'f' schwimmt, möchten Sie vielleicht versuchen, die array module (in der Standardbibliothek seit 1.x).

>>> mylist = [] 
>>> import array 
>>> myarray = array.array('f') 
>>> for guff in [123.45, -987.654, 1.23e-20]: 
... mylist.append(guff) 
... myarray.append(guff) 
... 
>>> mylist 
[123.45, -987.654, 1.23e-20] 
>>> myarray 
array('f', [123.44999694824219, -987.6539916992188, 1.2299999609665927e-20]) 
>>> import struct 
>>> mylistb = struct.pack(str(len(mylist)) + 'f', *mylist) 
>>> myarrayb = myarray.tobytes() 
>>> myarrayb == mylistb 
True 
>>> myarrayb 
b'f\xe6\xf6B\xdb\xe9v\xc4&Wh\x1e' 

Dies kann Ihnen eine Tasche Last der Erinnerung speichern, während immer noch ein variabler Länge Behälter mit den meisten der Liste Methoden mit. Das Array.Array-Ansatz dauert 4 Bytes pro Float mit einfacher Genauigkeit. Der Listenansatz verwendet einen Zeiger auf ein Python-Float-Objekt (4 oder 8 Byte) plus die Größe dieses Objekts; auf einer 32-Bit-CPython Implementierung, dh 16:

>>> import sys 
>>> sys.getsizeof(123.456) 
16 

Gesamt: 20 Bytes pro Artikel besten Fall für ein list, 4 Bytes pro Artikel immer für ein array.array('f').

Answer 7

Für Arrays mit einfacher Präzisionspose gibt es zwei Optionen: struct oder array zu verwenden.

In[103]: import random 
import struct 
from array import array 

floatlist = [random.random() for _ in range(10**5)] 

In[104]: %timeit struct.pack('%sf' % len(floatlist), *floatlist) 
100 loops, best of 3: 2.86 ms per loop 

In[105]: %timeit array('f', floatlist).tostring() 
100 loops, best of 3: 4.11 ms per loop 

So ist struct schneller.