Wie entpacke ich einen Binärdateipuffer in zwei Variablen?

Question

Ich habe eine Binärdatei, die 4-Byte-Binärwerte enthält, die jeweils einen Satz von zwei short int darstellen. Ich weiß, dass ich einen einzigen 4-Byte-Binärwert in zwei kurze ganzen Zahlen wie folgt auspacken:

from struct import unpack 

fval = b'\xba\x1e\x99\x01' #actualy read from some file 
qualdip, azi = unpack('hh', fval) 
print(type(qualdip), qualdip) 
print(type(azi), azi) 

>>> <class 'int'> 7866 
>>> <class 'int'> 409 

Nun, ich den gesamten Puffer entpacken möge. Im Moment mache ich:

qualdips = [] 
azis = [] 
with open(bfile, 'rb') as buf: 
    fval = buf.read(4) 
    while fval: 
     qualdip, azi = unpack('hh', fval) 
     azis.append(azi) 
     qualdips.append(qualdip) 
     fval = buf.read(4) 

, die eine Minute für eine 277MB-Datei übernimmt und scheint einen großen Speicher-Overhead zu erzeugen.

Ich möchte den gesamten Filebuffer direkt in die beiden Variablen entpacken. Wie erreiche ich das?

Ich vermute, dass struct.unpack_from ist mein Freund, aber ich bin mir nicht sicher, wie man das Format formulieren.

with open(bfile, 'rb') as buf: 
    qualdip, azi = unpack_from('hh', buf) 

extrahiert nur zwei Werte, und (ich weiß, die Anzahl der Elemente meiner Datei)

with open(bfile, 'rb') as buf: 
    qualdip, azi = unpack_from('72457091h72457091h', buf) 

erwartet diese lächerliche Menge an Ausgangsvariablen. Also:

Wie tun Ich entpacke den gesamten Dateipuffer direkt in die beiden Variablen?

Answer 1

Ich weiß nicht, einen Weg, um die Werte in zwei Listen direkt zu entpacken, aber Sie können die gesamte Datei in ein Tupel auszupacken und in Scheiben schneiden sie dann in zwei:

fval = b'\xba\x1e\x99\x01' * 3 
unpacked= unpack('3h3h', fval) 
qualdip = unpacked[0::2] 
azi = unpacked[1::2] 

Alternativ islice zum Erstellen eine iterator, die den Speicherverbrauch reduzieren wird.

qualdip = islice(unpacked, 0, None, 2) 
azi = islice(unpacked, 1, None, 2) 

Answer 2

Ich denke, das könnte ein schneller Weg, es zu tun:

import os 
import struct 

def pairwise(iterable): 
    "s -> (s0,s1), (s2,s3), (s4, s5), ..." 
    a = iter(iterable) 
    return zip(a, a) 

bfile = 'bfile.bin' 
filesize = os.stat(bfile).st_size 
numvals = filesize // 2 

with open(bfile, 'rb') as bf: 
    fmt = '{}h'.format(numvals) 
    values = struct.unpack(fmt, str(bf.read())) 

qualdips, azis = zip(*pairwise(values))