Öffnen zum Schreiben und Lesen einer großen Datei Python

Question

Ich versuche, eine große Binärdatei (> 5 GB) mit os.open, mmap und from_buffer() zu lesen.

Lauf fd = os.open(filePath, O_RDWR) der Fehler OSError: [Errno 22] Invalid argument: H:\\xyz.wdp ausgelöst. Ich erkannte, dass das Problem war, dass die Datei zu groß war, da die Verwendung ähnlicher, aber kleinerer Dateien, O_WRONLY oder O_RDONLY, funktionierte. Leider, wenn ich O_WRONLY oder O_RDONLY verwende, wird der Zugriff für from_buffer() Funktion verweigert (TypeError: mmap can't modify a readonly memory map.).

Mein Beispiel-Code ist:

class StructData(Structure): 
    _pack_ = 1 
    _fields_ = [('bin', c_ubyte)] 

fd = os.open(filePath, os.O_RDWR) 
mmap_file = mmap.mmap(fd, length=80, access=mmap.ACCESS_WRITE, offset=0) 
d_array = StructData*80 
data = d_array.from_buffer(mmap_file) 

Können Sie mir helfen, dieses Problem zu beheben? Ich möchte hinzufügen, ich arbeite mit großen Dateien, und ich brauche es läuft sehr schnell, ich möchte vermeiden, struct.unpack und so weiter zu verwenden.

Vielen Dank!

Answer 1

Aus dem Pfad scheint es, als ob Sie Windows verwenden. Die Dokumentation (https://docs.python.org/2/library/os.html#os.open) besagt, dass man os.O_BINARY verwenden sollte, um Dateien im Binärmodus unter Windows zu öffnen. Haben Sie Folgendes versucht? (Falls Sie könnten die Datei erschaffen ...)

fd = os.open(filePath, os.O_RDWR | os.O_CREAT | os.O_TRUNC | os.O_BINARY) 

Ich weiß nicht, die Situation in Windows über Unterstützung für große Dateien: https://docs.python.org/2/library/posix.html