Entpacken Sie den Ordner nach Chunks in Python

Question

Ich habe eine große Zip-Datei mit vielen Dateien, die ich gerne entpacken möchte, um zu viel Speicher zu vermeiden.

Ich habe versucht, Python-Modul zipfile zu verwenden, aber ich habe keine Möglichkeit gefunden, das Archiv nach Chunk zu laden und auf der Festplatte zu extrahieren.

Gibt es einen einfachen Weg, das in Python zu tun?

EDIT

@ steven-rumbalski darauf richtig, dass zipfile richtig große Dateien verarbeiten, indem die Dateien nacheinander Entpacken ohne das komplette Archiv zu laden.

Mein Problem hier ist, dass meine Zip-Datei auf AWS S3 ist und dass meine EC2-Instanz eine so große Datei nicht im RAM laden kann, also lade ich sie per Chunk herunter und möchte sie Stück für Stück entpacken.

Answer 1

können Sie verwenden zipfile (oder möglicherweise tarfile) wie folgt:

import zipfile 

def extract_chunk(fn, directory, ix_begin, ix_end): 
    with zipfile.ZipFile("{}/file.zip".format(directory), 'r') as zf: 
     infos = zf.infolist() 
     print(infos) 
     for ix in range(max(0, ix_begin), min(ix_end, len(infos))): 
       zf.extract(infos[ix], directory) 
     zf.close() 

directory = "path" 
extract_chunk("{}/file.zip".format(directory), directory, 0, 50) 

Answer 2

Sie benötigen keine besondere Art und Weise ein großes Archiv auf der Festplatte zu extrahieren. Die Quelle Lib/zipfile.py zeigt, dass zipfile bereits speichereffizient ist. Beim Erstellen eines Objekts zipfile.ZipFile wird nicht die gesamte Datei in den Speicher gelesen. Es liest nur das Inhaltsverzeichnis für die ZIP-Datei ein. ZipFile.extractall() extrahiert Dateien einzeln nacheinander mit shutil.copyfileobj() Kopieren aus einer Unterklasse von io.BufferedIOBase.

Wenn alles, was Sie tun möchten, ist ein einmaliger Extraktion Python eine Verknüpfung von der Befehlszeile lautet:

python -m zipfile -e archive.zip target-dir/