Zip riesige einfache Dateien (+ 20GB) mit Python ZIPLIB-Datei

Question

Ich bekomme DeprecationWarning: Struct Integer Überlauf Maskierung ist veraltet Fehler in z.write, wenn die Datei zu 4GB ankommt.

Mein Code:

def compressOutputFile(outputFileName, outputPath=UXConfig.myPath): 
    os.chdir(outputPath) 
    z= zipfile.ZipFile(outputFileName+'.zip', 'wb',zipfile.ZIP_DEFLATED,allowZip64=True) 
    UXUtils.log('Writting file') 
    z.write(outputFileName) 
    UXUtils.log('Writting finished') 
    z.close() 
    tempFiles.append(outputPath+outputFileName) 

Die Datei beschädigt ist, nicht weil ich öffnen kann und die Linien sehen.

Answer 1

habe ich nie das zipfile Modul aber ich verwendet, um eine with Aussage und versuchte, sie gegen eine 8 GB-Datei und es hat funktioniert (von 8 GB bis 44MB: o):

def zipItUp(file): 
    with zipfile.ZipFile('zipped.zip', 'w', compression=zipfile.ZIP_DEFLATED, allowZip64=True) as zipped: 
     zipped.write(file) 

sehen, ob dies alles tut. Wenn nicht, denke ich, dass die einzige andere Lösung, die ich mir vorstellen kann, das Partitionieren Ihrer Datei und dann das Zip auf jedem Stück ist.

EDIT: Wenn Sie Python verwenden 2.6, dann erwägen, einschließlich der contextlib Modul den Ausgang Fehler zu behandeln, wie in diesem topic verwiesen.

Hier würde der überarbeitete Code sein:

import contextlib 

def zipItUp(file): 
    with contextlib.closing(zipfile.ZipFile('zipped.zip', 'w', compression=zipfile.ZIP_DEFLATED, allowZip64=True)) as zipped: 
     zipped.write(file) 

Prüfen Sie, ob das funktioniert. Prost!