Um eine große Datei in einem ZIP mit Java

Question

zu komprimieren Ich habe eine große Datei (~ 450 Mbyte) durch die Java-Klasse ZipOutputStream komprimieren müssen. Diese große Dimension verursacht ein Problem des "OutOfMemory" -Fehlers meines JVM Heap Space. Dies geschieht, weil die Methode "zos.write (...)" den gesamten Dateiinhalt vor der Komprimierung in einem internen Byte-Array speichert.

  origin = new BufferedInputStream(fi, BUFFER); 
     ZipEntry entry = new ZipEntry(filePath); 
     zos.putNextEntry(entry); 

     int count; 
     while ((count = origin.read(data, 0, BUFFER)) != -1) 
     { 
      zos.write(data, 0, count); 
     } 
     origin.close(); 

Die natürliche Lösung wird den Heap-Speicherplatz des JVM zu vergrößern, aber ich würde gerne wissen, ob es eine Methode ist, diese Daten in einer Streaming-Weise zu schreiben. Ich brauche keine hohe Kompressionsrate, damit ich den Algorithmus auch ändern kann.

hat jemand eine Idee?

Answer 1

Entsprechend Ihrem Kommentar zu Sams Antwort haben Sie offensichtlich einen ZipOutputStream erstellt, der einen ByteArrayOutputStream umschließt. Der ByteArrayOutputStream speichert das komprimierte Ergebnis natürlich im Speicher zwischen. Wenn Sie es auf die Festplatte geschrieben haben möchten, müssen Sie den ZipOutputStream um einen FileOutputStream wickeln.

Answer 2

Es gibt eine Bibliothek namens TrueZip, die ich in der Vergangenheit mit gutem Erfolg benutzt habe, um so etwas zu tun.

Ich kann nicht garantieren, dass es auf der Pufferungsfront besser geht. Ich weiß, dass es viel mit seiner eigenen Kodierung macht und nicht abhängig von der Zip-API des JDK.

Also es ist meiner Meinung nach einen Versuch wert.

Answer 3

ZipOutputStream ist stream-basiert, es hält den Speicher nicht fest. Ihr PUFFER ist möglicherweise zu groß.

Answer 4

Ich frage mich, ob es, weil Sie den Inhalt in einem ZipEntry speichern, vielleicht lädt es im Grunde alle seinen Inhalt vor dem Schreiben der ZipEntry. Müssen Sie Zip verwenden? Wenn es nur einen Datenstrom gibt, den Sie komprimieren müssen, schauen Sie stattdessen in den GZIPOutputStream. Ich glaube, dass es nicht das gleiche Problem hätte.

Hoffe, das hilft.