Serving dynamisch generierte ZIP-Archive in Django

Question

Wie Benutzern ein dynamisch generierte ZIP-Archiv in Django dienen?

Ich mache eine Website, wo Benutzer eine beliebige Kombination von verfügbaren Bücher wählen und sie als ZIP-Archiv herunterladen können. Ich mache mir Sorgen, dass das Generieren solcher Archive für jede Anfrage meinen Server langsam zum Crawlen bringen würde. Ich habe auch gehört, dass Django derzeit keine gute Lösung für die Bereitstellung dynamisch generierter Dateien bietet.

Answer 1

Die Lösung ist wie folgt.

Verwenden Sie das Python-Modul zipfile, um ein Zip-Archiv zu erstellen, aber als Datei geben Sie StringIO object an (ZipFile-Konstruktor benötigt dateiähnliches Objekt). Fügen Sie Dateien hinzu, die Sie komprimieren möchten. Dann in Ihrer Django-Anwendung zurückzukehren, den Inhalt StringIO Objekts in HttpResponse mit MIME-Typ auf application/x-zip-compressed (oder zumindest application/octet-stream). Wenn Sie möchten, können Sie content-disposition Header festlegen, aber das sollte nicht wirklich erforderlich sein.

Aber Vorsicht, das Erstellen von Zip-Archiven bei jeder Anfrage ist eine schlechte Idee und dies kann Ihren Server töten (ohne Timeouts, wenn die Archive groß sind). Der leistungsorientierte Ansatz besteht darin, die generierte Ausgabe irgendwo im Dateisystem zwischenzuspeichern und sie nur zu regenerieren, wenn Quelldateien sich geändert haben. Eine noch bessere Idee ist es, Archive im Voraus vorzubereiten (zB durch cron job) und Ihren Webserver wie üblich mit Statik zu versorgen.

Answer 2

Kannst du nicht einfach einen Link zu einem „zip-Server“ oder Dingsbums schreiben? Warum muss das Zip-Archiv selbst von Django aus bedient werden? Ein CGI-Skript der 90er Jahre, um eine Zip-Datei zu erzeugen und es in die Standardausgabe zu spucken, ist wirklich alles, was ich hier sehen muss, zumindest soweit ich das sehen kann.

Answer 3

Django verarbeitet nicht direkt die Erzeugung von dynamischem Inhalt (speziell Zip-Dateien). Diese Arbeit würde von Pythons Standardbibliothek erledigt werden. Sie können sich ansehen, wie Sie eine Zip-Datei in Python here dynamisch erstellen können.

Wenn Sie sich Sorgen darüber machen, dass Ihr Server langsamer wird, können Sie die Anfragen zwischenspeichern, wenn Sie viele der gleichen Anfragen erwarten. Sie können Djangos cache framework verwenden, um Ihnen dabei zu helfen.

Insgesamt können ZIP-Dateien CPU-intensiv sein, aber Django sollte nicht langsamer als ein anderes Python-Web-Framework sein.

Answer 4

Ich schlage vor, zum Speichern dieser temporären Zip-Dateien separates Modell zu verwenden. Sie können zip on-fly erstellen, speichern, um mit filefield zu modellieren und schließlich URL an Benutzer senden.

Vorteile:

• Serving statische ZIP-Dateien mit django Medien-Mechanismus (wie üblich Uploads).
• Fähigkeit zur Bereinigung abgestanden Zip-Dateien durch regelmäßige cron Skriptausführung (das Datumsfeld von Zip-Datei-Modell verwenden kann).

Answer 5

Hier ist eine Django-Ansicht, dies zu tun:

import os 
import zipfile 
import StringIO 

from django.http import HttpResponse 


def getfiles(request): 
    # Files (local path) to put in the .zip 
    # FIXME: Change this (get paths from DB etc) 
    filenames = ["/tmp/file1.txt", "/tmp/file2.txt"] 

    # Folder name in ZIP archive which contains the above files 
    # E.g [thearchive.zip]/somefiles/file2.txt 
    # FIXME: Set this to something better 
    zip_subdir = "somefiles" 
    zip_filename = "%s.zip" % zip_subdir 

    # Open StringIO to grab in-memory ZIP contents 
    s = StringIO.StringIO() 

    # The zip compressor 
    zf = zipfile.ZipFile(s, "w") 

    for fpath in filenames: 
     # Calculate path for file in zip 
     fdir, fname = os.path.split(fpath) 
     zip_path = os.path.join(zip_subdir, fname) 

     # Add file, at correct path 
     zf.write(fpath, zip_path) 

    # Must close zip for all contents to be written 
    zf.close() 

    # Grab ZIP file from in-memory, make response with correct MIME-type 
    resp = HttpResponse(s.getvalue(), mimetype = "application/x-zip-compressed") 
    # ..and correct content-disposition 
    resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename 

    return resp 

Answer 6

Dieses Modul erzeugt und Bäche ein Archiv: https://github.com/allanlei/python-zipstream

(Ich bin nicht mit der Entwicklung verbunden Genau darüber mit zu denken..)

Answer 7

Schamloser Stecker: Sie können django-zipview für den gleichen Zweck verwenden.

Nach einem pip install django-zipview:

from zipview.views import BaseZipView 

from reviews import Review 


class CommentsArchiveView(BaseZipView): 
    """Download at once all comments for a review.""" 

    def get_files(self): 
     document_key = self.kwargs.get('document_key') 
     reviews = Review.objects \ 
      .filter(document__document_key=document_key) \ 
      .exclude(comments__isnull=True) 

     return [review.comments.file for review in reviews if review.comments.name] 

Answer 8

Für python3 i verwenden, um die io.ByteIO seit StringIO dies zu erreichen, ist veraltet. Ich hoffe es hilft.