effiziente Art und Weise mit Sellerie gesamte Tabelle scannen

Question

Auf unserer Website wir stündlich Berichte für unsere Nutzer, unsere erste Lösung war diese erstellt werden sollen (ich bin mit Sellerie für die):

hier ist das, was ich benutze für die Erstellung von Bericht für einen einzelnen Benutzer:

@app.task 
def create_report(user): 
    # this method creates report for given user 
    pass 

und dann habe ich diese Crontask, Sellerie läuft diese Aufgabe alle 60 Minuten:

@app.task 
def report_cron(): 
    for user in User.objects.all(): 
     create_report.delay(user) 

diese soultion fügt die ganze Tabelle von Benutzern in Sellerie Warteschlange (wir benutzen rabbitmq).

derzeit funktioniert diese Lösung gut (wir haben nicht viele Benutzer), aber können Sie mit einer besseren Lösung für dieses Problem helfen?

Answer 1

Ich werde einige Dinge erraten müssen, weil Ihre Frage nicht viele Informationen enthält.

Angenommen, Ihr Bericht ist ein Modell, Sie könnten sie erstellen, ohne sie zu speichern, und dann bulk_create verwenden, um eine einzige Anforderung zu haben.

Nehmen wir an, Sie müssen auf Fremdschlüssel in Ihrem Benutzermodell zugreifen, sollten Sie select_related und prefetch_related verwenden, um Ihre Anfrage zu optimieren. Im Idealfall sollte Ihre Aufgabe nicht mehr als eine Anfrage für alle Ihre Benutzer plus eins für viele bis viele Felder, die Sie benötigen, und eine für die Erstellung aller Berichte.

Das ist alles, was ich ohne weitere Informationen empfehlen könnte. Vielleicht sollten Sie bei jeder Benutzer-Iteration einen Test hinzufügen, um sicherzustellen, dass Ihre Aufgabe nicht länger als eine Stunde dauert. Sie sind also nicht überrascht, wenn das passiert.

Answer 2

Es ist nichts besonders falsch mit diesem Ansatz, obwohl es hängt davon ab, wie lange jeder Bericht dauert. Zum Beispiel, wenn es eine Millisekunde pro Bericht benötigt, dann wird es den größten Teil der gesamten Zeit damit verbringen, Nachrichten auf und von der Warteschlange zu setzen und db-Verbindungen herzustellen. Über die einzige Optimierung, die ich vornehmen würde, ist die Stapelverarbeitung. Sie können also einstellen, wie viele Berichte pro Aufgabe generiert werden. Dann könnten Sie verschiedene Losgrößen ausprobieren, um das beste Gleichgewicht zu finden.

Mit Warteschlangen ist dieser Weg auch großartig, da Sie durch Hinzufügen weiterer Worker skalieren können.

Der Nachteil ist, dass die Berichte nicht genau stündlich sind, abhängig davon, wie lange Nachrichten darauf warten, verarbeitet zu werden.