Beste Technik zum Zwischenspeichern von Ergebnissen aus selten wechselnden Abfragen

Question

Ich habe eine PHP-Webanwendung, in der bestimmte Daten wöchentlich geändert werden, aber häufig gelesen werden.

Die SQL-Abfragen, die die Daten und den PHP-Code für die HTML-Ausgabe abrufen, sind ziemlich komplex. Es gibt mehrere Tabellen-Joins und zahlreiche Berechnungen - aber sie ergeben eine recht einfache HTML-Tabelle. Benutzer werden gruppiert, und die Tabelle ist für jede Gruppe jede Woche gleich, aber für verschiedene Gruppen unterschiedlich. Ich könnte potenziell Hunderte von Tabellen für Tausende von Benutzern haben.

Aus Leistungsgründen möchte ich diese Daten zwischenspeichern. Anstatt diese Abfragen und Berechnungen jedes Mal auszuführen, wenn jemand auf die Seite klickt, möchte ich einen wöchentlichen Prozess ausführen, um die Tabelle für jede Gruppe zu generieren, die mir bei Bedarf einen einfachen Lesevorgang ermöglicht.

Ich würde gerne wissen, welche Techniken Sie erfolgreich oder ohne Erfolg verwendet haben, um so etwas zu erreichen?

Optionen kann ich sehen, umfassen:

• das HTML-Ergebnis der Berechnungen in einer MySQL Tabelle gespeichert, die von Benutzergruppe
• die resultierenden Daten in einer MySQL Tabelle gespeichert, die von Benutzergruppe identifiziert (schwer da es keine feste Anzahl von Datenelementen ist)

Alle anderen Vorschläge willkommen wäre, die Seitenausgabe in statischen Dateien Caching!

Answer 1

Es gibt in der Tat ein paar Optionen:

• Prerender die Seiten auf einer wöchentlichen Basis und sie dann „statisch“ dienen.
• Verwenden Sie einen Cache (z. B. Squid), um solche Antworten für eine Woche auf einer ersten Chance zu cachen. Beispielsweise können Sie die Caching-Richtlinie so konfigurieren, dass Anforderungen, die zu einer bestimmten Seite gehen (z. B. very_long.php? ...), separat vom Rest der Website zwischengespeichert werden.
• Stellen Sie sicher, dass Sie das DB-Caching aktivieren. MySQL hat ein eigenes Caching und Sie können es so einstellen, dass wiederholte lange Abfragen nicht neu berechnet werden.

Answer 2

vor allem, Profil. Überprüfen Sie, ob diese Abfragen wirklich viel Zeit in Anspruch nehmen. Vielleicht hat MySQL Query Result Caches bereits die Arbeit für Sie erledigt.

Wenn sie wirklich Ressourcen verbrauchen, was ich tun würde, ist eine Tabelle mit den berechneten Ergebnissen zu erstellen, und eine Prozedur, die alle erforderlichen verwalten, um bei Änderungen der Daten aufgerufen werden. Diese häufigen Lesevorgänge sollten nur zu den vorberechneten Daten gehen, ohne sich zu vergewissern, ob sie noch gültig sind.

fügen Sie einfach einige Hooks zu den Prozeduren hinzu, die die Basisdaten modifizieren, oder Datenbanktrigger, wenn Sie können, diese würden selten (wöchentlich?) Ausgeführt werden und könnten viel Zeit brauchen, um Ergebnisse zu generieren.

Answer 3

In der Funktion, die Tabelle zu erzeugen, ist es das Ergebnis in eine Datei auf der Festplatte speichern machen:

/cache/groups/1.txt 
/cache/groups/2.txt 

Sie müssen nicht unbedingt einen wöchentlichen Batch-Job für sie ausführen müssen, beim Aufruf der Funktion Holen Sie die Daten, prüfen Sie, ob der Cache veraltet ist (oder nicht vorhanden ist).Wenn ja, generieren und cachen Sie die Ergebnisse dann. Wenn nicht, gib einfach die zwischengespeicherte Datei zurück.

function getGroupTable($groupId) { 
    if (cacheIsStale($groupId)) { 
     generateCache($groupId); 
    } 
    return file_get_contents($cacheFile); 
} 

Die cacheIsStale() Funktion konnte nur Blick auf die file's timestamps für Frische zu testen.

Answer 4

Es scheint, dass Sie bereits das meiste davon abgedeckt haben. Eine andere Möglichkeit, die Tabellendaten nicht groß zu verwenden, ist memcache zu verwenden, um die Ergebnisse zwischenzuspeichern - dies wäre wahrscheinlich die schnellere Lösung, obwohl Sie Speicheranforderungen überprüfen müssten, um zu sehen, ob es eine praktikable Option ist.