MySQL-Optimierung für soziale Freunde Graph (Gruppe von Freunden)

Question

Ich habe ein bisschen ein Problem mit einer Abfrage und Skalierung dieser Abfrage für die Leistung mit Benutzern mit einer hohen Anzahl von Freunden. Das Ziel der Abfrage ist die Top „-Aktivitäten von deinen Freunden in den letzten 30 Tagen durchgeführt greifen Hier ist meine Frage:.

SELECT a.activity_id, b.activity_name, count(a.activity_id) as total_count 
FROM friends as f 
INNER JOIN activities as a on (a.user_id = f.friend_id 
and a.created_at >= DATE_SUB(NOW(), INTERVAL 30 DAY) 
INNER JOIN activity as b on a.activity_id = b.activity_id 
WHERE f.user_id = 1 and f.is_approved = 1 
GROUP by a.activity_id 
ORDER by total_count DESC 
LIMIT 5 

Diese Abfrage dauert wie 25 Sekunden für alle Benutzer, egal wie groß oder klein laufen ihre Freunde graph ist Indizes sind unter:.

Table: activities 
PRIMARY: [act_id] Other: [activity_id, user_id], [user_id, created_at], [created_at] 

Table: friends 
PRIMARY: [user_id, friend_id] Other: [user_id, is_approved], [friend_id] 

Table: activity: 
PRIMARY: [activity_id] 

Jede Hilfe sehr geschätzt

UPDATE würde. Hier ist die erklären

id select_type  table key    key_len   ref    rows Extra 
1 SIMPLE F ref  friend_lookup 5 const,const  795  Using temporary; Using filesort 
1 SIMPLE A ref  user_id   4 F.friend_id  58  Using where 
1 SIMPLE B  eq_ref PRIMARY   4 P.activty_id 1  Using where 

Answer 1

Robin ist korrekt im Datumsfeld. Wenn Sie eine Funktion verwenden, muss diese für so viele Einträge berechnet werden, für die sie gescannt wird. Die Art, wie ich es unten verwende, verwendet MySQL-Variablen. Ich berechne es ONCE in ein @StartDate und verwende den THAT-Wert für die Join-Klausel.

Die einzige zusätzliche Sache, die ich änderte, war das Hinzufügen der "STRAIGHT_JOIN" -Klausel. In vielen Fällen habe ich festgestellt, dass es mir und anderen geholfen hat, die Abfrage zu optimieren. Es verhindert, dass MySQL versucht, die Abfrage auf eine andere Weise zu interpretieren, indem möglicherweise zuerst die Aktivitätstabelle betrachtet wird, da es sich um eine kleinere Datei handelt, und dann von dieser zurückverlinkt wird. "STRAIGHT_JOIN" teilt dem Optimierer mit, dies in der angegebenen Reihenfolge zu tun.

SELECT STRAIGHT_JOIN 
     a.activity_id, 
     b.activity_name, 
     count(a.activity_id) as total_count 
    FROM 
     (select @StartDate := date_Sub(now(), interval 30 day) sqlvars, 
     friends as f 
     INNER JOIN activities as a 
      on a.user_id = f.friend_id 
      and a.created_at >= @StartDate 
     INNER JOIN activity as b 
      on a.activity_id = b.activity_id 
    WHERE 
      f.user_id = 1 
     and f.is_approved = 1 
    GROUP by 
     a.activity_id 
    ORDER by 
     total_count DESC 
    LIMIT 5 

Per Feedback

Wenn das der Fall ist, und mit diesem „30 Tagen rollt vor“ -Zyklus, dann würde ich auf eine nächtliche Tabellenerstellung zurückgreifen, die von Benutzer-ID nichts anderes als eine Schöpfung ist, Aktivität und zählen und Abfrage von dieser Stelle ...

create table DailyRollupActivity 
select a.user_id, 
     a.activity_id, 
     count(*) total_count 
    from 
     (select @StartDate := date_Sub(now(), interval 30 day) sqlvars, 
     Activities a 
    where 
     a.created_at >= @StartDate 
    group by 
     a.User_ID, 
     a.Activity_ID 

Stellen Sie sicher, Sie auf dieser aggregierten täglichen Tabelle durch die (User-ID und der Gesamtzahl), einen Index haben dann diese direkt auf dem Freund ID Abfrage von TOTAL_COUNT bestellt d escending und limit 5. Kleiner zu zahlender Preis, um ein nächtliches Trigger/Ereignis/Skript zu haben, das ausgeführt wird, um dieses ONCE zu erstellen. Wie wichtig ist es, die Aktivität auch für das aktuelle Datum zu sehen. Ist die Aktivität, die diese eintägige Aktivität einschneidend macht, etwas, das Sie dem Benutzer sonst noch präsentieren möchten?

Answer 2

Es scheint, als wäre es an der Zeit, ein wenig zu denormalisieren.

Wenn Sie nur einen Grad der Trennung speichern, ist dies ziemlich einfach. Loggen Sie die "Freundschaftsaktivität" für jeden der Freunde zum Zeitpunkt der Aktivität ein. Es verteilt die Last auf die Anfrage der Person, die die Aktivität ausführt.

Behalten Sie dies im Hinterkopf - nachdem eine Aktivität stattfindet, gibt es keine Möglichkeit, dass sie "nicht stattfindet" (obwohl Sie den Datensatz möglicherweise aus einem Feed löschen). Dies ermöglicht Ihnen eine eher transaktionale Protokollierung, um der Leistung gerecht zu werden.

Answer 3

Start, indem Sie versuchen, die Abfrage zu, dies zu ändern:

$str_date = date('Y-m-d H:i:s', strtotime('today -30 Days')); 

SELECT a.activity_id, b.activity_name, count(a.activity_id) as total_count 
FROM ( SELECT friend_id 
     FROM friends 
     WHERE user_id = 1 and is_approved = 1) as f 
INNER JOIN ( SELECT user_id, activity_id 
       FROM activities 
       WHERE created_at >= {$str_date}) as a 
on a.user_id = f.friend_id 
INNER JOIN activity as b on a.activity_id = b.activity_id 
GROUP by a.activity_id 
ORDER by total_count DESC 
LIMIT 5 

Basicly filtert user_id und is_approved bevor die anderen Tabellen verknüpft. Und es ist besser, dieses Datum in PHP (oder in welcher Sprache) zu generieren und diesen Wert in MySQL zu verwenden, um dann MySQL genau dasselbe (vielleicht tausende Male) berechnen zu lassen.