Warum verlangsamt MYSQL höheren LIMIT-Offset die Abfrage?

Question

Szenario kurz: Eine Tabelle mit mehr als 16 Millionen Platten [2 GB groß]. Je höher LIMIT mit SELECT-Offset, desto langsamer ist die Abfrage wird bei der Verwendung von ORDER BY * primary_key *

So

SELECT * FROM large ORDER BY `id` LIMIT 0, 30 

nimmt weit weniger als

SELECT * FROM large ORDER BY `id` LIMIT 10000, 30 

dass nur Aufträge 30 Datensätze und gleiche in jedem Fall. Es ist also nicht der Overhead von ORDER BY.
Wenn nun die letzten 30 Zeilen abgerufen dauert es etwa 180 Sekunden. Wie kann ich diese einfache Abfrage optimieren?

Answer 1

Es ist normal, dass höhere Offsets die Abfrage verlangsamen, da die Abfrage die ersten OFFSET + LIMIT Datensätze abzählen muss (und nur LIMIT von ihnen nehmen). Je höher dieser Wert ist, desto länger wird die Abfrage ausgeführt.

Die Abfrage kann nicht direkt zu OFFSET gehen, weil erstens die Datensätze unterschiedliche Länge haben können und zweitens Lücken aus gelöschten Datensätzen bestehen können. Es muss jeden Datensatz auf seinem Weg überprüfen und zählen.

Unter der Annahme, dass id ist ein PRIMARY KEY eine MyISAM Tabelle, können Sie es, indem man diesen Trick verwendet beschleunigen können:

SELECT t.* 
FROM (
     SELECT id 
     FROM mytable 
     ORDER BY 
       id 
     LIMIT 10000, 30 
     ) q 
JOIN mytable t 
ON  t.id = q.id 

diesen Artikel:

• MySQL ORDER BY/LIMIT performance: late row lookups

Answer 2

Der zeitaufwendigste Teil der beiden Abfragen wird die Zeilen aus der Tabelle abruft. Logischerweise müssen in der LIMIT 0, 30 Version nur 30 Zeilen abgerufen werden. In der Version LIMIT 10000, 30 werden 10000 Zeilen ausgewertet und 30 Zeilen zurückgegeben. Es kann sein, können einige Optimierungs meine die Daten-Lesevorgang durchgeführt werden, aber bedenken Sie folgendes:

Was ist, wenn Sie in den Abfragen eine WHERE-Klausel hatte? Die Engine muss alle Zeilen zurückgeben, die qualifiziert sind, und dann die Daten sortieren und schließlich die 30 Zeilen abrufen.

betrachten auch den Fall, wo Zeilen werden nicht in der ORDER BY-Sequenz verarbeitet. Alle qualifizierenden Zeilen müssen sortiert werden, um zu bestimmen, welche Zeilen zurückgegeben werden sollen.

Answer 3

MySQL kann nicht direkt zum 10000. Datensatz (oder dem 80000. Byte als Vorschlag) gehen, weil es nicht davon ausgehen kann, dass es so gepackt/geordnet ist (oder kontinuierliche Werte von 1 bis 10000 hat). Obwohl es in Wirklichkeit so sein kann, kann MySQL nicht davon ausgehen, dass es keine Lücken/Lücken/gelöschten IDs gibt.

Also, wie Bobs bemerkt, muss MySQL 10000 Zeilen holen (oder durchlaufen 10000. Einträge des Index auf id), bevor die 30 zu finden, zurückzukehren.

EDIT: Zu meinen Punkt

Hinweis zeigen, dass, obwohl

SELECT * FROM large ORDER BY id LIMIT 10000, 30 

langsam sein würde (er),

SELECT * FROM large WHERE id > 10000 ORDER BY id LIMIT 30 

wäre schnell (er) , und würde die gleichen Ergebnisse zurückgeben, vorausgesetzt, es gibt n o fehlt id s (d.h. Lücken).

Answer 4

I hatte genau das gleiche Problem selbst. In Anbetracht der Tatsache, dass Sie eine große Menge dieser Daten sammeln möchten und nicht einen bestimmten Satz von 30 werden Sie wahrscheinlich werden, um eine Schleife laufen und Erhöhen des Offset von 30.

Also, was Sie tun können, stattdessen ist:

1. Halten Sie die letzte ID eines Satzes von Daten (30) (zB lastId = 530)
2. die Bedingung hinzufügen WHERE id > lastId limit 0,30

So können Sie immer Offset eine NULL haben. Sie werden von der Leistungssteigerung begeistert sein.

Answer 5

Ich habe ein interessantes Beispiel gefunden, um SELECT Abfragen zu optimieren ORDER BY id LIMIT X, Y. Ich habe 35 Millionen Zeilen, also brauchte ich 2 Minuten, um eine Reihe von Zeilen zu finden. Hier

ist der Trick:

select id, name, address, phone 
FROM customers 
WHERE id > 990 
ORDER BY id LIMIT 1000; 

Setzen Sie einfach die WHERE mit der letzten id Sie viel, um die Leistung zu erhöhen bekommen. Für mich war es von 2 Minuten bis 1 Sekunde :)

Weitere interessante Tricks hier: http://www.iheavy.com/2013/06/19/3-ways-to-optimize-for-paging-in-mysql/

Es funktioniert auch mit Streichern