Sqlite: Wie beschleunigt man diese Sqlite-Abfragen?

Question

Gegeben Ich habe einen großen Tisch in meiner lokalen SQLite-Datenbank (ca. 5'000'000 Zeilen) mit einem Schema wie dieses

id (integer, einzigartig), z.B. 6543

description (Text), z.B. "any meaningful text"

tags (Text), z.B. "(living)(home)(garden)"

Also, wenn ich brauche alle Einträge zählen getaggt ‚zu Hause‘ und ‚Garten‘, das tue ich

SELECT count(id) FROM tbl WHERE tags LIKE ‘%(home)%' AND tags LIKE '%(garden)%'

Offensichtlich ist dies nimmt wie immer. (Ich testete es mit einer 2'000'000 Einträge Tabelle Version und es dauerte 93 Sekunden ...)

Wäre es klug, neue Spalten einzuführen, eine für jedes Tag (fünf sind max)?

Also würde ich Spalten wie

id | description | tag1 | tag2 | tag3 | tag4 | tag5 34 | blahblah | home |garden| null | null | null

Die entsprechende Abfrage aussehen würde

SELECT count(id) FROM tbl WHERE (tag1 = 'home' OR tag2 = 'home' OR tag3 = 'home' OR tag4 = 'home' OR tag5 = 'home') AND (tag1 = 'garden' OR tag2 = 'garden' OR tag3 = 'garden' OR tag4 = 'garden' OR tag5 = 'garden')

Ist das wirklich besser?

Ich habe einfach keine Ahnung, was das Beste ist. Ich bin sicher, dass es eine Möglichkeit gibt, die Abfragezeit zu verringern ... Aber ich weiß es nicht.

Jede Hilfe würde sehr geschätzt werden!

Oder vielleicht haben Sie eine völlig neue Idee, wie Sie die Daten und/oder Abfrage umstrukturieren, um es schneller zu machen.

Vielen Dank im Voraus!

Answer 1

In dem Moment, in dem Sie eine Bedingung ...<field> LIKE '%<sub-str>%' verwenden, lösen Sie einen vollständigen Tabellenscan und damit die lange Zeit aus. Dennoch, für 2M Datensätze mit einer Zeichenfolge (Feld tags) von sagen wir 64 Zeichen, scheint es mir 93 Sekunden es viel zu lange Zeit. Ich vermute, dass das Problem nicht vom vollständigen Scan herrührt.

Ich würde vorschlagen, dass Sie die Zeit, überprüfen sie die folgende Abfrage dauert:

select count(*) 
    from <tablename> 
where tags like '(home)%' ; 

Für die 2M Reihen, dies nicht als ein paar Sekunden dauern sollte. Wenn dies der Fall ist, würde ich woanders nach Leistungsproblemen suchen.

Darüber hinaus können Sie Ihre Tags wie |living|home|garder|... speichern und die Suche nach tags like '%|home|%' [dies wird Ihr Problem nicht lösen, aber Sie sparen etwas Platz, da Sie )( mit | ersetzen].

EDIT:

Ich habe erkannt, dass man zwei Bedingungen verwenden (WHERE ... AND).Versuchen Sie Folgendes:

SELECT count(id) 
    FROM tbl 
WHERE tags like '%(home)%(garden)%' 
    OR tags like '%(garden)%(home)%' ; 

Answer 2

Wenn Sie mehr als eine Instanz von der gleichen Sache haben, sollten Sie es in mehrere Zeilen setzen. In diesem Fall wäre dies für die Tags in einer separaten Tabelle führen:

CREATE TABLE tags (
    id INTEGER REFERENCES tbl(id), 
    tag TEXT 
); 

CREATE INDEX tags_index ON tags(tag); 

Sie können dann mit einfachen Lookups auf der tag Spalte die Abfrage tun, die wegen des Index effizient sind:

SELECT count(*) 
FROM tbl 
WHERE id IN (SELECT id FROM tags WHERE tag = 'home') 
    AND id IN (SELECT id FROM tags WHERE tag = 'garden'); 

Alternativ können Sie ein compound query:

SELECT count(*) 
FROM (SELECT id FROM tags WHERE tag = 'home' 
     INTERSECT 
     SELECT id FROM tags WHERE tag = 'garden');