Datenspeicherlösung für die Tag-Suche

Question

Ich habe Millionen von Elementen, die nach einem vorberechneten Wert sortiert sind. Jedes Element hat viele boolesche Attribute. Lassen Sie uns sagen, dass es etwa zehntausend mögliche Attribute gibt, von denen jedes ein Dutzend hat.

Ich würde gerne in der Lage in Echtzeit (einige Millisekunden) die oberen n Elemente gegeben ~ eine beliebige Kombination von Attributen.

Welche Lösung würden Sie empfehlen? Ich suche nach etwas extrem Skalierbarem.

-
- Wir suchen bei mongodb und Array-Index, sehen Sie eine Beschränkung?
- SolR ist eine mögliche Lösung, aber wir brauchen keine Textsuchfunktionen.

Answer 1

MongoDB verarbeiten kann, was Sie wollen, wenn Sie diese Ihre Objekte wie gespeichert

{ score:2131, attributes: ["attr1", "attr2", "attr3"], ... } 

Dann wird die folgende Abfrage alle Einzelteile wird übereinstimmen, die att1 und attr2

c = db.mycol.find({ attributes: { $all: [ "attr1", "attr2" ] } }) 

aber gewonnen‘haben t es übereinstimmen

c = db.mycol.find({ attributes: { $all: [ "attr1", "attr4" ] } }) 

die Abfrage gibt einen Cursor zurück, wenn Sie möchten, dass dieser Cursor sortiert wird, t hen nur die Sortierparameter auf die Abfrage hinzufügen, wie so

c = db.mycol.find({ attributes: { $all: [ "attr1", "attr2" ] }}).sort({score:1}) 

einen Blick auf Advanced Queries haben, um zu sehen, was möglich ist.

Geeignete Indizes können so eingestellt werden, wie

db.mycol.ensureIndex({attributes:1, score:1}) 

folgt Und Sie können Performance-Informationen mit

db.mycol.find({ attributes: { $all: [ "attr1" ] }}).explain() 

Mongo erklärt, wie viele Objekte wurden gescannt, wie lange der Betrieb nahm und verschiedene andere Statistiken erhalten .

Answer 2

Genau damit kann Mongo umgehen. Die Tatsache, dass Ihre Attribute boolesch sind, hilft hier. Ein mögliches Schema ist unten aufgeführt:

[ 
    { 
     true_tags:[attr1, attr2, attr3, ...], 
     false_tags: [attr4, attr5, attr6, ...] 
    }, 
] 

Dann können wir Index auf true_tags und false_tags. Und es sollte effizient sein, mit $ in, $ all, ... Query Operatoren zu suchen.

Answer 3

Redis wäre ein perfekter Kandidat für

• „die Top-n-Produkte“ für „Millionen von Artikeln nach Punkten geordnet“ sein

Redis hat in der Datenstruktur einen eingebauten, den Sie mit start von: Sorted Set => jedes Mitglied eines Sorted Set ist mit Score verbunden. Die beispielsweise nach Punkten mit ZRANGEBYSCORE gewählt werden:

ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT offset count] 

ich Sie ermutigen, bei Sorted Set commands zu sehen und ein Gefühl für Redis, wie Ihr Problem erhalten (wie es heißt) fordert sie. Sie können natürlich beliebig viele Attribute innerhalb eines einzelnen Set-Elements beibehalten.

---

Soweit MongoDB, da Sie Millionen erwähnt, es sei denn, Sie inkrementelle Abfragen gebogen sind, können für Ihr Problem zu arbeiten, würde ich kein Unter zweite Antwort erwarten.

Als @nickdos erwähnt Solr Relevancy ist eine ziemlich mächtige Funktion, aber die Anzahl der Attribute wird ein Problem sein, da es alle diese Attribute im Speicher für jedes Element gespeichert werden müssen. Obwohl ein Dutzend für jeden nicht so schlecht sein kann => versuche es einfach.