Solr facettierte Suche Leistungsempfehlungen

Question

Wir haben eine Solr-Instanz mit 86.315.770 Dokumenten. Es verwendet bis zu 4 GB Arbeitsspeicher und wir benötigen es für die Facettierung auf einem Token-Feld namens Content. Die Indexgröße auf der Festplatte beträgt 23 GB.

Warum stehen wir einem Token-Feld gegenüber? Weil wir die obersten "n" am häufigsten verwendeten Begriffe in diesem Feld abfragen wollen. Problem ist, es dauert viel zu lange, um solche Abfragen durchzuführen. Gibt es eine Möglichkeit, die Zeiten zu verbessern, wenn man Facettierungen durchführt? Irgendwelche Empfehlungen?

Vielen Dank im Voraus.

Answer 1

Da Solr Facetten in In-Memory-Datenstrukturen berechnet, ist die Facettenberechnung wahrscheinlich CPU-gebunden. Der Code zum Berechnen von Facetten ist bereits hoch optimiert (die getCounts Methode in UnInvertedField für ein mehrwertiges Feld).

Eine Idee wäre, die Berechnung zu parallelisieren. Vielleicht ist der einfachste Weg, dies zu tun, Ihre Sammlung in mehrere Shards aufzuteilen, wie in Do multiple Solr shards on a single machine improve performance? beschrieben.

Wenn Ihr Wörterbuch klein genug ist und Abfragen eine begrenzte Anzahl von Formularen annehmen können, können Sie ein anderes System einrichten, das die Zählmatrix für jedes (Term, Query) -Paar verwaltet. Wenn Sie z. B. nur Termabfragen zulassen, müssen Sie die Anzahl für jedes Termepaar beibehalten. Beachten Sie, dass dies abhängig von der Gesamtzahl der Begriffe und Abfragen viel Speicherplatz erfordern würde. Wenn Sie die Zählungen nicht genau benötigen, ist es vielleicht am einfachsten, diese Zählwerte in einem Batch-Prozess zu berechnen. Sonst wäre es (möglich, aber) ein wenig schwierig, die Anzahl der Zähler mit Solr zu synchronisieren.

Answer 2

Sie könnten die topTerms Funktion von LukeRequestHandler verwenden.