Suchen und aggregieren in 6000 Zeile csv/json Dokument

Question

Ich suche eine gute Lösung für die Volltextsuche in einem Dokument mit ca.. 6000 Zeilen, jeweils 6 Spalten.

Ich habe gerade Meteor und MongoDB versucht, aber ich habe ein bisschen mit hoher CPU zu kämpfen, wenn ich die Aggregationen mache, und die Pub/Sub-Reaktionszeit ist ziemlich langsam.

Ich muss nach mehreren Wörtern suchen und ein Zahlenfeld summieren/aggregieren.

Für welche Technologien lohnt sich eine schnelle und einfache Einrichtung?

Answer 1

Meteor pub/sub ist nicht geeignet, um große Datensätze gleichzeitig zu senden. Es ist eher für reaktive Aktualisierungen von Daten (automatische Aktualisierung bei Datenänderung) konzipiert.

In einem optimalen Zustand werden diese Daten in kleinen Blöcken an den Client über Lazy Loading gesendet, mit einem Limit und bei Bedarf abgeschlossen.

Aber, Mongoldb selbst ist gut für die Suche in großen Datensätzen! Sie können nach diesem Thema suchen.

Die ersten Ergebnisse auf "mongodb Suche in großen Datenmenge" ergab diese Artikel googeln:

https://www.mongodb.com/big-data-explained

http://johnpwood.net/2011/05/31/fast-queries-on-large-datasets-using-mongodb-and-summary-documents/

Dies könnte ein Ausgangspunkt sein.

Dann können Sie versuchen, mit Ihrer Suche/Aggregationen auf der Serverseite von Meteor bleiben und nur Ihre Ergebnisse an den Client (mit einem Lazy Loading-Mechanismus).

In Bezug auf Ihre CPU-Last, können Sie auch die ersten Artikel und Abhilfe „gierigen Abfragen“ betrachten:

https://docs.mongodb.com/manual/core/query-optimization/