Welche Server Parameter in Solr zu optimieren, wenn ich schwere Schreibvorgänge und leichte Lesevorgänge erwarte?

Ich bin mit Skalierbarkeitsproblemen bei der Entwicklung eines neuen Solr-Clusters konfrontiert, und ich muss beherrschen, um eine relativ hohe Rate von Updates mit fast keinem Lesevorgang bewältigen zu können - sie können über Slaves erledigt werden.Welche Server Parameter in Solr zu optimieren, wenn ich schwere Schreibvorgänge und leichte Lesevorgänge erwarte?

Meine vorhandene Solr-Instanz belegt eine riesige Menge an RAM, tatsächlich fing sie an, nur 4.5mil Dokumente auszutauschen. Ich bin daran interessiert, den Footprint so wenig wie möglich im RAM zu speichern, auch wenn er die Suchleistung beeinflusst.

Also, welche Solr Config-Werte kann ich zwicken, um dies zu erreichen?

Vielen Dank.

Quelle

2009-08-14 Artem Russakovskii

versuchen Sie oder fragen auf der solr-User-Mailingliste. http://mail-archives.apache.org/mod_mbox/lucene-solr-user/ –

quere ich dort zur gleichen Zeit tatsächlich geschrieben als SO Keine Antworten an beiden Orten –

Es ist schwer zu sagen, ohne die Besonderheiten Ihrer Umgebung zu kennen (wie das Schema, benutzerdefinierte Indexer, Abfragefunktionen usw.) und was ist eine riesige Menge an RAM? aber Sie könnten durch

starten FilterCache, queryResultCache und documentCache auf 0 in solrconfig.xml setzen. Dies wird die Leistung der in SOLR ausgeführten Abfragen stark beeinträchtigen.

Setzen Sie die Komprimierung auf true TextField- und StrField-Typen, die Sie speichern. Setzen Sie dann compressThreshold auf einen niedrigen ganzzahligen Wert. Dies verringert die Größe der Dokumente auf Kosten einer erhöhten CPU-Auslastung. (Siehe http://wiki.apache.org/solr/SchemaXml#head-73cdcd26354f1e31c6268b365023f21ee8796613 für weitere Details

Schalten Sie alle autowarming Abfragen und machen keine Lese abfragt

stellen Sie sicher oft genug begehen

offensichtlich das sind alles Dinge auf dem Master zu tun, nicht auf die Sklaven

Quelle

2009-08-16 14:06:36 olle

Than k du. Das sind ausgezeichnete Vorschläge. Die Maschine, auf der Solr läuft, ist momentan 32 Bit, so dass die VM nicht mit mehr als 2400m Max-Heap starten möchte. Solr frisst schnell alles auf und Commits und Optimierungen starten die Heap-Speicherfehler. Das Schema wurde auf fast nichts reduziert - ungefähr 15 Felder, nur eines von ihnen gespeichert (int) - der Rest ist nur indiziert. Ich werde mit all deinen Vorschlägen herumspielen - sie sehen alle genau aus. Lass sie kommen! –

Ich tatsächlich keine Daten speichern - nur die Indizes, in diesem Fall ist die Komprimierung nicht sinnvoll, oder? –

Korrigieren. Verwenden Sie spezielle oder verschiedene Analysatoren? – olle

Welche Server Parameter in Solr zu optimieren, wenn ich schwere Schreibvorgänge und leichte Lesevorgänge erwarte?

Antwort

Verwandte Themen