vespa - Wie viel Zeit Vespa Prozess im Allgemeinen für Startup nehmen, um mmap Attribute neu zu erstellen?

Question

beim Schreiben von Suchdefinitionen für die Indizierung als "Attribut" - Ich lese von http://docs.vespa.ai/documentation/search-definitions.html, dass es Felder im Speicher hält. Die grundlegende Frage lautet: Im Falle eines Cluster-Neustarts werden diese In-Memory-Daten aus dem Index wiederhergestellt.

Wie viel Zeit benötigt Vespa im Falle eines Cluster-Neustarts, um das Attribut im Speicher wiederherzustellen? (Nehmen wir an, ein Knoten hat 2 TB Daten und die Hälfte der Felder sind als "Attribut" definiert - etwa 1 TB für mmap?)

Answer 1

Attributdaten müssen beim Start von der Festplatte in den Speicher gelesen werden und die benötigte Zeit hängt davon ab :

• Reine Größe (z. B. mehrwertige Strings im Vergleich zu einem einzelnen Byte Feld) und Anzahl der Dokumente/Werte.
• Attributeinstellungen (schneller Zugriff, schnelle Suche usw.), die Strukturen zusätzlich im Speicher benötigen die Antwort ist wirklich ‚es hängt‘ an der Spitze der rohen Attributdaten

So gebaut werden.

Ein Vespa-Inhaltsknoten mit Modus = Index hat 4 Hauptverzeichnisse mit Daten, in denen die Attributdaten getrennt vom Index gespeichert werden. Das Attributverzeichnis enthält snapshot-xx/*. Dat-Dateien, die in eine Datenstruktur in den Speicher eingelesen werden (daher nicht mit dateiunterstützter mmap)

ls /opt/vespa/var/db/vespa/search/cluster.x/n0/documents/x/0.ready/ 
attribute documentmetastore index summary 

ls /opt/vespa/var/db/vespa/search/cluster.x/n0/documents/x/0.ready/ 
attribute documentmetastore index summary 

ls /opt/vespa/var/db/vespa/search/cluster.x/n0/documents/x/0.ready/ 
attribute documentmetastore index summary