Zookeeper Gesamtdaten-Größenbeschränkung

Question

Ich bin neu bei Zookeeper, versuche zu verstehen, ob es für meinen Anwendungsfall passt.

Ich habe 10 Millionen hierarchische Daten, die ich in Zookeeper speichern möchte.

10M Schlüssel-Wert-Paar mit der Größe des Schlüssels und Wert wird jeweils 1KB sein.

So ist die Gesamtdatengröße ca. ~ 20 GB (10M * 2KB) ohne Replikation.

Ich weiß, dass die Größe der zNodes-Datengröße 1 MB ist (was geändert werden kann). Fragen

:

1. Wird der Lage Zookeeper 20GB von Daten zu unterstützen, ohne Auswirkungen auf die Leistung.

2. Gibt es eine maximale Größe, nach der sich die Leistung verschlechtert?

3. Gibt es eine Grenze für die Gesamtzahl der Knoten?

Answer 1

Zoowärter wird auf keinen Fall für diesen Anwendungsfall geeignet sein. Der Zookeeper speichert den Datenbaum regelmäßig und speichert alle 20 Minuten alle 20 Minuten. Darüber hinaus ähneln Zookeeper-Knoten im Cluster/Ensemble eher einer Replik der anderen und daher werden ganze Daten auf jeden Zookeeper-Knoten repliziert, und daher auch keine Datenpartitionierung. Zookeeper ist keine Datenbank.

Ich denke, für Ihren Anwendungsfall wird es viel besser sein, mit einer Datenbank oder einem verteilten Cache (Redis/Hazelcast etc.) zu gehen. Wie auch immer, es gibt keine Grenzen für die Gesamtzahl der Knoten auf Zookeeper.