Optimiert Cassandra Speicher für das Wiederholen von Strings?

Question

Wir versuchen, unsere aktuelle Festplattennutzung zu reduzieren. Dabei haben wir festgestellt, dass es sich bei den meisten Informationen, die wir speichern, hauptsächlich um Metadaten handelt, die aus denselben Strings bestehen, die über mehrere Tabellen und Zeilen hinweg wiederholt werden.

Da Strings oft mehr Platz beanspruchen als ganze Zahlen, dachten wir, wir könnten diese Strings durch Integer ersetzen, um unsere Festplattennutzung zu reduzieren. Wir haben das gemacht und bemerkten wenig Unterschiede beim Disk-Verbrauch.

Wir bemerkten nur einen wesentlichen Unterschied, wenn es eine größere Varianz in den Metadatenstrings gibt. I.e. die Saiten variierten mehr.

Also frage ich mich, ob Cassandra 2.1 einige clevere Mittel zur Speicherung sich wiederholender Informationen verwendet und wenn ja, kann mich jemand auf einige Quellen hinweisen, wie es das tut? Ich habe nichts in der Sache gefunden.

Danke.

Answer 1

Cassandra mischt niemals Daten, die zu verschiedenen Tabellen gehören. Wenn sich Ihre Strings über mehrere Tabellen hinweg wiederholen, kann C * diese also nicht beliebig mischen.

Die einzige Sache ist, dass C * (wenn Sie es nicht deaktiviert haben) Komprimierung während SSTable Spülungen verwendet. Je nachdem, wie Sie Ihren Tisch entwerfen, wird das Komprimierungsverhältnis, das C * erreichen wird, sehr unterschiedlich sein. Als ein Beispiel wird der Komprimierungsalgorithmus sehr davon profitieren, dass Ihre String-Spalte ein Clustering-Schlüssel ist. Und zu viele kleine Memtables könnten das Komprimierungsverhältnis jedes SSTable beeinflussen.