Cassandra-Snapshots auf einen anderen Datenträger/Server/Datencenter verschieben

Question

Ich habe Cassandra 1.2.6-Cluster auf Datencenter A ausgeführt, jeder Knoten verfügt über ein Solid State Drive mit etwas begrenztem Speicherplatz (ca. 50% des Speicherplatzes ist frei).

Jetzt muss ich irgendwie eine Möglichkeit implementieren, automatische Sicherungen jedes Knotens zu haben. Idealerweise möchte ich eine Möglichkeit haben, alle Datendateien des Clusters auf einen anderen Datenträger (standardmäßige billigere Datenträger) oder sogar auf einen anderen Server im selben Datencenter A zu verschieben und möglicherweise alle Daten hin und wieder in ein Datencenter B in zu verschieben ein anderer Ort.

Von dem, was ich gelesen habe, kann ich Snapshots auf jedem Knoten verwenden, um die Dateien mit dem gewünschten Werkzeug zu kopieren, und in diesem Fall habe ich die Option, die Daten auf einen anderen Datenträger/Server/Datencenter zu verschieben.

Meine Frage ist, da jeder meiner Knoten etwa 50% voll ist, wird die Aufnahme eines Snapshots all diesen Speicherplatz verbrauchen? oder die harten Verbindungen werden viel weniger Speicherplatz verbrauchen, als ich erwarte? Wenn ja, gibt es einen besseren Weg, dies zu tun, vielleicht mit einem bereits erstellten Tool, oder sollte alles maßgeschneidert sein, wenn es um diese Art von Backups in Cassandra geht?

Vielen Dank im Voraus!

Answer 1

Ein fester Link erstellt nur einen neuen Verzeichniseintrag für die gleiche Datei (http://en.wikipedia.org/wiki/Hard_link). So nimmt ein Snapshot effektiv null Speicherplatz ein, aber Sie möchten ihn nach dem Kopieren in das Archiv säubern, denn wenn das "Original" sstable gelöscht wird (normalerweise nach der Komprimierung), hat der Space gewonnen Solange der Snapshot-Verweis noch vorhanden ist, wird er zurückgewonnen.

Mein Eindruck ist, dass tablesnap das beliebteste Werkzeug für die Automatisierung von Sicherungen auf s3 ist. Es unterstützt auch Cassandra incremental backups. Wenn Sie mehr Kontrolle darüber haben möchten, wo Sie sichern, unterstützt das Ausführen eines benutzerdefinierten Skripts, wenn Snapshots erstellt werden.