Sicherungsstrategie für vom Benutzer hochgeladene Dateien auf Amazon S3?

Question

Wir wechseln von der Speicherung aller vom Benutzer hochgeladenen Dateien auf unseren Servern zur Verwendung von Amazon S3. Es ist ca. 300 GB Dateien.

Wie kann man am besten alle Dateien sichern? Ich habe ein paar verschiedene Vorschläge gesehen:

• Copy Eimer auf einen Eimer in einem anderen S3 Standort
• Versionierung
• Backup auf einem EBS mit EC2

Vor/Nachteile? Beste Übung?

Answer 1

Was ist der beste Weg, um eine Sicherung aller Dateien zu halten?

In der Theorie müssen Sie nicht. S3 hat in all diesen Jahren nie ein einziges Stück verloren. Ihre Daten sind bereits in mehreren Datenzentren gespeichert.

Wenn Sie wirklich besorgt sind über das versehentliche Löschen der Dateien, verwenden Sie IAM-Schlüssel. Deaktivieren Sie den Löschvorgang für jeden IAM-Benutzer. Und/oder Versionierung aktivieren und die Möglichkeit für einen IAM-Benutzer entfernen, die tatsächlichen Löschvorgänge auszuführen.

Wenn Sie immer noch eine Sicherung möchten, ist EBS oder S3 ziemlich einfach zu implementieren: Führen Sie einfach ein S3 Sync-Dienstprogramm aus, um zwischen Buckets oder dem EBS-Laufwerk zu synchronisieren. (Es gibt eine Menge von ihnen, und es ist trivial zu schreiben.) Beachten Sie, dass Sie für ungenutzten Speicherplatz auf Ihrem EBS-Laufwerk bezahlen, also ist es wahrscheinlich teurer, wenn Sie wachsen. Ich würde EBS nicht verwenden, wenn Sie nicht wirklich einen lokalen Zugriff auf die Dateien haben.

Der Vorteil der S3-Bucket-Synchronisierung besteht darin, dass Sie Ihre App schnell auf den anderen Bucket umstellen können.

Sie könnten auch Glacier verwenden, um Ihre Dateien zu sichern, aber das hat einige schwerwiegende Einschränkungen.

Answer 2

IMHO, Backup auf einem anderen S3 Eimer in einer anderen Availability Zone (daher Bucket) ist der beste Weg zu gehen:

• Sie haben bereits die Infrastruktur S3 zu manipulieren, so dass es wenig Veränderung ist
• zu tun Dies wird, dass im Falle eines katastrophalen Ausfall von S3 zu gewährleisten, Ihre Backup-AZ nicht

Andere Lösungen haben Nachteile beeinträchtigt werden diese nicht hat:

• Versionierung ist kein katastrophaler Fehlerbeweis
• EBS-Sicherung erfordert eine spezifische Implementierung, um diese Sicherungen direkt auf der Festplatte zu bearbeiten.

Answer 3

Ich habe es nicht selbst versuchen, aber Amazon eine Versionsfeature, dass Ihre Backup-Ängste lösen könnte - siehe: http://aws.amazon.com/about-aws/whats-new/2010/02/08/versioning-feature-for-amazon-s3-now-available/

Answer 4

1. Copy Eimer auf einen Eimer in einem anderen S3 Standort: Dies kann nicht erforderlich sein, da S3 bereits sechs „9“ zuverlässig durch Redundanz Backup erreicht hat.Personen, die global auf Daten zugreifen möchten, können die Buckets in verschiedenen Rechenzentren kopieren. Also, es sei denn, Sie wollen eine unwahrscheinliche Katastrophe wie "911" vermeiden, dann können Sie eine Kopie in Tokyo Data Center für Buckets in New York machen. Innerhalb desselben Rechenzentrums können Sie jedoch durch Kopieren von Buckets in verschiedene Buckets nur sehr wenig Hilfe erhalten, wenn eine Katastrophe mit demselben Rechenzentrum auftritt.
2. Versionierung Es hilft Ihnen, Speichereffizienz durch das Speichern von Redundanz zu erreichen und hilft schneller wiederherzustellen. Definitiv ist es eine gute Wahl.
3. Backup auf ein EBS mit EC2 Wahrscheinlich werden Sie dies NIE tun, weil EBS im Vergleich zu S3 ein viel teurer/schneller Speicher in AWS ist. Und sein Hauptzweck ist für Backup-EC2-Image für schnelleres Hochfahren. EC2 ist eine Recheninstanz, die nichts mit Speicher oder S3 zu tun hat. Es ist völlig irrelevant und ich sehe keinen Punkt, an dem Sie EC2 in Ihre Datensicherung einbringen.