Welcher ist der einfachste Weg, um einen gesamten Amazon S3-Bucket in einem Bucket in einem anderen Konto zu duplizieren? Im Idealfall möchten wir den Bucket allabendlich zu Sicherungszwecken in einem anderen Account im europäischen Rechenzentrum von Amazon duplizieren.S3: Doppelte Buckets
Antwort
Ich vermute, es gibt keine "automatische" Möglichkeit, dies zu tun. Sie müssen nur eine einfache App schreiben, die die Dateien verschiebt. Abhängig davon, wie Sie die Dateien in S3 verfolgen, können Sie auch nur die "Änderungen" verschieben.
Ich bin mir ziemlich sicher, Amazon ist ein verdammt guter Job, um die Daten zu sichern, so dass ich nicht denke, Sie müssen sich um Datenverlust kümmern, außer Ihre Sicherung für Archivierungszwecke, oder Sie wollen um das versehentliche Löschen von Dateien zu verhindern.
Eine Sache, die Sie beachten sollten, ist, dass Sie alles, was in einer Amazon EC2-VM ausgeführt wird, ausführen möchten. Wenn Ihre Sicherung außerhalb der Cloud von Amazon ausgeführt wird, bezahlen Sie die Datenübertragung in beide Richtungen. Wenn Sie in einer EC2-VM laufen, zahlen Sie keine Bandbreitengebühren (obwohl ich nicht sicher bin, ob das zwischen Nordamerika und Europa der Fall ist) - nur für die Wall-Zeit, die die EC2-Instanz läuft (und was auch immer) Kosten, um die EC2 VM zu speichern, die minimal sein sollte, denke ich).
Cool, ich kann schauen, ein Skript zu schreiben, um auf Ec2 zu hosten. Der Hauptzweck des Backups besteht darin, menschliche Fehler auf unserer Seite zu vermeiden - wenn ein Benutzer versehentlich einen Bucket oder etwas Ähnliches löscht.
Wenn Sie über das Löschen besorgt sind, sollten Sie sich wahrscheinlich die neue Versioning-Funktion von S3 ansehen.
Sie können eine Anwendung oder eine Dienstleistung machen, die verantwortlich zwei Instanzen von AmazonS3Client
einen für die Quelle und das anderes für das Ziel zu erstellen, dann AmazonS3Client
der Quelle in den Quellen Eimer beginnen Looping und Streaming-Objekte in und das Ziel AmazonS3Client
Streaming sie in den Zielbereich.
- 1. Sind S3-Buckets regionspezifisch?
- 2. Amazon s3 und buckets
- 3. Synchronisieren von S3-Ordnern/Buckets
- 4. Herunterladen eines öffentlichen Buckets von S3 ohne S3-Tools (s3cmd)
- 5. Doppelte Datei in Amazon S3
- 6. Verwenden von Boto für AWS S3-Buckets für Signature V4
- 7. Ruby Amazon S3 Zugriff verweigert beim Auflisten von Buckets
- 8. Wie legt man die ACL eines Buckets auf S3 fest?
- 9. Kann ich die Größe eines S3-Buckets einschränken?
- 10. Inserieren von Buckets mit AWS :: S3 in Sinatra
- 11. S3 Verschieben von Dateien zwischen Buckets auf verschiedenen Konten?
- 12. AWS-CLI-Synchronisierung von S3-Buckets mit mehreren Anmeldeinformationen
- 13. So kopieren Sie die Liste der öffentlichen S3-Dateien in private S3-Buckets
- 14. Suchen von Dateien in Buckets
- 15. Wie viele Hash-Buckets
- 16. So finden Sie doppelte Dateien in einem AWS S3-Bucket?
- 17. Verschieben von Dateien zwischen Buckets auf demselben Amazon-Konto
- 18. aws-sdk für Ruby-Zugriffsordner innerhalb des Buckets
- 19. Amazon S3 Region Transfer?
- 20. Wie kann AWS S3-Buckets direkt als Datensatz in RStudioServer aufgerufen werden?
- 21. AWS IAM-Richtlinie für den Zugriff von Benutzern auf bestimmte S3-Buckets für Backups
- 22. Wie kann ich den Namen des S3-Buckets abrufen, den eine CloudFront-Distribution verwendet?
- 23. Wie finde ich die Gesamtgröße meines AWS S3-Speicher-Buckets oder Ordners?
- 24. AWS - Cloud-Formations-Skript zum Erstellen von S3-Buckets und Verteilung
- 25. Warum ist die Versionierung für die regionsübergreifende Replikation von AWS S3-Buckets erforderlich?
- 26. Wie kopiere ich Dateien zwischen Buckets mit s3 aus einer Rails-Anwendung?
- 27. Wie Boto3 (oder andere Python) verwenden, um den Inhalt eines _RequesterPays_ S3-Buckets aufzulisten?
- 28. Ist es besser, mehrere S3-Buckets oder einen Bucket mit Unterordnern zu haben?
- 29. Wie man Zeppelin benutzt, um auf aws spark-ec2 cluster und s3 buckets zuzugreifen
- 30. Erstellen der Unterverzeichnisse in den Amazon S3-Buckets mit Hilfe des Skripts