AWS S3 Synchronisierung beim Kopieren in große Verzeichnisse sehr langsam

Question

Wenn Sie Daten in einem leeren Verzeichnis in S3 mit AWS-CLI synchronisieren, ist das fast augenblicklich. Bei der Synchronisierung mit einem großen Verzeichnis (mehrere Millionen Ordner) dauert es jedoch sehr lange, bevor Sie mit dem Hochladen/Synchronisieren der Dateien beginnen.

Gibt es eine alternative Methode? Es sieht so aus, als würde es versuchen, alle Dateien in einem S3-Verzeichnis vor der Synchronisierung zu berücksichtigen - ich brauche das nicht, und das Hochladen der Daten ohne vorherige Überprüfung wäre in Ordnung.

Answer 1

Der Befehl sync muss alle Dateien im Bucket auflisten, um festzustellen, ob eine lokale Datei bereits im Bucket vorhanden ist und ob sie mit der lokalen Datei identisch ist. Je mehr Dokumente Sie im Bucket haben, desto länger dauert es.

Wenn Sie nicht brauchen diese sync Verhalten verwenden nur eine rekursive Kopie Befehl wie:

aws s3 cp --recursive . s3://mybucket/ 

und dies sollte alle lokalen Dateien im aktuellen Verzeichnis in den Eimer in S3 kopieren.