So finden Sie doppelte Dateien in einem AWS S3-Bucket?

Question

Gibt es eine Möglichkeit, doppelte Dateien in einem Amazon S3-Bucket rekursiv zu finden? In einem normalen Dateisystem würde ich einfach folgendes verwenden:

Answer 1

Es gibt keinen Befehl "Duplikate finden" in Amazon S3.

Allerdings müssen Sie wie folgt vorgehen:

• Abrufen einer Liste von Objekten im Eimer
• Geben Sie für Objekte, die die gleicheETag (Prüfsumme) haben und Size

Sie würden (sehr wahrscheinlich) doppelte Objekte sein.

Answer 2

Hier ist ein Git-Repository: https://github.com/chilts/node-awssum-scripts, die eine js-Skriptdatei hat, um die Duplikate in einem S3-Bucket zu finden. Ich weiß, auf eine externe Quelle zu zeigen ist nicht empfohlen, aber ich hoffe, es kann Ihnen helfen.

Answer 3

import boto3 
s3client = boto3.client('s3',aws_access_key_id=ACCESS_KEY,aws_secret_access_key=SECRET_KEY,region_name=region) 
etag = s3client.head_object(Bucket='myBucket',Key='index.html')['ResponseMetadata']['HTTPHeaders']['etag'] 
print(etag)