boto get md5 s3 Datei

Question

Ich habe einen Anwendungsfall, wo ich hunderte von Datei auf meine S3-Bucket hochladen mit mehreren Teilen uplaod. Nach jedem Upload muss sichergestellt werden, dass die hochgeladene Datei nicht beschädigt ist (grundsätzlich auf Datenintegrität prüfen). Momentan, nach dem Hochladen der Datei, lade ich sie erneut herunter und berechne die MD5 in der Inhaltszeichenkette und vergleiche sie mit der MD5 der lokalen Datei. So etwas wie

conn = S3Connection('access key', 'secretkey') 
bucket = conn.get_bucket('bucket_name') 
source_path = 'file_to_upload' 
source_size = os.stat(source_path).st_size 

mp = bucket.initiate_multipart_upload(os.path.basename(source_path)) 
chunk_size = 52428800 
chunk_count = int(math.ceil(source_size/chunk_size)) 

for i in range(chunk_count + 1): 
    offset = chunk_size * i 
    bytes = min(chunk_size, source_size - offset) 
    with FileChunkIO(source_path, 'r', offset=offset, 
       bytes=bytes) as fp: 
     mp.upload_part_from_file(fp, part_num=i + 1, md5=k.compute_md5(fp, bytes)) 
mp.complete_upload() 

obj_key = bucket.get_key('file_name') 
print(obj_key.md5) #prints None 
print(obj_key.base64md5) #prints None 

content = bucket.get_key('file_name').get_contents_as_string() 
# compute the md5 on content 

Dieser Ansatz ist verschwenderisch, da es die Bandbreitennutzung verdoppelt. Ich versuchte

bucket.get_key('file_name').md5 
bucket.get_key('file_name').base64md5 

aber beide zurück keine.

Gibt es eine andere Möglichkeit, MD5 zu erreichen, ohne das Ganze herunterzuladen?

Answer 1

ja
Verwendung bucket.get_key('file_name').etag[1 :-1]
diese Weise Schlüssel des MD5 erhalten, ohne seinen Inhalt herunterzuladen.

Answer 2

Mit Boto3 verwende ich head_object, um das ETag abzurufen.

import boto3 
import botocore 

def s3_md5sum(bucket_name, resource_name): 
    try: 
     md5sum = boto3.client('s3').head_object(
      Bucket=bucket_name, 
      Key=resource_name 
     )['ETag'][1:-1] 
    except botocore.exceptions.ClientError: 
     md5sum = None 
     pass 
    return md5sum