Schreiben von Bytes Stream zu s3 mit Python

Question

Ich habe eine Zip-Datei in den Speicher geladen (nicht auf der Festplatte persistent). Die Zip-Datei enthält JPG-Bilder. Ich versuche, jedes JPG in s3 hochzuladen, aber erhalte einen Fehler.

# already have an opened zipfile stored in zip_file 
# already connected to s3 

files = zip_file.namelist() 

for f in files: 
    im = io.BytesIO(zip_file.read(f)) 
    s3_key.key = f 
    s3_key.set_contents_from_stream(im) 

bekomme ich folgende Fehlermeldung:

BotoClientError: BotoClientError: s3 does not support chunked transfer

Was mache ich falsch?

Answer 1

Hier ist die Lösung. Ich dachte über das Problem nach.

files = zip_file.namelist() 

for f in files: 
    data = zip_file.read(f) 
    s3_key._key.key = f 
    s3_key._key.set_contents_from_string(data) 

Das war alles, was es brauchte.

Answer 2

Boto unterstützt neben S3 auch andere Speicherdienste wie Google Cloud Storage. Die Methode set_contents_from_stream funktioniert nur für Dienste, die eine Chunked-Übertragung unterstützen (siehe https://codereview.appspot.com/4515170). S3 unterstützt das nicht (Siehe technische FAQs unter http://aws.amazon.com/articles/1109.)

Es ist bedauerlich, aber Sie können nicht von einem Stream zu S3 hochladen.