s3fs und Python os.walk

Question

Ich versuche einen Weg zu finden, Bilder aus einem S3-Bucket zu lesen. Im Moment ist mein Setup, den Bucket mit s3fs zu mounten, und dann ein Python-Skript mit os.walk zu verwenden, um jedes einzelne Bild durchzugehen und einige Manipulationen an ihnen mit numpy vorzunehmen.

jedoch die Ausgabe von

os.walk("mnt/") 

ist nichts! Der Befehl zeigt keine Dateien innerhalb des gemounteten Laufwerks an, obwohl ich das Bild manuell erhalte, wenn ich das Bild manuell finde.Ich bin am Ende meiner Weisheit und versuche das herauszufinden. Irgendwelche Ideen?

Answer 1

Ein gemountetes Bucket von S3 verhält sich nicht wie ein normales Datei/Verzeichnis in Ihrem Dateisystem, daher funktionieren Anweisungen wie os.walk nicht wie erwartet. Am besten verwenden Sie eine Bibliothek, um innerhalb von Python selbst nach dem S3-Bucket zu suchen und mit ihm zu interagieren.

Ich empfehle, in Boto, das eine Reihe von Tools für die Schnittstelle mit AWS hat. Überprüfen Sie auch das AWS Python SDK.

Boto: https://github.com/boto/boto AWS SDK für Python: https://aws.amazon.com/sdk-for-python/