Zugriff aws s3 public bucket

Question

Ich versuche, Daten von einem der öffentlichen Buckets Amazon zu downloaden. Here is a description of the bucket in question

Der Bucket verfügt über webfähige Ordner für example. Ich möchte alle angegebenen Dateien in diesem Ordner herunterladen. Es wird eine lange Liste von geeigneten Kacheln identifiziert, und das Ziel wäre, alle Dateien in einem Ordner auf einmal zu erhalten, anstatt sie einzeln von der http-Seite herunterzuladen.

Aus anderen StackOverflow-Fragen merke ich, dass ich den REST-Endpunkt verwenden und ein Tool wie AWS CLI oder Cyberduck verwenden muss, aber ich kann diese noch nicht zum Laufen bringen.

Ich denke, das Problem kann Authentifizierung sein. Ich habe keinen AWS-Account, und ich habe gehofft, bei einem Gast-/anonymen Zugriff zu bleiben. Hat jemand eine gute Lösung/Werkzeug, um einen öffentlichen Eimer zu durchlaufen und den Inhalt als Gast zu greifen? Könnte ein anderer Ansatz mit curl oder wget für diese Art von Aufgabe funktionieren?

Danke.

Answer 1

Für das AWS-CLI müssen Sie das Flag --no-sign-request angeben, um das Signieren zu überspringen. Beispiel:

> aws s3 ls landsat-pds 
Unable to locate credentials. You can configure credentials by running "aws configure". 
> aws s3 ls landsat-pds --no-sign-request 
          PRE L8/ 
          PRE landsat-pds_stats/ 
          PRE runs/ 
          PRE tarq/ 
          PRE tarq_corrupt/ 
          PRE test/ 
2015-01-28 10:13:53  23764 index.html 
2015-04-14 10:43:22   25 robots.txt 
2016-07-13 12:53:31   38 run_info.json 
2016-07-13 12:53:30 23971821 scene_list.gz 

Um diesen ganzen Eimer in ein Verzeichnis herunterladen, würden Sie so etwas tun:

> mkdir landsat-pds 
> aws s3 sync s3://landsat-pds landsat-pds --no-sign-request