2015-06-15 5 views
6

Ich muss Dateien rekursiv aus einem S3-Bucket herunterladen. Der s3-Bucket ermöglicht anonymen Zugriff.Wie aws CLI zu s3 cp mit anonymen Benutzer konfigurieren

Wie können Sie Dateien auflisten und herunterladen, ohne AWS Access Key mit einem anonymen Benutzer bereitzustellen?

Mein Befehl lautet:

aws s3 cp s3://[email protected]/pavlo/text/tiny/rankings/uservisits uservisit --region us-east --recursive 

Die aws compains dass:

Unable to locate credentials. You can configure credentials by running "aws configure“

Antwort

3

Sie wahrscheinlich ein Zugangsschlüssel und geheimen Schlüssel zur Verfügung stellen müssen, auch wenn Sie anonym tun Zugriff. Keine Option für anonyme für den AWS-Client.

eine andere Möglichkeit, dies zu tun, um den HTTP-Endpunkt zu treffen und die Dateien zu greifen Weg.

In Ihrem Fall: http://big-data-benchmark.s3.amazonaws.com

Sie erhalten und XML-Auflistung alle Schlüssel in den Eimer. Sie können die Schlüssel extrahieren und Anfragen für jeden ausgeben. Nicht das schnellste Ding da draußen, aber es wird den Job erledigen.

Zum Beispiel: http://big-data-benchmark.s3.amazonaws.com/pavlo/sequence-snappy/5nodes/crawl/000741_0

für die Dateien immer curl sollte ausreichen. Zum Parsen der XML-Datei je nach dem, was Sie mögen, können Sie so niedrig wie sed und so hoch wie eine richtige Sprache gehen.

hoffe das hilft.

+0

:) Am Ende tat ich genau das. Ich habe wget verwendet, um Index- und Download-Dateien zu erhalten. – Skarab

13

können Sie no-sign-request Option

aws s3 cp s3://[email protected]/pavlo/text/tiny/rankings/uservisits uservisit --region us-east --recursive --no-sign-request

Verwandte Themen