aws s3 ls Der Lesevorgang abgelaufen

Ich versuche, eine riesige Liste von Dateien aus AWS S3 Eimern mit diesem Befehl zu erhalten:aws s3 ls Der Lesevorgang abgelaufen

aws s3 ls --human-readable --recursive my-directory

Dieses Verzeichnis Zehntausende von Dateien enthält, so manchmal nach lange Pause, bekomme ich diesen Fehler:

('The read operation timed out',)

ich habe versucht, Parameter --page-size mit unterschiedlichen Werten, aber es hat nicht geholfen. Wie kann ich diesen Fehler beheben?

Quelle

2016-07-11 Denis Shevchenko

Ich sehe zwei mögliche Grund = 1) https://forums.aws.amazon.com/thread.jspa?threadID=161807 - stammt von System-Level-Problem (Linux-Kernel) und 2) nicht frische Version CLI-Tool. – Rinat

Danke, Rinat. Meine Version ist 'aws-cli/1.10.41 Python/2.7.11 + Linux/4.4.0-28-generischer Botocore/1.4.31', auf Ubuntu 16.04. –

Das Gleiche ist mir gerade passiert (deshalb bin ich hier). Ich musste es nur noch ein paar Mal wiederholen und es funktionierte. Ich sage nicht, dass das die Lösung ist, aber vielleicht ist es nur eine vorübergehende Fehlfunktion. –

-1

Es ist nicht ratsam, riesige Daten in einem verteilten System zu lesen. Es ist ein Block sowohl auf dem Server als auch auf dem Client.

Wenn Sie ein Muster dafür haben, wie die Daten gespeichert werden, versuchen Sie, sie parallel auszuführen und später an eine einzelne Datei anzuhängen.

Z. B.

aws s3 ls s3: // Eimer/Jahr/Monat --recursive

Hoffe, es hilft.

Quelle

2017-10-03 00:38:45 Kannaiyan

aws s3 ls Der Lesevorgang abgelaufen

Antwort

Verwandte Themen