2017-08-13 1 views
0

Die AWS Command Line Interface (CLI) ermöglicht to upload a file to AWS Glacier. Aber es gibt auch eine limit of 4GB for file uploads in der AWS Rest API. Wenn ich eine Datei mit mehr als 4 GB über die Rest-API hochladen muss, muss ich den mehrteiligen Upload verwenden.Werden mit AWS CLI Dateien, die größer als 4 GB sind, in Amazon Glacier hochgeladen?

Meine Frage ist: ist die AWS CLI behandeln intern Uploads Datei größer als 4 GB, oder muss ich mir die mehrt Upload zu handhaben, wenn Dateien als 4 GB größer Handhabung? Kann ich einfach eine 20-GB-Datei an die Option upload-archive der AWS-CLI übergeben und sie wird einfach funktionieren? Wenn die CLI nicht große Datei-Uploads direkt verarbeiten kann, gibt es jede Kommandozeilen-Tool, das es für mich tut (befreit mich von der Mühe, all die Prüfsumme Computing, Fehlerbehandlung Implementierung und Logik wiederholen, wenn ein Teil Upload schlägt fehl)?

Ich verstehe, dass die 4 GB Grenze für das AWS-REST-API, aber ich kann nichts finden, wie diese Grenze in der CLI behandelt wird. Ich könnte nur den Test machen, aber meine Upload-Geschwindigkeit ist nicht so schnell und ich habe Angst, ein paar Stunden zu verschwenden, bevor es entdeckt, dass es nicht funktioniert.

+0

Aus Übungen zwischen EBS und S3 musste die CLI explizit mit mehrteiligen Uploads umgehen - aber das war nicht so schwierig – mpez0

+0

Gemäß den CLI-Dokumenten, die Sie verlinkt haben, müssen Sie die Baumhash-Berechnung selbst durchführen. Sofern Sie nicht nur Features wie "Tresorschloss" benötigen, die nur für Gletscher geeignet sind, können Sie Ihre Interessen am besten erfüllen, indem Sie zu S3 hochladen und eine Lebenszyklusrichtlinie verwenden, um zur S3-Glacier-Speicherklasse zu migrieren. Es ist viel einfacher zu benutzen als mit Gletschern direkt zu arbeiten, und die Lagerkosten sind im Wesentlichen die gleichen (+ 40 KiB pro Objekt Overhead bei Verwendung von S3). –

+0

Gemäß der [S3-Preisseite] (https://aws.amazon.com/s3/pricing/?nc1=f_ls) ist das Speichern von Objekten auf S3 5,75-mal so hoch wie der Preis auf Glacier, was das Speichern von Objekten auf S3 nicht ermöglicht eine Option für mich. – lgfischer

Antwort

0

Ich bin mit Gletscher-cmd (https://github.com/uskudnik/amazon-glacier-cmd-interface), funktioniert recht gut, aber es scheint nicht unterstützten vor kurzem zu sein. Manchmal hat es ein Timeout mit großen Dateien (~ 50 GB).

+0

Vielen Dank für das Teilen dieses Tools. Mit "es hat ein Timeout mit großen Dateien" meinst du, dass es keine großen Dateien hochladen kann? Oder dauert es einfach zu viel Zeit, es hochzuladen? – lgfischer

+0

Ich habe meine Logs und das Gletscher-Inventar überprüft - entsprechend haben Timeout-Fehler keinen Einfluss auf den Upload. Es scheint, dass die neuere Version von glacier-cmd in diesem Fall versucht, es erneut zu versuchen. Aber bis zu 20% ist mein großer (50G) Datei-Upload mit einigen Ausnahmen fehlgeschlagen. Ähnlich wie hier diskutiert https://github.com/uskujnik/amazon-glacier-cmd-interface/issues/188. Botton line - AFAIK, glacier-cmd ist der einzige High-Level-Wrapper für AWS Glacier CLI und funktioniert meistens. Sie können erneute Versuche mit einem einfachen Skript organisieren. – Vitaly

Verwandte Themen