Unkomprimierte Größe von .gz-Dateien in S3 ohne Download

Question

Ist es möglich, die unkomprimierten und komprimierten Größen von .gz-Dateien in einem S3-Bucket abzurufen, ohne sie herunterzuladen?

Ich habe etwa 750. GZ-Dateien variieren von 650 MB bis 1,2 GB auf S3 und ich möchte die aggregierten Dateigrößen komprimiert und unkomprimiert erhalten. Ich konnte dies mit:

gzip -l *gz 

Aber ich muss sie zuerst herunterladen, die wie eine Menge Arbeit scheint nur die Gesamtgrößen zu erhalten.

Answer 1

Nein, das ist nicht möglich. Amazon S3 speichert die Raw-Datei. Es bietet keine Möglichkeit, die Datei zu verarbeiten.

Es wäre notwendig, herunterladen und analysieren den Inhalt der Datei.

Denken Sie an S3 als Speicherdienst. Es ist sehr langlebig und zuverlässig, aber es ist im Grunde nur ein Speicherdienst. Alles, was Sie mit den Daten tun möchten, muss an anderer Stelle erfolgen, so als ob die Daten auf einer USB-Festplatte oder einem NAS gespeichert wären.

Es ist möglich, nur einen bestimmten Bereich einer Datei herunterzuladen, aber Sie müssen wissen, welcher Teil der Datei Informationen über die unkomprimierte Größe der Datei enthält.