2016-05-09 11 views
0

Ich habe eine Reihe von Dateien in s3 in folgendem Pfad Beispiel:dynamische Pfade in AWS S3

s3://bucket/date=2016-01-02/2016-01-02_1012_582.txt 
s3://bucket/date=2016-01-07/2016-01-07_1415_272.txt 

Wenn die Dateien ursprünglich gesetzt in der Partition, in diesem Fall das Datum, wurde einfach gehalten weil es schnell war. Jetzt möchte ich basierend auf den Dateinamen partitionieren.

s3://bucket/data/date=2016-01-02/a=1012/b=582/2016-01-02_1012_582.txt 
s3://bucket/data/date=2016-01-07/a=1415/b=272/2016-01-07_1012_272.txt 

Gibt es eine kluge Art, wie ich dies ohne Aufbereitung der Dateien tun konnte:

So, die beiden Wege würden diese sein? Ich habe mir den aws cli angeschaut, aber das scheint nicht dabei zu sein.

Dank

Antwort

0

Sie würden ein Skript schreiben, jede Datei zu nehmen und kopieren oder auf den neuen Schlüssel zu bewegen.