DynamoDB Streams zu S3

Ich verwende Data Pipeline (DP) für tägliche Backups von DynamoDB, jedoch möchte ich inkrementelle Backups der Daten machen, die von DP-Läufen übersehen werden (Updates zwischen DP-Läufen). Um dies zu erreichen, möchte ich DynamoDB Streams + Lambda + S3 verwenden, um DynamoDB-Updates in Echtzeit in S3 zu bringen. Ich verstehe, wie DynamoDB-Streams arbeiten, jedoch habe ich Probleme mit der Erstellung einer Lambda-Funktion, die in S3 schreibt und sagt, jede Stunde eine Datei rollt.DynamoDB Streams zu S3

Hat jemand es versucht?

Quelle

2016-03-10 user3293898

Was meinst du mit "rollt eine Datei jede Stunde"? Sie können nicht an Dateien in S3 anhängen. Sie müssten für jedes Update neue Dateien erstellen, wenn Sie nicht jedes Mal die gesamte Datei lesen, Daten hinzufügen und dann erneut in S3 schreiben möchten. Das klingt schmerzhaft. – garnaat

Rollen einer Datei wie in log4j oder anderen Frameworks, wo Dateien basierend auf bestimmten Kriterien gerollt werden können. Ich weiß, dass Dateien in S3 unveränderlich sind, also habe ich mich gefragt, ob das überhaupt möglich ist. – user3293898

Seine Stunde Job Alter, was Sie tun müssen, ist

aktivieren Dynamo DB Update-Stream und befestigen aws bereitgestellt Lambda-Funktion https://github.com/awslabs/lambda-streams-to-firehose
aktivieren Firehose Strom und über Funktion verwenden, um outs Aufzeichnungen einströmen Feuerwehrschlauch.
Konfigurieren Sie Firehose, um die Datensätze an S3 auszugeben.

erledigt.

Quelle

2016-08-08 09:02:45 AnubhavJain

Was ist, wenn Sie keinen Kamin zur Verfügung haben? –

DynamoDB Streams zu S3

Antwort

Verwandte Themen