In Anbetracht der Tatsache, dass es in Singapur keine Datenpipeline gibt, gibt es Alternativen, um CSV-Daten effizient an Dynamodb zu übertragen?Wie können wir effizient Daten von CSV-Datei zu Dynamodb ohne Verwendung von AWS-Pipeline?
Wenn ich es wäre, würde ich eine S3-Ereignisbenachrichtigung für einen Bucket einrichten, der jedes Mal eine Lambda-Funktion auslöst, wenn eine CSV-Datei darin abgelegt wurde.
Die Benachrichtigung würde Lambda wissen lassen, dass eine neue Datei verfügbar war und eine Lambda-Funktion für das Laden der Daten in dynamodb zuständig wäre.
Dies würde besser funktionieren (wegen der Grenzen von Lambda), wenn die CSV-Dateien nicht riesig waren, so dass sie in einer angemessenen Zeit verarbeitet werden konnten, und der Bonus ist der einzige gearbeitet, der einmal getan werden müsste Es würde funktionieren, einfach die neuen Dateien in den richtigen Eimer fallen zu lassen - kein Server erforderlich.
Hier ist ein Github-Repository, das einen CSV-> Dynamodb-Loader in Java geschrieben hat - es könnte Ihnen den Einstieg erleichtern.
Ist der Link zum Github Repo nicht mehr verfügbar? –