Verwenden Sie AWS Lambda, um Kinesis zu lesen und zu speichern S3

Question

Ich bin sehr neu in AWS. Bis jetzt bin ich in der Lage, csv Daten zu kinesis Streams mit aws .net sdk zu senden. Jetzt muss ich diese Daten in S3 speichern, indem ich Lambda mit S3 Emitter benutze (dies ist der gängigste Weg, den ich auf vielen Webseiten gefunden habe). Wenn ich eine Lambda-Funktion dafür erstelle. Es fragt nach Node.js oder Java8-Code. Ich verstehe nicht von hier, welcher Code muss hochgeladen werden, wie S3 Emitter Code zu verwenden. Ich kann Kinesis Firehose nicht verwenden, da die Streaming-Daten zur Verarbeitung an EMR gesendet werden. Bitte helfen Sie mir hier. Wenn es einen alternativen Weg gibt, schlagen Sie bitte vor.

Answer 1

Sie müssen Code schreiben, der die Ereignisse aus dem Kinesis-Stream erhält und in S3 schreibt (oder noch einfacher in Kinesis Firehose). Dieser Code sollte in einer der Programmiersprachen sein, die derzeit von Lambda unterstützt werden (JavaScript, Java, Python). Hier ist ein Tutorial für von Kinesis Lesen: http://docs.aws.amazon.com/lambda/latest/dg/with-kinesis-example.html

Es ist relativ einfach, die Ereignisse und Batch sie S3 zu lesen oder sogar einfacher, sie zu schreiben, um Feuerwehrschlauch eine optimierte Chargen in S3 zu erhalten (größer, komprimiert, verschlüsselt ...).