Amazon Kinesis Stream zu S3

Question

Ich habe eine Javascript-Anwendung Echtzeit-Daten zu Kinesis Stream schreiben. Gibt es einen sofort verfügbaren Connector, um S3 als meinen Kunden von Kinesis Stream zu verwenden? Kinesis Firehose ist in meinem Fall keine Option, da es eine andere Anwendung gibt, die aus Streams liest, um Echtzeitanalysen durchzuführen. Das gleiche gilt für Lambda (wir wollen nicht All-in bei AWS). Ich schaute auf KCL (KinesisClientLibrary), die IRecordProcessor exponiert, der mir hilft, jeden Rekord von Strom zu erfassen. Ich schreibe meinen Code so, dass jeder Datensatz erfasst und als Objekt an S3 gesendet wird. Ich möchte wissen, ob es einen leicht verfügbaren Connector gibt (in Java) oder jemand hat dies bereits getan, bevor er in die Implementierung einsteigt. Vielen Dank.

Answer 1

Kinesis Firehose kann nun Daten direkt aus Amazon Kinesis Streams lesen! https://forums.aws.amazon.com/ann.jspa?annID=4904

gibt es eine weitere Anwendung, die von Streams liest Echtzeit-Analyse zu tun. Dies sollte ein Problem mehr sein.

Kinesis Streams -> Your App -> Kinesis Firehose -> S3

Bitte nicht, dass Feuerwehrschlauch ist nur in den USA Osten (N. Virginia), West-USA (Oregon) zur Verfügung und EU (Irland) Regionen und Quer Region Transfers (zB Streams @ Mumbai -> Firehose @ Ireland) werden noch nicht unterstützt.