So kopieren Sie Daten in großen Mengen von Kinesis -> Redshift

Wenn ich über AWS Datenpipeline lesen Sie die Idee sofort - produzieren Statistiken zu Kinesis und erstellen Sie einen Job in der Pipeline, die Daten aus Kinesis verbrauchen und COPY es um jede Stunde Rotverschiebung. Alles auf einmal.So kopieren Sie Daten in großen Mengen von Kinesis -> Redshift

Aber es scheint, gibt es keine Knoten in der Pipeline, die Kinesis verbrauchen kann. So, jetzt habe ich zwei mögliche Aktionspläne:

Erstellen Sie Instanz, wo Kinesis Daten konsumiert und an S3 geteilt nach Stunden gesendet werden. Die Pipeline wird von dort nach Redshift übertragen.
Von Kinesis konsumieren und COPY direkt vor Redshift an Ort und Stelle produzieren.

Was soll ich tun? Gibt es keine Möglichkeit, Kinesis nur mit AWS-Diensten zu redshiften, ohne benutzerdefinierten Code?

Quelle

2014-11-21 FXGlory

Es ist jetzt möglich, dies ohne Benutzercode über einen neuen verwalteten Dienst namens Kinesis Firehose zu tun. Es verwaltet die gewünschten Pufferintervalle, lädt Uploads zu s3, lädt zu Redshift, Fehlerbehandlung und automatische Durchsatzverwaltung.

Quelle

2016-01-14 03:04:06 Froyke

Das scheint genau das zu sein, wonach ich damals gesucht habe. Vielen Dank. – FXGlory

Das ist bereits für Sie erledigt! Wenn Sie die Kinesis-Connector-Bibliothek verwenden, gibt es einen integrierten Anschluss

https://github.com/awslabs/amazon-kinesis-connectors

Je nach Logik, die Sie Anschluss verarbeiten müssen Rotverschiebung kann wirklich einfach zu implementieren sein.

Quelle

2014-11-22 00:01:43

Ich habe versucht, eine Art von Mechanismus mit Nicht-Benutzer-Code zu erstellen, aber es scheint im Moment nicht möglich. Und ich fange an zu denken, dass es wegen der Naturkinesis nicht machbar ist - es ist nur eine Schlange, Apache Kafka auf Steroiden. Ich werde die Antwort akzeptieren, weil es die einzig mögliche ist. Vielen Dank! – FXGlory

Wird dieser benutzerdefinierte Connector, der jede Stunde Massenkopien von Kinesis -> Redshift durchführt, auf AWS hochgeladen? –

Nicht sicher, dass ich Ihre Frage verstehe, aber ja, wenn Sie den Connector von Kinesis zu Redshift verwenden, dann werden alle Daten AWS Redshift Data Warehouse gespeichert. Der "jede Stunde" Teil ist konfigurierbar. –

Sie können komplette Pipeline mit InstantStack erstellen und orchestrieren, um Daten aus Kinesis zu lesen, sie zu transformieren und in jede Redshift oder S3 zu schieben.

Quelle

2016-07-10 09:51:18 InstantStack

So kopieren Sie Daten in großen Mengen von Kinesis -> Redshift

Antwort

Verwandte Themen