Ich habe einige Daten in S3 gespeichert. Ich muss diese Daten regelmäßig von S3 zu Redshift-Cluster klonen/kopieren. Um eine Massenkopie zu erstellen, kann ich den Kopierbefehl verwenden, um von S3 zur Rotverschiebung zu kopieren.Daten aus dem S3-Bucket zur periodischen Rotverschiebung streamen
In ähnlicher Weise gibt es eine einfache Möglichkeit, Daten regelmäßig von S3 zu Redshift zu kopieren.
Dank
Versuche AWS Daten-Pipeline verwendet, die zum Bewegen von Daten von einem AWS-Service zu anderen Vorlagen haben. Die Vorlage "Daten von S3 in Redshift laden" kopiert Daten aus einem Amazon S3-Ordner in eine Redshift-Tabelle. Sie können die Daten in eine vorhandene Tabelle laden oder eine SQL-Abfrage zum Erstellen der Tabelle bereitstellen. Die Redshift-Tabelle muss dasselbe Schema wie die Daten in Amazon S3 haben.
Die Datenpipeline unterstützt Pipelines, die nach einem Zeitplan ausgeführt werden. Sie haben einen Cron Stil Editor für die Planung
Hallo, Während Pipeline zum Kopieren von Daten nach einem Zeitplan verwendet werden kann, nehme ich an, es wird die gesamten Daten kopieren. Wir müssen die Daten schrittweise kopieren, d. H. Die Daten, die einmal kopiert wurden, sollten nicht erneut kopiert werden. Ich konnte keine Dokumentation in der Pipeline finden, um dies zu tun? Gibt es irgendwelche . Auch ich habe über Lambda-Funktionen gelesen. Können sie hier zur Rettung kommen? –