AWS Datapipeline zu Ruby Code

Question

Ich bin dabei, eine Reihe von Datenpipelines auf AWS zu übernehmen. Sie werden alle mit dem grafischen Editor von AWS erstellt. Die Pipelines werden komplex und mein Ziel ist es, sie zu Code zu machen und sie versionieren zu lassen. Wir sind ein Ruby-Shop, also gibt es neben dem Rubin-Juwel von AWS noch ein anderes Tool oder Framework, das ich verwenden sollte? Alle Ressourcen, Blogs und Dokumente, denen ich folgen kann, wären hilfreich und einfach zu befolgen (aws-Dokumente könnten besser sein).

Answer 1

Datapipeline unterstützt ein JSON-Definitionsformat. Das Format, in diesen Links beschrieben:

• Pipeline Definition File Syntax
• Pipeline Object Reference

Vom Architekten, können Sie Ihre vorhandenen Pipelines als JSON exportieren, indem Sie die Anweisungen folgen here.

Commit diese JSON-Dateien in die Quellcodeverwaltung, und führen Sie/Migration/deploy sie die AWS CLI wie folgt aus:

aws datapipeline create-pipeline --name mydpl --unique-id mydpl 
aws datapipeline put-pipeline-definition --pipeline-id df-xxxxxxxxxx --pipeline-definition file:///mydpl.json 
aws datapipeline activate-pipeline --pipeline-id df-xxxxxxxxxx