Kann AWS DataPipeline-Aktivität nicht mit Awscli hinzufügen

Question

Ich habe viele DynamoDB-Tabellen zum Einrichten von Sicherungen in Datenpipeline. Ich bin in der Lage, eine JSON-Datei über AWS-Befehlszeile für 1 oder 2 Tabellen übergeben, was bedeutet, dass die JSON-Datei funktioniert.

Allerdings, wenn ich eine große JSON bin vorbei (mit 50-100 DynamoDB Tabellen) zur Einrichtung DataPipeline, bekomme ich diesen Fehler:

An error occurred (InvalidRequestException) when calling the PutPipelineDefinition operation: Web service limit exceeded: Exceeded maximum number of objects allowed per pipeline

ich jedes JSON pro DynamoDB Tabelle erstellen kann. Aber das Problem ist, dass die vorherige DataPipeline vom nächsten JSON überschrieben wird.

Der AWS Befehl ich verwende ist:

aws datapipeline put-pipeline-definition --pipeline-id df-XXXXXXXXXXXXX --pipeline-definition file:///home/varun/Desktop/df-XXXXXXXXXXXXX.json

Meine Hauptfrage: Gibt es eine Möglichkeit, nicht die datapipeline Aktivität, zu überschreiben, wenn ich mit mehreren Put-Pipeline-Definition bin mit JSONs?

Edit: 1. ich eine Daten-Pipeline haben, wie unten gezeigt

2. Die unten werden die Datenknoten und Aktivität (Backup) innerhalb der Daten-Pipeline:

ich habe mehrere erstellen (lesen ~ 50) Aktivitäten und Datenknoten JSON verwenden. Der JSON funktioniert für 1 Aktivität, aber für den zweiten überschreibt er den vorhandenen.

Answer 1

Für jede json Sie eine separate Pipeline erstellen müssen:

aws datapipeline create-pipeline --pipeline-name mytable --unique-id mytable 
aws datapipeline put-pipeline-definition --pipeline-id <ID from previous command> --pipeline-definition file://mytable.json