Azure Data Factory verbietet Pipelinedoppellauf

Question

Ich weiß, es könnte ein bisschen ein verwirrender Titel sein, aber konnte nicht besser werden. Das Problem ... Ich habe eine ADF-Pipeline mit 3 Aktivitäten, zuerst eine Kopie in einen DB, dann 2 mal eine gespeicherte Prozedur. Alle werden am Tag ausgelöst und verwenden ein WindowEnd, um das richtige Verzeichnis zu lesen oder Daten an den SP zu übergeben.

Es gibt keine Möglichkeit, ein Import-Datum in die XML-Dateien zu bekommen, die wir erhalten.

Also ich versuche, es in der ersten SP hinzuzufügen. Problem ist, dass sobald die erste Aktion aus der Pipeline gemacht wird 2 andere gestartet werden.

Die zweite Aktion im selben Slice, wobei der SP die Daten hinzufügt, aber im Fall, dass der Verlauf geladen wird, startet die gleiche Pipeline erneut eine Kopie für ein anderes Segment.

So bekomme ich Daten durcheinander. Wie Sie im 'Letzter Versuch Start' sehen können. Hat jemand eine Idee, wie man das vermeiden kann?

ADF Monitoring

Answer 1

Falls jemand ein ähnliches Problem trifft .. Ich habe das Problem, indem sie die Arbeit mit täglich benannten Tabellen gelöst. jede Scheibe legt ihre Daten in eine Staging-Tabelle mit einem _YYYYMMDD nach, kann als "tableName": "$$Text.Format('[stg].[filesin_1_{0:yyyyMMdd}]', SliceEnd)" festgelegt werden. So, jetzt gibt es nie wieder ein Problem der Parallelität. Der einzige Nachteil besteht darin, dass die SPs, die danach kommen, mit Dynamic SQL arbeiten müssen, da der Tabellenname, aus dem sie auswählen, eine Variable ist. Aber das war kein großes Codierungsproblem. Funktioniert wie ein Charme!