Graceful benutzerdefiniertes Aktivitätstimeout in der Datenfactory

Question

Ich möchte ein Timeout für benutzerdefinierte Aktivitäten in der Datenfactory über die Eigenschaft policy.timeout in der Aktivität json erzwingen.

Ich habe jedoch keine Dokumentation gesehen, die vorschlägt, wie die Zeitüberschreitung auf Azure Batch funktioniert? Ich nehme an, dass die Batch-Task irgendwie beendet wird.

Aber ist die Aufgabe -> benutzerdefinierte Aktivität informiert, damit es aufräumen kann?

Der Grund, warum ich frage ist, dass ich Mitte Kopieren auf Daten See speichern sein könnte, und ich möchte es auch nicht ohne irgendeine Art von sauber (ich als eine Art und Weise zu tun, Transaktionen sehen können auf unbestimmte Zeit noch stoppen sie laufen lassen nicht solche mit dem Data Lake Store SDK).

---

Ich betrachte das Timeout in der benutzerdefinierten Aktivität setzen, aber es wäre eine Schande, Timeouts auf 2 verschiedenen Ebenen definiert zu haben (würde ich wahrscheinlich immer noch die Gesamt Timeout wollen).

Answer 1

Ich fühle deinen Schmerz.

ADF beenden nicht nur die Aktivität, wenn seine eigene Zeit heraus erreicht ist, unabhängig davon, in welchem ​​Zustand sich der aufgerufene Dienst ist.

ich das gleiche Problem mit U-SQL-Verarbeitung Anrufe haben. Es braucht eine Menge proaktiver Überwachung über PowerShell, um sicherzustellen, dass Datensee- oder Batchjobs genügend Rechenleistung haben, um Jobs mit natürlich ansteigenden Datenvolumes abzuschließen, bevor der ADF-Timeout-Kill auftritt.

Ich bin mir nicht bewusst, wie ADF dies handhaben könnte, da es für jeden Aktivitätstyp unterschiedlich wäre.

Zeit zum Erstellen eines anderen Feedback-Artikels für Microsoft!