Azure Batch-Unterstützung für verknüpften Data Lake Store-Service

Question

Ich verwende eine Datenfabrikationspipeline mit einer benutzerdefinierten Aktivität (konfiguriert für die Ausführung in Azure Batch), die über einen Eingabe-Dataset- und Ausgabe-Dataset verfügt. Der mit dem Datensee-Speicher verknüpfte Dienst verwendet den Dienst zur Dienstauthentifizierung (Dienstprinzipal) und funktioniert ordnungsgemäß, während er in einem Kopiervorgang über den Kopierassistenten verwendet wird. Wenn sie jedoch mit einer benutzerdefinierten Aktivität verwendet wird, die versucht zu überprüfen, ob eine Datei im Datensee vorhanden ist, schlägt die Aktivität mit dem Fehler "Autorisierung ist erforderlich" fehl. Wenn Sie einen Azure Blob Store als Eingabe- und Ausgabe-Datasets verwenden, funktioniert dieselbe benutzerdefinierte Aktivität problemlos.

Scheint wie ein Problem mit Azure Batch (Rechenknoten) nicht in der Lage, Data Lake Store zu autorisieren. Bitte helfen Sie, wenn Sie das oben genannte Problem gelöst haben.

Answer 1

Ich hatte genau dieses Problem vor etwa 3 Wochen. Ich fühle deinen Schmerz!

Dies ist ein Microsoft-Bug!

Nach vielen Versuchen und Fehler und Umplatzierungen ich ein Support-Ticket mit Microsoft ausgelöst, die bestätigt, dass Service-Prinzipal-Authentifizierung für Data Lake Store derzeit nur mit Kopieraktivitäten funktioniert. Nicht mit benutzerdefinierten Aktivitäten.

Dies ist die offizielle Antwort, die ich am Montag, den 10. April erhielt.

Das Problem tritt aufgrund eines Fehlers auf, dass das Connector-Schema der benutzerdefinierten Aktivität nicht mit dem neuesten veröffentlichten Connector-Schema übereinstimmt. Eigentlich, bemerken wir das Problem auf benutzerdefinierte Aktivität und haben Plan, & zu beheben in den nächsten 2 Wochen prod zu beheben.

Beachten Sie, dass, wenn Sie Ihre verknüpften Dienst ändern zurück eine Session-Token zu verwenden, etc. Sie werden auch Ihre Pipelines, die die benutzerdefinierten Aktivitäten enthalten umschichten müssen. Andernfalls erhalten Sie einen weiteren Fehler, der etwa folgender Art ist:

Der Zugriff ist untersagt, bitte überprüfen Sie die Anmeldedaten und versuchen Sie es erneut. Code: 'AuthenticationFailed' Nachricht: 'Server konnte die Anforderung nicht authentifizieren. Stellen Sie sicher, dass der Wert des Autorisierungsheaders korrekt einschließlich der Signatur gebildet wird.

Hoffe das hilft.