Schnellere Zuweisung von Zugriffsberechtigungen für ADLS bei der HDInsight-Cluster-Bereitstellung

Question

Ich habe einen Azure Data Lake Store (ADLS) mit ~ 100.000 Dateien, auf die ich von einem HDInsight-Cluster zur Analyse zugreifen muss. Wenn ich den Cluster über Azure Portal bereitstelle, verwende ich diese ADLS für den Speicher des Clusters und weise rwx-Berechtigungen für alle Dateien im ADLS zu, wobei ein Dienstprinzipal und die Funktion "Data Lake Store Access" verwendet werden. Diese Funktion scheint Zugriff auf jede einzelne Datei zu gewähren, und zwar mit einer Geschwindigkeit von ca. 2k pro Minute: Es dauert mehr als eine Stunde, nur um die Berechtigungen zu erteilen!

Gibt es eine schnellere Möglichkeit, einem neuen Cluster rwx-Privilegien auf dem zugehörigen ADLS zu gewähren?

Answer 1

Ja, es gibt einen besseren Weg, um alles einzurichten. Sie müssen einmalig für alle Ihre Dateien und Ordner Berechtigungen für eine Azure Active Directory-Gruppe hinzufügen. Sobald dies eingerichtet ist, muss der Service-Principal bei jedem Erstellen eines neuen HDInsight-Clusters lediglich ein Mitglied der Gruppe werden.

Um es zusammenzufassen:

1. eine neue Azure Active Directory-Gruppe erstellen
2. Propagieren Berechtigungen in Ihrem ADLS zu dieser Gruppe auf die entsprechenden Dateien und Ordner
3. erstellen Cluster Ihre HDInsight Konto. Wählen Sie das richtige Service-Principal , wenn Sie es erstellen.
4. Fügen Sie den Dienstprinzipal die in Schritt erstellte Gruppe 1

hoffte, das hilft und mir lassen wissen, wenn Sie Fragen haben.