Wie Berechtigungen für S3 verwalten in Databricks Montage

Question

In Databricks von S3 Lesen wird in der Regel durch eine erste Befestigung des S3 Eimer zum DBFS mit getan:

// Replace with your values 
// 
// NOTE: Set the access to this notebook appropriately to protect the security of your keys. 
// Or you can delete this cell after you run the mount command below once successfully. 

val AccessKey = "REPLACE_WITH_YOUR_ACCESS_KEY" 
val SecretKey = "REPLACE_WITH_YOUR_SECRET_KEY" 
val EncodedSecretKey = SecretKey.replace("/", "%2F") 
val AwsBucketName = "REPLACE_WITH_YOUR_S3_BUCKET" 
val MountName = "REPLACE_WITH_YOUR_MOUNT_NAME" 

dbutils.fs.mount(s"s3a://$AccessKey:$EncodedSecretKey@$AwsBucketName", s"/mnt/$MountName") 

Sobald Sie eine S3-Bucket montieren, ist es für alle Benutzer. Dies kann zu schwerwiegenden Problemen führen, wenn Benutzer Daten ändern oder löschen, mit denen sie nicht vertraut sind.

Ich möchte ein paar Eimer im schreibgeschützten Modus mounten, und niemand darf Eimer ohne besondere Berechtigungen hüpfen.

Wie können Sie die Berechtigungen für Benutzer zum Bereitstellen von S3-Buckets in Databricks verwalten?

Answer 1

Dies wird am besten mit AWS IAM-Rollen erreicht, um Lesezugriff auf Buckets zu ermöglichen. Die grundlegenden Schritte sind:

1. Erstellen Sie die IAM-Rolle.
2. Geben Sie die Benutzer an, die die Rolle übernehmen dürfen.
3. Erstellen Sie eine Bucket-Richtlinie, die schreibgeschützten Zugriff für die Rolle bereitstellt.
4. Mounten Sie den Bucket mithilfe des Befehls dbfs.fs.mount im Databricks-Dateisystem.
5. Geben Sie die IAM-Rolle beim Erstellen des Databricks-Clusters an.