Google Cloud Dataproc - Verschlüsselung während der Übertragung?

Question

Weiß jemand was das Folgende aus den FAQs (https://cloud.google.com/dataproc/docs/resources/faq) eigentlich bedeutet?

"Daten können vom Benutzer bei der Übertragung zu und von einem Cluster verschlüsselt werden, wenn Cluster erstellt oder Aufträge gesendet werden."

Ich finde keine Optionen zum Aktivieren der Verschlüsselung während der Cluster-Erstellung. Bedeutet dies im Grunde, konfigurieren Sie alle Komponenten selbst, um sicherzustellen, dass die Kommunikation verschlüsselt ist.

Wir möchten wissen, ob Spark/Hive/Tez-Jobs verschlüsselte Kommunikationskanäle verwenden, wenn sie einen Job ausführen oder über die jdbc-Verbindung eine Verbindung zu Hive herstellen.

Gibt es irgendwelche Initialisierungsaktionen für dieses oder bedeutet diese Aussage im Grunde alles, was Sie tun?

Answer 1

Ich gehe davon aus, dass im Zusammenhang mit GCP APIs über Authentifizierung/Autorisierung/Verschlüsselung spricht. Wichtig: Wenn Ihre Daten in GCS oder BigQuery gespeichert sind, ist die Datenübertragung gesichert. Außerdem ist die gesamte Kommunikation mit der Steuerungsebene von Dataproc (z. B. das Erstellen von Clustern, das Senden von Jobs) gesichert.

Sie sind richtig, dass die Kommunikation innerhalb des Clusters nicht gesichert ist, aber ist im Wesentlichen Airgapped. Die Kommunikation zwischen Knoten erfolgt über interne IPs auf Ihrem isolierten VPC network. Dataproc hat zum Konfigurieren von Firewall-Regeln.

Sie können Dataproc private IP clusters auch verwenden, um externe IP-Adressen auf den VMs zu vermeiden.

Mir ist keine Init-Aktion zum Einrichten von Kerberos bekannt - also müssten Sie ja selbst bauen.