Verwalten von Datenbankanmeldeinformationen von AWS EMR Spot Intsance

Question

Ich spanne regelmäßig EMR-Cluster hoch/herunter, um eine Vielzahl von Aufgaben auszuführen. Einige dieser Aufgaben umfassen die Verbindung mit einer entfernten Datenbank und das Lesen oder Schreiben von Daten. Ich benötige verschiedene Verbindungsparameter, um zu diesen Datenbanken (Adresse, Benutzername, PW, usw.) zu verbinden.

Ich bin auf der Suche nach einer sicheren Möglichkeit, diese Datenbank-Anmeldeinformationen während des Bootstrapping auf den EMR-Cluster zu erhalten, um von automatisierten Jobs verwendet zu werden. Ich habe Zugriff auf alle anderen AWS-Dienste.

Answer 1

Wenn Sie einen emr-Cluster starten, können Sie im Abschnitt Bootstap-Aktionen ein benutzerdefiniertes Skript hinzufügen, das auf jedem Knoten ausgeführt wird. Sie können Ihre Konfigurationsdateien aus dem S3-Bucket in Instanzen kopieren und Ihren Code zum Lesen der conf-Datei oder zum Ausführen des bash-Skripts verwenden, um Konfigurationen als Umgebungsvariablen zu propagieren.