Ist es möglich zu wissen, welchen Bereich der externen IP die DataFlow-Mitarbeiter auf GCP verwenden? Das Ziel besteht darin, eine Art IP-Filterung für einen externen Dienst einzurichten, sodass nur unsere DataFlow-Jobs, die auf GCP ausgeführt werden, auf den Dienst zugreifen können.Google Cloud Platform DataFlow-Mitarbeiter IP-Adressen
Die beste Lösung wäre ein Upgrade, damit Sie SSL oder andere Mechanismen der starken Authentifizierung verwenden können.
Sie können die Option --network= verwenden, um das GCE-Netzwerk zu steuern, dem die Arbeitscomputer-VMs zugeordnet sind. Werfen Sie einen Blick auf die GCE docs on networking für Details zum Einrichten eines VPN (wie der Kommentar von Elmar vorgeschlagen). Sie können auch einen einzelnen Computer im Netzwerk mit einer statischen externen IP-Adresse einrichten und ihn als Proxy für die anderen VMs im Netzwerk verwenden.
Dies ist kein Verwendungsmuster, das wir getestet haben, daher kann es Probleme mit der Latenz oder dem Durchsatz des Datenverkehrs über das Proxy/VPN geben. Sie müssen daher vorsichtig sein, Ihren Datenverkehr nur über diesen Proxy zu senden, damit Sie nicht versehentlich den Datenverkehr übernehmen, der von jedem Mitarbeiter für die Kommunikation mit dem Dataflow-Dienst verwendet wird.
Haben Sie weitere Details zu dem, was Sie tun möchten? IP-Adress-basierte Filter sind nicht ausreichend, um Sicherheit/Authentifizierung für einen Dienst bereitzustellen. –
Sicher. Wir haben also einen Produktions-Kafka-Cluster außerhalb von GCP. Wir möchten die Daten von dort mit DataFlow verarbeiten (mit einer benutzerdefinierten Quelle, die wir entwickelt haben). Wir möchten jedoch die Exposition unseres Kafka-Clusters reduzieren. Wir betreiben Kafka 0.8.x, also haben wir weder SSL, noch Authentifizierung im Protokoll gebacken. – Thomas
Ich glaube nicht, dass Sie das im Voraus wissen können, da der Fluss dynamisch skaliert werden kann und keinen Pool vordefinierter statischer IPs verwenden kann. Und die gesamte GCE IP-Reihe ist zu groß, um nützlich zu sein. Meine Idee wäre ein VPN? Wenn Sie wirklich mit IP-Adressen gehen wollen, ist die einzige Möglichkeit, an die ich denken kann, ein Skript, das die IP-Adressen des Datenflusses überwacht und Ihre Firewall während des Betriebs neu konfiguriert. –