Ich versuche, eine Verbindung zu Cassandra von Google Datenfluss-Anwendung. Unser Cassandra-Ring ist auch in Google Cloud. Wenn wir uns über funken bei dataproc mit Cassandra verbinden müssen, erzeugen wir Cluster, indem wir "--tags cassandra" übergeben, was es Anwendungen, die auf dataproc laufen, erlaubt, sich mit cassandra zu verbinden. Gibt es eine Möglichkeit, Tags im Datenfluss zu setzen?wie Firewall-Regel/Netzwerk-Tag zu einem Google-Datenfluss Pipeline
0
A
Antwort
1
würden Sie dies einen Versuch betrachten geben Sie bitte Setup eine Firewall-Regel wie folgt aus:
Network: <your cassandra network>
Source Filter: "Instance tags"
Source Tags: "dataflow"
Allowed protocols and ports: <port you use to connect to cassandra>
Target Tags: "cassandra"
Alle GCE VMs durch den Datenfluß-Dienst gestartet sollte mit „Datenfluß“ standardmäßig markiert werden (Hast du Instanzen ohne das Tag?). Ich vermute daher, dass dies Datenverkehr von allen Dataflow-Instanzen zu Ihrer Cassandra-Instanz zulässt.
Hoffnung das funktioniert für Sie
Verwandte Themen
- 1. Wie zu einer Pipeline in Powershell hinzufügen?
- 2. jenkins pipeline - um die Umgebungsvariable von einem Job zu bekommen
- 3. Übergabe von document() Parameter zu einem xslt in XProc Pipeline
- 4. zu Tätigkeitsbericht Pipeline Phasenänderung hinzufügen
- 5. wie Pipeline HTTPoison.Response.body
- 6. Wie Build und Build-Protokoll von Pipeline-Job von einem anderen Pipeline-Job in Jenkins
- 7. Wie Wert zu testen, über die Pipeline zu einem C# Cmdlets geliefert
- 8. Multibranch Pipeline vs. Pipeline-Job
- 9. mongodb Pipeline Aggregation Pipeline Werte ersetzt
- 10. Bitbucket Pipeline, wie ssh Agent-Setup auf einem Remote-Server
- 11. Spark Streaming: Wie lade ich eine Pipeline in einem Stream?
- 12. Wie man eine jenkins-Pipeline aus einem bitbucket-Repository auslöst
- 13. Hinzufügen von Binärdateien zu Jenkins Pipeline Build?
- 14. Pass Jenkins Build-Parameter zu Pipeline-Knoten
- 15. Jenkins Pipeline Jenkinsfile: 'node' und 'pipeline' Direktiven
- 16. Wie entleere ich eine Pipeline aus einer anderen Pipeline?
- 17. Mit Scala Actors, um etw wie eine Pipeline zu erstellen
- 18. Läuft npm in der Pipeline-Pipeline
- 19. Jenkins Skript-Pipeline oder deklarative Pipeline
- 20. Wie Validierung in chageset Pipeline
- 21. Jenkins 2 pipeline deploying zu udeploy
- 22. Pipeline-Pass-Parameter zu Downstream-Jobs
- 23. split-apply-kombinieren zu sklearn Pipeline
- 24. Heroku Pipeline fördern - ziehen zu Repository
- 25. Wie greife ich auf Parameter in einem Jenkins-Pipeline-Skript zu?
- 26. Wie kann ich ein numpy-Array zu einem Prefetch-und Puffer-Pipeline von TensorFlow
- 27. Scrapy Pipeline
- 28. Powershell: Pipeline-Objekte in Pipeline-Objekte
- 29. Konnektor-Pipeline für einfache Pipeline fehlgeschlagen
- 30. Wie zu stoppen Bienenstock/Schwein in Amazon Data Pipeline installieren?
Hallo, würden Sie ein bisschen etwas ausmachen auszuarbeiten, was Sie erreichen wollen? Verwenden Sie das Standardnetzwerk? Oder haben Sie bereits Ihre Netzwerkeinstellungen geändert? Eine falsche Änderung der Netzwerkeinstellungen kann zu vielen Problemen führen. Ich möchte also ein klares Bild von dem bekommen, was Sie bisher getan haben. Firewall-Regeln gelten für eingehenden Datenverkehr. Also denke ich, dass Sie eine Regel für die Cassandra-Instanz einrichten müssen, damit sie Datenverkehr von den Dataflow-Instanzen empfangen oder das gleiche Netzwerk verwenden kann. Sind sie im selben GCP-Netzwerk? Siehe: https://cloud.google.com/compute/docs/networks-and-firewalls –
Hallo Alex, ich verwende kein Standard-Netzwerk. Ich habe ein anderes Netzwerk (Legacy) erstellt und ich habe eine Firewall-Regel erstellt, die die Kommunikation basierend auf Quellfilter-Tag als "Datenfluss" und Ziel-Tag als "Cassandra" mit einigen Protokollen und Ports erlaubt. Ich wollte herausfinden, ob es eine Möglichkeit gibt, das Tag als "Datenfluss" zu meinem Datenfluss-Job zu setzen. Wir machen das gleiche mit Dataproc. Wir haben eine Firewall-Regel, die die Kommunikation zwischen dem Quell-Tag "dataproc" und dem Ziel-Tag "cassandra" ermöglicht. Wenn wir dataproc cluster erstellen, übergeben wir ein Argument als --tags dataproc und es funktioniert. wollte herausfinden, ob wir das gleiche hier machen können – rhg
Ich versuche nur herauszufinden, ob ich es vermeiden kann, IP-Adressbereiche anzugeben, wenn ich die Firewall-Regel erstelle. – rhg