2017-03-24 4 views
0

Ich versuche, eine Verbindung zu Cassandra von Google Datenfluss-Anwendung. Unser Cassandra-Ring ist auch in Google Cloud. Wenn wir uns über funken bei dataproc mit Cassandra verbinden müssen, erzeugen wir Cluster, indem wir "--tags cassandra" übergeben, was es Anwendungen, die auf dataproc laufen, erlaubt, sich mit cassandra zu verbinden. Gibt es eine Möglichkeit, Tags im Datenfluss zu setzen?wie Firewall-Regel/Netzwerk-Tag zu einem Google-Datenfluss Pipeline

+0

Hallo, würden Sie ein bisschen etwas ausmachen auszuarbeiten, was Sie erreichen wollen? Verwenden Sie das Standardnetzwerk? Oder haben Sie bereits Ihre Netzwerkeinstellungen geändert? Eine falsche Änderung der Netzwerkeinstellungen kann zu vielen Problemen führen. Ich möchte also ein klares Bild von dem bekommen, was Sie bisher getan haben. Firewall-Regeln gelten für eingehenden Datenverkehr. Also denke ich, dass Sie eine Regel für die Cassandra-Instanz einrichten müssen, damit sie Datenverkehr von den Dataflow-Instanzen empfangen oder das gleiche Netzwerk verwenden kann. Sind sie im selben GCP-Netzwerk? Siehe: https://cloud.google.com/compute/docs/networks-and-firewalls –

+0

Hallo Alex, ich verwende kein Standard-Netzwerk. Ich habe ein anderes Netzwerk (Legacy) erstellt und ich habe eine Firewall-Regel erstellt, die die Kommunikation basierend auf Quellfilter-Tag als "Datenfluss" und Ziel-Tag als "Cassandra" mit einigen Protokollen und Ports erlaubt. Ich wollte herausfinden, ob es eine Möglichkeit gibt, das Tag als "Datenfluss" zu meinem Datenfluss-Job zu setzen. Wir machen das gleiche mit Dataproc. Wir haben eine Firewall-Regel, die die Kommunikation zwischen dem Quell-Tag "dataproc" und dem Ziel-Tag "cassandra" ermöglicht. Wenn wir dataproc cluster erstellen, übergeben wir ein Argument als --tags dataproc und es funktioniert. wollte herausfinden, ob wir das gleiche hier machen können – rhg

+0

Ich versuche nur herauszufinden, ob ich es vermeiden kann, IP-Adressbereiche anzugeben, wenn ich die Firewall-Regel erstelle. – rhg

Antwort

1

würden Sie dies einen Versuch betrachten geben Sie bitte Setup eine Firewall-Regel wie folgt aus:

Network: <your cassandra network> 
Source Filter: "Instance tags" 
Source Tags: "dataflow" 
Allowed protocols and ports: <port you use to connect to cassandra> 
Target Tags: "cassandra" 

Alle GCE VMs durch den Datenfluß-Dienst gestartet sollte mit „Datenfluß“ standardmäßig markiert werden (Hast du Instanzen ohne das Tag?). Ich vermute daher, dass dies Datenverkehr von allen Dataflow-Instanzen zu Ihrer Cassandra-Instanz zulässt.

Hoffnung das funktioniert für Sie

+0

es hat funktioniert, Danke Alex. – rhg

+0

ist es möglich, das Tag zu ändern? etwas anderes als Datenfluss beim Übergeben eines Jobs geben? – rhg

Verwandte Themen