Google Cloud Pub/Sub zu Datastax Cassandra (In Google Cloud)

Question

Ich habe einen Datastax Cluster mit 9 Knoten in Google Cloud bereitgestellt.

Jetzt wurde mir eine Anforderung gegeben, die Daten von QUEUEs zu lesen und in Datastax in Google Cloud (Continues Streaming) zu laden.

Ich weiß Pub/Sub kann die Daten von QUEUE lesen, aber nicht sicher, ob es direkt in Datastax geladen werden kann.

Kann Pub/Sub die Daten in Datastax in Google Cloud laden?

Ich bin neu in Pub/Sub so nicht sicher, wo ich anfangen oder wie ich anfangen soll.

Danke,

Answer 1

Es gibt keine automatische Art und Weise die Daten von Google Cloud Pub/Sub in DataStax zu laden. Sie müssten ein Abonnement erstellen und den Abonnentencode schreiben, der die Nachrichten von diesem Abonnement erhält und anschließend in Datastax schreibt. Die ist wahrscheinlich ein guter Ort, um mit den notwendigen Schritten zu beginnen.

Answer 2

Eine Möglichkeit wäre, eine Dataflow-Pipeline (im Streaming-Modus) von Pub/Sub lesen und in Cassandra schreiben zu lassen. Es gibt noch keine integrierte Cassandra-Senke für Dataflow (obwohl one is in the works10 als Teil von Apache Beam), aber es könnte für Ihren Anwendungsfall ausreichend sein, an Cassandra in einem Dataflow-ParDo zu schreiben.