Ich baue eine App, die ständig an einen Puffer anfügt, während viele Leser unabhängig voneinander von diesem Puffer verbrauchen (einmal schreiben, viele lesen/WORM). Zuerst dachte ich an Apache Kafka, aber da ich eine as-a-service-Option bevorzuge, habe ich angefangen, AWS Kinesis Streams + KCL zu untersuchen und es scheint, dass ich diese Aufgabe mit ihnen erledigen kann.Entspricht Kafka/AWS Kinesis-Stream in der Google Cloud Platform
Grundsätzlich brauche ich 2 Funktionen: Bestellung (die Ereignisse müssen in der gleichen Reihenfolge von allen Lesern gelesen werden) und die Möglichkeit, den Offset im Puffer zu wählen, ab dem der Leser beginnt zu konsumieren.
Jetzt bewerte ich auch Google Cloud Platform. Wie ich in der Dokumentation lese scheint es, dass Google Pub/Sub als Äquivalent zu AWS Kinesis-Stream vorgeschlagen wird, sondern auf einer detaillierteren Ebene scheinen diese Produkte viel anders aus:
- Kinesis Garantien in einer Scherbe Bestellung, während auf Pub/Sub Bestellung ist auf Best-Effort-Basis;
- Kinesis hat alle Puffer (begrenzt auf max 7 Tage) für die Leser, die einen Offset verwenden können, um die Start-Leseposition zu wählen, während auf PubSub nur die Nachrichten nach dem Abonnement für Consumption verfügbar sind.
Wenn ich es richtig verstanden habe, kann PubSub nicht als ein Kinesis-Äquivalent angesehen werden. Vielleicht zusammen mit Google Dataflow? Ich muss gestehen, dass ich immer noch nicht sehen kann wie.
Ist PubSub also eine Alternative zu Kinesis? Wenn nicht, würde ein Google Cloud-Produkt meine Anforderungen erfüllen?
Danke!
Das konnte ich auch sehen. PubSub + DataFlow (ungefähr) entspricht nicht Kinesis. Obwohl ich Kinesis ausgiebig verwendet habe, sehe ich solche Dokumentation oder Funktionalität nicht in der Nähe von pubsub und Dataflow. Sie könnten etwas weit sein. – Kannaiyan
Der Beitrag unter https://cloud.google.com/blog/big-data/2016/09/apache-kafka-for-gcp-users-connectors-for-pubsub-dataflow-and-bigquery hat mich nur ein wenig verändert mehr verwirrt. Es bedeutet (subtil), dass PubSub eine Alternative zu Kafka ist, aber ich sehe immer noch nicht die gleichen Fähigkeiten. – Renan
Mit Pub/Sub müssen Sie die Bestellinformationen in der Nachrichtennutzlast hinzufügen. Dies kann ein Problem mit Ihrer Bewerbung sein oder auch nicht. – gdahlm