So skalieren Sie parallele Verbraucher in Microservices

Question

Für ein neues Projekt betrachten wir Microservices zusammen mit RabbitMQ oder Kafka. Für beide Technologien habe ich die gleiche Frage, die Antwort könnte sich jedoch unterscheiden.

Betrachten wir drei Ereignisse:

1. Produkt erstellen 1
2. Neues Profil 1
3. löschen Produkt 1

Wir wollen diese Ereignisse verwenden, um Daten unter Dienste "Duplikat". Bei Verwendung eines Consumers werden alle Nachrichten in der richtigen Reihenfolge ausgeführt und die Datenbank wird konsistent sein.

Wenn jedoch dieser eine Consumer langsam bei der Verarbeitung der Nachrichten wird, möchte man möglicherweise einen anderen Verbraucher parallel hinzufügen. An dieser Stelle ist es ungewiss, dass Ereignis 1 vor Ereignis 3 ausgeführt wird, was zu einer inkonsistenten Datenbank führen kann (zuerst löschen, danach erstellen).

Gefunden einige Informationen here über das Thema, aber beide Lösung scheint schwer zu implementieren. Wie wäre es möglich, diese Verbraucher zu vergrößern? Gibt es einen Unterschied darin, wie man das mit RabbitMQ oder Kafka handhaben würde?

Answer 1

Für die Kafka-basierte Implementierung müssen Sie nur sicherstellen, dass alle Ereignisse derselben logischen Gruppe (id?) Auf der gleichen Partition landen. In diesem Fall können Sie mehr Benutzer hinzufügen (bis zu Partitionen), um Ereignisse parallel zu behandeln, aber jeder Konsument behandelt Ereignisse nur für seine logische Gruppe (n).

Sie können dieses Verhalten erreichen, indem Sie den richtigen Schlüssel/Partitionierungsansatz auswählen - entweder ID als Schlüssel verwenden oder eine ausgefeiltere Partitionierungsimplementierung verwenden.