Wie kann ich Partitionen manuell zuweisen, während ich automatisch committen kann?

Question

Ich versuche, jedem Verbraucher innerhalb einer Verbrauchergruppe manuell Partitionen zuzuweisen. Es sieht so aus, als ob Kafka (oder zumindest kafka-python) beim Hinzufügen von Konsumenten in einer Gruppe davon ausgeht, dass der Gruppenkoordinator alle Zuweisungen ausführen soll. Gibt es eine Möglichkeit, alle Vorteile einer Consumer-Gruppe (speziell Autocommit) zu nutzen, während man zuweisende Partitionen manuell verwalten kann? Kann ich einen benutzerdefinierten Partitionszuordner schreiben?

Ich verwende die Kafka-Python 1.3.3-Bibliothek.

Answer 1

Ja, hat Kafka Verbraucher eine Eigenschaft „partition.assignment.strategy“, wo Sie Ihre eigenen benutzerdefinierten Zedenten angeben können, ist standardmäßig RangeAssignor

Auto Commit auch Eigenschaft angetrieben „enable.auto.commit“

Kafka Verbraucherkonfigurationen: https://kafka.apache.org/documentation/#consumerconfigs