Wie man ständig aktualisierende Themen für eine Kafka Verbrauchergruppe effizient implementiert

Question

Ich versuche eine "alarmierende" Anwendung zu erstellen, die Informationen von mehreren kafka Themen verarbeiten muss. Es gibt Tausende von Themen, aber realistisch gesehen müssen nur einige hundert basierend auf der Alarmierungskonfiguration zu einem bestimmten Zeitpunkt verarbeitet werden. Wenn ich meine Themenliste kontinuierlich mit "subscribe" aktualisiere, kann die Latenz des Rebalancings meine Benachrichtigungen verzögern.

Wie kann ich eine Verbrauchergruppe effizient implementieren, die eine Reihe sich ständig ändernder Themen abonniert?

Answer 1

Ich würde sagen, die Antwort zu diesem heutigen Tag ist, assign() anstelle von subscribe zu verwenden und die neuen Themenpartitionen manuell hinzuzufügen und alle unbenutzten zu entfernen, wie Sie brauchen. Auch wenn es für Sie hilfreich sein könnte, einen Schritt zurück zu gehen und zu fragen, ob es sinnvoller ist, die Anzahl der Themen statisch zu halten und Dinge zu identifizieren, die mit Schlüsseln überwacht werden können. Das könnte dein Leben erleichtern.