Kaka Consumer-Offset wird nicht nach Aufbewahrung gelöscht

Ich versuche, eine Konfiguration des Brokers offset.retention.minutes=30 zu testen. Ich habe diese Konfiguration auf 10 Minuten anstelle von 24 Stunden als Standard geändert.Kaka Consumer-Offset wird nicht nach Aufbewahrung gelöscht

jedoch nach mehr als 10 Minuten der Verbrauchergruppe noch Offset in der Informations Offset zeigend

ldnpsr000001131$ bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe -group rent_test 
GROUP       TOPIC       PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG    OWNER 
rent_test      rent_test      0   44    44    0    none

Jede Idee, warum es nicht gelöscht zu werden?

Quelle

2017-03-02 Joey

nur zur Klarstellung, ich verwende 'kafka_2.10-0.10.0.1', und der Grund, dass ich diesen Fall teste, wie wir das Problem der Verbraucher Offset konfrontiert sind verloren nach einer Periode der inaktiven Verbrauchergruppe. – Joey

offsets.retention.minutes steuert das Protokoll Aufbewahrungsfenster in Minuten für Offsets Thema, nämlich __consumer_offsets, in denen neue Verbraucher Offsets speichern. In Ihrem Fall, in dem Sie den alten Verbraucher verwenden, werden die Offsets im Tierpfleger gespeichert, sodass die Einstellung offsets.retention.minutes keine Auswirkungen auf die ZK-basierte Verbrauchergruppe hat.

Quelle

2017-03-02 08:59:30 amethystic

Ich habe mit neuen Verbraucher versucht, zur gleichen Zeit, überprüfte ich die Verbrauchergruppe und fand die eine wie erwartet. 'ldnpsr000001131 $ bin/kafka-consumer-groups.sh --bootstrap-server localhost: 9092 --liste -Neuer-Kunde rent_test'. Wenn ich jedoch den Kunden gestoppt und erneut überprüft habe, wird diese Nachricht angezeigt. Die Verbrauchergruppe 'rent_test' existiert nicht oder wird neu gewichtet.' Ich habe erwartet, dass wir noch den Consumer-Offset überprüfen können, selbst wenn es keine aktive Verbrauchergruppe gibt. @amethystic – Joey

Kafka0.10.0.1 zeigt nur Informationen von aktiven Gruppen, während kafka-consumer-groups.sh in 0.10.2 (eigentlich kann ich mich nicht erinnern, was das ist exact version führt die Verbesserung ein), die stark verbessert wurde, kann Offsets für inacive Gruppen anzeigen. Aber es gibt noch eine Möglichkeit, Offsets für solche Gruppen zu überprüfen: __consumer_offsets direkt nachschlagen. – amethystic

Ich verstehe nicht, warum die Offset-Consumer-Gruppe nicht löschen nach Aufbewahrungszeitraum nach (10 Minuten) nachdem ich gewechselt habe, um neue Verbraucher von Kafka verwenden 0.10.0.1 @amethystic – Joey

Kaka Consumer-Offset wird nicht nach Aufbewahrung gelöscht

Antwort

Verwandte Themen