Tools zum Lesen von Verbraucher-Offset von Kafka 0.9

Question

Ich verwende Kafka 0.9 Consumer-APIs. Ich muss den aktuellen Offset der Verbraucher für eine bestimmte Verbrauchergruppe und ein bestimmtes Thema überprüfen und habe kein Befehlszeilentool gefunden, das diese Informationen auflisten würde. Ich habe versucht, den folgenden Befehl

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group <group_name> 

aber diese Liste nicht die Verbraucher, auch wenn ich die Verbraucher laufen/Polling.

Basierend auf Kafka 0.9 new consumer api --- how to just watch consumer offsets scheint es gibt Kommandozeilen-Tool für diese, aber ich weiß nicht, ob dies für Kafka 0.9 Verbraucher ist.

Jede Hilfe wäre willkommen.

Answer 1

Dies funktioniert für mich:

bin/kafka-consumer-groups.sh --new-consumer --describe --group ta-services --bootstrap-server localhost:9092 

und gibt so etwas wie dies als Ergebnis:

GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER 
ta-services, modsec_logs, 0, 2, 2, 0, instance1-0_/127.0.0.1 
ta-services, modsec_logs, 1, 9, 9, 0, instance1-0_/127.0.0.1 
ta-services, modsec_logs, 2, 1, 1, 0, instance1-1_/127.0.0.1 
ta-services, modsec_logs, 3, 1, 1, 0, instance1-1_/127.0.0.1 

Beachten Sie, dass dieser Befehl nur wenn Ihr Verbraucher bis zu arbeiten scheint, ist und lebendig. Sobald Sie es stoppen - Sie erhalten keine Ausgabe von dem Befehl. Ich denke, das ist einer der Nachteile dieses Offset-Checkers in 0.9.x vs 0.8.x. Ich konnte keine Möglichkeit finden, Offsets von "toten" Konsumenten in 0.9 noch zu überprüfen (über Skripte, ohne manuell Daten von den _offsets ... Themen zu lesen) - wenn jemand weiß, wie man das macht, bitte posten!