kafka Nachrichten die eigentlichen Nachrichten veröffentlicht oder verbraucht

Question

Ich habe kafka installiert auf meinem lokalen Server, und durch eine andere Anwendung läuft auf dem Server produers zeigen Überwachung werden die Nachrichten an den Brokern Veröffentlichung innerhalb meines kafka Server, durch die zookeeper kann ich leicht sehen Sie die Gesundheit meiner kafka, die alle Themen in meinem kafka Server erstellt zeigt, innerhalb von Themen usw. Offset, so nur die zookeeper ist nicht in der Lage zu zeigen, ist die Nachrichten, die in den einzelnen Themen sind, so jemand empfohlen kafka-manager Werkzeug, Ich installierte und lief es, es funktionierte gut, es zeigte viele Informationen von meinem kafka Server, aber immer noch war es nicht in der Lage, echte Nachrichten zu zeigen, die von jeweiligen veröffentlicht oder verbraucht werden Verbraucher in meinem kafka Server, so meine Frage ist, gibt es einen Weg/Werkzeug/Code, um die veröffentlichten oder verbrauchten Nachrichten zu finden, ich meine, zusätzlich zu diesem kafka-manager oder ich habe einige Plugins innerhalb der gleichen kafka-manager installiert, so dass es wird Zeigen Sie auch die jeweiligen Nachrichten. Vielen Dank im Voraus!

Answer 1

Ein Kafka-Broker kann Ihnen nicht sagen, wie viele Nachrichten für einen bestimmten Verbraucher zu einem bestimmten Thema konsumiert wurden. Das einzige, was einem Kafka-Broker bekannt ist, ist der aktuelle Log-Offset des Verbrauchers und der aktuelle maximale Offset des Logs. Es kann Ihnen jedoch nicht sagen, wie viele Nachrichten vor dem aktuellen Offset, den der Kunde tatsächlich erhalten hat, da es keine Zähler in der Nähe hat und der Konsument seine eigene Anfangsposition definiert (sowie an verschiedenen Stellen im Protokoll suchen kann).

Sie können diese beiden Nummern mit dem Skript $KAFKA_HOME/bin/kafka-consumer-offset-checker.sh erhalten.