Basic Kafka Thema Verfügbarkeitsprüfung

Question

Ich brauche einen einfachen Health Checker für Apache Kafka. Ich möchte nicht etwas Großes und Komplexes wie Yahoo Kafka Manager, im Grunde möchte ich überprüfen, ob ein Thema gesund ist oder nicht und ob ein Verbraucher gesund ist.

Meine erste Idee war es, ein separates heart-beat Thema zu erstellen und regelmäßig Nachrichten zu senden/lesen, um Verfügbarkeit und Latenz zu überprüfen. Die zweite Idee ist, alle Daten von Apache Zookeeper zu lesen. Ich kann alle Broker, Partitionen, Themen usw. von ZK bekommen, aber ich weiß nicht, ob ZK sowas wie Fehlererkennungsinformation bereitstellen kann.

Wie gesagt, ich brauche etwas Einfaches, das ich in meinem App-Health-Checker verwenden kann.

Answer 1

Einige bestehende Tools Sie sie aus, wenn Sie noch nicht ausprobieren können -

Burrow Kafka Verbraucher Linkedin Lag

exhibitor Netflix Überprüfung ZooKeeper Co-Prozess zum Beispiel Monitoring, Backup/Wiederherstellung, Bereinigung und Visualisierung.

Kafka System Tools Kafka Befehlszeilenwerkzeuge