Wie erstellt man einen effizienten Kafka-Broker-Healthcheck?

Question

In meiner App werde ich eine Art Gesundheitscheck meines Kafka-Clusters durchführen.

Zur Zeit mache ich ein TopicMetadataRequest tot Makler zu erkennen:

Future { 
    // this will fail if Kafka is unavailable 
    consumer.send(new TopicMetadataRequest(Seq("health-check-topic"), 1)) 
    } 

Leider erzeugt dieser Aufruf ein riesiges Netzwerkverkehr, da die Cluster-Topologie/Einstellungen.

Gibt es eine bessere Möglichkeit, Kafka-Broker zu überprüfen? Was ich brauche, ist etwas einfaches wie true/false Indikator.

Answer 1

Ich würde Ihnen wärmstens empfehlen, Yahoo Kafka Manager zu verwenden, der alle Informationen im Zusammenhang mit Kafka-Setup bietet. (z.B. Bytes, die über ein Zeitintervall gesendet/verbraucht wurden). Dieses Tool kann auch zur Verwaltung Ihres Kafka-Clusters verwendet werden.

Es stellt auch Restful API zur Verfügung und Sie können diese API in Ihrer eigenen Anwendung verbrauchen, falls erforderlich. Folgen Sie dem folgenden Link, um darauf zuzugreifen.

https://github.com/yahoo/kafka-manager

Answer 2

Sie verwenden auch Zookeeper API die Brokerliste wie folgt zu erhalten:

ZooKeeper zk = new ZooKeeper(KafkaContextLookupUtil.getZookeeperConnect().getZkConnect(), 10000, null); 
    List<String> ids = zk.getChildren("/brokers/ids", false); 
    List<Map> brokerList = new ArrayList<>(); 
    ObjectMapper objectMapper = new ObjectMapper(); 

    for (String id : ids) { 
     Map map = objectMapper.readValue(zk.getData("/brokers/ids/" + id, false, null), Map.class); 
     brokerList.add(map); 
    } 
    return brokerList;