Da meine KStream basierte Anwendung nicht die traditionelle Kafka Consumer Route folgt, wie sollte ich verfolgen, Verbraucher Verzögerung? Normalerweise würde ich (oder etwas von diesem) verwenden, aber es erfordert einen Verbraucher Gruppenname.Kafka KStream - Messung Verbraucher Verzögerung
Was sollte ich stattdessen verwenden?
(Ich möchte dies verfolgen, so kann ich feststellen, ob/wann neue Verbraucher starten)
Kafka Streams nutzt KafkaConsumer intern und verwendet die Anwendungs-ID als Verbrauchergruppe ID. So können Sie die Verzögerung auf die gleiche Weise wie für jeden anderen Verbraucher überwachen.
Siehe http://docs.confluent.io/current/streams/developer-guide.html#required-configuration-parameters
Anwendungs-ID (application.id): Jeder Strom Verarbeitungsanwendung eine eindeutige ID haben muss. [...]
Diese ID in folgenden Orten verwendet wird Ressourcen durch die Anwendung von anderen benutzt zu isolieren:
- Als Standard Kafka Konsumenten- und Produzenten client.id Präfix
- Da die Kafka Verbraucher group.id für die Koordination
- Wie der Name des Unterverzeichnisses in dem Zustand Verzeichnis (vgl state.dir)
- als Präfix des internen Kafka Themennamen
Das ist v seltsam. Wenn ich 'kafka-consumer-groups -zookeeper --list' rufe, gibt es nichts zurück. Wenn ich die ** Gruppe ** (meine Anwendungs-ID) und "--describe" spezifiziere, bekomme ich ein "kein Thema für die bereitgestellte Konsumentengruppe verfügbar". –
ethrbunny
Da Kafka 0.9 Verbrauchergruppen nicht mehr über ZK verwaltet werden. Daher müssen Sie verschiedene Flags angeben: 'bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server --list' –
Ah wow. Ok - brauche ich noch * Tierpfleger? – ethrbunny