2016-08-10 2 views
0

Ich gehe mit manueller Offset-Commit auf Kafka. Gibt es eine Möglichkeit, die Liste der Offsets abzurufen, wenn ich consumer.commitOffsets(); P.S. Ich benutze einen Verbraucher auf hohem Niveau.Lesen von Offsets in Kafka

Antwort

0

Nicht sicher, welche Kafka-Version oder welcher Client (dh Sprache) Sie verwenden. Java High Level Consumer bietet

, um den neuesten festgeschriebenen Offset für Partitionen zu erhalten. Sie könnten dies also nach dem Commit nennen.

https://kafka.apache.org/0100/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html

Wenn Sie die Offsets wissen wollen, bevor Sie den Commit tun, müssen Sie den Offset für jede letzte Meldung pro Partition des letzten poll() zu bekommen. Somit wird nach poll() wenn Ihre Datensätze verarbeiten, müssen Sie diese Informationen erhalten über

ConsumerRecord#offset() 

https://kafka.apache.org/0100/javadoc/index.html?org/apache/kafka/clients/consumer/ConsumerRecord.html

Verwandte Themen