Ich gehe mit manueller Offset-Commit auf Kafka. Gibt es eine Möglichkeit, die Liste der Offsets abzurufen, wenn ich consumer.commitOffsets(); P.S. Ich benutze einen Verbraucher auf hohem Niveau.Lesen von Offsets in Kafka
0
A
Antwort
0
Nicht sicher, welche Kafka-Version oder welcher Client (dh Sprache) Sie verwenden. Java High Level Consumer bietet
, um den neuesten festgeschriebenen Offset für Partitionen zu erhalten. Sie könnten dies also nach dem Commit nennen.
Wenn Sie die Offsets wissen wollen, bevor Sie den Commit tun, müssen Sie den Offset für jede letzte Meldung pro Partition des letzten poll()
zu bekommen. Somit wird nach poll()
wenn Ihre Datensätze verarbeiten, müssen Sie diese Informationen erhalten über
ConsumerRecord#offset()
Verwandte Themen
- 1. Portierungs-App von Kafka 0.8.2.1 nach Kafka 0.9.0. Lesen von Offsets Ausgabe
- 2. Kafka Connect Offsets. Holen/Setzen?
- 3. Offsets in Zookeeper oder Kafka gespeichert?
- 4. Flink nicht Offsets zu kafka commit
- 5. Nur Tasten von Kafka lesen
- 6. Tools zum Lesen von Verbraucher-Offset von Kafka 0.9
- 7. Consumer Commit Offsets, aber nicht durch/v2/kafka/(Cluster)/Consumer
- 8. Spark-Streaming kafka Konnte keine Leader-Offsets für Set
- 9. So lesen Sie Offsets von Oracle mit Dapper
- 10. kafka verschiebt Migration von lokaler Datenbank nach kafka
- 11. SparkStreaming/Kafka Offset Handhabung
- 12. Nachrichten konsumieren, ohne von Kafka 10 Consumer
- 13. Apache Flink lesen Avro byte [] von Kafka
- 14. Kafka Consumer Lesen von Nachrichten parallel
- 15. flink Lesen von Daten aus kafka
- 16. Erweitern Sie Kafka Connect SinkTask und starten Sie den Verbrauch von gegebenen Offsets
- 17. Wie man Offsets auf dem Kafka-Quellmodul manuell festschreibt, wenn man eine Bestätigung vom Kafka-Senkenmodul in Spring XD erhält?
- 18. Binäre Daten von Kafka lesen Thema in Spark Job
- 19. Gerinne Veranstaltungen von Kafka Kanal in Spark Scala lesen?
- 20. Richtige Verwendung von Offsets/Push
- 21. Wie man Benutzergruppen-Offsets für die Partition in Golang bekommt Kafka 10
- 22. Kafka - Spark Streaming - Lesen von Daten von nur 1 Partition
- 23. MalformedInputException Fehler von SparkStream App Lesen von Kafka Thema
- 24. Offsets von cstructs im Racket FFI Einstürzen
- 25. kafka NoClassDefFoundError kafka/Kafka
- 26. Kafka-Verbraucherliste
- 27. Kafka Java Verbraucher nicht Daten lesen
- 28. Kafka neuer Konsument: (re) setze und setze Offsets mit assign, not subscribe
- 29. Twisted Python von Kafka zu lesen und zu Elasticsearch
- 30. Wie kann flink die neuesten Daten von kafka lesen?