Ich googelte und las die Kafka-Dokumentation, aber ich konnte den maximalen Wert eines Consumer-Offsets nicht herausfinden und ob es einen Offset-Wraparound nach dem Maximalwert gibt. Ich verstehe Offset ist ein Int64-Wert, so ist Max-Wert 0xFFFFFFFFFFFFFFFF. Wenn es einen Umbruch gibt, wie geht Kafka mit dieser Situation um?Kafka Verbraucher Offset Max Wert?
7
A
Antwort
17
Nach dieser post Versatz nicht zurückgesetzt:
Wir Rollback Offset in diesem Moment nicht. Da der Offset ein langer ist, kann er für eine sehr lange Zeit dauern. Wenn Sie 1 TB pro Tag schreiben, können Sie für etwa 4 Millionen Tage weitermachen.
Außerdem können Sie immer mehr Partitionen verwenden (jede Partition hat ihren eigenen Offset).
So wie Luciano sagte, wahrscheinlich nicht die Mühe wert, sich zu sorgen.
2
Es scheint, dass dies nicht wirklich "behandelt" wird. Aber unter Berücksichtigung, dass die pro Partition versetzt ist, wie es scheint dies etwas ist, wir sollten sich keine Sorgen über
:)Bitte sehen http://search-hadoop.com/m/uyzND1uRn8D1sSH322/rollover/v=threaded
Verwandte Themen
- 1. Tools zum Lesen von Verbraucher-Offset von Kafka 0.9
- 2. clj-kafka - Verbraucher leer
- 3. Offset und Verzögerung für kafka Verbraucher (über neue Verbraucher api erstellt) werden auf unbekannte
- 4. Pause hohe Ebene Kafka Verbraucher
- 5. kafka Verbraucher Registrierungsliste in zoekeeper
- 6. Apache Kafka Consumer-Gruppe und einfache Verbraucher
- 7. Kafka vertica Verbraucher und Ausleittisch
- 8. Kafka Verbraucher in Shell-Skript
- 9. kafka Verbraucher dynamisch Themen erkennen hinzugefügt
- 10. Wie Kafka Verbraucher Zustand zu überprüfen
- 11. Kafka Java API Offset Operationen Klärung
- 12. spring-kafka (nicht integration) verbraucher keine konsummeldung
- 13. Spring Boot Kafka Camel Avro Verbraucher
- 14. Wie Multithread-Verbraucher in Kafka 0.9.0 verwenden?
- 15. Kafka mehrere Verbraucher für eine Partition
- 16. Kafka-Verbraucher gibt leeren Iterator zurück
- 17. Kafka Consumer Group Offset Retention
- 18. Kafka Verbraucher erhalten keine Nachrichten, bis neu gestartet
- 19. Kafka-Knoten Start Verbrauch von letzten Offset
- 20. Kafka mit Offset manuelle Verwaltung Feder Integration
- 21. Kafka - Einfachste Möglichkeit, den neuesten Offset zu erhalten
- 22. Kafka-Verbraucherliste
- 23. Datenrahmen Pandas - finden max zwischen Offset-Spalten
- 24. Differenz zwischen @size (max = Wert) und @Min (Wert) @Max (Wert)
- 25. Java: Wie aus dem aktuellen Offset zu lesen, wenn ich von einem kafka Thema
- 26. Kafka Thema vs Partition Thema
- 27. können mehrere kafka Verbraucher lesen die gleiche Nachricht in der Partition
- 28. Kafka Stream-Offset auf 0 zurückgesetzt für Consumer-Gruppe
- 29. Kafka: Unterstützt Kafka den Statusübergang auf Anwendungsebene?
- 30. spring-cloud-stream kafka fehlerbehandlung
Yup. Genau wie Y2K :) – Nick