Wenn das Kafka-Ereignis abläuft, bleibt der Lag des betreffenden Verbrauchers hängen?

Question

Angenommen, es werden keine Kafka-Ereignisse mehr veröffentlicht, wenn alle vorherigen Kafka-Ereignisse im Kafka-Broker aufgrund der Aufbewahrung abgelaufen sind und der zugehörige Konsument nicht alle Ereignisse verbraucht hat. Wird der entsprechende Kafka-Verbraucher mit bestimmten Partitionen stecken bleiben?

Answer 1

die Strömung wird so etwas wie dieses:

1. Sagen Sie Ihre aktuellen Offset 100 ist, aber aufgrund der Aufbewahrungsfrist der früheste Offset verfügbar ist 110
2. Ihr Consumer sendet eine FetchRequest Anforderung von Nachrichten von Offset 100.
3. Kafka gibt einen Fehler (OFFSET_OUT_OF_RANGE um genau zu sein) zurück.
4. Ihr Kunde reagiert auf diesen Fehler, indem er eine OffsetRequest sendet, die angibt, auf welchen Wert er zurückgesetzt werden soll, sagen wir, in Ihrem Fall ist es EARLIEST.
5. Kafka gibt eine OffsetResponse mit verfügbaren Offset, 110 in Ihrem Fall.
6. Ihr Benutzer setzt den aktuellen Offset zwangsweise auf 110 und beginnt erneut, den Abruf zu starten.

Answer 2

obwohl der Code aussah: (kafka 0.9 Verbraucher) gibt es resetStrategy definiert, wenn neue Verbraucher

public enum OffsetResetStrategy { 
    LATEST, EARLIEST, NONE 
} 

so erstellt wird, wenn außerhalb des Bereichs versetzt, als consmer weiterhin diese Politik

accoding Lesen