Kafka-Quellen-Connector veraltete Werte erhalten

Question

Ich habe eine SourceTask, die eine einfache Poll-Methode hat (ziemlich schnell abgeschlossen). Ich habe festgestellt, dass der offsets-Wert aus dem context stammt. OffsetStorageReader ist meist veraltet, was bedeutet, dass der Offsets-Wert, der in der vorherigen poll() -Methode zurückgegeben wurde, nicht übereinstimmt.

Gleichzeitig kann ich aus Protokollen beobachten, dass der Offsets-Wert nur aktualisiert wird, wenn "commitOffsets erfolgreich" aufgetreten ist.

Meine Frage ist: ist das mit Absicht entwickelt? Soll ich den Wert "OFFSET_COMMIT_INTERVAL_MS_CONFIG" verringern, um sicherzustellen, dass der Offset schneller ausgeführt wird als die Ausführung der SourceTask.poll() -Methode?

Answer 1

Die Kommentare der org.apache.kafka.connect.runtime.OffsetStorageWriter-Klasse sagt "Offset-Daten sollten nur während des Starts oder der Neukonfiguration einer Aufgabe ... gelesen werden", anstatt bei jeder Ausführung von poll() gelesen zu werden Methode.