Kafka Connect für den Zugriff auf zwei Senken (ftp und sql)

Question

Ich muss Dateidaten an einen FTP-Server senden mit Kafka Connect Sink, nachdem eine ganze Datei vom Server empfangen wird, muss ich auch eine Bestätigung, um den Status zu ändern dieser Aufgaben in der db.

Ich würde gerne wissen, was der beste Weg ist, hier zu gehen, dachte ich zunächst über die Erstellung einer benutzerdefinierten ftp kafka connect, die auch die Task db Status ändern wird. Ist es der beste Weg zu gehen, oder gibt es andere Optionen hier?

Answer 1

Was ist die Voraussetzung für die Aktualisierung des Status in der Task-Datenbank?

Aus der Spitze meines Kopfes, könnten Sie eine benutzerdefinierte Anwendung schreiben, die den Offset der FTP-Senke vs verfügbaren Nachrichten verfolgt, und aktualisiert eine Datenbank nach Bedarf.

Bemerkenswert ist, dass https://www.confluent.io/product/control-center/ die Zustellung von Nachrichten in einer Kafka Connect-Pipeline verfolgen und auf Latenzen aufmerksam machen kann.