Ereignisse löschen von JDBC Kafka Connect Quelle

Question

Ich spiele gerade mit dem Kafka Connect JDBC-Konnektor und suche speziell nach dem tatsächlichen Format der Daten, die in das Thema eingefügt werden.

Ich konnte neue Einfügungen und Aktualisierungen der Datenbank sehen, aber ich konnte keine Löschungen aus der Datenbank feststellen.

Erstens: Unterstützt die JDBC-Quelle die Erkennung dieser Änderungen? Ich kann die Dokumentation auf die eine oder andere Weise nicht finden.

Wenn ja, welches Format hat das Thema?

Answer 1

Die Confluent JDBC source connector kann "Soft-Löschungen" erfassen, wobei die "gelöschten" Zeilen einfach als solche von Ihrer Anwendung markiert werden, aber nicht tatsächlich aus der Tabelle entfernt werden. Da die Zeilen noch vorhanden sind, kann der Connector ihre Änderungen sehen. Der Connector ist jedoch nicht in der Lage, Zeilen zu erfassen, die aus einer Tabelle gelöscht werden, da der Connector die Quellentabellen über JDBC abfragt und daher Zeilen nicht sehen kann, die aus den Tabellen entfernt werden.

Andere Anschlüsse sind in der Lage, alle Änderungen durch Antippen der Datenbanktransaktionsprotokolle oder Schreiben von Vorabprotokollen unter Verwendung von Techniken wie Änderung der Datenerfassung oder CDC zu erfassen. Jedes DBMS ist anders und erfordert daher einen Connector, der speziell für dieses DBMS geschrieben wurde. Zum Beispiel hat die Debezium project Kafka Connect-Konnektoren für MySQL, PostgreSQL und MongoDB und arbeitet an Konnektoren für Oracle und SQL Server.