JDBC Sink Connector -upsert in mehrere Tabellen von mehreren Themen mit kafka-connect

Question

Ich versuche, 2 kafka Themen mit JDBC-Senke-Connector zu lesen und in 2 Oracle-Tabellen upsert, die ich manuell erstellt. Jede Tabelle hat einen Primärschlüssel, den ich im Upsert-Modus verwenden möchte. Connector funktioniert gut, wenn ich nur für 1 Thema und nur 1 Feld in pk.fields, aber wenn ich mehrere Spalten in pk.fields eine aus jeder Tabelle eingeben, erkennt es das Schema nicht. Vermisse ich etwas, bitte schlage vor.

name=oracle_sink_prod 
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector 
tasks.max=1 
topics=KAFKA1011,JAFKA1011 
connection.url=URL 
connection.user=UID 
connection.password=PASSWD 
auto.create=false 
table.name.format=KAFKA1011,JAFKA1011 
pk.mode=record_value 
pk.fields= ID,COMPANY 
auto.evolve=true 
insert.mode=upsert 

//ID is pk of kafka1011 table and COMPANY is of other 

Answer 1

Wenn die PK anders sind, erstellen Sie einfach zwei verschiedene Sink-Anschlüsse. Sie können beide mit demselben Kafka Connect-Mitarbeiter arbeiten.

Sie haben auch die Möglichkeit, den Schlüssel der Kafka-Nachricht selbst zu verwenden. Weitere Informationen finden Sie unter doc. Dies ist die besser skalierbare Option, und Sie müssen dann nur sicherstellen, dass Ihre Nachrichten richtig eingegeben wurden, damit sie in den JDBC Sink fließen können.