Kafka JDBC-Connector Bulk-Modus

Question

kafka-Connect-jdbc Anschluss kontinuierlich gleiche Datensätze in Bulk-Modus nach dem bestimmten Intervall von time.Here Senden sind meine Stecker Eigenschaften:

name=test-mssql-jdbc-autoincrement 
    connector.class=io.confluent.connect.jdbc.JdbcSourceConnector 
    tasks.max=1 
connection.url=jdbc:jtds:sqlserver://localhost:1433/TESTDB;user=sa;password=sa12345 
    query=SELECT * FROM WF_PROCESS 
    mode=bulk 
    topic.prefix=TEST- 
    key.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer 
    value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer 
    table.blacklist=trace_xe_action_map,trace_xe_event_map 

Answer 1

Sie müssen incremental query modes konfigurieren. Grundsätzlich benötigt der Kafka-Konnektor eine Methode, um herauszufinden, wie bei jedem Abfragebefehl inkrementelle Daten abgerufen werden.

Answer 2

Bulk-Modus soll alle Datensätze jedes Mal senden, wenn Poll-Methode aufgerufen wird. Die Hauptanwendung des Bulk-Modus besteht darin, regelmäßig Datenbanktabellen zu sichern. Sie können die Häufigkeit der Sicherung konfigurieren, indem Sie poll.interval.ms anpassen.

Um dies zu vermeiden, verwenden Sie nicht den Massenmodus. Verwenden Sie stattdessen "timestamp + incrementing" ODER "timestamp" ODER "incrementing mode". Weitere Informationen finden Sie unter this Link.