wie Themen von SinkConnector in Kafka Connect dynamisch aktualisiert werden?

Question

Ich habe ein Kafka Connect zu Consumer-Themen geschrieben, aber mein Thema wird zur Laufzeit geändert, daher muss ich die Themen neu konfigurieren.

Ich weiß, dass RESTful API verwenden kann Themen aktualisieren gibt es eine andere Möglichkeit, dies zu erreichen?

Answer 1

Sie können eine Liste der zu konsumierenden Themen in der Connector-Konfiguration angeben, wenn Sie im Voraus wissen, zu welcher Gruppe von Themen Sie wechseln möchten. Ansonsten ist die the REST API die einzige Möglichkeit, Konfigurationen im laufenden Betrieb zu aktualisieren.

Answer 2

Kafka Connect soll als Dienst ausgeführt werden, es unterstützt auch eine REST-API für die Verwaltung von Konnektoren. einzige Weg, dies durch REST API zur Laufzeit zu aktualisieren:

PUT /Stecker/{name}/config - den Stecker des Konfigurationsparameter zur Laufzeit zu aktualisieren.

Request Json Object - config(map) 

{ 
    "connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector", 
    "tasks.max": "20", 
    "topics": "kafkaConnectTopic", 
    "hdfs.url": "hdfs://smoketest:9000", 
    "hadoop.conf.dir": "/etc/hadoop/conf", 
    "hadoop.home": "/etc/hadoop", 
    "flush.size": "1000", 
    "rotate.interval.ms": "100" 
} 

Response : 

{ 
    "name": "hdfs-sink-connector", 
    "config": { 
     "connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector", 
     "tasks.max": "20", 
     "topics": "kafkaConnectTopic", 
     "hdfs.url": "hdfs://smoketest:9000", 
     "hadoop.conf.dir": "/etc/hadoop/conf", 
     "hadoop.home": "/etc/hadoop", 
     "flush.size": "1000", 
     "rotate.interval.ms": "100" 
    }, 
    "tasks": [ 
     { "connector": "hdfs-sink-connector", "task": 1 }, 
     { "connector": "hdfs-sink-connector", "task": 2 }, 
     { "connector": "hdfs-sink-connector", "task": 3 } 
    ] 
} 

für weitere Informationen können Sie durch http://docs.confluent.io/3.0.0/connect/userguide.html#connect-administration gehen.