Verwenden Sie Kafka mit Java-Code

Question

Ich habe eine Kafka-Instanz mit Zookeeper arbeiten. Ich bin tatsächlich in der Lage, einen Erzeuger Verbraucher mit der Befehlszeile unter Windows zu machen, schreibe ich eine Zeichenfolge auf dem Hersteller und sie werden auf dem Verbraucher angezeigt. Mein Ziel ist es jetzt, eine Datei "Transfer" mit Kafka mit etwas Java-Code zu realisieren. Ich möchte eine Datei mit Kafka "lesen" und dann "schreiben".

Um dies zu realisieren, nahm ich den Code auf dieses Repository:

• FileStreamSinkConnector
• FileStreamSinkTask
• FileStreamSourceConnector
• FileStreamSourceTask

Von dem, was ich verstehe, SinkConnector und TaksConnector wird die Datei während so schreiben UrceConnector und SourceTask werden es lesen.

Mein Problem ist, dass ich nicht weiß, wie man diesen Code in einem Hauptprogramm verwendet und wie man es mit der Kafka-Instanz verwendet.

Answer 1

Früher haben Sie Kafka-Konsolenhersteller und -konsumenten verwendet. Die Konnektoren, die Sie in Ihrer Frage erwähnt haben, sind Teil von Kafka connect (Sie können mehr darüber lesen) here.

Um Quelle und Sink-Anschlüsse zu verwenden, müssen Sie connect workers konfigurieren und starten. Ich nehme an, Sie versuchen den gesamten Prozess im Standalone-Modus.

Quick start page hat Schritte erläutern die Verwendung dieser Anschlüsse zu laufen. ich hoffe, es hilft.