Kafka-Thema mit Kafka verschmelzen Mit HDFS verbinden

Question

Ist es möglich, den HDFS-Konnektor von Kafka Connect so zu konfigurieren, dass mehrere separate Themen in einer Datei zusammengefasst werden?

Die Themen werden Nachrichten mit demselben Avro-Schema enthalten und ich möchte, dass KafkaConnect als Vermittler zwischen diesen Kafka-Themen und HDFS fungiert. Im schlimmsten Fall können die Themeninhalte nach dem Schreiben in HDFS kombiniert werden, aber ich denke, mit dem HDFS-Connector könnte ein saubererer und schnellerer Weg möglich sein.

Answer 1

Momentan schreibt der HDFS-Connector jedes Thema in sein eigenes Verzeichnis. Sie können Verzeichnisse in HDFS nach dem Schreiben kombinieren oder Themen in Kafka kombinieren, bevor Sie in HDFS schreiben, aber der Connector selbst tut dies nicht.