Viele Dateien von Kafka lesen

Question

Ich lese 1 Log-Datei in Kafka und erstelle ein Thema. Dies ist erfolgreich. Um diese Datei zu lesen, bearbeite ich die Datei config/connect-file-source.properties zu diesem Zweck und gemäß Schritt 7 von Kafka Quickstart (http://kafka.apache.org/quickstart#quickstart_kafkaconnect).

Aber jetzt möchte ich eine Menge Dateien lesen. In der Datei config/connect-file-source.properties ich die Variable Datei mit einem Muster bearbeitet haben, zum Beispiel: file =/etc/logs/Archiv .log * Weil ich alles lesen wollen die Dateien der Verzeichnisprotokolle mit dem Muster Archiv * .log. Aber, diese Linie funktioniert nicht.

Was ist die beste Form, um das Lesen von Dateien mit einem Muster zu implementieren, mit der Datei config/connect-file-source.properties?

Vielen Dank im Voraus

Mit freundlichen Grüßen

Dario R

Answer 1

In config/connect-file-source.properties ist

Quellklasse FileStreamSource und es verwendet Taskklasse als FileStreamSourceTask.

Es liest eine Datei mit FileInputStream, so dass es nicht mehrere Dateien gleichzeitig öffnen kann. (durch Übergabe eines Verzeichnisnamens oder Regex-Musters ..)

Sie sollten Ihre eigene Source & SourceTask Klasse implementieren.