Wie Logs aus Datei in Kafka lesen?

Question

Ich möchte Apache Logs in Kafka lesen und dann in Spark Streaming weiterverarbeiten.Ich bin neu bei Kafka. Soweit ich das verstanden habe, muss ich eine Producer-Klasse schreiben, um die Log-Datei zu lesen.

Answer 1

Sie können dies tun, indem Sie einen Konnektor erstellen, der jede Zeile der Protokolldatei in das Kafka-Thema einsortiert. Schauen Sie sich das Beispiel hier:

https://docs.confluent.io/current/connect/devguide.html#connect-developing-simple-connector