Welcher Produzent sammelt und konvertiert Webserver-Logs in das Avro-Format und schreibt an kafka?

Question

Aktuell möchte ich Apache Webserver-Logs (access_logs, error_logs file) sammeln und im Avro-Format an Kafka schreiben. Gibt es einen vorhandenen Hersteller für diese Operation? Wenn nicht können Sie bitte eine Möglichkeit zur Verfügung stellen, es zu implementieren ?. Ich habe auf Google gesucht, aber kein Glück.

Wie http://grokbase.com/t/kafka/users/14851mg6mk/apache-webserver-access-logs-kafka-producer, aber ich möchte im Avro-Format schreiben.

Vielen Dank im Voraus.

Answer 1

Sie könnten die Logstash Kafka output mit einer Avro codec verwenden - das sollte tun, was ich verstehe, dass Sie tun möchten.