kann jemand bitte vorschlagen besten Weg Log-Analyse mit Funken-Streaming zu tun

Question

Ich bin völlig neu in Big Data, aus den letzten paar Wochen bin ich versuchen, Log-Analyse-Anwendung zu bauen.

Ich habe viele Artikel gelesen und ich fand Kafka + Funken Streaming ist die zuverlässigste Konfiguration.

Jetzt bin ich in der Lage, Daten von meinem einfachen Kafka Java-Produzent zu funken Streaming zu verarbeiten.

Kann jemand bitte einige Dinge vorschlagen wie 1) Wie kann ich Server-Logs in Echtzeit lesen und es an Kafka-Broker übergeben. 2) Welche Frameworks sind verfügbar, um Daten von Protokollen an Kafka zu übertragen? 3) irgendwelche anderen Vorschläge ??

Danke, Chowdary

Answer 1

Es gibt viele Möglichkeiten, Protokolle zu sammeln und zu Kafka zu senden. Wenn Sie Protokolldateien als Stream von Ereignissen senden möchten, würde ich empfehlen, Logstash/Filebeats zu überprüfen - richten Sie einfach Ihre Eingabe als Dateieingabe ein und geben Sie sie an Kafka aus.

Sie können Daten auch mithilfe von log4j KafkaAppender oder Rohrprotokollen an Kafka mit vielen bereits verfügbaren CLI-Tools an Kafka senden.

Wenn Sie die Reihenfolge sicherstellen müssen, achten Sie auf die Partitionskonfiguration und die Auswahllogik der Partitionen. Zum Beispiel wird log4j appender Nachrichten über alle Partitionen verteilen. Da Kafka nur die Sequenz pro Partition garantiert, können Ihre Spark-Streaming-Jobs Ereignisse außerhalb der Reihenfolge verarbeiten.