Ist es möglich, mehrere Ausgaben für einen Dateibeat zu konfigurieren?

Question

In einer unserer Anwendungen analysieren wir die Anwendungsprotokolle mit logstash und indexieren sie in elasticsearch. Unsere einfache Architektur ist Logfiles ---> FileBeat ---> Logstash -----> elasticsearch.

Da wir mehrere Protokolldateien (Apachelogs, Passagierlogs, Anwendungsprotokolle usw.) aktiviert haben, ist logstash nicht in der Lage, das Datenvolumen zu parsen und daher gibt es bei elasticsearch keine Protokolle. Gibt es eine Möglichkeit, große Datenmengen mit logstash zu verarbeiten, oder können wir mehrere logstash-Server Protokolle vom Dateibeat basierend auf dem Protokolltyp erhalten? Beispiel: Anwendungsprotokolle senden die Ausgabe logstash-1 und apachelogs an logstash-2.

Vielen Dank im Voraus.

Answer 1

Es ist derzeit nicht möglich, den gleichen Ausgabetyp mehrere Male in Filebeat zu definieren.

Aber es gibt ein paar Optionen zu erreichen, was Sie wollen:

• können Sie verwenden, um die Loadbalance Option in filebeat Ihre Veranstaltungen an mehrere Logstash zu verteilen. https://www.elastic.co/guide/en/beats/filebeat/current/logstash-output.html#loadbalance, standardmäßig werden Beats einen zufälligen Host auswählen und dabei bleiben.

• Verwenden Sie eine Warteschlange, wie kafka und logstash verwendet die Kafka-Eingabe, damit Sie mehr LS hinzufügen können, wie Sie benötigen.