FluentD Aggregator - Wann zu verwenden?

Question

Wir erwägen, FluentD zu verwenden, um Blue Coat-Protokollereignisse von Proxy-& DHCP-Servern an Elastic zu senden. Eine der wichtigsten Anforderungen ist es, Ausreißer & Anomalien so schnell wie möglich zu kennzeichnen.

Für eine solche Anforderung ist es sinnvoll, den FluentD-Aggregator zu verwenden, um Ereignisse von mehreren (möglicherweise hunderten) FluentD-Kollektoragenten zu verarbeiten? Oder ist es besser, wenn FluentD-Agenten Ereignisse an einen Kafka-Cluster senden, der nach Elastic schreibt?

Wird wirklich hilfreich sein, wenn ich einige Richtlinien für die Verwendung von FluentD Aggregator erhalten kann.

Danke, sharod

Answer 1

Generell gibt es zwei häufige Fälle.

1 - Wenn Sie mehrere Plugins für Filter 2 verwenden müssen - Drosselung Durchsatz für einen Ziel-Service/db/etc ...

Plugins für Filter verbraucht viel Leistung. Es bedeutet, dass es sich auf einen Server auswirken könnte, der ein Protokoll generiert. Also, fließend auf dem Server sollte ein Minimum an Arbeit, die ein Protokoll an einen Aggregator oder Kafka oder etwas überträgt.

Zusätzlicher Anwendungsfall, wenn Sie manchmal Konfigurationen neu schreiben müssen, müssen Sie nicht alle fluentd auf dem Server neu starten, wenn Sie die Filter in aggregierten Servern verwenden.

2 - Im Allgemeinen hat ein externer Service/DB viele Einschränkungen beim Aktualisieren/Einfügen von Daten in seinen Speicher. Wenn eine Menge von fluentd versucht, Daten häufig zu schreiben, würden sie leicht Ausnahmen anzeigen. Um einen solchen Fall zu vermeiden, sollte ein Aggregator verwendet werden.