Forwarding docker GELF loggt mit Filebeat (oder alternativ?) In Logstash

Question

Gelf-Nachrichten sind eine Teilmenge aller JSON-Strings. Wie kann ich filebeat (oder eine Alternative) als eine leichte Lösung verwenden, um docker gelf logs zuverlässig an logstash weiterzuleiten?

Weitere Informationen:

Ich habe einen Cluster (Docker Schwarm vorerst) von Maschinen im gleichen Netzwerk laufen Docker-Container. Ich möchte --log-driver = gelf verwenden, weil mir das gelf-Format gefällt und ich möchte, dass die Felder, die docker jedem GELF-Protokolleintrag hinzufügt.

Leider Docker sendet GELF Protokolle mit UDP und ich habe Angst, Protokolleinträge zu verlieren. Entweder, weil Pakete verloren gegangen sind, Logstash nicht verfügbar ist oder Logstash zu viel geladen wird. Ich möchte Logstash nicht auf jedem Host ausführen, weil es ein Schwergewicht ist.

Answer 1

Versuchen Sie, Rabbitmq oder Redis vor GELF zu platzieren.

Sie möchten die Filterung von der Aufnahme auf eine zentralisierte Weise aufteilen, mehrere Logstash-Versender hinzufügen oder einfach eine Möglichkeit haben, neue Logs von jeder Art langsamer Parsing zu puffern. Sie können die ursprüngliche log.conf in zwei Dateien aufteilen, je nachdem, ob sie in Redis einlesen oder aus der Warteschlange greifen, analysieren und an ES senden.