Logstash sollte nur grosch geparste Nachrichten protokollieren

Question

Momentan habe ich einen ELK Stack, in dem Logs mit Dateibeat ausgeliefert werden und nach einigen Filtern in Logstash, wird es an ES weitergeleitet. Da es viele Server und Protokolle gibt, kommen große Logs zum Logstash, aber ich habe den Filter so konfiguriert, dass er nur einen sehr spezifischen Typ von Log-Nachrichten verarbeitet. Was es gut geht, aber die Protokolle, die nicht übereinstimmen, werden in logstash.log-Datei protokolliert. Wie ich bereits erwähnt habe, kommen riesige Logs, die Größe der Datei logstash.log erreicht bald einen hohen Wert und es kommt zu einem Platzproblem. Wie konfiguriere ich den Logstash, so dass ich nur die verarbeiteten Protokolle protokolliere, und nicht alle.

Answer 1

Sie können logrotate verwenden, um automatisch entweder täglich zu rotieren oder wenn es einen bestimmten Schwellenwert erreicht. Sie könnten dann die Anzahl der Rotationen auf 1 oder 2 setzen. Dies würde Ihnen Zeit geben, um zu sehen, was in die Datei geht, falls Sie Fehler beheben müssen, aber löschen, bevor es Platzkonflikte erzeugt.