Nur einen Prozentsatz von Logs an logstash senden

Question

Wie kann ich filefeat so konfigurieren, dass nur ein Prozentsatz der Logs (ein Beispiel, wenn du willst) an Logstash gesendet wird?

Im Protokollordner der Anwendung werden die Protokolle auf jeweils etwa 20 MB aufgeteilt. Ich möchte, dass FileBeat nur etwa 1/300 des Log-Volumens an Logstash liefert.

Ich muss das Protokoll-Volume verkleinern, bevor ich es über die Leitung zu Logstash senden, so kann ich nicht diese Filterung von Logstash es auf dem Endpunkt passieren muss, bevor es den Server verlässt.

fragte ich diese Frage in dem ES-Forum und jemand sagte, es mit filebeat nicht möglich war: https://discuss.elastic.co/t/ship-only-a-percentage-of-logs-to-logstash/77393/2

Gibt es wirklich keine Möglichkeit, ich filebeat verlängern kann, dies zu tun? Kann nxlog oder ein anderes Produkt dazu?

Answer 1

Es ist nicht möglich, Filefeat so zu konfigurieren, dass beliebige Ereignisse basierend auf einer Wahrscheinlichkeit gelöscht werden. Aber Filebeat kann Ereignisse basierend auf Bedingungen löschen. Es gibt zwei Möglichkeiten, Ereignisse zu filtern.

Filebeat bietet eine Möglichkeit zum Angeben oder Ausschließen von Zeilen beim Lesen der Datei. Dies ist der effizienteste Ort, an dem die Filterung angewendet werden kann, da dies früh geschieht. Dies geschieht mit include_lines und exclude_lines in der Konfigurationsdatei.

filebeat.prospectors: 
- paths: 
    - /var/log/myapp/*.log 
    exclude_lines: ['^DEBUG'] 

Alle Beats haben "processors", mit denen Sie eine Aktion anzuwenden, der auf der Grundlage einer Bedingung. Eine Aktion ist drop_events und die Bedingungen sind regexp, contains, equals und range.

processors: 
- drop_event: 
    when: 
     regexp: 
     message: '^DEBUG' 

Answer 2

Nach meinem besten Wissen gibt es keine Möglichkeit, dies mit FileBeat zu tun. Sie können tun es mit Logstash, obwohl.

filter { 
    drop { 
    percentage => 99.7 
    } 
} 

Dies kann ein Anwendungsfall, in dem Sie Logstash im Versandmodus auf dem Server, anstatt FileBeat verwenden würden.

input { 
    file { 
    path => "/var/log/hugelogs/*.log" 
    add_tags => [ 'sampled' ] 
    } 
} 

filter { 
    drop { 
    percentage => 99.7 
    } 
} 

output { 
    tcp { 
    host => 'logstash.prod.internal' 
    port => '3390' 
    } 
} 

Es bedeutet, Logstash auf Ihren Servern zu installieren. Sie konfigurieren es jedoch so minimal wie möglich. Nur eine Eingabe, genug Filter, um den gewünschten Effekt zu erzielen, und eine einzige Ausgabe (Tcp in diesem Fall, aber es könnte alles sein). Die vollständige Filterung erfolgt in der Pipeline.