Merge-Protokolle zwischen Datum/Uhrzeit mit filebeat

Question

Ich versuche Protokolle elasticSearch zu schieben fileBeat mit (No Logstash)

Ich möchte folgende log in einzelne Nachricht senden, aber er in mehrere Nachrichten kaputtgehen, jede Zeile wird separate Nachricht

20161014 17:49:09.169 [ERROR] [Thread-2974] some.java.class.:70 - some.java.Exception: write failed. History: [requestHost=123-some.org.com, time=Fri Oct 14 17:49:05 GMT-07:00 2016, exception=java.net.SocketTimeoutException] 
[requestHost=123-some.org.com, time=Fri Oct 14 17:49:07 GMT-07:00 2016, exception=java.net.SocketTimeoutException] 
[requestHost=123-some.org.com, time=Fri Oct 14 17:49:09 GMT-07:00 2016, exception=java.net.SocketTimeoutException] 
Tried 3 times 
     at java.lang.Thread.run(Thread.java:745) 
20161014 17:49:09.169 [ERROR] [Thread-3022] 

ich möchte alle Zeilen zwischen zwei Terminen (1. und letzte Zeile)

Hier ist mein filebeat.yml Schnipsel

fusionieren

paths: 
     - /test.log 
     multiline.pattern: '^\[0-9]{8}' 
     multiline.negate: true 
     multiline.match: after 

Ich muß richtig wissen regex

Ich versuche, dieses Problem zu lösen, ohne logstash

Answer 1

Unter Verwendung der folgenden Filebeat Konfiguration mit mit der mitgelieferten Protokoll Probe zwei Ereignisse erzeugt, wobei jede Nachricht mit dem Datum beginnt.

Ich lief ./filebeat -c filebeat.yml -e -v -d "*" mit der Config unten zu testen. Ich habe auch das Muster auf der Go playground getestet.

filebeat.yml:

filebeat: 
    prospectors: 
    - paths: ["input.txt"] 
     multiline: 
     pattern: '^[0-9]{8}' 
     negate: true 
     match: after 
output: 
    console: 
    pretty: false 

Ausgang:

{ 
    "@timestamp": "2016-10-17T14:13:31.292Z", 
    "beat": { 
    "hostname": "host.example.com", 
    "name": "host.example.com", 
    }, 
    "input_type": "log", 
    "message": "20161014 17:49:09.169 [ERROR] [Thread-2974] some.java.class.:70 - some.java.Exception: write failed. History: [requestHost=123-some.org.com, time=Fri Oct 14 17:49:05 GMT-07:00 2016, exception=java.net.SocketTimeoutException]\n[requestHost=123-some.org.com, time=Fri Oct 14 17:49:07 GMT-07:00 2016, exception=java.net.SocketTimeoutException]\n[requestHost=123-some.org.com, time=Fri Oct 14 17:49:09 GMT-07:00 2016, exception=java.net.SocketTimeoutException]\n Tried 3 times\n  at java.lang.Thread.run(Thread.java:745)", 
    "offset": 519, 
    "source": "input.txt", 
    "type": "log" 
} 
{ 
    "@timestamp": "2016-10-17T14:17:21.686Z", 
    "beat": { 
    "hostname": "host.example.com", 
    "name": "host.example.com", 
    }, 
    "input_type": "log", 
    "message": "20161014 17:49:09.169 [ERROR] [Thread-3022]", 
    "offset": 563, 
    "source": "input.txt", 
    "type": "log" 
}