Wie bestimmte Daten aus Protokoll mit Logstash und Grok und Index als Felder in Kibana für jeden Datensatz ziehen?

Question

Ziel ist: für jede Zeile im Protokoll sollte ein Dokument in elastic sein, das die 'Nachricht' enthält (Text nach Zeitstempel). Jedes Dokument sollte auch Felder für den Projektnamen, den Plannamen und die Buildnummer enthalten. < --Dieser ist, wo ich bin

Beispiel Log-Struktur am Anfang (atlassian Bambus Build-Protokolle) stecken zu bleiben:

simple 01-Jan-2016 14:26:01 Build TestProj - Framework Code - Build #25 (TST-FC-25) started building on agent .NET Core 2 
simple 01-Jan-2016 14:26:01 .NET-related builds, tests and publishing. 

Ich habe einen Grok zu bekommen, und erstellen Sie die Felder Ich möchte - bauen Name, Build-Nummer und Projektnamen (und haben sie als Felder in Kibana):

%{NOTSPACE:log_entrytype}%{SPACE}(?<timestamp>(?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])-\b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?|Jul(?:y)?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\b-(?>\d\d){1,2}\s*(?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9]))%{SPACE}Build%{SPACE}%{DATA:BamProjName}%{SPACE}-%{SPACE}%{DATA:BamBuildName}%{SPACE}-%{SPACE}Build%{SPACE}#%{NUMBER:BamBuildNum} 

Allerdings muss ich diese Felder in Kibana in jedem Datensatz/Eintrag vorhanden. Mit dieser anderen Grok kann ich die anderen Zeilen des Protokolls in ein log_message Feld extrahieren:

grok { [ 
      "message", "%{NOTSPACE:log_entrytype}%{SPACE}(?<timestamp>(?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])-\b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?|Jul(?:y)?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\b-(?>\d\d){1,2}\s*(?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9]))%{SPACE}%{GREEDYDATA:log_message}" 
     ] 
    } 

Also muss ich irgendwie diese beiden Muster in einem passt kombinieren, mit dem ‚optional‘:()? Syntax wie hier beschrieben: link

Ist mein Endziel mit Logstash und dem Grok-Plugin allein erreichbar? Kann ich das mit einer Art von Variablenkonstrukt innerhalb von logstash umgehen? Feld hinzufügen?

*** HINWEIS: mit filebeat Versandprotokolle und elastic does not recommend the multiline codec, also bin ich gespannt, was meine anderen Optionen sind

Answer 1

Sie müssen sich mit mehrzeiligen Ereignissen arbeiten, haben einen Blick auf die offizielle Dokumentation: https://www.elastic.co/guide/en/logstash/current/multiline.html