Logstash Grok Parse Fehler Datum Format

Question

Ich bin ziemlich neu zu logstash, so dass dies ein einfacher Fehler sein kann, aber ich bin nicht in der Lage zu finden, wo mein Fehler ist. Ich habe Logstash installiert und ich versuche, einige Protokolle zu analysieren, die ich von einem benutzerdefinierten Java-Programm generiere. Ich bin auf der Suche nach einer ganz bestimmten Linie:

ERROR ProcessStatus 05/24/2017 12:13:58 RETC:0 : Request.evaluate:PDP Response decision: Permit 
ERROR ProcessStatus 05/24/2017 12:13:58 RETC:0 : Request.evaluate:PDP Response decision: NotApplicable 

ich die folgende Konfigurationsdatei definiert habe:

input { 
    file { 
     type => "log" 
     path => [ "/var/log/tomcat7/catalina.out" ] 
    } 
} 

filter { 
    grok { 
     match => [ "message" , "%{WORD:text1} %{WORD:text2} \[%{DATA:date}\] %{WORD:text3}:%{NUMBER:num1} : %{WORD:text4}.%{WORD:text5}:%{WORD:text6} %{WORD:text7} %{WORD:text8} %{WORD:decision}"] 
     remove_field => [ "message" ] 
    } 
    date { 
     match => [ "timestamp", "MM/dd/YYYY HH:mm:ss" ] 
     remove_field => [ "timestamp" ] 
    } 
} 

output { 
    stdout { 
    codec => rubydebug 
    } 
} 

Wenn die Zeile in der Log-Datei empfangen wird mir einen Parse-Fehler bekommen:

{ 
      "path" => "/var/log/tomcat7/catalina.out", 
    "@timestamp" => 2017-05-24T14:31:18.494Z, 
     "@version" => "1", 
      "host" => "acio-web01", 
     "message" => "ERROR ProcessStatus 05/24/2017 16:31:17 RETC:0 : Request.evaluate:PDP Response decision: Indeterminate", 
      "type" => "log", 
      "tags" => [ 
     [0] "_grokparsefailure" 
    ] 
} 

Ich bin verdächtig, dass der Parsing-Fehler etwas mit dem Datumsformat zu sehen hat, aber ich war nicht in der Lage, eine korrekte Definition zu finden. Irgendeine Idee von dem, was ich falsch mache?

Answer 1

Ihr Groknuster stimmt nicht mit Ihren Daten überein. In der Nachricht, die angezeigt wird, gibt es kein [] um das Datum herum, aber Ihr Muster geht davon aus, dass es solche gibt.

Sie können Ihre Log-Zeile und Muster in https://grokdebug.herokuapp.com/ einfügen und damit spielen, bis es übereinstimmt.