Logstash - Hinzufügen von Ausnahmebedingung für JSON-Escape-Zeichen

Question

Ich googelte eine Lösung zu einem für dieses Problem, und ich fügte den Ruby-Code hinzu. Problem ist, wenn ich gsub benutze, bekomme ich auch einen Fehler.

Ich brauche bitte eine Lösung, entweder um den Ruby-Fehler zu beheben oder eine andere Methode, um eine Ausnahme für das Escape-Zeichen hinzuzufügen.

Hier ist mein Logstash Filter:

filter { 
    if [type] == "apache" { 
    json { 
      source => "message" 
     } 
    ruby { 
      code => "str=event['url']; str=str.gsub('\\','\*'); event['url']=str;" 
     } 
} 
} 

Ich meine Logs von Apache im JSON-Format zu bekommen. Hier ist die Logstash Fehlermeldung:

{:timestamp=>"2016-06-28T12:49:21.821000+0100", :message=>"Error 
parsing json", :source=>"message", :raw=>"{ \"@version\": \"1\", 
\"@timestamp\": \"2016-06-28T12:49:16.000+0100\", \"message\": \"GET 
/yolo/q-ap%C3%Ablah/?search%5Bdist%5D=15&page=13 HTTP/1.1\", \"via\": 
\"192.168.220.100\", \"client-ip\": \"123.123.123.123\", 
\"remote-logname\": \"-\", \"remote-user\": \"-\", \"recv-time\": 
\"[28/Jun/2016:12:49:16 +0100]\", \"serve-time-microsec\": \"88613\", 
\"request\": \"GET /yolo/q-ap%C3%Ablah/?search%5Bdist%5D=15&page=13 
HTTP/1.1\", \"status\": \"200\", \"size\": \"184985\", \"referer\": 
\"-\", \"user-agent\": \"Mozilla/5.0 (compatible; Googlebot/2.1; 
+http://www.google.com/bot.html)\", \"url\": \"/yolo/q-ap\\xc3\\xablah/\", \"query\": 
\"?search%5Bdist%5D=15&page=13\", \"method\": \"GET\", \"protocol\": 
\"HTTP/1.1\", \"vhost\": \"www.site.com\", \"received-size\": \"1136\" 
}", :exception=>#LogStash::Json::ParserError: Unrecognized character 
escape 'x' (code 120) at Source: [B@2ebf051e; line: 1, column: 599>, 
:level=>:warn} 

{:timestamp="2016-06-28T12:49:21.821000+0100", :message=>"Ruby 
exception occurred: undefined method `gsub' for nil:NilClass", 
:level=>:error} 

Answer 1

konnte ich mein Problem dank des logstash Team lösen. https://discuss.elastic.co/t/add-execption-for-special-character-from-json-log/54285/3

Hier ist die richtige config:

filter { 
    if [type] == "apache" { 

    ruby { 
     code => " if event['message'] 
        event['message'] = event['message'].gsub('\x','Xx') 
        event['message'] = event['message'].gsub('\\x','XXx') 
        end 
       " 
      } 

    json { 
      source => "message" 
     } 

} 
} 

Hinweis der Rubin über der json Formatierung sein muss.

Answer 2

Logstash 5 hat eine brechende Änderung in Bezug auf die Verwendung von event['message']. https://github.com/logstash-plugins/logstash-filter-aggregate/issues/48#issuecomment-258297534

Die Config die für mich gearbeitet ist:

ruby { 
    code => " if event.get('message') 
       event.set('message', event.get('message').gsub('\x','Xx')) 
       event.set('message', event.get('message').gsub('\\x','XXx')) 
      end 
      " 
}