Gibt es eine Möglichkeit, URIPATHPARAM zu parsen, wenn die URL ungültige Zeichen enthält

Question

Quick Hintergrund: Verwenden der Zugriffsprotokollierung von HAProxy und Parsing mit Grok. HAProxy der% {+ Q} r log Variable druckt "<http verb> <uri> <HTTP version>" die wir Parsen verwenden

"%{WORD:method} %{URIPATHPARAM:url} HTTP/%{NUMBER:httpversion}" 

Dies funktioniert gut für die meisten Anfragen, aber wenn wir treffen mit verschiedenen Arten von Scannern versuchen Injection-Angriffe zu tun usw. durch Junk-Senden in Die URL grok kann das uri nicht analysieren. Hier sind einige Beispiele, die diese grok Filter abstürzen:

"GET /index.html?14068'#22><bla> HTTP/1.1" 
"GET /index.html?fName=\Windows\system.ini%00&lName=&guestEmail= HTTP/1.1" 

Kann jemand denken Sie an eine Lösung, die vorzugsweise auch ungültige URIs analysieren würde oder zumindest nicht zum Absturz bringen, das heißt zu analysieren, wie viel von der URL wie möglich und Junk verwerfen?

Answer 1

Ja, durch die Verwendung der Multiple-Match-Fähigkeit von grok.

https://groups.google.com/forum/#!topic/logstash-users/H3_3gnWY2Go

https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html#plugins-filters-grok-match

In Kombination mit break_on_match => true (Standardeinstellung), können Sie mehrere Muster für grok zu versuchen geben, und es wird aufhören, nachdem sie ein Musterabgleich findet und wendet sie.

Hier wird, wenn das erste Muster nicht funktioniert, wird es das nächste Muster versuchen, die eine NOTSPACE verwendet, die diese schlechten Charaktere werden auffressen, und Tags, das Feld bad_url statt url

filter { 
    grok { 
    match => { 
     "message" => [ 
     "%{WORD:method} %{URIPATHPARAM:url} HTTP/%{NUMBER:httpversion}", 
     "%{WORD:method} %{NOTSPACE:bad_url} HTTP/%{NUMBER:httpversion}" 
     ] 
    } 
    break_on_match => true 
    } 
}