Logstash-JSON-Eingabe mit Escape-Doppelzitat

Question

Ich versuche, JSON-Zeichenfolgen zu Logstash und dann Kafka zu senden, aber ich erfahre JSON-Parse-Fehler aufgrund der doppelten Anführungszeichen in meiner JSON-Datei.

Ich habe eine Reihe von verschiedenen Kombinationen der ersetzen versucht, aber nichts davon funktioniert. Ich bin mir nicht sicher, ob

1. Der Fehler bereits in der Eingangsseite der Config auftritt, so ist es weiterhin nicht auf den Filterteil
2. Ich bin gerade nicht die Saiten ersetzt richtig

ich erhalte eine json als:

{"message": "This is a \"string with quote"} 

Mein logstash conf ist:

input { 
    tcp { 
    codec => json { charset => "UTF-8" } 
    port => 10000 
    } 
} 

filter { 
    json { 
    source => "message" 
    } 
    mutate { 
    remove_field => ["@version", "@timestamp", "host", "port"] 
    gsub => [ 
     # replace all backslashes + double quote with space 
    'body', '\\"', ' ' 
    ] 
    } 
} 

output { 
    kafka { 
    bootstrap_servers => "localhost:9092" 
    codec => json {charset => "UTF-8"} 
    topic_id => 'logstash_logs' 
    } 

file { 
    path => "/usr/share/logstash/test.log" 
    codec => rubydebug 
    } 
} 

Mein rubydebug log ist:

{ 
    "message" => "{\"message\": \"This is a \"string with quote\"}", 
     "tags" => [ 
     [0] "_jsonparsefailure" 
    ] 
} 

Answer 1

Die _jsonparsefailure Diagnose ist hier, die mir sagt, dass es das json {} Filter war die fehlgeschlagen. Seit Logstash is using their own parsing gem, die the jrjackson gem verwendet, können Sie einige dieser Parsing testen, wenn Sie jruby praktisch haben.

JrJackson::Ruby.parse(data, options) 

rescue JrJackson::ParseError => e 
    raise LogStash::Json::ParserError.new(e.message) 
end 

dass das Segment des Code ist, dass Du Parse ist versagt, so ist dies wahrscheinlich ein Fehler in dem jrjackson Parser. Wenn Sie eine saubere Reproduktion erhalten können, consider reporting it as an issue on the gem. Wenn nicht, ist dies ein Kandidat für die Berichterstattung über the logstash-filter-json project's issue-tracker.

Um dies zu umgehen, müssen Sie die Protokollzeile vor dem Parsing "reparieren". Das ist eine knorrige Regex.