Verwenden von JSON mit LogStash

Question

Ich bin hier verrückt. Ich habe eine App, die Protokolle in eine Datei schreibt. Jeder Protokolleintrag ist ein JSON-Objekt. Ein Beispiel für meine .json Datei sieht wie folgt aus:

{"Property 1":"value A","Property 2":"value B"} 
{"Property 1":"value x","Property 2":"value y"} 

Ich versuche verzweifelt die Log-Einträge in LogStash zu bekommen. In einem Versuch, dies zu tun, habe ich die folgende LogStash Konfigurationsdatei erstellt:

input { 
    file { 
    type => "json" 
    path => "/logs/mylogs.log" 
    codec => "json" 
    } 
} 
output { 
    file { 
    path => "/logs/out.log" 
    } 
} 

Gerade jetzt, ich bin Aufzeichnungen manuell hinzufügen, es zu versuchen zu mylogs.log und erhalten zu arbeiten. Sie erscheinen jedoch merkwürdig in der Standardausgabe. Wenn ich offen out.log anschaue, sehe ich etwas wie folgt aus:

{"message":"\"Property 1\":\"value A\", \"Property 2\":\"value B\"}","@version":"1","@timestamp":"2014-04-08T15:33:07.519Z","type":"json","host":"ip-[myAddress]","path":"/logs/mylogs.log"} 

Aus diesem Grund, wenn ich die Nachricht an Elasticsearch schicken, ich habe nicht die Felder bekommen. Stattdessen bekomme ich ein Durcheinander. Ich brauche meine Eigenschaften, um immer noch Eigenschaften zu sein. Ich möchte nicht, dass sie in den Nachrichtenteil oder die Ausgabe gepackt werden. Ich habe eine Ahnung, dass dies etwas mit Codecs zu tun hat. Aber ich bin mir nicht sicher. Ich bin mir nicht sicher, ob ich den Codec in der logstash Eingabekonfiguration ändern sollte. Oder, wenn ich die Eingabe an der Ausgabekonfiguration ändern sollte. Ich würde jede Hilfe sehr schätzen, da ich an dieser Stelle verzweifelt bin.

THanks.

Answer 1

Versuchen Sie, die json codec Entfernen und Hinzufügen eines json filter

input { 
    file { 
    type => "json" 
    path => "/logs/mylogs.log" 
    } 
} 
filter{ 
    json{ 
     source => "message" 
    } 
} 
output { 
    file { 
    path => "/logs/out.log" 
    } 
} 

Sie nicht den json-Codec, weil Sie nicht die Quelle JSON entschlüsseln wollen, aber Sie wollen die Eingabe filtern, um die JSON-Daten in der @message zu erhalten nur Feld.

Hoffe, das hilft.

Answer 2

Standardmäßig tcp alles auf Nachrichtenfeld, wenn JSON-Codec nicht angegeben.

Eine Abhilfe zu _jsonparsefailure des Nachrichtenfeldes, nachdem wir auch, indem Sie die folgende behoben kann die json Codec angeben werden:

input { 
    tcp { 
    port => '9563' 
    } 
} 
filter{ 
    json{ 
    source => "message" 
    target => "myroot" 
    } 
    json{ 
    source => "myroot" 
    } 

} 
output { 
    elasticsearch { 
     hosts => [ "localhost:9200" ] 
    } 
} 

Es Nachrichtenfeld, um einen ordnungsgemäßen JSON-String analysiert Feld myRoot und Dann wird Myroot analysiert, um den JSON zu erhalten.

Wir können die redundante Feld wie Nachricht als

filter { 
    json { 
    source => "message" 
    remove_field => ["message"] 
    } 
}