Wie analysiere ich Datum in Elasticsearch 5.x und Filebeat

Question

Ich benutze elasticsearch 5.x und Filebeat und möchte wissen, ob es eine Möglichkeit gibt, Datum (timestamp) direkt in filebeat zu analysieren (will logstash nicht verwenden) . Ich verwende json.keys_under_root: true und es funktioniert gut, aber das Problem ist, dass Timestamp (auf uns) als Zeichenfolge erkannt wird. Alle anderen Felder wurden automatisch als richtige Typen erkannt, nur diese nicht.

Wie kann ich es als Datum zuordnen?

Answer 1

Sie können Filebeat mit der ES Ingest Node-Funktion verwenden, um das Feld timestamp zu analysieren und den Wert auf das Feld @timestamp anzuwenden.

Sie würden in Elasticsearch eine einfache Pipeline einrichten, die ein date auf eingehende Ereignisse anwendet.

PUT _ingest/pipeline/my-pipeline 
{ 
    "description" : "parse timestamp and update @timestamp", 
    "processors" : [ 
    { 
     "date" : { 
     "field" : "timestamp", 
     "target_field" : "@timestamp" 
     } 
    }, 
    { 
     "remove": { 
     "field": "timestamp" 
     } 
    } 
    ], 
    "on_failure": [ 
    { 
     "set": { 
     "field": "error.message", 
     "value": "{{ _ingest.on_failure_message }}" 
     } 
    } 
    ] 
} 

Dann in Filebeat configure die Elasticsearch Ausgangsdaten an Ihre neue Pipeline zu drücken.

output.elasticsearch: 
    hosts: ["http://localhost:9200"] 
    pipeline: my-pipeline