filebeat sendet Protokoll direkt an die elastische Suche nicht zu logstash

Question

Ich stehe vor diesem Problem, da ich alle Indizes gelöscht habe. Dafür habe ich ausgeführt, um den folgenden Befehl

curl -XDELETE 'http://localhost:9200/*' 

filebeat.yml

filebeat: 
    prospectors: 
    - 
    paths: 
     - /var/log/syslog 
    - input_type : log 
     document_type: syslog 
    registry_file: /var/lib/filebeat/registry 
output: 
    logstash: 
    hosts: ["127.0.0.1:5044"] 
    bulk_max_size: 1024 

shipper: 
logging: 
    files: 
    rotateeverybytes: 10485760 # = 10MB 

und logstash Konfigurationsdateien Eingabe Config

input { 
     beats { 
     port => 5044 
     } 
    } 

und Ausgangs Config

output { 
     elasticsearch { 
     hosts => ["localhost:9200"] 
     sniffing => true 
     manage_template => false 
     index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" 
     document_type => "%{[@metadata][type]}" 
     } 
    } 

Problem ist, dass Protokolle sind nicht durch logstash kommend, kommen diese direkt, weil ich kein neues Feld in kibana hinzugefügt habe und im Falle eines APCH-Zugriffsprotokolls gibt es nur log als Wert vom Typ.

Answer 1

Sie haben soeben einen syntaktischen Fehler in Ihrem Filebeat Config haben, versuchen

Ändern

- input_type : log 

zu

input_type : log 

dass - könnte definitiv Ihre Konfiguration verderben, indem Sie einen zweiten Prospektor erklären. Wenn Ihre gesamte logstash-Verarbeitung nach Typ erfolgt, würden Ihre falsch eingegebenen Logs es durch logstash zu elasticsearch schaffen, ohne dass die Analyse durchgeführt wurde.

Answer 2

Wie Ihre Konfigurationsdatei zeigt, haben Sie die elasticsearch-Ausgabekonfiguration auskommentiert. Also, die Ausgabe, die Sie erhalten, ist nicht wegen elasticsearch es muss wegen logstash sein. Sie haben es als Kommentare hinzugefügt, aber dies getan werden soll:

elasticsearch: 
# Array of hosts to connect to. 
# Scheme and port can be left out and will be set to the default (http and 9200) 
# In case you specify and additional path, the scheme is required: http://localhost:9200/path 
# IPv6 addresses should always be defined as: https://[2001:db8::1]:9200 
    hosts: ["localhost:9200"]