Filebeat Duplizieren Ereignisse

Question

Ich bin ein Grund Elch-Stack-Setup läuft Filebeat mit> logstash> Elasticsearch> Kibana - alles auf Version 5.2

Wenn ich Filebeat entfernen und logstash konfigurieren direkt an einer Datei zu suchen, ingests es die richtige Nummer von Ereignissen.

Wenn ich die Daten lösche und die Datei mit Filebeat erneut einlese, um den gleichen Inhalt der Logdatei an logstash zu übergeben, erhalte ich über 10% mehr erstellte Ereignisse. Ich habe einige davon überprüft, um zu bestätigen, dass die Duplikate von Filebeat erstellt werden.

Hat jemand dieses Problem gesehen? oder haben Sie irgendwelche Vorschläge, warum das passieren würde?

Answer 1

Ich muss zuerst verstehen, was meinst du mit dem Entfernen von Dateischlag !!

Möglichkeit-1

wenn Sie deinstalliert haben und wieder installiert, dann die Daten aus dem Weg offensichtlich Datei Beat wieder gelesen wird (die Sie haben wieder aufgenommen und per Post an logstash-> elasticsearch-> Kibana (alte Daten unter der Annahme nicht von elastischen Knoten) Daraus ergibt sich die Duplikate entfernt.

Möglichkeit-2.

Sie haben filebeat gerade aufgehört, für logstash konfiguriert und filebeat neu gestartet und kann Registrierungsdatei wird sein nicht ordnungsgemäß aktualisiert während des Herunterfahrens (wie Sie wissen, liest der Datei-Beat Zeile für Zeile und aktualisiert das Registrierungs-Fil Bis zu welcher Zeile es erfolgreich in logstash/elasticsearch/kafka usw. veröffentlicht wurde und wenn einer dieser Ausgabeserver Schwierigkeiten mit der Verarbeitung großer Datenmengen hat, die von Dateibeat kommen, wartet filebeat, bis diese Server für die weitere Verarbeitung der Eingabedaten verfügbar sind Output-Server sind verfügbar, filebeat liest die Registry-Datei und scannt bis zu welcher Zeile sie veröffentlicht hat und beginnt mit der Veröffentlichung der nächsten Zeile).

Beispielregistrierungsdatei wird wie

{ 
"source": "/var/log/sample/sample.log", 
"offset": 88, 
"FileStateOS": { 
    "inode": 243271678, 
    "device": 51714 
}, 
"timestamp": "2017-02-03T06:22:36.688837822-05:00", 
"ttl": -2 
} 

Wie Sie sehen können, ist es Zeitstempel in der Registrierungsdatei verwaltet. Das ist also einer der Gründe für Duplikate.

Weitere Referenzen können Sie

https://discuss.elastic.co/t/filebeat-sending-old-logs-on-restart/46189 https://discuss.elastic.co/t/deleting-filebeat-registry-file/46112

https://discuss.elastic.co/t/filebeat-stop-cleaning-registry/58902

Hoffnung unten Links folgen, das hilft.