Dokumente in elasticsearch werden automatisch gelöscht?

Question

Ich erstelle einen Index, obwohl logstash und Push-Daten aus einer MySQL-Datenbank zu ihm. Aber was ich in elasticsearch bemerkte, war, sobald die ganzen Daten hochgeladen wurden, beginnt es, einige der Dokumente zu löschen. Die Gesamtzahl der Dokumente ist 160729. Ohne den Scheduler funktioniert es gut.

Ich habe den Cron-Scheduler eingefügt, um zu überprüfen, ob neue Zeilen zur Tabelle hinzugefügt wurden. Kann das das Problem sein?

Mein logstash conf sieht wie this aus.

Wohin gehe ich falsch? Oder ist dieses Verhalten üblich?

Jede Hilfe könnte geschätzt werden.

Answer 1

Die docs.deleted Nummer bedeutet nicht, dass Ihre Dokumente gelöscht werden, sondern einfach, dass vorhandene Dokumente "aktualisiert" werden und die ältere Version des aktualisierten Dokuments als gelöscht markiert wird.

Die als gelöscht markierten Dokumente werden schließlich bereinigt, wenn Lucene Segmente im Hintergrund zusammenführt.