AWS Kinesis Firehose - mit Index Rotation (Elasticsearch)

Question

Ich habe einen neuen AWS Kinesis Firehose Stream eingerichtet und ich möchte einen neuen Index auf einer wöchentlichen Basis erstellen.

Dafür sollte ich Index Rotation Einstellung verwenden, wenn Sie den Stream konfigurieren.

Aber muss ich den neuen Index jedes Wochenende für die nächste kommende Woche haben? Wenn nicht (hoffentlich nicht), wie weiß , welche Zuordnung zu verwenden? verwendet es das Mapping, das im Index definiert ist, den ich in der Index Einstellung angegeben habe?

Mehr noch, sagen wir, ich habe alte Daten, kann ich machen, um einen Index mit dem relevanten Zeitstempel entsprechend den Daten in meinen alten Daten zu erstellen?

Vielen Dank!

Answer 1

Nun, anscheinend ist die Antwort ja, aber in einer schlechten Art und Weise.

Wenn Firehose Schübe Daten auf einen neuen Index, das nicht mit einem Mapping vordefiniert, dass Daten zu Elasticsearch aufgenommen und eine Zuordnung wird automatisch für Sie erstellt.

Das ist wirklich schlecht.

Sie sollten 1-2 Stunden vor dem Ereignis automatisch einen Index erstellen. Ich poste eine Lambda Funktion und ihre Konfiguration, um das automatisch zu tun.

Answer 2

Haben Sie versucht, eine Indexvorlage in der elastischen Suche zu erstellen? Auf diese Weise werden neue Indizes das in der Indexvorlage definierte Mapping auswählen.

Siehe Details zu folgendem Link

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html