Elasticsearch Kurator

Question

Ich verwende ElasticSearch Version 1.7.2. Ich möchte mit Hilfe des Kurators einen Schnappschuss machen. Ich folgte einem Link, um zu wissen, dass es mir einen inkrementellen Snapshot gibt, aber ich habe keinen inkrementellen Snapshot meines Indexes erhalten.

Ich habe 1 Index test mit 50.000 Dokumente. Ich habe eine Momentaufnahme dieses Index gemacht. Nachdem ich 100.000 Dokumente in den gleichen Index eingefügt hatte, erstellte ich erneut einen Schnappschuss dieses Indexes. Aber wenn ich es überprüfe, zeigt es mir die gleichen Daten in meinen beiden Schnappschüssen.

Was ist der Unterschied zwischen diesen? Ich glaube nicht, dass es in irgendeiner Weise inkrementell ist. Bitte hilf mir.

PS: Ich möchte nur die restlichen 100.000 sichern, nicht die ganzen Daten.

Ausgabe von GET /_snapshot/my_backup/_all:

{ 
"snapshots": [ 
    { 
    "snapshot": "curator-20160509052605", 
    "version_id": 1070199, 
    "version": "1.7.1", 
    "indices": [ 
     "jal" 
    ], 
    "state": "SUCCESS", 
    "start_time": "2016-05-09T05:26:05.735Z", 
    "start_time_in_millis": 1462771565735, 
    "end_time": "2016-05-09T05:26:06.282Z", 
    "end_time_in_millis": 1462771566282, 
    "duration_in_millis": 547, 
    "failures": [], 
    "shards": { 
     "total": 5, 
     "failed": 0, 
     "successful": 5 
    } 
    }, 
    { 
    "snapshot": "curator-20160509055355", 
    "version_id": 1070199, 
    "version": "1.7.1", 
    "indices": [ 
     "jal" 
    ], 
    "state": "SUCCESS", 
    "start_time": "2016-05-09T05:53:55.824Z", 
    "start_time_in_millis": 1462773235824, 
    "end_time": "2016-05-09T05:53:56.737Z", 
    "end_time_in_millis": 1462773236737, 
    "duration_in_millis": 913, 
    "failures": [], 
    "shards": { 
     "total": 5, 
     "failed": 0, 
     "successful": 5 
    } 
    }, 
    { 
    "snapshot": "curator-20160509060002", 
    "version_id": 1070199, 
    "version": "1.7.1", 
    "indices": [ 
     "jal" 
    ], 
    "state": "SUCCESS", 
    "start_time": "2016-05-09T06:00:02.282Z", 
    "start_time_in_millis": 1462773602282, 
    "end_time": "2016-05-09T06:00:03.602Z", 
    "end_time_in_millis": 1462773603602, 
    "duration_in_millis": 1320, 
    "failures": [], 
    "shards": { 
     "total": 5, 
     "failed": 0, 
     "successful": 5 
    } 
    } 
] 
} 

Answer 1

Es geht nicht darum, die Kuratorin inkrementellen Snapshots dauert, geht es um Elasticsearch. Und was "inkrementell" bedeutet, ist kein Unterschied in den Dokumenten (den Daten selbst). Inkrementell bezieht sich auf Segmente (Dateien) auf der Festplatte.

Darüber hinaus führt Elasticsearch regelmäßig Segmente zusammen. Das bedeutet, dass es eine Reihe von kleineren (oder größeren) Segmenten fast gleicher Größe aufnimmt und diese in einem größeren Segment zusammenführt. Nachdem das größere Segment erstellt wurde, löscht ES die kleineren Segmente.

Nachdem Sie also 100000 Dokumente hinzugefügt haben, ist es sehr wahrscheinlich, dass ES bereits Ihre alten Segmente (die mit den ersten 50k-Dokumenten) zusammengeführt hat und die Gruppe der Segmente möglicherweise komplett neu ist. In diesem Fall natürlich, dass der neue Snapshot fast keine alten Segmente enthält.

Um dies wirklich zu testen, machen Sie nach der Indizierung einen Schnappschuss. Fügen Sie dann 10 Dokumente hinzu oder ändern Sie 10 davon und machen Sie dann einen anderen Schnappschuss. Der neue Snapshot sollte eine sehr kleine Größe haben.

Answer 2

{ 
"snapshots": [ 
    { 
    "snapshot": "curator-20160509052605", 
    "version_id": 1070199, 
    "version": "1.7.1", 
    "indices": [ 
     "jal" 
    ], 
    "state": "SUCCESS", 
    "start_time": "2016-05-09T05:26:05.735Z", 
    "start_time_in_millis": 1462771565735, 
    "end_time": "2016-05-09T05:26:06.282Z", 
    "end_time_in_millis": 1462771566282, 
    "duration_in_millis": 547, 
    "failures": [], 
    "shards": { 
     "total": 5, 
     "failed": 0, 
     "successful": 5 
    } 
    }, 
    { 
    "snapshot": "curator-20160509055355", 
    "version_id": 1070199, 
    "version": "1.7.1", 
    "indices": [ 
     "jal" 
    ], 
    "state": "SUCCESS", 
    "start_time": "2016-05-09T05:53:55.824Z", 
    "start_time_in_millis": 1462773235824, 
    "end_time": "2016-05-09T05:53:56.737Z", 
    "end_time_in_millis": 1462773236737, 
    "duration_in_millis": 913, 
    "failures": [], 
    "shards": { 
     "total": 5, 
     "failed": 0, 
     "successful": 5 
    } 
    }, 
    { 
    "snapshot": "curator-20160509060002", 
    "version_id": 1070199, 
    "version": "1.7.1", 
    "indices": [ 
     "jal" 
    ], 
    "state": "SUCCESS", 
    "start_time": "2016-05-09T06:00:02.282Z", 
    "start_time_in_millis": 1462773602282, 
    "end_time": "2016-05-09T06:00:03.602Z", 
    "end_time_in_millis": 1462773603602, 
    "duration_in_millis": 1320, 
    "failures": [], 
    "shards": { 
     "total": 5, 
     "failed": 0, 
     "successful": 5 
    } 
    } 
] 
}