Was genau macht der Standard Tokenfilter in Elasticsearch?

Question

There are no examples in the documentation, und ich habe mich nur gefragt, was ich von Input erwarten kann, gebe ich es.

Answer 1

Vor Elasticsearch 0.16 (Lucene 3.1) war der Standard-Token-Filter "Normalisieren Tokens von Standard-Tokenizer extrahiert". Um genau zu sein, entfernte es 's am Ende von Wörtern und Punkten in Akronymen. Also, dann Apple'sC.E.O würde AppleCEO nach dem Passieren des Standardfilters werden. Beginnend mit Elasticsearch 0.16 (Lucene 3.1) ist der Standard-Token-Filter nothing (zumindest im Moment). Es übergibt einfach Token an den nächsten Filter in der Kette.

Answer 2

Hier ist ein Auszug aus dem Quellcode von StandardFilter aus Lucene Kofferraum. Es tut wirklich nichts.

public final boolean incrementToken() throws IOException { 
    return input.incrementToken(); // TODO: add some niceties for the new grammar 
}