Wie bekomme ich eine Liste von gespeicherten Token, die vom Analyzer in solr 6.6.0 erstellt wurden

Question

Ich lade Dokumente zur Indexierung hoch, in solr funktioniert es perfekt und mit Hilfe von luke kann ich alle von solr erstellten Indexbegriffe bekommen.

Meine Anforderung besteht darin, eine Liste der vom Analysator erstellten Token zu erhalten. wie wenn ich passieren "Das ist einfaches HTML-Dokument" dann tokenizer Token erstellen etwas wie folgt aus:

[simple] [html] [Dokument]. Ich möchte diese Liste für meine indizierten Dokumente.

Wie kann ich das bekommen.

Dank

Answer 1

Sie, dass Informationen in der Registerkarte Analyse von Solr Admin-Seite, dies zu erreichen bekommen

Answer 2

Es gibt verschiedene Möglichkeiten:

1) Wenn Sie den Begriff Vektor für das Feld aktiviert haben von Interesse könnten Sie den Begriff Vektorkomponente verwenden.

2) Sie können das Schema Browser-Funktionalität erkunden und die indizierte Token

3) sehen Sie luke können die indizierten Token pro Dokument/Feld

4) erkunden möchten, können Sie die Analyse-Tool verwenden, um laufen Analyse on the fly

Answer 3

Sie könnten versuchen,

der Begriff Vector Komponente (TVC) ist ein SearchComponent zu Rückkehr zu bedienendes informieren ation über Dokumente, die gespeichert wird, wenn auf einem Feld das termVector Attribut Einstellung:

<field name="features" type="text" indexed="true" stored="true" multiValued="true" termVectors="true" termPositions="true" termOffsets="true"/> 

in solrconfig.xml erforderlich Änderungen

Sie müssen die TermVectorComponent in Ihrer solr Konfiguration aktivieren (dies ist bereits in das Beispiel solrconfig.xml):

<searchComponent name="tvComponent" class="org.apache.solr.handler.component.TermVectorComponent"/> 

A Request Konfiguration dieser Komponente verwenden könnte wie folgt aussehen:

<requestHandler name="tvrh" class="org.apache.solr.handler.component.SearchHandler"> 
     <lst name="defaults"> 
       <bool name="tv">true</bool> 
     </lst> 
     <arr name="last-components"> 
       <str>tvComponent</str> 
     </arr> 
</requestHandler> 

Weitere Informationen: https://wiki.apache.org/solr/TermVectorComponent