Erhalten Sie Begriffe mit höchster Häufigkeit aus Lucene Index

Question

Ich muss Begriffe mit den höchsten Frequenzen aus mehreren Lucene-Indizes extrahieren, um sie für einige semantische Analyse zu verwenden.

Also, ich möchte vielleicht Top 30 am häufigsten auftretenden Begriffe (noch nicht über den Schwellenwert entscheiden, ich werde die Ergebnisse analysieren) und ihre Per-Index zählt. Ich bin mir bewusst, dass ich aufgrund von potenziell verlorenen Duplikaten etwas an Genauigkeit verlieren könnte, aber jetzt, sagen wir, bin ich damit einverstanden.

So für die vorgeschlagenen Lösungen (unnötig vielleicht zu sagen) Geschwindigkeit ist nicht wichtig, da ich die statische Analyse tun würde, würde ich setzen Akzent auf Einfachheit der Umsetzung, weil im nicht so geschickt im Umgang mit Lucene und kann meine Gedanken wickeln um einige Konzepte davon ..

Ich kann keine Code-Beispiele von etwas Ähnlichem finden, also alle konkreten Ratschläge (Code, Pseudocode, Links zu Codebeispielen ...) Schätzen Sie alle Ratschläge!

Vielen Dank!

Answer 1

Werfen Sie einen Blick auf diese: http://sujitpal.blogspot.com/2009/02/summarization-with-lucene.html

Die Klasse in dieser Seite hat computeTopTermQuery Methode, die Sie leicht in der Lage zu gehen über mehrere Indizes nachzurüsten sein sollte.

Answer 2

Ein sehr einfacher Weg wäre, Luke zu verwenden. Auf der Registerkarte "Übersicht" gibt es eine Schaltfläche "Top-Begriffe anzeigen", die für das verwendet werden kann, was Sie benötigen.