Eine Idee von LSA auf einer Annahme basiert: die mehr zwei Worte kommen in denselben Dokumenten, desto ähnlicher sind sie sind. In der Tat können wir erwarten, dass die Worte "Programmierung" und "Algorithmus" in den gleichen Dokumenten viel häufiger vorkommt, als zB "Programmierung" und "Hundezucht".
Dasselbe gilt für Dokumente: Je häufiger/ähnliche Wörter zwei Dokumente haben, desto ähnlicher sind sie selbst. So können Sie die Ähnlichkeit der Dokumente nach den Häufigkeiten der Wörter und umgekehrt ausdrücken.
Mit diesem Wissen können wir eine Kookkurrenzmatrix, wo Spaltennamen repräsentieren Dokumente, Zeilennamen konstruieren - Wörter und jedes repräsentiert cells[i][j] Frequenz von Wort words[i] in Dokument documents[j]. Häufigkeit kann auf viele Arten berechnet werden, IIRC, Original LSA verwendet tf-idf Index.
Mit einer solchen Matrix können Sie die Ähnlichkeit von zwei Dokumenten durch Vergleich der entsprechenden Spalten finden.Wie vergleicht man sie? Auch hier gibt es mehrere Möglichkeiten. Am beliebtesten ist ein Kosinusabstand. Sie müssen sich an die Schulmathematik erinnern, dass Matrix als ein Bündel von Vektoren behandelt werden kann, so dass jede Spalte nur ein Vektor in einem mehrdimensionalen Raum ist. Deshalb heißt dieses Modell "Vector Space Model". Mehr über VSM und Kosinusabstand here.
Aber wir haben ein Problem mit solchen Matrix: Es ist groß. Sehr sehr groß. Mit ihm zu arbeiten ist zu rechenintensiv, also müssen wir es irgendwie reduzieren. LSA verwendet SVD Technik, um die "wichtigsten" Vektoren zu behalten. Nach der Reduktion ist die Matrix einsatzbereit.
So Algorithmus für LSA wird wie folgt aussehen:
- Collect alle Dokumente und alle eindeutigen Worte von ihnen.
- Extrakt Frequenzinformationen und bauen Co-Auftreten Matrix.
- Reduzieren Matrix mit SVD.
Wenn Sie selbst LSA Bibliothek schreiben wollen, die guten Punkt zu starten ist Lucene Suchmaschine, die viel einfacher Schritte machen 1 und 2, und einige Implementierung von hochdimensionalen Matrizen mit SVD-Fähigkeit wie Parallel Colt oder UJMP.
Achten Sie auch auf andere Techniken, die aus LSA gewachsen sind, wie Random Indexing. RI verwendet die gleiche Idee und zeigt ungefähr die gleichen Ergebnisse, verwendet jedoch nicht die vollständige Matrixstufe und ist vollständig inkrementell, wodurch es viel recheneffizienter wird.
Duplizieren: http://stackoverflow.com/questions/1746568/latent-semantic-indexing-in-java –
Danke Amit, aber wenn Sie meine Frage lesen. Es ist also anders. Selbst wenn Sie denken, dass es das gleiche ist, dann können Sie dort keine gute Antwort finden :) – user238384
Müssen wir immer die Dimension in LSA reduzieren? Können wir nicht einfach die v-Matrix verwenden, um die Ähnlichkeit zwischen den Dokumenten und der u-Matrix zu finden, um die Ähnlichkeit zwischen den Begriffen zu finden? – CTsiddharth