Vergleichen von Texthäufigkeiten in einem Dokument mit der Häufigkeit in einem Korpus

Question

Ich möchte ein Dokument auf Elemente wie Buchstaben, Bigramme, Wörter usw. analysieren und vergleichen, wie häufig sie in meinem Dokument sind, wie oft sie sich über einem großen Korpus befanden Unterlagen.

Die Idee ist, dass Wörter wie "wenn", "und", "die" in allen Dokumenten üblich sind, aber einige Wörter werden in diesem Dokument viel häufiger vorkommen, als es für den Korpus typisch ist.

Dies muss ziemlich Standard sein. Wie heißt es? Auf die naheliegendste Weise hatte ich immer ein Problem mit neuartigen Wörtern in meinem Dokument, aber nicht in der Korpusbewertung unendlich signifikant. Wie wird damit umgegangen?

Answer 1

höchstwahrscheinlich haben Sie bereits die tf-idf oder einige andere Messwerte aus okapi_bm25 Familie überprüft.

auch können Sie natural language processing toolkit nltk für einige fertige Lösungen überprüfen

UPDATE: wie für neue Worte sollten Glättung angewendet werden: Good-Turing, Laplace usw.

Answer 2

Es kommt unter die Überschrift der linearen Klassifikatoren, wobei naive Bayes-Klassifikatoren die bekannteste Form sind (aufgrund seiner bemerkenswerten Einfachheit und Robustheit bei Angriffen auf reale Klassifikationsprobleme).