Punktweise gegenseitige Information über Text

Question

Ich frage mich, wie man die punktweise gegenseitige Information für Textklassifikation berechnen würde. Um genauer zu sein, möchte ich Tweets in Kategorien einteilen. Ich habe einen Datensatz von Tweets (die kommentiert sind), und ich habe ein Wörterbuch pro Kategorie von Wörtern, die zu dieser Kategorie gehören. Wie ist es möglich, anhand dieser Informationen den PMI für jede Kategorie pro Tweet zu berechnen, um einen Tweet in einer dieser Kategorien zu klassifizieren?

Answer 1

PMI ist ein Maß für die Zuordnung zwischen einem Feature (in Ihrem Fall ein Wort) und einer Klasse (Kategorie), nicht zwischen einem Dokument (Tweet) und einer Kategorie. Die Formel ist auf Wikipedia:

    P(x, y) 
pmi(x ,y) = log ------------ 
        P(x)P(y) 

In dieser Formel X der Zufallsvariable ist, die Modelle, das Auftreten eines Wortes und Y Modelle des Auftreten einer Klasse. Für ein gegebenes Wort x und eine gegebene Klasse y können Sie PMI verwenden, um zu entscheiden, ob eine Funktion informativ ist oder nicht, und Sie können auf dieser Basis eine Funktion auswählen. Wenn Sie weniger Features haben, wird die Leistung Ihres Klassifizierungsalgorithmus oft verbessert und die Geschwindigkeit erheblich erhöht. Der Klassifizierungsschritt ist jedoch getrennt - PMI hilft Ihnen nur bei der Auswahl besserer Funktionen, die Sie in Ihren Lernalgorithmus einspeisen können.

---

Edit: Eine Sache, die ich nicht in der ursprünglichen Post erwähnt habe, ist, dass PMI zu Wort Frequenzen empfindlich ist. Lassen Sie uns die Formel umschreiben als

    P(x, y)    P(x|y) 
pmi(x ,y) = log ------------ = log ------------ 
        P(x)P(y)    P(x) 

Wenn x und y perfekt korreliert sind, P(x|y) = P(y|x) = 1, so pmi(x,y) = 1/P(x). Weniger häufig x -es (Wörter) haben einen höheren PMI-Wert als häufig x -e, auch wenn beide perfekt mit y korreliert sind.