Python - SelectFromModel mit Naive-Bayes

Question

I SelectFromModel in Kombination bin mit mit MultinomialNB für Feature-Auswahl in einer Textklassifikationsaufgabe.

SelectFromModel(estimator=MultinomialNB(alpha=1.0)) 

SelectFromModel bestimmt die Bedeutung von Funktionen durch Berechnung:

importances = np.linalg.norm(estimator.coef_, axis=0,ord=norm_order) 

Aber ist das nicht genau das Gegenteil von dem, was ich will, weil Funktionen mit einer hohen Frequenz in niedrigen absoluten Werten führen werden?

Es gibt bereits mehrere gut beantwortete Fragen zum Bestimmen der Wichtigkeit von Features für eine bestimmte Klasse, aber nicht für die allgemeine Wichtigkeit von Features.

Gibt es eine Möglichkeit, die Merkmalsbedeutung mit SelectFromModel in Kombination mit NB zu bestimmen, oder sind andere Ansätze für diese Aufgabe besser geeignet?

Answer 1

Es gibt eine Funktion, die als Rekursive Eliminierung von Funktionen mit Kreuzvalidierung bekannt ist, auch bekannt als RFECV in sklearn. Es versucht, die Features entsprechend ihrer Wichtigkeit rekursiv zu bewerten und führt eine Kreuzvalidierung durch, um die bestmögliche Anzahl von Features mit dem angegebenen Schätzer zu erhalten. Sie können die example here für weitere Informationen betrachten.

Ich bin mir nicht sicher, warum SelectFromModel nicht mit NaiveBayes funktioniert. Ich werde diese Antwort aktualisieren, wenn ich etwas dazu finde. In der Zwischenzeit können Sie RFECV nach Ihren Bedürfnissen prüfen.