rekursive Eigenschaft Elimination (RFE) SKLearn

Question

habe ich eine Tabelle mein Verständnis

F1 F2 Outcome 
0 2 5  1 
1 4 8  2 
2 6 0  3 
3 9 8  4 
4 10 6  5 

Von F1 zu testen und F2 Ich habe versucht, Outcome

vorherzusagen, wie Sie F1 haben eine starke Korrelation zu den Ergebnissen sehen kann, F2 ist zufälliges Rauschen

I getestet

pca = PCA(n_components=2) 
fit = pca.fit(X) 
print("Explained Variance") 
print(fit.explained_variance_ratio_) 
Explained Variance 
[ 0.57554896 0.42445104] 

was ist das, was ich erwartet hatte und sh ows, dass F1 wichtiger

jedoch ist, wenn ich RFE (rekursive Funktion Elimination) tun

model = LogisticRegression() 
rfe = RFE(model, 1) 
fit = rfe.fit(X, Y) 
print(fit.n_features_) 
print(fit.support_) 
print(fit.ranking_) 
1 
[False True] 
[2 1] 

Es hat mich gebeten, statt F2 zu halten? Es sollte mich bitten, F1 zu behalten, da F1 ein starker Prädiktor ist, während F2 Zufallsrauschen ist ... warum F2?

Dank

Answer 1

Sie verwenden LogisticRegression Modell. Dies ist ein Klassifikator, kein Regressor. Ihr Ergebnis wird hier also als Label behandelt (keine Zahlen). Für ein gutes Training und Vorhersage benötigt ein Klassifikator mehrere Samples jeder Klasse. In Ihren Daten ist jedoch nur eine Zeile für jede Klasse vorhanden. Daher sind die Ergebnisse Müll und nicht ernst zu nehmen.

Versuchen Sie, das durch ein Regressionsmodell zu ersetzen, und Sie werden das Ergebnis sehen, von dem Sie dachten, dass es sein würde.