sklearn logistische Regression - wichtige Funktionen

Question

Ich bin mir ziemlich sicher, dass es vor gefragt worden ist, aber ich bin nicht in der Lage, eine Antwort

Ausführen logistische Regression sklearn auf Python zu finden, ich bin in der Lage meine Datensatz Transformation seine wichtigsten Funktionen mit der Transform-Methode

classf = linear_model.LogisticRegression() 
func = classf.fit(Xtrain, ytrain) 
reduced_train = func.transform(Xtrain) 

Wie kann ich sagen, welche Features als am wichtigsten ausgewählt wurden? allgemeiner wie kann ich den p-Wert jedes Merkmals im Datensatz berechnen?

Answer 1

Sie können die Koeffizienten im Attribut coef_ des angepassten Modells betrachten, um zu sehen, welche Merkmale am wichtigsten sind. (Bei LogisticRegression prüft transform gerade, welche Koeffizienten im absoluten Wert am höchsten sind.)

Die meisten Scikit-Lern-Modelle bieten keine Möglichkeit zur Berechnung von p-Werten. Im Großen und Ganzen sind diese Modelle so ausgelegt, dass sie dazu verwendet werden können, Ausgaben vorherzusagen und nicht zu inspizieren, um zu verstehen, wie die Vorhersage gemacht wird. Wenn Sie an p-Werten interessiert sind, können Sie sich statsmodels ansehen, obwohl es etwas weniger reif ist als sklearn.

Answer 2

LogisticRegression.transform nimmt einen threshold Wert, der bestimmt, welche Funktionen beibehalten werden. Direkt aus dem Docstring:

Schwellenwert: string, float oder None, optional (Standardwert = Keine) Der Schwellenwert für die Featureauswahl. Funktionen, deren Wichtigkeit größer oder gleich ist, werden beibehalten, während die anderen verworfen werden. Wenn "median" (bzw. "mean"), dann ist der Schwellwert der Median (bzw. der Mittelwert) der Feature-Importanzen. Ein Skalierungsfaktor (z. B. "1,25 * Mittelwert") kann ebenfalls verwendet werden. Wenn Keine und wenn verfügbar ist, wird das Objektattribut threshold verwendet. Ansonsten wird "mean" standardmäßig verwendet.

Es gibt kein Objektattribut threshold auf LR-Schätzern. Daher werden standardmäßig nur die Merkmale beibehalten, deren absoluter Wert höher ist als der Mittelwert (nach Summierung über die Klassen).

Answer 3

Wie in den obigen Kommentaren vorgeschlagen, können (und sollten) Sie Ihre Daten vor der Anpassung skalieren, um die Koeffizienten vergleichbar zu machen. Unten ist ein kleiner Code um zu zeigen, wie das funktionieren würde. Ich folge this Format zum Vergleich.

import numpy as np  
from sklearn.linear_model import LogisticRegression 
from sklearn.preprocessing import StandardScaler 
import pandas as pd 
import matplotlib.pyplot as plt 

x1 = np.random.randn(100) 
x2 = np.random.randn(100) 
x3 = np.random.randn(100) 

#Make difference in feature dependance 
y = (3 + x1 + 2*x2 + 5*x3 + 0.2*np.random.randn()) > 0 

X = pd.DataFrame({'x1':x1,'x2':x2,'x3':x3}) 

#Scale your data 
scaler = StandardScaler() 
scaler.fit(X) 
X_scaled = pd.DataFrame(scaler.transform(X),columns = X.columns) 

clf = LogisticRegression(random_state = 0) 
clf.fit(X_scaled, y) 

feature_importance = abs(clf.coef_[0]) 
feature_importance = 100.0 * (feature_importance/feature_importance.max()) 
sorted_idx = np.argsort(feature_importance) 
pos = np.arange(sorted_idx.shape[0]) + .5 

featfig = plt.figure() 
featax = featfig.add_subplot(1, 1, 1) 
featax.barh(pos, feature_importance[sorted_idx], align='center') 
featax.set_yticks(pos) 
featax.set_yticklabels(np.array(X.columns)[sorted_idx], fontsize=8) 
featax.set_xlabel('Relative Feature Importance') 

plt.tight_layout() 
plt.show()