Scikit-lernen train_test_split mit Indizes

Question

Wie bekomme ich die ursprünglichen Indizes der Daten bei der Verwendung von train_test_split()?

Was ich habe, ist die folgende

from sklearn.cross_validation import train_test_split 
import numpy as np 
data = np.reshape(np.randn(20),(10,2)) # 10 training examples 
labels = np.random.randint(2, size=10) # 10 labels 
x1, x2, y1, y2 = train_test_split(data, labels, size=0.2) 

Aber dies gibt nicht die Indizes der ursprünglichen Daten. Eine Problemumgehung besteht darin, Indizes zu Daten hinzuzufügen (z. B. data = [(i, d) for i, d in enumerate(data)]) und sie dann innerhalb von train_test_split zu übergeben und dann erneut zu erweitern. Gibt es eine sauberere Lösung?

Answer 1

Scikit lernen spielt wirklich gut mit Pandas, also schlage ich vor, Sie verwenden es. Hier ein Beispiel:

In [1]: 
import pandas as pd 
import numpy as np 
from sklearn.cross_validation import train_test_split 
data = np.reshape(np.random.randn(20),(10,2)) # 10 training examples 
labels = np.random.randint(2, size=10) # 10 labels 

In [2]: 
X = pd.DataFrame(data) 
y = pd.Series(labels) 

In [3]: 
X_train, X_test, y_train, y_test = train_test_split(X, y, 
                test_size=test_size, 
                random_state=0) 

In [4]: X_test 
Out[4]: 

    0  1 
2 -1.39 -1.86 
8 0.48 -0.81 
4 -0.10 -1.83 

In [5]: y_test 
Out[5]: 

2 1 
8 1 
4 1 
dtype: int32 

Sie können direkt alle scikit Funktionen auf Datenrahmen/Serien aufrufen und es wird funktionieren.

Angenommen, Sie wollten einen Logistische Regression tun, hier ist, wie man die Koeffizienten in einer schönen Weise abrufen konnte:

In [6]: 
from sklearn.linear_model import LogisticRegression 

model = linear_model.LogisticRegression() 
model = model.fit(X_train, y_train) 

# Retrieve coefficients: index is the feature name ([0,1] here) 
df_coefs = pd.DataFrame(model.coef_[0], index=X.columns, columns = ['Coefficient']) 
df_coefs 
Out[6]: 
    Coefficient 
0 0.076987 
1 -0.352463 

Answer 2

Sie Pandas Datenrahmen oder Serie verwenden können, wie Julien sagte, aber wenn Sie your- einschränken möchten selbst numpy Sie eine zusätzliche Reihe von Indizes passieren kann:

from sklearn.cross_validation import train_test_split 
import numpy as np 
n_samples, n_features, n_classes = 10, 2, 2 
data = np.random.randn(n_samples, n_features) # 10 training examples 
labels = np.random.randint(n_classes, size=n_samples) # 10 labels 
indices = np.arange(n_samples) 
x1, x2, y1, y2, idx1, idx2 = train_test_split(
    data, labels, indices, test_size=0.2)