signifikanter Test mit Scikit-Learn Testergebnissen in dem gleichen p-Wert Permutation für alle Klassifizierer

Question

Ich versuche, die Bedeutung der Ergebnisse, um herauszufinden, mit dem Scikit-Learn permutation test wie in:

score, permutation_scores, pvalue = permutation_test_score(clf.best_estimator_, X_train, Y_train, cv=10, n_jobs=10, n_permutations=100, scoring='accuracy') 

, wo die clf.best_estimator ist das Ergebnis der Kreuzvalidierung.

Ich benutze es für mehrere Klassifikatoren (mehrere unabhängige clf.best_estimator_), aber die p-Werte für alle von ihnen ist die gleiche 0.00990099009901.

Ich habe keine Ahnung, warum das passiert. Das Seltsame ist, dass dies die gleiche Nummer ist, die im verknüpften Code in der Bedienungsanleitung von scikit-learn angezeigt wird.

Answer 1

Ich stellte die gleiche Frage in scikit-learn's Fragen und die Antwort war: für die meisten der guten Klassifikatoren, wenn der zufällige Klassifikator besser ist als der trainierte Klassifikator in 1 Test von 100, wäre diese magische Zahl das Ergebnis.

so ist nichts falsch mit dieser magischen Zahl.