Empfindlichkeit zu niedrig, wo AUC sehr hoch in Caretz Zug crossvalidation Resampling Ergebnisse

Wie soll ich interpretieren: Empfindlichkeit zu niedrig, wo AUC sehr hoch in Caret Zug crossvalidation Resampling Ergebnisse auf die Daten, die ich trainiert habe.Empfindlichkeit zu niedrig, wo AUC sehr hoch in Caretz Zug crossvalidation Resampling Ergebnisse

Ist die Modellleistung schlecht?

Quelle

2016-08-25 user6422220

Sie sollten diese Frage auf reproduzierbaren Code überprüfen und zusätzliche Details, um mehr Benutzern zu ermöglichen, um Ihnen zu helfen. Hier ist der Link: http://stackoverflow.com/questions/5963269/how-to-make-a-great-r-reproducible-example –

Es ist eine theoretische Frage! Ich denke nicht, dass es sich auf einen bestimmten Datensatz bezieht. Meine Frage ist sehr allgemein, wie soll ich interpretieren, wenn die AUC hoch ist und die Sensitivität gering ist. Resample result – user6422220

Das mag offensichtlich erscheinen, aber das Hinzufügen eines reproduzierbaren Codes hilft Hinzufügen neuer Dimensionen zu den Informationen, die Sie suchen. Es könnte uns auch sagen, ob für den Fall, dass Ihre Frage ist besser geeignet für Cross-validiert: http://stats.stackexchange.com/ :) –

Es tritt normalerweise auf, wenn ein Klassenungleichgewicht vorliegt und die standardmäßige 50% -Wahrscheinlichkeitsgrenze schlechte Vorhersagen ergibt, aber die Klassenwahrscheinlichkeiten, obwohl schlecht kalibriert, gut bei der Trennung von Klassen gut sind. Hier

ein Beispiel:

library(caret) 

set.seed(1) 
dat <- twoClassSim(500, intercept = 10) 

set.seed(2) 
mod <- train(Class ~ ., data = dat, method = "svmRadial", 
      tuneLength = 10, 
      preProc = c("center", "scale"), 
      metric = "ROC", 
      trControl = trainControl(search = "random", 
             classProbs = TRUE, 
             summaryFunction = twoClassSummary))

Die Ergebnisse sind

> mod 
Support Vector Machines with Radial Basis Function Kernel 

500 samples 
15 predictor 
    2 classes: 'Class1', 'Class2' 

Pre-processing: centered (15), scaled (15) 
Resampling: Bootstrapped (25 reps) 
Summary of sample sizes: 500, 500, 500, 500, 500, 500, ... 
Resampling results across tuning parameters: 

    sigma  C    ROC  Sens  Spec  
    0.01124608 21.27349102 0.9615725 0.33389177 0.9910125 
    0.01330079 419.19384543 0.9579240 0.34620779 0.9914320 
    0.01942163 85.16782989 0.9535367 0.33211255 0.9920583 
    0.02168484 632.31603140 0.9516538 0.33065224 0.9911863 
    0.02395674 89.03035078 0.9497636 0.32504906 0.9909382 
    0.03988581 3.58620979 0.9392330 0.25279365 0.9920611 
    0.04204420 699.55658836 0.9356568 0.23920635 0.9931667 
    0.05263619 0.06127242 0.9265497 0.28134921 0.9839818 
    0.05364313 34.57839446 0.9264506 0.19560317 0.9934489 
    0.08838604 47.84104078 0.9029791 0.06296825 0.9955034 

ROC was used to select the optimal model using the largest value. 
The final values used for the model were sigma = 0.01124608 and C = 21.27349.

Quelle

2016-09-02 20:40:39 topepo

dass bedeutet, wenn die Sensitivität/Spezifität auf der Grundlage des standardmäßigen 50% -Wahrscheinlichkeits-Cutoff berechnet wird, dann ist es sinnlos, die Modellleistung durch Sensitivität/Spezifität zu sehen, und es ist gut, AUC zu sehen.Was sagst du ?? Manchmal sehe ich auch, dass der Logloss negativ ist. Wann passiert das? – user6422220

Empfindlichkeit zu niedrig, wo AUC sehr hoch in Caretz Zug crossvalidation Resampling Ergebnisse

Antwort

Verwandte Themen