Auswählen eines anderen ROC-Sollwerts in Caret

Question

Ist es möglich, einen anderen ROC-Sollwert in der Caret Train-Funktion zu wählen, anstatt metric = ROC zu verwenden (was meiner Meinung nach die AUC maximiert).

Zum Beispiel:

random.forest.orig <- train(pass ~ x+y, 
       data = meter.train, 
       method = "rf", 
       tuneGrid = tune.grid, 
       metric = "ROC", 
       trControl = train.control) 

Insbesondere habe ich ein Zwei-Klassen-Problem (gescheitert oder Pass), und ich mag die Prognosen der scheitern zu maximieren, während immer noch eine Genauigkeit nicht beibehalten wird (oder negativen Vorhersagewert) von> 80% . dh für jede 10 Fehlschläge sage ich voraus, dass mindestens 8 von ihnen korrekt sind.

Answer 1

Sie können das Objekt caret::trainControl() so anpassen, dass anstelle der Genauigkeit die AUC zur Optimierung der Parameter Ihrer Modelle verwendet wird. Bitte überprüfen Sie die caret documentation für Details. (Die eingebaute Funktion twoClassSummary berechnet die Empfindlichkeit, Spezifität und Fläche unter der ROC-Kurve).

Hinweis: Um Klassenwahrscheinlichkeiten zu berechnen, die pass Funktion muss Faktor sein

Hier unter ist ein Beispiel unter Verwendung von 5-fach CV:

fitControl <- caret::trainControl(
    method = "cv", 
    number = 5, 
    summaryFunction = twoClassSummary, 
    classProbs = TRUE, 
    verboseIter = TRUE 
) 

So wird Ihr Code angepasst werden ein bisschen:

random.forest.orig <- train(pass ~ x+y, 
      data = meter.train, 
      method = "rf", 
      tuneGrid = tune.grid, 
      metric = "ROC", 
      trControl = fitControl) 

# Print model to console to examine the output 
random.forest.orig