Matlab Funktion Perfcurve behauptet fälschlicherweise ROC AUC = 1

Question

Die Perfcurve-Funktion in Matlab fälschlicherweise behauptet AUC = 1, wenn zwei Datensätze eindeutig für angemessene Cutoff-Werte falsch klassifiziert werden. Wenn ich die gleichen Daten durch eine Konfusionsmatrix mit Cutoff 0.5 laufen lasse, liegt die Genauigkeit zu Recht unter 1. Das MWE enthält Daten von einem meiner Falten. Ich habe das Problem bemerkt, weil ich perfekte Ergebnisse mit weniger als perfekter Genauigkeit gesehen habe.

Ich benutze Matlab 2016a und Ubuntu 16.4 64bit.

% These are the true classes in one of my test-set folds 
classes = transpose([ones(1,9) 2*ones(1,7)]) 
% These are predictions from my classifier 
% Class 1 is very well predicted 
% Class 2 has two records predicted as class 1 with threshold 0.5 
confidence = transpose([1.0 1.0 1.0 1.0 0.9999 1.0 1.0... 
    1.0 1.0 0.0 0.7694 0.0 0.9917 0.0 0.0269 0.002]) 
positiveClass = 1 
% Nevertheless, the AUC yields a perfect 1 
% I understand why X, Y, T have less values than classes and confidence 
% Identical records are dealt with by one point on the ROC curve 
[X,Y,T,AUC] = perfcurve(classes, confidence, positiveClass) 
% The confusion matrix for comparison 
threshold = 0.5 
confus = confusionmat(classes,(confidence<threshold)+1) 
accuracy = trace(confus)/sum(sum(confus)) 

Answer 1

Dies bedeutet einfach, dass es andere Cutoff, wo die Trennung perfekt.

Versuchen:

threshold = 0.995 
confus = confusionmat(classes,(confidence<threshold)+1) 
accuracy = trace(confus)/sum(sum(confus))