Eine Region meiner ROC-Kurve ist unterhalb der zufälligen Linie

Question

Ich habe einige Ziele in einem hyperspektralen Bild und ich möchte sie erkennen. Ich schlug einen Detektor vor und dann analysierte ich seine Leistung über die Receiver Operating Characteristics (ROC) -Kurven.

Wenn die zu erkennenden Ziele ein sehr niedriges Signal-Rausch-Verhältnis haben (das heißt, die Ziele sind sehr schwach im Bild und so ist ihre Erkennung sehr schwierig, besonders für sehr geringe Wahrscheinlichkeit von Fehlalarmen Pfa-Werte), bin ich immer erhalten wie die folgende ROC-Kurve.

Das ist nicht meine Figur, aber ich bin der Erhalt dieser ROC-Kurve ähnlich. Also meine Kurve ist unter der zufälligen Linie für Pfa<=0.1. Ich frage mich, ob es normal ist? ist es akzeptabel, eine Region der ROC-Kurve unterhalb der zufälligen Linie zu haben? und wenn ja, wie kann das gerechtfertigt sein?

Answer 1

Die ROC zeigt wahre und falsche positive Verhältnisse für ansteigende Schwelle. Wenn die Schwelle auf einem Extremwert liegt, wird alles als negativ klassifiziert, und Sie haben 0% echte positive und 0% falsche positive Werte. Mit der Schwelle am anderen Extrem haben Sie 100% richtig positive und 100% falsch positive. Zwischen den beiden Extremen kann alles passieren. In diesem speziellen Fall beginnen Sie, wenn Sie den Schwellenwert vom ersten Extremwert an erhöhen, negative Proben als positiv einzustufen, und Sie erhöhen die falsche positive Rate, ohne die wahre positive Rate zu erhöhen.

Prinzipiell ist daran nichts falsch. Entscheidend ist, dass Sie einen Punkt (eine Schwelle) finden können, an dem der Kompromiss zwischen den wahren und falschen positiven Verhältnissen zufriedenstellend ist. Das ist der Punkt, an dem Sie Ihr System betreiben werden. Und weil Sie möchten, dass die Wahl des Schwellenwerts robust ist, möchten Sie, dass sich der ROC um diesen Punkt herum langsam ändert. Aber was es weit entfernt von Ihrem Betriebspunkt tut, hat keinen Einfluss auf Ihr System. (Deshalb denke ich, dass der "Fläche unter der Kurve" -Maß für Leistung nicht nützlich ist.)

Jedoch, was Ihr ROC Ihnen zeigt, ist, dass die Proben, die Ihr System am offensichtlichsten positiv denkt, tatsächlich negativ sind. Vielleicht haben Sie Ihre Proben nicht richtig modelliert?