Wie werden Kostenfunktionen in Machine Learning entschieden?

Question

Ich bin neu in ML, und ich habe gerade lineare Regression und logistische Regression gelernt. Ich frage mich, wie werden diese Kostenfunktionen entschieden, und wie werden diese abgeleitet? Woher wissen wir, dass diese Kostenfunktionen für bestimmte Probleme geeignet sind?

Mit anderen Worten, ich bin nicht sicher, wie diese Kostenfunktionen für bestimmte Probleme genau und angemessen sind. Haben wir manchmal in ML eine eigene Kostenfunktion?

Answer 1

In einem richtigen Ansatz zu ML beginnen Sie mit dem Problem, das Sie lösen möchten. Sobald Sie ein Problem haben, sollten Sie sich fragen "Was interessiere ich mich wirklich?", "Was ist wirklich meine Aufgabe hier?" und die Antwort darauf wird eine "perfekte" Verlustfunktion bieten. Das Problem ist, dass diese "perfekte" Funktion normalerweise nicht direkt gelernt werden kann. Nehmen wir zum Beispiel die Klassifizierung, wollen Sie ein Modell haben, das Katzen von Hunden unterscheidet. Eine mögliche Formalisierung des "perfekten" Verlustes wäre "minimale Anzahl falscher Antworten". Das Problem ist, dass die Funktion nicht differenzierbar ist. um Parameter zu modellieren (oder es ist differenzierbar, aber bietet 0 Gradient). Folglich sucht man oft nach Surrogaten, die sich ähnlich verhalten, aber besser für die Lernmethoden geeignet sind, die wir haben. Wenn Sie statt "minimale Anzahl falscher Antworten" sagen "mindestens wahrscheinlich mindestens eine falsche Antwort" sagen, dann ist der logarithmische Verlust (der bei der logistischen Regression verwendete) buchstäblich das.

Also kurz gesagt, typischer Pfad ist:

1. Problem Spezifikation
2. Definition der perfekten Fehlermaß
3. Auswahl eines Ersatz Verlust gemäß den obigen und anderen Einschränkungen

Für Bei vielen Problemen gibt es keinen einzigartigen Ersatz für die Auswahl, daher ist die Auswahl (oder das Herausarbeiten des optimalen Verlusts) das riesige Forschungsgebiet für sich.