Was ist die Kostenfunktion in der Mehrklassenklassifizierung?

Question

Ich bin in Schwierigkeiten zu wissen, was die Verlustfunktion eines neuronalen Netzes ist. Für ein binäres Klassifizierungsproblem ist es ein mittlerer quadratischer Fehler, wie in dem folgenden Video beschrieben: https://www.youtube.com/watch?v=5u0jaA3qAGk&t=59s oder ist es Cross Entropy wie hier definiert http://work.caltech.edu/slides/slides09.pdf und warum?

Darüber hinaus denke ich, dass es im Fall der Multi-Klassifizierung etwas wie softmax gibt, aber ich weiß nicht wirklich, wie es funktioniert. Kann mir jemand das richtig erklären?

Danke!

Answer 1

Theoretisch können Sie neuronale Netzwerke mit jeder Verlustfunktion aufbauen. Sie können mittlere quadratische Fehler- oder Kreuz-Entropie-Verlustfunktionen verwenden. Es läuft darauf hinaus, was am effektivsten ist. Am effektivsten meine ich: Was wird Ihnen erlauben, die Parameter schneller und/oder genauer zu lernen?

In der Praxis neigen die meisten neuronalen Netze dazu, Kreuz-Entropie zu verwenden. Viele Einführungskurse und Tutorials im neuronalen Netzwerk zeigen Ihnen einen mittleren quadratischen Fehler, da er wahrscheinlich intuitiver und einfacher zu verstehen ist.

Diese article erklärt es genauer, aber lassen Sie mich Zitat:

Wann sollten wir die Quer Entropie statt den quadratisch Kosten verwenden? In der Tat ist die Quer Entropie fast immer die bessere Wahl, vorausgesetzt die Ausgangsneuronen sigmoiden Neuronen sind

In Bezug auf die softmax Funktion. Wie Sie wahrscheinlich wissen, wird jedes Neuron eine Aktivierungsfunktion haben. Sehr oft ist diese Funktion eine Sigmoidfunktion. Die Softmax-Funktion ist eine andere Art von Aktivierungsfunktionen, die normalerweise in der letzten Schicht Ihres neuronalen Netzwerks verwendet wird. Die Softmax-Funktion hat eine einzigartige Eigenschaft. Die Ausgabe wird ein Wert von 0 bis 1 sein und die Summe aller Ausgaben für jedes Neuron in der Schicht wird gleich 1 sein. Effektiv eine Wahrscheinlichkeit angeben. Und dies macht es sehr geeignet für eine Mehrklassenklassifikation, da es Ihnen die Wahrscheinlichkeit für jede Klasse gibt, und Sie könnten die Klasse mit der höchsten Wahrscheinlichkeit auswählen.