Entropie in der Klassifikation

Question

Ich bin nur wenige Zweifel in der Entropie. Die Entropieformel lautet -summation (p (i | j) log2 p (i | j) Dies ist die Formel für das Zielattribut, das nur 2 Werte hat. Was ist, wenn das Ziel mehr als 2 Klassenwerte hat, z , mittel und niedrig) Wie wird die Formel bekommt betroffen wird es sein, -summation (p (i | j) log 3 p (i | j))

Eine weitere Frage:? Wie die Genauigkeit berechnen? ? zufälligen Baseline-Klassifikator ohne Voreingenommenheit Sagen meine Frage sagt:

1)class1=50% and class2=50% 
2)class1=40% and class2=60% 
3)class1=10%,class2=20% and class3=70% 

Könnten Sie in diesen beiden Fragen helfen Sie mir bitte

Answer 1

Nein, die übliche Wahl für den Logarithmus bleibt Basis 2, "Bits".

Aber in der Tat ist die Basis des Protokolls nur eine Konstante, die in den meisten Fällen aufhebt oder eine globale Skalierungskonstante ist, die keine Rolle spielt.