Überlauf/math Bereichsfehler für log oder exp

Question

Zeile Code in Frage:

summing += yval * np.log(   sigmoid(np.dot(w.transpose(),xi.transpose()))) 
     +(1-yval)* np.log(max(0.001, 1-sigmoid(np.dot(w.transpose(),xi.transpose())))) 

Fehler:

File "classify.py", line 67, in sigmoid 
return 1/(1+ math.exp(-gamma)) 
OverflowError: math range error 

Die Sigmoidfunktion ist nur 1/(1+ math.exp(-gamma)).

Ich bekomme einen mathematischen Bereichsfehler. Wer sieht warum?

Answer 1

können Sie dieses Problem vermeiden, indem verschiedene Fälle für positive und negative Gamma mit:

def sigmoid(gamma): 
    if gamma < 0: 
    return 1 - 1/(1 + math.exp(gamma)) 
    else: 
    return 1/(1 + math.exp(-gamma)) 

Der Mathematik-Bereichsfehler wahrscheinlich ist, weil Ihr gamma Argument ein großer negativer Wert ist, so dass Sie exp() mit einem großen fordern positiver Wert. Es ist sehr einfach, Ihren Gleitkommabereich auf diese Weise zu überschreiten.

Answer 2

Das Problem ist, dass, wenn gamma wird groß, math.exp(gamma) überläuft. Sie können dieses Problem vermeiden, indem Sie bemerken, dass

sigmoid(x) = 1/(1 + exp(-x)) 
      = exp(x)/(exp(x) + 1) 
      = 1 - 1/(1 + exp(x)) 
      = 1 - sigmoid(-x) 

Dies Sie eine numerisch stabile Implementierung von sigmoid gibt, die garantiert Ihnen nie math.exp rufen sogar mit einem positiven Wert:

def sigmoid(gamma): 
    if gamma < 0: 
     return 1 - 1/(1 + math.exp(gamma)) 
    return 1/(1 + math.exp(-gamma))