wie Entropie von np Histogramm berechnen

Question

Ich habe ein Beispiel eines Histogramm mit:

mu1 = 10, sigma1 = 10 
s1 = np.random.normal(mu1, sigma1, 100000) 

und

berechnet

hist1 = np.histogram(s1, bins=50, range=(-10,10), density=True) 
for i in hist1[0]: 
    ent = -sum(i * log(abs(i))) 
print (ent) 

Jetzt habe ich die Entropie aus der gegebenen Histogrammmatrix finden will, aber da np.histogram gibt zwei Arrays zurück, ich habe Probleme, die Entropie zu berechnen. Wie kann ich das erste Array von np.histogram aufrufen und die Entropie berechnen? Ich würde auch Mathe-Domain-Fehler für die Entropie bekommen, auch wenn mein Code oben korrekt ist. :(

** Edit: Wie finde ich Entropie, wenn Mu = 0 und log (0) ergibt Fehler math Domäne

---

So ist der eigentliche Code, den ich zu schreiben bin versucht?:

mu1, sigma1 = 0, 1 
mu2, sigma2 = 10, 1 
s1 = np.random.normal(mu1, sigma1, 100000) 
s2 = np.random.normal(mu2, sigma2, 100000) 

hist1 = np.histogram(s1, bins=100, range=(-20,20), density=True) 
data1 = hist1[0] 
ent1 = -(data1*np.log(np.abs(data1))).sum() 

hist2 = np.histogram(s2, bins=100, range=(-20,20), density=True) 
data2 = hist2[0] 
ent2 = -(data2*np.log(np.abs(data2))).sum() 

Bisher ist das erste Beispiel ent1 würde nan ergeben, und die zweite, ent2 ergibt Fehler Mathe Domain :(

Answer 1

Sie können die Entropie mit vektorisierten Code berechnen:

import numpy as np 

mu1 = 10 
sigma1 = 10 

s1 = np.random.normal(mu1, sigma1, 100000) 
hist1 = np.histogram(s1, bins=50, range=(-10,10), density=True) 
data = hist1[0] 
ent = -(data*np.log(np.abs(data))).sum() 
# output: 7.1802159512213191 

Aber wenn Sie ein wie für Schleife verwenden, können Sie schreiben:

import numpy as np 
import math 

mu1 = 10 
sigma1 = 10 

s1 = np.random.normal(mu1, sigma1, 100000) 
hist1 = np.histogram(s1, bins=50, range=(-10,10), density=True) 
ent = 0 
for i in hist1[0]: 
    ent -= i * math.log(abs(i)) 
print (ent) 
# output: 7.1802159512213191 

Answer 2

Verwenden np.ma.log inf und nan Fehler zu vermeiden. np.ma ist ein maskiertes numpy-Array.