Gleicher Ausgang mit verschiedenen Eingängen (neuronales Netzwerk)

Question

Ich programmiere ein neuronales Netzwerk, um eine Idee zu testen, die ich habe. Das Problem ist, dass ich nicht einmal in der Lage war zu testen, wie gut das Netzwerk funktioniert, weil es immer die exakt gleiche Ausgabe liefert, unabhängig von der Eingabe.

Das Netzwerk wird mit dem MNIST-Datensatz trainiert und verfügt über 10 Ausgangsknoten.

Einfach dadurch, wie neuronale Netze Mathematik berechnen, selbst wenn das neuronale Netz nicht konvergiert, würde es immer noch keinen mathematischen Sinn ergeben, dass es die exakt gleiche Ausgabe bis auf die Millionstel Dezimalstelle ausgeben würde.

Immer wenn ich das Netzwerk neu trainiere, hat es natürlich eine neue Ausgabe, wahrscheinlich aufgrund der neuen Menge berechneter Gewichte. Aber diese Ausgabe bleibt dann gleich, unabhängig von der Eingabe.

Hat jemand eine Idee, was das Problem sein könnte?

Edit:

Ich bin eine Sigmoid-Funktion.

Nachdem ich es trainiere und abfrage, sieht meine Ausgabe in etwa so aus.

`array([[ 0.10651613], 
    [ 0.11501053], 
    [ 0.11034159], 
    [ 0.11213908], 
    [ 0.10754446], 
    [ 0.09952921], 
    [ 0.10827382], 
    [ 0.11763775], 
    [ 0.10538466], 
    [ 0.10562691]]) 

Dann werde ich es mit einem anderen Eingang abfragen, und wird die gleiche genaue Ausgabe erhalten.

Answer 1

Da das Quetschen des Bildes nicht funktioniert, können Sie die Aktivierungsfunktion ändern. Es ist durchaus möglich, dass Ihre bestehende Aktivierung einen Unterlauf verursacht.

Hier ist, was die relu Funktion und ihre Ableitung wie folgt aussieht:

def relu(x): 
    return x * (x > 0) 

def relu_diff(x): 
    return x > 0 

Mit relu, Ihr Netzwerk schneller lernt, so dass Sie die Anzahl der Epochen reduzieren können Sie trainieren auch.