Neuronales Netzwerk seltsame Vorhersage

Question

Ich versuche ein neuronales Netzwerk zu implementieren. Ich verwende Backpropagation, um die Gradienten zu berechnen. Nach dem Erhalten der Gradienten multipliziere ich sie mit der Lernrate und subtrahiere sie von den entsprechenden Gewichten. (Im Grunde versuchen Sie gradientenabstieg, bitte sagen Sie mir, wenn das falsch ist). Das erste, was ich versuchte, nachdem die Backpropagation und der Gradientenabstieg fertig waren, bestand darin, einen einfachen XOR - Klassifikator zu trainieren, bei dem die Eingaben (0,0), (1,0), (0,1), (1,1) und die entsprechenden Ausgaben sind 0, 1, 1, 0. Also mein neuronales Netzwerk enthält 2 Eingabeeinheiten, 1 Ausgabeeinheit und eine versteckte Ebene mit 3 Einheiten darauf. Beim Training mit einer Lernrate von 3,0 für> 100 (selbst ausprobiert> 5000) sinken die Kosten bis zu einem bestimmten Punkt, an dem es feststeckt, so dass es konstant bleibt. Die Gewichte werden jedes Mal, wenn ich das Programm starte, zufällig initialisiert, aber es bleibt immer bei den gleichen spezifischen Kosten hängen. Wie auch immer, nachdem das Training beendet ist, habe ich versucht, mein neurales Netzwerk auf einem der obigen Eingänge laufen zu lassen und der Ausgang ist immer 0.5000. Ich dachte darüber nach, die Ein- und Ausgänge so zu ändern, dass sie sind: (-1, -1), (1, -1), (-1, 1), (1, 1) und die Ausgänge -1, 1, 1, - 1. Wenn nun mit der gleichen Lernrate trainiert wird, sinken die Kosten kontinuierlich, unabhängig von der Anzahl der Iterationen, aber die Ergebnisse sind immer noch falsch, und sie liegen immer nahe bei 0. Ich habe sogar versucht, sie für eine wahnsinnige Anzahl von Wiederholungen zu trainieren Iterationen und die Ergebnisse sind die folgenden: [Iterationen: (20kk), Eingaben: (1, -1), Ausgabe: (1.6667e-08)] und auch [Iterationen: (200kk), Eingaben: (1, -1) , Ausgabe: (1.6667e-09)], auch für Eingaben (1,1) und andere versucht, die Ausgabe ist auch sehr nahe bei 0. Es scheint, als ob die Ausgabe immer mittel ist (min (y), max (y)), spielt es keine Rolle, in welcher Form ich die Ein-/Ausgabe zur Verfügung stelle. Ich kann nicht herausfinden, was ich falsch mache, kann jemand bitte helfen?

Answer 1

Es gibt so viele Orte, wo man falsch sein könnte:

• Ihre Steigungen überprüfen numerisch
• Sie nicht-lineare versteckten Einheiten verwenden XOR zu lernen - haben Sie es nicht-lineare Aktivierung haben?
• Sie benötigen Bias-Neuron, haben Sie eine?

kleinere Dinge, die das genannte Problem nicht dazu führen sollte, aber es lohnt sich Festsetzung oder so:

• tun Sie sigmoidale Aktivierung in dem Ausgangsknoten haben (wie Ihr Netzwerk ein Klassifikator ist)?
• Trainierst du mit Kreuz-Entropie-Kosten (obwohl das ein kleines Problem ist)?