Ich lerne die neuronale Vernetzung von NG Machine Learning Kurs in coursera und das Buch neurale Vernetzung und Deep Learning von Nielson. Ich habe ein wenig Verwirrung über das Verständnis der Gradientenabsenkung. Ich sehe zwei verschiedene Formals, um das Gewicht durch den Gradientenabstieg zwischen NG und Nielson zu aktualisieren.Der Gradient-Abstieg unterscheidet zwischen in Ng Coursera und Michael A. Nielsen Buch
von Nielson:
the chapter Two, section The backpropagation algorithm
von NG:
beide werden verwendet, Gewicht zu aktualisieren, nachdem Durchlauf in dem Backpropagation-Algorithmus weiterzuleiten. In der Neil-Version scheint es eine Lernbewertung zu geben - η in der NG-Version, es hat keine Lernbewertung und es ähnelt eher der Lernbewertung +1. Ich bin sehr verwirrt darüber. Kann mir jemand helfen, es zu verstehen?
Wahrscheinlich besser geeignet für https://datascience.stackexchange.com oder https://stats.stackexchange.com/. – Holt
Sind Sie sicher, dass NGs formule die Parameteraktualisierung abdeckt? Es scheint nur die Backpropagation – Ben
@Ben zu behandeln, danke für die Erinnerung. Du hast recht. Ich habe mich geirrt. NGs Formel summieren nur die Deltas und erhalten eine mittlere und plus Regularisierung, um den Gradienten zu erhalten. Die andere Formel berechnet den Gradienten, indem alle Proben übergeben werden. Neilson-Formel berechnet den Gradienten für jede Probe. [mehr Schwänze über NG] (https://www.couragera.org/learn/machine-learning/supplement/pjdBA/backpropagation-algorithm) –