von einem 3-Schichten NN zu Deep Learning mit relu gehen

Question

Wenn ich es richtig verstanden habe, kann ich eine 3-Layered NN in eine DL NN durch Zugabe einer der hidden layer + RelU

Wiederholung RelU nach the hidden layer, dann verwandeln Ich bin Schwierigkeiten beim Visualisieren, wie die Dimensionalität funktionieren wird. Ich habe jetzt die folgenden von einem small library Ich stelle zusammen, damit ich

M = 784 # 28 x 28 pixels 
N = 512 # hidden neurons 
P = 10 # number of possible classes 

w1 = np.random.normal(0.0, pow(10, -0.5), (M, N)) 
w2 = np.random.normal(0.0, pow(10, -0.5), (N, P)) 

b1 = np.random.normal(0.0, pow(10, -0.5), (N)) 
b2 = np.random.normal(0.0, pow(10, -0.5), (P)) 

x = Input(w1, b1) 
h = Hidden(x, w2, b2) 
g = Softmax(h) 
cost = CrossEntropy(g) # numpy.mean(CrossEntropy) over BATCH SIZE 

train_data() 

in den Konzepten sinken kann Aber ich will

x = Input(w1, b1) 
h = Hidden(x, w2, b2) 
r = ReLU(h) 
h2 = Hidden(r, ??, ??) # 1 
r2 = ReLU(h2)   # 2 
.. <repeat 1 and 2> 
g = Softmax(h) 
cost = CrossEntropy(g) # numpy.mean(CrossEntropy) over BATCH SIZE 

train_data() 

Related article I a writing about this

Answer 1

gehen, wenn ich habe richtig verstanden, kann ich ein 3-Layer NN in ein DL NN transformieren, indem ich ein RelU nach der versteckten Ebene hinzufüge und dann die versteckte Ebene wiederhole + RelU

Deep Learning ist so ziemlich ein Schlagwort. Es können Netzwerke mit allem sein, von 3 Lernschichten bis mindestens 16. Abhängig vom Autor/wenn du wissen wolltest was "tief" bedeutet. Zum Beispiel hat der deep residual learning paper den Balken viel höher auf mehrere hundert Schichten gesetzt.

Wichtig ist, dass Sie mindestens eine versteckte Ebene mit einer Nichtlinearität haben. Ein Netzwerk mit einer Eingabeschicht, einer versteckten Ebene und einer Ausgabeschicht (also zwei Lernschichten). Die Nichtlinearitäten (logistische Funktion, tanh, ReLU, ...) machen neuronale Netze so leistungsfähig.

Für die Dimensionen: Das sind Matrixmultiplikationen/Vektoradditionen. Ihre Eingabe ist von Dimension (1, M) und wird mit einer Matrix der Dimension (M, N) multipliziert. Das Ergebnis hat die Dimension (1, N). Die nächste zu multiplizierende Matrix muss eine Dimension haben (N, was auch immer). Sie müssen also sicherstellen, dass die benachbarten Matrizen Dimensionen mit Anpassung haben. Nur Kalkül 101.