Neural Net Setup

Question

Ich versuche, ein einzelnes verstecktes neuronales Netz für MNIST Ziffernerkennung in Python zu implementieren.

wie folgt aus:

   h1    
x1       z1 
       h2 
x2       z2 
1    h3 

       1 

Ich bin eine versteckte Schicht von Größe mit 200

Die Anzahl der Funktionen für die Ziffern ist 784.

Die Anzahl der Klassen 10

Jedes Label wird in einen Vektor der Länge 10 umgewandelt, der an der Position der wahren Klasse eine einzige 1 und an anderer Stelle 0 hat.

zwischen dem Eingang und der verborgenen Schicht, ich bin eine 200 von 785 Matrix V.

Matrix V verwenden gehen: die i, j - die j-ten Einheit in der Eingangsschicht Eintrag für das Gewicht Anschluss an die i-te Einheit in der versteckten Ebene. Die i-te Reihe von V stellt das Ensemble von Gewichten dar, die in die i-te verborgene Einheit einspeisen.

Zwischen dem versteckten die die Ausgangsschicht, ich werde eine Matrix W aufzubringen, die 10 von 201

Matrix W: die i, j - Eintrag für das Gewicht der j-ten Einheit in der Verbindungs versteckte Ebene zu der i-ten Einheit in der Ausgabeschicht. Die i-te Reihe von W ist das Ensemble von Gewichten, die in die i-te Ausgabeeinheit einspeisen.

Also fange ich mit der Eingangsmatrix an, die n mit 784 ist. Kann jemand erklären, was zu tun ist? Was muss ich multiplizieren und was/wie multipliziere ich das Ergebnis mit? Ich bin nicht sicher, wie genau diese Matrizen zu multiplizieren sind.

(Lassen Sie uns nur die Aktivierungsfunktionen f() aufrufen.)

Ich bin ein bisschen durch die Dimensionen der Matrizen verwirrt und nicht sicher, wann/wo/wie genau V und W. verwenden

Answer 1

Hier ist ein grundlegender Simulationsschritt eines Feedforward neuronales Netzes ist (portiert von meinem cpp here neuronalen Netzwerk):

def simulate(inputs): 
    currentActivatedValues = inputs 
    for i in range(len(self.weights)): 
     summedValues = _weights[i] * currentActivatedValues + _biases[i] 
     # Perform activation function with the summed values 
     for k in range(len(summedValues)): 
      summedValues[k] = tanh(summedValues[k]); 
     currentActivatedValues = summedValues 
    return currentActivatedValues; 

Das Problem ist im Grunde, dass Sie die Vorspannung in Ihrer ersten Matrix wurden inklusive. Was Sie tun sollten, ist, sie danach zu verarbeiten.

Werfen Sie einen Blick auf diese paper über Feed-Forward-neuronalen Netzen. Es enthält alle Formeln, die Sie benötigen, um eine grundlegende zu erstellen.