Was ist der Ausgang der vollständig verbundenen Schicht in CNN?

Question

Zum Beispiel sollte in Caffe num_output in einer Ebene Inner Product (Fully Connected) definiert werden. Was bedeutet diese Ausgangsnummer?

Answer 1

Betrachten Sie die Vollverbindungsschicht als einfache Matrix-Matrix-Multiplikation von 1xN und NxM, um ein Ergebnis der Dimension 1xM zu erhalten.

Lassen Sie uns in Betracht ziehen, dass wir eine Daten der Dimension sagen 56x56x3 als Eingang einer vollständig verbundenen Schicht übergeben. Lassen Sie die Dimension des Gewichts unbekannt sein NxM. Betrachten wir, setzen wir num_ouput = 4096.

Für die Berechnung dieser Daten formt die vollständig verbundene Schicht die Eingabedaten der Dimension 56x56x3 wie 1xN, 1x(56x56x3) = 1x9408 um.

So

N = 9408

M = num_output = 4096

Tatsächlich wir eine (1x9408)matrix - (9408x4096) matrix Multiplikation am Ende tun.

Wenn der num_output Wert geändert wurde, um 100 zu sagen, würde es (1x9408)matrix - (9408x100) matrix Multiplikation tun.

Wenn Sie also den Wert num_ouput erhöhen, erhöht sich die Anzahl der Gewichtsparameter, die das Modell lernen muss.