Neuronales Netzwerk: Nur eine Regression?

Question

Ich habe gerade angefangen, über neuronale Netze zu lesen. Ich dachte, sie sind etwas Magisches und extrem Intelligent, aber am Ende des Tages scheint es nur eine große mathematische Funktion mit vielen "undefinierten" Konstanten zu sein. Das Lernen ist nur ein anderer Weg für eine Art von (mehr oder weniger "dummer") Regression? Ist das wahr? Für mich scheint das nicht sehr brillant zu sein, deshalb bin ich ein wenig überrascht, warum das so gut funktioniert.

Vielen Dank

Answer 1

Es ist erwiesen, dass ein künstliches neuronales Netz mit nur einer versteckten Schicht ist ein universal approximator; das heißt, unter richtiger Parametrisierung kann es sich jeder stetigen Funktion annähern (siehe universal approximation theorem). Noch wichtiger ist, als die Wikipedia article erwähnt:

Arbeit von Hava Siegelmann und Eduardo D. Sontag einen Beweis zur Verfügung gestellt hat, dass eine bestimmte wiederkehrende Architektur mit rationalen geschätzten Gewichten (im Gegensatz zu voller Genauigkeit reeller Zahl bewertet Gewichten gegen) hat die volle Leistung einer Universal Turing Machine mit einer endlichen Anzahl von Neuronen und linearen Verbindungen.

Dies bedeutet, dass, zumindest in der Theorie, ein neuronales Netz genauso schlau ist wie Ihr teurer PC. Und dies ist wahr, ohne alle modernen Erweiterungen zu berücksichtigen, z. wie in Long-Short Term Memory Netzwerken. Wie einer der Kommentare erwähnt, ist das eigentliche Problem jedoch Lernfähigkeit, d. H. Wie man den richtigen Parametersatz für die betreffende Aufgabe findet.