Können Sie eine Funktion approximieren (anders als eine Linie, aber immer noch in der x, y-Ebene: wie cos, sin, arc, exp usw.), indem Sie ein neurales Netzwerk mit nur einem Eingang, einem Ausgang verwenden und eine einzige Schicht versteckter Neuronen?Neuronales Netzwerk: passen Sie eine Funktion an
Ja, Sie können! Genau das sagt die Universal Approximationstheorie, kurz: Das Feed-Forward-Netzwerk mit einer einzelnen versteckten Schicht kann sich jeder kontinuierlichen Funktion annähern. Es sagt jedoch nichts über die Anzahl von Neuronen in dieser Schicht aus (die sehr hoch sein kann) und die Fähigkeit, Gewichte eines solchen Netzwerks algorithmisch zu optimieren. Alles, was es sagt, ist, dass ein solches Netzwerk existiert. Hier
ist der Link zu der ursprünglichen Veröffentlichung von Cybenko, die Funktion sigmoid Aktivierung für den Nachweis verwendet: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.441.7873&rep=rep1&type=pdf
Und hier ist freundlicher Ableitung: http://mcneela.github.io/machine_learning/2017/03/21/Universal-Approximation-Theorem.html