Entwicklung von Neuronen im neuronalen Netzwerk

Question

Ich habe vor kurzem begonnen, viel Interesse an KI, neuronalen Netzwerken und insbesondere GA zu wecken, und ich möchte eine kleine AI bauen, um mit einem Problem umgehen zu können. Ich recherchierte das Thema, und ich denke, ich habe ein gutes Verständnis darüber, wie nicht wachsende neuronale Netzwerke funktionieren und wie sich ihre Gewichte entwickeln, aber ich konnte keine Erklärung finden, wie man bestimmen kann, ob das Netzwerk ein neues Neuron erzeugen muss, und wie viele sollte ich anfangen und so.

P.S. Ich bin ein Informatikstudent und Programmierer nach Beruf, also habe ich ein gutes Verständnis von Algorithmen und Graphen, aber ich habe KI noch nicht studiert.

Answer 1

Ein genetischer Algorithmus bestimmt nicht, ob ein Neuron hinzugefügt oder entfernt werden soll, es geschieht zufällig, wenn es positiv wirkt, es wird in zukünftigen Generationen bleiben - Überleben des Stärkeren.

Das NEAT-Papier beginnt mit einem Netzwerk, das nur Eingabeknoten und Ausgabeknoten hat. Dann entwickelt es immer mehr Knoten und Verbindungen, jedoch zufällig (mutationRate) Chance!

Read about it here

---

ich dies in Javascript umgesetzt haben, so dass, wenn Sie sehen wollen, wie ein Netzwerk als XOR-Gatter zu handeln entwickelt Besuche this.

Answer 2

Starten der Neuronennummer ist define ist schwer. In der Regel unterscheiden die Wissenschaftler dies mit Hilfe der Intuition oder des genetischen Algorithms. Wenn Sie die erste Option verwenden und das Netzwerk funktioniert nicht gut: 1. (zu viele Neuronen, Netzwerk schnell lernen lernen Beispiele aber Probleme mit symilar Probleme haben) machen neue kleinere Netzwerk und lernen es. 2. (zu kleine Neuronen, Netzwerk haben großes Fehlerende, das kann beim Lernen nicht kleiner sein) Versuch, neue Neuronen zu existierendem Netzwerk mit kleinen Gewichten und kontinuierlichem Lernen hinzuzufügen (verbinden wie andere) oder ein neues größeres Netzwerk erstellen und neues Lernen beginnen . Sie können auch versuchen, neue Ebenen hinzuzufügen.

Eingang Leyer 1> Leyer 2> L 3 ...

Ausgang Leyer kann eine Ausnahme sein. benutze alle Verbindungen zu allen In der Literatur recomentd 3 Schichten, aber meine Experimente erzählt 4 Schichten besser verallgemeinernd.