Benötigt jedes deep-q-Netz einen Endstatus?

Question

benötigt jedes Deep-Q-Netzwerk einen Terminal-Zustand wie in den Atari-Spielen? Damit das Netzwerk ein Ende sieht? Oder wird es benutzt, um es zu bestrafen?

dank

Answer 1

Ein Terminal Zustand nicht erforderlich ist, aber es ist nützlich und ist nur für die Strafe nicht verwendet.

Um Pong als Beispiel zu nehmen, wird der Terminal-Status ausgelöst, wenn ein Spieler Punkte erzielt oder zulässt. Es ist bestrafungsneutral. Der Punkt des Endzustandes ist hier, weil nach dem Scoring der Spielzustand zurückgesetzt wird, werden der Ball und die Paddel zurück zu den Startpositionen bewegt. Dies bedeutet, dass keine Verbindung zwischen dem vorherigen Zustand (dem Terminal-Zustand) und dem nächsten Zustand besteht. Wenn wir die Belohnung für irgendeinen Nicht-Endzustand berechnen, verwenden wir die Belohnung in diesem Zustand plus die Q-Funktionen, die für die zukünftige Belohnung erwartet werden. In einem Endstadium gibt es keine zukünftige Belohnung, also kannst du einfach die Belohnung aus dem aktuellen Status verwenden.

Der Vorteil davon ist, dass es das Lernen beim Lernen massiv reduziert. Wie gesagt, du brauchst keinen Terminal-Status, aber wenn du keinen hast, solltest du deinen zukünftigen Bonus-Rabatt etwas niedriger als den Standard-Preis von 0,99 einstellen, weil auf dieser Ebene die meisten Belohnungen irgendwann zusammenkommen werden.

Hoffe, das hilft.