Modellieren Kartenspiel für maschinelles Lernen

Question

Ich bin auf der Suche nach etwas Hilfe bei der Modellierung dieser Maschine Lernproblem.

Eine Hand besteht aus drei Reihen (mit jeweils 3, 5 und 5 Karten). Ihr Ziel ist es, eine Hand zu bauen, die die meisten Punkte erzielt. Du erhältst die Karten in Intervallen, die Straßen genannt werden, fünf Karten in der ersten Straße und drei in den nächsten vier Straßen (du musst eine der Karten in den letzten vier Straßen ablegen). Karten können nicht verschoben werden, sobald Sie sie platziert haben. More details on scoring.

Mein Ziel ist es, ein System zu bauen, das bei einer Reihe von Straßen die Hand ähnlich wie unsere besten Spieler spielt. Es scheint ziemlich klar zu sein, dass ich für jede Straße ein neuronales Netzwerk aufbauen muss, das Funktionen nutzt, die auf der vorhandenen Hand und dem Kartensatz auf der Straße basieren. Ich habe viele Daten (Straßen, Platzierungen und Endergebnis), aber ich bin ein wenig unsicher, wie das Problem modelliert werden soll, da die möglichen Ausgaben auf dem Kartensatz einzigartig sind (obwohl es weniger als 3^5 gibt Platzierungen in der ersten Straße und 3^3 nach). Ich habe mich bisher nur mit Klassifizierungsproblemen mit festen Kategorien beschäftigt.

Hat jemand ein Beispiel für ein ähnliches Problem oder Vorschläge, wie man die Trainingsdaten vorbereitet, wenn Sie einzigartige Ausgänge haben?

Answer 1

Eine vage Frage gibt eine vage Antwort (was meine Entschuldigung dafür ist, zu faul zum Codieren zu sein ;-).

Sie haben geschrieben, dass Sie eine Menge Daten haben, und es scheint, dass Sie das Spiel auf Erfahrungen mit überwachtem Lernen abbilden möchten. Aber so funktioniert die Spieloptimierung nicht. Üblicherweise führt man kein überwachtes Lernen durch, sondern verstärkendes Lernen. Die Unterschiede sind subtil, aber verstärkendes Lernen (mit Markov-Entscheidungsprozessen als theoretischer Grundlage) bietet eher eine lokale Sichtweise - etwa die Entscheidung für einen bestimmten Zustand zu optimieren. Betreutes Lernen entspricht eher der Optimierung mehrerer Entscheidungen auf einmal.

Ein weiterer Show-Stopper für den üblichen überwachten Lernansatz ist, dass selbst wenn Sie viele Daten haben, es fast sicher zu wenig sein wird. Und es wird nicht die "erforderlichen Pfade" anbieten. Die übliche Herangehensweise zumindest seit Thesauros Backgammonspieler ist eher: die Grundregeln des Spiels aufzustellen, möglicherweise menschliches Wissen als Heuristik einzuführen und dann das Programm so oft wie möglich gegen sich selbst spielen zu lassen - so google Deep Mind hat zum Beispiel einen Master-Go-Player eingerichtet. Siehe auch this interesting video.

In Ihrem Fall sollte die Aufgabe im Prinzip nicht so schwer sein, da es eine vergleichsweise kleine Anzahl von Spielzuständen gibt und, was noch wichtiger ist, jegliche Probleme der Psychologie wie Bluffen, konsistentes Spielen usw. sind völlig abwesend.

Also noch einmal: Baue einen Bot, der gegen sich selbst spielen kann. Eine gemeinsame Basis ist eine Funktion Q(S,a), die jedem Spielzustand und jeder möglichen Aktion des Spielers einen Wert zuweist - dies nennt sich Q-Learning. Und diese Funktion wird oft als ein neurales Netzwerk implementiert ... obwohl ich denke, dass es hier nicht so anspruchsvoll sein muss.

Ich werde das für jetzt vage bleiben. Aber ich würde mich freuen, Sie bei Bedarf weiter zu unterstützen.