MDP - Techniken zur Generierung von Übergangswahrscheinlichkeit

Question

Ich arbeite ein MDP Auto Angebot und Nachfrage Problem wie folgt und war darüber nachdenken, ob es Techniken gibt, die Übergangswahrscheinlichkeitsmatrix automatisch statt manuell zu generieren.

Angenommen die Nachfrage wie folgt ist:
Zeit station1, station2
1000, 3, 1
1030, 3, 1
1100 2, 3

für Auto von station1 Angenommen, Es besteht eine 60% ige Chance, dass das Auto bei Station1 abgesetzt wird und eine 40% ige Chance besteht, bei Station2 abzusteigen. Für das Auto von Station2 angenommen, gibt es eine 80% ige Chance, dass das Auto bei Station1 abgesetzt wird und 20% Chance, bei Station2 abzusteigen.

Ich habe manuell Folgendes berechnet.

Zum Zeitpunkt Schritt 1

P(car at station1 = 2,car at station2 = 8) = 0.0432 
P(car at station1 = 3,car at station2 = 7) = 0.2016 
P(car at station1 = 4,car at station2 = 6) = 0.1344 
P(car at station1 = 5,car at station2 = 5) = 0.0896 
P(car at station1 = 6,car at station2 = 4) = 0.0512 

Daher wird gerne prüfen, ob jemand Erkenntnisse liefern könnte die Wahrscheinlichkeit zum Zeitpunkt Schritt 2 automatisch, anstatt zu berechnen von Hand zu berechnen.

Für Ihre Empfehlungen bitte.

Answer 1

Ich bin mir nicht sicher, ob ich Ihre Frage verstehe.

Wenn in einem stationären Markov-Prozesses ist die Verteilung der Zustandsvariablen x_t (hier die Station, an der der Wagen) zu einem gegebenen Zeitpunkt t eine Funktion P und den Zustand zu dem Zeitpunkt t-1 nur der Übergangsmatrix ist.

Sie können x_t = x_{t-1} * P für jede t schreiben, was bedeutet, dass x_t = x_0 * P^t.

x_0 (die Verteilung von Auto am Start, zum Beispiel, wenn die Autos gleichmäßig zwischen den beiden Stationen verteilt sind x_0 = [0.5 0.5]) zu kennen und mit P = [ 0.6 0.4 ; 0.8 0.2 ], erhalten Sie dann die Verteilung der Fahrzeuge jederzeit t > 0 als x_t = x_0 * P^t.