Markovsche Entscheidungsprozesse

Jeden Tag werden in allen Lebensbereichen viele§Entscheidungen getroffen, die sowohl sofortige§als auch langfristige Auswirkungen haben. Diese§Auswirkungen sind im Allgemeinen zwar bekannt,§unterliegen aber der Unsicherheit und dem Einfluss§des Zufalls. Außerdem können die einzelnen§Entscheidungen nicht isoliert betrachtet werden, da§ohne Beachtung des Zusammenhangs zwischen Gegenwart§und Zukunft die Gesamtentwicklung ungünstig verlaufen§kann. In dieser Arbeit wird die Realität durch eine§Folge von Entscheidungen des Entscheidungsträgers zu§bestimmten Zeitpunkten aus einer gewissen Menge von§Entscheidungsmöglichkeiten modelliert. Dies führt zu§zwei unmittelbaren Folgen: Ein Gewinn oder§auch Verlust wird sofort realisiert und ein neuer§Zustand wird mit einer bekannten Wahrscheinlichkeit§angenommen. Das beschriebene Modell wird als§Markovscher Entscheidungsprozess bezeichnet.§Das Ziel, sowohl in der Praxis als auch in der§Theorie besteht nun darin, eine zulässige Strategie§zu finden, die den Gesamterfolg möglichst optimiert.§Dieses Buch beschäftigt sich mit der Suche nach§optimalen Strategien in diskreten Zeitmodellen und§geht dabei vorrangig auf einen unendlichen§Zeithorizont ein.