Тезисы докладов Всероссийской научной конференции "Проектирование научных и инженерных приложений в среде MATLAB" (28-29 мая 2002 г.). М.: ИПУ РАН. 2002. 207 С.: Ил.

Оптимальное управление марковской цепью для задачи удержания в заданном отрезке

Филатов М.А.
Московский государственный университет (МГТУ) “СТАНКИН”, г. Москва

В работе рассматривается управляемое случайное блуждание {X_n} на множестве целых чисел; управление в каждый момент времени состоит в выборе распределения приращения r _n = X_n+1 – X_n блуждания на следующем шаге из некоторого множества M допустимых распределений. Цель управления – минимизировать вероятность выхода блуждания на отрезке длины T из интервала [–a, a]. В дальнейшем предполагается, что P{–N₁ r N₂} для некоторых неотрицательных целых чисел N₁, N₂. Тогда множество M описывается следующим образом:

В системе MATLAB 6.0 было проведено моделирование задачи и реализован Алгоритм нахождения оптимальной стратегии и вероятностей невыхода. Основываясь на полученных результатах, были определены аналитические результаты для симметричного и общего случаев, сходимость стратегии на бесконечном интервале, а также оценена скорость этой сходимости.