Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ОГЛАВЛЕНИЕ
Предисловие 5
Список сокращений 7
Глава 1. Основные понятия теории цепей Маркова9
Определение цепи и ее свойства 9
Три задачи теории цепей Маркова 16
Примеры построения марковских моделей 21
Задачи 33
Глава 2. Анализ структуры цепи Маркова 38
. Существенные и несущественные состояния 38
. Алгоритм построения множества существенных состояний и его разбиения на классы эквивалентности 42
. Алгоритм построения последовательности циклических подклассов класса эквивалентности 52
. Классификация цепей Маркова. Каноническая форма матрицы вероятностей перехода 59
Глава 3. Предельные теоремы теории цепей Маркова 69
. Предварительные сведения. Общая теорема о предельном поведении цепи 69
. Теорема о предельном поведении неприводимой цепи . . . 72
. Теорема о предельном поведении моноэргодической цепи 80
. Теорема о предельном поведении полиэргодической поглощающей цепи 87
. Теорема о предельном поведении полиэргодической цепи 98
. Случайное блуждание (задача о разорении) 105
. Модель Морана в теории запасов 118
Глава 4. Управление цепями Маркова с доходами 121
. Полный ожидаемый доход и его свойства 121
. Постановка задач оптимального управления 128
. Построение оптимального управления для произвольной цепи (конечный горизонт управления) 133
. Построение оптимального управления для цепи с одним классом эквивалентности и без учета переоценки (бесконечный горизонт управления) 138
. Построение оптимального управления для произвольной цепи с учетом переоценки (бесконечный горизонт управления) 145
. Построение оптимального управления для полиэргоди- ческой цепи без учета переоценки (бесконечный горизонт управления) 151
. Примеры 165
. Задачи 173
Глава 5. Частные модели управления цепями Маркова с доходами 179
. Задачи об оптимальной остановке 179
. Управление байесовским риском 190
. О выборе наилучшего объекта200
. Управление запасами при случайном спросе206
. Игры с автоматом223
Приложение 1. Эквивалентность и разбиение231
Приложение 2. Эргодическая теорема233
Приложение 3. Суммируемость последовательности величин по
Чезаро236
Приложение 4.Закон больших чисел239
Приложение 5.Лемма об обратной матрице240
Приложение 6.Полное математическоеожидание241
Приложение 7.Выпуклые функции242
Список литературы245
Предисловие
Прошло 40 лет с момента выхода в свет перевода монографии А. Ховарда «Динамическое программирование и марковские процессы». Каждый день этого сорокалетия знаменуется ростом востребованности процессов Маркова с доходами как моделей экономической динамики и динамического программирования в качестве основного математического инструмента построения оптимальных управлений такими процессами.
Настоящая книга является расширенным курсом лекций, который в течение ряда последних лет читался студентам экономико-математического факультета РЭА им. Г. В. Плеханова. Известно, что динамические и, прежде всего, марковские модели экономики являются предметом изучения математической экономики. Знание ее основ совершенно необходимо для любого образованного экономиста. Поэтому настоящая книга написана для широкого круга читателей, интересующихся экономико-математическими проблемами.
Книга состоит из двух частей. К первой относятся главы 1-3. Они посвящены изучению простейшего из марковских процессов — простой однородной цепи Маркова (ЦМ) с конечным числом состояний и дискретным временем. Значительное внимание уделяется построению марковских моделей для различных реальных, прежде всего экономических, процессов. Для этой цели рассмотрено свыше 20 примеров и предложено более 10 задач для самостоятельного решения.
Глава 2 посвящена анализу структуры ЦМ. Без знания структуры цепей невозможно создание процедур оптимального управления. Основным в этой главе является изложение двух алгоритмов, ориентированных не только на «ручную», но и на компьютерную реализацию. Это алгоритм выявления множества существенных состояний и его разбиения на классы эквивалентности, и алгоритм построения циклических подклассов класса эквивалентности. Следствием анализа структуры является классификация ЦМ — выделение 9 классов и запись матрицы вероятностей переходов в стандартизованной канонической форме. В главе рассмотрено около 20 примеров и 10 задач предложено для самостоятельного решения, что позволяет технику структурного анализа довести до автоматизма.
Глава 3 посвящена методологии долгосрочного прогноза поведения ЦМ каждого из 9 типов, которая лежит в основе построения стационарных управлений для ЦМ с доходами. Она излагается в виде пяти теорем. Основными являются теоремы, относящиеся к неприводимым регулярным цепям, и теоремы, относящиеся к полиэргодическим (поглощающим) цепям. Трудности, связанные с анализом предельного поведения цепей с циклическими классами эквивалентности, удалось
преодолеть (с тем или иным приближением) путем их регуляризации по Эйлеру. Все теоретические положения поясняются на 22 примерах, около 40 задач предложено для самостоятельного решения. Отметим, что в этой главе рассматриваются в виде примеров модель случайного блуждания, к которой сводятся многие экономические процессы (в частности, процессы игр с разорением, страхования и др.), и дискретная и непрерывная модели, предложенные Мораном в теории запасов.
Главы 4 и 5 образуют вторую часть книги. Они посвящены ЦМ, в которых каждый переход из состояния в состояние сопровождается одношаговым доходом. Величина дохода определяется выбранной стратегией на каждом шаге и в каждом состоянии из конечного множества возможных. Если горизонт управления конечен, то для произвольных цепей методом динамического программирования находится управление (в виде набора стратегий, зависящих от номера состояния и номера шага), максимизирующее полный ожидаемый доход. Если горизонт управления бесконечен, то оптимальное управление отыскивается методом Ховарда в классе стационарных управлений. В зависимости от типа цепи и необходимости приведения будущих доходов к текущему времени, в качестве критерия оптимальности используется либо прибыль, либо предельный доход. Все перечисленные варианты задач построения оптимального управления иллюстрируются на 13 примерах, и 9 задач предлагается для самостоятельного решения.
В главе 5 рассматриваются 3 класса моделей управления ЦМ с доходами. К первому относятся задачи об оптимальной остановке. Дается их общая постановка для конечных цепей и общие методы решения при конечном и бесконечном горизонтах управления. Последние применяются для поиска оптимального управления байесовским риском (на примере задачи о капиталовложениях в производство с последовательным исследованием рынка сбыта продукции) и процессом выбора лучшего из группы объектов. Ко второму классу относятся задачи управления запасами при случайном спросе в случае конечного и бесконечного горизонтов управления с возможным учетом затрат по формированию и хранению запаса. Наконец, к третьему классу относятся модели Де Гроота, которые удобно формулировать в терминах игр человека с автоматом. Строится оптимальное управление по критерию полезности конечного капитала игрока в предположении, что функция полезности капитала может быть произвольной, выпуклой вверх и вниз.
Завершает книгу семь приложений, в которые вынесены некоторые вспомогательные сведения и доказательства ряда математических утверждений. В книге принята трехзначная нумерация: номер главы, номер параграфа, порядковый номер формулы, рисунка или таблицы. Примеры и задачи имеют порядковую нумерацию в соответствующих параграфах.
Авторы пользуются случаем выразить свою признательность рецензентам, взявшим на себя труд критически прочитать рукопись и обсудить с авторами свои замечания, а также своим коллегам по кафедре высшей математики за высказанные ими советы при обсуждении отдельных разделов и книги в целом.
Авторы
Список сокращений
БВВ — блок выбора весов
БВД — блок выбора предельных доходов
БВУ — блок выбора управления
БИД — блок исходных данных
БОУ — блок оценки управления
БОЦ — блок организации цикла
БУУ — блок улучшения управления
БР — байесовский риск
ВНВ — вектор начальных вероятностей
ВВС — вектор вероятностей состояний
ВЦ — вычислительный центр
ГС — граф состояний
ДСВ — дискретная случайная величина
ДП — динамическое программирование
ЗК — задача о капиталовложениях
КЭ — класс эквивалентности
МВП — матрица вероятностей перехода
МО — математическое ожидание
МОД — матрица одношаговых доходов
МПЦ — моноэргодическая поглощающая цепь МРЦ — моноэргодическая регулярная цепь МС — матрица смежности
МЦ — моноэргодическая цепь
МЦЦ — моноэргодическая циклическая цепь НВ — несущественная вершина
НОД — наибольший общий делитель
НС — несущественное состояние
НСВ — непрерывная случайная величина НРЦ — неприводимая регулярная цепь НЦЦ — неприводимая циклическая цепь НЦ — неприводимая цепь
ОД — одношаговый доход
ПД — предельный доход
ПОД — полный ожидаемый доход
ППЦ — полиэргодическая поглощающая цепь НРС — пространство состояний
НРЦ — полиэргодическая регулярная цепь ПС — поглощающее состояние
ПСЦ — полиэргодическая смешанная цепь ПЦ — полиэргодическая цепь
8Список сокращений
ПЦЦ — полиэргодическая циклическая цепь РКЭ — регулярный класс эквивалентности РФ — руководитель фирмы
РЦ — разложимая цепь
СВ — существенная вершина
СОД — средний одношаговый доход
СС — существенное состояние
ССН — система снабжения
СУ — стратегия управления
ЦКЭ — циклический класс эквивалентности
ЦМ — цепь Маркова
ЦП — циклический подкласс
ЭВМ — электронная вычислительная машина
Глава 1
ОСНОВНЫЕ ПОНЯТИЯТЕОРИИ ЦЕПЕЙ МАРКОВА
В данной главе дается определение цепи Маркова и обосновываются два ее свойства, непосредственно вытекающие из определения. Введенные понятия иллюстрируются примерами. Также формулируются и решаются три основные задачи теории цепей Маркова. Завершается глава перечнем задач для самостоятельного решения.
. Определение цепи и ее свойства
Рассмотрим экономическую или техническую, физическую, биологическую и т. д. систему, которая может находиться в одном из несовместных состояний ^ = г конечного пространства возможных состояний S = {1,2,..., Ж}. В процессе своего функционирования система в дискретные моменты времени, называемые шагами и обозначаемые через п = О, 1,2,..., переходит из одного состояния 6г в другое 6г+ь Смена состояний происходит по следующему закону: в нулевой момент времени (п = 0) вероятности начальных состояний равны тг^, ж^,..., тг^, а затем на любом шаге п условная вероятность перехода системы, находящейся в состоянии 6г = д в состояние ^n+i = j равна р^, причем эта вероятность не зависит ни от состояний системы в предшествующие моменты времени (свойство марковости), ни от текущего времени (свойство однородности).
Определение [37, с. 124]. Случайный процесс 6,6,---, 6г,*.. смены состояний называется простой однородной цепью Маркова ЩМ) с конечным числом состояний и с дискретным временем, если для всех n ^ 1 и дщгсьд,... Е S выполняется марковское свойство
Р {6г = j |6) = 6,6 = С, *.• ,6гЩ = О =
= р = j\C-x(ГЫ)
если ТОЛЬКО Р {6) = 6,6 = 6, ••• , 6г-1 — 6 > 0.
Вероятности тг^ = Р{^о = ^о} и вероятности р?ьр?2? ••• ?P?w? 2 = 1,2,..., PL образуют так называемый стохастический вектор, т. е. вектор, удовлетворяющий двум условиям:
УХ, У2т(0)= Г Ри >0, ^>0 = Г г = 1,2,...,7V (1.1.2) г3
(здесь и далее пределы суммирования не указываются, если оно идет по всем возможным значениям индекса).
Неотрицательность этих величин есть свойство вероятностей, а нормированность — следствие того, что пространство допустимых состояний (НДС) образует полную группу попарно несовместных событий [28].
(Ж х ЛП-матрица Р = (p^j) называется матрицей вероятностей перехода (МВП). Она состоит из стохастических векторов- строк и называется стохастической.
Перейдем к рассмотрению двух следствий, вытекающих из определения (1.1.1).
Для всех п и всех 2q, ?+,..., 2^ выполняется равенство
Р {€о = ^0? €1 = 21, . .. ,, ^п = 2П} = 7Г- Р^Ц • * * Pin-xin ’
(1.1.3) т. е. распределение вероятностей состояний равно произведению вероятности начального состояния и соответствующих вероятностей переходов.
Докажем (1.1.3) по индукции. При п = 1
р Ко = 70, С=М = Р {К = 70} р Ц1 = 71 IK = io } = ppv •
Пусть (1.1.3) справедливо для п = т, т. е.
PUo = io,C =71,...Km = 7m} = рр^х(1.1.4)
Покажем, что оно справедливо и для п = т + 1. Если
Р {€о = 20? €1 = 2), ... ,= 2m} > 0,
то согласно (1.1.1) и (1.1.4)
Р {€о = ^0? £1 = 2 Ь • • • , ^пг = 277г? €т+1 = 2m+l } =
= Р {€пг+1 = 2?7г+1 |€о = 2*0? €1 = Й, ••• ? £>т = ^т }
Р {€о = 2*0? €1 = 2 Ь * • • , ^т = 2пг} =
= Р {^ш+1 = 2/77+1 \^т = ^пг } ^70 Vio^i •♦♦Pim_\im =
(0)
= ^-0 Ргйгх --Рг^хгтРгтг^х.
что и требовалось доказать.
Для всех к < п и всех i^^... фн выполняется равенство
Р{б? =, 4+1 = 4+1 14 = 4,6 = и, *•* Лк = 4 } =
= Р Лп = 6г, --Лнх = 4+i \Л = ч} (1-1.5)
которое допускает следующую интерпретацию [37, с. 123]. Будем трактовать 4 как состояние системы в настоящем, ЛоЛо ••• Лк^\) — в прошлом, Лих,--- ЛЛ — в будущем. Тогда (1.1.5) означает, что при фиксированном прошлом и настоящем будущее зависит только от настоящего и не зависит от того, каким путем система попала в настоящее состояние, т. е. не зависит от прошлого. Иначе говоря, (1.1.5) означает, что при фиксированном настоящем будущее и прошлое независимы:
Р Ло = 4, ••• Лк—х = ik-хЛк^х = 4+1, ••• Лп = 6г \Л = ч} =
= ^ {4 = 4, ••• Лк-х = 4-1 \Л = 44 х
х Р {4+1 4+1^ • • * Лп ч 14 4} • (1.1.6)
Докажем равенство (1.1.6). Итак,
Р Ло = 4, • •• ,4-1 = 4-114 = 4} х
х Р {4+14+1 , • • • , 6г in 14 4}
Р {4 = 4, • • • Лк = 4} Р {4 = 4, • • • Лп = 4} (1J-3)
40 W1 •••Plk-Vk^lk PlklMX ---Pin-Xin __ ^о РЧх ---Pin-Xin
= РШ = 4> ••• ,4-1 = 4-+4+1 = 4+ь ••• Лп = ч 14 = ik} •
Равенство доказано.
Можно показать, что соотношения (1.1.3), (1.1.5) и (1.1.6) эквивалентны определению (1.1.1).
При анализе ЦМ весьма удобной и наглядной оказывается геометрическая схема, называемая графом состояний (ГС). Каждому состоянию ЦМ на схеме соответствует круг (прямоугольник) с номером состояния внутри него или рядом. Эти круги называют вершинами графа. Если из состояния г в состояние 3 возможен одношаговый переход, т. е. pij >0, то из состояния
г в состояние 3 проводится дуга со стрелкой, рядом с которой
часто указывают вероятность перехода Pij.
Законы эволюции ЦМ полностью определяются вектором начальных вероятностей (ВНВ) тг^ = (тг^,... ,тг^) и МВП Р = (Pij) •
Рассмотрим ряд примеров, поясняющих смысл введенных понятий.
Пример 1. Модель функционирования вычислительного центра (ВЦ), состоящего из двух компьютеров. Каждый из них
независимо от другого может выходить из строя, мгновенно вставать на ремонт и затем восстанавливать работоспособность. Если пренебречь вероятностью одновременного выхода из строя
Рис. 1.1.1Рис. 1.1.1или восстановления двух компьютеров, то работа ВЦ моделируется описанной ниже ЦМ.
Рис. 1.1.1
Рис. 1.1.1
Пусть состояние
г = 1 соответствует работе обоих компьютеров,
i = 2 — первый компьютер работает, второй — в ремонте, г = 3 — первый компьютер в ремонте, второй — работает, i = 4 — оба компьютера в ремонте.
Обозначим вероятности поломки и восстановления работоспособности г-го компьютера через pi и q^ соответственно. Тогда ГС и МВП изобразим на рис. 1.1.1 и в табл. 1.1.1 соответственно.
Таблица 1.1.1
1—Pl — Р2 Р2Р10"
421 - Pl -Q2 ОР1
Q101 - Q1 - Р2 Р2
оQiQ2 1 - q\ - Q2 _
Пример 2 (задача о холодильниках (управление запасами)).
Магазин электротоваров в начале каждой недели размещает заказы на холодильники. Размер заказа фиксирован и равен 2. Еженедельный спрос на холодильники задается распределением вероятностей:
спрос —012;
вероятность —0,20,50,3.
Рис. 1.1.2Рис. 1.1.2Таблица 1.1.2Таблица 1.1.2Пусть в состоянии г магазин имеет для продажи г холодильников. Пространство состояний S = {0, 1,2}. Процесс функционирования магазина моделируется ЦМ, представленной на рис. 1.1.2 и табл. 1.1.2.
Рис. 1.1.2
Рис. 1.1.2
Таблица 1.1.2
Таблица 1.1.2
100"
0,8 0,2 0
0,3 0,5 0,2
Пример 3 (социологическая проблема мобильности профессий при смене поколений).
В городе каждый взрослый мужчина имеет одну из трех профессий А, В, С. Дети сохраняют профессии отцов с вероятностями 3/5, 2/3, 1/4 соответственно, или выбирают с равными вероятностями любую из двух других. Построим марковскую модель мобильности профессий при смене поколений. Пусть
г = 1, если отец имеет профессию А,г = 2, если отец имеет профессию В,г = 3, если отец имеет профессию С.
Таблица 1.1.3Таблица 1.1.3Обозначим через pij вероятность выбора сыном профессии Д если у отца професия г. ГС и МВП цепи представлены на рис. 1.1.3 и в табл. 1.1.3 соответственно.
Таблица 1.1.3
Таблица 1.1.3
1/5 11/61/4 _1/5 11/61/4 _"3/5 1/5
1/5 1
1/6
1/4 _
1/5 1
1/6
1/4 _
1/6 2/3
_ 3/8 3/8
Пример 4 (задача о рекламной кампании).
Фирма оценивает недельный объем сбыта как удовлетворительный (z = 1), хороший (z = 2) или отличный (г = 3). Переход из состояния в состояние определяется матрицей Pi, если процесс сбыта поддерживается телевизионной рекламной кампани-
ей, или матрицей Р^, если процесс сбыта поддерживается газетной рекламной кампанией. Построим ГС цепей, моделирующих деятельность фирмы в каждом из указанных случаев, если
/ 0,70,20,1 \/ 0,20,50,3 \
Рх =0,3 0,6 0,1; Р2 =0 0,7 0,3 .
\ 0,10,70,2 /\ 00,20,8 /
Соответствующие ГС представлены на рис. 1.1.4 и на
рис. 1.1.5.
0,80,8Рис. 1.1.5Рис. 1.1.5
0,8
0,8
Рис. 1.1.5
Рис. 1.1.5
Пример 5. Пусть ^о^ь--- “ последовательность номеров состояний цепи Маркова с S = {1,2,3} и МВП
/3/73/71/7\
Р=1/112/118/11.
\1/114/116/11/
Введем новую цепь Маркова z/q,z/i,..., где
Пп =Пп =если = 1,
Пп =
Пп =
если £п ф 1.
Найдем ее МВП и построим ГС. Прежде всего,
1|г/п_1 = 1ЩРЩ = Щ^ = 1} = 3/7,
Р Ц]п = 2 K-i = 1} =
= РЩ = 2|е„_1 = 1} + РЩ = 3|^_! = 1} = 4/7,
РрЪ = Щ»., =2} = РЩ= 11(^_1 =2)uK„-i =3)} =
= РЩ= U„-i =2} + РЩ= =3} =РЩ-1 =2} + РЩ_, =3}
_ Р {£п-1 = 2}р21 + Р {€п-1 = 3}рз1 _
_ РЩ_, =2} + РЩ_, =3}
= P2i =Р31 = 1/Н, (1.1.7)
= 2} = Р{С1 = Жп-\ =2)U(£„_i =3)} +
+ РКп = 3|Кп_1 =2)и(еп-1 =3)} =
(1Л.7) Р{^-^2}Р22 + Леп-11^3}Р32
PRn-1 =2}p23 + PR„-i =3}рзз
P{^-i=2} + P{^_i=3}
"Р^п-\ =2} + Р{^_, = 3}"
= Р22 + Р23 = Р32 + Р33 = Ю/11.
После чего получим МВП и ГС последовательности po,pi,..., которые приведены в табл. 1.1.3 и на рис. 1.1.6.
4/74/71/111/11Рис. 1.1.6Рис. 1.1.6Таблица 1.1.3
4/7
4/7
1/11
1/11
Рис. 1.1.6
Рис. 1.1.6
" 3/74/7 "
~1/11 10/11
Пример 6. Пусть п = 0,1,2,..., — независимые СВ, причем Р {£„ = 1} =р, Р {/„ = — О = 1 — Р- Является ли цепью Маркова последовательность СВ р„ = ^€«+1^ Если да, то построить МВП и ГС [22, задача 9.27].
Найдем условные вероятности:
Р\ = Р{% = 1 1% = -1} = Р{Ы4 = 1 Ыз = "О =
. Р{(Ы4=1)П(Ыз = -!)}.
РЫз = -1}
_ РЩ = Е €з = Е€2 = -1} + Р{€4 = — Е €з = -Е£2 = 1} _Р{6 = -и2 = 1} + Р{6 = и2 = -1}
= р2(1 -р) +р(1 -р)2 =2р(1-р)2’
РЩ^ = 1) П (6€з = -1) П (б& = 1)}Р{Ыз = -1п^1& = 1}
Р{6=1,6=1 ,6=-1,6 =-1}+р{6=-1,6=-1,6=1,6=1}^{6 =-1,6 = 66 = П + Л6 = L6 = -1,6 = -1} "
пX
=о = 2р (1 - р)
р2 (1 -р) + р(1 -р)
Последовательность не является цепью Маркова при рх ^ р<2, т. е. если р ^ 1/2, и является цепью Маркова при рх = р^, т. е. если р = 1/2. При этом S = { — 1, 1}.
Пусть р = 1/2. Тогда Vn О Р {рп = 1 |р?г-1 = “1} = 1/2, следовательно, Р {рп = — 1 |pn-i = “1} = 1/2. Найдем
Р^п Ц/п-11}р{г/п_, = 1}
Р {66+1 — 1 П 6—16 — 1}
“ Р {6-16 = 0"
Р {6 = 6+1 = 6—1 = 1} + Р {6 = 6+1 = 6—1
р {6-1
р=1/2р=1/22’2’= р3 + (1 -р)3р2 + (1 -р)2
р=1/2
р=1/2
2’
2’
следовательно, Р pin = — 1 k/n-i = 1} = 1/2.
1/21/21/21/2Рис. 1.1.71/21/21/21/2Рис. 1.1.7МВП и ГС приведены в табл. 1.1.4 и на рис. 1.1.7.
1/2
1/21/2
1/2
Рис. 1.1.7
1/2
1/21/2
1/2
Рис. 1.1.7
Таблица 1.1.4
, _ Г 1/2 1/2 1
4[1/21/2
Стохастическая матрица А = Ццр, для которой Хаи = 1 V/, i
называется бистохастической. Она обладает рядом интересных свойств (см. гл.З). Полученная в этом примере МВП Р является бистохастической с равными строками, что свидетельствует о независимости событий ^рп = 1} и ^рп = — 1}.
§1.2. Три задачи теории цепей Маркова
Пусть последовательность £п, п = 0, 1,2,..., образует ЦМ с МВП Р, ВНВ тг*-0) и ПРС S.
Задача 1. Найти \/iJ Е S вероятности перехода системы р^ из состояния г в состояние ] за п шагов, другими словами,
построить (Ж х Аф-матрицу вероятностей перехода за п шагов
Задача 2. Найти Ж-вектор тг^ = (тг^ тг^ ..., тг^ вероятностей состояний системы через п шагов.
Задача 3. Найти V^j Е S вероятности первого перехода — (71)..
системы р^ из состояния г в состояние з за п шагов, а также вероятности перехода системы из состояния г в состояние j не более, чем за п шагов.
Решение задачи 1. Рассмотрим три момента времени (номера шагов) 0, т, п (0 < т < п), зафиксируем состояния в моменты 0 и п: £о = А 6г = L и обозначим через d произвольное состояние в момент т: бт = d, i,j,d Е S. В силу принятых выше обозначений
— вероятность перехода системы из г в j за п шагов,р^ ™ вероятность перехода системы из г в d за т шагов,(n—md7-
р^ — вероятность перехода системы из d в j за п — т шагов.
По формуле полной вероятности [28] получим уравнение Колмогорова-Чепмена
d
или в матричных обозначениях
р№ __ р(т) р(п-т)(12 2)
/ 1\
где Р^ = I = I ... I — матричная единица.
\1 /
Из уравнения Колмогорова-Чепмена легко получить важные следствия.
Произведение = pUMpU-n^ коммутативно (перестановочно). Действительно, при выводе уравнения в качестве промежуточного момента времени ш можно было взять момент п — т и получить это уравнение в виде
р(р __ р(п-т)р(т)(12 3)
Полагая в (1.2.2) и (1.2.3) т = 1, получим обратное уравнение для вероятностей перехода
pW = p.p^ или=(124)
d
и прямое уравнение для вероятностей перехода
p(n) = р(п-1) . р или рр =^pO-\^paj,(125)
d
n-кратное применение формулы (1.2.4) дает Р^ = Р х х Р^-1) = Р . Р . рйг-2) — _ — рту т е ^МВП цепи Маркова за п шагов есть п-я степень матрицы Р одношаговых переходов. В связи с этим многие свойства цепей можно изучать методами теории матриц [8, 26, 27, 33].
Матрица Рп — стохастическая, ибо произведение стохастических матриц есть стохастическая матрица. Действительно, пусть А = (ар) и В = (ф?) — стохастические матрицы. Тогда А • В = С = (ср), где ср = ^a^bp 0, и для всех г к
У^ Cij = У2 aikbkj = У2 Ак ^ у ^kj = У2Ак = 1 •
3 Ркк jк
" т '
Решение задачи 2. Будем рассматривать события {& = Оз v' S, как гипотезы с вероятностями Р {^q = О = м^\ Тогда события {^n=j} могут произойти совместно с каждой из перечисленных гипотез с условными вероятностями р^. По формуле полной вероятности получаем для вероятностей состояний системы через п шагов в координатной и векторной записях
Р == ^рп,(1 2 6)
где тг^ и тг^ — векторы-строки.
Уравнения (1.2.6) по аналогии с (1.2.4) называют обратными для вероятностей состояний. Прямые уравнения для вероятностей состояний легко получить, используя формулу Рп = Рп™х х х Р. Тогда
^М = ^(0)рп = ^(0)рпМ . р = ^(72™!) . р^
(A (7г |)(1.2.7)
ИЛИРы-
Заметим, что если тг^ = (0...0 1 0...0), то согласно (1.2.6)
^(72) = ^p^is т. е. при выходе системы из z-ro состояния вектор вероятностей состояний через п шагов совпадает с г-й строкой матрицы Рп.
Решение задачи 3. Рассмотрим два состояния системы в моменты 0 и п: £о = Д Сп = 3- Найдем вероятность первого перехода системы из состояния г в состояние ] за п шагов: Pij = pUn = j|€o = / j ч-т = l,2,...,n- 1}.
Очевидно,
-(0)f 1, i = j,^(i)
Pij ™ j о, i ф 3,^^ ™ P^*
По формуле полной вероятности рекуррентно получаем
^(2) ^(1)
Р ij / v Pi т Р mjm^j
-О)v-^-(2)
(1.2.8)(1.2.8)P ij = 2^P™Pm3
(1.2.8)
(1.2.8)
Pia = 2-^РМгРтз
72=172=1Вероятность перехода системы из состояния г в состояние j не более, чем за п шагов находим по формуле
72=1
72=1
(1.2.9)
Рассмотрим несколько поясняющих примеров
Пример 1. Задача о холодильниках из § 1Л:
/100\/100\
Р =0,80,20UГ =I 0,960,040
\0,30,50,2/\0,760,20,04/
/ ! о о \
=> Р3 =0,992 0,0080.
\ 0,932 0,06 0,008 У
Легко видеть, что при n оо pjj — 1, а р^ 0 при j 7^ 1. В главе 3 этой закономерности будет дано объяснение.
Если тг^ = (0,167,0,333,0,5), то согласно (1.2.6)
Р9О = Р^р2 = (0,867,0,113,0,02),
== (0,963,0,033,0,004).
Заметим, что при п сю тг^ 1, а тД^ —> 0 при г 1. Найдем вероятности первых переходов за 1, 2, 3 шага:
Рю = Рю = 0,8,р20=р20 = 0,3.
В соответствии с (1.2.8), (1.2.9) получаем
-(2)~(1) ,П9 Пй , n n
Рю =РнРю +Р12Р20 = 0,2-0,8 + 0 = 0,16,
Рю2) = Pio + Рю = °-8 + °,16 = 0,96,
Р20 =Р21Рю +Р22Р20 =0,5-0,8 + 0,2-0,3 = 0,46,
Р20 — Р20 + Р20 — 0,3 + 0,46 — 0,76,
-(3)I ^(2) по гик п ппчо
Рю =РнРю + Р12Р20 =0,2-0,16 + 0 = 0,032,
Р ю = Р ю + Рю + Р ю = 0,8 + 0,16 + 0,032 = 0,992,
Р2? =Р21Рю + Р22Р20 = 0,5 ■ 0,16 + 0,2 - 0,46 = 0,172,
Р20 = Р20 + Р20 + Р20 = 0,3 + 0,46 + 0,172 = 0,932.
Пример 2. См. пример 6 из §1.1:
1/2 1/21/2 1/21/2 1/21/2 1/2W > 1.W > 1.р_ ( Ш_ Рк
1/2 1/2
1/2 1/2
1/2 1/2
1/2 1/2
W > 1.
W > 1.
7^1 /2 1/2 у V
Для любого ВНВ тг^ НО = НОрк = (1/2, 1/2).
Найдем вероятности первых переходов из состояния г = 1 в состояние j = — 1 за 1, 2, 3 шага:
-(1). /о -(2)^(1)1 1
4’4’Pij =Pij = MH Pij =PuPij =22
4’
4’
^.(3)^.(2)1 11
P ij — Pa Pij — 2 4 — s ’
-4<2)-.(1)-(2) == 3
Pij — Pij + Pij — 24 — 4’
^«3)^(1)^(2)^(3)1117
Pij ~Pij + Pij+ Pij— 248— 8'
§ 1.3. Примеры построения марковских моделей
Пример 1 (приемочный контроль с переменным планом).
Простейшая форма контроля с переменным планом заключается в следующем. Устанавливается пг объемов выборок гц > > П2 > ... > пт, пг ^ 2. Если в выборке из партии изделий обнаружено не менее с дефектных изделий (ДИ), партия бракуется. Схема контроля производства строится по следующему алгоритму. Первая партия изделий проверяется выборкой максимального объема пх. Если она оказалась принятой, делается вывод о нормальном ходе производства, и для следующей партии осуществляется переход на выборку меньшего объема тъ; в противном случае объем выборки сохраняется максимальным. При контроле партии выборками промежуточного объема п^, 1 < к < пг, в случае приемки осуществляется переход на выборку меньшего объема п^+ь в противном случае — на выборку большего объема n^-i. При контроле партии выборкой минимального объема пт в случае приемки этот объем сохраняется, в противном случае осуществляется переход на выборку большего объема пт_\.
Если обозначить состояния процесса контроля через п\,п^пт, то возможные переходы характеризуются следующим графом (рис. 1.3.1).
^21^32^21^32Рт,тРт,т
^21^32
^21^32
Рт,т
Рт,т
Рис. 1.3.1
При этом вероятности переходов p^j зависят только от состояний пр и nj и не зависят от предыстории процесса контроля. Отсюда следует, что сам процесс контроля моделируется ЦМ с пг состояниями и следующими вероятностями переходов:
рвНЫ рпСрУ РвЫ-ГС рпыырвНЫ рпСрУ РвЫ-ГС рпыы3 =г —1,г>1,
рвНЫ рпСрУ РвЫ-ГС рпыы
рвНЫ рпСрУ РвЫ-ГС рпыы
j =i +1,г<пг,
j =г =1,
j =г =пг.
Здесь рбЬп) ™ вероятность того, что при контроле партии выборкой объема ni она будет забракована, рп(п^ — вероятность того, что при контроле партии выборкой объема П{ она будет принята.
Найдем эти вероятности при следующих допущениях:
объем контролируемой партии равен L,
количество дефектных изделий в партии является дискретной СВ £ с распределением р^х), х Е X,
количество дефектных изделий в выборке объема гц подчиняется биномиальному закону с параметром р = ^/L.
Тогда по формуле полной вероятности получим
РвЫЦ= ^р^ УСпг Ц) (1-f) 1 ’ Рп(пг)=1-рв(пг). хЕХ d^c
В частности, при с = 1
Г / Т \
хЕХ
Как правило, x/L — малая величина. Если учесть эту особенность, то
/ ху^г Xгц
™ ( 1 ™~ и PbW = — хр^ = ——,
хЕХ
где М^ — математическое ожидание СВ ^.
Продолжим рассмотрение примера, полагая с = 1, L = 200, М£ = 5, т = 3, ni = 20, П9 = 10, п^ = 5. Тогда МВП цепи представлена табл. 1.3.1.
Таблица 1.3.1
3
i
1
2
3
1
1/2
1/2
0
2
1/4
0
3/4
3
0
1/8
7/8
Пример 2 (задача коммивояжера).
Коммивояжер совершает деловые поездки. Из города 0 он может поехать в город 1 с вероятностью рщ, или в город 2 с вероятностью роз = 1 “Рог При этом, чтобы определиться с маршрутом, он бросает две монеты и в случае выпадения двух гербов едет в город 2. Из города 1 коммивояжер может поехать
в город 3 с вероятностью р^, или в город 4 с вероятностью Р14 = 1 — pig. При этом, чтобы определиться с маршрутом, он
бросает четыре монеты и в случае выпадения трех гербов едет в город 3. Из города 2 коммивояжер может поехать в город 4 С вероятностью ^24' или в город 5 С вероятностью Р25 — 1 “Р24-
При этом, чтобы определиться с маршрутом, он бросает шесть
монет и в случае выпадения четырех гербов едет в город 4. Из
городов 3, 4, 5 коммивояжер возвращается в город 0.
Построим модель поездок коммивояжера в виде ЦМ. Для этого найдем МВП. В соответствии с принятой коммивояжером стратегией передвижения найдем вероятности
1С4341
^02 = 4’ Р13=2Т=16 = 4-
Рис. 1.3.2Рис. 1.3.2следовательно, ГСследовательно, ГСрис. 1.3.2 и в табл. 1.3.2.рис. 1.3.2 и в табл. 1.3.2.и МВП примут вид, представленный наи МВП примут вид, представленный на_ С64 _ 6-5 _ 15 Р24 - 26 - 64.2 - 64’
Рис. 1.3.2
Рис. 1.3.2
следовательно, ГС
следовательно, ГС
рис. 1.3.2 и в табл. 1.3.2.
рис. 1.3.2 и в табл. 1.3.2.
и МВП примут вид, представленный на
и МВП примут вид, представленный на
Таблица 1.3.2
3
0
1
2
3
4
5
г
0
3/4
1/4
1
1/4
3/4
2
15/64
49/64
3
1
4
1
5
1
Пример 3 (задача профессора).
У одного профессора имеется три излюбленных вопроса, один из которых он задает на каждом экзамене, но один и тот же вопрос подряд никогда не задает. Если в прошлый раз был задан вопрос № 1, то профессор извлекает наугад два шара из урны, содержащей 2 белых и 3 черных шара. Если оба шара
белые, то он задает вопрос №2. Если же в прошлый раз был задан вопрос №2, то профессор выполняет тот же эксперимент,
РзгРис. 1.3.3РзгРис. 1.3.3и если оба шара черные, то переходит к вопросу №3. Если же в прошлый раз был вопрос №3, то профессор выполняет тот же эксперимент, и если шары разноцветные, то переходит к вопросу № 1.
Рзг
Рис. 1.3.3
Рзг
Рис. 1.3.3
Построим модель изложенного процесса в виде ЦМ.
Пусть S = {1,2,3}, где состояние г является номером заданного в последний
раз вопроса. Тогда ГС представлен на рис. 1.3.3. Здесь
119 Cl 3
PA3-W P23-cI-W
72-364
Р2! -Р31 - -^- -P32 -
Пример 4 (стопка книг).
Имеется стопка из пг = 3 книг. Порядок их расположения
сверху вниз задается вектором (1сверху вниз задается вектором (1РаРаРзРис. 1.3.4РзРис. 1.3.4,2,3), т. е. сверху лежит книга 1, под ней — книга 2, под ней — книга 3. Каждая книга г требуется с вероятностью рр I = 1,2,3, и при
сверху вниз задается вектором (1
сверху вниз задается вектором (1
Ра
Ра
Рз
Рис. 1.3.4
Рз
Рис. 1.3.4
возвращении кладется сверху. Очевидно, что если была взята книга 1, то порядок стопки (1,2,3) сохранится, если была взята книга 2, то порядок стопки примет вид (2, 1,3) и т. д. Такой процесс изменения порядка книг в стопке является цепью Маркова, ГС и МВП которой представлены на на рис. 1.3.4 и в табл. 1.3.3.
Пример 5 (испытания Бернулли).
Испытаниями Бернулли называется совокупность независи
мых одинотипных экспериментов с двумя исходами, один из которых — успех, а второй — неудача. Вероятности успеха и
Таблица 1.3.3
3
г
1
2
3
4
5
6
1
Р1
Р2
Рз
2
Р1
Р2
Рз
3
Р1
Р2
Рз
4
Р2
Рз
Р1
5
Р2
Рз
Р1
6
Р2
Рз
Р1
неудачи обозначаются через р и q соответственно. Построим цепь Маркова, связанную с испытаниями Бернулли следующим образом: если (п — 1)-е и n-е испытания закончились успехом (УУ), то цепь находится в состоянии 1, если они закончились успехом и неудачей (УН), то цепь находится в состоянии 2, аналогично состояния 3 и 4 соответствуют результатам НУ и НН. ГС и МВП такой цепи представлены на рис. 1.3.5 и в табл. 1.3.4.
3г12341рq2рq3рq4рq3г12341рq2рq3рq4рqТаблица 1.3.4Таблица 1.3.4
3
г
1
2
3
4
1
р
q
2
р
q
3
р
q
4
р
q
3
г
1
2
3
4
1
р
q
2
р
q
3
р
q
4
р
q
Таблица 1.3.4
Таблица 1.3.4
Методом математической индукции легко устанавливается, что МВП за п ^ 2 шагов не зависит от п, имеет одинаковые строки (р2 pq pq g2).
Пример 6 (перекладывание игральной кости).
Игральная кость последовательно перекладывается с одной грани на любую из четырех соседних с равными вероятностями. Нумерация граней кости указана на ее развертке (см. рис. 1.3.6).
Процесс перекладывания кости есть ЦМ. Построим МВП цепи.
Примем за состояние данного процесса число очков на той грани, на которой лежит кость. Исходное состояние равно 1. ГС и МВП такой цепи представлены на рис. 1.3.7 и в табл. 1.3.5.
Рис. 1.3.7Рис. 1.3.7Рис. 1.3.8Рис. 1.3.8
Рис. 1.3.7
Рис. 1.3.7
Рис. 1.3.8
Рис. 1.3.8
Таблица 1.3.5
3
г
1
2
3
4
5
6
1
0
1/4
1/4
1/4
1/4
0
2
1/4
0
1/4
1/4
0
1/4
3
1/4
1/4
0
0
1/4
1/4
4
1/
1/4
0
0
1/4
1/4
5
1/4
0
1/4
1/4
0
1/4
6
0
1/4
1/4
1/4
1/4
0
Пример 7 (бросание правильной кости).
Рассмотрим бросание правильной игральной кости и условимся, что в момент п система находится в состоянии j, если j — наибольшее число очков, выпавших при первых п бросаниях. Построим ЦМ, моделирующую процесс бросания.
Если система находится в состоянии р то в следующий момент она останется в том же состоянии, если выпадет 1,2г очков, т. е. рц = 1/6. Если же в следующий момент выпадет j > г очков, то система перейдет в состояние j с вероятностью рр = 1/6, j = г + Li + 26.Таким образом, ГС и МВП
такой цепи принимают вид, представленный на рис. 1.3.8 и в табл. 1.3.6.
Таблица 1.3.6
j
г
1
2
3
4
5
6
1
1/6
1/6
1/6
1/6
1/6
1/6
2
2/6
1/6
1/6
1/6
1/6
3
3/6
1/6
1/6
1/6
4
4/6
1/6
1/6
5
5/6
1/6
6
1
Легко проверить, что р^ = (//б)7^, р^ = 0, j < i. При j > г вероятность р^ = (j/6)n — ((j — 1)/6)п можно получить методом математической индукции.
Пример 8 (последовательность остатков).
Пусть ^, к = 0, 1,2,..., — последовательность независимых бернуллиевых СВ и d > 0 — целое число. Введем в рассмотрение п
СВ рп, равную остатку от деления ^ ^к на d:
1 п
= ост- п = 0ЛЛ,...
Покажем, что последовательность рп образует ЦМ, найдем ее МВП и построим ГС.
Рассмотрим частный случай, когда d = 3. Легко проверить, что рп = рп-х + 0CT(£n/d), поэтому условное относительно 771,779рн-\ распределение СВ рп зависит только от рп-х, т. е. последовательность рп образует цепь Маркова. Построим МВП, учитывая, что в рассматриваемом частном случае S = {0, 1,2}:
Р {% = О I,/2 = 0} = Р/сет5' + +^:i = 0 |»стЦД = 0 у
= Р («3 = 0} = ч-
Р{% = 1|% = 0} = РЦз = 1} = Р-Р{/?з = 2|7?2 = 0} = РЦ3 = 2} = 0,
Р{г/з=1|7/2 = 1} = Р{6 = 0} = 9,р^ = Р^ = Г = рШ = ^ = р.р^з = о Ь = 2} = Р& = О=Р,Р{г/3 = 1|г/2 = 2} = РЦ3 = -1} = 0,
Р{//3 = 2Ь = 2} = РЦ3 = 0} = 4.
Таким образом, ГС и МВП такой цепи принимают вид, представленный на рис. 1.3.9 и в табл. 1.3.7.
Рис. 1.3.9Рис. 1.3.93г0120qр010qр2р0q3г0120qр010qр2р0qТаблица 1.3.7Таблица 1.3.7
Рис. 1.3.9
Рис. 1.3.9
3
г
0
1
2
0
q
р
0
1
0
q
р
2
р
0
q
3
г
0
1
2
0
q
р
0
1
0
q
р
2
р
0
q
Таблица 1.3.7
Таблица 1.3.7
Рис. 1.3.10Рис. 1.3.10
Рис. 1.3.10
Рис. 1.3.10
ГС позволяет вычислить вероятности перехода р^\ не прибегая к вычислению Рп. Действительно, р^ = q, р^ = qr Р™ =q +р2> Рю = 0, р^ = р2, р^ = Зур2, р^ = р, р^ = 2pq, (3) Q 9
Ди = 3^.
Таблица 1.3.8
j
ООО
001
010
100
011
101
по
111
г
ООО
1/3
1/3
1/3
001
1/3
1/3
1/3
010
1/3
1/3
1/3
100
1/3
1/3
1/3
011
1/3
1/3
1/3
101
1/3
1/3
1/3
но
1/3
1/3
1/3
111
1/3
1/3
1/3
Пример 10 (функция от цепи Маркова).
Пусть ^ь^9,... — независимые дискретные СВ, /сь/ь--- — некоторые функции. Докажем, что последовательность 771,772 где /дн = fUnkXwY образует цепь Маркова.
Рассмотрим условную вероятность
PplHY = j Vh = iwn-z == Ц =
= ТЩЩ/тМКнЦЩ/ТЩЫТ^Щцд^л^^ =
Ррт = К % = в.---.ж = О
= РЦк в.^fc+i) = Лр{л = м/п^ = в---- .ж = 0 =Р{т = К % = ж---.ж = О
= P{fk Ы Щ1) = р = ?Ик (жЛк+\) = j [ж = О •
Согласно (1.1.1) последовательность 771,779,... образует цепь Маркова.
Пример 11 (сумма цепей Маркова).
Пусть ^о^ь--- и ^оЛь--- “ Две цепи Маркова. Будет ли цепью Маркова последовательность ^о + 770, £1 + 771,...? Приведем пример, показывающий, что в общем случае это не так.
Пусть ^п и 77^ независимы между собой, принимают значения 0 и 1, имеют вероятности начальных состояний
Р{Ы = 0} = РШ=П = Р{ж = 0} = Р{ж=П = р2
и МВПи МВПР Л/2 1/2 \ р _( 2/3 1/3 \
и МВП
и МВП
-1/2 1/2 J ’ ^ - ^ 1/3 2/3 ) "
а) Найдем Р {С2 + % = 0 |Ci + t?i = 1}:
Р {6 = 0} = Р {Со = 0} Р {Ci = о |с0 = о} +
+ Р{Со = 1}Р{С1 = О|Со = Г = 9 9 + 9 9 = 9' Z Z Z Z Z
РРа = П = Р {Со = 0} Р {Cl = 1 ICo = о} +
+= 4ЛС1 = 1 ICo = 1} = || +|| = |.
Z Z z z z
Pp\ = 0} = Pp = O^PpA = 01% = 0} +
+ P{%=l}P{r/1=0|%=l} = || + || = |, Z о z о z
PpA = l^Pp^Pp = 1 |z/0 = 0} +
+ P{% = 1}P{/?1 = 1 |'% = 1} = || + || = I- z О z о z
Л6 = o,Ci = 0 = P{6 = 1}-P{C2 = o|Ci = 1} = | • | = |,P{C2 = 0,ei = 0} = P{C1 = 0} • P{C2 = O|C1 = 0} = | • | = 1P pp = 0,T]V = Ц = P plv = Ц • P p2 = 0 |r/i = 1 } = | • | = |,p {Ci +r/i = 1} =p {Ci = 1} P Pa =0} +P {Ci =0} P Pa = 1} =|,
p р2р'П2=0' Cl + r71 = 1} =P {C2=0, Cl = l} P p2=0' l?!^} +
+ PP2 = 0, Cl = ^pp. = О,,?, = 1} = 1.1 + -LI = |.
4 64 0 о
Окончательно
p {C2 + 42 = о |Ci + ii\ = 1} =
= Рр2 + 42 = 0РА+ПА = Ц = 1/8 = , /4Ррх+4А = П p2
Найдем Р {^2 + 7/2 = О |6 + ??i = L & + % = О}:
Р{6 = 0,^=0} = Р{ео=О}Р{б=О|& = О} = 1| = 1
РШ = Мо=0} = РШ=ОПШ=1 |& = 0} = 11 = 1
Р И = 0,по=0} = Р {//о=0} Р р]Х=0 |?7о = °} = 1| = 1,
р Ph = 1,7/0=0} = Р {//о=0} Р р]х=1 |?7о = °} = 11 = 1,
Р {6 +п\ = 1, €о + % = 0} =
= Р{6 = 0^0 = ОПИ = По = 0} +
+ Hi = 1*& = 0}Р{7/1 = 0, г/о = 0} = -- + - - = -,
4 04 6 о
Рк2 = 0,(, = 1.^0 = 0} =
= 1’Ш = о\1’№ = 1Ко = о}ЛЬ = оК! = 1) = }}} = }
Z Z Z о
pfe = o,6 = о,ео = о} =
= pRo = o}PRi = oieo = o}p{e2 = oiei=o} = lll = l Z Z Z о
Р {% = 0,7/1 = L 7/0 = 0} =
= Р{??0 = 0}Р{т?1 = 1 |7?о = 0}Р{?72 = 0 |?7i = 1} = 111 = -j^,
Z о о 10
РрТ2 = 0,7/1 = 0,7/0 = 0} =
= рр10 = 0}Р{7?1 = 0 |7/0 = 0}Р{7/2 = 0 |7h = 0} = 1|| = А,
Zoo 10
Р {^9 + 7/2 = 0, £] + 7/1 = 1, ^о + 7/0 = 0} =
-Р^2 = 0,0 = 1,ео = О}Р{т?2 = О,7/1 =0,7/0 = 0} +
+ Р{& = О,б =О,^о = О}Р{7/2 = О,7/1 = 1,7/0 = 0} =
11_ 5
“ 8L8 + 818 “ 144'
Окончательно
Р {& + 7/9 = 0 Щ 4- 771 = 1, £о + 7/0 = 0 } =
= ^К2 + % = ОК1+г/1 = 1Ко + % = О} = 5/144 =+’7i = L& + % = 0}1/8"
Таким образом,
Р {+2 + % = 0 10 + ГД = L & + % = 0} /
/ Ср + ’72 = 0 10 +7/1 = 1},
следовательно, последовательность £о + РоЛх + 7/1,... не образует ЦМ.
Пример 12 (урновая схема).
урны наудачу вынимают 1 шарурны наудачу вынимают 1 шарРис. 1.3.11px\=q, Pi2=p.21Рис. 1.3.11px\=q, Pi2=p.21Урна вначале содержит три белых шара. За один шаг из и заменяют его новым, который является черным с вероятностью р и белым с вероятностью q = 1 — р. Пусть ^п — число белых, рп — число черных шаров после n-го шага. Последовательность (^П1 рпу /г = 1,2,..., образует ЦМ. Ее ГС имеет вид, представленный на рис. 1.3.11, где
урны наудачу вынимают 1 шар
урны наудачу вынимают 1 шар
Рис. 1.3.11
px\=q, Pi2=p.
21
Рис. 1.3.11
px\=q, Pi2=p.
21
q + р = 1,
21
3 =^ГР21=-q,
1221
РЗЗ = 3^ + з^’^32 =^ЬР34=3Р,
Р44 = Р. Р43 = Q-
Собрав эти вероятности в табл. 1.3.9, получим МВП.
Таблица 1.3.9
Q
р
0
0
1
21
2
З9
39+3Р
3Р
0
2
12
1
0
З9
39+3Р
зр
0
0
а
Р =
Пример 13 (вычислительный).
Пусть ЦМ с множеством состояний S = {1,2,3} характеризуется МВП Р и ВНВ тг^:
/ 0,1 0,5 0,4 \
Р =0,6 0,2 0,2, 7Г(°) = (0,7,0,2,0,1).
\ 0,3 0,4 0,3 /
Найдем вектор вероятностей состояний Ц\ Для этого получим
/0,430,310,26 \
Р2 =0,240,420,34,
\0,360,350,29 /
и в соответствии с формулой (1.2.6)
Д2) = ^0)р2 = (0,385,0,336,0,279).
Найдем вероятность того, что в моменты п = 0, 1,2,3 состояниями цепи будут 1, 3, 3, 2:
р Ко =1.6=372 = 3,6 = 2} =
= Й^зРззРзг = 0,7 ■ 0,4 ■ 0,3 • 0,4 = 0,0336.
Найдем вероятность перехода из первого состояния во второе не более, чем за 2 шага. Согласно (1.2.8), (1.2.9)
-(1)л г
Р 12 =Р12 = 0,5,
р\1 = ^ptjPp = 0,1 • 0,5 + 0,2 ■ 0,5 + 0,4 • 0,4 = 0,31,
рЦ2) =0,5 + 0,31 =0,81.
Задачи
Задача 1. Пусть £oi£b--- “ последовательность независимых одинаково распределенных целочисленных СВ. Доказать, что она образует ЦМ, найти МВП за п шагов.
Задача 2. Пусть £о,Ц,... — последовательность СВ, образующих ЦМ. Доказать, что для того чтобы эти СВ были
независимы, необходимо и достаточно, чтобы все строки МВП были одинаковы.
Задача 3. Пусть ^о^ь--- “ последовательность СВ, образующих ЦМ с тремя состояниями {1,2,3}, с ВНВ тг^ = = (6/17,5/17,6/17) и с МВП Р:
/1/3 1/3 1/3 \
Р= 1/5 2/5 2/5 .
\ 1/2 1/6 1/3 /
Доказать, что тг^ = тг^ \/п1.
Задача 4. В процессе ежемесячного погашения выданного кредита клиент банка может оказаться в одном из следующих состояний:
/ — 1 — ежемесячный платеж погашен в срок в полном объеме,
г = 2 — ежемесячный платеж погашен в полном объеме, но с временной задержкой,
г = 3 — ежемесячный платеж погашен в срок в неполном объеме с переходом остатка долга на следующий месяц,
2 = 4 — ежемесячный платеж погашен с временной задержкой и в неполном объеме с переходом остатка долга на следующий месяц.
Последовательные состояния образуют ЦМ с МВП двух возможных видов:
/ 0,3 0,4 0,1 0,2 \/ 0,5 0,3 0,2 0 \
р _0 0,2 0,5 0,3 р _0 0,4 0,4 0,2
-00 0,4 0,6 и -00 0,3 0,7•
\ 0001 /\ 0001 /
Построить граф состояний в обоих случаях. Найти вероятности состояний после одной, двух и трех проверок.
Ответ: 7р3) = (0,027,0,076,0,217,0,68), Щ = (0,125,0,183, 0,242,0,45)."
Задача 5. Урна содержит b черных и г красных шаров. Из нее извлекается один шар и возвращается обратно с добавлением с шаров того же цвета. Снова производится извлечение и т. д. Рассмотрим два случайных процесса:
£сь£1гДе £>п = L если на /г-м шаге вынули черный шар, С = 0в противном случае;
у/сьЩ где г/п — количество черных шаров в урне в
момент п.
Доказать, что последовательность ^ не образует ЦМ (для этого достаточно сравнить условные вероятности Щ6= 1|6 = 1-6 = 1} иР{6= 1|6 = 1}).
Доказать, что последовательность рп образует ЦМ. Построить ГС и найти МВП в частном случае b = 5, г = 3, с = 1, полагая, что число черных шаров ограничено 10, состояния цепи равны Ь, b + с,..., b + 5с = 10 и рь^С)ь^5с = 1 •
Задача 6. Занумерованные шары размещаются последовательно и наугад по N урнам. Пусть п — номер размещаемого шара, п = 1,2,... Рассмотрим последовательность ^о>€1 гДе
— количество занятых урн после размещения /г-го шара, 6 = 0.
Доказать, что последовательность ^п образует ЦМ с состояниями 0, 1,...,М. Построить ГС и найти МВП в частном случае N = 5, вычислить вероятности состояний через 1, 2 и 3 шага.
Задача 7. N черных и N белых шаров разложены по двум урнам так, что каждая содержит по N шаров. Из каждой урны извлекают по шару и меняют их местами. Рассмотрим последовательность ^оЛь гДе ^п ™ количество черных шаров в первой урне после т?-го обмена.
Доказать, что последовательность ^ образует ЦМ с состояниями 0, 1N. Построить ГС и найти МВП.
Ответ: р33 = (2j(N-j))/№, р33_х = f/N2, рзз+х = (N-
Задача 8. N шаров разложены по двум урнам. На каждом шаге п = 1,2,... выбирается либо первая урна с вероятностью р\, либо вторая урна с вероятностью р^ = 1 — Рь Из выбранной урны извлекают шар и помещают в одну из урн с теми же вероятностями pi, р2. Если в первой урне находится г шаров, то pi = г/N. Рассмотрим последовательность £oi£i гДе £>п ™ количество шаров в первой урне на n-м шаге. Если последовательность ^п образует ЦМ, то построить ГС и МВП, найти вероятности перехода из состояния г в состояние г + 1 за 3 шага и не более, чем за 3 шага.
Ответ:
Ргз = <Ргз = <Я2Я2если j = г ± 1,если j = г ± 1,М2М2если j = гесли j = гг = 0,1Я,г = 0,1Я,0 в остальных случаях.0 в остальных случаях.
Ргз = <
Ргз = <
Я2
Я2
если j = г ± 1,
если j = г ± 1,
М2
М2
если j = г
если j = г
г = 0,1Я,
г = 0,1Я,
0 в остальных случаях.
0 в остальных случаях.
Задача 9. Турист знакомится с новым городом следующим
образом. На каждом перекрестке (см. схему города на рис. 1.4.1)
Рис. 1.4.1Рис. 1.4.1он с равной вероятностью идет по одной из улиц, в начале своего пути он находится в точке с координатами (0,0).
Рис. 1.4.1
Рис. 1.4.1
Рассмотрим последовательность Ко,%)ЩьШ где ЦпЛ]Р — координаты /г-го перекрестка, пройденного туристом. Если эта последовательность образует ЦМ, то найти ГС и МВП, найти вероятности перехода от перекрестка (0,0) к перекрестку (2,2) за 4 шага и не более, чем за 4 шага. Равны ли эти вероятности?
6 Т 5 Т 46 Т 5 Т 4Задача 10. Белую мышь помещают в лабиринт, изображенный на рисунках 1.4.2-1.4.4. Мышь каждый из имеющихся проходов выбирает наугад. Проходы могут быть односторонние и двусторонние. Так, например, в первом лабиринте все проходы двусторонние, а во втором лабиринте проход из ячейки 8(3) в ячейку 1(2) возможен, а обратно — нет. Рассмотрим последовательность £0,бгДе £>п ™ номер ячейки, в которой находится мышь на /г-ом шаге, п = 0,1,2,... Если последовательность образует ЦМ, то для каждого лабиринта найти ГС и МВП, найти вероятности состояний через 2 и 3 шага, если
6 Т 5 Т 4
6 Т 5 Т 4
Рис. 1.4.2 начальные состояния равновероятны.
1■!8I7т62।3у4у'бРис. 1.4.31■!8I7т62।3у4у'бРис. 1.4.31j 9|1Щ3|4
1■!8I7т6
2।3у4у'б
Рис. 1.4.3
1■!8I7т6
2।3у4у'б
Рис. 1.4.3
г' 8у7 f6у5
Рис. 1.4.4
Задача И. Рассмотрим систему резервирования товара с целью удовлетворения постоянного спроса. Восполнение запасов происходит в моменты времени п = 0, 1,2,... в соответствии со следующей стратегией: если запас не превышает критического уровня s (= 0), то его мгновенно доводят до уровня S ( = 3), в противном случае восполнение не производится. Расходование запаса осуществляется на протяжении от /г-го до (п + 1)-го момента (п = 0, 1,2,...) в соответствии с распределением спроса р^х), не зависящем от п.
X
0
1
2
3
0,1
0,3
0,4
0,2
Уровень запаса фиксируется на начало каждого периода.
Пусть ^о^ь--- “ последовательность, где ^ — величина запаса непосредственно перед моментом щ ^ принимает значения -3, -2, -1,0, 1, 2, 3. Отрицательные значения интерпретируются как неудовлетворенный спрос. Если последовательность ^п образует ЦМ, то найти ГС и МВП, найти вероятности всех состояний через 2 и 3 шага, если начальное состояние равно 3.
Задача 12. В урне лежат два неокрашенных шара. В моменты времени п = 1,2,... наугад извлекается шар, окрашивается в красный или черный цвет и возвращается обратно. Если шар не был окрашен, то выбор цвета случаен, если был, то цвет меняется. Пусть (^о, Ро, 7о)' (€ь7ь71)^-- “ последовательность векторов, где ^п^]пЛп) ™ число неокрашенных, красных и черных шаров соответственно после /г-го шага, Цсь7сь7о) = (2,0,0). Если указанная последовательность образует ЦМ, то найти ГС и МВП, найти вероятность последовательности (2,0,0) (1,1,0) (0,1,1) (1,0, 1) (0,0,2).
Задача 13. А и В играют в мяч. А забивает гол с вероятностью р и пропускает гол с вероятностью q = 1 — р. Состояния игры описываются ее текущим счетом, который может принимать значения: (0-0), (0-1), (1-0), (0-2), (2-0), (2-1), (1-2), (1-1), (2-2), (3-0), (3-1), (0-3), (1-3). При этом (2 — 2) — ничья, (3 — 0), (3 — 1) — выигрыш А, (0 — 3), (1 — 3) — выигрыш В, т. е. тот игрок, который первым забьет три мяча в ворота соперника, считается победителем. Построить модель игры в виде цепи Маркова, если q = р = 1/2. Найти ГС и МВП и определить вероятности выигрыша каждого из игроков и ничьей.
Глава 2
АНАЛИЗ СТРУКТУРЫ ЦЕПИ МАРКОВА
В данной главе исследуется структура графа состояний. Множество всех состояний разбивается на два подмножества существенных и несущественных состояний. Первое из них оказывается замкнутым, второе — открытым. Множество существенных состояний, в свою очередь, разбивается на классы эквивалентности. Рассматривается алгоритм классификации состояний и построения классов эквивалентности, основанный на свойствах матрицы смежности ГС. Класс эквивалентности состоит из так называемых циклических подклассов, которые определяются с помощью алгоритма построения последовательности подмножеств этого класса. В заключение главы дается классификация ЦМ и каноническая форма МВП произвольной ЦМ.
. Существенные и несущественные состояния
Структура ЦМ нас интересует с точки зрения механизма возможных переходов системы из состояния в состояние. Но возможные переходы полностью отражены в ГС с точностью до эквивалентности понятий «состояние» и «вершина». Отсюда следует, что структура ЦМ совпадает со структурой ГС этой цепи (§ 1.1).
Рассмотрим основные понятия, связанные с ГС. Напомним, что состояниям ЦМ соответствуют вершины ГС. Вершины г и j соединены дугой, направленной от г к J, если p^j > О, т. е. возможен одношаговый переход из состояния г в состояние j. Если дуга соединяет г саму с собой, то она называется петлей. Путем, связывающим вершину г с вершиной j, называется последовательность дуг (г,к\), ЦщАд)(kn^\,j), в которой конец каждой предыдущей дуги совпадает с началом следующей (путь часто описывают последовательностью вершин i,k\,kokn™\,j). Длиной пути называют число его дуг. Су-
ществование пути длины тц связывающего вершину г с вершиной j, означает возможность перехода системы из состояния г в состояние j за /г шагов. Путь, у которого начальная и конечная вершины совпадают, называется контуром. ГС однозначно задается матрицей смежности (МС) А = (a^Y где сщ = 1, если вершина г связана с вершиной j дугой, в противном случае
Поясним введенные понятия примерами из § 1.1. В примере 1 ГС состоит из 4 вершин, каждая вершина имеет петлю, каждая пара вершин связана путем. Так, вершина 1 связана с вершиной 4 многими путями, в частности 1^2^ 4, 1^3^ 4, 1^1^ ^2^2^1^3^3^4. Длина первого и второго путей равна 2, длина третьего пути равна 7. Путь 1 2 4 3 1 образует контур. В примере 2 ГС состоит из 3 вершин, не имеет контуров, не существует путей, связывающих вершину 0 с другими вершинами. Пути, связывающие вершину 2 с вершиной О, имеют вид 2^2^1^0^0 или 2 0 и т. д.
Говорят, что вершина j достижима из вершины г (или j следует за Д, если существует путь в ГС с началом в г и концом в j. В этом случае используют обозначение г j.
Говорят, что вершины г ^ j сообщаются друг с другом, если существуют пути из i в j и из j в г, т. е. I j и j г. В этом случае используют обозначение г j. Другими словами, вершины г и j сообщаются, если всякий раз, когда возможен переход из г в Д возможно и возвращение.
Свойства достижимости и сообщаемости можно рассматривать как отношения на множестве вершин графа состояний (приложение 1). Из их определения следует, что:
достижимость как отношение не рефлексивно, не симметрично, но транзитивно (i Д П (J к) Д к);
сообщаемость как отношение рефлексивно (г Д, симметрично (г Д (j Д и транзитивно Д j) П (j к) =Д => Д к^.
Вершина, которая сообщается с любой из следующих за ней, называется существенной вершиной (СВ), в противном случае — несущественной вершиной (НВ). Другими словами, вершина г существенна тогда и только тогда, когда для всех j, в которые возможен переход из д возможно и возвращение. Вершина г несущественна тогда и только тогда, когда существует вершина Д в которую возможен переход из д но невозможно возвращение. Каждой СВ и НВ графа состояний соответствуют существенное (СС) и несущественное (НС) состояния цепи.
Вновь обратимся к примерам из §1.1. В примере 1 все вершины сообщаются друг с другом, и все вершины являются существенными. В примере 2 существенной является только вершина 0, которая сообщается сама с собой. Вершины 1 и 2 являются несущественными, поскольку из каждой из них возможен переход в вершину 0, но невозможно возвращение. В примере 3 все вершины существенны. В примере 4 ГС, соответствующий Р1, также состоит из одних существенных вершин, но ГС, соответствующий Р2, имеет одну несущественную вершину 1 и две существенные вершины 2 и 3.
Следующая теорема является основной при обосновании структурных свойств ЦМ.
Основная теорема структурного анализа.
За любой вершиной ГС следует хотя бы одна вершина.
За существенной вершиной следуют только существенные вершины.
Для всякой несущественной вершины найдется существенная, следующая за ней.
Доказательство 1. Если предположить, что за некоторой вершиной г не следует ни одна вершина, то это означает, что для всех j р^ = 0 и У^Ргз = 0. Это противоречит стохастичности з
МВП, согласно которой ^2pcj = 1.
з
Доказательство 2. Пусть г — существенная вершина и j — произвольная вершина, следующая за ней (i 7). Покажем, что j — также существенная вершина. Согласно первому утверждению найдется вершина к, следующая за j и следующая по транзитивности за г: г j к. Таким образом, из существенной вершины г возможен переход в вершину к, следовательно, возможно и возвращение в г и, как следствие, возвращение из к в j: г j к. Следовательно, j — существенная вершина по определению.
Доказательство 3. Пусть г — несущественная вершина. Рассмотрим последовательность несущественных несо- общающихся и попарно различных вершин, следующих за г. г Д 79 ^ ... ^ Д. Эта последовательность неминуемо оборвется на некоторой несущественной вершине Д, т. к. множество их конечно. Согласно первому утверждению за Д должна следовать вершина Д+ь и она может быть только существенной.
Следствие 1. Множество всех состояний S ЦМ (как и множество всех вершин ГС) разбивается на два подмножества существенных 8С и несущественных Sh состояний (вершин).
Следствие 2. Множество 8С замкнуто в том смысле, что система, оказавшись в состоянии г Е 8С, не может перейти в состояние j Е 8Н.
Следствие 3. Множество Sh открыто в том смысле, что система, оказавшись в состоянии г Е 8Н, рано или поздно перейдет в состояние j Е 8С.
Следствие 4. Множество 8С содержит хотя бы одно состояние, ибо в противном случае 8 = SH, и мы придем к противоречию, т. к. согласно основной теореме Vi Е 8Н существует существенное состояние, следующее за г.
Множество 8Н может быть пустым (см. примеры 1 и 3 из §11).
Структура множества существенных состояний. Выше было установлено, что отношение сообщаемости вершин ГС (состояний ЦМ) есть эквивалентность и, будучи определенной на множестве существенных состояний, это отношение разбивает 8С (см. приложение 1) на классы сообщающихся состояний, называемые классами эквивалентности (КЭ). Это разбиение единственно.
Итак, два существенных состояния принадлежат одному классу эквивалентности тогда и только тогда, когда они сообщаются.
Из определения класса эквивалентности следует, что каждый КЭ (а не только множество существенных состояний) является замкнутым в том смысле, что система, оказавшись в состоянии некоторого КЭ, навсегда останется в этом классе. Если КЭ состоит из единственного состояния, то и это состояние, и сам КЭ называются поглощающими. Если КЭ состоит из нескольких состояний, то он содержит контур, проходящий через все состояния класса.
Рассмотрим несколько примеров. В примерах 1 и 3 из §1.1 все множество состояний представляет один КЭ. В примере 2 КЭ состоит из одного состояния 0. В примере 1 из § 1.3 ГС включает два поглощающих КЭ п\ и пт. Еще два примера.
Пример 1. Пусть ГС имеет вид, представленный на рис. 2.1.1.
Здесь 8Н = {6, 7, 8,9}, 8С = {1,2, 3,4, 5}, при этом 1-й КЭ = {1}, 2-й КЭ = {2, 3}, 3-й КЭ = {4, 5}.
Пример 2. Пусть ГС имеет вид, представленный на рис. 2.1.2. Здесь SH = {8,9, 10}, Sc = {1,2, 3,4, 5, 6, 7}, при этом 1-й КЭ = {1,2,3}, 2-й КЭ = {4,5,6,7}.
§2.2. Алгоритм построения множества существенныхсостояний и его разбиения на классы эквивалентности
Настоящий алгоритм представляет собой процедуру последовательного преобразования матрицы смежности ГС и включает 4 этапа. На каждом из них осуществляется соответственно построение матриц:
— достижимости D,
сообщаемости С и несообщаемости С,
классификации состояний Т и ее расширения Тр,
классов эквивалентности К.
Наиболее трудоемким является первый этап, с которого мы и начнем изложение алгоритма.
Этап 1. Построение матрицы достижимости методом Уоршола. Матрицей достижимости ГС называют матрицу D = {cAj} с элементами dp; = 1, если существует путь из вершины г в вершину j, и dij = 0 в противном случае [16].
Рис. 2.2.1Рис. 2.2.1Основная идея метода Уоршола [23, с. 374], [24, с. 316] состоит в последовательной «обработке» всех вершин ГС. Обработка n-й вершины состоит в следующем. Пусть из п-й вершины исходят дуги в вершины k,m,t т. е. возможен переход из п в k,m,t^^ В матрице смежности апр = апт = ant = ... = 1. Пусть далее в n-ю вершину входят дуги из вершин jjys т. е. возможен переход из jays,... в п. В матрице смежности = ... = 1. Отсюда следует, что существуют пути из вершин j,г, s,... в вершины к^тДи ГС можно пополнить
Рис. 2.2.1
Рис. 2.2.1
новыми дугами (j,k\ (j,mY... (см. пунктир на рис. 2.2.1). Элементы ajp,ajm,ast,... следует положить равными 1.
Алгоритм Уоршола включает N шагов по числу вершин ГС. Исходной для его работы является матрица смежности Ад = А.
Шаг 1. Находим множество строк, для которых первый элемент равен 1: lx = {z : сц\ = 1}. Для всех i Е Д корректируем соответствующие строки в матрице Ад по формуле а^ : = щ; V ах, где ai — Ая строка матрицы Ао, а операция сложения производится поэлементно в соответствии с правилом
Г 0, если b = с = О,11, в противном случае,
где Ь,сЕ {0,1}. Полученную в результате матрицу смежности обозначим через Дц
Шаг 2. Находим множество строк, для которых второй элемент равен 1: Д = Д : а^ = 1}. Для всех г Е 1о корректируем соответствующие строки в матрице Ах по формуле at : = ai V ао. Полученную в результате матрицу смежности обозначим через Aq.
Шаг N. Находим множество строк, для которых ^-й элемент равен 1: In = Д : a^N = 1}- Для всех z Е In корректируем соответствующие строки в матрице Ад^-i по формуле а^ := щ V aN. Полученная в результате матрица смежности An есть матрица достижимости D.
Рассмотрим ряд примеров.
Пример 1. Пусть МС и ГС имеют вид, представленный на рис. 2.2.2 и табл. 2.2.1.
Шаг 1. Ix = {1,3} од : = ах V ах = (110), аз : = аз V ах = = (110) (см. рис. 2.2.3).
Шаг 2. 1о = {1,3} =^ ах : = ах V ао = (111), аз : = аз V ао = = (111) (см/рис. 2.2.4).““
Шаг 3. I3 = {1,2, 3} =^ ах : = ах У аз = (111), ао : = ао У аз = = (111), аз : = аз У аз = (111) (см. рис. 2.2.5).
/ 1 1 0 \
ТГ 1 л, = 0 0 1
v' j ;\ 1 1 О /
Рис. 2.2.3
Рис. 2.2.5Рис. 2.2.5
Рис. 2.2.5
Рис. 2.2.5
Согласно полученной матрице D все пары вершин сообщаются. Уже после первого этапа алгоритма становится ясно, что ЦМ состоит из существенных состояний, образующих один КЭ.
Пример 2. Пусть МС и ГС имеют вид, представленный на рис. 2.2.6 и табл. 2.2.2.
Шаг 1 Л\ = {1,7} di : = ах V ах = (10 ... 0), пу : = а у V ах = = (110...0) Л1 = Ло.
Шаг2. Ь = {3,6,7} ^ а3 : = а3 V а2 = (0110...0), а6 : = = Пб V а2 = (0110100), ау : = а у V а2 = (1110 ... 0) (см. рис. 2.2.7).
Рис. 2.2.7Рис. 2.2.7
Рис. 2.2.7
Рис. 2.2.7
Шаг 3.1^ = {2,3,6,7} а2 : = а2 V а3 = (0110...0), а3 : = аз V а3 = (0110...0), сщ : = а^ V а3 = (0110100), а у : = = сщ V а3 = (1110 ...0) (см. рис. 2.2.8).
А4А4
А4
А4
Шаг 4 .Ц = 0 А^ = А3.
Шаг 5. 13 = {6} щ> а6 : = а6 V ад = (0110111) (см. рис. 2.2.9).
Шаг 6. 7g = {5, 6} =д а3 :=а3 V а6 = (0110111) (см. рис. 2.2.10).
Шаг 7. I7 = {4, 5, 6} ^ а^ : = ад V а у = (1110001), а3 : = = сщ V а7 = (1110111), сщ : = ад V ау = (1110111) (см. рис. 2.2.11).
Заметим, что построение матрицы D легко осуществляется на компьютере путем последовательного преобразования поля матрицы А согласно методу Уоршола.
Пример 3. Убедитесь самостоятельно, что для ГС, изображенного на рис. 2.2.12, МС и МД имеют вид, приведенный в таблицах 2.2.3, а и 2.2.3, б.
11111111111111111111111111111111Рис. 2.2.11Рис. 2.2.11
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Рис. 2.2.11
Рис. 2.2.11
Пример 4. Убедитесь самостоятельно, что для ГС, изображенного на рис. 2.2.13, МС и МД имеют вид, приведенный в таблицах 2.2.4, а и 2.2.4, б.
2.2.5, а и 2.2.5, б.
Этапы 2-4 алгоритма построения множества существенных состояний и его разбиения на классы эквивалентности. Предположим, что на первом этапе построена матрица достижимости D = {dzj} с элементами
dij —dij —1, если г у.1, если г у.О, в противном случае.О, в противном случае.(2.2.1)(2.2.1)
dij —
dij —
1, если г у.
1, если г у.
О, в противном случае.
О, в противном случае.
(2.2.1)
(2.2.1)
Напомним, что по основной теореме структурного анализа за любой вершиной ГС следует хотя бы одна вершина (§2.1),
123456781112113114151161711181123456781112113114151161711181Таблица 2.2.4, аТаблица 2.2.4,бТаблица 2.2.4, аТаблица 2.2.4,бj123456781111211111111311111111411151111111161117111111118111j123456781111211111111311111111411151111111161117111111118111Таблица 2.2.5, а
1
2
3
4
5
6
7
8
1
1
1
2
1
1
3
1
1
4
1
5
1
1
6
1
7
1
1
1
8
1
1
2
3
4
5
6
7
8
1
1
1
2
1
1
3
1
1
4
1
5
1
1
6
1
7
1
1
1
8
1
Таблица 2.2.4, аТаблица 2.2.4,б
Таблица 2.2.4, аТаблица 2.2.4,б
j
1
2
3
4
5
6
7
8
1
1
1
1
2
1
1
1
1
1
1
1
1
3
1
1
1
1
1
1
1
1
4
1
1
1
5
1
1
1
1
1
1
1
1
6
1
1
1
7
1
1
1
1
1
1
1
1
8
1
1
1
j
1
2
3
4
5
6
7
8
1
1
1
1
2
1
1
1
1
1
1
1
1
3
1
1
1
1
1
1
1
1
4
1
1
1
5
1
1
1
1
1
1
1
1
6
1
1
1
7
1
1
1
1
1
1
1
1
8
1
1
1
j г
1
2
3
4
5
6
7
8
9
10
11
12
13
14
1
1
2
1
1
3
1
1
4
1
5
1
6
1
7
1
8
1
1
9
1
1
1
10
1
1
11
1
12
1
1
1
13
1
1
14
1
1
т. е. для каждого % найдется такое j, что dyj = 1, следовательно, сумма
Уйц = 1 Vi.(2.2.2)
Наряду с матрицей D рассмотрим транспонированную матрицу достижимости D1 = ^^J с элементами
(Л = Д г = / Д’ если 3 г'(2.2.3)
vI 0, в противном случае. v 7
Матрицы D и DT позволяют на втором этапе общего алгоритма построить матрицу сообщаемости С = D х D" = {g,} с элементами
Су = dijdp = ( Д если г(2.2.4)
u и 1 0, в противном случае.v 7
Наряду с матрицей С рассмотрим матрицу несообщаемости С с элементами
_ = ( 0, если Cij = 1, т.е. г j,225
vв противном случае.к • 7
На третьем этапе строится матрица классификации состояний Т и ее расширение Тр: Т = D х С = {^j}, гДе
+ .. лГ L если dij = 1, с^ = 0,2
| Q если ^= Q
Равенство tij = 1 свидетельствует о том, что вершина ? является несущественной, ибо существует вершина j, в которую возможен переход (d^ = 1), но невозможно возвращение (cij = 0). В матрицу Тр по сравнению с матрицей Т добавлен (Ж + 1)-й столбец с элементами
л7
= Vt%3, i = 1,2,...Я.(2.2.7)
Из отмеченного свойства величины 1^ следует, что tiN^\ = 1 тогда и только тогда, когда г является несущественной вершиной.
Так как любая вершина может быть либо существенной, либо несущественной, то равенство tiNM = 0 свидетельствует о том, что вершина г является существенной.
Итак, (Ж + 1)-й столбец матрицы Тр дает разбиение множества состояний ЦМ S на подмножество существенных состояний Sc = V : ti^+1 = 0} и подмножество несущественных состояний Sh = {i : tiNM = 1 }•
На четвертом этапе строится матрица К классов эквивалентности. Для этой цели, прежде всего, из матрицы С удаляются все строки и столбцы, относящиеся к несущественным состояниям (Tn-m = 1). В оставшейся матрице все строки распадаются на группы совпадающих строк. Если от каждой такой группы оставить одну строку, то будет получена матрица К. Количество строк в ней равно количеству КЭ, а единичные элементы в каждой строке определяют состав каждого КЭ.
Продолжим рассмотрение примеров, для которых выше была построена матрица D.
В примере 1 матрице достижимости D, построенной на первом этапе, соответствует матрица DT = D, тогда
_/ ООО \
с = п^с= \^т = с^11Ым=о^^к = (т\
\ ООО /
Итак, цепь в первом примере действительно состоит из существенных состояний, образующих один КЭ.
В примере 2 на первом этапе построена матрица D, по которой построим таблицы 2.2.6, а, б, в, г.
Таблица 2.2.6, аТаблица 2.2.6, а3 г123456711111121111113111111451161171113 г123456711111121111113111111451161171113 г1234567112131451161173 г123456711213145116117Таблица 2.2.6, бТаблица 2.2.6, б
Таблица 2.2.6, а
Таблица 2.2.6, а
3 г
1
2
3
4
5
6
7
1
1
1
1
1
1
2
1
1
1
1
1
1
3
1
1
1
1
1
1
4
5
1
1
6
1
1
7
1
1
1
3 г
1
2
3
4
5
6
7
1
1
1
1
1
1
2
1
1
1
1
1
1
3
1
1
1
1
1
1
4
5
1
1
6
1
1
7
1
1
1
3 г
1
2
3
4
5
6
7
1
1
2
1
3
1
4
5
1
1
6
1
1
7
3 г
1
2
3
4
5
6
7
1
1
2
1
3
1
4
5
1
1
6
1
1
7
Таблица 2.2.6, б
Таблица 2.2.6, б
Цепь во втором примере имеет одно поглощающее состояние (г = 1), образующее единственный поглощающий КЭ. Состояния 2, 3,4, 5,6 — несущественные.
В третьем примере ЦМ имеет одно несущественное состояние (г = 3). Остальные состояния — существенные. Они образуют четыре КЭ. Из них 3 класса с номерами t = 1,2,4 являются
поглощающими и каждый состоит из одной вершины: 1, 2 и 8 соответственно. Третий класс состоит из четырех вершин 4, 5, 6, 7 (см. таблицы 2.2.7, а, б, в).
В четвертом примере существенными являются состояния 4,6,8. Они образуют единственный КЭ (см. таблицы 2.2.8, а, б, в).
В пятом примере ЦМ имеет пять существенных состояний, образующих два КЭ. Первый состоит из вершин 1 и 2, второй — из вершин 3,4,5 (см. таблицы 2.2.9, а, б, в).
.3. Алгоритм построения последовательностициклических подклассов класса эквивалентности
Рассмотрим КЭ цепи Маркова или, что эквивалентно, ЦМ с единственным КЭ без несущественных состояний. Как отмечалось в §2.1 со ссылкой на приложение 1, любое состояние г КЭ сообщается с самим собой. Обозначим через dp наибольший общий делитель (НОД) длин контуров, проходящих через вершину г, и назовем эту величину периодом состояния г. Можно
Таблица 2.2.8,а3 i123 4 567 812С = 3Тр41115611178111Таблица 2.2.8,а3 i123 4 567 812С = 3Тр411156111781113 i12345678V11111211113111140511116071111803 i12345678V1111121111311114051111607111180Таблица 2.2.8,бТаблица 2.2.8,б
Таблица 2.2.8,а
3 i
1
2
3 4 5
6
7 8
1
2
С = 3
Тр
4
1
1
1
5
6
1
1
1
7
8
1
1
1
Таблица 2.2.8,а
3 i
1
2
3 4 5
6
7 8
1
2
С = 3
Тр
4
1
1
1
5
6
1
1
1
7
8
1
1
1
3 i
1
2
3
4
5
6
7
8
V
1
1
1
1
1
2
1
1
1
1
3
1
1
1
1
4
0
5
1
1
1
1
6
0
7
1
1
1
1
8
0
3 i
1
2
3
4
5
6
7
8
V
1
1
1
1
1
2
1
1
1
1
3
1
1
1
1
4
0
5
1
1
1
1
6
0
7
1
1
1
1
8
0
Таблица 2.2.8,б
Таблица 2.2.8,б
Таблица 2.2.8, в
t
4
6
8
1
1
1
1
Таблица 2.2.9,а
3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
1
1
1
2
1
1
3
1
1
1
4
1
1
1
5
1
1
1
6
1
1
1
7
1
1
1
8
1
1
1
1
1
9
1
1
1
1
1
10
1
1
1
11
1
1
1
12
1
1
13
1
1
14
1
1
Таблица 2.2.9, б
3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
V
1
0
2
0
3
0
4
0
5
0
6
1
1
1
1
1
1
7
1
1
1
1
1
1
8
1
1
1
1
1
1
9
1
1
1
1
1
1
10
1
1
1
1
1
1
11
1
1
1
1
1
1
12
1
1
1
1
1
1
1
1
1
13
1
1
1
1
1
1
1
1
1
1
14
1
1
1
1
1
1
1
1
1
1
показать, что в пределах одного КЭ все состояния имеют один и тот же период [36, чЛ, §3], [10, гл. 4], т. е. dp = d. Если d 2, то КЭ называют циклическим (ЦКЭ). Множество его вершин S разбивается на d циклических подклассов (ЦП) Со, С\,..., Су-\, обладающих следующими свойствами:
в пределах каждого ЦП вершины не связаны дугами;
ЦП циклически замкнуты:
(2.3.1)
т. е. при 0 < k < d — 2 все вершины к-го ЦП связаны дугами с вершинами только (к + 1)-го ЦП, а все вершины (d — 1)-го ЦП связаны дугами с вершинами нулевого ЦП.
Если d = 1, то КЭ называют регулярным (РКЭ) или ациклическим. РКЭ можно рассматривать как циклический с одним
подклассом. Если хотя бы одна вершина в пределах КЭ имеет петлю, то этот КЭ является регулярным, ибо петля есть контур единичной длины.
Рассмотрим три примера КЭ (см. рис. 2.3.1, а, б, в).
Рисунок 2.3.1,(2 соответствует циклическому КЭ с d = 3, и ЦП: Со = {1,2} , С} = {3,4}, С2 = {5} (достаточно рассмотреть контуры 1 3 5 1 и 1 3 5 2 4 5 1, проходящие через вершину 1).
Рис. 2.3.1
Наличие петли у вершины 1 на рис. 2.3.1,6 является достаточным условием регулярности КЭ.
Рисунок 2.3.1, в также соответствует регулярному КЭ (достаточно рассмотреть контур 1351 длины 3 и контур
12451 длины 4 с НОД d = 1).
Введем одно полезное понятие.
Пусть г — вершина ГС, тогда множество вершин Г(Ц = = ^з : cLij = 1} называют образом вершины г.
Пусть В — множество вершин ГС, тогда множество вершин Г(В) = |J Г(Ц называют образом множества вершин В.
ieB
В трех примерах выше Г(1,2) = {3,4}, Г(1,2) = {1,3,4}, Г(1,2) = {2,3,4} соответственно.
Перейдем к изложению алгоритма построения последовательности ЦП (2.3.1). Он состоит в построении последовательности попарно непересекающихся подмножеств Sq, S},... множества вершин S вплоть до получения его разбиения в виде подклассов Со, Сх,..., Сд-х, обладающих свойствами 1 и 2. Случай, когда d = 1, не исключается.
Шаг 1. Выбираем произвольную вершину г Е S и образуем множество Sg = {Q.
Шаг 2. Строим последовательность множеств вершин: Sx = = F(So),S9 = F(Si),... до тех пор, пока впервые при некотором к множество Sp не пересечется с одним или несколькими из предшествующих множеств Sq, Sx ,..., Sp_x.
Шаг 3. Если Sy = So, то алгоритм завершен, и Cq = So, Ci = — 511 i Су — 1 — Sy — Ь ^ — ^-
Если Sy Ф So, но пересекается c Sp, St2,то эти множества исключаются из последовательности, a Sy заменяется множеством Sy U Sp U St2VJ ... После этого члены последовательности нумеруют заново числами 0, 1,2... и продолжают алгоритм снова по формулам шага 2.
Таким образом, алгоритм завершает свою работу при выполнении условия 5о 51 ^ ... ^ Sy-x So, т. е. полученная последовательность циклически замкнута. Элементы последовательности не пересекаются, т. к. на каждом шаге предусмотрена процедура устранения пересечений. Вершины, относящиеся к любому подмножеству Sy, не связаны дугами, ибо в противном случае Sy^x = Г(5&) пересекалось бы с Sy. В процессе построения последовательности So, Sx,..., Sy ни одна из вершин j не может быть пропущена, т. к. любой КЭ состоит из попарно сообщающихся вершин. Пусть вершина i Е So связана путем (i, kx), (kx, ко),..., (кп_х, кп), (kn,j) с вершиной j. Тогда г отображается посредством Г в подмножество, содержащее кх, кх отображается в подмножество, содержащее ко, и т. д., кп отображается посредством Г в подмножество, содержащее j. Процедура устранения пересечений не дает потери вершин за счет объединения подмножества Sy, пересекающегося с ранее построенным подмножеством St, t < к. Таким образом, последовательность So, Sx,..., Sy-x образует разбиение множества всех состояний 5 класса эквивалентности.
Завершая обоснование алгоритма, заметим, что нумерация подмножеств So, Sx,... неоднозначна и зависит от выбора начальной вершины, но «закон цикличности» остается неизменным.
Переходя с языка теории графов на язык теории ЦМ, предположим, что циклический КЭ имеет период d, и Со, Сх,..., Су\ ™ его циклические подклассы. Пусть Су содержит гу состояний и
^2 ту = N. Введем следующую нумерацию состояний:
вершины Со : 1,2,..., tq,
вершины Cq : tq + 1, гд + 2,..., tq + щ и т. д., вершины Су-х : щ + г2 + ... + гу^ + 1,гх + г2 + ... + ту^ + + 2,... ,гх + Го + ... + Гу_о + гу-х = N.
При такой нумерации (назовем ее естественной) в силу указанных выше свойств ЦКЭ и его подклассов матрица вероятностей переходов Р имеет вид, представленный в табл. 2.3.1.
Здесь блоки Рк-х,ь к = 1,2,...,d — 1, и ра^хр содержат вероятности перехода из (к — 1)-го подкласа в к-й и из (d — 1)-го в нулевой. Блоки имеют размеры Гк-х х гр, га-х х tq. Главная диагональ МВП состоит из нулей, первые d— 1 блоков расположены выше главной диагонали, d-й блок — ниже главной диагонали.
Переход за один шаг переводит систему из состояния г Е Е Ск-х в состояние j Е Ск (из г Е Са-х в состояние j Е Cq). Переход за два шага переводит систему из состояния г Е Ск-х в состояние j Е Ск+х (из г Е Са-х в состояние j Е Сх). Наконец, переход за d шагов переводит систему в состояние того же подкласса. Исходный КЭ через d, 2d,... шагов распадается на d замкнутых КЭ с МВП Pq vpd9,... ,р^_х о- Можно показать [10, гл.4], что при всех достаточно больших к pQd > 0, pxd9 > 0,..., р^ 0 > 0.
Продолжим рассмотрение трех примеров, заданных рисунками 2.3.1, а, б, в.
Пусть Sq = {1} Sx= {3} S2 = {5} S3 = {1,2}. Но Sq П S3 Ф 0, исключаем So = {1}, замечаем, что So U S3 = S3, меняем нумерацию So = {3} Si = {5} S2 = {1,2} продолжаем построение последовательности S3 = {3,4}. Вновь обнаруживаем пересечение So с S3, исключаем So, меняем нумерацию и продолжаем построение So = {5} Si = {1,2} S2 = = {3,4} S3 = {5}. Обнаруживаем, что So = S3. Построение закончено, получаем Со = {5} С} = {1,2} С2 = {3,4} , d = 3.
Пусть So = {5} Si = {1,2} S2 = {1,3,4}. Обнаруживаем пересечение S2 с Si, исключаем Si, заменяем S2 на S2 U Si ={1,2,3,4}, вводим новую нумерацию So = {5} Si = = {1,2, 3,4} продолжаем построение S2 = {1,5}. Вновь обнаруживаем пересечение S2 с So и Si, исключаем So и Si из последовательности, заменяем S2 на S2 U Si U So = {1,2, 3,4, 5}
и, продолжая построение, получаем Si = {1,2,3,4,5} = Sq. Алгоритм завершен со следующими результатами: Со = So = = {1,2,3,4,5}, d = 1.
Пусть So = {3} Si = {5} S2 = {1,2} S3 = {2,3,4}. Обнаруживаем пересечение S3 с So и S2, исключаем So и S2 из последовательности, заменяем S3 на S3 U So U S2 = {1,2, 3,4}, вводим новую нумерацию So {5} Si = {1,2, 3,4} и продолжаем построение S2 = {1,2, 3,4, 5}. Вновь обнаруживаем пересечение S2 с So и Si, строим новую последовательность So = {1,2, 3,4, 5} Si = {1,2, 3,4, 5}, в которой So = Si. Получаем Со = So = {1,2, 3,4, 5}, d = 1.
Дополним эти примеры.
Рассмотрим КЭ с ГС, изображенным на рис. 2.3.2. Строим последовательность ЦП. Пусть So = {1} Si = {2,4,6} S2 = {1,3,5}. Корректируем последовательность и продолжаем построение So = {2,4,6} Si = {1,3,5} Sc = = {2,4,6}. So = S2 Со = So = {2,4,6},
Рис. 2.3.3Рис. 2.3.3Рис. 2.3.201 = Si = {1,3,5}, d = 2. В естественнойнумерации состояний ГС и МВП принимают вид, представленный на рис. 2.3.3, табл. 2.3.2.Рис. 2.3.201 = Si = {1,3,5}, d = 2. В естественнойнумерации состояний ГС и МВП принимают вид, представленный на рис. 2.3.3, табл. 2.3.2.
Рис. 2.3.3
Рис. 2.3.3
Рис. 2.3.201 = Si = {1,3,5}, d = 2. В естественной
нумерации состояний ГС и МВП принимают вид, представленный на рис. 2.3.3, табл. 2.3.2.
Рис. 2.3.201 = Si = {1,3,5}, d = 2. В естественной
нумерации состояний ГС и МВП принимают вид, представленный на рис. 2.3.3, табл. 2.3.2.
Пусть ГС некоторого КЭ изображен на рис. 2.3.4.
Строим последовательность ЦП без комментариев:
So = {1} Sx = {2} ^S2 = {3,5} S3 = {4,10}
S4 = {1,6,8}^ So П54^0;
S0 = {2}^Si = {3,5} -> S2 = {4,10} ^S3 = {1,6,8}^
^S4 = {2,7}^SoAS4^0;
S0 = {3,5}^S! = {4,10} S2 = {1,6,8} S3 = {2, 7}
^S4 = {3,5,9}^SonS4#0;
So = {4, 10} Si = {1,6,8} S2 = {2, 7} S3 = {3, 5,9}
S4 = {4, 10} => So = 84.
Ответ: Со = {4,10} Ci = {1,6,8} Q = {2,7} С3 = = {3,5,9}, d = 4.
В естественной нумерации состояний ГС и МВП принимают вид, представленный на рис. 2.3.5, табл. 2.3.3.
§2.4. Классификация цепей Маркова. Каноническаяформа матрицы вероятностей перехода
Выше мы установили следующие свойства ЦМ.
Множество всех состояний S = {1,2,..., Ж} ЦМ можно разбить на два подмножества существенных Sc и несущественных SH состояний;
Множество Sc состоит хотя бы из одного состояния, его можно разбить на конечное число замкнутых КЭ. Попав в такой КЭ, система навсегда остается в нем.
Множество SH является открытым, и в процессе своей эволюции система рано или поздно перейдет в одно из существенных состояний. Множество SH может быть пустым, но в этом случае далее предполагается, что множество существенных состояний образует единственный КЭ.
Множество состояний КЭ можно разбить на конечное число подклассов, образующих циклически замкнутую последовательность, в частности КЭ может состоять из одного подкласса.
Цепи, для которых 5Н = 0 и 5С образует единственный КЭ, называются неразложимыми (НЦ) или неприводимыми, или эргодическими.
Если этот класс является регулярным, то цепь называется неразложимой регулярной (НРЦ), если же КЭ является циклическим, то цепь называется неразложимой циклической (НЦЦ).
Цепь, содержащая и существенные и несущественные состояния, называется разложимой (РЦ) или приводимой. Разложимая цепь может включать один или несколько КЭ. В первом случае она называется моноэргодической (МЦ), во втором — полиэргодической (ПЦ).
Если единственный КЭ является регулярным, то цепь называется моноэргодической регулярной (МРЦ), в противном случае — моноэргодической циклической (МЦЦ). В частном случае, когда регулярный КЭ является поглощающим, то цепь называется моноэргодической поглощающей (МПЦ).
Полиэргодическая цепь также может быть нескольких типов: полиэргодической регулярной (ПРЦ), если все КЭ являются регулярными, полиэргодической циклической (ПЦЦ), если все
КЭ являются циклическими, и полиэргодической смешанной (ПСЦ), если одни КЭ являются регулярными, а другие циклическими. В частном случае, когда все КЭ являются регулярными поглощающими, цепь называется полиэргодической поглощающей (ППЦ).
На рис. 2.4.1 представлена схема классификации ЦМ. Примеры цепей каждого типа приведены на рис. 2.4.2.
Рис. 2.4.1Рис. 2.4.1
Рис. 2.4.1
Рис. 2.4.1
При анализе ЦМ весьма удобной является форма представления МВП, которую называют канонической или полной канонической.
Рассмотрим наиболее общий тип цепи — полиэргодическую цепь, содержащую L классов эквивалентности. Занумеруем их L числами 1,2,..., L. Пусть Ай КЭ включает Nt состояний ^ М =
= Nc. Очевидно, Аф — число существенных состояний, тогда Аф = М — Аф — число несущественных состояний, М — число всех состояний.
Для нумерации состояний цепи будем придерживаться следующего правила, которое также называют каноническим. Состояния 1-го КЭ имеют номера 1,2, ...,Аф, состояния 2-го КЭ имеют номера Аб + ЦАЦ + 2, ...,Аф + Аф, и т. д., состояния L-ro КЭ имеют номера 7Ц + ... + Ml-i + 1,^ + ... + АЦ-i + + 2,..., Mi + ... + Nl = Аф. Несущественные состояния имеют номера Аф + 1, Аф + 2,..., Аф + Аф = М и нумеруются произвольно.
Получаемую при канонической нумерации форму МВП называют канонической, если же используется естественная нумерация состояний (§2.3), то получаемую форму МВП называют полной канонической.
Рис. 2.4.2
Под полным структурным анализом цепи понимают:
общий анализ структуры цепи (определение множеств существенных и несущественных состояний и разбиение множества существенных состояний цепи на КЭ),
структурный анализ каждого КЭ (построение последовательности циклических подклассов),
определение типа цепи и запись МВП в канонической форме (табл. 2.4.1)
Рассмотрим два примера полного структурного анализа ЦМ.
ример 1. Пусть ГС и МС цепи имеют вид, представленный на рис. 2.4.3, табл. 2.4.2.
Для проведения общего анализа структуры цепи воспользуемся алгоритмом, изложенным в §2.2. Получим последовательность матриц (табл. 2.4.3, а-г\ В данной цепи 9 существенных состояний: 1, 3, 4, 5, 6, 8, 9, 11, 12, образующих два КЭ. Первый КЭ включает состояния 1, 8, 9, второй КЭ включает состояния 3, 4, 5, 6, И, 12.
Таблица 2.4.2
2
1
2
3
4
5
6
7
8
9
10
11
12
1
1
1
2
1
1
3
1
4
1
1
5
1
1
6
1
7
1
1
1
8
1
1
9
1
1
10
1
1
11
1
12
1
Рис. 2.4.3Рис. 2.4.3
Рис. 2.4.3
Рис. 2.4.3
Для проведения структурного анализа КЭ воспользуемся алгоритмом, изложенным в §2.3. Для первого КЭ имеем: Sq = = {1} Si = {8,9} S2 = {1,8} So П S2 # 0, Si П S2 # 0
So = {1,8, 9}Si ={1,8,9}, КЭ-1 является регулярным.
Для второго КЭ имеем: So = {5} Si = {4, 1,2} S2 = = {3,6, 11} S3 = {5}. Итак, So = S3, и КЭ-2 состоит из трех
ЦП: ЦП-1 = {5}, ЦП-2 = {4, 1,2}, ЦП-3 = {3,6, И}.
Рассматриваемая цепь является полиэргодической смешанной.
Таблица 2.4.3, а
3 г
1
2
3
4
5
6
7
8
9
10
и
12
1
1
1
1
2
1
1
1
1
1
1
1
1
1
3
1
1
1
1
1
1
4
1
1
1
1
1
1
5
1
1
1
1
1
1
6
1
1
1
1
1
1
7
1
1
1
1
1
1
1
1
1
1
1
8
1
1
1
9
1
1
1
10
1
1
1
1
1
1
1
И
1
1
1
1
1
1
12
1
1
1
1
1
1
Таблица 2.4.3, б
с =
7
1
1
2
3
4
5
6
7
8
9
10
и
12
1
1
1
1
2
1
1
1
1
1
1
3
1
1
1
1
1
1
4
1
1
1
1
1
1
5
1
1
1
1
1
1
6
1
1
1
1
1
1
7
8
1
1
1
9
1
1
1
10
11
1
1
1
1
1
1
12
1
1
1
1
1
1
Для записи МВП в полной канонической форме введем каноническую нумерацию состояний цепи, включающую естественную нумерацию состояний в КЭ (на рис. 2.4.4 дан ГС с полной канонической нумерацией состояний, табл. 2.4.4 задает МВП в полной канонической форме).
Таблица 2.4.3, в
3 i
1
2
3
4
5
6
7
8
9
10
11
12
V
1
0
2
1
1
1
1
1
1
1
1
1
1
3
0
4
0
5
0
6
0
7
1
1
1
1
1
1
1
1
1
1
1
1
8
0
9
0
10
1
1
1
1
1
1
1
1
11
0
12
0
Таблица 2.4.3, г
t
1
3
4
5
6
8
9
11
12
1
1
1
1
2
1
1
1
1
1
1
Рис. 2.4.4Рис. 2.4.5
Пример 2. Пусть ГС и МС цепи имеют вид, представленный на рис. 2.4.5, табл. 2.4.5.
3 Г. А. Соколов, Н. А. Чистякова
Таблица 2.4.4
7
1
2
3
4
5
6
7
8
9
10
и
12
1
X
X
2
X
X
3
X
4
X
5
X
6
X
7
X 1
1 X
8
X
X
9
X
10
X
X
И
X
X
X
X
12
X
X
Общий анализ структуры позволяет утверждать, что цепь имеет 17 существенных состояний, образующих три КЭ. КЭ-1 включает состояния с 1 по 6, КЭ-2 включает состояния с 7 по 16, наконец, КЭ-3 = {17} является поглощающим.
Структурный анализ КЭ был проведен в §2.3 со следующими результатами. КЭ-1 включает 2 циклических подкласса Со = {1,2,3}, Ci = {4,6,5}; КЭ-2 включает 4 циклических подкласса: Со = {7,8}, Ci = {9, 10,11}, С2 = {12,13}, С3 = {14,15, 16}.
Состояния цепи уже имеют полную каноническую нумерацию, и для построения МВП достаточно заменить единицы в МС соответствующими вероятностями перехода.
Задачи.
В завершение главы в качестве самостоятельных упражнений предлагается дать полный структурный анализ цепей Маркова, заданных графами состояний на рисунках 2.4.6-2.4.15.
Рис. 2.4.6
(
Рис. 2.4.8
3х
Рис. 2.4.7
Рис. 2.4.9
Рис. 2.4.10Рис. 2.4.10
Рис. 2.4.10
Рис. 2.4.10
Рис. 2.4.11
Рис. 2.4.12Рис. 2.4.13
Рис. 2.4.14Рис. 2.4.15
Глава 3
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИЦЕПЕЙ МАРКОВА
В этой главе рассматривается методология долгосрочного прогноза поведения ЦМ девяти типов (глава 2), которая излагается в форме пяти предельных теорем. К числу основных следует отнести общую теорему, теорему о предельном поведении регулярной цепи и теорему о предельном поведении полиэрго- дической поглощающей цепи. Трудности, связанные с анализом долгосрочного прогноза поведения цепей с циклическими классами эквивалентности, приближенно устраняются путем регуляризации матрицы вероятностей перехода.
Два параграфа главы посвящены двум классам ЦМ, имеющим большое прикладное значение. Это цепи случайного блуждания и цепи, моделирующие системы снабжения.
. Предварительные сведения. Общая теоремао предельном поведении цепи
Эволюция ЦМ описывается МВП и вектором вероятностей состояний (ВВС) за п шагов: Р^ = Рп и тг^ = л^Рп, следовательно, долгосрочный прогноз цепи определяется матрицами
lim р(п) и lim тг^Г
В связи с этим возникают следующие вопросы:
при каких условиях эти пределы существуют,
если они существуют, то как их найти,
при каких условиях существуют стационарные режимы функционирования систем,
как найти математическое ожидание длительности пребывания системы в том или ином состоянии?
На эти и другие вопросы призваны ответить нижеследующие предельные теоремы. Однако предварительно введем необходимые новые понятия.
Говорят, что последовательность матриц Рп = (р\^) сходится при п —> оо к матрице П = (л^), а последовательность векторов Л^ = (л^,..., л^) сходится к вектору Л = (ль , Лдг) сильно, если \/i,j 6 {1,2,...,М} имеет место поэлементная сходимость 1<з ^з и ^з-
Матрица Р = al + (1 — сфР, где 0 < a < 1, I — матричная единица, называется регуляризованной по Эйлеру матрицей Р.
Если Р — МВП цепи, то Р также является МВП. Действительно,
р . = f (1 -<ПРч >0 при i/j,
'i 1(1- а)Ргг + «>(!- aXi + аРп = Ра ^ 0 при г = j
И
При малых а матрицы Р и Р близки.
Говорят, что последовательность матриц Рп сходится при п оо к матрице П, а последовательность векторов Л'7^ сходится к вектору л слабо (по Эйлеру), если последовательности матриц Р и векторов л = тг^^Р сходятся к матрице П и вектору л сильно.
В связи с понятием слабой сходимости уместно напомнить мнение Беллмана и Дрейфуса [2, с. 389]: «Малые изменения элементов МВП внесут пренебрежимый эффект в поведение цепи в целом».
Матрица П и вектор л называются соответственно финальной МВП и финальным ВВС в сильном или слабом смысле, если они являются стохастическими.
Всякая сильно сходящаяся последовательность матриц и векторов является одновременно и слабо сходящейся к тому же самому пределу. Это является следствием равенства
Р = U>I + О - сМЫ =-а^РЬ
i=0
Вектор-строка тг = (tti ,..., тгдф называется неподвижным стохастическим вектором для матрицы Р, если тг = кР, Ki ^ О, L
Справедливо утверждение: если тг — неподвижный стохастический вектор для матрицы F, то тг ™ неподвижный стохастический вектор и для матрицы Р, и наоборот.
Итак, пусть тг = тгР, тогда
тг = к {al + (1 — а)Р) = атг + (1 — а)кР =^
=> (1 — сфтг = (1 — а)кР =^ тг = тгР,
т. е. тг — неподвижный стохастический вектор для матрицы Р.
Вектор тг = (ttiтгдф называется строго стохастическим, если для всех j Kj > 0 и ^ ^з = 1- з
Матрица П называется строго стохастической, если все ее строки являются строго стохастическими векторами.
ВВС тг^ = к^Р называется стационарным, если он не зависит от п. Для любой ЦМ неподвижный стохастический вектор является стационарным ВВС. Действительно, пусть тг^ = ^, тогда к^ = кРп = {кРуп™х = кРп™х = {кР)Рп™2 = кРп^ = = ... = тгР = тг.
Общая теорема о предельном поведении ЦМ. В главе 2 при изучении механизма перехода системы из одного состояния в другое отмечалось, что при старте из НС система рано или поздно перейдет в одно из существенных состояний некоторого класса эквивалентности и при дальнейшем функционировании никогда не покинет этот класс. Если перевести это свойство на теоретико-вероятностный язык, то мы получим следующую общую теорему [14, с. 62].
Теорема. В любой конечной ЦМ независимо от того, где начался процесс, вероятность оказаться в существенном состоянии после п шагов стремится к 1 при п —> ос.
Доказательство. Если исходное состояние i Е Sc, т. е. является существенным, то согласно §§2.1, 2.2 р^ = 0 Vn = = 1,2,... и ^j е SH.
Пусть исходное состояние г Е S^, т. е. является несущественным. В упомянутых выше параграфах было установлено, что за каждым несущественным состоянием следует хотя бы одно существенное, т. е. с положительной вероятностью
р^ > 0 существует путь перехода системы из z-ro НС в у-е СС г 1\ ^2 ••• ^г-1 ji Е Sc за kt шагов через НС СДз ^г™ь Так как число состояний конечно, то за k = max Ад шагов система из любого НС перейдет в СС.
Итак, существует число р Е (0, 1] такое, что для всякого г е 5Н найдется такое Д е Sc, что вероятность перехода р^ р> > 0. Следовательно, вероятность не достигнуть какого-либо СС за кг шагов не превосходит (1 — р)Т, а эта вероятность стремится к нулю при г ос, что и требовалось доказать.
§3.2. Теорема о предельном поведениинеприводимой цепи
Напомним, что неприводимая цепь состоит только из СС, образующих единственный КЭ. Этот класс может быть как регулярным, так и циклическим.
Теорема. Пусть Р — МВП и тг^ — ВНВ неприводимой цепи, тогда
последовательность Рп при п —> оо сходится к финаль- (ТГ \
... I с одинако-
ТГ /
выми строками тг = (яд,... ,tqv) сильно (слабо), если неприводимая цепь является регулярной (циклической),
для любого ВНВ = (тг^тг^) последовательность ВВС тг^ = (тг^^jv^) пРи п ос сходится к финальному строго стохастическому вектору тг (являющемуся строкой матрицы П) сильно (слабо), если НЦ является регулярной (циклической),
вектор тг является единственным неподвижным строго стохастическим вектором для МВП Р (как регулярной, так и циклической).
Пусть v^ — доля времени за первые п шагов, которую НЦ проводит в j-м состоянии, тогда для всех тг^ и всех j
яд сильно (слабо), если НЦ является регулярной (циклической).
Доказательство и комментарии.
В пункте 1 теоремы утверждается, что для НРЦ при п —> оо последовательность Рп имеет предел в виде строго сто-
хаотической матрицы П = (яуу). Все строки этой матрицы совпадают с вектором тг = (тг1яру), т. е. для всех г и j вероятность перехода из г-го состояния в j-e за п шагов р^ лщ = тг7- > О,
причем 7Tj зависит от конечного состояния и не зависит от начального. Этот факт содержится в эргодической теореме, доказанной в приложении 2.
Если цепь является циклической, то согласно §2.3 местоположение нулей в последовательности матриц Рп при п оо также меняется циклически, поэтому lim Рп не существует.
Матрица Эйлера Р, полученная в результате регуляризации матрицы Р, является стохастической (см. §3.1) с диагональными элементами, равными а > 0, т. е. является МВП НРЦ. Граф состояний регуляризованной цепи отличается от ГС ис
ходной цепи наличием петель у всех вершин. Отсюда следует, \
что Р П =.... Эта матрица принимается в качестве
\ 7Г /
финальной МВП (в слабом смысле) НЦЦ. Как будет показано
ниже, П = П = I ... ], где тг является неподвижным строго \ ТГ /
стохастическим вектором матрицы Р.
Рассмотрим два примера.
Пример 1. Пусть МВП НРЦ представлена табл. 3.2.1 и
характеризует изменение метеоусловий в некотором районе при смене суток [14, с. 45]. Не представляет труда определить Р2, Р\ Р8 = П (табл. 3.2.2, а-вУ
Таблица 3.2.1
3 г
Дождь
Ясно
Снег
д
1/2
1/4
1/4
я
1/2
0
1/2
с
1/4
1/4
1/2
Вероятность дождя через 8 дней после дождливого дня (0,4) практически равна вероятности этого события после ясного или снежного дня.
Таблица 3.2.2, аТаблица 3.2.2, аТаблица 3.2.2, бТаблица 3.2.2, бТаблица 3.2.2, вТаблица 3.2.2, в0,4370,1870,3750,3750,250,3750,3750,1870,4370,4370,1870,3750,3750,250,3750,3750,1870,4370,4020,1990,3980,3980,2030,3980,3980,1990,4020,4020,1990,3980,3980,2030,3980,3980,1990,4020,4000,2000,4000,4000,2000,4000,4000,2000,4000,4000,2000,4000,4000,2000,4000,4000,2000,400
Таблица 3.2.2, а
Таблица 3.2.2, а
Таблица 3.2.2, б
Таблица 3.2.2, б
Таблица 3.2.2, в
Таблица 3.2.2, в
0,437
0,187
0,375
0,375
0,25
0,375
0,375
0,187
0,437
0,437
0,187
0,375
0,375
0,25
0,375
0,375
0,187
0,437
0,402
0,199
0,398
0,398
0,203
0,398
0,398
0,199
0,402
0,402
0,199
0,398
0,398
0,203
0,398
0,398
0,199
0,402
0,400
0,200
0,400
0,400
0,200
0,400
0,400
0,200
0,400
0,400
0,200
0,400
0,400
0,200
0,400
0,400
0,200
0,400
Пример 2. Пусть МВП НЦЦ в естественной форме имеет вид, представленный табл. 3.2.3, а-д.
111/21/21/21/21/21/2111/21/21/21/21/21/2
1
1
1/2
1/2
1/2
1/2
1/2
1/2
1
1
1/2
1/2
1/2
1/2
1/2
1/2
1/21/21/21/21/21/21/21/211/21/21/21/21/21/21/21/211/21/21/21/2111/21/21/21/21/21/2111/21/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1
1/2
1/2
1/2
1/2
1
1
1/2
1/2
1/2
1/2
1/2
1/2
1
1
1/2
1/2
местоположения нулей, lim Рп не существует. Блоки МВП Р3 соответствуют трем изолированным НРЦ.местоположения нулей, lim Рп не существует. Блоки МВП Р3 соответствуют трем изолированным НРЦ.
местоположения нулей, lim Рп не существует. Блоки МВП Р3 соответствуют трем изолированным НРЦ.
местоположения нулей, lim Рп не существует. Блоки МВП Р3 соответствуют трем изолированным НРЦ.
Б. В пункте 2 теоремы утверждается, что в случае НРЦ строка л финальной матрицы П есть финальный ВВС. Действительно, согласно (1.2.5)
л = lim л^ = lim tv^P11 = л^П = п-^-ооп^осл = lim л^ = lim tv^P11 = л^П = п-^-ооп^ос(ттц Л2,.(ттц Л2,.
л = lim л^ = lim tv^P11 = л^П = п-^-ооп^ос
л = lim л^ = lim tv^P11 = л^П = п-^-ооп^ос
(ттц Л2,.
(ттц Л2,.
Легко видеть, что финальный ВВС не зависит от ВНВ л^ и согласно первому утверждению теоремы является строго стохастическим. Это означает, что при п ш система побывает во всех состояниях независимо от стартового состояния, которое «с течением времени забывается».
Сказанное справедливо и для последовательности л = = ^Wp л. Этот вектор и принимается в качестве финаль
ного ВВС (в слабом смысле). Как будет показано ниже, л = л, где л — неподвижный строго стохастический вектор матрицы Р.
Перейдем к третьему утверждению теоремы. Неподвижным для матрицы Р называется вектор л, являющийся решением системы уравнений л = лР (см. §3.1). Эта однородная система линейных уравнений, которую можно записать в виде л(1 — Р) = О, имеет вырожденную матрицу
1-Pll -Р12••• "P1N \
—Р211 — Р22 ••• —Pl2N
-рш -Рт V-pNNJ
т. к. в случае стохастической матрицы Р сумма столбцов матрицы I — Р равна нулевому столбцу. Вырожденная однородная система имеет бесконечно много решений [40, гл.З], но строго стохастическое решение единственно.
Прежде всего покажем, что в случае НРЦ неподвижный вектор л матрицы Р есть строго стохастический финальный ВВС. Действительно, л = лР = (ттР)Р = лР2 = (лР)Р2 = лР3 = = ... = лРД и согласно первым двум утверждениям теоремы л = lim Рп для любых ВНВ, в том числе и для л^ = л. Отсюда
следует и единственность строго стохастического неподвижного вектора, ибо если предположить, что их два — тг и 3, то получим 3 = ЗРп и Для любых ВНВ, в том числе и для тг^ = /3, 3 = lim ЗРП = л. Согласно §3.1 неподвижный вектор тг является единственным стационарным ВВС для НЦ.
Продолжим рассмотрение примера 1 и найдем строго стохастическое решение системы уравнений тг = тгР, которое в данном примере имеет вид
Ць ТГ2, ТГз),Ць ТГ2, ТГз),/1/2 1/4 1/4 \ (тп.тгз.тгз) 1/201/2
Ць ТГ2, ТГз),
Ць ТГ2, ТГз),
\ 1/4 1/4 1/2 /
или
г111
-7Г14-2^2+^ТГз= 7Г1
< -ТГ] 4- Ояд + ^7Гз = ЯД
11
<471"1+271"2+2773=
Мы получили однородную систему трех уравнений с тремя неизвестными и вырожденной матрицей. Исключаем из системы первое уравнение и вместо него включаем нормирующее условие:
’ ТГ] + ТГ2 + 7Г3 = 1
11А
<4771 ~= °
111
Г1 + 2772 " 2773 =
Решение системы имеет вид ти = 2/5, тг2 = 1/5, яд = 2/5, следовательно,
/ 2/51/52/5\
П=2/51/52/5.
\ 2/51/52/5/
В случае НЦЦ матрица Ртакже имеетнеподвижный век
тор тг, удовлетворяющий системе уравнений тг = тгР. В §3.1 доказано, что этот вектор одновременно является неподвижным вектором для матрицы Эйлера Р, являющейся МВП НРЦ, следовательно, этот вектор единственный и строго стохастический.
В качестве иллюстрации продолжим рассмотрение примера 2 и найдем строго стохастическое решение системы уравнений тг = = тгР, которое в данном примере имеет вид
О ООО ООУ 1/2У 1/2О О О о 1/2О О О о 1/21оо \О1оО01О01ООО/11— 71"5 — 7Г21оо \О1оО01О01ООО/11— 71"5 — 7Г212^5 =1— 7Г5 — 7Г212^5 =1— 7Г5 — 7Г2
О О
О
О О
О
У 1/2
У 1/2
О О О о 1/2
О О О о 1/2
1оо \
О1о
О01
О01
ООО/
1
1
— 71"5 — 7Г2
1оо \
О1о
О01
О01
ООО/
1
1
— 71"5 — 7Г2
1
2^5 =
1
— 7Г5 — 7Г2
1
2^5 =
1
— 7Г5 — 7Г2
7Г] — 7Г37Г2 = 7Г4. 7Г3 + 7Г4 = 7Г57Г] — 7Г37Г2 = 7Г4. 7Г3 + 7Г4 = 7Г57Г] — 7Г3
7Г] — 7Г3
7Г2 = 7Г4
. 7Г3 + 7Г4 = 7Г5
7Г] — 7Г3
7Г2 = 7Г4
. 7Г3 + 7Г4 = 7Г5
ТГ2 = ТГ4
. 7Г1 + ТГ2 + 7Г3 + ТГ4 + ТГ5 = 1
Последняя система получена заменой пятого уравнения на нормирующее уравнение. Решение системы имеет вид
ТГ} = ТГ2 = ТГ3 = ТГ4 = 1/6, Л5 = 2/6,
следовательно,
/1/6
1/6
1/6
1/6
2/6 \
1/6
1/6
1/6
1/6
2/6
п =
1/6
1/6
1/6
1/6
2/6
1/6
1/6
1/6
1/6
2/6
У 1/6
1/6
1/6
1/6
2/6/
Г. Четвертое утверждение для НРЦ доказано в приложении 4. В случае НЦЦ математическое ожидание доли времени за п шагов, которую регуляризованная цепь проводит в j-m состоянии, сходится при 77 ос к у-й компоненте неподвижного для Р вектора тг (т. к. тг = тг). Это позволяет утверждать, что при малых а и достаточно больших значениях п как для НРЦ, так и для НЦЦ Mv^ лу, что подтверждает данную Ховардом [35, с. 29] интерпретацию тг/ как вероятности обнаружения системы в у-м состоянии в любой достаточно удаленный от старта момент времени, фиксированный для НРЦ и случайный для НЦЦ.
В заключение рассмотрим еще несколько примеров.
Пример 3. Допустим, что в некотором городе каждый год 4% жителей переселяются в пригороды, а 1% жителей пригородов — в город. Предполагая, что общее число жителей города и пригорода остается постоянным, найдем окончательное распределение жителей между городом и пригородом.
Описанный процесс миграции населения моделируется цепью Маркова с МВП Р = f q’q^ 0 99 У ^Усть = (М^’
(0)(0)
где тг^ — начальная доля городского населения, а лу ™ начальная доля населения пригорода, тогда тг^ — вектор долей спустя п лет. Задача состоит в том, чтобы найти финальный ВВС тг = Нштг^. Найдем этот вектор из системы уравнений ( 0,96?Г1 + 0,01тГ2 = 7Г1л о ы
<.,. Очевидно, Tri = 0,2, яд = 0,8. Итак, че-
[ ЯД + ТГ2 = 11
рез много лет доля городского населения составит 80%, а пригорода — 20% от суммарной численности населения. Отметим, что в стационарном режиме из города в пригород будет переселяться такая же доля населения (0,2 • 0,04 = 0,008), что и из пригорода в город (0,8 • 0,01 = 0,008).
Пример 4. МВП Р = (ptj) называется бистохастической, если выполняются следующие условия:
Pij ^ОХ/г и j, ^Pij = 1 Vz, ^Pij = 1 jг
Докажем, что для бистохастической матрицы Р неподвижный вектор тг = (1/М1/М). Непосредственной проверкой
убеждаемся, что этот строго стохастический вектор является решением системы уравнений тг = тгР. Действительно, \/j
В частности, пусть ГС и МВП цепи имеют вид, представленный на рис. 3.2.1, табл. 3.2.4. Матрица Р является бистохастической, следовательно, тг = (1/5, 1/5, 1/5, 1/5, 1/5).
Пример 5. Докажем, что если тг — неподвижный вектор матрицы Р, то он является неподвижным и для матрицы Рп. Рассмотрим цепочку равенств тг = тгР = (ttP)P = тгР2 = {ттР)Р2 = = тгР3 = ... = 7тРп. В частности, для примера 2 было получено тг = (1/6, 1/6, 1/6, 1/6, 2/6). Непосредственной проверкой убеждаемся, что тгР5 = тг.
Рис. 3.2.1Рис. 3.2.11/21/21/21/21/21/21/21/21/21/21/21/21/21/21/21/21/21/21/21/2Таблица 3.2.4Таблица 3.2.4
Рис. 3.2.1
Рис. 3.2.1
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
1/2
Таблица 3.2.4
Таблица 3.2.4
В примерах 6 и 7 найдем неподвижный строго стохастический вектор.
Пример 6. ГС и МВП цепи имеют вид, представленный на рис. 3.2.2, табл. 3.2.5.
Рис. 3.2.2
1/2
0
0
1/2
1/4
1/2
1/4
0
0
0
1/2
1/2
0
1/2
0
1/2
Таблица 3.2.5
1
= 2^1 + 4^2
1 2 1 2\ё’ ё’ ё’ ёу *1 2 1 2\ё’ ё’ ё’ ёу *11
1 2 1 2\
ё’ ё’ ё’ ёу *
1 2 1 2\
ё’ ё’ ё’ ёу *
— 2^2 + 2^4
Рис. 3.2.3
0
0
0
1/3
2/3
0
0
0
1
0
0
0
0
0
1
1/3
2/3
0
0
0
2/3
0
1/3
0
0
Таблица 3.2.6
Г 2
у 11 ЦК4’6’12’4’4/ 'у 11 ЦК4’6’12’4’4/ '= д^Т 1 = д^5 <1
у 11 ЦК
4’6’12’4’4/ '
у 11 ЦК
4’6’12’4’4/ '
7И = д7Г] + ТГ2
2
05 = gTTl + 7Г3
< 7Г] + ТГ2 + 7Г3 + ТГ4 + 7Г5 = 1
Теорема о предельном поведениимоноэргодической цепи
Напомним, что по определению МЦ имеет несущественные состояния (SH ф 0), а существенные состояния 8С образуют единственный КЭ. Он может быть как регулярным, так и циклическим.
Пусть Р - МВП и ^(0) __ ВНВ моноэргодической цепи. Всюду в дальнейшем предполагается, что состояния имеют каноническую нумерацию: 8С = {1,2Mb М = {М + L М + 2,..., М + М = ^V}, а матрица Р записана в канонической форме (табл. 3.3.1).
Таблица 3.3.1
j г
1 2 ... Nc
Nc + 1 Nc + 2 ... Nc + NH
1
Т
0
2
м
Nc + 1
R
Q
< + 2
7Vc + 7VH
Здесь Т — (М, М)-матрица, управляющая переходами на МУ™ (М, М)-матрица, управляющая переходами на SH, R — (М, М)-матрица, управляющая переходами из SH в Sc.
Прежде чем формулировать теорему, рассмотрим пример, который будет далее широко использоваться для иллюстрации ее утверждений.
Пример 1. Пусть ГС и МВП цепи имеют вид, представленный на рис. 3.3.1, табл. 3.3.2.
Очевидно, SH = {4,5}, 5С = {1,2,3}, Ян = 2, Мс = 3.
Таблица 3.3.2
Теорема (о предельном поведении МЦ). Пусть Р — МВП и тг^ — ВНВ моноэргодической цепи, тогда
последовательность Рп при п ос сходится сильно
I с
7Г / одинаковыми строками к = (лс,тгн), где кс = (ttiях) > О,
тгн = 0,... ,0 , если МЦ является регулярной (циклической),
для любого ВНВ тг^ = (^^у^) последователь
ность ВВС тг^ = (тг^,..., тг^) при п оо сходится сильно (слабо) к финальному стохастическому вектору к (являющемуся строкой матрицы П), если МЦ является регулярной (циклической),
вектор к = (лс,7гн) является единственным неподвижным стохастическим вектором для МВП Р, где подвектор кс является единственным неподвижным строго стохастическим вектором для МВП Т класса эквивалентности, а тгн = 0.
Пусть ^ — доля времени за первые п шагов, которую МРЦ проводит в j-ом состоянии, тогда для всех к^ и всех j
Доказательство и комментарии. Эта теорема является обобщением теоремы о предельном поведении НЦ (§3.2) на
случай SH ^ 0. Ее доказательство опирается на эту теорему и общую теорему о предельном поведении ЦМ (§3.1).
А. Для доказательства первого утверждения рассмотрим
I 0 \}<I Qn/}WH’I 0 \}<I Qn/}WH’
I 0 \}<
I Qn/}WH’
I 0 \}<
I Qn/}WH’
где Тп и Qn — п-е степени матриц Т и Q, размера Nc х Nc и Ду х Ду соответственно, но Нп.
Для нашего примера матрицы Р2 —Р5 и Р10 представлены таблицами 3.3.3, а-д.
Таблица 3.3.3, вТаблица 3.3.3, в9/161/85/16005/81/41/8002/81/21/4004/81/43/161/1603/83/163/801/169/161/85/16005/81/41/8002/81/21/4004/81/43/161/1603/83/163/801/1613/32 5/16 9/32009/16 2/16 5/16005/8 1/4 1/8001/2 7/32 1/40 1/323/8 3/8 7/321/32 013/32 5/16 9/32009/16 2/16 5/16005/8 1/4 1/8001/2 7/32 1/40 1/323/8 3/8 7/321/32 0Таблица 3.3.3, гТаблица 3.3.3, г
Таблица 3.3.3, в
Таблица 3.3.3, в
9/16
1/8
5/16
0
0
5/8
1/4
1/8
0
0
2/8
1/2
1/4
0
0
4/8
1/4
3/16
1/16
0
3/8
3/16
3/8
0
1/16
9/16
1/8
5/16
0
0
5/8
1/4
1/8
0
0
2/8
1/2
1/4
0
0
4/8
1/4
3/16
1/16
0
3/8
3/16
3/8
0
1/16
13/32 5/16 9/32
00
9/16 2/16 5/16
00
5/8 1/4 1/8
00
1/2 7/32 1/4
0 1/32
3/8 3/8 7/32
1/32 0
13/32 5/16 9/32
00
9/16 2/16 5/16
00
5/8 1/4 1/8
00
1/2 7/32 1/4
0 1/32
3/8 3/8 7/32
1/32 0
Таблица 3.3.3, г
Таблица 3.3.3, г
Таблица 3.3.3, а
Таблица 3.3.3, б
р2 =
1/41/2 1/4
1/21/2
100
00
00
00
рЗ =
5/81/41/8
1/41/21/4
1/201/2
00
00
00
1/201/4
03/4
1/40
01/4
1/4 3/8 1/4
3/401/8
01/8
1/80
Таблица 3.3.3, д
0,499
0,236
0,247
0
0
0,494
0,269
0,235
0
0
0,488
0,258
0,269
0
0
0,494
0,258
0,247
0,001
0
0,515
0,234
0,257
0
0,001
Легко видеть, что элементы Qn 0 как 1/2п, а строки матриц Тп и R^ стремятся к равным строкам. Предельное поведение матрицы Рп полностью определяется предельным поведе-
нием трех блоков Тп, Qn и R^. Если КЭ является циклическим, то вместо Р рассматривается матрица Эйлера Р.
По общей теореме о предельном поведении цепи Qn О, т. е. р^ 0 VC з Е 8Н. По теореме о предельном поведении нц
сильно (слабо), если МЦ является регулярной (циклической), где тгс — неподвижный строго стохастический вектор для матрицы Т, Пс имеет размер ЛдхЛд.
Продолжая рассмотрение примера 1, найдем вектор лс из системы уравнений
/1/2 0 1/2 \10 0^ \ 0 1 0 //1/2 0 1/2 \10 0^ \ 0 1 0 // 1-е уравнение\ исключим^2 = ТЗ1= 2^1ЛЦ + ЛД + Лз = 1/ 1-е уравнение\ исключим^2 = ТЗ1= 2^1ЛЦ + ЛД + Лз = 1
/1/2 0 1/2 \
10 0^ \ 0 1 0 /
/1/2 0 1/2 \
10 0^ \ 0 1 0 /
/ 1-е уравнение
\ исключим
^2 = ТЗ
1
= 2^1
ЛЦ + ЛД + Лз = 1
/ 1-е уравнение
\ исключим
^2 = ТЗ
1
= 2^1
ЛЦ + ЛД + Лз = 1
Остается рассмотреть предельное поведение блока Н^п\ состоящего из элементов р^ Vi Е SH, j Е Sc. По общей теореме о предельном поведении цепи при п ос система с вероятностью 1 перейдет из НС г в одно из СС j, и далее ее эволюция определяется законами НЦ с МВП Т.
Таким образом, независимо от i Е SH р^ TVj \/j Е 8С сильно (слабо), если КЭ является регулярным (циклическим):
где лс = (ль ..., лж).где лс = (ль ..., лж).
где лс = (ль ..., лж).
где лс = (ль ..., лж).
Окончательно получим, что при п ос
где 7Г = (тгс,7гн), 7ГС > О, 7ГН = 0, ^ ^3 ” 1’ так что =
Л1,, Л2УС,О, ... , О
/ 1 /2 1 /4 1 /4 0 0 \
В примере 1 П = | 1/2 1/4 1/400).
\ 1/2 1/4 1/4 0 0 /
Б. Перейдем к доказательству второго утверждения теоремы. Если МЦ регулярна, то
Это означает, что при п ос система побывает в любом СС независимо от стартового состояния.
Для МЦЦ согласно теореме о предельном поведении НЦ
?/ ^ = ЗГ^Р7Г = (ТГС, 7ГН = 0) = (ТГС, 7ГН = 0) = 7Г.
п-~^оо
В. Рассмотрим третье утверждение теоремы. Прежде всего следует проверить, действительно ли вектор
Л1, ... , ЛдщО, ..., О
является неподвижным. Используя правило перемножения блоч
ных матриц [8, с. 42], получим
/ Т О \ } X
7гР = (тгс, 7ГН) |1 }=
7Гс0 +7ThQ7Гс0 +7ThQ
7Гс0 +7ThQ
7Гс0 +7ThQ
Здесь матрицы Т и Q имеют размер Nc х Nc и Ду х Ду соответственно.
Единственность вектора л следует из единственности подвектора 7ГС.
Справедливость данного утверждения для МЦЦ следует из того, что тг есть единственный строго стохастический неподвижный вектор для матрицы Эйлера Т (см. §3.2).
Согласно §3.1 вектор тг является единственным стационарным ВВС как для МРЦ, так и для МЦЦ.
Г. Для j 6 ^ четвертое утверждение обосновывается так же, как для НЦ. Для j Е очевидно, Ми^ л7- = 0. Доказательство завершено.
Рассмотрим еще ряд примеров.
Пример 2. Пусть ГС и МВП МРЦ имеют вид, представленный на рис. 3.3.2, табл. 3.3.4.
В данном примере 5Н = {6,7,8}, Sc = {1,2, 3,4, 5}. Согласно примеру 4 из §3.2 тгс = (1/5, 1/5, 1/5, 1/5, 1/5), следовательно, л = (1/5,1/5,1/5,1/5,1/5,0,0,0).
Пример 3. Пусть ГС и МВП МРЦ имеют вид, представленный на рис. 3.3.3, табл. 3.3.5.
В данном примере 5Н = {5,6}, Sc = {1,2,3,4}. Согласно примеру 6 из §3.2 лс = (1/6,2/6, 1/6, 2/6), следовательно, л = (1/6,2/6,1/6,2/6,0,0).
Рис. 3.3.2Рис. 3.3.20001/21/20001/20001/20001/21/200000001/21/200000р =001/21/2000000001000001000000001/20001/20001/21/20001/20001/20001/21/200000001/21/200000р =001/21/2000000001000001000000001/20001/2Таблица 3.3.4Таблица 3.3.4Рис. 3.3.3Рис. 3.3.31/21/40 1/20 1/41/2 00000р =001/200001/201/2001/41/4001/41/401/41/401/41/41/21/40 1/20 1/41/2 00000р =001/200001/201/2001/41/4001/41/401/41/401/41/4Таблица 3.3.5Таблица 3.3.5
Рис. 3.3.2
Рис. 3.3.2
0
0
0
1/2
1/2
0
0
0
1/2
0
0
0
1/2
0
0
0
1/2
1/2
0
0
0
0
0
0
0
1/2
1/2
0
0
0
0
0
р =
0
0
1/2
1/2
0
0
0
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1/2
0
0
0
1/2
0
0
0
1/2
1/2
0
0
0
1/2
0
0
0
1/2
0
0
0
1/2
1/2
0
0
0
0
0
0
0
1/2
1/2
0
0
0
0
0
р =
0
0
1/2
1/2
0
0
0
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1/2
0
0
0
1/2
Таблица 3.3.4
Таблица 3.3.4
Рис. 3.3.3
Рис. 3.3.3
1/2
1/4
0 1/2
0 1/4
1/2 0
0
0
0
0
р =
0
0
1/2
0
0
0
0
1/2
0
1/2
0
0
1/4
1/4
0
0
1/4
1/4
0
1/4
1/4
0
1/4
1/4
1/2
1/4
0 1/2
0 1/4
1/2 0
0
0
0
0
р =
0
0
1/2
0
0
0
0
1/2
0
1/2
0
0
1/4
1/4
0
0
1/4
1/4
0
1/4
1/4
0
1/4
1/4
Таблица 3.3.5
Таблица 3.3.5
П ример 4. Пусть ГС и МВП МЦЦ имеют вид, представленный на рис. 3.3.4, табл. 3.3.6.
0000001/312/3 000р =0000101/32/300002/301/300001/51/51/51/51/50000001/312/3 000р =0000101/32/300002/301/300001/51/51/51/51/5Таблица 3.3.6Таблица 3.3.6
0
0
0
0
0
0
1/3
1
2/3 0
0
0
р =
0
0
0
0
1
0
1/3
2/3
0
0
0
0
2/3
0
1/3
0
0
0
0
1/5
1/5
1/5
1/5
1/5
0
0
0
0
0
0
1/3
1
2/3 0
0
0
р =
0
0
0
0
1
0
1/3
2/3
0
0
0
0
2/3
0
1/3
0
0
0
0
1/5
1/5
1/5
1/5
1/5
Таблица 3.3.6
Таблица 3.3.6
следовательно,следовательно,вид, представ-вид, представ-вид, представ-вид, представ-
следовательно,
следовательно,
вид, представ-
вид, представ-
вид, представ-
вид, представ-
В данном примере SH = {6}, Sc = {1,2,3,4,5}. Согласно
примеру 7 из §3.2 лс = (1/4, 1/6, 1/12, 1/4, 1/4), л = (1/4, 1/6, 1/12, 1/4, 1/4,0).
Пример 5. Пусть ГС и МВП МРЦ имеют ленный на рис. 3.3.5, табл. 3.3.7.
Пример 6. Пусть ГС и МВП МПЦ имеют ленный на рис. 3.3.6, табл. 3.3.8.
Поскольку эта МЦ является поглощающей, то л = (1,0,0).
Пример 7. Пусть ГС и МВП МРЦ имеют вид, представленный на рис. 3.3.7, табл. 3.3.9.
Рис. 3.3.5Рис. 3.3.5Таблица 3.3.7Таблица 3.3.70001/21/2001/20001/2001/21/200000р =01/21/20000001/21/20000001/201/20011/201/200001/21/2001/20001/2001/21/200000р =01/21/20000001/21/20000001/201/20011/201/20Рис. 3.3.6Рис. 3.3.61000,80,200,30,50,21000,80,200,30,50,2Таблица 3.3.8Таблица 3.3.8Рис. 3.3.7Рис. 3.3.70100011/201/20 00 00 01000100 00 00100011/201/20 00 00 01000100 00 0Таблица 3.3.9Таблица 3.3.9
Рис. 3.3.5
Рис. 3.3.5
Таблица 3.3.7
Таблица 3.3.7
0
0
0
1/2
1/2
0
0
1/2
0
0
0
1/2
0
0
1/2
1/2
0
0
0
0
0
р =
0
1/2
1/2
0
0
0
0
0
0
1/2
1/2
0
0
0
0
0
0
1/2
0
1/2
0
0
1
1/2
0
1/2
0
0
0
0
1/2
1/2
0
0
1/2
0
0
0
1/2
0
0
1/2
1/2
0
0
0
0
0
р =
0
1/2
1/2
0
0
0
0
0
0
1/2
1/2
0
0
0
0
0
0
1/2
0
1/2
0
0
1
1/2
0
1/2
0
Рис. 3.3.6
Рис. 3.3.6
1
0
0
0,8
0,2
0
0,3
0,5
0,2
1
0
0
0,8
0,2
0
0,3
0,5
0,2
Таблица 3.3.8
Таблица 3.3.8
Рис. 3.3.7
Рис. 3.3.7
010
001
1/201/2
0 0
0 0
0 0
100
010
0 0
0 0
010
001
1/201/2
0 0
0 0
0 0
100
010
0 0
0 0
Таблица 3.3.9
Таблица 3.3.9
7Г17Г17Г17Г17Г17Г1= ^21= 2-3+ ТГ2 + 7Г3 = 1= ^21= 2-3+ ТГ2 + 7Г3 = 1В данном примере SH = {4,5}, Sc = {1,2,3}. Вектор тгс определяется из системы уравнений
7Г1
7Г1
7Г1
7Г1
7Г1
7Г1
= ^2
1
= 2-3
+ ТГ2 + 7Г3 = 1
= ^2
1
= 2-3
+ ТГ2 + 7Г3 = 1
/1 1 1\ Ы 1 1 д
7ГС =-, -, -=> 7Г =-, -, -, 0, 0 .
\4 4 2/ у4 4 2)
Теорема о предельном поведенииполиэргодической поглощающей цепи
Напомним, что по определению ППЦ имеет несущественные состояния (5Н + 0), а Нй существенных состояний образуют А/. поглощающих КЭ. Пусть Р — МВП и Ц0) — ВНВ цепи. Всюду в дальнейшем предполагается, что состояния имеют каноническую нумерацию: Sc = {1,2,..., АД, SH = pNc 4- 1,АГС +
+ 2,...,ЖС + Жн = Ж}, а матрица Р записана в канонической форме (табл. 3.4.1).
Здесь Т = I — (L х Ь)-матрица, состоящая из L единичных диагональных блоков, Q — (Жн х ДЦ-матрица, управляющая переходами на SH, R — (Лф х Ь)-матрица, управляющая переходами из SH в Sc.
Прежде чем формулировать теорему, рассмотрим пример, который будет далее широко использоваться для иллюстрации ее утверждений.
Пример 1. Студент некоторого института каждый год с вероятностью р выбывает из института, с вероятностью q остается на второй год и с вероятностью г переходит на следующий курс (р + q + г = 1). Образуем ЦМ со следующими состояниями: i = 1 — студент выбывает из института, i = 2 — студент заканчивает институт, г = 3 — студент-четверокурсник, i = 4 — студент-третьекурсник, i = 5 — студент-второкурсник, г = 6 — студент-первокурсник.
Тогда ГС и МВП цепи имеют вид, представленный на рис. 3.4.1, табл. 3.4.2.
В этом примере состояния 1 и 2 образуют два поглощающих КЭ. Остальные 4 состояния — несущественные — образуют
Рис. 3.4.1Рис. 3.4.1
Рис. 3.4.1
Рис. 3.4.1
множество 5Н. Матрицы Т, Л, Q размещены в соответствии со схемой, приведенной в табл. 3.4.1.
Теорема (о предельном поведении ППЦ). Пусть Р — МВП и тг^ — ВНВ полиэргодической поглощающей цепи, тогда
последовательность Рп при п ос сходится сильно к финальной стохастической матрице
п =
1
1
1
00
00
00
в
L
00=
00
00
/\
ТГ2
^L
KLX2
где Kt, t = 1,2,... ,N, — t-я строка матрицы П;
В = фщ) = МН — матрица размера (Мн х L), содержащая вероятности bij поглощения системы j-м поглощающим состоянием при условии ее старта из i-го НС;
N-мерный вектор Kt = (тгс^,тгн^), 1= 1,2,..., N, состоит из двух подвекторов'. Химерного подвектора к^ = 0, отвечающего НС, и Nc-мерного подвектора
^ы =^ы =(0...0^0...0), Z=1,2,...,L
^ы =
^ы =
0*11, ^t2, • • •, Hl) , t = L + 1, • • •, N
отвечающего CC;
M = XX = X ™ OF1 “ матрица размера {N^ x M), содержащая условные математические ожидания т^ числа шагов, проводимых системой в j-м НС до поглощения при условии ее старта из г-го НС.
Для любого ВНВ к^ последовательность ВВС к^ = ХХп при п ос сходится сильно к финальному стохастическому вектору тг^П, в частности, если
= (о...0^0...0), то к^ ^Kt,t = 1,2, ...,Я . t
Векторы-строки к\,к^,... ,kn матрицы П являются неподвижными стохастическими векторами для МВП ППЦ.
Доказательство и комментарии.
Доказательство первого утверждения основано на анали- / Тп 0 \
зе последовательности матриц Pn = I ^п^ ^п I при а ос. Здесь Тп — матричная единица. По общей теореме о предельном поведении цепи Qn 0, Tn = I =^ к^ = (0...0 1 0...0),
% = 1,2, ...,L.
Остается найти lim R^ = В = ХХ i G SH, j 6 Sc, где bij называется вероятностью поглощения (захвата) системы при п ос j-м поглощающим состоянием (ПС) при ее старте из г-го НС.
Итак, при выходе из г-го НС система может быть захвачена j-м ПС через один или болеее шагов. Вероятность захвата на первом шаге равна р^. Если же этого не произойдет, то система на первом шаге может перейти в k-е НС и из него с вероятностью Ьщ перейти в j-e ПС. По формуле полной вероятности получаем уравнение
bij Pij й~ ^ ^ PiXkj^ к к G SH, j G 8С,kesH
или в матричной записи
В = R + QB^(I-Q)B = R.
Поскольку Qn 0, то по лемме об обратной матрице (приложение 5) существует (I ™ Qpy и В = MR, где М = (I — Q)-1, следовательно,
, Ь^,. • •, Ь^ь, 0,.,О j Vi = L + 1,..., N.
Для примера 1 матрицы Q, I — Q, М и В представлены в табл. 3.4.3, а-г.
Таблица 3.4.3,аТаблица 3.4.3,б
3 г345639000гq000гq000гq4563 г345639000гq000гq000гq456334563р + Г0004—гр + г0050—тр + г0600—гр + г334563р + Г0004—гр + г0050—тр + г0600—гр + г3 г345631000р^тг14(р+г)200р+7'5г2г10(р+г)3(р+г)2р+7'6г27'1(р+г)4(р+г)3(р+г)2р+г3 г345631000р^тг14(р+г)200р+7'5г2г10(р+г)3(р+г)2р+7'6г27'1(р+г)4(р+г)3(р+г)2р+г7 г12, тт31Р^Тр^т/\ 9, / г V/ г V41- ур+гуур+гу/\ 3/\ з51- —ур+гуур+гу/\ 4/\ 4.т \/ Г \61- у р+г уур+гу7 г12, тт31Р^Тр^т/\ 9, / г V/ г V41- ур+гуур+гу/\ 3/\ з51- —ур+гуур+гу/\ 4/\ 4.т \/ Г \61- у р+г уур+гуТаблица 3.4.3,вТаблица 3.4.3,гТаблица 3.4.3,вТаблица 3.4.3,г
3 г
3
4
5
6
3
9000
гq00
0гq0
00гq
4
5
6
3 г
3
4
5
6
3
9000
гq00
0гq0
00гq
4
5
6
3
3
4
5
6
3
р + Г
0
0
0
4
—г
р + г
0
0
5
0
—т
р + г
0
6
0
0
—г
р + г
3
3
4
5
6
3
р + Г
0
0
0
4
—г
р + г
0
0
5
0
—т
р + г
0
6
0
0
—г
р + г
3 г
3
4
5
6
3
1
0
0
0
р^т
г
1
4
(р+г)2
0
0
р+7'
5
г2
г
1
0
(р+г)3
(р+г)2
р+7'
6
г2
7'
1
(р+г)4
(р+г)3
(р+г)2
р+г
3 г
3
4
5
6
3
1
0
0
0
р^т
г
1
4
(р+г)2
0
0
р+7'
5
г2
г
1
0
(р+г)3
(р+г)2
р+7'
6
г2
7'
1
(р+г)4
(р+г)3
(р+г)2
р+г
7 г
1
2
, т
т
3
1
Р^Т
р^т
/\ 9
, / г V
/ г V
4
1-
ур+гу
ур+гу
/\ 3
/\ з
5
1- —
ур+гу
ур+гу
/\ 4
/\ 4
.т \
/ Г \
6
1-
у р+г у
ур+гу
7 г
1
2
, т
т
3
1
Р^Т
р^т
/\ 9
, / г V
/ г V
4
1-
ур+гу
ур+гу
/\ 3
/\ з
5
1- —
ур+гу
ур+гу
/\ 4
/\ 4
.т \
/ Г \
6
1-
у р+г у
ур+гу
Таблица 3.4.3,вТаблица 3.4.3,г
Таблица 3.4.3,вТаблица 3.4.3,г
В частности, при р = 0,2, q = 0,1, г = 0,7 получаем значения, представленные в табл. 3.4.3, д-е. Заметим, что вероятность выбыть из института снижается с 0,63 для первокурсника до 0,22 для четверокурсника, а вероятность окончить институт повышается с 0,37 для первокурсника до 0,78 для четверокурсника.
Перейдем к обоснованию смысла элементов т^ матрицы М. Пусть бернуллиева СВ ^р = 1, если на fc-м шаге система
3 г
1
2
3
0,22 0,78
0,40,6
0,53 0,47
0,63 0,37
4
5
6
3 г345631,1100040,861,110050,670,861,11060,520,670,861,113 г345631,1100040,861,110050,670,861,11060,520,670,861,11ММТаблица 3.4.3, еТаблица 3.4.3, еТаблица 3.4.3, д
3 г
3
4
5
6
3
1,11
0
0
0
4
0,86
1,11
0
0
5
0,67
0,86
1,11
0
6
0,52
0,67
0,86
1,11
3 г
3
4
5
6
3
1,11
0
0
0
4
0,86
1,11
0
0
5
0,67
0,86
1,11
0
6
0,52
0,67
0,86
1,11
М
М
Таблица 3.4.3, е
Таблица 3.4.3, е
оказывается в у-м состоянии, и = 0 в противном случае. При старте из i-го НС P(^jk = 1) = р^.
Обозначим через p,j = ^ ^т случайную величину, равную к=о
числу шагов, проводимых системой в j-м НС до поглощения при условии ее старта из i-ro НС. Тогда условное математическое ожидание
осОСОС
= м(1, = £м,, =^P№Jt = 1) = ^Ру’.
к=0к=0к=0
Переходя к матричным обозначениям и используя лемму об обратной матрице (приложение 5), получим
ос
м = ^дк = (i-grx-
к=0
Наряду с условными математическими ожиданиями тр введем величины пр = ^гщр равные математическим ожиданиям з
числа шагов до поглощения при условии старта системы из г-го НС.
Завершая доказательство первого утверждения теоремы, подчеркнем, что в отличие от ранее доказанных предельных теорем для НЦ и МЦ финальная МВП для ППЦ состоит в общем случае из N различных строк.
Б. Доказательство второго утверждения. При п ос уС'^Й — ^(О) рп Ц°)п =
(
NN
(0) ,(Ок (0) ,(°) к(°) ।
’О+ 2^О2^о ЬЙ,...ль+
г=Ь-\-Хi=L~[~X
N
^=L + !cL+lno^
компоненты
В частности, если тг^ = ^O.-.O^l^O.-.O^, то
7Г<°)п = (о...О^О...о) = тр, t^L,
Н0)П = (bt\,bt2,,btL,O,,0) = t> L.
Таким образом, финальный ВВС зависит от ВНВ Н°) и в общем случае не совпадает со строкой финальной МВП.
Доказательство третьего утверждения теоремы сводится к проверке равенства = л4Р, t = 1,2,...,N. Пусть
тогдатогда7Tt = 0...0 1 0..7Tt = 0...0 1 0..t^L,t^L,tt
тогда
тогда
7Tt = 0...0 1 0..
7Tt = 0...0 1 0..
t^L,
t^L,
t
t
Пусть тц = (bn,bt2, ••• ,btL,O,... ,0), t > L, тогда
= (Д1Л2, ••• ЛьЛ • •• ,0) =
Таким образом, N строк 7Ti,7T9, ... ,тду матрицы П действительно являются неподвижными векторами для МВП Р (и одновременно стационарными ВВС).
Замечание. В частном случае, когда L = 1 (моноэргодиче- ская поглощающая цепь), имеем:
В= ...
\ 1 / J
М остается без изменения и
1
0
1 i
Q
Рассмотрим ряд примеров. Все они задаются ГС и МВП, и требуется построить финальную МВП.
Пример 2.
/ 1 0 0 \
Р = | 0 1 0 I ; р + q = 1.у р q 0 /
Рис. 3.4.2
Q = (0) => I - Q = (1) М = (I - QpX = (1Щ
В = MR= (1)(р^ = (р, q) П = Р.
Пример 3.
Рис. 3.4.3Рис. 3.4.3p + q + r = 1.p + q + r = 1.
Рис. 3.4.3
Рис. 3.4.3
p + q + r = 1.
p + q + r = 1.
/10 0
Р= 0 1 о
у р q г
Пример 4.
°\ О
\р+q p+q
Рис. 3.4.4Рис. 3.4.4
Рис. 3.4.4
Рис. 3.4.4
/1 о о \ Р = 1 о о .
\ О 1 0 /
/1 0\
V 1/
1 О 0 \
10 0.
10 0/
Пример 5.
Рис. 3.4.5Рис. 3.4.5Р =Р =О 0 \ о о о о 0 0/О 0 \ о о о о 0 0/
Рис. 3.4.5
Рис. 3.4.5
Р =
Р =
О 0 \ о о о о 0 0/
О 0 \ о о о о 0 0/
/ 0
О 1
1
\ 1/2
/1 0\
™ (о ио о о \1 о оООО
1/2 О 0 /
Пример 6.
Рис. 3.4.6
Р
О О\
О О 1
О р I q О /
1
1 — pq
Пример 7.
Рис. 3.4.7
3
1
2
3
4
5
6
1
100
010
001
ООО
ООО
ООО
2
3
4
2/3 1/3
1/3
2/3
1/31/3
1/3
5
6
ООО \/1ОО\
1/3 О 1/3^J-Q=-1/31-1/3
01/30/\°-1/31/
Q / 8/9 О 0 \
^p-QFx = o 1/з 1 1/з
s V 1/9 1/3 1 /
3 г
1
2
3
4
0
2/3
1/3
5
5/8
1/4
1/8
6
7/8
1/12
1/24
1
0
0
0
0
0
0
1
0
0
0
0
0
0
1
0
0
0
0
2/3
1/3
0
0
0
5/8
1/4
1/8
0
0
0
7/8
1/12
1/24
0
0
0
Пример 8.
Рис. 3.4.8
3
1
2
3
4
5
6
1
1
0
0
0
0
0
2
0
1
0
0
0
0
3
р
0
0
q
0
0
4
р
0
0
0
q
0
5
р
0
0
0
0
q
6
р
q
0
0
0
0
3 %
3
4
5
6
3 г
1
2
3
1
q
9 q
q3
3
p(l+g+q2+g3)
q4
MU-QV =
4
0
1
q
q2
=> в =
4
p(l + g + g2)
q3
5
0
0
1
q
5
p(i + q)
q2
6
0
0
0
1
6
р
q
4 Г. А. Соколов, Н. А. Чистякова
3 г
1
2
3
4
5
6
1
1
0
0
0
0
0
2
0
1
0
0
0
0
3
р(1 + q + q2 + q3)
q4
0
0
0
0
4
pO+q + q2)
q3
0
0
0
0
5
pO+qX
q2
0
0
0
0
6
p
q
0
0
0
0
§3.5. Теорема о предельном поведенииполиэргодической цепи
Напомним, что полиэргодической называется цепь, содержащая хотя бы одно НС (Аф ^ 1), a Nc существенных состояний образуют L (L 2) КЭ, причем хотя бы один КЭ содержит не менее двух состояний.
Всюду в дальнейшем предполагается, что состояния имеют каноническую нумерацию: множество St состояний t-ro КЭ имеют номера t-xt-xt-x
г=1г=1? = 1
О
где t = 1,2,...,L, Nt — количество состояний t-ro КЭ и£^ =
= 0; множество SH состоит из несущественных состояний, имеющих номера Ад + 1, Ад + 2,..., Ад + Аф = Ж.
В канонической форме МВП полиэргодической цепи имеет вид, представленный на рис. 3.5.1.
Здесь Tt — (Nt х А^)-матрица, управляющая переходами на множестве СС t-ro КЭ, t = 1,2,...,L, Q — (Аф х Аффматрица, управляющая переходами на SH, R — (Аф х Аффматрица, управляющая переходами из SH в Sc.
Результатом этого параграфа будет формулировка теоремы о предельном поведении полиэргодической цепи, но предварительно рассмотрим пример, который далее будет постоянно использоваться для иллюстрации ее утверждений.
Пример 1. ГС и МВП цепи имеют вид, представленный на рис. 3.5.2, табл. 3.5.1.
В этом примере: Si = {1,2} — первый КЭ, S2 = {3,4,5} — второй КЭ, S3 = {6} — третий КЭ, SH = {7,8,9} — множество НС.
Рис. 3.5.1
Рис. 3.5.2
Предельное поведение ПЦ определяется, как и в ранее рассмотренных теоремах, последовательностью матриц Рп(табл. 3.5.2) при п —> ос. По общей теореме о предельном поведении цепи Qn —> 0. По теореме о предельном поведении НЦ Т™ П^ сильно (слабо), если Рй КЭ является регулярным (циклическим).
/ Т \
Финальная МВП для Pro КЭ Щ =.../ М состоит из
Nt
строго стохастических ^-векторов-строк, которые одновременно являются финальными ВВС и неподвижными векторами для МВП Pro КЭ, 1 = 1,2,...,L.
Если к ^-вектору тг^ слева приписать вектор (0,0, ...,0)
L
размера £ а справа вектор (0,0,..., 0) размера ^ М + Мь г=1z=t+l
то будет получен TV-вектор яд = (0,0,... ,О,тг^,О,О,... ,0), яв-
4 х
ляющийся неподвижным для матрицы Р и одновременно стационарным ВВС. Этот факт проверяется прямым вычислением произведения т^Р.
Таким образом, при п ос последовательность матриц (табл. 3.5.3) сходится к матрице Пс (табл. 3.5.4), состоящей из Nt групп идентичных векторов-строк ixt, причем сходимость сильная (слабая), если все КЭ являются регулярными (хотя бы один КЭ является циклическим).
1/3 2/31 о1/3 2/31 о3 2\ 5’5/3 2\ 5’5/Для рассматриваемого примера 1 вектор тг^ определяется как стохастическое решение системы уравнений
1/3 2/3
1 о
1/3 2/3
1 о
3 2\ 5’5/
3 2\ 5’5/
Т Тт v Т Т 7Г] = 7^ 1] => 7Г] = 7Г,
Таблица 3.5.4
7П } ^l раз
та} Nl разта} Nl разтг2} N^ раза
та} Nl раз
та} Nl раз
/ 0 1/2 1/2 \п . .
Т _ Тт. Т _ Т1/9л1 /9I . Т _111
ТГ2 — ТГ9 12^2 — ^21/2^И2=^ ТГ2 — ( —, —, —
"\ 1/2 1/2 0 /V 3 3
^ = ^ ^^т = ^т^ ^т = (1)
следовательно,
Л1 = -, -, о,о,о,о,о,о,о , л2 = о,о, -, -, -, о, о, о, о , 5у у 3 3 3 у
л3 = (0,0,0,0,0, 1,0,0,0),(3.5.1)
3/5
2/5
0
0
0
0
0
0
0
3/5
2/5
0
0
0
0
0
0
0
0
0
1/3
1/3
1/3
0
0
0
0
пс =
0
0
1/3
1/3
1/3
0
0
0
0
.(3.5.2)
0
0
1/3
1/3
1/3
0
0
0
0
0
0
0
0
0
1
0
0
0
Рассмотрим последовательность R^ при п —> ос. Из ранее доказанных предельных теорем (§§3.1-3.4) известно, что при старте из i-ro НС система «в пределе» с вероятностью 1 окажется в одном из СС. Более того, при старте из z-го НС система «в пределе» с вероятностью Ьц окажется в t-ом КЭ, и ее дальнейшая эволюция будет определяться финальным вектором тг^. Чтобы найти вероятности bit Vz 6 5Н и t = 1,2,..., £, необходимо от исходной ПЦ перейти к приведенной ППЦ и воспользо-
ваться формулами, полученными в §3.4. Приведение ПЦ к ППЦ осуществляется путем замены КЭ поглощающими состояниями и дуг, ведущих из НС в состояния КЭ, одной дугой с суммарным значением вероятности перехода. В результате будет получена ППЦ с МВП Рпр, у которой блок Дпр имеет размер (Жн х L\ a Qnp = Q- По этим данным определяется (Жн х £)-матрица вероятностей поглощения
В=(М = Ч-Спр)"1Япр. (3.5.3)
Отсюда следует, что при /? — х матрица (R^O х Q") сходится к (Жн х ^)-мaтpицe Пн сильно (слабо), если все КЭ являются регулярными (хотя бы один КЭ является циклическим), где
Пн =Пн =(3.5.4)
Пн =
Пн =
а векторы-строки пр г = Nc + 1,..., Ж, определяются по формуле полной вероятности
L
= '^Ьц'М.(3.5.5)
Все векторы ящ г = NQ + 1,..., PL также являются неподвижными для матрицы Р (стационарными ВВС), что легко проверяется путем вычисления произведений щ-Р.
Таким образом, в случае ППЦ с L классами эквивалентности и Лф несущественными состояниями число неподвижных векторов (стационарных ВВС) равно L + NH, и Р^ при п ос сходится сильно или слабо к матрице П = ( 5е ], где Пс и Пн у Ин у определяются формулой (3.5.2) и таблицей 3.5.4.
В заключение остается заметить, что для любого ВНВ тг^0^ последовательность векторов тг^ = тг^Р77 при п ос сходится к матрице П сильно (слабо), если все КЭ являются регулярными (для ПЦЦ и ПСЦ). В частности, если тг^ = (O.-.O^l^O.-.O),
то тг^ —> Пр
Продолжим рассмотрение примера 1. Приведенная поглощающая цепь имеет ГС (рис. 3.5.3). МВП приведенной цепи представлена в табл. 3.5.5.
Здесь поглощающие состояния, заменяющие КЭ исходной цепи, изображены прямоугольниками, между номерами исходной и приведенной цепей имеют место соответствия: 7-4, 8-5, 9-6.
Рис. 3.5.3
Приведенная цепь рассмотрена в виде примера 7 в §3.4, где и получена матрица В. В нумерации НС и КЭ исходной цепи она имеет вид, представленный табл. 3.5.6.
Таблица 3.5.6
t
1
1
2
3
7
0
2/3
1/3
8
5/8
1/4
1/8
9
7/8
1/12
1/24
Тогда согласно (3.5.5)
7Г7 = | (о,О, ^, ^, |, 0,0,0, о) + То, 0,0,0,0,1,0,0,0) = О \ ООО] о
2 2 2 1'
0'0'9’9 9 3 °°°
7г8=| f|, 1,0,0,0,0,0,0,0V | fo, о, |,|4’о’°’о’°К
8 у 5 5у 4 у 3 3 3 у
1/321111
+ ДО,0,0,0,0,1,0,0,0)= -,-,-,-,-,-,0,0, оуо о 12 12 12 о
7/32X 1 /111\
= - ( —-. о, 0.0.0.0.0. о) + — (о. 0.0.0.0. о) +
следовательно,
0
0
2/9
2/9
2/9
1/3
0
0
0
3/8
2/8
1/12
1/12
1/12
1/8
0
0
0
21/40
14/40
1/36
1/36
1/36
1/24
0
0
0
И окончательно F” П = ( Вс ) слабо.
\ У
Итак, мы доказали следующую теорему.
Теорема (о предельном поведении ПЦ).
Пусть Р — МВП и л^ — ВНВ поглощающей цепи, тогда
последовательность Р11 при п ос сходится к фи
нальной стохастической матрице П = ( пс ) сильно (слабо), у У
если ПЦ является регулярной (имеет хотя бы один ЦКЭ). Подматрица Пс соответствует переходам на множестве Sc и состоит из L групп идентичных векторов-строк по числу КЭ;
ЦЦ
Ц
Ц
^ = (0^0 Д' 0v0), ^ = ^Tt, t=l,2,...,L.
E < ' E z=1z=t+l
ПнПн/ ^М-Ы^NCX2\ KN/ ^М-Ы^NCX2\ KNПодматрица Пн соответствует переходам из множества SH в множество Sc и состоит из NH векторов-строк по числу НС:
Пн
Пн
/ ^М-Ы
^NCX2
\ KN
/ ^М-Ы
^NCX2
\ KN
L
Ki = ^2 bit^t, i = Nc + 1, Яс + 2,..., N,
В — (MH x Lyматрица вероятностей поглощения.
Для любого ВНВ л^ последовательность ВВС к^ = = ДДр^ При п ^ ос сходится к финальному стохастическому вектору л^°^П сильно (слабо), если ПЦ является регулярной (имеет хотя бы один ЦКЭ), в частности, если
= (0...0^0...0), то к = iVi, i=l,2,...,N.
(L + Ян) векторов-строк яд,..., ль, ^nlx\матрицы П являются неподвижными для МВП Р.
Случайное блуждание (задача о разорении)
Многие задачи из разных областей сводятся к так называемым процессам (цепям) случайного блуждания. Класс этих задач достаточно широк. В этом параграфе мы познакомимся с некоторыми из них весьма кратко и с одной — задачей о разорении — достаточно подробно.
Пусть S — пространство состояний, представляющее собой конечное множество точек на прямой с координатами 0, 1,... ,N. Некая частица в моменты времени п = 0, 1,... осуществляет переходы из состояния г в состояние г + 1 с вероятностью р и в состояние г — 1 с вероятностью q = 1 — р до тех пор, пока не достигнет одного из граничных состояний (экранов) 1 или N. Возможные типы поведения частицы в этих состояниях приводят к различным типам цепей Маркова. Во всех нижеследующих примерах положим N = 5.
Пример 1 (случайное блуждание с поглощающими экранами). В этом случае, достигнув состояний 1 или N, частица остается в них навсегда. Имеем полиэргодическую поглощающую
цепь. Ее ГС и МВП имеют вид, представленный на рис. 3.6.1, табл. 3.6.1.
Таблица 3.6.1
j г12345112qРq Q рqp3451j г12345112qРq Q рqp3451
j г
1
2
3
4
5
1
1
2
q
Р
q Q р
q
p
3
4
5
1
j г
1
2
3
4
5
1
1
2
q
Р
q Q р
q
p
3
4
5
1
Построим матрицы М, В и П в общем случае и при р = 1/2, Р = 2/3:
/ 0 р 0 \/ 1 —р 0 \
Q= 9 0pj^>Z-Q= -g 1 -р | =>
\ 0 у 0 /\ 0 —g 1 /
j i15в = MR = M-2q030040pj i15в = MR = M-2q030040p3 i152p + Q2p3^p2 + Q2 p2 + Q2g2p2p2 + Q2P2 + Q2q3p2 +qp2 + q2^p2 + q2343 i152p + Q2p3^p2 + Q2 p2 + Q2g2p2p2 + Q2P2 + Q2q3p2 +qp2 + q2^p2 + q234
j i
1
5
в = MR = M-
2
q
0
3
0
0
4
0
p
j i
1
5
в = MR = M-
2
q
0
3
0
0
4
0
p
3 i
15
2
p + Q2p3
^p2 + Q2 p2 + Q2
g2p2
p2 + Q2P2 + Q2
q3p2 +q
p2 + q2^p2 + q2
3
4
3 i
15
2
p + Q2p3
^p2 + Q2 p2 + Q2
g2p2
p2 + Q2P2 + Q2
q3p2 +q
p2 + q2^p2 + q2
3
4
j г
2
3
4
2
p + Q2pp2
p2 | f/2 p2 | q2 p2 | q2
q1p
p2 + Q2 p2 + Q2 p2 + Q2
99 ,
q-qP' + q
p2 + Q2p2 + Q2 p2 + Q2
3
4
^M=a-Qrv
j i
1
2 3 4
5
1
1
0
2
qE±t
P2 + q2
p3
p2 + q2
3
q2
p2 + Q2
p2
p2 + q2
4
q3
p2 + Q2
p2 + q2
5
1
j i152343/4 1/41/2 1/21/4 3/4j i152343/4 1/41/2 1/21/4 3/4j i23427/56/54/533/59/56/541/53/57/5j i23427/56/54/533/59/56/541/53/57/5j i152347/158/153/15 12/151/15 14/15j i152347/158/153/15 12/151/15 14/15Пример 2 (случайное блуждание с отражающими экранами). В этом случае, достигнув состояний 1 или N, частица возвращается в предыдущее состояние. Имеем НЦ. Ее ГС и МВП имеют вид, представленный на рис. 3.6.2, табл. 3.6.2.
j i
1
5
2
3
4
3/4 1/4
1/2 1/2
1/4 3/4
j i
1
5
2
3
4
3/4 1/4
1/2 1/2
1/4 3/4
j i
2
3
4
2
7/5
6/5
4/5
3
3/5
9/5
6/5
4
1/5
3/5
7/5
j i
2
3
4
2
7/5
6/5
4/5
3
3/5
9/5
6/5
4
1/5
3/5
7/5
j i
1
5
2
3
4
7/158/15
3/15 12/15
1/15 14/15
j i
1
5
2
3
4
7/158/15
3/15 12/15
1/15 14/15
С помощью алгоритма построения последовательности ЦП выясним, является цепь данного примера регулярной или циклической. Итак,
So = {1} Si = {2} S2 = {1,3} So П S2 0 Sq = {1}
=> Si = {1,3} => S% = {2, 3,4} => Si nS2^0^So = {l}^
(1X222X25X222X20
Рис. 3.6.2
^Sx = {1,2,3,4}50П51 /0^5О = {1,2,3,4}^
^Sx = {1,2,3,4,5} So П51 / 0 So = {1,2,3,4,5}
Sx = {1,2,3,4,5}S\= S2,
следовательно, цепь является регулярной.
Найдем НВ л из системы уравнений лР = л, тогда
'= Л]
7Г] + л3д = л2
< л2р + ЛЦ/ = Лз.
л4р = л5
, Л] + Л2 + Лз + Л4 + Л5 = 1
.1 р р2(1+р)„
Обозначив через г = 1 41—-4, найдем
11рр2р3
7Г1, TTq , ТЩ 9 ,^"4о"?^5 з •
гrqrq-rq6rq6
В частности, при р = q = 1/2 тг = (1/8, 1/4, 1/4, 1/4, 1/8).
Пример 3 (случайное блуждание с одним поглощающим и одним отражающим экранами). В этом случае, достигнув состояния 1, частица навсегда остается в нем, достигнув состояния N, частица с вероятностью q возвращается в состояние Ж — 1 и с вероятностью р остается в состоянии N. Имеем моноэргодическую поглощающую цепь. Ее ГС и МВП имеют вид, представленный на рис. 3.6.3, табл. 3.6.3.
Согласно §3.4 при любых значениях р последовательность Рп сходится к матрице П:
Пример 4 (случайное блуждание по окружности). В этом случае, достигнув состояния N, частица с вероятностью р переходит в состояние 1. Имеем НЦ. Ее ГС и МВП представлены на рис. 3.6.4, табл. 3.6.4.
Легко убедиться в том, что данная цепь является регулярной с бистохастической матрицей Р. Следовательно, тг = = (1/5, 1/5, 1/5, 1/5, 1/5).
Возможны многочисленные обобщения рассмотренных типов случайного блуждания. Остановимся на одном из них.
Пример 5. Рассмотрим случайное блуждание, при котором частица, находясь во внутреннем состоянии, с вероятностями р, q и г движется вправо, влево или остается на месте соответственно. Достигнув одного из экранов, она с вероятностью 1 переходит на другой экран. ГС и МВП имеют вид, представленный на рис. 3.6.5, табл. 3.6.5.
Рис. 3.6.5Рис. 3.6.5
Рис. 3.6.5
Рис. 3.6.5
Имеем МЦЦ с КЭ = {1,5} и единственным НВ тг = = (1/2,0,0,0,1/2).
Вернемся к примеру 1, который рассмотрим в общем виде и достаточно подробно. Случайное блуждание с поглощающими экранами имеет большое прикладное значение и интерпретируется как процесс игры до разорения одного из игроков. Представим себе, что А и В играют в некоторую игру с начальным капиталом, равным г ставкам для А и N — г ставкам для В. Игрок А выигрывает (проигрывает) одну ставку у игрока В с вероятностью р (q = 1 — р). Игра продолжается до тех пор, пока А не окажется в состоянии 0 (разорение А) или в состоянии N (разорение В).
В качестве приложений задачи о разорении следует назвать модель казино, когда в роли одного из игроков выступает само казино, а в роли второго — совокупность клиентов казино [14, §7.1]. В качестве второго приложения задачи о разорении следует назвать модель страховой компании, когда в роли одного из игроков выступает сама страховая компания. Ее выигрышем
является приток страховых сборов, а проигрышем — уплата исков обобщенному клиенту, который является вторым игроком. Кстати, вторых игроков в обеих моделях можно считать бесконечно богатыми противниками [41, с. 165]. В качестве третьего приложения задачи о разорении можно назвать модель борьбы за существование в живой природе [14, с. 198].
Итак, в общем случае ЦМ с числом состояний N + 1, моделирующая процесс изменения капиталов игроков, имеет ГС и МВП, представленные на рис. 3.6.6, табл. 3.6.6.
р Р Р Р Р РР
Рис. 3.6.6
Нам предстоит найти:
матрицу М = (miy) условных математических ожиданий длительности пребывания (числа шагов) игрока в состоянии у до поглощения (разорения или выигрыша) при условии старта из состояния г (начальный капитал), г, у = = 1,2,..., Я - 1;
вектор т = (гп^т^,... ,mN-^ длительностей пребывания игрока в состояниях у = 1,2,..., N — 1 до поглощения (разорения или выигрыша);
матрицу В = (Ьу) вероятностей поглощения (разорения или выигрыша), г = 1,2,..., N — 1, у = О, Ж;
вектор V = (Vi) условных математических ожиданий выигрыша (проигрыша) игрока при условии, что его начальный капитал равен z, i = 1,2,..., N — 1.
Согласно §3.4 находим матрицу
и строим обратную матрицу М = (I — Q) 1 = (mij), i,j = = 1,2,...,Я- 1, где
11777 (p — q)(rN777 (p — q)(rN1)1)— 1)(г^ 1(г1 — 1)(г^— 1)(г^ 1(г1 — 1)(г^_ 2 J j(N -i), j z,_ 2 J j(N -i), j z,г Ф L(3.6.1)(3.6.2)г Ф L(3.6.1)(3.6.2)1, р = q = 1/2, + L р + ч1, р = q = 1/2, + L р + ч— отношение шансов.— отношение шансов.
1
1
777 (p — q)(rN
777 (p — q)(rN
1)
1)
— 1)(г^ 1
(г1 — 1)(г^
— 1)(г^ 1
(г1 — 1)(г^
_ 2 J j(N -i), j z,
_ 2 J j(N -i), j z,
г Ф L
(3.6.1)
(3.6.2)
г Ф L
(3.6.1)
(3.6.2)
1, р = q = 1/2, + L р + ч
1, р = q = 1/2, + L р + ч
— отношение шансов.
— отношение шансов.
Матрица М с элементами (3.6.1)-(3.6.2) легко проверяется умножением M(I — Q) = I.
Найдем вектор т = (mi, т^,..., mn-i) при г ^ 1. Предварительно получим суммы членов следующих геометрических прогрессий:
.7=Ш.7=Ш
.7=Ш
.7=Ш
rN— i— 1 __ i
= r(l + г + ... + rN-T-2) = Г. (3.6.4)
Г — 1
В соответствии с (3.6.1) и с учетом (3.6.3) и (3.6.4) имеем
m-i1 Г 1
т^ = Y^ тц = 7— V" (Н — 1)(Л^ — 1)4-
Аналогично при г = 1
(3.6.6)(3.6.6)mi = z(^ — г).
(3.6.6)
(3.6.6)
Заметим, что если г фиксировано, а А осло в соответствии с (3.6.5) и (3.6.6)
ОО, при Г ^ 1,
q(l — гУq(l — гУпри г < 1.при г < 1.(3.6.7)(3.6.7)
q(l — гУ
q(l — гУ
при г < 1.
при г < 1.
(3.6.7)
(3.6.7)
Перейдем к построению матрицы В = МН, где
b\Nb^NbN-\,Nb\Nb^NbN-\,N3 г0N1q23N- 1Nр3 г0N1q23N- 1Nр
b\Nb^NbN-\,N
b\Nb^NbN-\,N
3 г
0
N
1
q
2
3
N- 1
N
р
3 г
0
N
1
q
2
3
N- 1
N
р
причем b^ + b[N = L &ю “ вероятность разорения игрока А, b^N ™ вероятность разорения игрока В, г = 1,2,..., N — 1.
Достаточно найти biN для г = 1,2,..., N — 1.
При г ф 1
р^г1 — 1)(г^ 1 - (р — qKrN,N1р^г1 — 1)(г^ 1 - (р — qKrN,N1(3.6.8)(3.6.8)л! из (3.6.1) при
р^г1 — 1)(г^ 1 - (р — qKrN
,N1
р^г1 — 1)(г^ 1 - (р — qKrN
,N1
(3.6.8)
(3.6.8)
р(г? — 1)г^-?-1 (г — 1)р/г(г — 1)(г^ — 1)
При г = 1
7/ из (3.6.2) при \21 г
(3.6.9)
Для вероятности разорения игрока А получим
Заметим, что при фиксированном г и N —> сю
Г 1 р р 1
biN^\o, г<1(3-612)
Найдем математическое ожидание выигрыша игрока, начальный капитал которого равен г. Выигрыш — это случайная величина, принимающая значение —г с вероятностью Ь^ и значение N — г с вероятностью Ь^ тогда
И = -ibm + (N - Г)ЬЖ = biMN - ? = (из (3.6.8), (3.6.9))
N-§ — z = О, г = 1 (в справедливой игре).(3.6.5)"
- г = т^т - 1), г / 1
Из формул (3.6.14) и (3.6.7) следует, что при фиксированном г и N —> оо
> 1.(3615
I —д при г < 1.v 7
Полученные выше формулы сведем в таблицу 3.6.7. Анализ формул этой таблицы позволяет получить ряд интересных и неожиданных результатов.
Таблица 3.6.7
г и N фиксированы
№№ формул
г фиксировано, оо
№№ формул
Вероятность разорения игрока А
Ьг0 =
/ N-г _ 1
г + 1
= J rN - 1 ’ Т
] N— г,
. Г = 1
(3.6.10)
(3.6.11)
Ьг0 Щ
J г-у г > 1, ( 1, г Д 1
(3.6.13)
Вероятность разорения игрока В
biN =
(1 — Г г
= 1 ! _r-N’ г +
1 — г = 1
(3.6.8)
(3.6.9)
ЬгЖ
Г 1—г-У г>1, 0, г Д 1
(3.6.12)
Средняя продолжительность игры
<
пг =
'1/ 1—г г А
уф-\^ V 1-^ ) г ф 1
д(^ — г), г =1
(3.6.5)
(3.6.6)
тпг
Г оо, г ^ 1,
| г<1
(3.6.7)
Средний выигрыш
И = Жж - г = f 0, г = 1, — 1 тгд(г — 1), г ф 1
(3.6.14)
и 7
J оо, при г> 1,
1 —г, при г<1
(3.6.15)
питала противника к суммарному капиталу игроков. Казалось бы, что исход игры всегда определяется величиной начального капитала. Но ситуация меняется, если один из игроков (например, А) имеет преимущество г > 1 (р > 1/2), т. е. игра благоприятна для А.
Тогда при фиксированном г и N ос (благоприятная игра с бесконечно богатым противником) вероятность выигрыша А согласно (3.6.12)
blN 1 -
т. е. при сравнительно небольшом значении начального капитала г biN ~ 1, как бы велико ни было N. Так, при г = 2 (р = 2/3) и г = 1,2 (р = 0,54) результаты вычислений представлены в табл. 3.6.8.
Таблица 3.6.8
г
1 - Г 1
г = 2
г = 1,2
2
0,75
0,31
5
0,97
0,6
10
0,999
0,84
Таким образом, если г = 10, то выигрыш игрока А является практически достоверным событием при двукратном преимуществе и весьма вероятным при 20%-м преимуществе.
Именно этой закономерности казино обязано своим существованием. Оно обеспечивает за собой преимущество г > 1 в играх и при достаточном начальном капитале (по отношению к размерам ставки) имеет близкую к 1 вероятность сохранить свое предприятие независимо от величины выигрыша клиентов.
Какова в рассматриваемой ситуации продолжительность игры? Согласно (3.6.7), чтобы обыграть бесконечно богатого противника, требуется бесконечно большое время. Если г близко к 1, то продолжительность игры можно оценить по формуле (3.6.6). Предположим (весьма скромно), что казино обладает капиталом в 10000 ставок, а клиенты могут сделать 1000000 ставок, тогда разорение последних потребует тысячелетия:
i(N - г) = 10000(1000000 - 10000) 1010.
За это время появится много новых игроков. Отсюда следует вывод: казино не может завладеть всеми деньгами мира.
В связи с первыми двумя результатами возникает вопрос: не выгодно ли, имея начальный капитал ig и вероятность успеха pg, часть капитала А; использовать для увеличения вероятности успеха с ро до ро + Ар и приступить к игре с такими исходными данными: начальный капитал равен г0 — Ад а вероятность успеха равна ро + Ар? Рассмотрим два конкретных примера.
Пример 6. Пусть А ос, тогда при ро = 1/2 игрок А согласно (3.6.11) разорится с вероятностью lim b^ = lim (1 — — io/N) = 1, имея любой начальный капитал ig, в частности равный zg = 1000 ставкам. Если 990 ставок он истратит на повышение вероятности успеха с pg = 0,5 до р = 0,6, то вероятность разорения уменьшится (см. (3.6.13) г > 1) до
lim b^ = г 1 |r=i 5 j=ig = 0,02, т. е. в 50 раз.
Пример 7. Пусть А = 10, тогда при р = 0,4 (г = 2/3) игрок А в неблагоприятной для него игре с начальным капиталом zg = = 7 ставкам согласно (3.6.10) разорится с вероятностью Ь^ = = №^1 = 0 714
(2/3)'»- I
Если он, истратив 3 ставки (А снизится до 7), сумеет поднять
вероятность успеха до 0,5 (г = 1, безобидная игра), то вероятность разорения снизится (см. (3.6.11)) до Ь^ = —-— = 0,43.
Если «за те же деньги» он сумеет поднять вероятность успеха до 0,6 (г = 2, благоприятная для А игра), то вероятность разорения снизится (см. (3.6.10)) до Ь^ = 2^7 J]1 =0,055, т. е. в 13 раз.
Как влияет изменение ставки на вероятность исхода игры при неизменном значении капитала?
Пусть капиталы игроков равны i и (А - г) рублям, тогда при ставке в 1 рубль эти величины равны количеству ставок. Предположим, что ставка равна 0,5 рубля, тогда капиталы игроков равны 2z и 2(А — i) ставкам. Обозначим через Ь^(1), Ь^д(0,5) вероятности разорения при ставке в 1 рубль и 0,5 рубля соответственно, тогда при г > 1 (р > 1/2) согласно (3.6.10)
, .г2^— 1 (rN 1 — 1)/Л 1 + 1)
М0.5) = r2JV_ j = Дру^ДруДТр =
Итак, при благоприятной игре уменьшение ставки, а при неблагоприятной игре увеличение ставки приводят к снижению вероятности разорения. При справедливой игре (г = 1) изменение ставки не влияет на вероятность разорения (см. (3.6.11)). Вообще, если увеличить ставку в к раз, то вероятность разорения при г ф 1 вычисляется по той же формуле (3.6.10) с заменой г на ijk и Ж на N/k.
Возникает вопрос: сколь значителен эффект от изменения ставки? Допустим, что капиталы игроков равны i = 90 и (7V — г) = 10 рублям, р = 0,45. Если ставка равна 1 рублю, то вероятность разорения А равна (см. (3.6.10))
.(0,45/0,55)100-90 — 1.(0,45/0,55)100-90 — 1^ 0,866.^ 0,866.
.(0,45/0,55)100-90 — 1
.(0,45/0,55)100-90 — 1
^ 0,866.
^ 0,866.
Увеличим ставку в 10 раз, тогда вероятность разорения А снизится до
(0.45/0.55)1 — 1
•(0.45/0.55)10 - 1' '
т. е. в 4 раза. Эффект от изменения ставки оказывается весьма значительным.
§3.7. Модель Морана в теории запасов
Рассмотрим систему снабжения (ССН), в которую на п-м шаге (п = 0, 1,2,...) поступает ^ единиц товара для формирования запаса [42, с. 227]. Допустим, что ^о,€ь--- “ независимые дискретные случайные величины с одинаковым распределением Pt, t = 0, 1,2,... ССН имеет хранилище емкости М > 1. Пусть начальный запас на n-м шаге есть ДСВ рп, тогда сформированный запас на том же шаге равен min(M,^ + рп). К концу п-го шага запас товара в ССН снижается в соответствии с единичным спросом на величину min(l,£n Р^пУ т. е. на 1, если есть начальный запас на n-м шаге. Таким образом, размер запаса к началу (п + 1)-го шага удовлетворяет рекуррентному соотношению
Т]п+А = min(MЛп + Лп) - ттЦЛп + т]п), n = 0,1,... (3.7.1)
Отсюда следует, что последовательность ДСВ рп образует ЦМ с множеством состояний S = {0, 1,... ,N = М — 1}. Согласно (3.7.1) МВП Р имеет вид, представленный табл. 3.7.1.
Если pt > 0 для всех i, то цепь является неприводимой и регулярной, следовательно, она имеет единственный строго стохастический неподвижный вектор тг = (тто, тп,..., яру), являющийся стохастическим решением системы уравнений
7Г = угР,
или в развернутом виде
' Л0 = ЛО(ро + Р1) + WO.
7П = ВД + Я1Р1 + ВД,
<
?PV-1 = 7T0PN + 7Г1РДГ-1 + TT2PN-2 + ••• + ^NPO, Л0 + Л1 + Л2 + ... + Лдг = 1.
Решаем последовательно первые N — 1 уравнений:
(1-Pi)(l-Ро-Pi)-POP2(3.7.2)
оЖ
Полученные значения -к, = с/лд, г = 1,2,..., N, подставляем в последнее нормирующее условие, из которого получаем лд = 1/(1 + + С] + с2 + ... + см), и по формулам (3.7.2) находим Л],..., лдг.
Пример 1. Пусть Ж = 2, ро = Pi = Р2 = 1/3, тогда МВП цепи есть бистохастическая матрица (см. табл. 3.7.2) и тг = = (1/3,1/3,1/3).
Пример 2. Пусть N = 2, pt = 1 /2t+ , t = 0, 1,..., тогда МВП цепи имеет вид, представленный табл. 3.7.3.
Неподвижный стохастический уравненийНеподвижный стохастический уравненийвектор определяем из системывектор определяем из системы
Неподвижный стохастический уравнений
Неподвижный стохастический уравнений
вектор определяем из системы
вектор определяем из системы
31Ш = g^o31Ш = g^o1+ уп11+ 4^1 + 2^21+ уп11+ 4^1 + 2^2ИЛИИЛИ. 7Г0 + 7Г! + ТГ2 = 1. 7Г0 + 7Г! + ТГ2 = 1' ТГц = 2?Г1< ТГц = 6л"1 — 4л"2ч 7Fq + ЛЦ + ЯД “ 1' ТГц = 2?Г1< ТГц = 6л"1 — 4л"2ч 7Fq + ЛЦ + ЯД “ 1
3
1
Ш = g^o
3
1
Ш = g^o
1
+ уп
11
+ 4^1 + 2^2
1
+ уп
11
+ 4^1 + 2^2
ИЛИ
ИЛИ
. 7Г0 + 7Г! + ТГ2 = 1
. 7Г0 + 7Г! + ТГ2 = 1
' ТГц = 2?Г1
< ТГц = 6л"1 — 4л"2
ч 7Fq + ЛЦ + ЯД “ 1
' ТГц = 2?Г1
< ТГц = 6л"1 — 4л"2
ч 7Fq + ЛЦ + ЯД “ 1
Таблица 3.7.2
Таблица 3.7.3
3 г
0
1
2
р =
3 i
0
1
2
0
2/31/30
1/31/31/3
01/32/3
0
3/41/81/8
1/21/41/4
01/21/2
1
1
2
2
^\2’4’4
Задачи. В качестве самостоятельных упражнений предлагается построить МВП, если она не задана, и найти финальную МВП в следующих задачах: 1-4 из § 1.1, 1-9 и 12 из § 1.3, 8-12 из § 1.4, 1,2 из §2.1, 2-5 из §2.2, 4,5 из §2.3, 1,2 из §2.4, 1-10 из § 2.5.
Глава 4
УПРАВЛЕНИЕ ЦЕПЯМИ МАРКОВАС ДОХОДАМИ
В данной главе рассматриваются цепи Маркова, в которых каждый переход сопровождается доходом. Величина дохода определяется выбранным управлением на каждом шаге и в каждом состоянии. Рассматриваются задачи оптимизации управления для цепей разных типов, с приведением и без приведения будущих доходов к текущему времени, в случае конечного и бесконечного горизонта управления. В заключение предлагается перечень задач для самостоятельного решения.
. Полный ожидаемый доход и его свойства
Следуя [35], [31, т. 2, с. 183], рассмотрим задачу, которую на протяжении всей этой главы будем называть «задачей руководителя фирмы (РФ)».
Фирма производит и продает новый вид продукции. Если объем сбыта высокий, то с вероятностью 0,5 он останется таким же в следующем месяце, если невысокий, то в следующем месяце он станет высоким с вероятностью 0,4.
РФ может провести рекламную кампанию. Если при этом уровень сбыта высокий, то с вероятностью 0,8 он останется таким же в следующем месяце. Реклама при низком уровне сбыта повышает до 0,7 вероятность того, что он в следующем месяце станет высоким.
В случае неиспользования рекламы при высоком уровне сбыта месячный доход составит 9 единиц при условии, что сбыт останется высоким в следующем месяце, и 3 единицы в противном случае. При низком же уровне сбыта месячный доход составит 3 единицы, если объем сбыта в следующем месяце станет высоким, и -7 единиц в противном случае.
При использовании рекламы (за которую приходится платить) доход равен 4 единицам при высоком уровне сбыта, если
он сохраняется таковым или снижается. Если начальный уровень сбыта низкий, то доходы равны 1 и 19 в зависимости от того, повышается он или нет.
Требуется найти оптимальное управление фирмой для последующего периода времени.
Рассмотрим задачу капитана судна, совершающего регулярные рейсы между портами 1, 2 и 3. Продолжительность рейса от порта до порта составляет одни сутки. В каждом порту капитан решает вопрос о загрузке судна стандартным или спец- грузом, что определяет в соответствии с МВП его дальнейший маршрут и в соответствии с вектором средних одношаговых доходов — общий экономический эффект данной операции. Решение задачи дано в §4.7.
Следуя [25, с. 118], рассмотрим производство (систему), моделируемое цепью Маркова с множеством состояний S = {1,2,..., ЛЦ и МВП Р. Управление цепью осуществляется путем выбора на каждом шаге г-й строки р; МВП из множества заданных {pn,Pi2, ••• ,Pik3- Требуется найти управление, максимизирующее вероятность приведения системы из некоторого состояния через заданное число шагов во множество состояний So С S.
Во всех сформулированных задачах рассматривается система (фирма, судно, производство) с конечным числом состояний 1,2,..., N, функционирование которой моделируется ЦМ с МВП Р = (PijY При переходе из состояния г в состояние р система получает одношаговый доход (быть может и отрицательный) г^, не зависящий от номера шага. Совокупность одношаговых доходов (ОД) образует (М х М)-матрицу одношаговых доходов (МОД) R = (г,д). Доход, который неуправляемая система может получить за п шагов, является случайной величиной с распределением вероятностей, определяемым вероятностными связями цепи. Математическое ожидание этой СВ называется полным ожидаемым доходом (ПОД) за п шагов. Первый вопрос, который возникает при анализе ЦМ с доходами: как вычислить ПОД и какими свойствами он обладает?
Полный ожидаемый доход. Пусть в некоторый момент времени система находится в состоянии г и ей предстоит функционировать 77 шагов. Обозначим ПОД системы за п шагов через щ(тг). Этот доход может быть получен следующим образом. На первом шаге система переходит в состояние j с вероятностью Pij и при этом получает доход Tip Из этого состояния система осуществляет оставшиеся п — 1 шагов и получает ПОД Uj(n — 1).
Следовательно, ПОД за п шагов равен тр + 'Uj(n — 1) при условии, что первый шаг перевел систему из состояния г в состояние j. Отсюда по формуле полного математического ожидания (приложение 6) получаем рекуррентное соотношение
тс
МЛ = ^PijVij + Ып ” Ы(4.1.1)
= 1
ИЛИ
Ып) = Qi + ^PijVj(n - 1),(4.1.2)
= 1
где г= 1,2,..., N, п = 1,2,..., '^(0) — продажная цена системы, если она заканчивает функционирование в состоянии j, N
Qi = 52 Pijrij ™ средний одношаговый доход (СОД), получае- 7 = 1
мый системой при переходе из состояния С
Введем в рассмотрение вектор ПОД за п шагов:
/ МЛ \/ 91 \
У (n) = I I, Q = I ... I — вектор СОД,
\/\ Qn )
тогда рекуррентное соотношение для ПОД в векторной форме примет вид
V(n) = Q + PV(n- 1).(4.1.3)
Поясним введенные понятия на примере задачи руководителя фирмы. ЦМ, моделирующая деятельность фирмы, имеет два состояния: сбыт высокий (состояние 1) и сбыт низкий (состояние 2). Ее ГС и МВП имеют вид, представленный на рис. 4.1.1, табл. 4.1.1.
Рис. 4.1.1Рис. 4.1.1Таблица 4.1.1
Рис. 4.1.1
Рис. 4.1.1
0,5 0,5
/ 9При матрице ОД Д = I/ 9При матрице ОД Д = I3 \У j вычислим СОД:3 \У j вычислим СОД:0,4 0,6
/ 9
При матрице ОД Д = I
/ 9
При матрице ОД Д = I
3 \
У j вычислим СОД:
3 \
У j вычислим СОД:
q\ = 0,5 * 9 + 0,5 *3 = 6, ^2 = 0,4 • 3 - 0,6 • 7 = -3,
следовательно, Q = т. е. при высоком уровне сбыта РФ ожидает получить за месяц 6 единиц прибыли, а при низком уровне сбыта 3 единицы убытка. Предположим, что РФ интересует величина ПОД за предстоящие п месяцев. Если У(0) = О, то по формуле (4.1.3) при п = 1,2,... имеем
^i(n) \ _ / 6 \/ 0,5 0,5 \ / щ(п — 1)
П2(п) у ™ \^ —3 у\^ 0,4 0,6 у \^ ^(п — 1)
_ / 6 \/ 0,5щ (п — 1)4- 0,5щ>(п — 1) \
” -3 у + 0,4щ(п- 1) + 0,6п2(п- 1) у *
Результаты вычислений сведем в таблицу 4.1.2.
Таблица 4.1.2
п
0
1
2
3
4
5
ОО
гц(^)
0
6
7,5
8,55
9,555
10,5555
ОО
гд(п)
0
-3
-2,4
-1,44
-0,444
0,5556
ОО
Предположим, что до закрытия фирмы остается 4 месяца, тогда РФ ожидает получить 9,555 единиц дохода, если фирма находится в состоянии 1, и 0,444 единиц убытка, если фирма находится в состоянии 2. Из анализа таблицы следует ряд закономерностей, которые будут далее обоснованы, а именно с увеличением п
ПОД щ(п) и пз(п) неограниченно возрастает,
Щ (п) — ^(п) —> 10,
щ-(п) — Vj(n — 1) 1, г = 1,2.
Это означает, что с точки зрения будущих доходов при достаточно больших значениях п, во-первых, состояние 1 оценивается на 10 единиц больше, чем состояние 2, и, во-вторых, каждый месяц приносит в среднем одинаковый доход, равный 1, т. е. ei^ ^ линейно.
Из графиков функций щ(п), представленных на рис. 4.1.2, видно, что они имеют асимптоты с углом наклона 45°, и разность между значениями асимптот равна 10.
Выше мы получили рекуррентное соотношение (4.1.3) для ПОД без переоценки, без приведения будущих доходов к текущему времени. Получим его аналог, учитывающий, что сумма в V единиц, получаемая через один шаг, эквивалентна /ЗУ единиц
в настоящий момент, сумма в V единиц, получаемая через п лет,в настоящий момент, сумма в V единиц, получаемая через п лет,эквивалентна 3UV единицам в настоящий момент.эквивалентна 3UV единицам в настоящий момент.Коэффициент 3 е (0, 1] называется коэффициентом переоценки (приведения) будущих доходов. Очевидно, при V = 1 коэффициент переоценки равен величине капитала, приносящего единичный доход через один шаг.
в настоящий момент, сумма в V единиц, получаемая через п лет,
в настоящий момент, сумма в V единиц, получаемая через п лет,
эквивалентна 3UV единицам в настоящий момент.
эквивалентна 3UV единицам в настоящий момент.
Поясним это понятие таким примером. Каждый вложенный в Сбербанк рубль дает t% прибыли в год. Эта величина называется нормой прибыли [35], нормой процента [31], процентной ставкой [5] и т. п. Через год хранения суммы ж, она капитализируется до суммы х + xt = ж(1 + t), через два года — до суммы ж(1 + ф + tx(l + t) = ж(1 + t)2, через п лет — до суммы ж(1 + t)n. Из уравнения ж(1 + ф = 1 получаем 3 = х= 1/(1 +1) =^ зп = (1/(1 + Ж-
Рис. 4.1.2Рис. 4.1.2Если вернуться к выводу соотношений (4.1.1)—(4.1.3), но ужеЕсли вернуться к выводу соотношений (4.1.1)—(4.1.3), но ужес учетом переоценки будущих доходов:
Рис. 4.1.2
Рис. 4.1.2
Если вернуться к выводу соотношений (4.1.1)—(4.1.3), но уже
Если вернуться к выводу соотношений (4.1.1)—(4.1.3), но уже
тс
Vi(n) = '^2^з\Лз + 3'uj(n ™ 1)L г = 1,2,..., Ж,
то получимто получимVp(n) = Q + 3PVpX- Г-Vp(n) = Q + 3PVpX- Г-(4.1.4)(4.1.4)7 = 1
то получим
то получим
Vp(n) = Q + 3PVpX- Г-
Vp(n) = Q + 3PVpX- Г-
(4.1.4)
(4.1.4)
Отсюда при п = 1,2,... и 3 = 0,5 имеем для задачи РФ
6। о в1) + 0,5п2/з(п- 1) А
—3 у ’0,4щд(п — 1) + 0,6гдд(п — 1) у
_ / 6 + 0,25щд(п — 1) + 0,25ж2Дп ™ 1) А
— I —3 + 0,2жщ(п — 1) + О^гдДп — 1) у
Результаты вычислений сведем в таблицу 4.1.3.
Таблица 4.1.3
п
0
1
2
3
4
5
ос
■ифф
0
6
6,75
7,01
7,14
7,2
7,266
уфф
0
-3
-2,7
-2,46
-2,34
-2,27
-2,211
Анализ таблицы показывает, что в отличие от поведения ПОД как функции от п при /3=1, 'ицз(п) имеют конечные пределы. Ниже мы получим, что они равны 7,266 и -2,211.
Характер поведения ПОД при п ос. Выше мы получили формулу (4.1.4) для ПОД в векторной форме. Ее п-кратное применение при Vp(0) = 0 дает
Vp^ = Q + 3P^Q + 3PVp(n - 2)] = Q + 0PQ + №2Vp(n - 2) = = Q + 0PQ + (3P№ + 3PVp(n - 3)] =
= Q + PPQ + фP?Q + фР)Мф - 3) = ... =
= Q + 3PQ + (3Pf-Q + фР^О + ... + фРГМФ
о
ИЛИ72-1
VM = ^фРУО-(4.1.5)
;=0
Найдем предельный доход ЦооЦ) = 1™ ЯафУ
Пусть 0 < /3 < 1, тогда (ЗРУ . —> 0 и согласно приложению 5
>схз
п— 1,
X фРУО ^(1 — ЗР)~У следовательно, ;=о есть конечная величина.
Пусть /3=1, тогда Р1 П, П ^ 0, сильно (слабо) для цепей
с РКЭ (при наличии ЦКЭ) и Удт = ±ос.
Итак, предельный доход
_ J ±оо при/3 = 1, Цоо - I Ц-ЗРф^О при/3 < 1.(4'1Ь)
Введем новую величину, называемую прибылью ЦМ с доходами;
Gp= 1ш1(Ц(п+1)-Ц(п)),(4.1.7)
и равную предельному приращению ПОД за один шаг, т. е. прибыль — это средний одношаговый доход «в далекой перспективе». Согласно (4.1.5)
п
z=0
следовательно, У^(п+ 1) — V^Qn?) = Q3PTQ-
При 3 < 1 эта величина стремится к 0 при п ос, а при 3 = 1 она стремится к произведению матриц HQ сильно (слабо) для цепей с РКЭ (при наличии ЦКЭ). Итак,
(4.1.8) р 10 при 3 < 1,
где П — матрица, строки которой являются неподвижными векторами.
Если цепь является неприводимой или моноэргодической, то (7Г \
... ], следовательно, при 3 = 1
7Г /
/ 9 \
Ж-вектор G =... состоит из одинаковых компонент
\ 9 /
g = *Q,(4.1.9)
т. е. для цепей указанных типов прибыль является скалярной величиной. Для полиэргодических цепей при 3 = 1 А7-вектор
( 9\ \
G =... состоит из L + Ж попарно различных компонент
\ 9N /
(см. §3.5), т. е. прибыль является векторной величиной.
Продолжая рассмотрение задачи руководителя фирмы, найдем предельный доход V^ = (I — ЗРу^Ч ПРИ 3 = 0,5 и прибыль g = ttQ при /3=1.
\
0,75 -0,25 \0,20,7 у0,75 -0,25 \0,20,7 у^(/-/ЗР)"1^(/-/ЗР)"110,47510,4750,7 0,250,2 0,750,7 0,250,2 0,751,474 0,5260,421 1,5791,474 0,5260,421 1,579ЗР = q 2 оз ) ^!-ЗР =
0,75 -0,25 \
0,20,7 у
0,75 -0,25 \
0,20,7 у
^(/-/ЗР)"1
^(/-/ЗР)"1
10,475
10,475
0,7 0,25
0,2 0,75
0,7 0,25
0,2 0,75
1,474 0,526
0,421 1,579
1,474 0,526
0,421 1,579
v - ( 1Л74 0,526 W 6 \/ 7,266 \
l/Зоо - ^ о,421 1,579 / ЩЗ /V ”2-211 ) '
Найдем неподвижный стохастический вектор из системы уравнений тг = тгР:
Tri = 0,5?Г1 + ОДлд
45= 9^= =945= 9^= =97Г1 + 7Г2 = 1
45
= 9^= =9
45
= 9^= =9
Итак, при достаточно больших значениях п и /3 = 1, согласно (4.1.7)
v0=x(n+ ^-Vp=\^^Gp=x
независимо от значений п, следовательно, У(п) = Vy(n) есть линейная функция от натурального аргумента:
(4.1.10)(4.1.10)Р(п) = V + nG
(4.1.10)
(4.1.10)
или
щ(п) = -Ui + пдр г = 1,2,., N.(4.1.11)
В результате мы получили общую формулу для асимптот функций щ(п), где -Ui называется весом г-го состояния.
Для задачи РФ при п = 5 щ(п) = щ + 5 • 1 = 10,5555, гд(п) = гд + 5 • 1 = 0,555, следовательно, щ = 50/9, гд = —40/9 И щ(п) — 1д(п) = Щ — 1Д = Ю.
§4.2. Постановка задач оптимального управления
Рассмотрим экономическую систему с N состояниями, функционирование которой на интервале времени продолжительностью nmax шагов описывается цепью Маркова произвольного типа с доходами. Будем называть ЦМ управляемой, если на каждом шаге п = 1,2,..., nmax и в каждом состоянии г = 1,2,..., N может быть выбрана строка матрицы Р
Р^МрУрР'-МУ
и строка матрицы одношаговых доходов R
определяющих дальнейшее функционирование системы.
Величина к; называется стратегией управления (СУ) в Рм состоянии, a Ki = {кД — множеством стратегий управления в Рм состоянии.
Вектор стратегий к = (кх, к^,..., кр^ Е Кх х К^х ... хКр называется политикой. Если стратегия ку или политика к выбираются на n-м шаге, то они снабжаются индексом п, а именно куп или кп = (УпЛн^ ••• ЛппУ Последовательность _вы- бранньгх на _каждом шаге политик образует управление к = = (кх, к^,..., knmaJ, однозначно определяющее эволюцию цепи.
Если продолжительность интервала времени nmax < ос, то говорят о конечном горизонте управления, в противном случае — о бесконечном. Число шагов до завершения интервала времени управления обозначают через п = 0, 1,2,..., nmax.
Пусть Э = Э(/с) — эффективность функционирования системы на заданном интервале управления (планирования), тогда управление к , максимизирующее эффективность, называется оптимальным.
Задача оптимального управления ЦМ с доходами состоит в поиске оптимального управления:
Э(к )=max3(fc).(4.2.1)
к
Рассмотрим два случая, конкретизирующих общую постановку (4.2.1).
Конечный горизонт управления nmax < оо с учетом или без учета переоценки, /3 Е (0, 1]. Найти управление к , максимизирующее ПОД
V(nmax,k ) шах,(4.2.2)
к
где к = (кх, к^,..., кПтаУ, кп = (к\п^ к^п^ • • •, кр^Уц куп Е Кр п = = 1,2,..., тгтах, 2 = 1,2,..., N.
Бесконечный горизонт управления nmax = ос.
Следуя Ховарду [35], Беллману Р. и Дрейфусу С. [2], Майну X. и Осаки С. [19], Давыдову Э. Г. [10], в этом случае будем искать, оптимальное управление в классе стационарных управлений к = (к, к,...), т. е. политик, не зависящих от п. Тогда оптимальная политика к определяется как решение задач:
при 3 < 1__
ЩоД) max,(4.2.3)
к
при 3 = 1_
G(jy max,(4.2.4)
к
5 Г. А. Соколов, Н. А. Чистякова
где к_= (к4Ль...Л^ к. Е К., г = 1,2,...Л; ^М = (1 - — pPk)-xQk — вектор предельных доходов (или предельный доход); G(k) = IIkQk — вектор прибылей (или прибыль);
вектор СОД, отвечающий политике к', П^ — матрица, составленная из неподвижных векторов-строк матрицы Рк;
матрица, составленная из векторов-строк, отвечающих политике к;
N
3 = ^
СОД при переходе из состояния I, если используется стратегия к,.
Во всех сформулированных задачах в общем случае критерий является векторным. Будем считать критерий максимальным, если максимальна каждая его компонента.
Как правило, при такой постановке задачи векторной оптимизации решения не существует. Наши задачи представляют приятное исключение.
Заметим также, что в задаче (4.2.4) для неприводимых и мо- ноэргодических цепей критерий является скалярной величиной д(Р
Продолжим рассмотрение задачи руководителя фирмы с двумя состояниями: г = 1 — объем сбыта высокий и г = 2 — объем сбыта низкий. В каждом состоянии и на каждом шаге можно воспользоваться одной из двух стратегий: а) кр = 1 — не использовать рекламу, при этом
Pi = (PirP^) = (0,5;0,5), г} = (гЦг^) = (9;3),
/4 = (рУр^ = (0,4; 0,6), Ц = (ЦрЦ2) = (3; — 7);
б) ki = 2 — РФ организует рекламную кампанию, это позволяет увеличить вероятности перехода в первое состояние ценой снижения ожидаемых доходов текущего месяца, при этом
Pi = (Р1НР12) = (0,8; 0,2), Ц = (ДЩ) = (4; 4), Р2 = (рДД2) = (0.7;0,3), 7-2 = (r^r^1) = (1; —19).
Найдем значения СОД для разных политик:
Qi =Цр] 1+ t^pU = 91 0,5+3 • 0,5 = 6,
92 =Й1Р21+ Г22Р22 = 3• 0,4+(-7) • 0,6 =-3,
9? =Др21+ Ц2Й2 = 4• 0,8+4 • 0,2 = 4,
92 =r21P21+ r22P22 = 1' 0,7+(-19) • 0,3 =-5,
С1Л 4 1b
V 92 /
e2J = (4) ■
V 92 7
Щ -3 ) ’ ^ “ ( 922 ) “ ( "5 ) ’
- 14 I Г)2,2 — ^1 1 —4 1
\ 3 /\ 92 / \bJ
Найдем значения прибыли для разных политик.
При к = (1,1) неподвижный вектор был получен в §4.1:
1,1 — И Д _
\9’9/ '
>ро=^бДМ = |.6 + |.6(_3) = 1.
При к = (1,2)
pl,2 _ ( о,5 0,5 \ _
Щ 0.7 0,3 ) "
J 0,5tti + 0,7тг2 = Л]
| 7Г] 4- ТГ2 = 1
12- Щ 5 \ (12’12)
При к = (2,2)
р2,2 _ ( 0,8 0,2 \ _
— у 0,7 0,3 ) ~
Г 0,8тг] + 0,2тг2 = 7Г12,2 _Д 2 А .
^Щ1+л2 = 1-(9’9)
,,ы = Ар = Д + ^ (-5) = ‘L
5х
При к = (2,1)При к = (2,1)j>2,1 _j>2,1 _0,8 0,2 \0,4 0,6 )0,8 0,2 \0,4 0,6 )0,8тг] + 0,4тг9 = 7Г]2 1/2 1\
При к = (2,1)
При к = (2,1)
j>2,1 _
j>2,1 _
0,8 0,2 \
0,4 0,6 )
0,8 0,2 \
0,4 0,6 )
7Г1 + ТГ2 = 1- (з’ з)
Мы получили четыре значения прибыли, соответствующие четырем вариантам управления. Согласно (4.2.4) оптимальной является политика (2,2), обеспечивающая при п ос получение прибыли, равной 2 единицам.
Перейдем к определению стационарной политики в задаче РФ при /3 =_0,9, максимизирующей вектор предельных доходов.
1-0,9РХЛ1-0,9РХЛ0,55-0,360,55-0,36-0,45 0,46-0,45 0,46При к = (1,1)
1-0,9РХЛ
1-0,9РХЛ
0,55
-0,36
0,55
-0,36
-0,45 0,46
-0,45 0,46
=> определитель \1 — О.ЭР1,1 = 0,091 =4> (I — О.ЭР1,1) 1 =
5,055 4,9453,956 6,0445,055 4,9453,956 6,04415,495 \5,604 ) 115,495 \5,604 ) 1
5,055 4,945
3,956 6,044
5,055 4,945
3,956 6,044
15,495 \
5,604 ) 1
15,495 \
5,604 ) 1
При к = (1,2)
7 —0,9Р1,2=( 9’™ й )7-0,9Р’’2| =0,118
(т.п QP1^-1 _ ( 6,186 3,814 \_ / 18,046 \
и'УР 1 Щ 5,339 4,661 J8,729 у
При к = (2,2)
/-0,9P2’2=f 9’99 “9’1® )7-0,9Р2’2! =0,091
I —0,630,73 / II
(Т—Ci qp2,2\-i _ f 8,022 1,978 \„_ /о о\ /^ 22,2 \
И 16,923 3,077 J U°'9o° -12,3 J •
При к = (2,1)
7-0,9P2J = f 9’о! ”9’!? )7-0,9Р2’1! = 0,0648
’ I —0,360,46 / II
^rr-oqp2,h-i - ( 7’188 2’813 \v20,313 \
019Р 1“( 5,625 4,375 J ^41,900(2.1) -9 375 у
Мы получили четыре значения вектора предельных доходов, соответствующие четырем вариантам управления. Согласно (4.2.3) оптимальной снова является политика (2,2), обеспечивающая при п оо получение максимального по обоим состояниям / 22 2 \
предельного дохода, равного I ^ 3 )•
Таким образом, для нашего примера мы нашли решение задач (4.2.3) и (4.2.4) методом полного перебора. Этот метод предельно прост, но возможность его применения ограничена сравнительно небольшим числом вариантов управления. В последующих параграфах этой главы рассматриваются методы, свободные от этого недостатка. Задача (4.2.2) решается в §4.3.
. Построение оптимального управления дляпроизвольной цепи (конечный горизонт управления)
Напомним_ постановку задачи: найти управление_ fc72max = = (Д, Д,... Щтах), максимизирующее ПОД П(птах,Цтах) на интервале функционирования системы продолжительностью ^тах шагов (?гтах < сю) в предположении, ЧТО для всех п = 1,2,..., тт-тах кп = (A*i72, к2п ^ • * * ^ кр/п), kjn G Л7, |Л71 <С сю и для всех kin заданы
Здесь ^т = (q^\q^T\ ••• Лш) “ вектор-строка матрицы СОД Qkn при фиксированной политике кп; р^п = = (рнрп^ •••,Рш) ™ вектор-строка матрицы МВП Ркп при фиксированной политике кп; п — число шагов до окончания периода управления, п = 1,2,..., nmax.
В §4.1 было получено для неуправляемой цепи с доходами рекуррентное соотношение (4.1.2) для ПОД:
тс
= qt + 3 ^Pijvpn - 1),
i = 1,2,... ,N, n = 1,2,... ,nmax.
Тогда для управляемой цепи получаем: при п = 1
дГхЗ^^ГГ^ = 4Vkt\Y (4.3.1) 7=1
при n = 2
q-12 ХЗ^ЛГ’АТМ = ^XkxM, (4.3.2) 7 = 1
при П = 3
q> + 3 ^Pi^j (2,4, M = ^ (3- k\M, M, (4.3.3) 7 = 1
при произвольном n
N
qkm + 3^ркАпМп~ х,к\.Г.---Гп-2Лзп-3 =
7 = 1
= Vi(n,ki,k2,Л-ьМ- (4.3.4)
Для определения оптимального управления и соответствующего ему оптимального ПОД воспользуемся методом динамического программирования (ДП) Беллмана [1, 2]. Предварительно введем новые обозначения: к*п — оптимальная стратегия в г-м состоянии на n-м шаге, кп — оптимальная политика на n-м шаге, г^п) — оптимальное значение ПОД в i-м состоянии на n-м шаге, где п — число шагов до завершения периода управления.
Получим рекуррентные соотношения динамического программирования.
При п = 1 с учетом (4.3.1) имеем
п*(1) = гпахщ(П кц) = max ^г1 +/3^р^-Н^О) =
= ^*‘+7Е4‘г;Ж (4.3.5)
7 = 1
где п*(0) = ^(0) заданы. В результате получаем к*х и п*(1) для всех г = 1,2,..., N.
При п = 2 с учетом (4.3.2) имеем
(2) = max гу(2, к\, к^ = max max ^1Л?2^?2^1
= max^2= max^27=17=1^ + 7Е4Й(1)- (4-3-6)
= max
^2
= max
^2
7=1
7=1
7 = 1
В результате получаем к*2 и ^*(2) для всех г = 1,2,..., Ж. При п = 3 с учетом (4.3.3) имеем
4(3)4(3)_шах гЦЗ, Рь^Лз) = ЬЛгЛз_шах гЦЗ, Рь^Лз) = ЬЛгЛз
4(3)
4(3)
_шах гЦЗ, Рь^Лз) = ЬЛгЛз
_шах гЦЗ, Рь^Лз) = ЬЛгЛз
q^ + /3 У2^'3Ч(2’ к\' k3^з=1
= шах= шахз=1з=1-q^^P^*^.з=1-q^^P^*^.з=1(4.3.7)(4.3.7)
= шах
= шах
з=1
з=1
-q^^P^*^.з=1
-q^^P^*^.з=1
(4.3.7)
(4.3.7)
В результате получаем к*3 и п*(3) для всех г = 1,2,..., Ж.
Продолжая этот процесс при числе шагов 4,5,..., п — 1, получим оптимальные политики к^к2, ...кп_х, и оптимальные значения ПОД У^1),У*(2),...,У*(п- 1), где
t)*(n — 1) = _ дпах пДп — 1, ^ь к^...., к^-о. к^п_\У (4.3.8) ^1 v,^n —2,^гп— 1
Рассмотрим произвольный n-й шаг (n ^ nmax). С учетом (4.3.4), (4.3.8) имеем:
п*(п) = _ max гч(т1, к\ ,, кп_\, kin) = ^1 V" ^п— 1 >^?П
= max_ max kin k\v..,ku_\= max_ max kin k\v..,ku_\'п — 2? kjn'п — 2? kjnшах дУ +3 У^ рршах дУ +3 У^ ррjnax>^п — 2>Сjnax>^п — 2>С> kn—> kn—
= max_ max kin k\v..,ku_\
= max_ max kin k\v..,ku_\
'п — 2? kjn
'п — 2? kjn
шах дУ +3 У^ рр
шах дУ +3 У^ рр
jnax
>^п — 2>С
jnax
>^п — 2>С
> kn—
> kn—
(4.3.9)
В результате получаем к*п и п*(п) для всех г = 1,2,..., Ж. Этот процесс заканчивается при n = nmax определением для всех п = 1,2,...,птах оптимального управления кп и оптимальных доходов У*(п).
Продолжая задачу РФ, найдем решение при следующих исходных данных (таблица 4.3.1): У(0) = 0, 0 = 1, nmax = 5.
Таблица 4.3.1
Состояние 1
Стратегия к
Ргз
тк
сод
Рг\
Ре
4
7 г2
1. высокий
1. без рекламы
0,5
0,5
9
3
6
объем сбыта
2. с рекламой
0,8
0,2
4
4
4
2. низкий
1. без рекламы
0,4
0,6
3
-7
-3
объем сбыта
2. с рекламой
0,7
0,3
1
-19
-5
Реализация алгоритма ДП.
При п = 1
тс
a*(l)=max q-
= max= maxг = 1 : тах[6,4] =6, кхх = 1,
= max
= max
i = 2 : тах[—3, 5] = — 3, Цх = 1.
При п = 2
а* (2) = maxа* (2) = max
а* (2) = max
а* (2) = max
= max[g- Н-рЙу^1) + р+2(1), 9? З-РлИ + Р22у2(1)1 =
{
г = 1 : шах[6 + 0,5 • 6 + 0,5 • (—3),
4 + 0,8 • 6 + 0,2 • (-3)] = 8,2, fc*2 = 2,
г = 2 : тах[—3 + 0,4 * 6 + 0,6 * (—3),
- 5 + 0,7 • 6 + 0,3 • (-3)] = -1,7, к^ = 2.
При п = 3
а* (3) = maxа* (3) = max2 = 12 = 1
а* (3) = max
а* (3) = max
2 = 1
2 = 1
maxр+РиуГ (2) + р^ (2), q^Pn^x^+Рйу2(2)]=
' г =1:тах[6 + 0,5 • 8,2 + 0,5 • (—1,7),
4 + 0,8 • 8,2 + 0,2 •1,7)] =10,22,Ц3= 2,
г =2:тах[—3 + 0,4 • 8,2 + 0,6 • (—1,7),
.- 5 + 0,7 • 8,2 + 0,3 • (-1,7)] = 0,23, к*3 = 2.
При п = 4
а* (4) = maxа* (4) = maxд" + ^р§4у*(3)2 = 1д" + ^р§4у*(3)2 = 1
а* (4) = max
а* (4) = max
д" + ^р§4у*(3)
2 = 1
д" + ^р§4у*(3)
2 = 1
= тах[^ +р’1у^3) + р-2У2(3), 9,2 + р+*(3) + Р22у2(3)] =
Г i = 1 : тах[6 + 0,5 • 10,22 + 0,5 • 0,23,
|4 + 0,8 * 10,22 + 0,2 • 0,23] = 12,222, fc*4 = 2,
| г = 2 : тах[—3 + 0,4 • 10,22 + 0,6 -0,23,
I- 5 + 0,7 • 10,22 + 0,3 • 0,23] = 2,223, к^ = 2.
При п = 5
а* (5) = maxа* (5) = maxqp + ^р^ДО2 = 1qp + ^р^ДО2 = 1
а* (5) = max
а* (5) = max
qp + ^р^ДО
2 = 1
qp + ^р^ДО
2 = 1
= max[g- Н-р^у^^ +р*2У2(4), q^ +р21У?(4) +р22У2(4)] =
г г = 1 : тах[6 + 0,5 • 12,222 + 0,5 • 2,223,
4 + 0,8 • 12,222 + 0,2 ■ 2,223] = 14,222, к*5 = 2,
/' = 2 : тах[-3 + 0,4 ■ 12,222 + 0,6 • 2,223,
<- 5 + 0,7 • 12,222 + 0,3 • 2,223] = 4,2223, к*5 = 2.
Результаты счета сведем в таблицу 4.3.2.
Таблица 4.3.2
г
п
0
1
2
3
4
5
1
Ц^(п)
0
6
8,2
10,22
12,222
14,2223
2
КН
0
-3
-1,7
0,23
2,223
4,2223
1
К,
—
1
2
2
2
2
2
—
1
2
2
2
2
При п ^ 2 в каждом состоянии следует пользоваться второй стратегией, т. е. рекламная кампания выгодна, несмотря на увеличение текущих расходов. Увеличение вероятности перехода в первое состояние окупает эти дополнительные затраты.
Сравнение с результатами, полученными при п ос, показывает, что оптимальная стратегия к*п при п —> ос сходится к
/ 22 2 \ оптимальной стационарной, при этом У*(п) I ^’д
. Построение оптимального управления для цепис одним классом эквивалентности и без учетапереоценки (бесконечный горизонт управления)
В предыдущем параграфе был рассмотрен метод динамического программирования (ДП) построения оптимального управления для цепей с конечным горизонтом управления. По мере увеличения числа шагов п этот метод становится все более трудоемким. Кроме того, он не содержит «доказательства» сходимости получаемого управления к оптимальному стационарному управлению. Итак, для больших значений п требуется разработка специального метода решения задачи (4.2.4). Для моноэрго- дических и неприводимых цепей прибыль является скалярной величиной, вычисляемой по формуле (4.1.9)
д(к) =
Эта формула лежит в основе метода полного перебора определения оптимальной политики к , схема которого дана на рисунке 4.4.1. В §4.2 эта схема реализована для задачи РФ.
При большом количестве возможных политик на смену метода полного перебора приходит метод Ховарда [35], позволяющий за конечное число итераций решать задачи весьма большого «объема». Перейдем к рассмотрению этого метода.
q (к) —► max q (к) кq (к) —► max q (к) кРис. 4.4.1Рис. 4.4.1
q (к) —► max q (к) к
q (к) —► max q (к) к
Рис. 4.4.1
Рис. 4.4.1
Алгоритм Ховарда. Если в рекуррентную формулу (4.1.2) тс
для ПОД гу^ = qi + ^ Pi3^3(ti - 1) подставить асимпто- 7 = 1
тическое соотношение (4.1.12) для ПОД (полагая д^ = д): гу(п) = пд + гу, то получим
ТС
ng + v? = % + ^рЛЛ - СР + 0'1-7 = 1
где правая часть есть
Qi + (n - l)g + ^PijVj.3 = 1
С учетом этого равенства получим систему JV неоднородных уравнений Ховарда относительно Ж + 1 неизвестных гдлд, W и д:
д + гч = Qi+ ^PijVj, i=i,2,...,N,(4.4.1)
7=1
из которой неизвестные v\, v^,.... vn можно найти только с точностью до аддитивной константы. Действительно, пусть гдлд, p^n удовлетворяют (4.4.1), а с — произвольная константа, тогда, прибавив к левой части с, а к правой части
С = V PijC, получим 7 = 1
тстс
+ У г + с) = Qi + ^PipO + с), ИЛИ д + Т = Qi + ^Рг^'у 3=13=1
где г;' = г;г- + с, г = 1,2, ...,N. Очевидно, г;' тоже есть решение (4.4.1).
Таким образом, абсолютные значения весов гц из (4.4.1) определить нельзя, но можно определить т.н. относительные веса,
положив с = —dn, или, что эквивалентно, положив vn = 0. Тогда мы получим систему N уравнений с Ж неизвестными, которая имеет единственное решение в виде прибыли g и относительных весов гцщд, ••• , ^i-ь Важно подчеркнуть, что система (4.4.1) и ее решение не зависят от п.
Экономический смысл относительных весов легко понять из вида асимптотических соотношений для ПОД. Возьмем два произвольных состояния г и у, для них
гч^ = ng + гр и Vj(n) = ng + Vj =^
гр(п) — Vj(n) = гр — Vj = (гр + c) — (гд + c), т. e. разность ПОД, получаемых системой в состояниях 1 и у, при большом п есть разность относительных весов. Она показывает, насколько выгоднее начать эксплуатацию системы из i-го состояния , чем из у-го.
Вернемся к алгоритму Ховарда построения оптимального управления (оптимальной политики). Он состоит из двух основных блоков — блока оценки управления (БОУ) и блока улучшения управления (БУУ). В первом находятся прибыли и относительные веса при фиксированном управлении к = (к^ к%,..., к nV которому однозначно соответствует для каждого г = 1,2,..., Ж строка МВП р^г = ^ЬЛм *** '^^ и строка МОД г^ = (т^,г^,... ,г^^ Они позволяют определить СОД к N к к
qr = X Pijrij и записать уравнения Ховарда в виде
= 1
тс
+ гр = q^1 + ^ Р^О’ ^=1,2,..., Я, vN = 0,(4.4.2)
= 1
где величины q^1 и р^ в БОУ предполагаются известными. Решением системы (4.4.2) являются значения с^(к) и д(/г),_однозначно соответствущие управлению /^Значение прибыли д(к) является оценкой качества управления к, отсюда и название блока.
Во втором блоке БУУ находится управление, обеспечивающее более высокую прибыль при фиксированных относительных весах. Пусть веса заданы произвольно (например, гр = 0 Vi) или получены в БОУ (гр = Ci(k)\ Из системы (4.4.1) для каждого г имеем
=+ X С Ч - ^-(4.4.3)
7 = 1
где величины Vi предполагаются известными для всех г. Найдем управление Ц, максимизирующее (4.4.3) по всем к^ Е К^ или, что эквивалентно, максимизирующее критерий
дог = 9^‘ + ^р^.(4.4.4)
Если решить задачу максимизации (4.4.4) для всех г = = 1,2N, то будет получено управление к = (А;^^ которое дает не меньшую прибыль, чем управление к с весами гч(к\
Связка БОУ и БУУ, дополненная вспомогательными блоками выбора управления к (БВУ), выбора весов Vi (БВВ) и организации цикла (БОЦ), образует итерационный алгоритм Ховарда. Его укрупненная блок-схема представлена на рис. 4.4.2.
Рис. 4.4.2
Работа алгоритма начинается либо с J>By, либо с БВВ_В первом случае в БОУ находятся веса гн(к) Vz и прибыль д(к).
По этим данным в БУУ предпринимается попытка улучшить управление к. Если это удается, т. е. к ^ к, то БОУ и БУУ через БОЦ циклически замыкаются, в противном случае_БОЦ останавливает процесс итераций, и полученное значение к совместно с д(к) объявляются оптимальными, т. е. к = к, д* = д(к).
Если работа алгоритма начинается с БВВ (например, веса гч и управление к полагаются равными нулю), то далее в БУУ определяется управление к ^ 0 и через БОЦ организуется итерационный процесс.
До обоснования алгоритма Ховарда апробируем его на задаче РФ. Итерационный процесс лаконично, но в полном объеме отражен в табл. 4.4.1.
Обоснование алгоритма Ховарда. Предположим, что при m-й итерации в результате оценки управления к получено значение прибыли, равное дт = д(к ), а при (т + 1)-й итерации дт^х д(кт+ ), где кт^ получена в результате максимизации по кг критерия
д0г = 9-1 + ^Р>Т,
Следовательно,
qi 1+ 2^3VJ
з-х3-x
и
, , TV , ,TV
Lm3v — L.m-VVкт ,—. pm
л = 93 + ^p4 UT-93 -^2л-3 VT ^<445)
где 7г — приращение критерия д^ при переходе от m-й итерации к (171+ 1)-й. Согласно (4.4.2) уравнения для оценки управлений ут тт+1 к и к имеют вид
gm + vp = q^ Х^рГнр 2=1,2N, (4.4.6) 3 = ^
N
gm+i+ym+i=yt +^р^г=1,2N. (4.4.7)
Таблица 4.4.1
Основные соотношения кN к
Оценка управления: д щ = q^ ^2 Pij^j^n = 0, i= 1,2,...,>^>р,ц?, i= \,2~..,N- 1. кN к
Улучшение управления: q^ + ^ Pti^d max, % = 1,2,..., N =4*
к = (кх,, км)
Исходные данные
1-ая итерация
1
к
Чг
Улучшение управления (fi = иг = 0)
Оценка управления (г>2 = 0)
1
1
0,5
0,5
6
0
Ц = 1
д + ??i = 6 + 0,5ц] д = —3 4- 0,4ц]
дх = 1 , ц{ = 10
2
0,8
0,2
4
4
2
1
0,4
0,6
-3
-3
Ц = 1
2
0,7
0,3
-5
-5
2-ая итерация
3-я итерация
Улучшение управления
Оценка управления (^2 = 0)
Улучшение управления
6+0,5-10 = 11
Ц = 2
gd™^! :=4-|-0,8тц ™ 5 + 0,7^1
д2=2 , ц2=10
6+0,5-10=11
Ц=2
4+0,8-10=| 12 |
4+0,8-10= 12 |
-3+0,4-10=1
4=2
-3+0,4-10=1
4=2
-5+0,7-10=[|]
-5+0,7-10=[Л
Ответ: Ц = Ц = 2, д* = 2,= 10, t>2 = 0.
Замечание: В обозначениях к^1, дт, ^ индекс т есть номер итерации.
Вычитая (4.4.6) из (4.4.7), получим
gm+l _ дт + ут+1 _ ^т =
= q^ +^Pij '«" "ЕЩТ (4-4-8)
Наконец, из (4.4.5) найдем
q? -q/ = л-^Х3 ^3 ^LJMU3
и подставим в (4.4.8):
(4.4.9) Введем обозначения gm^x — gm = g^ и -u^x — u™ = u-\ тогда уравнения (4.4.9) примут вид
gA + v^ = 7г + ^ р^ vf, г =1,2N. (4.4.10) 4=1
Эти уравнения по форме совпадают с уравнениями (4.1.2) с той разницей, что последние составлены относительно абсолютных значений прибылей и весов, а (4.4.10) — относительно их разностей. Согласно (4.1.5), (4.1.7) прибыль д, полученная из системы (4.1.2), равна
д = ^Q.
Аналогично из системы (4.4.10) можно получить дд и представить в форме
9^ = ^ Г,(4.4.11)
где Г есть неподвижный вектор матрицы Р^ , а Г = / 71 \
л"7^ ГП/ “4~ 1
Заметим, что у > 0, т. к. л^ 0 и Г 0. В частности, д^ > 0, если 7г > 0 хотя бы для одного существенного состояния г, т. е. если критерий д^ в БУУ возрастает хотя бы при одном г, для которого щ > 0.
Теперь покажем, что если существует управление к , дающее большую прибыль, чем к, то оно будет определено алгоритмом
Ховарда. Действительно, пусть _дк > дк, но алгоритм Ховарда в качестве оптимального дает к. Тогда во всех состояниях, г величины 7^0, где у^ определяются формулой (4.4.5), если к
и fcm+ заменить на к и к' соответственно. Так как тг^ О, то согласно (4.4.11) д^ 0, или дк дк, и мы приходим к противоречию.
Замечание 1. Число итераций в алгоритме Ховарда конечно.
Замечание 2. Во избежание зацикливания Ховард реко™N И к N к
мендует сохранить к, если д-г + ^Pp-Vj = д/ + ^Рурр но
к' к.
. Построение оптимального управлениядля произвольной цепи с учетом переоценки(бесконечный горизонт управления)
Этот параграф аналогичен предыдущему, что позволяет сократить его объем. В обоих параграфах предполагается, что п го, рассматриваются два метода решения — полного перебора и Ховарда, оптимальное управление ищется в классе стационарных. При этом в §4.4 не учитывалась переоценка доходов ф = 1), исключены из рассмотрения полиэргодические цепи, в качестве критерия оптимального управления рассматривалась прибыль. В данном параграфе предполагается учесть переоценку доходов (/3 < 1), рассмотреть произвольные цепи, в том числе полиэргодические, а в качестве критерия оптимальности управления принять предельный доход
Vp^k^y-pPp-'Q^Vp^k^y-pPp-'Q^(4.5.1)(4.5.1)
Vp^k^y-pPp-'Q^
Vp^k^y-pPp-'Q^
(4.5.1)
(4.5.1)
Эта формула лежит в основе метода полного перебора (для определения оптимального управления к ), схема которого изображена на рис. 4.5.1.
р - _
к
Рис. 4.5.1
В §4.2 эта схема реализована применительно к задаче РФ.
Алгоритм Ховарда. В §4.1 было доказано, что ПОД Vp^ имеет предел при п ос. Это позволяет в рекуррентном соотношении (4.1.4)
'Upp = Qi + P'^Pij'yjy - О' г = 1,2N, j=v
перейти к пределу при п ос (в терминологии Беллмана [1] — перейти к бесконечноэтапной аппроксимации) и получить (индекс 3 в обозначениях ПОД далее опускается)
^оог = Qi 4” 3 ^ ^ Pij^ooj 1 2 = 1,2,..., N".(4.5.2)
7 = 1
Мы получили систему из N уравнений Ховарда относительно Ж переменных KobV^VmN- Она лежит в основе итерационного алгоритма Ховарда построения оптимального управления (оптимальной политики). Как и в предыдущем параграфе, алгоритм состоит из двух основных блоков — БОУ и БУУ.
В первом из них при фиксированном управлении к решается система уравнений
= Q^ + З^Р-р^ г =1,27V,(4.5.3)
относительно предельных доходов причем величины qr и p^j предполагаются известными. В результате решения системы будут получены значения иЦ/ф однозначно оценивающие управление к. Отсюда и название блока — блок оценки управления.
Во втором блоке улучшения управления (БУУ) при фиксированных значениях предельных доходов, например равных нулю или полученных в БОУ (-0^ = и^ЗкУ), для всех г определяются стратегии Ц, максимизирующие критерий
тс
"Ог = «Ь + ^Vp^oojmax .(4.5.4)
Jкгекг
7 = 1
Если решить задачу максимизации (4.5.4) для всех г = = 1,2N, то будет получено управление к = (кх,к2^лД
которое дает не меньший предельный доход, чем_управление к, которому соответствуют предельные доходы '^(k).
Как и в предыдущем параграфе, связка БОУ и БУУ, дополненная вспомогательными блоками выбора управления (БВУ), выбора предельных доходов (БВД) и организации цикла (БОЦ), образует итерационный алгоритм Ховарда. Его укрупненная блок-схема представлена на рис. 4.5.2.
Рис. 4.5.2
Работа алгоритма начинается либо с БВУ, либо с БВД. В первом случае в БОУ находятся предельные доходы -и^у Vi в предположении, что по выбранному в БВУ управлению к сформированы q^4 и р^.
По найденным значениям -Uo^ в БУУ предпринимается попытка найти управление к , максимизирующее при каждом г = 1,2N критерий и^ и улучшающее тем самым управление к. Если это удается, т. е. к ^ к, то БОУ и БУУ через БОЦ циклически замыкаются, в противном случае БОЦ останавливает
процесс итераций, и полученное значение к совместно с Vooi^k) объявляются оптимальными, т. е. к = к, -и^ = 'Voo^k).
Если работа алгоритма начинается с_БВД (например, предельные доходы при всех г и управление к полагаются равными нулю), то далее в БУ У определяется управление к ^ 0 и через БОЦ организуется итерационный процесс.
До обоснования алгоритма Ховарда апробируем его на задаче РФ при /3 = 0,9. Итерационный процесс лаконично, но в полном объеме отражен в табл. 4.5.1.
Обоснование алгоритма Ховарда. Предположим, что при m-й итерации в результате оценки управления к получены значения предельного дохода 7^ = Voot^k ), а при (т + 1)-й итерации = г^рк ), где управление к получено в результате максимизации по kt критерия
vto = q-^0^'PkM-3' г=1’2N‘
7=1
Таблица 4.5.1
Основные соотношения кN к
Оценка управления: г)^ = q{" + ^ 52
г= 1,2, ..^N^v^i, i= 1,2,...,Ай кN к
Улучшение управления: qp + Р ^max,
Исходные данные
1-ая итерация
г
к
Улучшение управления Kool = «00*2 = 0)
Оценка управления (^2 = 0)
1
1
0,5
0,5
6
И
fcj = 1
Уоо! == 60,9(0,5 77 00] +
+0,57?оо2)
Цх)2 = — 3 + 0,9(0,4т7оо| + +0,6уоо2)
2
0,8
0,2
4
4
2
1
0,4
0,6
-3
-3
ц =1
уЦ = 15,5, Ц2 = 5,6
2
0,7
0,3
-5
-5
22,212,322,212,37 = 17 = 17 = 17 = 1
22,2
12,3
22,2
12,3
7 = 17 = 1
7 = 17 = 1
2-ая итерация
З-я итерация
Улучшение управления
Оценка управления
Улучшение управления
6+0,9(0,5-15,5+ +0,5-5,6)=15,5
Ц=2
-г+о] =4+0,9х х (0,8^001+0,2^2) +х>2= — 5+0,9 х
X (0,7^00!+0,3Уоо2)
6+0,9(0,5-22,2+ +0,5-12,3)=21,5
Ц=2
4+0,9(0,8-15,5+
+0,2-5,6)= 16,17
4+0,9(0,8-22,2+
+0,2-12,3)= 22,2
-3+0,9(0,4-15,5+ +0,6-5,6)=5,6
^ = 2
v^]=22,2
-3+0,9(0,4-22,2+ +0,6-12,3)=! 1,6
р=2
-5+0,9(0,7-15,5+ +0,3-5,6)= 6,28
-5+0,9(0,7-22,2+ +0,3-12,3)= 12,3
Ответ: Ц=Ц
Замечание. В обозначениях А^Су^г индекс т есть номер итерации.
Следовательно,
r.m+1— r,m+limх—- кт
л = С-Р^р-^^ <4-5-5)
7=17=1
где 7г — приращение критерия -и^ при переходе от т-й итерации к (т + 1)-й. Согласно (4.5.3) уравнения для оценки управлений кт и кт^Х имеют вид
C,=9F+7^P-fCr г =1,2N, (4.5.6) 7 = 1
N
+" = 7' +^1М <С , = 1-2х- <4'57> 7=1
Вычитая (4.5.6) из (4.5.7), получим
Voot -уоо, =9,-9, + ЗМУ УД -y^PipVooj-
(4.5.8)
Наконец, из (4.5.5) найдем
Л Mi M \ MiI \ Mi
Qi Qi 62 P / /Pi] + P / ^Pij MM
и подставим в (4.5.8):
<J~ <Д = 7; + З^^- j£7"Г™, =
7=1
= 7, + йЕТ<4'M>
Введем обозначения п^1 — -u^ = -u^, тогда уравнения (4.5.9) примут вид
M = ^ + 3^PJ М' ? = 1’2N- (4-51°)
Эти уравнения по форме совпадают с уравнениями (4.5.3) с той разницей, что последние составлены относительно абсолютных значений предельных доходов, а (4.5.10) относительно их разностей. Вектор предельных доходов (4.5.1) получен из системы (4.5.2) (см. §4.1), следовательно, из системы (4.4.10) можно получить V^ и представить в форме
УД = Ц-Мт+'М.(4.5.11)
/ 71 \ где Г =... I.
По определению Ц — f3P^ )-1 = X (7-Р^) + I, следо
вательно, элементы этой матрицы неотрицательны, а диагональ-
ные элементы даже больше или равны 1. Согласно (4.5.5) Г О, следовательно, в силу (4.5.11)
У^о > 0, или СУ > С. * = L2,(4.5.12)
Если же хотя бы при одном г > 0, то > д^.
Таким образом, процедура улучшения управления может увеличить значения предельного дохода хотя бы при одном г, но не может их уменьшить ни при каких значениях г.
Теперь покажем, что если существует управление к , дающее большее значение предельного дохода (хотя бы при одном г), чем к, то оно будет определено алгоритмом Ховарда. Действительно, пусть а^ > а^, но алгоритм в качестве оптимального дает к. Тогда во всех состояниях г величины у^ ^ 0, где у^ определяются формулой (4.5.5), если кт и кт^ заменить на к и к’ соответственно. В силу (4.5.11) отсюда следует, что V^ 0, и мы приходим к противоречию.
Замечания 1, 2, высказанные в конце §4.4, остаются в силе, более того, мы добавим еще два.
Замечание 3. Задача векторной максимизации, которая решалась в этом параграфе, распадается на N задач со скалярным критерием. Этой спецификой объясняется тот факт, что управление к оказывается оптимальным для всех г одновременно.
Замечание 4. Недостатком моделей с переоценкой является трудность определения соответствующего коэффициента /3. Однако опыт решения задач с последовательностью значений 3, изменяющихся от 0 до 1 с малым шагом, показывает, что множество значений /3 разбивается на 3-5 областей безразличия, в пределах которых оптимальное значение управления остается неизменным. Это свойство дает возможность значительных допусков в задании коэффициента переоценки, если они не выводят его за пределы области безразличия [35, гл. 7].
. Построение оптимального управления дляполиэргодической цепи без учета переоценки(бесконечный горизонт управления)
Задача оптимального управления ЦМ с доходами в случае бесконечного горизонта и без учета переоценки была сформулирована в виде (4.2.4)
G(k) шах,(4.6.1)
к
гдегде
где
где
(4.6.2)(4.6.2)СЦ) = nkQk
(4.6.2)
(4.6.2)
для полиэргодической цепи есть вектор прибылей с L + Аф попарно различными компонентами. Действительно, согласно §3.5, если матрица Р имеет L (Nt, Ж)-блоков Tt, t= 1,2,...,Д, управляющих переходами на множестве СС Аго КЭ, и (АД, Ж)-подматрицу Д, управляющую переходами из НС в СС, то матрица П имеет вид, представленный в табл. 4.6.1.
ЖЖЖЖЖЖТаблица 4.6.1Таблица 4.6.1
Ж
Ж
Ж
Ж
Ж
Ж
Таблица 4.6.1
Таблица 4.6.1
Здесь bit ™ вероятность поглощения системы Дм классом эквивалентности при ее старте из Аго НС, тг£ > 0 — неподвижный вектор матрицы Tt с Nt положительными компонентами.
/ q\ \
Представим вектор Q =... в форме таблицы 4.6.2 и
\ QN /
найдем произведение G = nQ (см. табл.4.6.3).
Для прибылей, соответствующих КЭ, введем новые обозначения:
tt^Qi = gx — прибыль 1-го КЭ,
(4.6.3)(4.6.3)iv^Q^ = g2 — прибыль 2-го КЭ,
(4.6.3)
(4.6.3)
tt£Qi = gL — прибыль L-го КЭ.
Таблица 4.6.3Таблица 4.6.39\9\д\92д\9292929ь9ь9l9н+\Ж+29l9н+\Ж+2N\ разN\ раз^2 раз^2 раз
Таблица 4.6.3
Таблица 4.6.3
9\
9\
д\
92
д\
92
92
92
9ь
9ь
9l
9н+\
Ж+2
9l
9н+\
Ж+2
N\ раз
N\ раз
^2 раз
^2 раз
9n
Тогда для прибылей, соответствующих НС, имеем L L
gi = ^bitHQt = ^bitgt, г = Nc + 1,,N.
Таким образом, а) всем состояниям i-ro КЭ соответствует одна и та же прибыль д\ б) несущественным состояниям соответствуют прибыли, представляющие линейные комбинации прибылей КЭ с весами, равными вероятностям поглощения, в) число попарно различных прибылей ГЩ равно L + NH.
Соотношения (4.6.1)-(4.6.3) лежат в основе метода полного перебора построения оптимального управления ПЦ с доходами, схема которого изображена на рис. 4.6.1.
Вектор Gk в отличие от G состоит из попарно различных прибылей.
Рассмотрим пример, для которого найдем оптимальное управление методом полного перебора. Исходные данные зададим табл. 4.6.4.
Рис. 4.6.1Рис. 4.6.1max Gkmax GkqYk) _
Рис. 4.6.1
Рис. 4.6.1
max Gk
max Gk
4Ne + 1 ( ^')
\W^) /
Таблица 4.6.4
Состояние
7
Стратегия к
Вероятности перехода
сод
91
Ри
Ре
Рй
Ре
1
1
1
3
2
1
0
2
1
0,5
0,5
6
2
0,8
0,2
4
3
1
0,4
0,6
-3
2
0,7
0,3
-5
4
1
0,5
0,5
1
Рис. 4.6.2Рис. 4.6.3Рис. 4.6.2Рис. 4.6.3При k = 1 и 2 графы состояний имеют вид, представленный рисунками 4.6.2 и 4.6.3.
Рис. 4.6.2Рис. 4.6.3
Рис. 4.6.2Рис. 4.6.3
Этот пример обобщает задачу РФ, поэтому, если обозначить стационарную политику через (fci, ко, к^, к^ и воспользоваться результатами §4.2 для задачи РФ, то решения обобщенной задачи РФ методом полного перебора можно представить таблицами 4.6.5 и 4.6.6.
Оптимальной стационарной политикой является (1221) с вектором прибылей (3, 2, 2, 2, 5)т. Следует заметить, что г-я компонента этого вектора есть максимальная прибыль в i-м состоянии, г = 1,2,3,4.
(кьНЛзЛЯ = =(1111)
(к[, к-т, Н, к^ = ="(1121)
(Н, k-i, Н, кц) = ="(1211)
(к\, k-i, Ц, Ц) = ="(1221)
п
1
1
1
1
4
9
5
9
7
12
5
12
2
3
3
7
9
2
9
4
9
5
9
7
12
5
12
2
3
3
7
9
2
9
0,5
0,22
0,28
0,5
0,29
0,21
0,5
0,33
0,17
0,5
0,39
0,11
г
Q
G
Q
G
Q
G
Q
G
1
3
3
3
3
3
3
3
3
2
6
1
6
1,42
4
1,67
4
2
3
-3
1
-5
1,42
-3
1,67
-5
2
4
1
2
1
2,21
1
2,34
1
2,5
Таблица 4.6.5
§4.6. Построение оптимального управления
СП
ПьНЛзЛЯ =
= 2111
(кьНЛзЛЯ = = 2121
= 2211
(к\, к-т, Н, Ц) = = 2221
п
4
9
5
9
7
12
5
12
2
3
1
3
7
9
2
9
4
9
5
9
7
12
5
12
2
3
1
3
7
9
2
9
4
9
5
9
7
12
5
12
2
3
1
3
7
9
2
9
4
9
5
9
7
12
5
12
2
3
1
3
7
9
2
9
г
Q
G
Q
G
Q
G
Q
G
1
0
1
0
1,42
0
1,67
0
2
2
6
1
6
1,42
4
1,67
4
2
3
-3
1
-5
1,42
-3
1,67
-5
2
4
1
1
1
1,42
1
1,67
1
2
Таблица 4.6.6
Гл. 4. Управление цепями Маркова с доходами
Метод полного перебора имеет весьма ограниченные возможности, поэтому перейдем к рассмотрению более общего итерационного алгоритма Ховарда.
Алгоритм Ховарда. Если в рекуррентное соотношение
.2) для ПОД vpP = 9г + Т,РчиАп- 0- * = 1,2,,2V, 7=1
подставить асимптотическое соотношение (4.1.12) для ПОД
= n.gt + 14,
то получим
NN
пдг + «г = 9г + Щ — 1) ^Pijgj +
или
P - i)gi + gi + гч = 9i + О- - 1) ^PijOj + ^PijO-7=17=1
Эти уравнения должны выполняться при любых достаточно больших значениях п, следовательно, должны быть равны коэффициенты при п и свободные члены:
91 = ^Pijgj,(4.6.4)
7 = 1
gi + Vi = Qi + ^PijVj, i = 1,2,..., N. (4.6.5) 7 = 1
Мы получили две системы уравнений Ховарда порядка 2N с 2N неизвестными gi и щ. Предполагается, что величины qt и pij известны. Рассмотрим систему (4.6.4). Мы знаем, что для любого i-ro КЭ имеется единственная прибыль д1 и для всех г из i-ro КЭ система (4.6.4) принимает вид
д1 = X Piigt =р1! = д1,
jestjESt
где St — множество состояний i-ro КЭ, а ^2 Pij = ^- Итак для jest
СС система (4.6.4) вырождена.
Пусть I Е SH, т. е. является НС, тогда
9г = 52 Рг^ + 52 PlJgJjestjeSK
ИЛИ
gi^gt + ^Pijgj, iESH,(4.6.6)
где
L
дг = 52 р^ = 52gt 52 р^ (4-67) jESct=l jESt
— средняя прибыль при переходе из г-го НС в Sc. Система (4.6.6), состоящая из Жн уравнений, позволяет выразить прибыли НС Ж+1-Ж+2, > W через прибыли уЩ2,... ,Д КЭ.
Перейдем к рассмотрению системы (4.6.5). Учитывая, что ^ Ptj — L t = 1,2,...,L, если г Е St, систему (4.6.5) можно jESt
разбить на L + 1 подсистем:
д' + nt = Qi + ^PijVj, г Е St, t = 1,2,... ,L,(4.6.8)
jESt
И
gi + Vi = Qi + 52 PijVj + 52 РгЛз = ^ + 4 + 52 Р^Лр E ,5'H’ j^Scj&SKjESH
(4.6.9) где
i E SH.(4.6.10)
jESe
Согласно §4.4 подсистемы (4.6.8) допускают решение относительно прибыли д1 и относительных весов щ, г Е St, г ^ it, ад = 0, где ц — последний номер состояния i-ro КЭ. В результате решения L подсистем (4.6.8) получаются значения прибылей и весов для всех СС. Это позволяет с помощью соотношений (4.6.7) и (4.6.10) найти для всех НС значения gi и щ и подставить их в уравнения (4.6.6) и (4.6.8) соответственно.
Из системы (4.6.6), состоящей из Жн уравнений относительно Жн неизвестных gt, г Е SH, определяются прибыли, соответствующие НС. Если полученные значения gi (наряду с щ) подставить в систему (4.6.9), то последняя будет состоять из АС уравнений
относительно Ад неизвестных щ, что позволяет определить веса, соответствующие НС.
Суммируя все вышеизложенное, можно дать следующее описание алгоритма решения систем уравнений (4.6.4), (4.6.5).
Из системы уравнений (4.6.5) выделяем L подсистем вида (4.6.8) для каждого КЭ. Решаем каждую подсистему в отдельности относительно прибыли д1 и относительных весов щ, г Е St, ад = 0. Исходными данными для решения являются МВП Tt и Rt- По полученным данным вычисляем gi (4.6.7) и щ (4.6.10) для всех i Е SH.
Значения gi подставляем в систему (4.6.6) и из нее определяем прибыли дд г Е S^.
Значения щ и дд г Е SH, подставляем в систему (4.6.9), из которой далее определяем at для всех г Е 8И.
Проиллюстрируем этот алгоритм на нашем примере, фиксируя управление (1,1,1,1). В этом случае цепь имеет два КЭ (рис. 4.6.2): {1} и {2,3}, состояние 4 является несущественным.
Система (4.6.8), соответствующая первому КЭ, имеет вид д1 + щ = д\ + рп^ь но щ = 0, следовательно, дх = q; = 3.
Система (4.6.8), соответствующая второму КЭ, имеет вид
Г д2 + <и2 = q2 + р22и2 + р23<и3
[ Г + Из = Q3 + Р32П9 + РЗЗ^З *
Здесь из = 0, q2 = 6, qg = —3, Р22 = 0,5, Р39 = 0,4, поэтому
Г д~ + V2 = 6 + 0,5гд,{ д2 = —3 + 0,4^9,
отсюда гд = 10 и g2 = 1.
Согласно (4.6.7) и (4.6.10)
94 = Р4\дх + (р42 + Р4з)§Г — 0,5 • 3 + (0,5 + 0) • 1 = 2,0,
W = P4i^i +Р49П9 +Р43П3 = Р49П9 = 0,5 • 10 = 5,0.
Система (4.6.4) имеет вид
94 = 94 +Р4494-
Если подставить д4 = 2, ^44 = 0, то получим д4 = 2.
Система (4.6.9) имеет вид
94 + W = 94 + а 4 + P44W*
Если подставить #4 = 2, дц = 1, а4 = 5, р^ = 0, то получим 2 + 4“ щ — 1 4~ 5 =4* щ = 4.
Итак, векторы весов и прибылей имеют вид
/ а\\ W/ а\\ W
/ а\
\ W
/ а\
\ W
Последний совпадает с полученным ранее методом полного перебора.
Системы уравнений (4.6.4) и (4.6.5) лежат в основе итерационного алгоритма Ховарда построения оптимального управления (оптимальной политики). Как и в §§4.4, 4.5, он состоит из двух основных блоков БОУ и БУУ. В первом при фиксированном управлении к решаются системы
9г = Г PpP
JE' N , 1=1,2,...,N,(4.6.11)
9i + «i = ср + £ p^Vj
где для всех г р^, предполагаются известными.
Решение этих систем осуществляется изложенным выше_ал- горитмом. В результате будут получены вектор прибылей G(fc) и вектор весов V(k), оценивающие качество управления к.
В БУУ при фиксированных G(k) и V(k) пытаются улучшить управление к, т. е. получить новое управление к , обеспечивающее более высокое значение вектора прибылей. Для этой цели можно использовать два критерия:
ТСL
^РрЭз = ^9г^Р^+ ^gjP^ max, (4.6.12)
jEl£=1 jESt jESH
NГ + Е4юJE\NГ + Е4юJE\max,max,i e S,i e S,(4.6.13)(4.6.13)
N
Г + Е4ю
JE\
N
Г + Е4ю
JE\
max,
max,
i e S,
i e S,
(4.6.13)
(4.6.13)
где первый является основным, а второй дополнительным. Он используется в тех случаях, когда основной критерий не дает од-
jcijciпозначного решения. Такое «распределение ролей» объясняется тем, что значение ПОД определяется, в основном, суммой
jci
jci
(4.6.14)
тогда как влияниеуу
T + »br< (4-6J5)
jciоказывается значительно меньше. Действительно, если подста-вить в правую часть (4.1.2)
Л7
= <к' + ^Р^А™ - О
асимптотическое соотношение (4.1.12) щ(?1) = пд^ + vp то получим формулу для ПОД:
чд(п) = д^г + (пчд(п) = д^г + (пЛ7Л7
чд(п) = д^г + (п
чд(п) = д^г + (п
1) ^ЗД + ^РМИjeijei
в которую сумма (4.6.14) входит с коэффициентом (п — 1), тогда как сумма (4.6.15) входит с коэффициентом 1.
Как и в §§4.4, 4.5, связка блоков БОУ и БУУ, дополненная вспомогательными блоками БВУ, БВВ и БОЦ, образует итерационный алгоритм Ховарда. Его укрупненная блок-схема представлена на рис. 4.6.4. БОУ в развернутом виде представлен на рис. 4.6.5.
Решение примера по алгоритму Ховарда. Начнем решение с БВУ, выбирая в качестве нулевого управления к = (1111). Системы (4.6.4) и (4.6.5) БОУ при данном управлении уже были решены выше со следующими результатами:
/ ox
H(t t t !)H(t t t !)^L G(l, 1,1,1)\ 4/
H(t t t !)
H(t t t !)
4таху2й>jei4таху2й>jeiПервая итерация начинается в данном случае с БОУ и заканчивается БУУ. Согласно критерию (4.6.12) при г = 1
4
таху2й>
jei
4
таху2й>
jei
max < Рпд\р\292 г = max {1-3, 1-1} = 3, Ц = 1;
6 Г. А. Соколов, Н. А. Чистякова
Рис. 4.6.4Рис. 4.6.444при г = 2при г = 2max м P^Oj = max2max м P^Oj = max2КЬУ + Ргз)-УДРгг + РгзКЬУ + Ргз)-УДРгг + Ргз
Рис. 4.6.4
Рис. 4.6.4
4
4
при г = 2
при г = 2
max м P^Oj = max
2
max м P^Oj = max
2
КЬУ + Ргз)-УДРгг + Ргз
КЬУ + Ргз)-УДРгг + Ргз
= шах {1(0,5 + 0,5), 1(0,8 + 0,2)} = 1,
но k2 Е {1,2}, т. е. к^ определяется неоднозначно, и следует воспользоваться дополнительным критерием:
= max < q^ + Р^М. др + р12^2
= max {6 + 0,5 • 10, 4 + 0,8 • 10} = max {11, 12} = 12, к2 = 2.
При г = 3При г = 3Рис. 4.6.5Рис. 4.6.543 jEl43 jElmaxmaxf 2 / 1 I 1 A15 yP32 + P33yf 2 / 1 I 1 A15 yP32 + P33y/ 2 । 2 A \P32 + P33 J/ 2 । 2 A \P32 + P33 Jmax {1 (0,4 + 0,6), 1(0,7+ 0,3)} = 1,
При г = 3
При г = 3
Рис. 4.6.5
Рис. 4.6.5
4
3 jEl
4
3 jEl
max
max
f 2 / 1 I 1 A15 yP32 + P33y
f 2 / 1 I 1 A15 yP32 + P33y
/ 2 । 2 A \P32 + P33 J
/ 2 । 2 A \P32 + P33 J
но Pg e {1,2}, t. e. Pg определяется неоднозначно, и следует привлечь дополнительный критерий:
= max {—3 + 0,4 • 10,= max {—3 + 0,4 • 10,= max < Qg + Pg2^2, Qg + Pg2^2
= max {—3 + 0,4 • 10,
= max {—3 + 0,4 • 10,
-5 + 0,7- 10} = max{l, 2} = 2, fcg = 2.
При i = 4 существует единственная стратегия k^ = 1.
Итак, БУУ на первой итерации дает управление к =(1,2,2, 1), которое не совпадает с к = (1, 1, 1, 1), и мы переходим к оценке полученного управления (вторая итерация).
Согласно блоку 1 на схеме БОУ (рис. 4.6.5) для 1-го КЭ дх = = qx = 3 =4 Hi = 0, дх = 3; для 2-го КЭ
д2 + гд = qj + ^22^2Г д2 + гд = 4 + 0,8?д
д2 = q2 +р12^2[ д2 = ™5 + о,7г?2
/ вычитаем из первого \ Г ^д = 9 + 0,1 г?2
\ уравнения второе /1 д2 = — 5 + 0,71?2
=У ид = 0, гд = 10, д2 = 2.
Согласно блоку 2 находим
дА = ph#1 + р|2Р2 = 0,5 • 3 + 0,5 • 2 = 2,5,
р4 = Р41П1 + Р42^2 — 0,5 • 0 + 0,5 -10 = 5.
Согласно блоку 3 решаем уравнение
Р4 = д^ д4 = 2,5.
Согласно блоку 4 решаем уравнение
р4 4- ^4 — Q4 4- и42,5 +— 1 4- 5 гц — 3,5.
В результате оценки управления (1,2,2, 1) получены вектор прибыли и вектор весов:
Перейдем к БУУ, пытаясь получить управление с более высоким значением вектора прибылей.
Согласно критерию (4.6.12) при г = 1
4ЗЕХ4ЗЕХшахшахf 1 1 2 2)|Р11Р ^Р12Р /f 1 1 2 2)|Р11Р ^Р12Р /= шах {1-3, 1-2} = 3, кх = 1;= шах {1-3, 1-2} = 3, кх = 1;
4
ЗЕХ
4
ЗЕХ
шах
шах
f 1 1 2 2)|Р11Р ^Р12Р /
f 1 1 2 2)|Р11Р ^Р12Р /
= шах {1-3, 1-2} = 3, кх = 1;
= шах {1-3, 1-2} = 3, кх = 1;
4
при г = 2 maxy^p^j = тах
ЗЕХ
= max {2(0,5 + 0,5), 2(0,8 + 0,2)} = 2,
но кр Е {1,2}, и согласно дополнительному критерию (4.6.13)
(
4\
IIfill2I2)
Q9 + > P9^j = max 5 92 +92 + P92^2 f =
jEX/
= max{6+ 0,5-10, 4 + 0,8 ■ 10} = max{l 1, 12} = 12, k2 = 2.
4
При i = 3 max Д^ Р^рз = max
3EX
max {2(0,4 + 0,6), 2(0,7 + 0,3)} = 2,
но кз E {1,2}, и согласно дополнительному критерию (4.6.13)
(
4\
Ц , v^ + IГ 1 , 12,21
93 += max|g3 + р32г+5з + р32«2> =
lei /
= max{—3 + 0,4 ■ 10,-5 + 0,7 • 10} = max{l,2} = 2, k3 = 2.
При г = 4 существует единственная стратегия к^ = 1.
322,5322,5вектора прибылей д2 \ 94вектора прибылей д2 \ 94Итак, БУУ на второй итерации дает управление к = (1,2,2, 1), которое совпадает с управлением, полученным на первой итерации. Итерационный процесс завершается с получением оптимального управления (1,2,2, 1) и оптимального
3
2
2,5
3
2
2,5
вектора прибылей д2 \ 94
вектора прибылей д2 \ 94
Обоснование алгоритма построения оптимального управления ПЦ с доходами изложено в [35, гл. 6].
§4.7. Примеры
В данном параграфе рассматриваются три примера. Первые два сформулированы в §4.1.
Пример 1 (задача капитана судна). Исходные данные и алгоритм Ховарда, реализованный в соответствии со схемой на рис. 4.4.2, представлен на рис.4.7.1.
Работа алгоритма начинается с БОУ, в котором оценивается наугад взятое управление к = (1,2,2), и заканчивается на второй итерации получением оптимальной прибыли д* = 1,6 и оптимального стационарного управления к = (2, 1,2).
Исходные данные
1-я итерация
г
к
рк^
Qi
к»
Оценка управления (сз = 0)
1
1
0,6
0,4
1
1
д + Г| = 1 + 0,6^2 д + + = 0,5 д = 1 + у;
д = 0,8846
и, = -0,1154
и2 = -0,3846
из = 0
2
1
2
2
1
0,5
0,5
1,5
2
2
1
0,5
3
1
0,5
0,5
1
2
2
1
1
4
1-я итерация
2-я итерация
Улучшение управления
ц
Оценка управления
Улучшение управления
1+0,6(-0,3846)=0,7692
2
д + С1=2+1-С2 g+c2 = l ,5+0,5ci
g=l + l-i>i
y=L6
ci =0,6
c2=0,2
Уз=О
1+0,6-0,2=2,2
2
2+1(-0,3846)=1,6154
2+1-0,2=2,2
1,5+0,5(-0,1154)= 1,4423
1
1,5+0,5-0,6= 1,8
1
0,5
0,5
1+0,5(-0,1154)+
+ 0,5(-0,3846)=0,75
2
1+0,5-0,6+ +0,5-0,2= 1,4
2
1+1(-0,1154)=0,8846
1+0,6-1=1,6
Рис. 4.7.1
Ниже методом динамического программирования, изложенным в §4.3, строится оптимальное управление для п = 1,2,3.
Пусть ^*(0) = 0 для всех i = 1,2, 3.
Для п = 1 имеем:
з
= шах{1,2} = 2, к*п = 2,= шах{1,2} = 2, к*п = 2,4(6= п,1ах 9р + У Ркр Ц (0)
= шах{1,2} = 2, к*п = 2,
= шах{1,2} = 2, к*п = 2,
зИ ( 1) = ™ У^' + У Р^' Г (°)^21“J3=1зИ ( 1) = ™ У^' + У Р^' Г (°)^21“J3=1= max {1,5; 0,5} = 1,5, к^ = 1,= max {1,5; 0,5} = 1,5, к^ = 1,
з
И ( 1) = ™ У^' + У Р^' Г (°)
^21“J
3=1
з
И ( 1) = ™ У^' + У Р^' Г (°)
^21“J
3=1
= max {1,5; 0,5} = 1,5, к^ = 1,
= max {1,5; 0,5} = 1,5, к^ = 1,
t^ (1) = max&3it^ (1) = max&3i= max{l; 1} = 1, Цх E {1,2}.= max{l; 1} = 1, Цх E {1,2}.Для n = 2 имеем:Для n = 2 имеем:= max J q} + ^PiXW’ 7 + ^71 /76) Z :[7=17=1 J= max {1 + 0,6 -1,5 + 0,4 • 1; 2 + 1 • 1,5} = = max {2,3; 3,5} = 3,5,= max J q} + ^PiXW’ 7 + ^71 /76) Z :[7=17=1 J= max {1 + 0,6 -1,5 + 0,4 • 1; 2 + 1 • 1,5} = = max {2,3; 3,5} = 3,5,k*2 = 2’k*2 = 2’//2) = max//2) = max+ + Е/+(Г)7=1+ + Е/+(Г)7=1.* __ i'22 “ 1.* __ i'22 “ 1«з(2) = max кз2«з(2) = max кз27=17=1max {1,5 + 0,5 * 2 + 0,5 * 1; 0,5 + 1 • 1} = = max {3; 1,5} = 3,
t^ (1) = max
&3i
t^ (1) = max
&3i
= max{l; 1} = 1, Цх E {1,2}.
= max{l; 1} = 1, Цх E {1,2}.
Для n = 2 имеем:
Для n = 2 имеем:
= max J q} + ^PiXW’ 7 + ^71 /76) Z :
[7=17=1 J
= max {1 + 0,6 -1,5 + 0,4 • 1; 2 + 1 • 1,5} = = max {2,3; 3,5} = 3,5,
= max J q} + ^PiXW’ 7 + ^71 /76) Z :
[7=17=1 J
= max {1 + 0,6 -1,5 + 0,4 • 1; 2 + 1 • 1,5} = = max {2,3; 3,5} = 3,5,
k*2 = 2’
k*2 = 2’
//2) = max
//2) = max
+ + Е/+(Г)
7=1
+ + Е/+(Г)
7=1
.* __ i
'22 “ 1
.* __ i
'22 “ 1
«з(2) = max кз2
«з(2) = max кз2
7=1
7=1
&32 = 2.&32 = 2.max {1 + 0,5 • 2 + 0,5 • 1,5; 1 + 1-2} = = max {2,75; 3} = 3,
&32 = 2.
&32 = 2.
Для n = 3 имеем:
t^(3) = max ^13
акЕ + УркП72)
7=1
= max{l + 0,6 • 3 + 0,4 • 3; 2 + 1 • 3} = max{4; 5} = 5, kx3 = 2,
3
^9(3) = max^23^9(3) = max^239223 +E^3^(2)
^9(3) = max
^23
^9(3) = max
^23
7=1
k*23 = I-k*23 = I-= max {1,5+ 0,5-3,5+ 0,5-3; 0,5 + 1 • 3} = = max {4,75; 3,5} = 4,75,
k*23 = I-
k*23 = I-
^(З) = max ^зз^(З) = max ^ззЗ’ + ДчР)J=1З’ + ДчР)J=1
^(З) = max ^зз
^(З) = max ^зз
З’ + ДчР)
J=1
З’ + ДчР)
J=1
к*зз = ^.к*зз = ^.шах {1 + 0,5 • 3,5 + 0,5 • 3; 1 + 1 • 3,5} = = max {4,25; 4,5} = 4,5,
к*зз = ^.
к*зз = ^.
Заметим, что уже при п = 2 получено оптимальное стационарное управление к = (2, 1,2).
Пример 2 (о приведении системы в заданное множество
состояний). Рассмотрим управляемую цепь с множеством со-
стояний S = {1,2Ж} и МВП Рк-стояний S = {1,2Ж} и МВП Рк-Р1Р1P^Nn PnP^Nn Pn, где р, где рUM 'Pi2UM 'Pi2г-я строка МВП Ркт\ которая на каждомг-я строка МВП Ркт\ которая на каждомшаге п может выбираться человеком из некоторого конечногошаге п может выбираться человеком из некоторого конечногозаданного множества в соответствии с назначенной им стратегией kin Е Ki. Требуется найти управление, максимизирующеезаданного множества в соответствии с назначенной им стратегией kin Е Ki. Требуется найти управление, максимизирующее
стояний S = {1,2Ж} и МВП Рк-
стояний S = {1,2Ж} и МВП Рк-
Р1
Р1
P^Nn Pn
P^Nn Pn
, где р
, где р
UM 'Pi2
UM 'Pi2
г-я строка МВП Ркт\ которая на каждом
г-я строка МВП Ркт\ которая на каждом
шаге п может выбираться человеком из некоторого конечного
шаге п может выбираться человеком из некоторого конечного
заданного множества в соответствии с назначенной им стратегией kin Е Ki. Требуется найти управление, максимизирующее
заданного множества в соответствии с назначенной им стратегией kin Е Ki. Требуется найти управление, максимизирующее
вероятность приведения системы из состояния г через заданное число шагов п в заданное множество состояний Sq С S.
Покажем, что данная задача сводится к задаче определения оптимального управления произвольной цепью с доходами при конечном горизонте управления и без учета переоценки (§4.3). Вспомним рекуррентное соотношение ДП для ПОД:
maxкгпmaxкгп<М + ^Р^г^п - 1)3^S<М + ^Р^г^п - 1)3^S
maxкгп
maxкгп
<М + ^Р^г^п - 1)
3^S
<М + ^Р^г^п - 1)
3^S
Д2) = ^P/PpM')кг‘2 вЧД2) = ^P/PpM')кг‘2 вЧ(4.7.2)(4.7.2)
Д2) = ^P/PpM')кг‘2 вЧ
Д2) = ^P/PpM')кг‘2 вЧ
(4.7.2)
(4.7.2)
есть максимальная вероятность приведения системы из состояния г во множество Sq за Два шага. Наконец,
^(п) = maxУ^р^пи*(п — 1), n = 1,2 (4.7.3)
системы из состоя-системы из состоя-Рис. 4.7.2Рис. 4.7.2есть максимальная вероятность приведения ния г во множество Sq за п шагов.
системы из состоя-
системы из состоя-
Рис. 4.7.2
Рис. 4.7.2
Рассмотрим в качестве примера ППЦ с двумя поглощающими состояниями, ГС, изображенным на рис. 4.7.2, и МВП, представленной табл. 4.7.1.
Пусть Sq = {1,2}, г Е SH = {3,4}, п 5, п*(0) = п*(0) = 1, п*(0) = п{(0) = 0.
Таблица 4.7.1
Состояние
г
Стратегия к
Рн
Рй
Рй
Р«
1
1
1
2
1
1
3
1
0,6
0,4
2
0,3
0,5
0,2
3
0,2
0,2
0,6
4
1
0,4
0,6
2
0,2
0,2
0,6
3
0,5
0,5
Для п = 1
^(1) = max {0,6; 0,3; 0,2} = 0,6, fc^ = 1,
^(1) = max {0,4; 0,2; 0,5} = 0,5, Цх = 3,
Н( 1) = гЩ) = 1.
Для п = 2Для п = 2
Для п = 2
Для п = 2
а^ (2)= max <а^ (2)= max <УзХМ)+РзМ(Г Рзх^дНРзз^здИРзМдУ
а^ (2)= max <
а^ (2)= max <
Лз1УзО) + РзЗ^зО) + ^34^1(0
= шах {0,6 ■ 1 + 0,4 ■ 0,5; 0,3 ■ 1 + 0,5 ■ 0,6 + 0,2 ■ 0,5; 0,2 • 1 +
+ 0,2 • 0,6 + 0,6 • 0,5} = max {0,8; 0,7; 0,62} = 0,8, k*32 = 1,
а(2) = шах{0,4 • 1 + 0,6 • 0,6; 0,2 • 1 + 0,2 • 0,6 +
+ 0,6-0,5; 0,5-1 + 0,5 • 0,6} = шах{0,76; 0,62; 0,8} = 0,8, к*42 = 3, У{(2) = ^(2) = 1.
Для п = 3
^(3) = max{0,6 • 1 + 0,4 ■ 0,8; 0,3 • 1 + 0,5 ■ 0,8 + + 0,2 • 0,8; 0,2 • 1 + 0,2 • 0,8 + 0,6 • 0,8} =
= шах {0,92; 0,86; 0,84} = 0,92, к33 = 1,
и{(3) = шах {0,4- 1 +0,6-0,8; 0,2- 1 +0,2-0,8 + + 0,6-0,8; 0,5- 1 +0,5-0,8} =
= шах {0,88; 0,84; 0,9} = 0,9, к*43 = 3, а(3) = 7;2*(3) = 1.
Для п = 4
^(4) = шах{0,6-1 +0,4-0,9; 0,3-1+0,5-0,92 + 0,2-0,9; 0,2-1 + + 0,2 • 0,92 + 0,6 • 0,9} = max {0,96; 0,94; 0,924} = 0,96, к*34 = 1,
УД4) = шах {0,4-1 +0,6-0,9; 0,2-1+0,2-0,92 + 0,6-0,9; 0,5-1 + + 0,5 • 0,9} = шах {0,94; 0,924; 0,95} = 0,95, к*44 = 3, ^(4) = у*(4) = 1.
Для п = 5
У;(5) = max{0,6- 1 +0,4-0,95; 0,3- 1+0,5-0,96 + + 0,2 ■ 0,95; 0,2 ■ 1 + 0,2 ■ 0,96 + 0,6 • 0,95} = = max {0,98; 0,97; 0,962} = 0,98, к*35 = 5,
Ц(5) = max {0,4 • 1 + 0,6 • 0,96; 0,2 • 1 + 0,2 • 0,96 +
+ 0,6-0,95; 0,5- 1 + 0,5-0,96} =
= max {0,976; 0,962; 0,98} = 0,98 k*45 = 3,
^(5) = a2*(5) = l.
Таким образом, при всех п оптимальные значения стратегий к^п = 1, fc^ = 3. Для наглядности графики функций ^(п) и ^(п) представлены на рис. 4.7.3.
Состояние 2Стратегия кВероятностисодЯгРйркЙРй111121231321162143153118219317Состояние 2Стратегия кВероятностисодЯгРйркЙРй111121231321162143153118219317
Состояние 2
Стратегия к
Вероятности
сод
Яг
Рй
ркЙ
Рй
1
1
1
1
2
1
2
3
1
3
2
1
1
6
2
1
4
3
1
5
3
1
1
8
2
1
9
3
1
7
Состояние 2
Стратегия к
Вероятности
сод
Яг
Рй
ркЙ
Рй
1
1
1
1
2
1
2
3
1
3
2
1
1
6
2
1
4
3
1
5
3
1
1
8
2
1
9
3
1
7
Пример 3 (о выборе структуры цепи). Следуя [35, гл. 6], рассмотрим цепь с тремя состояниями S = {1,2,3} и исходными данными, представленными в табл. 4.7.2.
При таком задании МВП, выбирая те или иные управления, можно получить цепи четырех структур: с тремя, двумя и одним КЭ, включая несвязные цепи (рис. 4.7.4).
Требуется выбрать цепь, структура которой обеспечивает максимальное значение вектора прибылей.
Приступая к решению, примем в качестве начального управления к = (3,2,1). Ему соответствует цепь с ГС (рис. 4.7.5), / ° ° ! \/ 3 \
МВП Р = | 0 1 0 । и вектором СОД Q = | 4 1.
\ 1 0 0 /\ 8 /
£=(1,2,3) £=(1,2,2) £=(1,3,2) £=(3,3,3) £=(2,3,1) £=(2,3,2)£=(1,2,3) £=(1,2,2) £=(1,3,2) £=(3,3,3) £=(2,3,1) £=(2,3,2)Рис. 4.7.4Рис. 4.7.4Рис. 4.7.5Рис. 4.7.5При первой итерации обращаемся к БОУ (рис. 4.6.5). Рассматриваемая цепь является несвязной и состоит из двух КЭ 51 = {1,3} и 52 = {2}. Для первого КЭ полагаем ^ = 0 и рассматриваем (блок 1) систему
£=(1,2,3) £=(1,2,2) £=(1,3,2) £=(3,3,3) £=(2,3,1) £=(2,3,2)
£=(1,2,3) £=(1,2,2) £=(1,3,2) £=(3,3,3) £=(2,3,1) £=(2,3,2)
Рис. 4.7.4
Рис. 4.7.4
Рис. 4.7.5
Рис. 4.7.5
д1 + VI = 3
У1 = 8 + 1«1
получаем щ = —2,5, дх = 5,5. Для второго КЭ аналогичная система состоит из одного уравнения д2 = 4, т. к. гд = 0. Согласно блокам 2-4 для всех г е 5Н = 0 д^ = щ = gt = Ui = 0.
Процесс улучшения управления осуществляется в БУУ (рис. 4.6.4) и представлен в виде табл. 4.7.3. Максимальные значения дополнительного критерия взяты в рамку.
Завершая первую итерацию, получаем управле
ние к = (3, 3, 3) ^ £, которому соответствует цепь Рис- 4-7-6 / ° ° ! \
с ГС (рис. 4.7.6), МВП Р =0 0 1 и вектором СОД
\ 0 0 1
/ 3 \
Q =5 I. Эта цепь является моноэргодической поглощающей
\ 7 /
с одним КЭ 51 = {3} и двумя несущественными состояниями 5H = {U}-
Вторая итерация начинается с оценки полученного управления (рис. 4.6.5).
Так как цепь имеет единственный КЭ, то ему соответствует единственная прибыль д\ равная q^3 = 7 согласно блоку 1. Согласно блоку 2
д1= ?•(!) = 7, д2 = 7 • (1) = 7, г?1 = г?2 = 0,
Таблица 4.7.3
Состояние г
Стратегия к
Основной критерий
£ Ру9э jes
Дополнит, критерий at + £
1
1
5,5
-1,5
2
4
2
3
5,5
0
2
1
5,5
3,5
2
4
4
3
5,5
3
1
5,5
5,5
2
4
9
3
5,5
0
в рамках блока 3 получаем дх = 7, 92 = 7, в силу блока 4
f 7 + щ — 3,лп п
< 7 .Г =4 Щ = —4, 1Д = —2, -из = 0.
1 7 + V2 = 525
Попытка улучшить управление (см. табл. 4.7.4) не приводит к успеху. Оптимальное управление к = (3,3,3) обеспечивает оптимальную прибыль, равную 7 во всех состояниях.
Замечание. При г = 3 стратегии 2 и 3 неразличимы как по основному, так и по дополнительному критериям. В таких случаях оставляют старую стратегию. Тем не менее управление (3,3,2) также является оптимальным.
§4.8. Задачи
В следующих задачах требуется:
найти ^(п) и оптимальные стратегии к*п для всех г и п = 1,2,3,4, 5;
нарисовать графики этих функций для всех Т,
найти оптимальное стационарное управление (п —> ос) методом Ховарда, полагая /3=1 и /3 < 1.
Таблица 4.7.4
Состояние г
Стратегия к
Основной критерий
£ РуЗз
jes
Дополнит, критерий
1
1
7
-3
2
7
0
3
7
0
2
1
7
2
2
7
2
3
7
0
3
1
7
4
2
7
7
3
7
0
Задача 1 (о рекламной кампании). Фирма может осуществлять рекламу с помощью одного из трех средств: радио, телевидения, газеты. Соответствующие недельные затраты на рекламу оцениваются в 200, 500 и 300 ед. соответственно. Фирма может оценивать недельный объем сбыта как удовлетворительный (г = 1), хороший (? = 2) и отличный (г = 3). Деятельность фирмы моделируется с помощью цепи Маркова. Матрицы вероятностей перехода и недельных доходов, соответствующие каждому из трех средств массовой информации, представлены ниже (без учета затрат на рекламу).
0,40,50,10,10,70,20,60,20,20,40,50,10,10,70,20,60,20,20,70,20,10,30,60,10,10,70,20,70,20,10,30,60,10,10,70,20,20,50,300,70,300,20,80,20,50,300,70,300,20,8
0,4
0,5
0,1
0,1
0,7
0,2
0,6
0,2
0,2
0,4
0,5
0,1
0,1
0,7
0,2
0,6
0,2
0,2
0,7
0,2
0,1
0,3
0,6
0,1
0,1
0,7
0,2
0,7
0,2
0,1
0,3
0,6
0,1
0,1
0,7
0,2
0,2
0,5
0,3
0
0,7
0,3
0
0,2
0,8
0,2
0,5
0,3
0
0,7
0,3
0
0,2
0,8
400520600300400700200250500400520600300400700200250500радиорадио100013001600800100017006007001100100013001600800100017006007001100телевидениетелевидение400530710350450800250400650400530710350450800250400650газетагазета
400
520
600
300
400
700
200
250
500
400
520
600
300
400
700
200
250
500
радио
радио
1000
1300
1600
800
1000
1700
600
700
1100
1000
1300
1600
800
1000
1700
600
700
1100
телевидение
телевидение
400
530
710
350
450
800
250
400
650
400
530
710
350
450
800
250
400
650
газета
газета
Задача 2 (о проведении ремонта). Автомобиль может находиться в рабочем (состояние 1) либо в отказовом (состояние 2) состояниях. Автомобиль в отказовом состоянии может быть полностью восстановлен. Каждые сутки автомобиль в рабочем состоянии приносит своему владельцу доход, равный 5 ед., при этом вероятность остаться в рабочем состоянии на следующие сутки равна 0,8. Профилактическое обслуживание позволяет увеличить эту вероятность до 0,85, при этом доход снижается до 3 ед. в сутки. Восстановление автомобиля может быть осуществлено в любой из двух мастерских. Первая (высшей категории) требует затрат в 3 ед., при этом вероятность перехода в состояние 1 равна 0,6, вторая мастерская требует затрат в 1 ед., при этом вероятность перехода в состояние 1 равна 0,5.
Задача 3 (о садовнике). Садовник ухаживает за своим садом. В начале каждого сезона он проводит химический анализ состояния почвы. В зависимости от результатов анализа продуктивность сада на новый сезон оценивается как хорошая (состояние 1), удовлетворительная (состояние 2) или плохая (состояние 3). Вероятности перехода из одного состояния в другое можно представить в виде матрицы Р1. Садовник может изменить эти вероятности, если применит удобрения, тогда новая матрица равна Р2.
Состояния в будущем году0,20,50,300,50,5001Состояния в будущем году0,20,50,300,50,5001Состояния в будущем году0,30,60,10,10,60,30,050,40,55Состояния в будущем году0,30,60,10,10,60,30,050,40,55
Состояния в будущем году
0,2
0,5
0,3
0
0,5
0,5
0
0
1
Состояния в будущем году
0,2
0,5
0,3
0
0,5
0,5
0
0
1
Состояния в будущем году
0,3
0,6
0,1
0,1
0,6
0,3
0,05
0,4
0,55
Состояния в будущем году
0,3
0,6
0,1
0,1
0,6
0,3
0,05
0,4
0,55
С каждым из состояний почвы связан доход, задаваемый матрицами Я1 и Я2 в зависимости от использования или неиспользования удобрений.
1716130151100-111716130151100-111615-11171401613-121615-11171401613-12
17
16
13
0
15
11
0
0
-11
17
16
13
0
15
11
0
0
-11
16
15
-11
17
14
0
16
13
-12
16
15
-11
17
14
0
16
13
-12
Задача 4 (системы обслуживания). Рассмотрим систему обслуживания (предприятие службы быта, финансовое учрежде-
ние, медицинские и аварийные службы и т. п.). В дискретные моменты времени п = 0, 1,... в систему обслуживания (СО) поступает одна заявка с вероятностью рр или не поступает ни одной заявки с вероятностью 1 — рр Эти вероятности зависят от длины уже имеющейся очереди, т.е. от состояния i 6 {О, 1,...,М}. Заявки обслуживаются по одной, если состояние СО равно г, то очередная заявка может быть обслужена в течение одного периода с вероятностью Р? или не обслужена с вероятностью 1 — Р?. В последнем случае она остается в СО на следующий период. Если в СО есть хотя бы одна заявка, то система занимается обслуживанием. Таким образом, из состояния г система может перейти в состояние j с вероятностью рр > 0, если
{
/ ™ 1, р г + 1 при 0 < г < N, О или 1 при г = О, N или N — 1 при % = N.
При переходе из состояния г в состояние j система получает одношаговый доход Tip вычисляемый по формуле
{
СприI1, j = г — 1,
ОприОС г % N — 1, j= г + 1,
PiPiC,приг0, j = г.
Для повышения рентабельности СО ее руководство рассматривает две возможности: модернизацию технических средств обслуживания и переход на круглосуточный график работы. Модернизация позволяет увеличить Pi на 12%, но тогда С сократится на 10%. Круглосуточный график работы наряду с модернизацией позволяет увеличить pi на 10%, Pi на 15%, но С сократится на 15%. Принять С = 100 ед., р^ = 0,7, р\ = 0,6, р2 = 0,5, Pi = 0,6, Р2 = 0,65, Р3 = 0,7.
Задача 5 (о замене оборудования). Фирма, выпускающая запоминающие устройства (ЗУ), обслуживает несколько вычислительных комплексов. Один из них ежедневно аттестуется по трехбалльной системе. Состояние г = 3 означает, что ЗУ вышло из строя и должно быть заменено. Если ЗУ находится в состоянии г = 1 или 2 , то фирма может принять решение k = 1 о его дальнейшей эксплуатации, решение к = 2 о его замене не новым, но исправным ЗУ, решение к = 3 о его замене новым ЗУ. При к = 1 вероятность перехода ЗУ в состояние j на следующий день равна рк. Соответствующие вероятности перехода рк = р^
и p^j = р^ не зависят от г. Эксплуатационные затраты по ЗУ в состоянии I составляют Ct в расчете на сутки. При решении к = 2 в случае г ^ 3 возникают затраты С1, при решении к = 3 в случае г ^ 3 возникают затраты С2. При замене ЗУ в состоянии г = 3 требуются дополнительные затраты, равные Cq.
Принять Со = 10, Сх = 20, С2 = 25, С1 = 50, С2 = 60,
р{] = 0,3, р]2 = 0,4, /Д = 0,3, р21 = 0’2, Р22 = 0,4, р23 = 0,4,
р2 = о,4, р2 = 0,4, р2 = 0,2, р| = 0,5, рЗ = о,3, р3 = 0,2.
Задача 6 (экологическая). Химический комбинат может производить продукцию видов 0, 1, 2. В начале каждого месяца принимается решение о переходе с производства i-го вида продукции на j-й. Это решение определяется случайным спросом. Матрица вероятностей переходов равна Р = (pi3Y
На очистных сооружениях комбината используют один из двух процессов очистки 1 или 2. Уровень загрязнения окружающей среды при производстве г и использовании процесса очистки к в среднем в течение месяца равен
Принять
/ 0 0,45 0,55 \/ ЮТ \/ 70 \
Р =1 00, Q1 =50, Q2 =40.
У 00/\ 20 /\ 60 /
Указание. Роль отрицательного дохода здесь играет уровень загрязнения.
Задача 7 (о прыгающей лягушке (1)). Рассмотрим лужу, на поверхности которой плавают пять листьев. На одном из них сидит лягушка, ловит комаров и раз в минуту перепрыгивает с одного листа на другой. Занумеруем листья числами 0, 1,2, 3, 4. С листьев 1, 2, 3 лягушка с равными вероятностями перепрыгивает на любой из соседних. Находясь на крайних листьях 0 или 4, она либо остается на них (стратегия 1), либо прыгает на соседний лист (стратегия 2). Доход, который получает лягушка,
и задается матри-и задается матри-измеряется количеством съеденных комаров
и задается матри-
и задается матри-
цей
Задача 8 (о прыгающей лягушке (2)). Эта модификация задачи 7 состоит в том, что, оказавшись на листе 4, лягушка либо остается на этом листе (стратегия 1), либо прыгает на лист 5 (стратегия 2), который находится в соседней луже вместе с листом 6. Далее она с равными вероятностями перепрыгивает с 5-го листа на 6-й и обратно. При переходе с 4-го листа на 5-й
лягушке не удается поймать ни одного комара, зато во второй
луже при каждом переходе она ловит по два комара.
Задача 9 (о прыгающей лягушке (3)). Третья модификация отличается от второй (задача 8) ситуацией на листе 0. Оказавшись на нем, лягушка может реализовать три стратегии. Первые две указаны в задаче 7, а третья состоит в перепрыгивании на лист 7, который находится в третьей луже вместе с листьями 8 и 9. Далее она навсегда остается в ней, перепрыгивая с листа на лист с равными вероятностями и съедая при этом по одному комару.
Надеемся, что читателям не составит труда придумать и другие интерпретации этих задач.
Глава 5
ЧАСТНЫЕ МОДЕЛИ УПРАВЛЕНИЯ ЦЕПЯМИМАРКОВА С ДОХОДАМИ
В данной главе рассматриваются три частные модели управляемых цепей Маркова с доходами, каждая из которых объединяет большой класс задач. К первому относятся задачи об оптимальной остановке. При общей постановке задачи для конечных цепей даются общие методы решения при конечном и бесконечном горизонтах управления. С помощью этих методов ведется поиск оптимального управления байесовским риском и осуществляется выбор лучшего из группы объектов. Ко второму классу относятся задачи управления запасами при случайном спросе с конечным и бесконечным горизонтами управления. Наконец, к третьему классу относятся игры человека с автоматом, причем управление ставкой осуществляется по критерию полезности конечного капитала.
Рассматриваются задачи оптимизации управления для цепей разных типов, с приведением и без приведения будущих доходов к текущему времени, в случае конечного и бесконечного горизонтов управления. В заключение предлагается перечень задач для самостоятельного решения.
. Задачи об оптимальной остановке
Пусть работа системы моделируется цепью со множеством состояний S = {L2,...,^} и МВП Р. Предположим, что человек имеет возможность наблюдать траекторию цепи, т. е. состояния г в дискретные моменты времени п = 0,1,2,... Если в момент п человек останавливает работу системы и при этом система находилась в состоянии z, то он получает доход /?- (fi — заданная функция). Внеся определенную плату, человек может и не останавливать работу системы — в надежде оказаться в дальнейшем в состоянии j, которому соответствует больший доход.
Какого правила следует придерживаться человеку, если он хочет получить максимальный доход? Это правило определяет некоторое управление цепью, называемое управлением по остановке, т. е. в каждом состоянии г и на каждом шаге п возможны две стратегии управления: Сп = 1 — остановка и Сп = 2 — продолжение. По смыслу задачи горизонт управления может быть как конечным, так и бесконечным.
Конечный горизонт управления. Воспользуемся рекуррентным соотношением ДП для определения оптимального управления
тс
п?*(п) = max V^р^пС(п—С , г = 1,., N, п = 1,2,..., vкгпЕКг7
7 = 1
(5.1.1)
п*(0) заданы для всех г.
Учитывая специфику управления по остановке, положим в
(5.1.1)
{
ТС
Л - У Р^рМ - 1), если kin = 1,
—Ci,если kjn = 2.
Тогда рекуррентное соотношение для задачи с управлением по остановке примет вид
{
тс)
Д, '^^Pij'l)j(n ” 1) ” Ci > ,(5.1.2)
7 = 1j
1= 1,...,Ж, n = 1,2,..., <(0) = Д,
т. е. оптимальный доход в любом состоянии есть максимум из двух доходов: от остановки процесса, равный fp и от его продол- тс
жения, равный ^ PijC(n — 1) — Ci, где Ci — возможная плата 7 = 1
за продолжение.
Каждому п = 0,1,2,... можно поставить в соответствие разбиение множества всех состояний S на два подмножества S = Son U 5пп, где Son = {i Е S : Сп = 1} — множество состояний, в которых работу системы следует остановить за п шагов до планируемого завершения процесса, Snn = {i Е S : Сп = 2} — множество состояний, в которых за п шагов до планируемого
завершения процесса работу системы следует продолжить. Оптимальное управление 8^п, 8^, п = 0, 1,2определяется путем решения (5.1.2) методом обратной индукции.
При п = 1
{
тс1
Л ^Pij^W - о > =
{
N1
fi- '^Pijfj - Ci > . i E S. (5.1.3) j=vJ
N
Пусть fi 52 Ptjfj ~~ Ci, т. e. п*(1) = Д, тогда i включается в
SqX (обозначение: г S^ff в противном случае г 5щ.
При п = 2
{
тс1
Д У>уЦ(!)-сД. i е S. (5.1.4)
N
Пусть fi IL PijVjd) ” Ci, т.е. Щ2) = fi. тогда I бД. в
противном случае г S^9.
При произвольном n S 1
{
те)
/д ^^PijC^ ™ 1) ™ Ci > , % E S. (5.1.5)
TC
Пусть f\ ^ ^2 P%3C^n - 1) - Ci, t. e. u*(n) = fi, тогда г S^n, в
противном случае г S^.
Остановимся на ряде полезных свойств оптимального управления и оптимальных доходов.
Свойство 1. Для всех п ^ 0 поглощающее состояние /Д, а при п = 0 любое состояние i есть состояние вынужденной остановки, т. е.
^п —*^0п для всех п ^ 0, % —> ^оо*
Свойство 2. Для всех г Е S последовательность оптимальных значений ПОД ДДп) не убывает по п, т. е.
л = <(0)(5.1.6)
Доказательство. Согласно (5.1.3) ДД1) Д = Д(0). Предположим, что свойство (5.1.6) справедливо для п — 1 и покажем, что оно справедливо для п. Согласно (5.1.5)
{
N1
Д,- 1) - G >
{
N1
Д, ^^PijCj - 2) - Ci > = п*(п - 1),
что и требовалось доказать.
Свойство 3. Для всех i Е S и п ^ 0 оптимальные значения ПОД ограничены с двух сторон: min Д < ДДД < max fj.
Доказательство. Согласно свойству 2 n*(n) ^ Д ^ min Д. >>'з
С другой стороны, n*(0) = fi < max Д, т. е. при п = О требуемое '' з>
неравенство выполняется. Предположим, что v*(к) < max Д для к = 1,2п — 1, тогда согласно (5.1.5)
{
тс1
У^РгДу (п - 1) - Ci > <
Д ( С(п — 1) Д max Д ) Д max < ff max fj — Ci > Д max Д, что и требовалось доказать.
Свойство 4. Если max Д = Д, то для всех п ^ 0 п*(п) = ff з''
поэтому г Sq^.
(5Л.5)>
Доказательство. Д < п*(п) Д (по св-ву 3) < тахД = 'з
= Д, следовательно, для всех п 0 ^(п) = Д.
Свойство 5. Если ^ Pijfj “ Ci > ff то для всех п 1 зм тс
X РгзЦкп - 1) - О > fi, поэтому г 5пп.
Доказательство.
Л(5.1.6) Л
^Ру^Л - 1) - Ci СЛчб Д - 2) - Ci > ... >
7 = 17 = 1
NN
^Е^да-^Е^-^.
следовательно,
{
тс1
fi' ^2PijVj(n - 1) - сД = ^РчЗЗ “ U “ Ci7 = 1)7=1
Свойство 6. Последовательность оптимальных значений ПОД при п то имеет конечный предел С = lim С (nV который называется предельным доходом (ПД).
Это следует из второго и третьего свойств, т. к. если числовая последовательность не убывает и ограничена сверху, то она имеет предел [4, с. 46].
Свойство 7. Множества S^ обладают свойством «монотонности»: 0 = S^q С 5щ С ... С S^n С ..., т. е. если г Е S^n, то Е ^Пп+Г
ТС
Доказательство. Пусть г Е S^ т. е. ^ Ptj^jQn — 1) — Ci
тс
> fi, но по свойству 2 е^п) и*(п — 1), тогда ^ Pij^jW ™ Сг >
>1и.ел^8*М1.3
Замечание 1. Теория оптимальных правил остановки для значительно более широкого класса процессов рассматривается в [24, 38, 11] на языке эксцессивных функций, марковских моментов и цены игры.
Замечание 2. Если задача об оптимальной остановке рассматривается по критерию потерь (ущерба), то можно либо перейти к отрицательному доходу, либо в рекуррентном соотношении (5.1.2) оператор максимизации заменить оператором минимизации. Соотношению (5.1.2) можно придать следующий вид:
п*(п) = min//,, МЙп- 1) -Сг1 ,(5.1.7)
N
где Mv^n- 1) = Vpij('jln™ !)•
Пример 1. Рассмотрим процесс случайного блуждания с поглощающими экранами (§3.6) и доходами fp Найти оптимальное управление по остановке, если горизонт управления конечный (п 5) и Ci = 0 для всех г (см. рис. 5.1.1).
Л=з
Рис. 5.1.1Рис. 5.1.1
Рис. 5.1.1
Рис. 5.1.1
Прежде чем приступить к решению уравнений ДП (5.1.2), фиксируем оптимальное управление в том объеме, который диктуется установленными выше свойствами:
— согласно свойствам 1 и 4 в Sq0 включаем все состояния, а состояния г = 1,4,5 включаем в 8^п для всех n ^ 1,
N П . 1
— согласно свойству 5 для г = 2 ^ P2j/j = qU + 2) = 1,5 > j=i
> /9 = 0, и состояние i = 2 включаем в 8^п для всех п ^ 1.
Таким образом, задача сводится к вычислению оптимального дохода ^(п) для п = 1,2,3,4,5 и построению оптимального управления для г = 3.
Из соотношений (5.1.2) при п = 1 получаем
<Ц = (г = 2 е 5^ Vn > 1) = ^М^ = У1 + 2) = !,5.
= шах /2, - (0 + 3) 1 = 2,= шах /2, - (0 + 3) 1 = 2,N
= шах /2, - (0 + 3) 1 = 2,
= шах /2, - (0 + 3) 1 = 2,
Д (1) = maxД (1) = maxл. 'Ерзмм)
Д (1) = max
Д (1) = max
j=i
следовательно, ?' = 35£г
При п = 2
33) = (г = 2 € S^ Vn > 1) = ^Р^зЗЗ) = 5 (1 + 2) = 1,5,
4(2) = max J /3, ^РглЗд / =
= max ^ (1,5 + 3) I = max {2; 2,25} = 2,25,
следовательно, по свойству 7 z = 3 S^n для всех n ^ 2.
Итак, начиная co второго шага оптимальное управление по остановке оказывается определенным для всех г, а именно Sq = = {1.4.5} Vn > О, S*, = {1.3.4.5}. Д,„ = {2} Vn > 1. 5*n = = {2,3} Vn > 2:
п
'^ГЬг
0
{1,2,3,4,5}
0
1
{1,3,4,5}
{2}
2
{1,4,5}
{2,3}
Остается вычислить ПОД для г = 2 и 3 при п = 3, 4, 5 по формуле
= ^РиЗЗ” Ы
7 = 1
Все результаты решения примера сведены в табл. 5.1.1.
В дальнейшем будет показано, что при п то ^(п)1,67
и а*(п)2,33.~
Пример 2. Этот пример отличается от примера 1 лишь ненулевой платой за продолжение процесса, т. е. для всех г Сг = 2.
Вновь состояния z = 1,4,5 включаем в Sq^ для всех п ^ О, а состояния г = 2,3 включаем в Sq^. Однако в отличие от примера 1
^f) " О = -(1 + 2) - 2 = -0.5 < /2 = 0,
7 = 1
Таблица 5.1.1
г
77
0
1
2
3
4
5
1
4(0
1
1
1
1
1
1
2
о| (77)
0
1,5
1,5
1,625
1,625
1,65625
3
4(0
2
2
2,25
2,25
2,3125
2,3125
4
4(0
3
3
3
3
3
3
5
4(0
0
0
0
0
0
0
1
®0п или '^ГЪг
^оо
^01
^02
'^03
'^04
$05
2
^оо
^ш
^П2
Озз
^П4
OlS
3
^оо
^01
'^П2
'^ПЗ
5п4
^П5
4
^ОО
^01
^02
^оз
'^04
$05
5
^ОО
^01
'^02
Озз
'^04
$05
поэтому воспользуемся уравнениями (5.1.2) для построения оптимального управления при г = 2,3.
При п = 1
/2,
4=1
max<0, ^(1+2) — 2max<0, ^(1+2) — 2maxmaxО,О,
max<0, ^(1+2) — 2
max<0, ^(1+2) — 2
max
max
О,
О,
следовательно, г = 2 SqV
4(4 = шах < /з, ^РзМ^ - Сз > =
max < 2max < 2= max <2, -(0 + 3) — 2
max < 2
max < 2
следовательно, 7 = 3^ S^, т. е. ^(l) = п*(0) = /9 и ^(1) = = ^(О) = /3. Если учесть, что п*(п) = /^ для остальных значений д то т?9(п) = /2 и г^п) = /з для всех п ^ 1. Таким образом, во всех состояниях цепи и при всех п процесс выгодно остановить, т. е. его выгодно вообще не начинать.
Бесконечный горизонт управления. Согласно свойству 6 оптимальных доходов существует предел а* = limn*(n), что позволяет перейти в соотношении
/г.- U ->
7=1)
к бесконечноэтапной аппроксимации:
Эта система из Ж уравнений с Ж неизвестными позволяет определить оптимальное управление по остановке в классе стационарных управлений (и соответствующий предельный доход). Она лежит в основе алгоритма Ховарда, аналогичного рассмотренному в §4.5. Алгоритм состоит из двух основных блоков БОУ и БУУ. Введем при п то обозначения 8g и Sn вместо 8оП и 8пп соответственно, аналогично 8^ и 8^ вместо 8^п и 8^п соответственно. В этих терминах при фиксированном разбиении (Sq, Sn) множества 8 (определяющем некоторое стационарное управление) в блоке БОУ решается система уравнений Ховарда
«г = fi. I € S0.
Д(5.1.9)
= 2^ PijVj - Ci. ? € Sn-v 7
Полученные значения щ, г Е 8, оценивают управление (Sg, Sn).
В блоке БУУ предпринимается попытка улучшить управление (So, Sn). Для этой цели вычисляется ^ Ptj^j и сравнивает- 7=1
ся с Д, г = 1,..., ^. Если ^ Pij^j fi^ то i Sq, в противном 7=1
случае г S^. Очевидно, разбиение (Sq, S^) даст не меньший предельный доход в каждом состоянии, чем (Sq, Sn).
Связка БОУ и БУУ, дополненная вспомогательными блоками БВУ, БВД и БОЦ, образует итерационный алгоритм Ховарда. Его укрупненная блок-схема представлена на рис. 5.1.2.
Работа алгоритма начинается либо с БВУ, либо с БВД. В первом случае в БОУ для всех г находятся предельные доходы щ,
да—-конецда—-конецРис. 5.1.2Рис. 5.1.2
да
—-конец
да
—-конец
Рис. 5.1.2
Рис. 5.1.2
которые далее используются в БУУ для построения лучшего управления (Sq, S^). Если Sf0 ^ Sq, т. е. построено лучшее управление, то БОУ и БУУ через БОЦ циклически замыкаются. В противном случае БОЦ останавливает процесс итераций, и полученное разбиение (Sq, S^) совместно с полученными предельными доходами объявляются оптимальными. Если работа алгоритма начинается с БВД (например, при всех г полагаем Нг = Д), то в БУУ определяется управление (So, Sn), и через БОЦ организуется итерационный процесс.
Пример 3. Продолжим рассмотрение примера 1, полагая п то, Су = 0. Решению предшествует формирование исходных данных в виде МВП Р, вектора Д, i 6 S, и фиксированных значений Sqo и 5Пф в соответствии со свойствами оптимальных управлений и предельных доходов. В данном примере 5оф = {1,4,5} и 5Пф = {2}. Состояния из 5оф практически исключаются из дальнейшего рассмотрения: Sq D 5оф, для них и* = fp для состояния из 5пф определяется лишь и*.
т. к. 5ПФ S^. Начнем итерационный цикл с БВД, полагая 4° = Л Vi. Процесс решения представлен в табл. 5.1.2.
Таблица 5.1.2
Основные соотношения
Оценка управления: = Д, г Е Sq, N
= 2_^Pi/pp j е7 е 8
Улучшение управления: ^Pe^ — Сг < > ?ч '^’
г Е 8\ (8оф U ^пф)
Исходные данные
1-ая итерация
г
Вероятности pij
h
5Ьф
5пф
Улучшение управления
3
д
с!
1
1
1
Ф
1
ф
2
1
2
1
2
0
ф
0
ф
3
2
2
2
2
Р32«9 + Р34«4 = = 0,Ь(0 + 3) = = 1,5 < Л = 2
*
4
2
2
3
Ф
3
ф
5
1
0
Ф
0
ф
1-ая итерация
2-ая итерация
Оценка управления
Улучшение управления
3
с2
с2
ц} = 1, ц] = 3, Ц = 0, ^ = 2, Ц = Р21Ц +P23U3 = = 0,5(1 +2) = 1,5
ф
ф
РЗ^Н + Р34«4 =
= 0,5( 1,5 + 3) =2,25 >2
*
ф
ф
2-ая итерация
3-я итерация
Оценка управления
Улучшение управления
9
Sq
919О 9гх
= 1, yj = 3, у§ = 0, ( «2 = Р21Ц + Р23^3 = 1 = 0,5(1+у3)
| У3 = Р32^2 + РЗзЦ = [ =0,5(у2 + 3)
у2 = 5/3, у2 = 7/3
Ф
Ф
Р32Ц + Р34Ч =
= 0,5(5/3+ 3) = 7/3 >
>/з = 2
*
Ф
Ф
В результате улучшения управления на третьей итерации получено Sq = Sq (и S^ = S^), следовательно, получено оптимальное управление Sq = {1,4, 5}, Sn = {2,3}, которому соответствуют оптимальные предельные доходы: гф = 1, и* = Ь/З 1,(6), цз* = 7/3 2,(3), щ* = 3, ^5* = 0.
Замечание. Индекс t = 1,2,... в обозначениях v*, SqH S^ есть номер итерации.
§5.2. Управление байесовским риском
В этом параграфе мы рассмотрим вопросы построения оптимальной процедуры последовательного решения по критерию байесовского риска на примере задачи о капиталовложениях. Суть ее в следующем. Некая компания собирается вложить капиталы в производство. Это вложение может дать хороший доход, если спрос на производимую продукцию возрастет, но может и привести к убытку в случае падения спроса. Компания может сразу решить «вкладывать» (Д) или «не вкладывать капитал» (скУ но если риск неблагоприятного решения велик, то она может заказать проведение п последовательных исследований рынка и уточнить сведения о его состоянии и перспективах развития. После n-го исследования, п = 1,2,..., компания может прекратить их, а может заказать очередное исследование. Этот вопрос решается с помощью правила остановки (ПО). Как будет показано ниже, ПО есть, по существу, решение рекуррентного соотношения ДП для определения оптимального управления
по остановке. Если исследования прекращены, то компания на основе полученных сведений должна с помощью решающего правила (РП) принять одно из двух решений d\ или ^9. Таким образом, всякая процедура управления риском включает две компоненты — правило остановки и решающее правило.
Решающее правило. Пусть истинное состояние рынка характеризуется дискретной случайной величиной 9, принимающей значения 9Х (если спрос возрастает) и 99 (если спрос убывает) с априорными вероятностями ио = ро(9х) и 1 — ш = po^Y Решение, принимаемое компанией, сопровождается определенными потерями, которые характеризуются функцией потерь L(9t,d^Y i = 1,2, k = 1,2. Пусть эта функция задается табл. 5.2.1.
d 6di61-1020-100062-980-1000d 6di61-1020-100062-980-1000Таблица 5.2.1Таблица 5.2.1
d 6
di
61
-1020
-1000
62
-980
-1000
d 6
di
61
-1020
-1000
62
-980
-1000
Таблица 5.2.1
Таблица 5.2.1
Назовем риском математическое ожидание функции потерь при фиксированном йщ
R(uj,d^ = L(9X ,d^)u; + L(99, d^)( 1 — co) =
—1020ш - 980(1 -ш) = -980-40ш при&=1,— 1000а; — 1000(1 -ш) = -1000 при fc = 2.
Байесовским (оптимальным) риском (БР) назовем минимальное по к значение риска
Рш(^ = min Д(сщ d^) = min {—980 — 40ш, —1000} =
— 1000 при 0 < и <1/2, /с о о\
—980 — 40ш при1/2^ш^1.
График /дДО) изображен на рис. 5.2.1.
Решение d, минимизирующее риск Д^,^.), называется байесовским (оптимальным). Оно обозначается ^ и в данном случае
^Б —^Б —d9 при 0 ш 1/29
^Б —
^Б —
dx при 1/21 *
Итак, если знание состояния рынка исчерпывается априорным распределением (си, 1 — и), то при малых значениях вероятности роста спроса (и ^ 1/2) не следует вкладывать капитал, а при больших (ш 1/2) оптимальное решение рекомендует вкладывать капитал. Однако и в том, и в другом случае решение сопровождается большим риском. Чтобы его уменьшить, можно провести исследование рынка, если оно не слишком дорого.
Правило остановки. Предположим, что компания решила воспользоваться услугами маркетолога, который прогнозирует состояние рынка посредством условного распределения р^х\9^, задаваемого табл. 5.2.2.
Здесь £ — дискретная случайная величина, принимающая значения х = сц, если по прогнозу спрос должен вырасти, и х = «9, если по прогнозу спрос должен снизиться. Согласно таблице 5.2.2 прогноз по росту (снижению) спроса оправдывается в 80% (70%) случаев.
Таблица 5.2.2
Та
блица 5.2.3
9
0\ Т
91 i
9г
X
9х Т
рЦж)
«1 т
0,8
0,3
«1 т
0,8ш
0,3(1 -ш)
0,3 + 0,5ш
«2 1
0,2
0,7
«2 i
0,2ж
0,7(1 - ж)
0,7 0.5ж
РеЛг)
со
1 — ио
1
Совместное распределение рец(х,9^ состояний рынка (априорных и по прогнозу) и частное распределение состояний рынка по прогнозу р^(х) определяются формулами
рс9(х,ег) =ррх\егУрМХ г = 1,2,/с92П
Ре (ж) =р=ек®ЫП +Р^ГЫН-' '
Результаты вычислений приведены в табл. 5.2.3.
Наконец, апостериорное (условное) распределение состояний рынка вычисляется по формулам
_ /dk А Р^Ых^ РЩ|01)
= Рв^Х € = Ж = 4= Д Ш,
Таблица 5.2.4
6
9\ Т
^2
«1 т
=0,8а;
“ 0,3 + 0,5а;
_= 0,3(1 - а;)
0,3 + 0,5а;
1
«2 1
=0,2а;
Wa2 “ 0,7 - 0,5а;
_ 0,7(1-а;) “20,7 - 0,5а;
1
Результаты вычислений представлены в табл. 5.2.4.
Распределение (иж, 1 — иох^ содержит дополнительную по сравнению с (си, 1 — си) информацию о 9, полученную в результате однократного исследования рынка £ = х. Оно позволяет уточнить значение риска. Для этого достаточно в формулу (5.2.2) подставить иох согласно таблице 5.2.4. Найдем условные байесовские риски.
Пусть х = а\, тогда шх = сиа1, и
Раа,(0) = тп1Я(ша|1кРаа,(0) = тп1Я(ша|1к1000980 — 40шсц1000980 — 40шсц1/2, < 11/2, < 1-1000294 + 522а;” 0,3 +0,5а;-1000294 + 522а;” 0,3 +0,5а;при 0 < ш < 0,273,при 0 < ш < 0,273,при 0,273 < ш < 1.при 0,273 < ш < 1.(5.2.6)(5.2.6)Пусть ж = ау, тогда о;ж = ша.2, иПусть ж = ау, тогда о;ж = ша.2, и^оД0) = min.R(a;O2,4)2к^оД0) = min.R(a;O2,4)2к— 1000 при 0 < ша2 < 1/2, —980 — 40ша.2 при 1/2 < ша2 < 1— 1000 при 0 < ша2 < 1/2, —980 — 40ша.2 при 1/2 < ша2 < 1-1000—686 + 482а;0,7-0,5а;-1000—686 + 482а;0,7-0,5а;при 0 < ш < 0,778,при 0 < ш < 0,778,при 0,778 < ш < 1.при 0,778 < ш < 1.(5.2.7)(5.2.7)при 0 + щ,. + при 1/2 < ша;
Раа,(0) = тп1Я(ша|
1к
Раа,(0) = тп1Я(ша|
1к
1000
980 — 40шсц
1000
980 — 40шсц
1/2, < 1
1/2, < 1
-1000
294 + 522а;
” 0,3 +0,5а;
-1000
294 + 522а;
” 0,3 +0,5а;
при 0 < ш < 0,273,
при 0 < ш < 0,273,
при 0,273 < ш < 1.
при 0,273 < ш < 1.
(5.2.6)
(5.2.6)
Пусть ж = ау, тогда о;ж = ша.2, и
Пусть ж = ау, тогда о;ж = ша.2, и
^оД0) = min.R(a;O2,4)
2к
^оД0) = min.R(a;O2,4)
2к
— 1000 при 0 < ша2 < 1/2, —980 — 40ша.2 при 1/2 < ша2 < 1
— 1000 при 0 < ша2 < 1/2, —980 — 40ша.2 при 1/2 < ша2 < 1
-1000
—686 + 482а;
0,7-0,5а;
-1000
—686 + 482а;
0,7-0,5а;
при 0 < ш < 0,778,
при 0 < ш < 0,778,
при 0,778 < ш < 1.
при 0,778 < ш < 1.
(5.2.7)
(5.2.7)
Усредняя условные БР (5.2.6) и (5.2.7) с вероятностями рЦаД = 0,3 + 0,5а; и р^СЛ = 0,7 — 0,5а;, получим безусловный БР, соответствующий не более чем однократному исследованию рынка (без учета стоимости исследования):
МРш^ = ^^рШах (0) + рДа2)раа2(0)
7 Г. А. Соколов, Н. А. Чистякова
при 00,273,+при 0,2731при 0 си0,778,при 0,778 ^ си ^ 1при 00,273,+при 0,2731при 0 си0,778,при 0,778 ^ си ^ 1( -1000
при 00,273,
+
при 0,2731
при 0 си0,778,
при 0,778 ^ си ^ 1
при 00,273,
+
при 0,2731
при 0 си0,778,
при 0,778 ^ си ^ 1
= (0,3 + 0,5Д J 294 + 522^ I 0,3 + 0,5ш
Г -1000
+ (0,7 — 0,5ш) < -686 + 482w
I 0,7 -0,5ш
( -1000 при 0 ш 0,273,
(5.2.8)(5.2.8)/ -994 - 22а; при 0,273 < И 0,778, ( —980 — 40а; при 0,778 ш 1.
(5.2.8)
(5.2.8)
Рассмотрим ситуацию, когда выполняется n-кратное исследование рынка (п ^ 2) ^ь^9,...,^. Случайные величины ^1,^2,... ^п независимы и имеют одно и то же условное распределение pc(x\6iY заданное табл. 5.2.2. Тогда условное распределение случайного вектора ^хп — (^ь&> ••• Лп) есть произведение частных распределений
п
p^n(x\n\9i) = ПрЗжк1^);
к=Л
совместное распределение случайного вектора (£ыЛ) есть произведение
PW^nA)=pUdM6i>M> П^Ча^) ) Со; при Ь
безусловное распределение случайного вектора ^хп равно
2пп
Р^^Хп^^Р^.е^Хп, 9г)=ш П рЗжаП1) + ( 1~Д П г=1/с=1/с=1
наконец, апостериорное распределение ДСВ 9 определяется по формуле
шхХп — Р9^9\ |®1и) — ш /\ >(5.2.9)
1=P9(92\T\nY
В частности, при п = 2 получим рех ^2(t'i , X2|0J, представленные табл. 5.2.5, р^ ^2д(жь Х9, 0?:) — табл. 5.2.6, Чтьж2 =
9Х\,Х291Ла\, а]0,640,09<Т1, <Т20,160,21$2, ^10,160,21&2, &20,040,499Х\,Х291Ла\, а]0,640,09<Т1, <Т20,160,21$2, ^10,160,21&2, &20,040,49Таблица 5.2.5 р$, ^(-Cb-^l^)Таблица 5.2.5 р$, ^(-Cb-^l^)ШЖ|,Ж2 =Po(9i |Х!,Х2)ШЖ|,Ж2 =Po(9i |Х!,Х2)9 xi, х29,@2P^i Д2 (^ 1 ’ ^2 )а\, а]0,64ш0,09(1 -ш)0.09 + 0,55^<Т], «20,16ш0,21(1 -ш)0,21-0,05ш0-2^10,16ш0,21(1 -ш)0,21-0,05ш&2, &20,04ш0,49(1 -40,49 0.45ш9 xi, х29,@2P^i Д2 (^ 1 ’ ^2 )а\, а]0,64ш0,09(1 -ш)0.09 + 0,55^<Т], «20,16ш0,21(1 -ш)0,21-0,05ш0-2^10,16ш0,21(1 -ш)0,21-0,05ш&2, &20,04ш0,49(1 -40,49 0.45шТаблица 5.2.6 РблЬАхд.хчЛ!Таблица 5.2.6 РблЬАхд.хчЛ!Таблица 5.2.7Таблица 5.2.7Таблица 5.2.8 ^ЖьЖ2 ПРИ = 0,6 (0,4)Таблица 5.2.8 ^ЖьЖ2 ПРИ = 0,6 (0,4)9ха , Х99i@2(1] , (1]0,64ш0,09(1 -ш) 0,09 + 0,55ш0,09 + 0,55ша 4 (190,16ш0,21(1 -40,21 -0,05ш0,21 - 0,05ш$2,^10,16ш0,21(1 -ш) 0,21 -0,05ш0,21 -0,05ш&2, &20,04ш0,49(1 -4 0,49 - 0,45ш0,49 - 0,45ш9ха , Х99i@2(1] , (1]0,64ш0,09(1 -ш) 0,09 + 0,55ш0,09 + 0,55ша 4 (190,16ш0,21(1 -40,21 -0,05ш0,21 - 0,05ш$2,^10,16ш0,21(1 -ш) 0,21 -0,05ш0,21 -0,05ш&2, &20,04ш0,49(1 -4 0,49 - 0,45ш0,49 - 0,45ш6Ха,Х26102а\, ai0,914 (0,83)0,086 (0,17)СЦ , (190,533 (0,34)0,467 (0,66)(19, (110,533 (0,34)0,467 (0,66)09, С190,109 (0,052)0,891 (0,948)6Ха,Х26102а\, ai0,914 (0,83)0,086 (0,17)СЦ , (190,533 (0,34)0,467 (0,66)(19, (110,533 (0,34)0,467 (0,66)09, С190,109 (0,052)0,891 (0,948)
9
Х\,Х2
91
Л
а\, а]
0,64
0,09
<Т1, <Т2
0,16
0,21
$2, ^1
0,16
0,21
&2, &2
0,04
0,49
9
Х\,Х2
91
Л
а\, а]
0,64
0,09
<Т1, <Т2
0,16
0,21
$2, ^1
0,16
0,21
&2, &2
0,04
0,49
Таблица 5.2.5 р$, ^(-Cb-^l^)
Таблица 5.2.5 р$, ^(-Cb-^l^)
ШЖ|,Ж2 =Po(9i |Х!,Х2)
ШЖ|,Ж2 =Po(9i |Х!,Х2)
9 xi, х2
9,
@2
P^i Д2 (^ 1 ’ ^2 )
а\, а]
0,64ш
0,09(1 -ш)
0.09 + 0,55^
<Т], «2
0,16ш
0,21(1 -ш)
0,21-0,05ш
0-2^1
0,16ш
0,21(1 -ш)
0,21-0,05ш
&2, &2
0,04ш
0,49(1 -4
0,49 0.45ш
9 xi, х2
9,
@2
P^i Д2 (^ 1 ’ ^2 )
а\, а]
0,64ш
0,09(1 -ш)
0.09 + 0,55^
<Т], «2
0,16ш
0,21(1 -ш)
0,21-0,05ш
0-2^1
0,16ш
0,21(1 -ш)
0,21-0,05ш
&2, &2
0,04ш
0,49(1 -4
0,49 0.45ш
Таблица 5.2.6 РблЬАхд.хчЛ!
Таблица 5.2.6 РблЬАхд.хчЛ!
Таблица 5.2.7
Таблица 5.2.7
Таблица 5.2.8 ^ЖьЖ2 ПРИ = 0,6 (0,4)
Таблица 5.2.8 ^ЖьЖ2 ПРИ = 0,6 (0,4)
9
ха , Х9
9i
@2
(1] , (1]
0,64ш
0,09(1 -ш) 0,09 + 0,55ш
0,09 + 0,55ш
а 4 (19
0,16ш
0,21(1 -4
0,21 -0,05ш
0,21 - 0,05ш
$2,^1
0,16ш
0,21(1 -ш) 0,21 -0,05ш
0,21 -0,05ш
&2, &2
0,04ш
0,49(1 -4 0,49 - 0,45ш
0,49 - 0,45ш
9
ха , Х9
9i
@2
(1] , (1]
0,64ш
0,09(1 -ш) 0,09 + 0,55ш
0,09 + 0,55ш
а 4 (19
0,16ш
0,21(1 -4
0,21 -0,05ш
0,21 - 0,05ш
$2,^1
0,16ш
0,21(1 -ш) 0,21 -0,05ш
0,21 -0,05ш
&2, &2
0,04ш
0,49(1 -4 0,49 - 0,45ш
0,49 - 0,45ш
6
Ха,Х2
61
02
а\, ai
0,914 (0,83)
0,086 (0,17)
СЦ , (19
0,533 (0,34)
0,467 (0,66)
(19, (11
0,533 (0,34)
0,467 (0,66)
09, С19
0,109 (0,052)
0,891 (0,948)
6
Ха,Х2
61
02
а\, ai
0,914 (0,83)
0,086 (0,17)
СЦ , (19
0,533 (0,34)
0,467 (0,66)
(19, (11
0,533 (0,34)
0,467 (0,66)
09, С19
0,109 (0,052)
0,891 (0,948)
= Ро(вг\хх,Х9) — табл. 5.2.7, наконец, шЖьЖ2 при ш = 0,6 и 0,4 — табл. 5.2.8.
Теперь в качестве модели процесса управления риском мы можем построить ЦМ с доходами, управляемую по остановке, и воспользоваться соотношениями (5.1.7). Под состояниями цепи будем понимать величины си Е (0,1), в частности шЖ1п. Под вероятностью перехода из состояния ш в состояние шх будем понимать р^(ж) (табл. 5.2.3), где х принимает либо значение 04, либо значение а^. Под отрицательным доходом в состоянии ио за 77 шагов до завершения процесса (т? — кратное исследование рынка) будем понимать БР pY^Y
В этих обозначениях соотношения (5.1.7) для оптимального риска принимают вид
Р*» = тш^Д0),ЛЦД(п- l) + cj, п = \Д,..., (5.2.10)
где Мр^с (п - 1) = p^(ai )рД (п - 1) + р?Ц^Р^ Г - 1).
рРО^РсЖ
Пусть n = 1, тогда
рР 1) = min (рДО), МрЦ^ + С<| ,
(5.2.11)
где рДО) определяется формулой (5.2.2), Мр*е(0) определяется формулой (5.2.8), а второй элемент в (5.2.11) при Сш = 2 равен
Мр*,(0) + 2 =
-998,
-992 - 22и,
-978 - 40ш,
0<w < 0,273, 0,273 <ш < 0,(7), 0,(7) < w < 1.
Графики этой функции, а также рДО) и р*(1) представлены на рис. 5.2.2.
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
-992
994
-996
-998-
4000=
4002™
4004™
4006”
4008”
4010™
4012™
4014™
1016™
1018™
1020™
Рис. 5.2.2
Согласно (5.2.11)
1000,0 ^ и ^ 0,364,
-992 - 22а;, 0,364 <2 и
—980 — 40а;, 0,667 ^ ио
^ 0,667,1.
(5.2.12)
Следовательно, при 0 + и + 0,364 и 0,667 + и <1 р^(0) = ^(1), т. е. заказывать исследование рынка при его стоимости 2,0 нецелесообразно; при 0 ^ ио ^ 0,364 оптимальным является решение ^9 «не вкладывать капитал»; при 0,667 < ш <1 оптимальным является решение d\ «вкладывать капитал». При 0,364 ^ ио ^ 0,667 экономически оправдано проведение исследования рынка, т. к. №МР^^<рЖ
На языке теории ЦМ проведенное исследование переводит систему из исходного состояния со либо в состояние ша1, либо в состояние соа2 (система завершает функционирование в одном из этих состояний). Так, например, если исходное состояние со = 0,6, то согласно (5.2.2) байесовское решение есть dx «вкладывать капитал» с БР, PqgW = “980 — 40 • 0,6 = —1004. В результате проведенного исследования возможны два прогноза состояния рынка: спрос вырастет или спрос упадет. В первом случае
_ 0,8-0,6
0,3+ 0,5-0,6 ’
с вероятностью 0,6, и байесовское решение остается прежним — «вкладывать капитал», но при этом БР снизится до PqsW = = —980 — 40 • 0,8 = —1012. Во втором случае
0,2-0,6 по
Ш0,7 - 0,5 • 0,60,3
с вероятностью 0,4, и байесовское решение становится противо
положным — «не вкладывать капитал».
Перейдем к рассмотрению случая п = 2, т. е. допускается не более чем двукратное исследование рынка. Прежде всего найдем условные БР рШа (1) и p^Jl), подставив и соа„ из таблицы 5.2.4 в (5.2.12). 12
Рассмотрим неравенства из (5.2.12):
0 ^ оот ^ 0,364, т. е. 0 ^ -----^ 0,364, тогда и только 0,3 +0,
тогда, когда 0 + и + 0,177;
0,364 сощ 0,667, т. е. 0,364--0,667, тогда
0,3 +0,
и только тогда, когда 0,177 со 0,429;
0,2ш
0^ 0,364, т. е. 0 ^ ———--^ 0,364, тогда и только
720,7 — 0,5ш
тогда, когда 0 < ш < 0,667;
0,364 соао 0,667, т. е. 0,364-0,667, тогда
а20,7 — 0,5ш
и только тогда, когда 0,667 + ш + 0,875.
Вычислим линейные функции в (5.2.12) после подстановки
992 - 22ш„ = -992 - 22 -^-
0,3 + 0,5ш
980 - 40ш„ = -980 - 40 ^
297,6 +513,6ш0,3 +0,5ш297,6 +513,6ш0,3 +0,5ш294+522ш0,3 +0,5ш ’294+522ш0,3 +0,5ш ’-992 - 22ша„ = -992 - 22— 0,7-992 - 22ша„ = -992 - 22— 0,7-980 - 40ш„. = -980 - 40-980 - 40ш„. = -980 - 400,2ш’ - 0,5ш0,2ш0,2ш’ - 0,5ш0,2ш—694,4 + 491,6ш0,7-0,5ш-686+482ш—694,4 + 491,6ш0,7-0,5ш-686+482ш0,7 — 0,5ш0,7 —0,5ш '0,7 — 0,5ш0,7 —0,5ш '0,3 +0,5а;
297,6 +513,6ш0,3 +0,5ш
297,6 +513,6ш0,3 +0,5ш
294+522ш
0,3 +0,5ш ’
294+522ш
0,3 +0,5ш ’
-992 - 22ша„ = -992 - 22— 0,7
-992 - 22ша„ = -992 - 22— 0,7
-980 - 40ш„. = -980 - 40
-980 - 40ш„. = -980 - 40
0,2ш
’ - 0,5ш
0,2ш
0,2ш
’ - 0,5ш
0,2ш
—694,4 + 491,6ш0,7-0,5ш
-686+482ш
—694,4 + 491,6ш0,7-0,5ш
-686+482ш
0,7 — 0,5ш0,7 —0,5ш '
0,7 — 0,5ш0,7 —0,5ш '
После этих предварительных вычислений получаем
' -1000,
0 < ш < 0,177,
297,6 +513,6ш
0,177 < ш < 0,429,
Р*ш ( С = <
0,3 + 0,5ш ’ 294+522ш
0,429 < ш < 1;
10,3 + 0,5ш ’
' -1000,
—694,4 + 491,6ш
0 < ш < 0,667,
0,667 < ш < 0,875,
0,7 — 0,5ш’
-686+482ш
0,875 < ш < 1.
Усредним условные БР с вероятностями р^(ац) = 0,3 + 0,5сщ и p^(aV) = 0,7 — 0,5ал Получим безусловный БР, соответствующий не более чем двукратному исследованию рынка (без учета стоимости второго исследования):
МрЦ (1) = Ррах ^ (1) + 1^р*Ша, (1) =
0 < ш 0,177 0,429 0,667 0,8750 < ш 0,177 0,429 0,667 0,875< 0,177,< ш < 0,429,+ ш + 0,667,< 0,875,< ш < 1.< 0,177,< ш < 0,429,+ ш + 0,667,< 0,875,< ш < 1.-1000,
0 < ш 0,177 0,429 0,667 0,875
0 < ш 0,177 0,429 0,667 0,875
< 0,177,
< ш < 0,429,
+ ш + 0,667,
< 0,875,
< ш < 1.
< 0,177,
< ш < 0,429,
+ ш + 0,667,
< 0,875,
< ш < 1.
-997,6- 13,6ш, -994 - 22ш, -988,4 - 30,4ш, -980 - 40ш,
При п = 2 и CL = 2 рекуррентное соотношение (5.2.10) принимает вид
/9Д2)=тт{^(0),М^£(1)+2} =
= min <= min <-1000,0 < и <0,5
= min <
= min <
-980 - 40и, 0,5 < ш < 1
"-998,0< и <0,177,)
995,6 — 13,би, 0,177 <ш < 0,429,
992 - 22ш,0,429 < ш < 0,667, \ =
986,4 — 30,4ш, 0,667 < ш < 0,875,
_ -978 - 40ш,0,875 < ш < 1 J
f-1000,0 < ^'< 0,323,
_I-995,6 - 13,би, 0,323 < ш< 0,429,
”)-992 - 22и,0,429 < и< 0,667,
(—980 - 40ш,0,667 < и<1.
Отсюда следует, что рДО) = рД1) = рД2) при 0 < и < 0,323 и 0,667 < ш < 1, поэтому графики функций рДО), рД1) и рД2) представлены на рис. 5.2.3 для значений 0,323 < ш < 0,667.
0,323 0,3640,4290,6670,323 0,3640,4290,667
0,323 0,3640,4290,667
0,323 0,3640,4290,667
При 0 < ш < 0,323 и 0,667 < ш < 1 исследование рынка нецелесообразно, если стоимость однократного исследования равна 2;
200 Гл. 5. Частные модели управления цепями Маркова с доходами при 0 из ^ 0,323 оптимальным является решение ^9 «не вкладывать капитал»; при 0,667<1 оптимальным является решение
di «вкладывать капитал». При 0,429 ^ и ^ 0,667 однократное, а при 0,323 С ш С 0,429 двукратное исследования рынка экономически оправданы.
Пусть из = 0,6. Если оба исследования дали прогноз «спрос вырастет», то согласно таблице 5.2.8 из = 0,6 a;aiai = 0,914. Байесовское решение остается неизменным, но при этом БР снизится с -1012 (при однократном исследовании рынка) до -1016,56. Если при однократном исследовании прогноз был «спрос упадет», то байесовским является решение «не вкладывать капитал», если же вторичное исследование дает прогноз «спрос вырастет», то из = 0,6 ша2а1 = 0,533, и байесовским является решение «вкладывать капитал».
Пусть из = 0,4. Байесовское решение без исследований — «не вкладывать капитал» с риском -1000, если же оба исследования дали прогноз «спрос вырастет», то из = 0,4= 0,83, и
байесовское решение уже рекомендует «вкладывать капитал» с риском -1013,2.
При п = 3,4,... формула для р^ значительно усложняется, тем не менее, если lim МДс (0) = 0, то lim Д(п) = р*, где р^ — оптимальный риск в классе стационарных управлений [9, с. 297-298].
О выборе наилучшего объекта
Рассматриваемую в этом параграфе задачу можно назвать классической. Она имеет много уже устоявшихся названий и еще больше неустоявшихся. Нашим названием мы обязаны [11, гл. III] и [38, гл. II, §2, п. 6]. В [24, с. 63-64] рассматривается задача администратора, выбирающего секретаря из группы девушек. Наконец, один из возможных вариантов задачи о выборе называется «вознаграждение статистика» [9, гл. 13]. Однако с точки зрения практического применения более актуальными были бы такие названия, как «задача коммивояжера, автотуриста», «о разведке полезных ископаемых» и т. д., наряду с названием «о разборчивой невесте».
Итак, имеется N объектов, занумерованных 1,2,..., Ж так, что объект с номером Ж классифицируется как лучший, а объект с номером 1 — как худший. Объекты исследуются в случайном порядке, т. е. первый объект для исследования выбирается с вероятностью 1/N, второй — с вероятностью 1/(Ж — 1) и т. д. После
выбора всех объектов будет получена некоторая перестановка (ах, а^,..., ап) чисел (1,2,..., М). Например, если N = 10, то номера объектов и вариант перестановки имеют вид, представленный табл. 5.3.1.
Таблица 5.3.1
«1
«2
«3
«4
^5
(7-6
«7
«8
«9
«10
3
1
4
2
8
6
7
10
9
5
Про любые два объекта можно сказать, какой из них лучше, тем самым по мере формирования перестановки извлеченные объекты можно упорядочить по возрастанию их качества. Наилучший объект может быть извлечен на любом шаге (в примере — на восьмом). Задача состоит в том, чтобы распознать с максимальной вероятностью наилучший объект в момент его извлечения.
Особенностью этой задачи является то, что исследуемый объект либо отвергается, и тогда к нему нельзя больше возвращаться, либо объявляется лучшим, и тогда процесс выбора прекращается. Предполагается, что если некоторый объект отвергнут, то отвергаются и все последующие, худшие этого, но последний объект обязательно принимается, если до этого не был сделан выбор.
Объекты a?1,a^2,... ,a^L в перестановке (ах, Щд • • • , aN^, N L, называются максимальными, если каждый последующий лучше предыдущего. Очевидно, объект щь является наилучшим, и вообще, наилучший объект следует искать среди максимальных. В нашем примере максимальными объектами являются ах,аз,аз,аз (первый объект всегда максимальный).
Рассмотрим случайный процесс ^п, полагая £i = ip = 1,^2 = = ^2,... Ль = Ч, где 4+i — порядковый номер объекта, лучшего, чем объект с порядковым номером iy, 1 ^ Л^х ^ N. Множество состояний процесса S = {1,2,... ,N,N + 1}, где фиктивное состояние N + 1 является по определению поглощающим.
Можно показать [11, гл.III, §1], что этот процесс является ЦМ. Найдем вероятности перехода, упростив обозначения состояний г, у и заметив, что вероятность перехода из состояния I в в состояниез
Рч - Р Ьп - з\С-\ - Ы (5.3.1)
есть вероятность того, что у-й по порядку извлечения объект является максимальным при условии, что г-й по порядку извле-
чения объект тоже является максимальным. В силу этого определения при у ^ i ^ N pij = 0, т. к. переход от лучшего объекта к худшему или к тому же самому невозможен; ж+дльщ = 1, т. к. (Ж + 1)-е состояние является поглощающим. Найдем вероятности p^j при i < з ^ N. В силу определения (5.3.1)
(5.3.2)(5.3.2)
(5.3.2)
(5.3.2)
где Р {^—i = г} — вероятность того, что i-й по порядку извлечения объект является максимальным, другими словами, вероятность того, что при случайной перестановке г различимых объектов лучший из них окажется на последнем месте. Следовательно,
(5.3.3)(5.3.3)
(5.3.3)
(5.3.3)
P^sn = Psn\ = 0 — вероятность того, что i-й и j-Й по порядку извлечения объекты являются максимальными, другими словами, вероятность того, что при случайной перестановке j различимых объектов на i-м месте окажется максимальный, а следующий максимальный — на последнем месте, следовательно,
Р {Сп — j,— }}Р {Сп — j,— }}0-2)!1Я aU-W0-2)!1Я aU-W
Р {Сп — j,— }}
Р {Сп — j,— }}
0-2)!1
Я aU-W
0-2)!1
Я aU-W
и согласно (5.3.2)
i < j < N.i < j < N.(5.3.4)(5.3.4)
i < j < N.
i < j < N.
(5.3.4)
(5.3.4)
Нам осталось найти вероятности ял+1, г ^ Ж смысл которых состоит в том, что г-й по порядку извлечения объект является абсолютно (т. е. среди всех объектов) наилучшим при условии, что он является максимальным:
PpN^x = Р {i = max max |i = max} =
P {i = max max, z = max}P {z = max max}
P { z = max}P {z = max}
= ((5.3.3)) =1 =(5.3.5)
Итак, окончательно,
(5.3.6)(5.3.6)
(5.3.6)
(5.3.6)
Проверим г = 1,...,Я:Проверим г = 1,...,Я:условие нормированности р^ для произвольногоусловие нормированности р^ для произвольногоNгN52 = 52 ру+ 52 Ру+р^+1j=lj=lj=WNгN52 = 52 ру+ 52 Ру+р^+1j=lj=lj=W
Проверим г = 1,...,Я:
Проверим г = 1,...,Я:
условие нормированности р^ для произвольного
условие нормированности р^ для произвольного
NгN
52 = 52 ру+ 52 Ру+р^+1
j=lj=lj=W
NгN
52 = 52 ру+ 52 Ру+р^+1
j=lj=lj=W
Рис. 5.3.1Рис. 5.3.1
Рис. 5.3.1
Рис. 5.3.1
ГС рассматриваемой цепи представлен
Перейдем к построению метода выбора наилучшего объекта с максимальной вероятностью. Напомним, что рассматривается процесс последовательного случайного выбора без возвращения объектов из множества, включающего N объектов. На любом шаге может быть выбран наилучший объект, и тогда процесс останавливается. Вероятность выбора на г-м шаге наилучшего объекта согласно (5.3.5) равна i/N. Если же на данном шаге выбран не наилучший объект, то
процесс выбора продолжают в надежде, что наилучший объект еще не пропущен. Если обозначить через а* максимальную вероятность выбора наилучшего объекта при условии, что процесс находится в состоянии г, то мы получим рекуррентное соотно-
шение для определения оптимального управления по остановке в виде
tyv+i = 0, N
где % ^ М^З^З™^^ ™ максимальная вероятность выбора
наилучшего объекта, если в состоянии г процесс выбора продолжается. Уравнение (5.3.7) аналогично (5.1.2) при Ci = 0 и учитывает специфику рассматриваемой задачи (г — порядковый номер шага и одновременно — номер состояния).
Метод обратной индукции при Ж ^ 2 дает:
v*N = max /^, -С • ol = 1 => N Sq,
<^-2= max) [(w-1)(V—2) 'l’N"1 + TV(Л^ — 1)^] J =
f^-2 Г 11 П
-max | N , (Д^^-2) + N(N - 1)] J
Продолжая индукцию, получим
к Г 1 к + 11 к + 2
N’ кTV + (k + 2)(k+l) N + ■"■+
{к 11N’ ПрИк + к+\ +'" +к Г1 11 "N Ц+Г+Т+'" + ^1{к 11N’ ПрИк + к+\ +'" +к Г1 11 "N Ц+Г+Т+'" + ^1в противном случае => к —► 5^;(5.3.8)в противном случае => к —► 5^;(5.3.8)vk-\ =vk-\ =к - 1111^'np"«-T + t + - + — <'^-'-%к - 1111^'np"«-T + t + - + — <'^-'-%в противном случаев к - 1 S*;(5.3.9)в противном случаев к - 1 S*;(5.3.9)NN—, При 1 + “ + ...+ Jyj" ^11 —> Sq ,—, При 1 + “ + ...+ Jyj" ^11 —> Sq ,в противном случае ^>1^5^.в противном случае ^>1^5^.
{к 11
N’ ПрИк + к+\ +'" +
к Г1 11 "
N Ц+Г+Т+'" + ^1
{к 11
N’ ПрИк + к+\ +'" +
к Г1 11 "
N Ц+Г+Т+'" + ^1
в противном случае => к —► 5^;
(5.3.8)
в противном случае => к —► 5^;
(5.3.8)
vk-\ =
vk-\ =
к - 1111
^'np"«-T + t + - + — <'^-'-%
к - 1111
^'np"«-T + t + - + — <'^-'-%
в противном случаев к - 1 S*;
(5.3.9)
в противном случаев к - 1 S*;
(5.3.9)
N
N
—, При 1 + “ + ...+ Jyj" ^11 —> Sq ,
—, При 1 + “ + ...+ Jyj" ^11 —> Sq ,
в противном случае ^>1^5^.
в противном случае ^>1^5^.
Мы получили последовательность г^ при к = N, N — 1,..., 1, причем сумма Е^. = \)к + 1 /(к + !) + ... + !/(N — 1) с уменьшением к растет от нуля до 1 + 1/2 + ... + 1/(2V — 1), значит существует такое к*, что Е^ ^ 1 при к = N, N — V ... ,к* и Е^. > 1 при к = к* — 1, к* — 2,..., 1. Это значит, что при к ^ к* процесс выбора продолжается, а при к ^ к* — 1 он останавливается. Другими словами, процедура выбора наилучшего объекта с максимальной вероятностью состоит в том, чтобы пропустить первые к* — 1 объектов, а затем выбрать объект, лучше всех предыдущих. В этом случае вероятность выбора наилучшего объекта согласно (5.3.9) равна
*Г 1111
— —™— ——- ++ ——- .(5.3.10)
N к* — 1 к* N — 1
Можно показать [11], что при N ос г^*-!0,368.
Продолжим рассмотрение нашего примера с N = 10 (табл. 5.3.2).
Таблица 5.3.2
к
1
2
3
0
5
6
7
8
9
10
к
N
o.l
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
2,829
1,829
1,329
0,996
0,746
0,546
0,379
0,236
0,111
—У
0,283
0,366
0,399
0,398
0,373
0,328
0,256
0,189
0,1
vk
0,283
0,366
0,399
0,4
0,5
0,6
0,7
0,8
0,9
1
Л
Л
*
*
*
*
*
*
*
Согласно табл. 5.3.2 к* = 4, Vy*_x = 0,399, согласно табл. 5.3.1 в качестве наилучшего выбирается объект а^.
Управление запасами при случайном спросе
Конечный горизонт управления. Рассмотрим nmax — шаговый процесс функционирования магазина, где nmax — число шагов до завершения этого процесса. Шаг представляет собой некоторый интервал времени (неделя, месяц). В начале п-го шага магазин заказывает куп единиц однородного и неделимого товара по цене С за единицу. Этот товар добавляется к тому количеству г товара (z = 0, 1,2,которое могло остаться непроданным на предыдущих шагах. Таким образом, в начале каждого шага мгновенно создается сформированный запас t = г + ktH единиц, состоящий из начального запаса г плюс заказанный товар. Количество сформированного запаса ограничено величиной N (скажем, емкостью склада). Если магазин закажет мало товара, то он может потерять потенциальную прибыль, поскольку не сможет удовлетворить полный спрос. Если магазин закажет слишком много товара, то он потеряет стоимость той его части, которую не удастся реализовать.
На протяжении шага запасенный товар продается по цене d за единицу (d > С > 0) в соответствии со спросом. Спрос представляет собой ДСВ с распределением рь(тп) = 0, т = = 0, 1,...,М. Если в начале шага сформированный запас равен t 6 {0, 1,2,..., Ж}, а в конце шага он снизится до s 6 Е {0, 1,2,..., Ж}, то условные вероятности pts легко посчитать
по известному распределению спроса рь(тп) и сформировать табл. 5.4.1.
В качестве модели работы магазина естественно принять ЦМ со множеством состояний S = {0,1,..., Ж} и МВП, заданной табл. 5.4.1. Заметим, что при N > М МВП Р совпадает с этой таблицей, а при N ^ М она превращается в северо-западный угол размера h х h этой таблицы. При N = М = 5 ГС цепи представлен на рис. 5.4.1, при N = 5, М = 3 — на рис. 5.4.2. В обоих случаях имеем МПЦ.
Таблица 5.4.1
Рис. 5.4.1Рис. 5.4.1
Рис. 5.4.1
Рис. 5.4.1
s t
0
1
2
h
h + 1
TV
0
1
1
M
1
PiX9)
2
M
2
PlW
pl44
h
M
^РьОЧ h
pL(h—2)
PlW
/1+1
Pl(J4
piXh-V)
PlO)
pl(54
N
pHN-h)
pL(N-h-n
piXO)
Примечание: h = min (TIT, TV).
Рассмотрим структуру доходов цепи. Напомним, что полный ожидаемый доход при оптимальном управлении п-шаговым процессом обозначается t)t(nY если запас равен t. Управление цепью осуществляется выбором значений /сщ, удовлетворяющих, например, условию г ^ 7 + k^n ^ N. Если на n-м шаге спрос равен т < t, то он полностью удовлетворяется. При этом одношаговый доход равен dm, запас к концу 77-го шага уменьшается до s = t — т единиц, так что ПОД при оптимальном управлении на последующих 77 — 1 шагах равен а* (п — 1). Если же на 77-м шаге спрос т ^ t, то продается t единиц товара, т. е. одношаговый доход равен dt, а запас к концу 77-го шага уменьшается до нуля, так что ПОД при оптимальном управлении на последующих 77 — 1 шагах равен 7^(77 — 1).
Из множества возможных расходов магазина (транспортные затраты, издержки хранения, зарплата сотрудников, организационные мероприятия и т. д.) мы будем учитывать только стоимость формирования запаса в виде Ckin, стоимость хранения товара в виде CfN, штраф за неудовлетворенный спрос в виде Cff(m — t), т > t.
Согласно (4.1.1) и (4.3.7) рекуррентное соотношение ДП для ЦМ с доходами при конечном горизонте управления в общем случае имеет вид
N
Щп) = max0),(5.4.1)
5=1
s,t = 1,2N, п = 1,2,,77тах.
В задаче управления запасами в роли 1^(77) выступает v*(n) — ПОД с начальным запасом г Е {0, 1,2Я}, в роли р^п
выступает pi+kroii+kro_m, в роли р*п выступает r(i + kin, т) = = timing +777}.
Аналог суммы в (5.4.1) представим в виде двух слагаемых. Первое имеет вид
тт^1-ркгп,М }
52 РМ„Мп-тНг + кгп,т^ + (ЗНЦкиг_ту. - 1)], т=0
(5.4.2) где в роли t и 8 выступают г + /сщ — сформированный запас товара на 77-м шаге, г + k^n — т ™ сохранившийся запас после продажи 777 единиц товара на 77-м шаге.
Второе слагаемое З^кы) есть сумма затрат 81,82,83, где
=СН. ^ рДт _ г _=СН. ^ рДт _ г _(5.4.3)(5.4.3)m=z+fcm + lm=z+fcm + l
=СН. ^ рДт _ г _
=СН. ^ рДт _ г _
(5.4.3)
(5.4.3)
m=z+fcm + l
m=z+fcm + l
равно математическому ожиданию штрафа за неудовлетворенный спрос, при этом СП — штраф за единицу неудовлетворенного спроса,
дП Г > 0, если М > г + fem .
J = 0, в противном случае ’
3^ = Ckin — стоимость формирования запаса; 3^ = CfN — стоимость хранения запаса, С' — стоимость хранения единицы запаса.
Таким образом, рекуррентное соотношение для определения оптимального управления запасами при конечном горизонте управления имеет вид
тт{г+&гп,М}
= max У^ Рг+кт,г+кт-тХ
X W + к™,т) + ЗП+к1П-т(п ~ 1)] -3(i,kin) k (5.4.4)
Ц(0)=0, i=\,2,...,N.
Возможны различные типы ограничений, которым должны удовлетворять величины к^.
Если 0 fem ^ ^ — г Vi и п, то задачу (5.4.4) назовем стандартной. Если кгп = N — к то (5.4.4) — задача с фиксированным (Ж — %У у правлением. Если
_ Г 0 при г Ко
” | N — г при г < Ко
где Kq — фиксированная константа, Ко Е {0, 1,2,..., Ж}, то (5.4.4) — задача с фиксированным Ко-управлением. В частности, при Ко = 0 (5.4.4) — задача без управления.
Рассматриваемой задаче можно придать более удобный для вычислений вид:
ПИ = max \ дг+к”+ Wl+kro(n- 1) - 3 (i, кгр Г (5.4.5)
1)-^ =0, П = 1,2, ... ,Птах, 2 = 0,1,..., Я.
Здесь
тпЦНкгп,М}
Q^ ^ Р1ЧкгплЧкгп—т^ (d kin, ТП?)(5.4.6)
т=0
— СОД при сформированном запасе г + к^п в начале n-го шага;
тт{г+&гп,М}
W^M;n _ 1Ь £- 1)
(5.4.7)
— условный (относительно сформированного запаса % + к^ ПОД на последних и — 1 шагах, усредненный по вероятностям перехода; 3(д к^ = З^^71 + 3^ + 3^ — суммарные затраты.
Большое практическое значение имеет частный случай, когда М = АЗ С' = См = 0. Тогда в (5.4.6), (5.4.7) 3(2, fem) = Скгп, min {2 + кгп,М^ = г + куп, соотношение (5.4.5) остается без изменений.
Пример 1 (см. §1.1). Магазин электротоваров в начале каждого месяца создает запас холодильников в количестве N ^ 2 по цене С = 10. Продажная цена d = 15. Найти оптимальное управление запасами на ближайшие пять месяцев, если /3=1, Cf = Сп = 0, а распределение спроса представлено в табл. 5.4.2.
В соответствии с табл. 5.4.1 строим МВП (табл. 5.4.3).
т012рьСЫ0,30,50,3т012рьСЫ0,30,50,3Таблица 5.4.2Таблица 5.4.28 t0120110,80,220,30,50,28 t0120110,80,220,30,50,2Таблица 5.4.3Таблица 5.4.3
т
0
1
2
рьСЫ
0,3
0,5
0,3
т
0
1
2
рьСЫ
0,3
0,5
0,3
Таблица 5.4.2
Таблица 5.4.2
8 t
0
1
2
0
1
1
0,8
0,2
2
0,3
0,5
0,2
8 t
0
1
2
0
1
1
0,8
0,2
2
0,3
0,5
0,2
Таблица 5.4.3
Таблица 5.4.3
В соответствии с формулами (5.4.6) и (5.4.7) строим вспомогательные таблицы со значениями дг+3п (табл. 5.4.4), W^klTt^ji — — 1) (табл. 5.4.5) и Ckin (табл. 5.4.6), имея в виду, что различным значениям г + куп соответствуют различные цепи.
Если г + кгп = 0, то ГС цепи имеет вид, представленный на рис. 5.4.3.
Таблица 5.4.6
kin
0
1
2
3 (z, kin)
0
10
20
Таблица 5.4.4Таблица 5.4.4z + kinqi4kVa001p10rf = 0,8 ■ 15 = 122p<>id + p-^Sd = = 0,5- 15 + + 0,3-30= 16,5z + kinqi4kVa001p10rf = 0,8 ■ 15 = 122p<>id + p-^Sd = = 0,5- 15 + + 0,3-30= 16,5z + kinWHk^^n - 1)01)10,2уЦп - 1) + + 0,8a£(n- 1)20,2^ (n - 1) + + 0,5ц* (zz — 1) + + O,3i?o * (n - 1)z + kinWHk^^n - 1)01)10,2уЦп - 1) + + 0,8a£(n- 1)20,2^ (n - 1) + + 0,5ц* (zz — 1) + + O,3i?o * (n - 1)Таблица 5.4.5Таблица 5.4.5
Таблица 5.4.4
Таблица 5.4.4
z + kin
qi4kVa
0
0
1
p10rf = 0,8 ■ 15 = 12
2
p<>id + p-^Sd = = 0,5- 15 + + 0,3-30= 16,5
z + kin
qi4kVa
0
0
1
p10rf = 0,8 ■ 15 = 12
2
p<>id + p-^Sd = = 0,5- 15 + + 0,3-30= 16,5
z + kin
WHk^^n - 1)
0
1)
1
0,2уЦп - 1) + + 0,8a£(n- 1)
2
0,2^ (n - 1) + + 0,5ц* (zz — 1) + + O,3i?o * (n - 1)
z + kin
WHk^^n - 1)
0
1)
1
0,2уЦп - 1) + + 0,8a£(n- 1)
2
0,2^ (n - 1) + + 0,5ц* (zz — 1) + + O,3i?o * (n - 1)
Таблица 5.4.5
Таблица 5.4.5
Если г + kin = L то ГС цепи имеет вид, представленный на рис. 5.4.4.
Если г + к^ = 2, то ГС цепи имеет вид, представленный на рис. 5.4.5.
Рис. 5.4.3Рис. 5.4.3Рис. 5.4.4Рис. 5.4.40,2Рис. 5.4.50,2Рис. 5.4.5
Рис. 5.4.3
Рис. 5.4.3
Рис. 5.4.4
Рис. 5.4.4
0,2
Рис. 5.4.5
0,2
Рис. 5.4.5
На этих рисунках исходные состояния заштрихованы. Следует еще раз обратить внимание, что цепи 2) и 3) являются моноэргодическими поглощающими.
Далее воспользуемся соотношениями (5.4.5).
Пусть n = 1. Тогда
Vq(1) = max ^° + Vg(0) — 0; qx + ^*(0) — 10; q2 + ^(0) — 2o| = = max{0; 12 + 0- 10; 16,5 + 0 - 20} = 2, k^ = 1,
уЦ!) = тахД1 + 0,2уЦ0)+0,8у£(0);
q2 + 0,2у2(0) + 0,5уЦ0) + 0,3yg (0)} =
= max{12; 16,5 - 10} = 12, ^ = 0,
«5(1) = max |д2 + О,2«5(О) + 0,5«{(0) + O,3«5(O) J =
= max {16,5 + 0} = 16,5, k^x = 0.
Пусть п = 2. Тогда
«5(2) = тах|Д + W°(l)-0; qA + W1 (1) —10; q2 + П'2( 1)—20| = = тах{0 + 2; 12 + 0,2 • 12 + 0,8 • 2 - 10; 16,5 + 0,2 • 16,5 + + 0,5 • 12 + 0,3 • 2 - 20} = max {2; 6; 6,4} = 6,4, ^2 = 2,
Д(2) = max {g1 + Ю(1) -0; q2 +W2(l) - io} =
= max{12 + 0,2- 12 + 0,8-2; 16,5 + 0,2- 16,5 + 0,5- 12+
+ 0,3-2- 10} = max{16; 16,4} = 16,4, Ц2 = Г
«5(2) = max ^q2 + 1+2(1) J =
= 16,5 + 0,2 - 16,5 + 0,5 ■ 12 + 0,3 • 2 = 26,4, k*^ = 0.
Пусть n = 3. Тогда
v^(3) =max^° +W°(2); qx + ИД2) - 10; y2 + ll'2(2j - 2o| = = max{0 + 6,4; 12 + 0,2 • 16,4 + 0,8 • 6,4 - 10; 16,5 + 0,2 • 26,4 + + 0,5- 16,4 + 0,3-6,4-20} = max {6,4; 10,4; 11,9} = 11,9, % = 2,
«Щ) = max |^’ + W1 (2); q2 + W2(2) - io} =
= max} 12 + 0,2 • 16,4 + 0,8 • 6,4; 16,5 + 0,2 • 26,4 + 0,5 • 16,4 + + 0,3-6,4- 10} = max {20,4; 21,9} = 21,9, k*V3 = 1,
^(3) = max ^2 + Ж2(2)| =
= 16,5 + 0,2 • 26,4 + 0,5 • 16,4 + 0,3 • 6,4 = 31,9, k^3 = 0.
Полученные результаты, относящиеся не только к п = 0, 1,2, 3, но и к п = 4, 5, сведены в табл. 5.4.7.
Графики функций ^(п) представлены на рис. 5.4.6.
Пример 2. Рассмотрим пример 1 со следующими изменениями: СП = 5, М = 4, а распределение спроса зададим табл. 5.4.8.
Таблица 5.4.7
ц*(п)
п
0
1
2
3
4
5
0
0
2
6,4
11,9
17,4
22,9
1
0
12
16,4
21,9
27,4
32,9
2
0
16,5
26,4
31,9
37,4
42,9
0
1
2
2
2
2
1
0
1
1
1
1
2
0
0
0
0
0
Таблица 5.4.8
0
1
2
3
4
Рь^т)
0,1
о,1
0,3
0,3
0,2
В соответствии с табл. 5.4.1 строим МВП (табл. 5.4.9).
В соответствии с формулами (5.4.6), (5.4.7) и (5.4.3) строим вспомогательные таблицы со значениями ql^k^ (табл. 5.4.10),
- 1) (табл. 5.4.И) и 3(г,кт) = Зр^ + 3^ (табл. 5.4.12).
Далее воспользуемся соотношениями (5.4.5).
Таблица 5.4.9
8 t
0
1
2
0
1
1
0,9
0,1
2
0,8
о,1
0,1
Таблица 5.4.10
0
0
1
ри -0 + рю- 15 = 0,9- 15= 13,5
2
р22 ■ 0 + p2id + p202d = 0,1 ■ 15 + 0,8 • 30 = 25,5
Таблица 5.4.11
2 + kiu
Wi+kM'n- -1)
0
1
0,1Ц(п- 1) +o,9u^(n- 1)
2
ОМЫ - 1) + 0,1Ц(п - 1) + 0,8>Н)Ы - 0
Таблица 5.4.12
kin г
0
1
2
0
12
17,5
23,5
1
7,5
13,5
2
3,5
Пусть n = 1. Тогда
г^(1) = max{0 + 0- 12; 13,5- 17,5; 25,5 -23,5} =
= max {—12;—4; 2} = 2, Fox = 2,
yf(l) = max{13,5 + 0-7,5; 25,5 + 0- 13,5} =
= max {6; 12} = 12, ^ = 1, у2*(1) = max {25,5 - 3,5} = 22, Цх = 0.
Пусть п = 2. Тогда
у^(2) = max{0 + 2- 12; 13,5 + 3- 17,5; 25,5 + 5-23,5} =
= тах{-10;-1;7} = 7, ^2 = 2,
у{(2) = max {13,5 + 3-7,5; 25,5 + 5- 13,5} =
= max {9; 17} = 17, к*2 = 1,
-^(2) = max {25,5 + 5 - 3,5} = 27, к^ = 0.
Пусть и = 3. Тогда
Уо(3) = max {0 + 7- 12; 13,5 + 8- 17,5; 25,5+ 10-23,5} =
= max {-5; 4; 12} = 12, к33 = 2,
<(3) = max {13,5 + 8 — 7,5; 25,5+10- 13,5} =
= шах {14; 22} = 22, k*l3 = 1, у2(3) = max{25,5+ 10-3,5} = 32, к*23 = 0.
Пусть т? = 4. Тогда
у^(4) =шах{0+ 12- 12; 13,5+ 13- 17,5; 25,5+ 15- 23,5} =
= шах{0;9; 17} = 17, к^ = 2.
Все результаты, относящиеся к п = 0, 1,2,3,4,5, представлены в табл. 5.4.13.
Пример 3. Рассмотрим пример 2 с единственным изменением (3 = 0,5.
В этом примере таблицы 5.4.9, 5.4.10, 5.4.12 остаются без изменений, а табл. 5.4.И заменим на табл. 5.4.14.
Далее воспользуемся соотношениями (5.4.5).
Пусть п = 1 (см. пример 2). Тогда
у^(1) = 2, ^, = 2; у{(1) = 12, ^ = 1; у2(1) = 22, к^х = 0.
Таблица 5.4.13
Ti
0
1
2
3
4
5
0
0
2
7
12
17
22
1
0
12
17
22
27
32
2
0
22
27
32
37
42
A in
0
2
2
2
2
2
1
1
1
1
1
1
2
0
0
0
0
0
Таблица 5.4.14
z + k^n
1)
0
0,5u^(n- 1)
1
0,05^(n- l)+0,45t£(n- 1)
2
0,05i^(n- 1) + 0,05t^(n- 1) + 0,4^(n- 1)
Пусть п = 2. Тогда
^(2) = max{0 + 1 — 12; 13,5 + 3,9- 17,5; 25,5 + 2,5-23,5} = = шах {-И;-0, 1;4,5} = 4,5, ^2 = 2,
v{(2) = max {13,5+ 3,9-7,5; 25,5 + 2,5- 13,5} =
= max {9,9; 14,5} = 14,5, ^2 = 1,
+ (2 j = max {25,5 + 2,5 - 3,5} = 24,5, k*^ = 0.
Пусть n = 3. Тогда
«о(3) = тах{0+2,25-12; 13,5+2,75—17,5; 25,5+3,75-23,5} = = max {-9,75; -1,25; 5,75} = 5, 75, % = 2,
уПЗ) = max{13,5 + 2,75 — 7,5; 25,5 + 3,75- 13,5} =
= max {8,75; 15,75} = 15,75, ^3 = 1,
^(3) = max {25,5 + 3,75 - 3,5} = 26,75, ^3 = 0.
Вычисления для п = 4,5 аналогичны. Все полученные результаты представлены в табл. 5.4.15. Графики функций представлены на рис. 5.4.7.
Таблица 5.4.15
i-’*(tz)
п
г
0
1
2
3
4
5
0
0
2
4,5
5,75
6,375
6,6875
1
0
12
14,5
15,75
16,375
16,6875
2
0
22
24,5
25,75
26,375
26,6875
0
2
2
2
2
2
1
1
1
1
1
1
2
0
0
0
0
0
Пример 4. Этот пример отличается от предыдущего тем, что спрос не является случайным: М = 1, pg = 0, щ = 1.
Тогда МВП примет вид, представленный табл. 5.4.16.
Аналогами таблиц 5.4.10, 5.4.11, 5.4.12 являются таблицы 5.4.17, 5.4.18, 5.4.19.
Далее воспользуемся соотношениями (5.4.5).
Пусть п = 1. Тогда
t^(l) = max{0-5; 15-10; 15-20} = max{-5; 5;-5} = 5, к^ = 1,
«{(1) = max{15-0; 15- 10} ;
= 15, k*xx =0,
i 4" /471001d = 152d = 15i 4" /471001d = 152d = 15Таблица 5.4.17Таблица 5.4.172 + k^n’W^™^! - 1)00,5^ (n - 1)1O,5«o*(n- 1)2O,5«5(n- 1)2 + k^n’W^™^! - 1)00,5^ (n - 1)1O,5«o*(n- 1)2O,5«5(n- 1)Таблица 5.4.18Таблица 5.4.18012051020101002000012051020101002000Таблица 5.4.19Таблица 5.4.19
i 4" /471
0
0
1
d = 15
2
d = 15
i 4" /471
0
0
1
d = 15
2
d = 15
Таблица 5.4.17
Таблица 5.4.17
2 + k^n
’W^™^! - 1)
0
0,5^ (n - 1)
1
O,5«o*(n- 1)
2
O,5«5(n- 1)
2 + k^n
’W^™^! - 1)
0
0,5^ (n - 1)
1
O,5«o*(n- 1)
2
O,5«5(n- 1)
Таблица 5.4.18
Таблица 5.4.18
0
1
2
0
5
10
20
1
0
10
0
2
0
0
0
0
1
2
0
5
10
20
1
0
10
0
2
0
0
0
Таблица 5.4.19
Таблица 5.4.19
«5(1) = max {15} = 15, k2x = 0.
Пусть п = 2. Тогда
«5(2) = шах {0 + 2,5-5; 15+ 2,5- 10; 15 + 7,5 — 20} =
= max {-2,5; 7,5; 2,5} = 7,5, ^2 = L
v{(2) = max {15+ 2,5-0; 15 + 7,5 - 10} =
= max{17,5; 12,5} = 17,5, k*x2 = 0,
«5(2) = max {15 + 7,5 - 0} = 22,5, k^2 = 0.
Пусть n = 3. Тогда
«5(3) = max {0 + 3,75 - 5; 15 + 3,75 - 10; 15 + 8,75 - 20} = = max {-1,25; 8,75; 3,75} = 8,75, %= 1,
«{(3) = max {15+ 3,75-0; 15+ 8,75- 10} =
= max {18,75; 13,75} = 18,75, k*x3 = 0,
«5(3) = max{15 + 8,75 - 0} = 23,75, k^3 = 0.
Пусть n = 4. Тогда
«5(4) = max {0 + 4,375 - 5; 15 + 4,375 - 10; 15 + 9,375 - 20} = = max {-0,625; 9,375; 4,375} = 9,375, ^4 = 1,
«*(4) = 19,375, k*u = 0,
«5(4) = 24,375, fc54 = 0.
Пусть п = 5. Тогда
4(5) = шах {0 + 4,6875 - 5; 15 + 4,6875 - 10; 15 + 9,6875 - 20} = = max {-0,3125; 9,6875; 4,6875} = 9,6875, ^5 = 1,
4(5) = 19,6875, 45 = 0,
4(5) = 24,6875, 45 = 0.
Полученные результаты сведем в табл. 5.4.20.
Таблица 5.4.20
ДО
п
г
0
1
2
3
4
5
0
0
5
7,5
8,75
9,375
9,6875
1
0
15
17,5
18,75
19,375
19,6875
2
0
15
22,5
23,75
24,375
24,6875
0
1
1
1
1
1
1
0
0
0
0
0
2
0
0
0
0
0
Как и следовало ожидать, потимальное управление состоит в создании единичного сформированного запаса при нулевом начальном.
Пример 5. Этот пример полностью аналогичен примеру 3, но с фиксированным /^управлением, где к^ = 1. Таким образом, если начальный запас г = 0, то к*п = N = 2, если же начальный запас О 1, то к*п = 0.
В этом случае соотношения (5.4.5) принимают вид :
4(п) = 92 + ЮЩ - 1) - 23,5 = 2 + W2(n - 1),
=+W*(n- 1)-7,5 = 6 + ИДп- 1),
у2*Ц) = 92 + И^п - 1) - 3,5 = 22 + W2^ - 1), где W^C^ti — 1) определяются табл. 5.4.14. Вычисление у*(п) ведется в следующей последовательности:
/ уоЛ) \(wy^\/у0*(1)\(w°^\
уцо) иДо) н(1)ж*(1)
\ 4(°) /\w2^ )\4U) / у и^2(1) у
Таблица 5.4.21
n
0
1
2
3
4
5
0
2
4,2
5,25
5,77
6,03
0
6
7,2
8,25
8,77
9,03
l,2
0
22
24,2
25,25
25,77
26,03
IV0
0
1
2,1
2,62
2,88
—
wv
0
1,2
2,25
2,77
3,03
—
W2
0
2,2
3,25
3,77
4,03
Результаты приведены в табл. 5.4.21.
Сравнение этой табл, с табл. 5.4.15 показывает, что фиксированное fco-управление по сравнению с оптимальным управлением дает незначительное снижение дохода для г = 2, что вполне объяснимо, т. к. это «состояние является неуправляемым» в обоих случаях. При г % 1 это снижение составляет от 10% до 46%.
Бесконечный горизонт управления. Пусть Д < 1. Согласно §§4.1, 4.5 это позволяет в (5.4.1)-(5.4.7) перейти к бесконечноэтапной аппроксимации и получить основные соотношения в виде
уг= max lql+kl+ wl+kl-3(г,кМ , г = 0,(5.4.8)
OC^CN-i IJ
где и^(0) = и;,
min{i+^,M}
(5.4.9)(5.4.10)(5.4.11)(5.4.12)(5.4.9)(5.4.10)(5.4.11)(5.4.12)qt+C =^ р1+кгЛ+кг_тгЦ + ki,m\
(5.4.9)
(5.4.10)
(5.4.11)
(5.4.12)
(5.4.9)
(5.4.10)
(5.4.11)
(5.4.12)
m=0
min{i+^,M}
m=0
3(гЦг) =+ 3^ + ЗД
3^ = 0”.£ Pm^-i-ki),
m=i+A;z + l
з^ = CH, 3f = C'N,
трг + к^т) = dmin {г + ki, m} .(5.4.13)
Согласно §4.5 для решения этой задачи можно воспользоваться алгоритмом Ховарда (рис. 5.4.2, табл. 5.4.1). С учетом специфических особенностей задачи управления запасами в алгоритм целесообразно внести ряд изменений.
Ввести блок исходных данных (ВИД), включающий:
— МВП, формируемую по распределению рд(т) (табл. 5.4.1), — табл. 5.4.22 значений дг+^ и 3^+^?, вычисляемых по формулам (5.4.9), (5.4.11) и (5.4.13),
— табл. 5.4.23 коэффициентов рр^ру^р_т для последующего определения W^k% по формуле (5.4.10),
— табл. 5.4.24 значений 3(г,к^) при СРС^СН > 0, вычисляемых по формулам (5.4.11) и (5.4.12).
В БУУ для каждого г + ki Е {0,1,..., Ж} по значениям щ с помощью табл. 5.4.23 строится табл. 5.4.25 значений W^1. Далее с помощью соотношений (5.4.8) и таблиц 5.4.22, 5.4.24, 5.4.25 для каждого г определяются значения Vi и Ц.
В БОУ по значениям щ и ki с помощью табл. 5.4.23 строится табл. 5.4.25. Далее с помощью таблиц 5.4.22, 5.4.24, 5.4.25 для каждого г определяются значения
Ц =+ W,k- -(5.4.14)
Итерационный процесс можно начать с БВД, полагая щ = 0, г = 0, 1,..., N, и закончить при совпадении ki = Ц для всех г.
Таблица 5.4.22Таблица 5.4.23
i + kiдг+А?г012Ni + kiдг+А?г012Nт г + kt012min {г + кг, М^0313PwЗрн2ЗрюЗРЮЗрюNPPno3PniРршЗР NMn^N Л1 }т г + kt012min {г + кг, М^0313PwЗрн2ЗрюЗРЮЗрюNPPno3PniРршЗР NMn^N Л1 }
i + ki
дг+А?г
0
1
2
N
i + ki
дг+А?г
0
1
2
N
т г + kt
0
1
2
min {г + кг, М^
0
3
1
3Pw
Зрн
2
Зрю
ЗРЮ
Зрю
N
PPno
3Pni
Ррш
ЗР NMn^N Л1 }
т г + kt
0
1
2
min {г + кг, М^
0
3
1
3Pw
Зрн
2
Зрю
ЗРЮ
Зрю
N
PPno
3Pni
Ррш
ЗР NMn^N Л1 }
Пример 6. Продолжим пример 3, полагая п оо. Требуется определить оптимальное управление в классе стационарных.
Таблица 5.4.24
Т а б л и
ца 5.4.25
н
1
0
1
N
г + kt
WlJrki
0
0
П'"
1
1
w
N
N
WN
Для решения мы воспользуемся таблицами 5.4.9, 5.4.10, 5.4.12, 5.4.14.
Положим ид = гц = тд = 0 и обратимся к БУУ. Учитывая, что __ q, согласно (5.4.10) получим:
max(9° + TV0 - 3(0,0); qx + W1 - 3(0,1);92 + W2 - 3(0,2)} =
= max {0 - 12; 13,5 - 17,5; 25,5 - 23,5} = 2
достигается при k^ = 2,
maxp + TV1 -3(l,0);g2 + W2 -3(1,1)} =
= max{13,5 — 7,5; 25,5 — 13,5} = 12
достигается при k\ = 1,
q2 + W2 - 3(2,0) = 25,5 - 3,5 = 22
достигается при k2 = 0.
Переходим к БОУ. На базе формул (5.4.8), (5.4.10) и таблиц 5.4.10, 5.4.12, 5.4.14 составляем и решаем систему уравнений относительно предельных доходов но,П1 и а^ при фиксированном управлении (2,1,0):
(Уо= q^+ JV2 - 3(0,2)=25,5+0,05Ц2+ Ш + ОД^о - 23,5,
2У1=92+ W2-3(l,l)=25,5+0,05(v2+ vi)+0,4v0-13,5,
у2= q2+ IV2 - 3(2,0)=25,5+0,05(^2+ Ш + О,4ио - 3,5.
Преобразуем эту систему уравнений:
( О,6по — 0,05 Hi — 0,05 г)2 = 2, г —0,4пд + 0,95п1 — 0,05 1)2 = 12, [ —0,4hq — 0,05 Hi + 0,95^2 = 22.
Из первого уравнения вычитаем второе, а из второго третье, в результате получаем
/ ng — щ = —10hq = щ — 10,
1 П1 — П2 = — ЮП2 = Щ + 10.
Подставляем результаты в третье уравнение:
-0,4(щ - 10) - 0,05щ + 0,95(щ + 10) = 22
или 0,5п1 = 8,5 =+ щ = 17, по = 7, П2 = 27.
На этом заканчивается первая итерация, и мы переходим к БУ У (вторая итерация). Определяем значения W^kl с помощью табл. 5.4.14:
( ТУ0 = 0>0 = 3,5, / W* = 0,05v, + 0,45^0 = 4, 1 TV2 = 0,05(771 + v2) + O,4vo = 5
и далее на базе (5.4.8) с помощью таблиц 5.4.10, 5.4.12 пытаемся улучшить управление:
шах {0 + 3,5- 12; 13,5 + 4- 17,5; 25,5 + 5 - 23,5} = 7
достигается при кд = 2,
шах {13,5 + 4 — 7,5; 25,5 + 5 — 13,5} = 17
достигается при к’х = 1,
25,5 + 5-3,5 = 27
достигается при к9 = 0.
Итак, кг = к[ для всех г. Итерационный процесс завершен, найдено оптимальное стационарное управление (2, 1,0), которому соответствуют оптимальные предельные доходы (7, 17,27).
§5.5. Игры с автоматом
Игрок планирует провести nmax игр с автоматом, имея начальный капитал гПтах.
Пусть п — текущее значение числа оставшихся игр (0 n nmax), г — текущее значение капитала (после nmax — п проведенных игр), Щг) — его полезность для игрока. Как
правило, Щг) монотонно возрастает. Пусть далее МЩг) — математическое ожидание (МО) полезности капитала г, kin — размер ставки, принятый игроком, обладающим капиталом г при п оставшихся играх.
Предположим, что после каждой игры игрок получает с вероятностью р сумму крг и с вероятностью q = 1 — р теряет ее. Исходы игр независимы. Задача, рассматриваемая в данном параграфе, состоит в определении оптимального управления процессом игры, т. е. таких значений kio = 0, кц,..., kiUmax (0 kin Ц, которые обеспечивают игроку максимальное значение МО полезности его конечного капитала.
Легко видеть, что случайный процесс изменения капитала от игры к игре является частным случаем ЦМ с доходами, когда исследователя интересует не суммарный доход за /?тах шагов, а конечный доход на последнем птах-м шаге.
Введем следующие понятия и их обозначения.
п*(п) — максимальное значение МО полезности конечного капитала игрока, если число оставшихся игр равно п и капитал игрока после nmax — п проведенных игр равен г.
Sn = {0,1,..., Nn = 2Птах-пгПшах }(5.5.1)
— множество возможных значений капитала (состояний) при п оставшихся играх и при начальном капитале гПтах.
ркт = ^кт^ _ МВП на п-м шаге при использовании в г-м состоянии ставки (стратегии) размера kin, где
(5.5.2)(5.5.2)р при г Е Sn, j = i + kin, kin L q при i E Sn, 3 = i ” кгп, кгп^ \, ti = 1,2,...,/? max.
(5.5.2)
(5.5.2)
Решение задачи оптимального управления процессом игры человека с автоматом осуществляется с помощью рекуррентного соотношения ДП для п*(п), которое легко получить из общего уравнения для ЦМ с доходами (4.3.9):
= max к^п= max к^пqq(5.5.3)(5.5.3)
= max к^п
= max к^п
q
q
(5.5.3)
(5.5.3)
п = 0, 1,2,, nmax, ^ = 1,2,..., Ж, а*(0) задано, если положить /3=1, q^ = О,
У^ Ру" 'С" - 1) = P«Pkm3 - 1) + qv*_km3 - 1),
vpO) = U(iY ОРк,,,^-
Тогда получим:
#) = qPP^ [Pvi+k3n - В + кК-кЗ^ о] -(5.5.4)
Д(0) = U(i), п = 1,2,,nmax, i G Sn, в частности
n*(l) = max \р1Дг + кц) + qU(i — fc^)], i^Sp(5.5.5)
А(2) = max [НДД1) + qv'PkP^ ’ i € ^2-(5.5.6)
Из уравнений (5.5.4) получаем оптимальные значения к*п и п*(п) для всех п = 1,2,..., nmax и г Е Sn.
Рассмотрим ряд примеров.
Пример 1. Пусть U(г) = г, т. е. полезность капитала равна значению самого капитала. Тогда уравнения (5.5.4)-(5.5.6) примут вид:
п*(1) = max {р(г + кц) + q^i - кц)^ = max {г + (р - q)k^ = = i + max (р — q)ku =
_ ; , J (р - чЗ Р> q _ J 2PT p > q и k*x = i,
'[ 0,p qp q и Ц\ = О,
a* (2) = maxa* (2) = maxp > q = p < qp> qp^q ~p > q = p < qp> qp^q ~р2р(г + кй^ + </2p(z - ky), p(i + ^i2) + q(i — k^Y
a* (2) = max
a* (2) = max
p > q = p < q
p> q
p^q ~
p > q = p < q
p> q
p^q ~
2pi + max 2p(p — q)k^, 03kp2
?’+ max (p — q^ki2^
0^fc,2^i
J 2pz + 2p(p - q)i, p> q _ J (2p)2z, p > q и k*2 = i, 1г,p ^ q — 1 i,p q a k*2 = Q.
8 Г. А. Соколов, H. А. Чистякова
Из (5.5.4) по индукции следует, что для всех n= 1,2,..., nmax
Г при р> q k*n = г и а*(п) = (2рУгг, 1 при р < q k*n = 0 и п*(п) = г.
Итак, оптимальное управление при линейной функции полезности U(г) = г предписывает в благоприятной игре (р > q) ставить весь имеющийся капитал. В противном случае вообще не играть.
Пример 2 (рискующий игрок). Если в игре с автоматом функция полезности U строго выпукла вниз, то согласно неравенству Йенсена (приложение 8) MU^) > U(M^). Это означает, что игрок предпочитает игру со случайным выигрышем £ игре с заведомым выигрышем М^. Более того, если М^ = 0, то MU^) > 0 (если [7(0) = 0), и игрок предпочитает всегда играть. По этим причинам игрока со строго выпуклой вниз функцией полезности называют рискующим.
Рассмотрим уравнение (5.5.5) со строго выпуклой вниз функцией полезности П(г). Согласно приложению 7 выпуклая комбинация
pU (г + k) + qU (г — к),
где p,q^ 0, p + q = 1, есть строго выпуклая вниз функция от к, 0 к д которая на замкнутом ограниченном множестве достигает максимума в одной из граничных точек к = 0 или к = г. Это свойство позволяет преобразовать уравнение (5.5.5)
п*(1) = тах{[ф),рЩ2г) + qU^ , (5.5.7)
из которого следует, что если U^ ^pU^i^ -VqU^Y т. е. к*х = 0, то игрок не проводит птах-ю игру, в противном случае его ставка равна имеющемуся капиталу (к*х = i\
Согласно приложению 7 обе функции в фигурных скобках (5.5.7) строго выпуклы вниз, следовательно, и ^*(1) строго выпукла вниз. Отсюда, в свою очередь, следует, что рп*+^2(1) + + (1) тоже строго выпуклая вниз функция от к^, и (по аналогии с переходом от (5.5.5) к (5.5.7)) можно перейти от (5.5.6) к
<(2) = тах{с^Ур^) + q^o^ (5-5-8)
Таким образом, если п*(1) pc2i(l) + qc^(iy т. е. к*2 = 0, то игрок не проводит (nmax — 1)-ю игру, в противном случае его ставка равна имеющемуся капиталу (к*9 = г\
Функция а*(2) снова строго выпукла вниз, и, продолжая этот процесс, убеждаемся, что при п = 1,2,... функции ^(п) строго выпуклы вниз и удовлетворяют соотношению
= тах{п*(п — l^pF^rt — 1) + д^(п — 1)} ,(5.5.9)
т. е. на каждом шаге игрок либо не должен играть, либо должен ставить весь имеющийся капитал.
Пусть U(г) не только строго выпуклая вниз, но и возрастающая функция. Из (5.5.7)-(5.5.9) по индукции получаем, что и с*(п) при всех /? = 1,2,... и 7 > 0 не только строго выпуклые вниз, но и возрастающие по I функции.
Для простоты отбросим букву п в обозначении п*(п). В силу строгой выпуклости вниз имеем (рис. 5.5.1)
К = Щ+(1-р)0и1/2 < ^ + (1 "PHUi/2. (5.5.10)
Поскольку a* / г, то и^ > Hq, и линейная функция F(p) = ри^ + + (1 “рДд монотонно возрастает по р от F(0) = Hq до F(l) = (см. рис.5.5.1). Следовательно, при pF 1/2 (для игрока такая игра является благоприятной или справедливой) F(l/2)F(p).
Отсюда в силу (5.5.10) получаем
F<P^ + ^-M.(5.5.11)
а в силу (5.5.9)
«рр <рр^п- 1) + (1 -рр^п- 1), k*n = i.
Оптимальное управление для рискующего игрока при р F 1/2 предписывает на каждом шаге п = l,2,...,nmax ставить весь имеющийся капитал.
Рассмотрим частный случай строго выпуклой вниз функции полезности
П(г) =(5.5.12)
где г ^ 0, а > 1 — константа. Выше было установлено оптимальное управление для любых выпуклых вниз функций полезности при р^ 1/2.
Пусть теперь р< 1/2, подставим (5.5.12) в (5.5.7), (5.5.8) и (5.5.9):
и* (1) = max{za,p(2z)a} = zamax{Lp2a} = ri°p
где г = max{l,p2a}, г 1. Очевидно г > 1 тогда и только тогда, когда р > 2-а\ следовательно,
при Р > кп =
ш | za при р 2“^ к*х = О, и* (2) = тах^Др^рЭй = r2za,
^t^) = шнхД^= rnia.
Отсюда получаем, что при всех п = 1,2,..., nmax ^*(n) = za, и следовательно, к*г = 0 (игра не проводится) тогда и только тогда, когда р 2-а (г = 1). При г > 1, т. е. при 2-а < р < 1/2 оптимальная стратегия к*п = г (в каждой игре ставка игрока равна его капиталу).
Пример 3 (осторожный игрок). Если в игре с автоматом функция полезности U строго выпукла вверх, то согласно неравенству Йенсена (приложение 8) MU^) < U(M^). Это означает, что игрок предпочитает фиксированный выигрыш М^ игре со случайным выигрышем £, т. е. он предпочитает избегать риска, и поэтому его называют осторожным. Например, люди, страхующие свое имущество, являются осторожными игроками, т. к. предпочитают уплатить фиксированную сумму риску потерпеть большой убыток (с малой вероятностью).
Рассмотрим уравнение (5.5.5) со строго выпуклой вверх и возрастающей функцией полезности П(г). Пусть 0<р^ 1/2, т. е. игра для игрока либо неблагоприятна, либо справедлива. Покажем, что для всех г > 0 имеет место неравенство
И^ > рЩг + кг) + дЩг - к^.(5.5.13)
Дальнейшие рассуждения аналогичны соответствующим рассуждениям при рассмотрении рискующего игрока (рис. 5.5.2).
В силу строгой выпуклости вверх функции U^
Up^-UpEkpF^Up-kp. (5.5.14)
Поскольку Up) монотонно возрастает по г, то Up + кр >
> Up — кр, и линейная функция F^p) = pUp + кр + (1 —
— p)Up — кр монотонно возрастает по р от F^O) = Up — kt) до F(l) = Up + кр. Следовательно, при р < 1/2 F)p) F(1/2) = = р^уир + кр + рфуир-кр.
Отсюда в силу (5.5.14) при р < 1/2 получаем
Up) > pUp + кр + qUp — кр,
и неравенство (5.5.13) доказано.
Согласно (5.5.5)
Ц(1) = max \pU р + рр + qU р - ku)),
а согласно (5.5.13) максимум достигается при к^ = 0, поэтому п*(1) = U(i). По индукции в силу (5.5.4) получаем п*(п) = U(i\ п 0.
Таким образом, при всех п осторожный игрок отказывается как от неблагоприятной (р < 1/2), так и от справедливой (р = 1/2) игры.
Если игра является благоприятной (р > 1/2), то оптимальное управление предписывает игроку в тех или иных ситуациях делать положительную ставку. Рассмотрим при р > 1 /2 частный случай
Щг) = Inz^ = cdnz, где г > 0, а > 0 — константа.
В силу (5.5.5)
Ц(1) = max {pU(i + кц) + qU(i - к^У =
= a max {pln(x + кц) + gln(x — /дф} • (5.5.15)
Функция в фигурных скобках является строго выпуклой вверх (приложение 7), следовательно, для определения максимума ее производную по к^д следует приравнять к нулю:
Подставим в (5.5.15) значение к*Л ;
и* (1) = q {р In 2рг + q In 2qi^ = a {In г + р In 2р + q In 2q\ =
= minx + exp = a(lnx + Д), (5.5.16)
где p = pln2p + gin 2g. С учетом (5.5.16) уравнение (5.5.6) примет вид
и*(2) = max а {р[1п(х + к^) + Д] + g[ln(x — к^) + Д]} =
= a max {pln(x + к^ + gln(x — к^) + Д} =
согласно(5.5.15), (5.5.16)согласно(5.5.15), (5.5.16)= ар + a max {pln(x + к^) + gln(x — к^УУ =
согласно
(5.5.15), (5.5.16)
согласно
(5.5.15), (5.5.16)
=а^+а In г+аД=О!(1п г+2р), k*2=i(p™q)•
Воспользовавшись (5.5.4) и методом математической индукции получим при р > q, х > 0, п 0
Цп = Чр “ ч) и ^Х11) = «(1пх + пр).
В благоприятной игре с полезностью капитала Up) = minx оптимальное управление предписывает осторожному игроку ставить фиксированную долю от своего капитала, равную р — д.
Приложение 1Эквивалентность и разбиение
Рассмотрим множество S и множество упорядоченных пар элементов из S, т. е. S х S. Любое подмножество W множества S х S называется отношением на множестве S. Отношение Ж часто задается матрицей Ж = (щд) с элементами w^ = 1, если (г, у) е Ж, и Wij = 0 в противном случае.
Наглядным примером отношения является ориентированный граф со множеством вершин S и множеством С сообщающихся пар вершин (цу), т.е. пар вершин, связанных путями г j и j г (в этом случае пишут IW зУ Множество С является отношением, обладающим такими свойствами, как рефлексивность, симметричность и транзитивность.
Отношение Ж называется рефлексивным, если iWi, т.е. оно выполнено между элементом г е S и им самим. Диагональные элементы матрицы Ж рефлексивного отношения равны 1.
Для нашего примера рефлексивность отношения сообщаемо- сти С вершин следует из того, что если вершина г сообщается с вершиной j ф г, то тем самым она сообщается сама с собой.
Отношение Ж называется симметричным, если из соотношения IW j следует соотношение jWi. Симметричные относительно главной диагонали элементы матрицы Ж симметричного отношения равны между собой Wi3 = w3i.
Симметричность отношения сообщаемости следует из ее определения, т.е. из существования пути, связывающего как вершину г с вершиной j (I зУ так и вершину j с вершиной г С «)•
Отношение Ж называется транзитивным, если из соотношений iWj и jWk следует соотношение iWk.
Транзитивность отношения сообщаемости очевидна: если существуют пути г з и j г, а также j к и к з, то вторые являются продолжением первых: i—^j—^knk^j^i.
Вернемся ко множеству S. Систему непустых подмножеств {SX,S2,... ,Sr} множества S называют разбиением этого множества, если a) S = Si U S9 U ... U ST, б) Si П S3 = 0 при г 3. Сами множества S\, S9,..., ST называют классами разбиения.
Всякое отношение Ж на множестве S называется эквивалентностью, если оно рефлексивно, симметрично и транзитивно. Справедлива теорема.
Теорема. Отношению эквивалентности однозначно соответствует разбиение {S\, S9,..., ST^ множества S такое, что iWз тогда и только тогда, когда г и j принадлежат общему классу разбиения [39].
Доказательству теоремы предпошлем следующую лемму.
Лемма. Определим Vi G S множество Si = ^k : iWky Тогда для любых г и j либо Si = Sj, либо Si П S3 = 0.
Доказательство леммы. Пусть Si П Sj ^ 0. Покажем, что Si = Sj. Если k е Si П Sj, то iWk и jWk. Тогда по симметричности kWj, а по транзитивности из iWk и kW 3 следует, что IWj.
Возьмем произвольный элемент т Е Sj. По определению jWm, а по транзитивности из IWj и jWm следует IWm, т. е. т Е Si. Итак, Sj С Si. Аналогично доказывается, что Si С Sj, следовательно, Si = Sj.
Доказательство теоремы. Из леммы и рефлексивности отношения W следует, что множества Si образуют разбиение множества S. Пусть теперь выполнено соотношение iWj. Это значит, что j Е Si, но и г Е Si в силу iWi, следовательно, оба элемента г и j входят в Si.
Итак, если IWj, то г и 3 входят в общий класс разбиения. Наоборот, пусть h Е Si и гп Е Si, покажем, что hWm. Действительно, имеем IWH и IWm. Отсюда по симметричности hWi, по транзитивности из hWi и iWm следует KWm. Теорема доказана.
Приложение 2Эргодическая теорема
Пусть Р = (р^) — МВП ЦМ с N состояниями и существует такое тщ что minn^ = е > 0. Тогда [37, с. 129-131] существуют числа тгь..., kn такие, что щ > 0, 52^ = 1, и з
для любых г и j при п ос
/ 7Г1 ... 7VN \ т.е. Р^^П = .
\ 7Г1 .. . 7Ду /
Доказательство. Обозначим т^ = minpT\ М^ = = тахр-^. Очевидно,
М^ ^р^ ^т^.(П.2.1)
Поскольку р-™^ = ^РгкРь\ постольку Vn = 1,2,
(п+1).п+1.(п).(п)
т\ ’ = тт^/ = шт > PikPC > min > ттр) /р^ =
кк
= ттр\/ тт } ргк =ттР / =\
к
т.е. {т^} — неубывающая последовательность. Аналогично устанавливается, что Vn = 1,2,М^+1^M^\ т.е. {М^} —
невозрастающая последовательность.
В силу (П.2.1) имеем Vi сужающуюся последовательность вложенных отрезков, содержащих :
Покажем, что Vj длины отрезков> 0.
JJ п^сю
Для произвольного п имеем
(п^п0)(п0) (п)ГК) _ (пр (п) , Х^ И И
Рр ™~. pfc ^Pgk\Pkj с 2^P3k Ркз ™
~ / у \Pik сР3к ] Pkj + cPjj ' к
Но р^ ^ 1 и s = ттр^°\ следовательно, (п) (по) /• (по) \ (п) п
Р\к - ePjk = Р\к - уЗ^Кк ) Pjk > °-
и с учетом тх- ^ рк2 получаем
Pij m3 / . [Pik cPjk + CP33 • к
Заметим, что ^р-^Д = 52Р^ = Г следовательно, кк
(п+по) (п) /1\ . д2п)
p\j > my (1 - е) + epjj ’.
Взяв минимум по г от обеих частей, получаем
— г) + ер^р•(П.2.2)
Аналогично
М^п^ < МРО-г) Яерр\(П.2.3)
Умножим (П.2.2) на -1 и сложим с (П.2.3):
или для произвольного Г Т1 + TlQ
МР - тр < ^Мрп^ - трпро - е).(П.2.4)
Полагая далее г = п + кп^ и используя формулу (П.2.4) к раз, получим цепочку неравенств
^п^кп^ _ уп^кп^^п^кп^ _ уп^кп^^(и+(^—!)no) _ m("+(fe-l)no)^(и+(^—!)no) _ m("+(fe-l)no)уп+(.к-2)п0)уп+(.к-2)п0))(1-4)(1-4( I.M'"' -ral"'3l - if J 0( I.M'"' -ral"'3l - if J 0при кпри кОО.ОО.
^п^кп^ _ уп^кп^
^п^кп^ _ уп^кп^
^(и+(^—!)no) _ m("+(fe-l)no)
^(и+(^—!)no) _ m("+(fe-l)no)
уп+(.к-2)п0)
уп+(.к-2)п0)
)(1-4
)(1-4
( I.M'"' -ral"'3l - if J 0
( I.M'"' -ral"'3l - if J 0
при к
при к
ОО.
ОО.
Итак, мы нашли подпоследовательность Тпг} последовательности {п}, такую что разность М^п^ — m^j 0. Но разность 71 Нп) (п)Нп) (п) п
М3 — монотонна по п, значит, мз v0 при
п со. По принципу вложенных отрезков [4, с. 50] существует предел lim = lim = lim р^ = лд
Для всех n ng ргз тх3 Jследовательно,
> OVj. Наконец, = V lim = lim V = 1. Таким образом,
Pn ^П =Pn ^П =7Г1 ...7ГДГТТ] ...7ГТУ7Г1 ...7ГДГТТ] ...7ГТУ
Pn ^П =
Pn ^П =
7Г1 ...7ГДГ
ТТ] ...7ГТУ
7Г1 ...7ГДГ
ТТ] ...7ГТУ
Теорема доказана.
Приложение 3Суммируемость последовательности величинпо Чезаро
Пусть Х\,Х9,... ,хп,... — числовая последовательность X | 4” ТДX | 4” Х2 + • • • + хп
и = а;ь у2 = , ....Уп = -,... —
числовая последовательность средних арифметических. Если Уь У2^ Уп, •••а;, то х называют пределом последователъ-
кости х\,Х2,,хп,... по Чезаро.
Теорема Чезаро [10, с. 352]. Если
(П.3.1)(П.3.2)(П.3.1)(П.3.2)то ито иУъУ2--^Уп,--£•п—^ОСУъУ2--^Уп,--£•п—^ОСХ\,Х2, ... ,Хп, ... —> X,
(П.3.1)
(П.3.2)
(П.3.1)
(П.3.2)
то и
то и
УъУ2--^Уп,--£•
п—^ОС
УъУ2--^Уп,--£•
п—^ОС
Доказательство. Если имеет место (П.3.1), то для всех е > 0 найдется такой номер пд(в), что для всех п > пд(е)
(П.3.3)
Возьмем произвольное п > по(е) и рассмотрим разность
Обозначим первое слагаемое через Ае/п, а для второго слагаемого воспользуемся (П.3.3), тогда
Выберем произвольное 5 > s > 0 и по нему такое ni(^), что дляВыберем произвольное 5 > s > 0 и по нему такое ni(^), что длявсех n > ni (5)всех n > ni (5)+ fl - Е < б.п у nJ+ fl - Е < б.п у nJ(П.3.4)(П.3.4)Из этого неравенства находим А£)п — (по^/пУ < б — е, следовательно,>•(П.з.5)Из этого неравенства находим А£)п — (по^/пУ < б — е, следовательно,>•(П.з.5)Итак, если выбрать произвольное б > 0, по нему произвольИтак, если выбрать произвольное б > 0, по нему произвольное е (б > е > 0), по е выбрать по(е) такое, что |.т — хп\ < е для хо/гх Ае - п0(фвсех п > по+ь то найдется такое пцо) > , что дляное е (б > е > 0), по е выбрать по(е) такое, что |.т — хп\ < е для хо/гх Ае - п0(фвсех п > по+ь то найдется такое пцо) > , что длявсех п > п\(б) будем иметь доказать.всех п > п\(б) будем иметь доказать.< б, что и требовалось< б, что и требовалосьСледствие. Пусть последовательность ^i,...,M ^+ьтакова, что lim гы+t = zn где 1 t d, тогдаСледствие. Пусть последовательность ^i,...,M ^+ьтакова, что lim гы+t = zn где 1 t d, тогдаkd+tkd+tк^ос kd + 1к^ос kd + 1dУ- fc = 0,l,2...dУ- fc = 0,l,2...(П.3.6)(П.3.6)Заметим, что:
Выберем произвольное 5 > s > 0 и по нему такое ni(^), что для
Выберем произвольное 5 > s > 0 и по нему такое ni(^), что для
всех n > ni (5)
всех n > ni (5)
+ fl - Е < б.
п у nJ
+ fl - Е < б.
п у nJ
(П.3.4)
(П.3.4)
Из этого неравенства находим А£)п — (по^/пУ < б — е, следовательно,
>•(П.з.5)
Из этого неравенства находим А£)п — (по^/пУ < б — е, следовательно,
>•(П.з.5)
Итак, если выбрать произвольное б > 0, по нему произволь
Итак, если выбрать произвольное б > 0, по нему произволь
ное е (б > е > 0), по е выбрать по(е) такое, что |.т — хп\ < е для хо/гх Ае - п0(ф
всех п > по+ь то найдется такое пцо) > , что для
ное е (б > е > 0), по е выбрать по(е) такое, что |.т — хп\ < е для хо/гх Ае - п0(ф
всех п > по+ь то найдется такое пцо) > , что для
всех п > п\(б) будем иметь доказать.
всех п > п\(б) будем иметь доказать.
< б, что и требовалось
< б, что и требовалось
Следствие. Пусть последовательность ^i,...,M ^+ьтакова, что lim гы+t = zn где 1 t d, тогда
Следствие. Пусть последовательность ^i,...,M ^+ьтакова, что lim гы+t = zn где 1 t d, тогда
kd+t
kd+t
к^ос kd + 1
к^ос kd + 1
d
У- fc = 0,l,2...
d
У- fc = 0,l,2...
(П.3.6)
(П.3.6)
kd+t kdkd+tkdt
^^ гп = ^^ гп + ^^ 2,n = ^^ гп + ^^ £77+6
77=177=177 = |Ы+177=17 = 1
0 при к ос;
kd
t
^kdd-i
гыхг ^г, следовательно, > 0 при к ос;
к^осkd + t
+ ... + ^d __ ^d+1 + ... + ^2d d ’x-= d=
г) обозначим ,Т1 = —+Цк™1)ХХ + • • • + ^kd=dг) обозначим ,Т1 = —+Цк™1)ХХ + • • • + ^kd=dkd-^tkd-^t1 •77= 1lim —к—roc kd 4" t1 •77= 1lim —к—roc kd 4" tkdkdk^ockd{ \ +t/kd)k^ockd{ \ +t/kd)+ limk^cx)+ limk^cx)t^ zkd+7=1kd +1t^ zkd+7=1kd +1++++limk^cx)limk^cx)kdkd77=1~kd77=1~kd,... и перейдем к выводу формулы (П.3.6).
г) обозначим ,Т1 = —
+Цк™1)ХХ + • • • + ^kd
=d
г) обозначим ,Т1 = —
+Цк™1)ХХ + • • • + ^kd
=d
kd-^t
kd-^t
1 •77= 1
lim —
к—roc kd 4" t
1 •77= 1
lim —
к—roc kd 4" t
kd
kd
k^ockd{ \ +t/kd)
k^ockd{ \ +t/kd)
+ limk^cx)
+ limk^cx)
t
^ zkd+
7=1
kd +1
t
^ zkd+
7=1
kd +1
++
++
limk^cx)
limk^cx)
kd
kd
77=1
~kd
77=1
~kd
lim--— -к^оскlim--— -к^оск£1£1
lim--— -
к^оск
lim--— -
к^оск
£1
£1
V ^1 + :Г2 + ... + Хк
= lim
к^оск
по теореме Чезаропо теореме Чезаро\ v v г3(к-\н^ + ••• + гы) = lim тд = lim — =
по теореме Чезаро
по теореме Чезаро
/ к^оо к^ооС1
/ ПО \ _+ 22 + . .. + 2^
” \ условию / ”d
что и требовалось доказать.
Приложение 4Закон больших чисел
Рассмотрим регулярную ЦМ и величину и^\ равную доле времени, которую ЦМ проводит в у-ом состоянии за первые п шагов. Согласно [37, с. 133], [14, с. 98] для произвольного ВНВ и всех з v3где тгу — финальная вероятность j-ro состояния.
Ниже доказывается более простое утверждение: для произвольного ВНВ и всех з
Mvp тг7.(П.4.1)
Доказательство. Пусть бернуллиева СВ ^ принимает значение 1, если на fc-м шаге система оказывается в у-м состоянии, и 0 в противном случае. Очевидно
п
£
к=0
= Ж-
П + 1
При старте из г-го начального состояния Р(^3к — 1) — Ду \ следовательно, п и \ £ Д
МгД = к=0
п + 1
Для регулярной цепи независимо от начального состояния р^ тг3, следовательно, по теореме Чезаро (приложение 3)
тг7, что и требовалось доказать.
J п^х J
Приложение 5Лемма об обратной матрице
Пусть Q — (к х /с)-матрица такая, что Qn —> 0, где 0 — (к х /с)-матрица с нулевыми элементами.
Тогда, если I — (к х /с)-матрица с единицами на главной диагонали и нулями вне ее (единичная матрица), то матрица п
I — Q имеет обратную, причем (I — Q)~[ = ^ Qk-
k=Q
Доказательство. Очевидно,
(I-QHI + Q + Q2 + ... + Qn^ =/ + Q + Q2 + ... + Q^1 -
- (Q+ Q2 + ... + Qn) =I-Qn. (П.5.1)
По условию I — Qn I, причем определитель \I\ = 1, значит, при достаточно больших и \I — Qn\ ^ 0.
Определитель произведения матриц равен произведению определителей этих матриц, значит, в силу (П.5.1) 1I - Q| 1I + Q + Q2 + ... + Qn4 | 0, следовательно, 1I - Q| 0 и матрица (I — Q)-x существует. Это позволяет обе части (П.5.1) умножить на (J —Q)-1:
/ + Q + Q2 + ... + Q"-* ^I-QT^I-Q^,
п
доказана.доказана.и перейти к пределу при п ос: ^ Qk = (I — Q)-y • Лемма к=о
доказана.
доказана.
Приложение 6
Полное математическое ожидание
Следуя [28], напомним определение полного математического ожидания для функции д^, д) от дискретного случайного вектора (^д^ принимающего значения (i,j), i,j Е {0,1,...,Ж} с вероятностями Pij.
Пусть ptj = РгРз^У где Pi = РЦ = г}, 3 Pj(z) = РД = j\£ = = Д Тогда
Мд^/п) = ^д(м>гз = ^g(M>iPj(i) = ^pTy^g(iJ>3(i) =
Мг j
== ЦМ^,^ = z) = ^ррт^,
гг
где тп^ = М^д^дт^ = ?) — условное математическое ожидание случайной величины д(^,д) при условии, что СВ ^ приняла значение г.
Приложение 7Выпуклые функции
Функция f(xY определенная и непрерывная в промежутке X, называется выпуклой вниз (рис. П.7.1), если для любых точек xj и х2 из X выполняется неравенство
(П.7.1)(П.7.1)/ли + х2\ < ЯЩ+ДЩ
(П.7.1)
(П.7.1)
\ 2 /2
Функция /(х) называется выпуклой вверх(рис. П.7.2), если для любых точек xj и х2 из X выполняется неравенство
(П.7.2)(П.7.2)/Х1 + х2\Дхф + /(х2)
(П.7.2)
(П.7.2)
\ 2 /2
Если функция /(х) выпукла вверх, то функция — /(х) выпукла вниз и наоборот. Выпуклая вниз (вверх) функция характеризуется тем, что в любом промежутке (xj,x2) все точки ее графика лежат под (над) соответствующей хордой или на ней.
Функция /(х) строго выпукла, если в (П.7.1) и в (П.7.2) строгие неравенства.
Свойства выпуклых функций [34, Т.1, гл. IV, §2]
С.1. Произведение выпуклой функции на положительную константу есть выпуклая функция.
С.2. Сумма выпуклых функций выпукла.
С.З. Если /(х) — выпуклая функция в промежутке X и х ± ± у е X, то /(х =Ь у) выпукла по у.
С.4. Выпуклая вниз в замкнутом ограниченном промежутке функция достигает наибольшего значения в одной из граничных точек.
С.5. Если /1(х) и /2^) — выпуклые вниз функции в X, то max(/i (х),/2(х)) — выпуклая вниз функция в X.
С.6. Пусть функция /(х) определена и непрерывна вместе со своей производной /'(х) в X и имеет внутри X конечную вторую производную f"(x). Тогда для выпуклости вниз (строгой выпуклости вниз) /(х) в промежутке X необходимо и достаточно, чтобы внутри X
f4-^ 0 (№) > °)-
С.7. Пусть функция /(х) определена и непрерывна в X и имеет в нем конечную производную f(P). Тогда для выпуклости вниз (вверх) /(х) в промежутке X необходимо и достаточно, чтобы ее график всеми точками лежал над (под) любой своей касательной или на ней (рис. П.7.3).
Рис. П.7.3
С.8. Неравенство Йенсена.
Пусть функция /(х) непрерывна, выпукла вниз в X и имеет в нем конечную производную f(P). Рассмотрим СВ £ такую, что Р(^ е X) = 1 и существуют математические ожидания М^ и Mf^), тогда
МУС > /(МО-(П.7.3)
Если же /(х) — строго выпуклая вниз функция и Р(^ = М^) 7^ 1, т. е. £ не является константой, то в (П.7.3) имеет место строгое неравенство.
Действительно, в условиях С.7
УШ>УЦоЖ^-МУШ (П.7.4)
Полагая х = £, a xq = М^ перепишем это неравенство
УК) > У(мо + К - м№^
и возьмем математическое ожидание от обеих частей, получим МУК) > У(МЦ
Пусть f(x) — строго выпуклая вниз функция, тогда в (П.7.4) имеет место строгое неравенство, которое сохраняется и для математического ожидания, если СВ £ не является вырожденной.
Замечание. Если /(х) — выпуклая вверх функция, то неравенство Йенсена имеет вид
мт < twa(п.7.5)
Если /(х) — строго выпуклая вверх функция и Р^ = М^) ^ 1, то это неравенство становится строгим.
Неравенство (П.7.5) легко получить из (П.7.3), если вспомнить, что /(х) — выпукла вниз тогда и только тогда, когда — /(х) выпукла вверх.
Список литературы
Беллман Р. Динамическое программирование. — М.: ИЛ, 1960.
Беллман Р., Дрейфус. Прикладные задачи динамического программирования — М.: Наука, 1965.
Боровков Л.Л. Теория вероятностей. М.: Наука, 1986.
Бугров Я.С., Никольский С.М. Дифференциальное и интегральное исчисление. — М.: Наука, 1988.
Вагнер Г. Основы исследования операций. Т. 1, 2. — М.: Мир, 1972.
Вентцелъ Е.С. Исследование операций. — М.: Сов. радио, 1972.
Вентцелъ Е.С., Овчаров Л.А. Теория случайных процессов и ее инженерные приложения. — М.: Наука, 1991.
Гантмахер Ф.Р. Теория матриц. — М.: Гостехиздат, 1953.
Де Гроот М. Оптимальные статистические решения. М.: Мир, 1974.
Давыдов Э.Г. Исследование операций. — М.: Высшая школа, 1990.
И. Дынкин Е.Б., Юшкевич А. А. Теоремы и задачи о процессах Маркова. — М.: Наука, 1967.
Зубков А.М., Севастьянов Б. А., Чистяков В.П. Сборник задач по теории вероятностей. — М.: Наука, 1989.
Карлин С. Основы теории случайных процессов. — М.: Мир, 1971.
Кемени Д., Снелл Д. Конечные цепи Маркова. — М.: Наука, 1970.
Кемени Д., Снелл Д., Томсон Д. Введение в конечную математику. — М.: ИЛ, 1963.
Кофман А. Введение в прикладную комбинаторику. М.: Наука, 1975.
Коваленко И.Н., Филиппова А.А. Теория вероятностей и математическая статистика. — М.: Высшая школа, 1973.
Кордонский Х.Б. Приложения теории вероятностей в инженерном деле. — М.-Л.: Физматгиз, 1963.
МайнХ., Осаки С. Марковские процессы принятия решений. — М.: Наука, 1977.
Мешалкин ЛД. Сборник задач по теории вероятностей. — М: Изд-во МГУ, 1963.
Морозов В.В., Сухарев А.Г., Федоров В.В. Исследование операций в задачах и упражнениях. — М.: Высшая школа, 1986.
Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. М.: Наука, 1986.
Рейнгольд Э., Нивергельт Ю., Део Н. Комбинаторные алгоритмы. — М.: Мир, 1980.
Роббинс Г., Сигмунд Д., Чао И. Теория оптимальных правил остановки. М.: Наука, 1977.
Розанов Ю.А. Случайные процессы. — М.: Наука, 1979.
246246Список литературы
246
246
Романовский В.И. Дискретные цепи Маркова. М.: Гостехиздат, 1949.
Сарымсаков Т.А. Основы теории процессов Маркова. — М.: Гостехиздат, 1954.
Соколов Г.А., Чистякова Н.А. Курс теории вероятностей. — М.: Экзамен XXI, 2005.
Свами, Тхуласираман К. Графы, сети и алгоритмы. — М.: Мир, 1984.
Справочник по прикладной статистике. Т. 1, 2. — М.: Финансы и статистика, 1990.
Таха X. Введение в исследование операций. Т. 1, 2. — М.: Мир, 1985.
Теория выбора и принятия решений. — М.: Наука, 1982.
Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, 1964.
Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т. 1-3. СПб: Лань, 1997.
Ховард Р.А. Динамическое программирование и марковские процессы. — М.: Сов. радио, 1964.
Чжун-Кай-Лай. Однородные цепи Маркова. — М.: Мир, 1964.
Ширяев А.Н. Вероятность. — М.: Мир, 1989.
Ширяев А.Н. Статистический последовательный анализ. — М.: Наука, 1969.
Шрейдер Ю.А. Равенство, сходство, порядок. — М.: Наука, 1971.
Шилов Г.Е. Введение в теорию линейных пространств.М.: Гостехиздат, 1956.
Уиттл П. Вероятность. — М.: Наука, 1982.
Прабху Н. Методы теории массового обслуживания и управления запасами. — М.: Машиностроение, 1969.
Учебное издание
СОКОЛОВ Григорий АндреевичЧИСТЯКОВА Наталья Александровна
ТЕОРИЯ ВЕРОЯТНОСТЕЙ. УПРАВЛЯЕМЫЕ ЦЕПИМАРКОВА В ЭКОНОМИКЕ
Редактор Е.Н. ГлебоваОригинал-макет: ИТ. АндрееваОформление переплета: А.Ю. Алехина
ЛР №071930 от 06.07.99. Подписано в печать 14.06.05.
Формат 60x90/16. Бумага офсетная. Печать офсетная.
Усл. печ. л. 15,5. Уч.-изд. л. 15,5. Заказ №
Издательская фирма «Физико-математическая литература»МАИК «Наука/Интерпериодика»
117997, Москва, ул. Профсоюзная, 90
E-mail: fizmat@maik.ru, fmlsale@maik.ru;
http://www.fml.ru
Отпечатано с готовых диапозитивовв ОАО «Чебоксарская типография № 1»428019, г. Чебоксары, пр. И. Яковлева, 15
ISBN 5-9221-0624-4
*Г еСЛИ р ЕЕ %гх•
и положим а:(0 = < n dа-гп = 0 для всех г
м J 1 0 в противном случае,
и kin. Тогда
Щ1) = тахуДД*(0)(4.7.1)
г1 jESесть максимальная вероятность приведения системы из состоя-ния г во множество Sq за один шаг, где ^ Р^УН^) ™ формулаjes J J
полной вероятности. Аналогично
УДК 519.217
ББК 22.171
С 59
Соколов Г. А., Чистякова Н. А. Теория вероятностей. Управляемые цепи Маркова в экономике. — М.: ФИЗМАТЛИТ, 2005. - 248 с. - ISBN 5-9221-0624-4.
Настоящее учебное пособие является расширенным курсом лекций, который в течение ряда лет читался студентам экономикоматематического факультета РЭА им. Г. В. Плеханова. Книга состоит из двух частей. В первой рассматриваются теоретические основы простой однородной цепи Маркова с конечным числом состояний и дискретным временем, включая вопросы построения соответствующих моделей, анализа структуры цепи и ее предельного поведения. Вторая часть посвящена изучению экономических процессов, моделируемых цепями Маркова с доходами. Основное внимание уделяется построению оптимальных управлений в различных ситуациях: на коротких и продолжительных интервалах времени, с учетом и без учета переоценки будущих доходов, при разных целевых критериях (максимизации прибыли и предельного дохода) и т. д.
В качестве основных прикладных задач рассматриваются группы моделей управления байесовским риском, управления запасами при случайном спросе, рекламной компанией, игровыми процессами и т. д.
Для студентов, аспирантов, практиков и научных работников экономико-математических и общеэкономических специальностей.
© ФИЗМАТЛИТ, 2005
ISBN 5-9221-0624-4ISBN 5-9221-0624-4© Г. А. Соколов, Н.А. Чистякова, 2005
ISBN 5-9221-0624-4
ISBN 5-9221-0624-4