ГЛАВА I

ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИСЛУЧАЙНЫХ ПРОЦЕССОВ

В данной главе рассматриваются основные характеристики случайных последовательностей и случайных функций: конечномерные законы распределения и моментные характеристики. Во втором параграфе главы приводится краткое описание наиболее важных классов случайных процессов и обсуждаются их характерные особенности. Материал данной главы является базовым для более детального изучения случайных процессов в последующих главах.

Случайные процессыи их вероятностные характеристики

Определение случайного процесса. Случайный процесс является математической моделью для описания случайных явлений, развивающихся во времени. При этом предполагается, что состояние процесса в текущий момент времени t € R1 есть векторная или скалярная случайная величина £(£,а>). Пространство элементарных событий (исходов) Q предполагается измеримым, т. е. на нем определена сг-алгебра его подмножеств У. Кроме того, предполагается, что на измеримом пространстве {Q, Т7} задана вероятностная мера Р, т. е. для любого множества А Е У определена его вероятность Р{Л}. Тем самым, задано вероятностное пространство {Q,^7, Р}, и понятие случайного процесса определяется следующим образом.

Определение 1.1. Случайный процесс есть семейство (действительных или комплексных) случайных величин {^(t,cj), t Е Т}, определенных на {Q, У Р}, где множество параметров Г С R1.

Замечание. Обычно, когда это не приводит к неясности, зависимость Е^аР) от ш не указывается и случайный процесс обозначается просто £(t).

Определение 1.2. Пусть to Е Т — фиксированный момент. Случайная величина £t0(w) = £(£о, w) называется сечением случайного процесса в точке to Е Т.

Далее мы будем рассматривать два типа случайных процессов.

Определение 1.3. Если переменная t пробегает дискретное множество значений, например, t Е Z = {..., —2, — 1, 0,1, 2, ... }, то случайный процесс Д^) называется процессом с дискретным временем или случайной последователъностъю, а если t Е R1 или t Е [а,&], где 6 ос, то случайный процесс называется процессом с непрерывным временем или случайной функцией.

Определение 1.4. Процесс называется действительным или вегцественным, если случайные величины £(£,си) являются действительными для любого t Е Т, и комплексным, если случайные величины ^(t,co) являются комплексными для любого t Е Т.

Определение 1.5. При фиксированном с^о Е Q неслучайная функция ^(t) =€(^^0), t Е Т, называется траекторией, соответствующей элементарному исходу cjq Е Q. Траектории называются также реализациями или выборочными функциями случайного процесса.

Замечание. Случайный процесс можно трактовать как совокупность сечений (см. определение 1.2) или как совокупность («пучок») траекторий (см. определение 1.5). В различных задачах используются оба эти описания.

Определение 1.6. Случайная функция ^(t) называется регулярной, если ее траектории в каждой точке t Е Т непрерывны справа и имеют конечные пределы слева.

Рассмотрим некоторые примеры, поясняющие введенные выше определения.

Пример 1.1. Пусть случайный процесс Д^) определен следующим образом:

^ = tx, t е [о, 1],

где X ~ 7^[0,1] — случайная величина, равномерно распределенная на отрезке [0,1]. Описать множество сечений и траекторий случайного процесса £(t\

Решение. Случайный процесс Д^) является случайной функцией. При фиксированном to Е [0,1] сечение Cto^) = Д^(^) является случайной величиной, имеющей равномерное распределение на отрезке [ОДо]-

Траектории процесса ^(t), т. е. неслучайные функции ^Шо(ф) = = X(cuo)^, являются прямыми линиями, выходящими из точки (0,0) со случайным тангенсом угла наклона, равным X(cjq). Случайная функция ^(t) регулярна, так как все ее траектории непрерывны. ■

Пример 1.2. Пусть t Е [0, ос), а случайная функция ^(t) задана следующим образом:

^(t) = Un при te[n,n + l), п = 0,1,2,...,

где ^Un, п = 0,1, 2, ... } — последовательность конечных случайных величин. Описать траектории случайного процесса £(t\ Является ли этот процесс регулярным?

Решение. Траектории процесса ^(t), t^ О — кусочно постоянные функции, испытывающие разрывы в точках t = п = 0,1, 2, ... По определению эти функции непрерывны справа и имеют пределы слева, равные йш^Ш = ип_1(ш) для всякого ш Е Q. Поскольку P{|/7n_i| < ос} = 1 по условию, то этот случайный процесс является регулярным. ■

Конечномерные распределения случайного процесса.

Определение 1.7. Пусть {^(t), t Е Т} — действительный случайный процесс и задано некоторое произвольное множество моментов времени {Н, ... ,tn} С Т. Соответствующий набор случайных величин ^(й), ... ^(tn) имеет n-мерную функцию распределения

F^x^ h, ...,t^= Р{£Д) < жь .. ■ Ц(Ц) ж»} ,(1-1)

которая в дальнейшем будет называться п-мерной функцией распределения случайного процесса ф

Совокупность функций (1.1) для различных п = 1,2, ... и всех возможных моментов времени F Е Т называется семейством конечномерных распределений случайного процесса ф

Определение 1.8. Если функция F^ допускает представление

(яд, ..., хп 5 Н, ..., tn) —

— 11 ^^^^ ’ * * * ’ ^п 1 ^ ’ * * * ’ ^п) dux ... dun,

где р^(хх^ ..., тп; Н, ..., tn) — некоторая измеримая по Лебегу неотрицательная функция, такая, что

j ... j р^их, ... ,ип] lx, ..., tn) dur ... dun = 1,

то говорят, что функция распределения имеет плотность. Функция р^хх^ ..., жп; Н, ..., tn) называется п-мерной плотностью распределения процесса £.

Следующие примеры демонстрируют нахождение конечномерных функций распределения.

Пример 1.3. Пусть случайный процесс задан соотношением £(t) = ^№ te[0,1], где U — некоторая случайная величина с функцией распределения Fy^Fb а ^W > 0. Найти семейство конечномерных распределений процесса ф Имеет ли его n-мерная функция распределения плотность?

Решение. В соответствии с определением 1.7

^(^Л, • • • 7 Н? • • • Дп) Р{€(Д) С ^1,€(^п) С ^п} —

= PW= PW= PMtt) и < хг, г = 1, ..., n} = Р<^ и < г = 1, ..., п

= PW

= PW

min / > = Fu min =1, ...,n р^ч JV”1,

Если функция распределения Fy^x) имеет плотность РиАА то существует и плотность одномерного распределения случайного процесса Д^), поскольку для п = 1 из (1.2)

dz.dz.

dz.

dz.

следовательно, рДх; F = -ттрА

W)

Однако при п > 2 n-мерная функция распределения не имеет плотности. Действительно, в силу определения процесса ^(t) для любых Н, ... ^tn имеет место соотношение

№)/<рЧг) =... = цгп)/дц),

поэтому мера Ftl) (dxi, ...^хп) в пространстве Rn, соответствующая функции распределения (1.2), сосредоточена на прямой

s = {х Е Rn : Т1/<ДН) = ... = xn/p(tn)},

имеющей нулевую лебегову меру. Следовательно, мера Ftli ...^А сингулярна по отношению к мере Лебега, и поэтому n-мерная плотность не существует, если п ^ 2. ■

Пример 1.4. Пусть X и Y — независимые случайные величины с функциями распределения Fx(x) и MjA Пусть {Д^), t ^ 0} — случайный процесс, определенный соотношением Д^) = Xt + Y. Описать траектории данного процесса, найти семейство конечномерных функций распределения.

Решение. Выборочные функции этого процесса представляют собой прямые линии со случайным наклоном и случайным начальным условием при t = 0. Одномерная функция распределения случайного

процесса Ц<) при t > 0 имеет вид

Д(ж; t) = P{Xt + У < ж} = J P{Xt + У ^ х | У = у} dFY(у) =

^^dFY(y) =^^dFY(y) == J P^Xt + y<x^dFY(y)= J Р{Х<

^^dFY(y) =

^^dFY(y) =

Если же t = 0, то F^x^ t) = Fy(x). Для n-мерной функции распреде

ления, аналогично примеру 1.3, получаем

F^ (тх , ..., хп; Н,F^ (тх , ..., хп; Н,.. Дп) =.. Дп) =Fx ( min (,J \\ tiFx ( min (,J \\ tiДД))^у(у)ДД))^у(у)

F^ (тх , ..., хп; Н,

F^ (тх , ..., хп; Н,

.. Дп) =

.. Дп) =

Fx ( min (,

J \\ ti

Fx ( min (,

J \\ ti

ДД))^у(у)

ДД))^у(у)

при Н > 0, ... Дп > 0. ■

Пример 1.5. Пусть X, Y — независимые случайные величины, имеющие гауссовское распределение ЛГ(0;1/2). Случайный процесс определен соотношением ^(t) = (X + У)Д, t > 0. Вычислить Р{|Д^)| ^ З/Д для произвольного t > 0.

Решение. По определению F^x; t) есть функция распределения случайной величины ^(t). В силу того что X, Y — гауссовские и независимые, Д^) = (X -VY)/t также имеет гауссовское распределение, причем

м№)1 = мот + мт = tk D)€(t)) = D^)^^) = 1

Тем самым Д^) ~ АДО; 1/t2), поэтому Де (ж; t) = Ф^х1\ где

Ф(г) = —f е и2/2 du.

Функция Ф^ называется интегралом вероятностей или функцией Лапласа. Итак,

р{|^№1 < 3М = ^(3Л; ^ - Fd~3!^ ^ = ф^ - ф<-^ ~ °,"7- ■

Все рассмотренные процессы относятся к случайным функциям. Приведем примеры нахождения законов распределения случайных последовательностей.

Пример 1.6. Пусть случайная последовательность {^(п), п = = 1,2, ... } такова, что ее сечения независимы в совокупности и имеют одинаковую функцию распределения F(x). Найти семейство конечномерных распределений последовательности ф

Решение. По определению 1.7 с учетом независимости случайных величин £(п) имеем

Г5(жь ... ,жк; пь ... ,пк) = Р{Цпх). ,^пк) < аД =

= П р{£(п;) < ж3 = П г=1г=1

Заметим, что все конечномерные распределения в данном случае выражаются через одномерное распределение F(x\ ■

Пример 1.7. Пусть случайная последовательность {^(п), п = = 0,1, 2, ... } определена рекуррентным соотношением

^(n) = а ^(п — 1) + £п^ п = 1,2, ...,£(0) = 0,

где {еп} — последовательность независимых в совокупности гауссовских случайных величин с параметрами М{еп} = 0, D{en} = а2 > 0. Найти одномерную функцию распределения случайной последовательности ф

Решение. Из определения случайной величины ^(п) находим

^(n) = Е1 oF + . . . + Еп-1 а + Еп = Е^ ап к.

В силу гауссовости и независимости случайных величин {е^} случайная величина ^(п) — гауссовская с параметрами m^n) = 0 и

2n I

од„одп№)! = ЕпИ,,«--‘> =

fe=1а^п^если о? = 1.

Поэтому одномерная функция распределения имеет вид

11F^x\ п) = Р{£(п) < х} =

1

1

Теорема Колмогорова. Семейство конечномерных распределений является основной характеристикой случайного процесса, полностью определяющей его свойства. Мы будем говорить, что случайный процесс задан, если задано семейство его конечномерных распределений (1.1).

Функции распределения процесса £ (Д обладают следующими свойствами.

0 < ЕДяд, ..., яд; Н, ..., tn) ^ 1 (условие нормировки).

Функции ЕДяд, ... , яд; Н, ...Дп) непрерывны справа по переменным Xi.

Если хотя бы одна из переменных Xi -А —ос, то

F^(яд, ..., хп, t^, ..., tn^ У О,

если все переменные Xi -А +ос, то

F^ (яд, ..., хп; Н, ..., tn) у 1.

Функции РДяд, ...,яд; Н, . ..Дп) монотонны в следующем смысле:

△1... AnF^(яд, ..., хп, t^, ..., tn^ О, где А^ — оператор конечной разности по переменной Xi

^iF — -Е (яд, • • •, Xi—i, Xi “hя^%—pi, ..., яд, H, • • •, An)

F(яд, ..., Xi—i, xi, я^^_|_i, ..., xn, П, ..., tF),

a hy ^ 0, ... hn ^ 0 произвольны.

Для любой перестановки {/д, ..., Ад} индексов {1, ..., п}

F^ (яд, ..., хп F. ... ^tF) — F^ (ядт, ..., хкп, tkl^ ..., tkin).

Для любых 1 ^ А; < п и яд, ..., яд G R1

Е^(яд, ... .x^F, ...,tk) = F^x^ ... ,яд,+оо, ... ,+oc; H, ... Дп).

Определение 1.9. Свойства 5 и 6 называются условиями согласованности семейства конечномерных распределений.

Пример 1.8. Доказать справедливость свойств 1-6 для произвольного семейства конечномерных распределений.

Решение. Все свойства 1-6 непосредственно вытекают из соответствующих свойств вероятности. Действительно, свойство 1 есть условие нормировки для вероятности. Свойства 2 и 3 немедленно следуют из свойства непрерывности вероятности. Свойство 4 есть условие неотрицательности вероятности, поскольку

Ах... &nF£(яд, ..., хп; Н, ... Дп) — РJ J {^г ^ €(^г) < ^ + /гД |0.

г=1

2 Б.М. Миллер и А.Р. Панков

Наконец, свойства 5 и 6 являются свойствами совместной функции распределения случайных величин {£(П), ... ^(tn)Y Полное доказательство предлагается выполнить самостоятельно (см. задачу 1). ■

Предположим, что для любого n ^ 1 и любого набора моментов времени {Н, ..., tn} С Т заданы функции F(xi, ..., xn; Н, ..., tn\ яд, ...^„бК1, удовлетворяющие условиям 1-6. Является ли это семейство функций семейством конечномерных распределений некоторого случайного процесса? Чтобы положительно ответить на этот вопрос, необходимо построить пространство элементарных исходов Q, задать некоторую сг-алгебру В его подмножеств и вероятность Р и, наконец, построить семейство функций £(£, си), определенных на Т х Q так, чтобы семейство конечномерных распределений процесса £(£, си) совпало с семейством функций F. Оказывается, что данная процедура осуществима всегда. Этот основополагающий результат теории случайных процессов известен как теорема Колмогорова.

Теорема 1.1 (Колмогоров). Пусть задано некоторое семейство конечномерных функций распределения

F = {В(яд, ..., xn; Н, ..., Xi Е В1, Т Е Т, г = 1, ..., n, n > 1},

удовлетворяющих условиям 1-6. Тогда существуют вероятностное пространство {Q,B, Р} и случайный процесс {Д^), t Е Т}, такие^ что семейство конечномерных распределений F^ случайного процесса Д^) совпадает с F.

Замечание. Теорема Колмогорова вместе с установленными выше свойствами семейства конечномерных распределений показывает, что условия 1-6 являются необходимыми и достаточными для существования случайного процесса с заданными конечномерными распределениями F^.

Таким образом, всегда найдется случайный процесс с заданным семейством конечномерных распределений. Оказывается, что в общем случае такой процесс не будет единственным. Другими словами, семейство конечномерных распределений задает целый класс случайных процессов, которые в некотором смысле являются эквивалентными. Рассмотрим более подробно различные подходы к определению этого понятия.

Пусть {X(t), t Е Т} и {K(t), t Е Т} — два случайных процесса, определенные на одном и том же вероятностном пространстве {Q,B, Р} и принимающие значения в одном и том же измеримом пространстве, например {R1,B(R1)}, где B(RX) — сг-алгебра борелевских подмножеств R1.

Определение 1.10. Процессы {X(t), t Е Т} и {K(t), t Е Т} называются стохастически эквивалентными в широком смысле, если для любых {Н, ..., tn} С Т, {Bi, ..., Bn} С В^1), п = 1, 2, ... выпол-

няется равенство

Р Wi) е вх,...,Х(Ц) € в„} = РЦДх) е вх,...,у(ц) е в„}.

(1-3)

Замечание. Условие эквивалентности в широком смысле означает, что семейства конечномерных распределений процессов X и У совпадают.

Определение 1.11. Если для любого t Е Т

Р W) = У^Л = 1,(1.4)

то процессы называются стохастически эквивалентными или просто эквивалентными.

Введенные понятия эквивалентности связаны между собой, так как справедливо следующее утверждение.

Теорема 1.2. Эквивалентные процессы всегда эквивалентны в широком смысле.

Определение 1.12. Если процесс Xф) является эквивалентным процессу У (t), то X (t) называется версией или модификацией процесса У ф\

Эквивалентность процессов в общем случае не означает их тождественности. Следующий пример показывает, что два эквивалентных процесса могут иметь совершенно различные траектории.

Пример 1.9. Пусть Q = [0,1], Т — сг-алгебра борелевских подмножеств отрезка [0,1], Р — мера Лебега и Т = [0,1]. На вероятностном пространстве {Q,^7, Р} определим случайные процессы фХф), t ЕТ} и {У(^), t Е Т} следующим образом:

( 0, t ф со,

Хф,со) = 0, Уф, со) = <при ф,со) ЕТ х Q.

I 1, t = со

Показать, что процессы являются эквивалентными, однако их траектории отличаются (Р-п.н.).

Решение. Для некоторого фиксированного t Е Т

{w: Хф,со) / Уф,со)^ = {со: со = t} = {Д.

Поскольку мера Лебега одноточечного множества равна нулю, то

Р{Х(Д = У(Д} = 1 для любого t Е Т,

т. е. процессы Хф) и Уф) эквивалентны. Тем не менее у процессов Хф) и У(Д нет ни одной пары совпадающих траекторий. Действительно, для всякого со Е Q в точке t* = со по условию Хф*,со) ф ^ Уф* ,ио), поэтому

P{w: Хф,со) = Уф,со) Vt Е Т} = 0. ■

Следующее определение описывает наиболее сильный тип эквивалентности.

Определение 1.13. Процессы \Х^\ t 6 Т} и {F(t), t Е Т} называются неотличимыми, если

P{X(t) = Y^ \/tET} = 1.P{X(t) = Y^ \/tET} = 1.(1-5)(1-5)

P{X(t) = Y^ \/tET} = 1.

P{X(t) = Y^ \/tET} = 1.

(1-5)

(1-5)

Условие (1.5) часто записывают также в следующем виде:

P{sup|X(t) -K(t)| > 0} =0.teT

При некоторых условиях, однако, определения 1.11 и 1.13 эквивалентны. Это справедливо, например, если X(t) nY(t) — случайные последовательности (т. е. множество Т счетно).

Пример 1.10. Доказать, что эквивалентные случайные последовательности неотличимы.

Решение. Пусть X(t\ Y(t) — эквивалентные процессы с дискретным временем t Е Т = Z, тогда

P{X(t) / Y(f) хотя бы для одного t Е Т} =

= р{ и W) * YM ^ Е рW) / Y^ = о, чет teT

что влечет выполнение условия (1.5). ■

Таким образом, стохастически эквивалентные случайные последовательности неотличимы. Для случайных функций, к сожалению, это утверждение в общем случае несправедливо без некоторых дополнительных ограничений. Тем не менее справедливо следующее практически важное утверждение.

Теорема 1.3. Если две стохастически эквивалентные случайные функции являются регулярными (см. определение 1.6), то они неотличимы.

Замечание. Из приведенных выше рассуждений следует, что задание совокупности конечномерных распределений в общем случае не позволяет заранее обеспечить выполнение некоторых требований относительно поведения траекторий случайных функций (например, непрерывность, монотонность, дифференцируемость и т. д.). Однако если случайная функция регулярна или задана конструктивно некоторым соотношением, то мы можем определить вероятности достаточно сложных событий, связанных с поведением ее траекторий.

Пример 1.11. Предположим, что случайная функция задана соотношением Д^) = X2 + 2tY + У. t ^ 0, где X, Y — независимые случайные величины, имеющие гауссовское распределение АДО;!). Найти вероятности следующих событий:

Ai = {Д^) монотонно не убывает};

А2 = {Д^) неотрицательна};

А3 = {Д^) = 0 хотя бы для одного t Е D}, где D С [0, сю) — некоторое конечное или счетное подмножество;

А4 = {Д^) = 0 хотя бы для одного t Е [0, сю)}.

Решение. 1) Поскольку траектории ^(t) дифференцируемы по t, то условие их монотонности есть £,r(t) = 2Y + 2t ^ 0, t ^ 0. Для выполнения этого условия необходимо и достаточно, чтобы Y была неотрицательной. Таким образом, Р{АД = Р{У ^ 0} = 1/2.

Условие неотрицательности траекторий Д^) выполняется, если либо У > 0, либо У 0, но |У||Х|. Таким образом, в силу незави

симости X, У и симметрии их законов распределения получаем

Р{А2} = Р{У > 0} + Р{У < 0, |УI < |Х|} = 1/2 + 1/4 = 3/4.

Р{А3} = р{ |J {£(£) = 0}} < У/ Р{Д£) = 0}. Для любого фик- tedten

сированного t справедливо

{Д^) = 0} = {X2 + 2t Y +t2 = 0} = {(X, У) Е В^

где множество В = {(ж, у) Е R2 : ж2 + 2ty + t2 = 0} представляет собой параболу и поэтому имеет нулевую меру Лебега в R2. Теперь, учитывая, что совместное распределение случайных величин X, У имеет плотность р(х, у)) получаем

Р{Цг) = 0} = Р{(Х,У) е В} = ^x,y)dxdy = 0.

В

Далее, поскольку множество D не более чем счетно, Р{А3} = 0.

Событие А4 состоит в том, что функция Д^) имеет на [0, сю) по крайней мере один корень, что выполняется, если одновременно У ^ 0 и |У| > |Х|. Поэтому Р{А4} = Р{У < 0, |У| > |Х|} = 1/4. ■

4. Моментные характеристики случайного процесса. Моментные характеристики случайного процесса задают его простейшие свойства и вычисляются с помощью конечномерных распределений различных порядков. Пусть Д^) — скалярный (вещественный) процесс.

Определение 1.14. Неслучайная функция m^t^ t ЕТ, определяемая соотношением

m^t) = М{Д£)} = f xdF^x-, £),

называется математическим ожиданием процесса £ (£) или его средним значением. Если m^t) = 0 при всех t Е Т, то процесс называется центрированным.

Определение 1.15. Неслучайная функция D^tY t Е Т, определяемая соотношением

D^ = DR(t)} = М{(Ц4) - т^ц =

= М{£(£)2} — m^t) = | ж2 dF^F t) — m^YY

называется дисперсией (или дисперсионной функцией) процесса £(£).

Замечание. При каждом tET математическое ожидание и дисперсия m^YY D^t) процесса £(£) суть математическое ожидание и дисперсия его сечения в точке t Е Т.

Определение 1.16. Неслучайная функция ДД£,т), t^rET, определяемая соотношением

ЯД,т) = соу{Ц<),Цт)} =

= M{KW - m^)W) - mFW = МКЖЙ)} - т^т^ =

Х1Х2 dF^xx^^ t, т) — т£<ф)т^(т),

называется ковариационной функцией процесса £(£).

Замечания. 1) При любых t^rET функция R^t^F) численно равна ковариации сечений случайного процесса £t(w) и ^Т(и;) в точках t^r ЕТ и характеризует степень линейной зависимости между сечениями. Для вычисления R^t^F) необходимо знать двумерное распределение F^x^x^ t^r) процесса £(£). Заметим также, что

D^ Y) — R^tF)i t T.

Из неравенства Коши-Буняковского следует, что для существования m^t)-, D^t) и R^t^x) при всех t^r ЕТ достаточно выполнения условия

М{Щ#)|2} < оо Vt£T.М{Щ#)|2} < оо Vt£T.(1-6)(1-6)

М{Щ#)|2} < оо Vt£T.

М{Щ#)|2} < оо Vt£T.

(1-6)

(1-6)

т^УУ = j хр^х; t) dx^т^УУ = j хр^х; t) dx^2) Если распределения F^x^ t) и F^yc^x^ t^r) имеют плотности распределения р^х^ t) и р^ху^х^ 1^тУ то

т^УУ = j хр^х; t) dx^

т^УУ = j хр^х; t) dx^

D^yy = j x2 p^x^ t) dx — m^ty

R^t^T^ = j j xyx^p^x^x^ dx^dx^ — т^УУт^тУ

Определение 1.17. Случайный процесс {^(^), ^ G T}, удовлетворяющий условию (1.6), называется процессом с конечными моментами второго порядка или гильбертовым случайным процессом.

Определение 1.18. Пусть ^(^) = X(t) + iY(t) — комплексный процесс, где ХУУ Yyy t Е Т — некоторые действительные случайные процессы, а г2 = — 1. Если

M{mt)|2} = м{е(<)Ж} = м{х2(г) + y2(t)} < ос w е т, то процесс ^(^) называется комплексным гильбертовым процессом.

Функция

Ri^O = м|(Ц#) -т^^т) - тое(Й)} > t,T GT,

где { • } означает комплексное сопряжение, называется ковариационной функцией комплексного случайного процесса £(£).

Пример 1.12. Пусть ^(^) = ХрУУ t Е Т, где X — действительная случайная величина со средним тх и дисперсией Dx. a p(t) — неслучайная функция на Т. Найти т^УУ В^УУ и К^уь^тУ

Решение. В соответствии с определениями 1.14-1.16 имеем

т^УУ = М{Ху>(£)} = М{Х} рУУ = тхрУУ

R^t^ т) = cov^Xpy), ХрУт^ = cov{X, X} рУ^рУг^ = DхрУ^рУгУ

О^(Ь = R$(t,t) = Dxv>2(ty ■

Следующий пример является обобщением предыдущего.

Пример 1.13. Пусть $,У) = ^ XiPi(ty t ЕТ, где Х^ — действиях

тельные некоррелированные случайные величины с известными параметрами Утх.^ Dх^ а {у?ф^)} — заданные на Т детерминированные функции. Найти m^ty D^t) и R^t^Ty

Решение. В соответствии с определениями 1.14-1.16 имеем

m^t) = м{^2 Х^Д)} = у м{^} ^iW = 52 тх^Л1г=1г = 1г=1

R<(t,T) = соу^Х^Л!^ Хз^Т^ = г=1j = l

= 52 52 еоту(^ММт1

Так как Xi, ... , Xn — некоррелированные случайные величины, т. е. cov{X^, Xj} = 0 при г Д то

R^x) = ’^Dx^i^pYTY D^t") = R^f) = ^Бх^Х)- ■г = 1г=1

Пример 1.14. Найти необходимое и достаточное условие, при котором существует процесс {Д^)Д 6 Т} с характеристиками

М{Цг)} = m((tY cov{£(t),£(r)} = R^tY (1-7)

где m^t\ R^t^ — заданные вещественные функции.

Решение. Найдем сначала необходимое условие. Пусть Д^) — процесс с характеристиками (1.7). Тогда для любых наборов {Н, • • •, X} С Т и {^1, ..., гп} С С справедливо соотношение

п{52£(мД = 52 52соу{ц^),ц^)}^ > о,

г=1г=1j=l

т. е. функция R^t^x) удовлетворяет условию неотрицательной определенности:

52 52н^г^^з 0 Wb • • • >M ст, v{гъ ...дп}сС.

г=1з=1

(1-8)

Докажем теперь, что условие (1.8) является в то же время и достаточным для существования случайного процесса с моментными характеристиками (1.7). Действительно, условие (1.8) означает, что матрица К = ^R^ti^3)^,3=!, ,.^п является неотрицательно-определенной, поэтому существует функция F^(xi^ ... ^хп; ti^ ... Дп) п-мерного гауссовского распределения АДт; X), где т = ^m^t^i^^ ...iTl (см. п. 14.6).

Как нетрудно проверить, построенная система конечномерных распределений удовлетворяет условиям 1-6 из п. 1.3. Поэтому в силу теоремы Колмогорова существует случайный процесс {Д^), t Е Т}, имеющий указанное семейство гауссовских распределений и, в частности, обладающий характеристиками (1.7). ■

Замечание. Процесс, рассмотренный в примере 1.14, называется гауссовским случайным процессом. Свойства таких процессов более детально рассматриваются в следующем параграфе.

Определение 1.19. Пусть заданы два комплексных процесса Д^), ц(£), t Е Т. Детерминированная функция

R^Et) = соу-ЩЦЦт)} =

=- т^УМП - тч(т))|, t,T £Т,

называется взаимной ковариационной функцией случайных процессов

Замечание. Функция Д^(#,т) существует, если Ц#) и T)(t) — гильбертовы процессы.

Определение 1.20. Пусть Д^) = {Д (£), • • •, Д(^)}* Е Rn — векторный случайный процесс. Детерминированная п-мерная вектор- функция m^t) Е Rn Д Е Т, определяемая соотношением

называется математическим ожиданием векторного случайного процесса Д^).

Детерминированная матричная функция

R^M) = соу{Ц#),Цт)} = м{(£(#) -т^ХЦт) -т^т))*} =

= м Д )ён}-те(4)Щн, чет,

называется ковариационной функцией векторного случайного процесса ДД

Замечание. Для существования m^t) и R^t, т) при всех t^r Е Т достаточно выполнения условия

M{mt)|2} = M{m(t)|2 +... + X„(t)|2} < <х> vt€T. (1.9)

Пример 1.15. Пусть ДД = G^U, t Е Т, где U Е Rm — некоторый случайный вектор с параметрами М{[7} = my, cov{[7, U^ = Ry, a G^ — детерминированная матричная функция размера п х т. Найти m^ty R^t^y

Решение. В соответствии с определением 1.20

= М{Ц#)} = G(t) ту,

R^t,T^ = cov{G(t)P,G(r)P} = G(t) cov{P,P} G*(t) = G^Ry G*Qry

а ковариационная матрица D^t^ сечения ^t\ t ET^ имеет вид

D^ = R^t) = G^RuG^t). ■

Определение 1.21. Пусть {Д^), t E T} — действительный случайный процесс. Детерминированная вещественная функция шДД, ..., Д) , Д, ..., Д Е Т, определяемая соотношением

тДь ...,tk) = М{Цй).. ЦД)} =

= | жх.. .хк dF^($i, .,хк; ti, ..., tky

называется смешанным моментом порядка к случайного процесса

Определение 1.22. Пусть {Д^), t Е Т} — действительный случайный процесс. Детерминированная комплексная функция ФД^1, ..., ^; Д, ‘-‘А) вещественных переменных гед ... ^^^ определяемая для произвольного набора Д, ..., Д Е Т соотношением

• ,zk- ti, ... ,tk) = М-[ехр(г у Ц'£(Д} =

= ехрм У^ ZjXj ) dF^xy, ... ^х^ Д, ..., Д), называется характеристической функцией к-мерного распределения процесса Д^).

Замечание. Из курса теории вероятностей известно, что характеристическая функция к-ro порядка позволяет восстановить соответствующую Дмерную функцию распределения, поэтому эти характеристики при описании вероятностной структуры случайного процесса являются взаимозаменяемыми (см. п. 14.6).

Пример 1.16. В условиях примера 1.12 найти характеристическую функцию процесса Д^), если дополнительно известно, что X — гауссовская случайная величина.

к

Решение. Пусть ц = У^ гД (Д), тогда в силу Д Д) = Xip (tj) полу- кj = l

чаем г] = X У^ Zjip^t^ поэтому ц — гауссовская случайная величина

со средним и дисперсией:

\ 2

т^т-хТлМ^гЬ Dn = °х (^^((Ш .(1.10)

1=11=1

Отсюда получаем выражение для характеристической функции:

. ,tk) = М{ег,?} = exp ^гт^ - j^} ,

где m^ Вл определены в (1.10) и учтено, что для гауссовской случайной величины у при любом А € R1 справедливо (см. п. 14.6)

М{егА”} = ехр-Дт,, - у-СД ■

Замечание. Выше был введен в рассмотрение белый шум с дискретным временем, т. е. последовательность центрированных независимых и, следовательно, некоррелированных случайных величин. Для случая непрерывного времени по аналогии вводится понятие белого шума как процесса £ (Д с моментными характеристиками

m^t^ = 0, R^t^ s) = cr^S^t — s),

где 5(т) — дельта-функция Дирака (см. п. 13.5). Очевидно, что R^fas) = 0, если t Д s^ т. е. сечения этого процесса, даже при очень близких t и s, некоррелированы. Однако ДД не является гильбертовым случайным процессом, так как B^t^ = R^t^t) = сю при всех t Е Т. Таким образом, белый шум с непрерывным временем физически нереализуем, однако он является удобной математической моделью для описания динамических систем, функционирующих в присутствии постоянно действующих случайных возмущений (см. гл. III).

Задачи для самостоятельного решения.

Доказать свойства 1-6 конечномерных распределений (1.1).

Доказать свойства 1-6 для семейства конечномерных распределений, найденных в примерах 1.3, 1.4.

В условиях примера 1.4 построить пучок траекторий процесса ДД, если X и Y распределены равномерно на отрезках [—1,0] и [0,1] соответственно.

Доказать, что для существования m^t), D^t), R^far) при всех t^T ЕТ достаточно, чтобы выполнялось условие М{|Д^)|2} < ос Vt Е Т.

Указание. Воспользоваться неравенством Коши-Буняковского.

Доказать, что D^tf) = R^tt, t).

Пусть в примере 1.4 X и У имеют плотности распределения рх(т) и ру(г/). Найти двумерную плотность распределения процесса ДД. Показать, что распределения порядка к ^ 3 плотности не имеют.

Указание. Воспользоваться формулой преобразования плотности при невырожденном преобразовании случайных величин. Показать, что мера совместного распределения {ДН), Д^), ..., Д^)}, к ^ 3, сосредоточена на некотором линейном подпространстве размерности 2.

/х1/Ж2 - Ж1 \/ Ж2 - Ж1 \

Ответ. pAxi.x2; = pv \ XiРхЛ для

€t2 -ti ) t2 -tl )

моментов t2 > tx.

Пусть в примере 1.13 случайные величины Xi являются независимыми и гауссовскими с распределением АДО; 1). Найти F^x^ t).

Указание. Определить математическое ожидание и дисперсию процесса ДД.

Пусть Д^) = Xt2 + Yt, t > 0 — случайный процесс, где X, Y — независимые случайные величины с гауссовским распределением Af(O; 1). Найти вероятность того, что траектория монотонно не убывает.

Ответ. Р{Д/;)—неубывающая функция} = Р{Х ^ О, У ^ 0} = 1/4.

В условиях предыдущей задачи найти вероятность случайного события А = {min Д/;) < 0}.

Ответ. Р{Л} = Р{Х > 0, У < 0} +Р{Х < 0, У > 0} = 1/2.

Случайный процесс задан соотношением ДД = X + at, t > 0, где X — случайная величина с непрерывной функцией распределения, а а > 1 — детерминированная постоянная. Пусть D С [0, ос) — некоторое конечное или счетное подмножество. Найти вероятности событий:

Р{ДД = 0 хотя бы для одного t Е Dy

Р{ДД = 0 хотя бы для одного t Е [0,1]}.

Ответ. 1) 0; 2) Р{—а ^ X ^ 0}.

Найти ковариационную функцию процесса ДД = X cos(t + У), где X, Y независимы, X имеет распределение Af(O;l), а У имеет равномерное распределение на [—тг,тг].

Ответ. R^y, т) = cos(t — т).

Найти математическое ожидание и ковариационную функцию комплексного случайного процесса ДД = Ue%vt, где U, V — независимые случайные величины, М{П} = 0, D^U^ = В, а случайная величина V распределена по закону Коши с плотностью вероятности pv(x) =Q——,

7г(о2 + Ж2) где а > 0.

Указание. Воспользоваться табличным интегралом Г Д8^ж дх _ J а2 + ж2

Ответ. тД£) = 0, R^t,T^ = De а^ TL

Основные классы случайных процессов

Гауссовские случайные процессы.

Определение 2.1. Действительный случайный процесс {Д^), t Е Г} называется гауссовским, если его характеристическая функция имеет вид

Ф^Йь ...,zk; tb . ,.,tk) = м{ехр(г у 2Д(^Д =

= ехр(г у Zjme(tj) - | У У(2.1)

j=ii=ij=i

где z-v, ... ^k — произвольные вещественные числа, fi, ..., Д Е Т, а mY^ = MWjY RYrY = covVUtiYUtj^ • Характеристическую функцию можно представить в виде

ФДг; И, ..., Д) = ехр^гДт^ — ^2*R^2^ ,(2-2)

где г = {гъ ... ,%kY^ m£ = Y71^1^ * * -^Y^YY и ^ = YR^YbtjW

Как уже говорилось ранее, характеристическая функция полностью определяет распределение совокупности случайных величин, и тем самым задано и полное семейство конечномерных распределений.

Замечания. 1) Из курса теории вероятностей известно, что гауссовский случайный вектор ц = {щ, ...,-щ}* с математическим ожиданием т^ и ковариационной матрицей R^ имеет плотность распределения Рл(ж) тогда и только тогда, когда матрица Кл — невырожденная, т. е. det,^] > 0. В этом случае

р^ = ^^Дя,,])1/2 е-р{ -1 - т№ - ™Д •

Таким образом, если матрица R^ = Y^Y^^YY^E ---^к положительно определена, то совместное распределение сечений {ДД), • • • Д(^)} имеет плотность вероятности

Р^ tk) = (^^фурц ехр{-|(Ж - теун^и - m^)} ,

где т^ = {m^ti), ... ,m^tk)}*, Щ = {R^ti^j)}, х = ^xi, ..., хку. Связь между характеристической функцией и плотностью распределения к-го порядка имеет вид

р^х; ti, ...,tk^ = ^Ук J е-1Ж ^(z; ti, ...,tk) dz.

Если же det[^] = 0, то это означает, что сечения {£(Н), . ..Д(Д)} линейно зависимы, а их совместное распределение Р^(жД1, . ..,Д) плотности не имеет.

Нетрудно проверить, что семейство конечномерных гауссовских распределений, соответствующее семейству характеристических функций (2.2), удовлетворяет условиям 1-6 теоремы Колмогорова (см. п. 1.3). Таким образом, произвольный набор {ДН)5 • • • Д(^)} сечений гауссовского случайного процесса является случайным вектором с гауссовским распределением. Подчеркнем также, что все эти распределения согласованы (в смысле определения 1.9).

Из определения гауссовского процесса следует, что семейство его конечномерных распределений полностью определяется двумя моментными характеристиками: математическим ожиданием и ковариационной функцией.

Пример 2.1. Пусть Xi, ..., Хп — совокупность случайных величин, совместное распределение которых — гауссовское. Показать, что случайный процесс

^) = £Д/Д),

1=1

где Д (£) — некоторые детерминированные функции, является гауссовским. Найти математическое ожидание и ковариационную функцию процесса Д^).

Решение. Для некоторого набора моментов времени {Н, ..., Д} найдем характеристическую функцию совместного распределения сечений {ДН)? • • • Д(^)}- По определению

к

где at = У^ /i^j)zj- Поскольку совместное распределение случайных j=i

величин {Xi, ..., Хп} является гауссовским, то

’Мч, ...,zk; tx, . ..,tk) =

= ехр(г^М{Хг}аг--у; ^ cov{X„ Xm} atam 1=11 = 1 т=1

Далее, подставляя выражения для а^ находим

^M{Xjaz = ^МЦ(^)}^, г=1з=1

п пк к

52 52 cov{y„ Xm}azam = ^ ^ соу{Ц^), Ц^)}

1=1 т=1i=l j = l

где

МЦД} = £м{Х,}/Д) = тД),

1=1

COv{£(t),£(s)} = 52 52 COVVхl'XmHiWfm^ = R^t, в\

1 = 1 т=1

Таким образом, процесс Д^) является гауссовским, поскольку его характеристическая функция удовлетворяет определению 2.1. Конечномерное распределение к-ro порядка в точках {Н, ..., Д} имеет плотность, если матрица R^ = {cov{^(^), ^^JH^j^x, к положительно определена. ■

Приведем пример гауссовского процесса, не имеющего плотности распределения к-го порядка (к ^ 2).

Пример 2.2. Найти плотность одномерного распределения гауссовского случайного процесса

Д^)=х + ^, t > О,

где X — случайная величина с гауссовским распределением Af(O; ст2), а > 0. Показать, что £ не имеет плотности распределения к-го порядка при к ^ 2.

Решение. Случайная величина £(£) имеет гауссовское распределение JV^ ст2). Поэтому в силу а > 0 распределение первого порядка случайного процесса ^(t) имеет плотность

/1 Г (Ж -1

Однако уже распределение порядка к = 2 не имеет плотности, так как матрица ковариаций

Re = {covK(^),^(^)}}ij=i,2 = (Д2 ст2 )

вырождена. Отсутствие плотности очевидно, поскольку случайные величины Дй), Дй) связаны соотношением Дй) = Дй) + й — й и, следовательно, их совместное распределение в R2 сосредоточено на множестве {(ад, х^ : х^ = х\ + й — й}5 имеющем нулевую меру Лебега. Для случая к > 2 аналогичное рассуждение показывает отсутствие плотности распределения. ■

Следующий пример демонстрирует гауссовский процесс, у которого все конечномерные распределения имеют плотность.

Пример 2.3. Показать, что существует гауссовский случайный процесс {ДД, t ^ 0} с характеристиками

М{ДД} = 0, соу{ДД , Д^)} = min (й s),

причем все его конечномерные распределения имеют плотность.

Решение. Если функция R^t, s) = min(£, s) является неотрицательно-определенной, то существование гауссовского процесса ^(t) с m^t) = 0 и ковариационной функцией R^t^s) следует из примера 1.14 и его решения. Если же R^t^ s) — положительно-определенная, то конечномерные распределения процесса ДД (в предположении гауссовости) имеют плотность распределения.

Функция R^t, s) = min(£, s) будет положительно-определенной, если для любых различных моментов времени 0 < й < й < • • • < й ковариационная матрица R^ вектора £ = {Дй) > Дй), • • •, Дй)}*, имеющая вид

(

йй•• •й\

йй•• •йI

йй•• •й/

является положительно-определенной. Последнее означает, что z*R^z > 0 для всякого ненулевого вектора г = Д1, ..., ^}* € ВЙ Для доказательства этого факта рассмотрим функцию

к

/(з) = Е^Дц(з),

г=1

где /^^^(s) — индикаторная функция отрезка [0,й]- В силу того что все й > 0 различны, a z^ не равны нулю одновременно, функция /(s) не равна нулю тождественно. Поэтому

t

[|/(s)|2 ds > 0 при t^tk.

о

Тогда

[|/(s)|2c?s = f^ f^ z^, [/[о^ЦДо^Ц) ds = оi=lj=l о

к к

= 52 52 %^з min(^^j) = ^*^^ > О, г=1j=l

что и означает положительную определенность ковариационной матрицы R^. Таким образом, совместное распределение сечений ^(Н), ..., ^(^) гауссовского процесса ^(^) имеет плотность. ■

Определение 2.2. Гауссовский случайный процесс {£(£), t ^ 0} с непрерывным временем, моментными характеристиками

М{^(^)} = 0, cov{^),£(s)} = min(£,s), s > 0,

и выходящий из нуля, т. е. £(0) = 0, называется стандартным винеровским процессом (или процессом броуновского двиснсения).

Этот процесс обладает многими замечательными свойствами и будет подробно изучаться в главе, посвященной случайным функциям. Здесь мы приведем только некоторые его свойства, которые можно вывести непосредственно из определения 2.2.

Пример 2.4. Показать, что приращения процесса броуновского движения на непересекающихся промежутках времени независимы, а также найти распределение произвольного приращения.

Решение. Прежде всего заметим, что совокупность приращений процесса броуновского движения

£Д)-£(М,

где 0 = ^о < Н < • • • < tk и ^(^о) = 0, имеет гауссовское распределение в силу гауссовости случайного вектора {^(Н)^(^2)) •••,€(^)}*- Поэтому для доказательства независимости приращений достаточно установить их некоррелированность. Итак, для моментов времени ti < tj верно соотношение

ссуЩД) - £Д-1)ЦД) -Ц^-1)} =

= min(^, tj) — min(^, ^-i) — min(^-i, tj) + min(^-i, tj-i) = 0, что означает некоррелированность приращений процесса £(t) на промежутках [^-i,^] и \tj_i^tjY

Как уже отмечалось, приращение £(t) — £($) имеет гауссовское распределение. Поэтому

^-^8)~Я(0-,\1-<(2.3)

3 Б.М. Миллер и А.Р. Панков

так как М{£(£) — £(s)} = 0 и D{£(£) — £(s)} = t + s — 2 min(^ s) = = |i — s|. ■

Пример 2.5. Найти плотность конечномерного распределения процесса броуновского движения.

Решение. Рассмотрим приращения процесса броуновского движения:

т =£Д)- €(*о), % = ■Дг) - ■ДО, Лк = Uh)- Цг^-Д

где 0 = to < ti < ... < tk. Поскольку Ц#о) = 0, то

^М=т)1, Uh) = 771 + 772,Uh) = 771 + ... + Г)к.

Пусть р (•) — плотность распределения вектора т) = {771, ..., ЛкУ", а РД') — плотность распределения приращения //,. Тогда плотность распределения вектора £ = {ЦП), • • • Л^ОУ* равна

P^i, . ..,хк; tb ...,tk) = р^хт,х2 - Xi, ...,xk - xk-i) =

= Р,Д1)Р,Д2-Д . P^k -^-1),

где первое равенство следует из того, что якобиан преобразования г) нД £ равен по модулю 1, а второе получено с учетом независимости случайных величин щ, ..., 7%. Тогда из (2.3) следует

к-|(жг жг— 1)

Р^Х^ ■ • ■ ^x^ti, ... ,tk) = П= е 21^-^-11 ,(2.4)

г=1 у ^ТГЩ ti —1|

где to = 0 и то = 0. ■

В приложениях весьма часто приходится иметь дело с и-мерными гауссовскими процессами^ где п > 1. По аналогии с введенным ранее определением 2.1 мы можем назвать процесс {£(£)€ Rn, t Е Т} гауссовским, если при любых Н, • • • , tk Е Т, к ^ 1 (n х /с)-мерный случайный вектор т] = ^(ti)^ ...,£*(£&)}* имеет гауссовское (n х камерное распределение. Все свойства такого процесса полностью определяются п-мерной функцией математического ожидания m^t^ и (n х п)-мерной (т. е. матричной) ковариационной функцией R^t^s^ которая вычисляется следующим образом:

R^t.s) = М{КД - mEpWE") - mi(s))*} =

= МЦ(4)С(«)} - т^0т*^8\

Случайные процессы с конечными моментами второго порядка. Многие прикладные задачи в области физики и техники допускают решение, основанное на использовании лишь первых двух моментных характеристик случайного процесса — математического ожидания и ковариационной функции. Это тем более удобно, поскольку эти моментные характеристики можно достаточно просто восстановить, обрабатывая статистические данные. В данном пункте излагаются основные свойства процессов с конечными моментами второго порядка (гильбертовых процессов), которые будут постоянно использоваться в последующем.

В соответствии с определением 1.18 мы рассматриваем комплексные процессы, представимые в виде

^t) = x(t)^iY(t), teT,

где X (t), Y(t) — действительные случайные процессы с конечными моментами второго порядка. В дальнейшем для простоты предполагается, что М{£(£)} = 0 для всех t Е Т.

Определение 2.3. Ковариационная функция процесса ^(t) имеет вид

R^ s) = соуЩ£), Щ)} = м(ц#)Щ)},

где г означает комплексную величину, сопряженную к г.

К классу гильбертовых процессов относятся рассмотренные в предыдущем пункте гауссовские процессы и, в частности, процесс броуновского движения. Следующий процесс также является гильбертовым.

Пример 2.6. Пусть случайная функция ^(t) = Ue1^1"^^ t Е R1, где U — действительная случайная величина с М{[7} = О, D{[7} = = D < сю, а случайная величина у? не зависит от U и распределена произвольным образом на [0, 2тг]. Показать, что случайная функция ^(ф является гильбертовым процессом, и определить ее моментные характеристики.

Решение. В силу независимости случайных величин U и ф т^ = М{Ц#)} = м{ц<(и<+«’>} = МДОф'ф = О,

D^ = М{|Ц#)|2} = М{[/2} = D < оо.

Таким образом, ^(ф — действительно гильбертов процесс. Определим его ковариационную функцию

= Вегш^-8^= Вегш^-8^R^M) = М-фх(в)} = мфг^м+^-^+ц!.

= Вегш^-8^

= Вегш^-8^

з*

Ковариационная функция является неотрицательно-определенной, т. е. для любых ty ... ,tn Е Т и произвольного набора комплексных чисел {^i, ..., гп}, п ^ 1, имеет место неравенство

У? У? zizj^C^i^j) ^ ^-(2-6)

г=1j=l

Это соотношение получается следующим образом:

TLTL TLTL TL

0 D{52 ^м} = 52 52 ^jcov^ti1),^^ = 52 52 ziZjR^tjY г=1г=1j=l1=1j = l

Приведем основные свойства ковариационной функции, которые непосредственно вытекают из свойства неотрицательной определенности (2.5).

Теорема 2.1. Ковариационная функция R^(t,s) гильбертова случайного процесса {£(£), t Е Т} обладает следующими свойствами:

R^(t,t) = D^t^ ^ 0 для всех t£T;

ковариационная функция является эрмитовой, т. е. удовлетворяет условию

R^(ti,t2^ = R^t^ti) Vtyt2 Е Т;

ковариационная функция удовлетворяет неравенству Коши- Буняковского

|^(Н^2)|2 С ^(Н? Н)^(^2^2) VH,^2 € Т;

для всех Н^2^з Е Т имеет место неравенство

|^(Н,^з) — ^(^2,^з)|2 <

С ^fe,^з)[^(Н)Н) + ^(^2^2) — 2Не^(Н^2)]- (2-6)

Если даны два гильбертовых случайных процесса, то можно определить их взаимную ковариационную функцию (см. определение 1.19).

Замечание. Если ^(^) = X(t) + iY(t), где X(t), Y^ — центрированные действительные процессы с конечными дисперсиями, то

R^t, s) = М{(Х(^) + гУ(^))(Х(5) - гУ(5))} =

= Rx(t^ s) + Ry^^ S) — ^V^XY^^ S) — -^YX^^ s)]-

Теорема 2.2. Для всякой неотрицательно-определенной функции R(T з^Д^зЕТ существует гильбертов случайный процесс {Д^), t Е Т} с ковариационной функцией R^t^ з) = К(Д s).

Замечание. Для действительной ковариационной функции результат теоремы вытекает из примера 1.14. В этом случае процесс Д^) можно выбрать действительным и гауссовским, поскольку заданная ковариационная функция обладает свойством неотрицательной определенности.

Класс ковариационных функций обладает следующими свойствами замкнутости относительно ряда операций.

Теорема 2.3. Пусть R^, R^2 — ковариационные функции некоторых случайных процессов, определенных на одном и том же множестве Т. Тогда одД^ + a^R^ при од, «2 ^ 0 также является ковариационной функцией некоторого гильбертова процесса.

Теорема 2.4. Пусть {R^^t^s^ п = 1,2, ...} — последовательность ковариационных функций некоторых гильбертовых случайных процессов, определенных на одном и том же множестве Т. Тогда если R^n (Д s) —> R(t, s) при п ос для всех t,s Е Т, mo R(t, s) также является ковариационной функцией некоторого гильбертова случайного процесса.

Замечание. Доказательство этих теорем становится очевидным, если принять во внимание, что при сложении ковариационных функций с неотрицательными весами и при предельном переходе свойство неотрицательной определенности сохраняется.

Поведение траекторий гильбертовых процессов определяется свойствами его ковариационной функции лишь в некотором усредненном смысле. Подробно свойства траекторий этого класса процессов (непрерывность, дифференцируемость и интегрируемость) рассматриваются в гл. III.

Заметим, что линейная комбинация гильбертовых процессов также является процессом этого типа.

Пример 2.7. Пусть Д^), Д£) — определенные на Т гильбертовы процессы. Показать, что

+ |/3|^ < оо, также является гильбертовым процессом.

Решение. В силу неравенства |д(£) |2 С 2 (|«Д^)|2 + |/Зц(^)|2) находим

М{|^(t)I2} < 2 (|а|2М{|Ц<} + |/3|2M{mt)|2}),

где М{|Ц<} < оо и М{|?7(t)|2} < сю, поскольку Д^), т](Д) — гильбертовы процессы. Следовательно, М{|7(^)|2} < сю, что и требовалось доказать. ■

Стационарные случайные процессы. Важным классом случайных процессов являются стационарные процессы. Свойство стационарности означает независимость некоторых характеристик сечений процесса от времени. Конечно, для реальных процессов это условие весьма ограничительно, однако оно выполняется довольно часто, если рассматривать процесс на достаточно коротком интервале времени, в течение которого вероятностные характеристики процесса изменяются мало.

Определение 2.4. Случайный процесс {£(£), t Е Т} называется стационарным в узком смысле, если для любого набора Н, ..., ^ Е Т совместное распределение случайных величин ^(^i + т), ..., ^(^ + т) одно и то же для всех т, таких, что ty + т, ..., ^ + т € Т.

Если существует математическое ожидание такого процесса, то оно постоянно и равно

мшт = мшо)},

а ковариационная функция R^t,s^ (при условии существования второго момента) зависит лишь от разности (t — з).

Определение 2.5. Случайный процесс {£(£), t Е Т} называется стационарным в широком смысле, если для любых t,s Е Т, таких, что t - s Е Т

M{£(t)} = const, cov{£(t),£(s)} = C(t — s).

Примером стационарного в широком смысле процесса является рассмотренный выше центрированный процесс из примера 2.6, ковариационная функция которого равна Вегш^1-8\

Пример 2.8. Пусть задан гауссовский процесс {£(t), t Е Т} с постоянным математическим ожиданием M{£(t)} = m и ковариационной функцией R^t, s) = C(t — з). Показать, что этот процесс является стационарным в узком смысле.

Решение. Характеристическая функция /^-мерного распределения процесса ^(t) для Н, ..., tjb Е Т имеет вид

ФЩ1, ...,zk- tb . ,.,tk) =exp(i^Zjm- ^^^C^-tj^zj j=i 2i=ij=i

и не изменяется при замене всех t^ на tl + т, I = 1, ... ,к. Следовательно, и сами /^-мерные распределения не изменяются при замене всех tt на tl + т, причем это верно при всех к ^ 1 и любых т, таких, что tt + т Е Т. ■

Пример 2.9. Пусть {w(t), t ^ 0} — процесс броуновского движения и т > 0. Показать, что процесс Z(t) = w(t + т) — w(t), t ^ 0, является стационарным, и найти его ковариационную функцию.

Решение. Определим моментные характеристики процесса Z(£).

Поскольку М{ш(£)} = M{w(t + т)} = 0, то M{Z(^)} = 0 и

Rz(t, s) = cov{Z(^), Z(s)^ = M{(w(t + т) — w(ty(w(s + t) — w(s))} =

= min (t + t, s + t) — min (^ s + t) — min (t + t, s) + min (^ s) =

( т — \t — s| при \t — s| < T, ( 0при \t — s| > t.

Таким образом, Rz^s) = C(t — s), что и доказывает стационарность процесса Z^ty ■

Непосредственно из свойств ковариационной функции гильбертова процесса (см. теорему 2.1) вытекают следующие свойства ковариационной функции стационарного в широком смысле процесса.

Теорема 2.5. Пусть C(t) — ковариационная функция некоторого стационарного в широком смысле процесса, заданного на Т, тогда она обладает следующими свойствами:

С(0) > 0;

C(t) = C(—t) для всех tET;

|С(£)| < 67(0) для всех t ЕТ*,

|С(Н)-С^з)!2 < 2С(0)[С(0)-Н^для всех В, t2 Е Т.

Свойства стационарных случайных последовательностей и случайных функций подробно рассматриваются в гл. II и III. Там же будут введены спектральные характеристики стационарных процессов, которые являются удобной альтернативой рассмотренным моментным характеристикам и широко используются для решения разнообразных прикладных задач.

Марковские процессы. Марковские случайные процессы обладают важным свойством независимости будущего поведения от всего прошлого. Это свойство называется отсутствием последействия. Иначе говоря, если рассматривать текущее состояние процесса ^(t) в момент времени t Е Т как «настоящее», совокупность всех возможных состояний {£($), s < t^ как «прошлое», а совокупность возможных состояний {^(и), и > t^ как «будущее», то для марковского процесса при фиксированном «настоящем» «будущее» не зависит от «прошлого». При этом семейство распределений процесса для и > t зависит лишь от состояния процесса в момент времени t.

Определение 2.6. Вещественный случайный процесс {£(£), t Е Т^ называется марковским процессом или процессом Маркова, если для любых tt Е Т: ti < ... < tk-i < t^ I = 1, ... .k. произвольного целого k > 1 и любого борелевского множества В Е S^1) выполнено

равенство

= PWk)eB\^tk_^ (Р-п.н.). (2.7)

Свойство (2.7) называется марковским свойством.

Замечание. В соотношении (2.7) условные вероятности определяются относительно а-алгебры, порожденной случайными величинами {ДД), .. .Д(Д_1)} (в левой части) и сг-алгебры, порожденной только £(Д~1) (в правой части). Соотношение (2.7) можно записать также в виде

РШЪ=) е в | Ц41) = Ж1, . . .,E,(tk-x) = Жк-1} =

= PW € В I Ц^-1) = Жк-1} ,

где жг € Ж1 — произвольное допустимое значение случайной величины

Таким образом, вероятностное распределение состояния процесса в момент времени tk зависит лишь от того, в каком состоянии находился процесс в ближайшем прошлом, т. е. при t = Д-i, но не зависит от его состояний, предшествующих моменту времени tk_i. Можно показать (см. задачу 10), что для марковского процесса при любых ВЪВ2 Е В(Жг) и з < и < t

р{Щ) е Вх, е^ е в^ I № =

= Р{Цз) € Вх I № РШ € В2 I СЮ} (Р-п.н.). (2.8)

Определение 2.7. Переходная вероятностъ марковского процесса определяется как

P(s,x,t,B) = Р{Д£) Е В | ДД = ж}

при £>s, жЕК^Бб В^1) и удовлетворяет соотношению

P(s,x,t,B) = j P(s, х, и, dy) P(u, у, t, BY

которое выполняется для всех s,u,t Е Т: з ^ и ^ t и называется уравнением Колмогорова- Чепмена.

Определение 2.8. Марковский процесс называется однородным, если

РШ) е В I ^(з) = ж} = Р(0, X, t - 8, BY

Далее для краткости будем писать Р(0,х,т, В) = P(x,t,BY

Для однородного марковского процесса уравнение Колмогорова- Чепмена упрощается:

Р(ж, з + В) = j Р(ж, s, dy) Р(т/Д, В\

где ss + t Е Т.

Для определения конечномерных распределений марковского процесса достаточно знать его переходную вероятность и одномерное распределение в некоторый начальный момент времени, поскольку с использованием формулы полной вероятности и марковского свойства легко получается соотношение

Р№)ев!, ..Ц(Мей} =

= j 7г(с/ж0) j Р(О,ЖО,#1ЛЖ1) ... j P(£fc-i,£fc-i,ifc,d£fe), (2.9) R1BiBk

где 0 = to < 4 < ... < ^, Bi, , Bk E Б^1), а тг(В) = Р{Д0) E В}.

Если переходная вероятность и начальное распределение вероятностей процесса Д^) имеют плотности, т. е. существуют p(s, х^у^ р^Е 0), такие, что для всех В Е B(R1)

Р(5,тД, В) = jp(s, х у) dy, ^(В) = |рДх0; 0) с/жд,вв

то и любое распределение к-го порядка также имеет плотность: г к

Р^х^ ...,хк'В, ...,tk) = Ц р^-^х^Л^р^хо, O)dxo.

(2.10)

Функция p(s, x, t. у) называется переходной плотностъю распределения марковского процесса и при всех з^ЕТих^уЕЖ1 удовлетворяет соотношениям:

p(s,x,t,y) ^ 0 (условие неотрицательности);

j p(s, х, t. у) dy = 1 (условие нормировки).

Приведем некоторые примеры марковских процессов.

Пример 2.10. Рассмотрим последовательность бросаний симметричной игральной кости. Пусть случайная величина Хп есть число очков, выпавшее на грани при n-м бросании, п=1,2, ... Введем последовательность случайных величин по правилу

Цп) = тах(Хь ... ,Х„).

Показать, что последовательность Дп) — марковская, и определить для нее переходную вероятность.

Решение. Пусть при некотором n ^ 1, Дп) = г, где г — целое число от 1 до 6. При последующих бросаниях значение £ не может уменьшиться, поэтому для j = 1, . .., 6

{

О при j < г,

г/6 при j = г,

1/6 при j > г.

В силу независимости результатов бросаний условная вероятность перехода зависит лишь от Дп) = г и не зависит от последовательности предыдущих значений ф Итак, в данном случае последовательность является марковской, а переходная вероятность (за один шаг) описывается матрицей Р, элементы которой равны P^j = Р{Дп + 1) = = з I ЕХЧ = 4, ^з = 1, -Л ■

Замечание. Случайная последовательность, описанная в примере 2.10, относится к классу дискретных цепей Маркова с конечным множеством состояний. Более подробно этот класс последовательностей изучается в гл. II.

Процесс, о котором пойдет речь в следующем примере, относится к классу марковских случайных функций.

Пример 2.11. Показать, что процесс броуновского движения — марковский, и найти его переходную вероятность.

Решение. В примере 2.5 мы нашли плотность конечномерного распределения процесса броуновского движения. Для вычисления плотности условного распределения воспользуемся формулой (2.4) с учетом того, что Н < ... < ^_i < t^:

Р^ Ek', tk | €41) =• ■ • , E^kM = жк-1) =

_р^$т, ... ,жк; ti, ..._

Р((Ж1 уti, . . . . tk — 1)

П(2тг(й - ^_1))"1/2ехр{-(^ - ^_1)2/2(^ - tj-i)}_ г = 1 _

П (2тг(^ - ^-1))-1/2ехр{-(Жг - ^г-1)2/2(^ - ^г-1)} г=1

V^(.tk - tk-l) I 2^k -tk-1) J 5

Таким образом, процесс броуновского движения — марковский, а его переходная вероятность P(s,x,£, •) при фиксированных х Е R1, s < t представляет собой гауссовское распределение M^x^t — s). ■

В следующем примере мы получим условие того, что гауссовский процесс является марковским.

Пример 2.12. Рассматривается центрированный гауссовский процесс Д^) с дисперсией D^t^ > 0. Показать, что Д^) является марковским тогда и только тогда, когда его ковариационная функция R^(t, s) удовлетворяет при й С й С й равенству

^(й Дз) —^(й Дз) —R^R t^R^^^ t^R^^^t^R^R t^R^^^ t^R^^^t^(2.11)(2.11)

^(й Дз) —

^(й Дз) —

R^R t^R^^^ t^R^^^t^

R^R t^R^^^ t^R^^^t^

(2.11)

(2.11)

M{£fe) I £Ы} = |фДЙ )M{£fe) I £Ы} = |фДЙ )C(t2) при j = 1,3. Следовательно,C(t2) при j = 1,3. Следовательно,^(й, й) — М^(й, й) — МR^(tiD й)R^^ й)R^(tiD й)R^^ й)^(й, й)R^, t2)^(й, й)R^, t2)ш} =ш} =

M{£fe) I £Ы} = |фД

Й )

M{£fe) I £Ы} = |фД

Й )

C(t2) при j = 1,3. Следовательно,

C(t2) при j = 1,3. Следовательно,

^(й, й) — М

^(й, й) — М

R^(tiD й)

R^^ й)

R^(tiD й)

R^^ й)

^(й, й)

R^, t2)

^(й, й)

R^, t2)

ш} =

ш} =

Решение. Покажем необходимость. С использованием марковского свойства (2.8) при й С й С й находим

R^t^ = М{Цй)Ц#3)} = МДОК^Мз)} | ^t2)} =

= М{М{Цй) | ЦЬ)} MK(t3) | £(Ь)}} ■

имеемимеемПри этом в силу теоремы о нормальной корреляции (см. и. 14.6)

имеем

имеем

_ ДДй,й)ДДй,й)_ ДДй,й)ДДй,й)

ЛДй,й)(ВДй,й) *

Тем самым требуемое равенство (2.11) доказано.

Теперь установим обратное утверждение. Докажем, что гауссовский процесс Д^), ковариационная функция которого удовлетворяет соотношению (2.11), является марковским.

В силу определения 2.6 марковское свойство процесса Д^) означает совпадение условных распределений:

Р^П- tn I Дй) = Ж1) • • • ) Дй—1) = ®п — 1) = F^n*. t-п | С (tn — 1) = ^п — 1)

при всех й С • • • С tn_i С tn. Поэтому в силу гауссовости процесса Д^) достаточно установить равенства следующих условных характеристик:

MMQ | Дй), • • •, ^п_^ = М{Дй) | ^.^ ,(2.12)

I Дй), • • •,Дй-i)} = ЖУ I Дй-i)}.(2.13)

Докажем сначала равенство (2.12). При п = 2 оно тривиально. При произвольном пД 3 предположим, что (2.12) выполнено для любого числа моментов времени, не большего п — 1.

Обозначим и = Д^п-1) - M{£(£n-i) | ДН), ... ,^(^-2)}, тогда м{Ш I £(Н), • • •,^-2M(^-i)} = МК(^) I £(Н),...,£(^-2), . Нетрудно проверить, что cov{r, Д^)} = О, г = 1, ..., п — 2, поэтому с учетом М{£(£)} = 0 и гауссовости случайного процесса Д^) (см. свойство 6 из и. 14.6) получаем

МШМ I £(н), • • •,Ы = м{ду I Дп),...,Шп-^ +

+ МК(^) I г} = МК(^) I £(^-2)} + МК(^) I г},

где второе равенство получено в силу предположения индукции. Далее, в силу теоремы о нормальной корреляции находим

М{ЦЦ) I ЦЦ_2)} = ДД^Д ЦЦ_2), М{ЦЦ) | Ц = 7

где 7 = соу{Д^п), г} D{r}По предположению индукции имеем

У = цц-1) - мшц I Цц_2)} = цц-j - |4Дт1Д цц_2),

(Цп —2) tn — 2 )

следовательно,

соуЩиЦ = R^tn,tn_v) - Mtn-i,tn-2)R5(Wn-2^ Vn — ^ , tn_ 2 )

А ^(^п-1Лп-2)

R^ (tn—2 -)tn—2 )-R^ (^n Лп—i) R^ (tn—1 -)tn—2 )-R^ (tn .tn—2)

R^ (tn—2 Лп—2 ^R^ (tn—1 .tn—1) R^ (tn—1 ,tn_ 2)

Нетрудно проверить, что из условия (2.11) следует соотношение

R^(tn^tn—2)R^(tn—1 ^tn—2) q

R^(tn-2,tn-2)R^(tn-2,tn-2)

поэтому

м{цц) | цц-х)} = ^ДДД ц#п_2) +

+ 7 ^(Ц-1)+ 7 ^(Ц-1)R^, (tn—1, tn—2)R^(tn — 2 , tn — 2)R^, (tn—1, tn—2)R^(tn — 2 , tn — 2)£(£«-2)£(£«-2)= ?€(Ц-1)-= ?€(Ц-1)-

+ 7 ^(Ц-1)

+ 7 ^(Ц-1)

R^, (tn—1, tn—2)

R^(tn — 2 , tn — 2)

R^, (tn—1, tn—2)

R^(tn — 2 , tn — 2)

£(£«-2)

£(£«-2)

= ?€(Ц-1)-

= ?€(Ц-1)-

Полученное равенство немедленно влечет (2.12).

Теперь доказательство (2.13) получается применением теоремы о нормальной корреляции и установленного равенства (2.12):

п(Ш№), ...Ц(Ц-х)} =

= В{ЦЦ) - М{ЦЦ) I . ДЦ-1)}} =

= DR(t„) - м{Цц) I Цц-1)}} = П{ЦЦ) I Цц_х)}.

Тем самым достаточность условия (2.11) полностью доказана. ■

Пример 2.13. Показать, что процесс броуновского движения является марковским, используя результат примера 2.12.

Решение. Так как, по определению, броуновское движение — центрированный гауссовский процесс с дисперсией D^t^ > 0 при t > 0, то нам достаточно проверить выполнение соотношения (2.11) для R^t, s) = min(£, s) и 0 < Н С ^2 С ^з:

min(Zi,Z2)min(t2,t3) _ М2 _•, х _ р . х _

Если случайный марковский процесс ^(^) подвергается функциональному преобразованию ц(£) = f^t)) с некоторой функцией /(•), то процесс T](t) может оказаться немарковским. Следующий пример показывает, что свойство марковости сохраняется для взаимно однозначных преобразований.

Пример 2.14. Пусть ^(^) — марковский процесс, а / : R1 ч!1 — некоторая взаимно однозначная борелевская функция. Показать, что T)(t) = /(£(£)) — марковский процесс.

Решение. Проверим выполнение условия (2.8), т. е. убедимся в том, что для произвольных множеств В^В^ Е S(R1) и s < и < t

РЫз) е въ T](t) е в2 | п(^ =

= РШ8) Е В1 I Л^РЫ1) Е в2 I М^ (Р-п.н.). (2.14)

В силу взаимной однозначности /(•) ст-алгебры, порожденные случайными величинами ^(и) и ц(и) = f^^u)) (см. определение 14.6), совпадают. Следовательно, (2.14) равносильно следующему равенству

РКМ е ГЧМ Ш е ГЧВЧ I Ч^Ч = р№ е ГЧВЧ I ^Ы) х

хР^ЧПВЖ^ (Р-п.н.), (2.15)

где учтено (Цз) € ВЦ = {Цз) € /-1(Вх)}, (r?(t) G В2} = (Ц<) G Е J^^)}. f~4Bi) Е S(R1), г = 1,2. Теперь из условия (2.8) марковости процесса ^(^) непосредственно вытекает соотношение (2.15), что и требовалось доказать. ■

Задача 11 показывает, что при отсутствии взаимной однозначности отображения /(•) марковское свойство не сохраняется даже в очень простых случаях.

Диффузионные процессы. Важным подклассом марковских процессов являются процессы с непрерывным временем и непрерывным множеством состояний. Такие процессы являются естественной моделью для описания эволюции динамических систем, подверженных случайным воздействиям. Наиболее изученными в настоящее время являются процессы диффузионного типа или просто диффузионные процессы.

Определение 2.9. Случайный n-мерный однородный марковский процесс ^(^) называется процессом диффузионного типа, если его переходная вероятность Р(ж, Г В) удовлетворяет следующим условиям:

(2.16)(2.16)(2-17)(2-17)(2.18)(2.18)lim - [ Р(ж, Г dy^ = О,ЦО t J v’

(2.16)

(2.16)

(2-17)

(2-17)

(2.18)

(2.18)

|т/—ж| >5

|?/-я|^|?/-я|^lim -lim -цо tцо t1 пт - ЦО t

|?/-я|^

|?/-я|^

lim -

lim -

цо t

цо t

для любых 5 > 0, х Е Rn.

Замечание. Первое условие обеспечивает (Р-п.н.) непрерывность траекторий процесса. Функция а(х) характеризует среднюю скорость смещения за малое время из состояния £(0) = х и называется вектором сноса или дрейфа. Функция ^(х) характеризует отклонение процесса от его усредненного движения, определяемого вектором сноса, и называется матрицей диффузии.

Если для марковского процесса {£(£), t ^ 0} задана его переходная вероятность и соответствующие пределы в (2.16)-(2.18) определены, то тем самым определены его матричные коэффициенты сноса а(х) и диффузии Е(х). Однако центральный результат теории диффузионных процессов состоит в том, что, задав достаточно регулярные функции а^ и Е(х), можно однозначно определить и переходную вероятность процесса. Таким образом, локальное описание свойств траектории на языке коэффициентов сноса и диффузии позволяет определить и общие свойства процесса на всей временной оси. Метод построения переходной вероятности предложен А.Н. Колмогоровым.

Общая теория диффузионных процессов весьма сложна, поэтому мы изложим этот метод, не вдаваясь в технические детали.

Рассмотрим скалярный случай Д^) ER1. Предположим, что переходная вероятность имеет плотность, т. е. для всякого В Е S(R1) выполняется

Р(жД,В) = I р(ж, ^, у) dy.

в

А.Н. Колмогоров показал, что при некоторых ограничениях на р^х^у^ а(х) и ^(х) плотность р(х^у) удовлетворяет прямому уравнению

dtЭу + 2 ' Эу2 "

Уравнение (2.19) также известно как уравнение Колмогорова- Фоккера-Планка. При любом ж Е R1 и ^ 0 уравнение решается при следующем выборе начального условия:

lim р(ж, t^y) = 5 (у — х).

Если р^у:, I) — плотность распределения сечения ДД то ре(у; t) = | ре(ж; s) р(ж, t - s, у) dx.

Тогда из (2.19) получаем уравнение

dtЭу2Эу2 '

которое решается с начальным условием р^у:, 0) = р0(у\ где р0(у) — плотность распределения ДО).

Пример 2.15. Показать, что процесс броуновского движения является диффузионным марковским процессом.

Решение. Действительно, пусть {ДД t ^ 0} — процесс броуновского движения. Как следует из примера 2.11, его переходная вероятность равна

1 г (у — ж)2Р(жД,В) = . е- 2z dy.

в

Для вывода соотношений (2.16)-(2.18) воспользуемся известными оценками для функции Ф(х) стандартного гауссовского распределения Af(O;l):

5е 2 < 1 — ф(х) < - • —= е.

I ж ж3 J Д2тгх

С учетом выражения для гауссовской переходной плотности имеем

1г2г

т Р(ж,Му) = 7(1 - Щ/Vt)) < г j—> О при ^ О, t JtWirt

|г/ —ж | >5

поскольку л/u е и —> 0 при и сю, что доказывает соотношение (2.16).

Далее, используя замену переменной z = (у — ж)/у^, вычисляем

Г—— % e-^dz =

JV 2ivt

\z\45 ) Vt

Таким образом, доказано соотношение (2.17), где а(х) = 0. И наконец, используя ту же замену переменной z = (у — х)/лД^ получаем

при t4- о,при t4- о,[ (у — х)2 Р(х^Ду) =[ z2e z l2dz^\

при t4- о,

при t4- о,

JV 2тг J

l?/-z|^w^jVi

поскольку множество {z: \z\ ^ Д ДД t ^ • Тем самым доказано равенство (2.18), где У (ж) = 1.

Плотность рДу\ t) распределения процесса броуновского движения удовлетворяет уравнению Колмогорова, которое в данном случае имеет вид

9Р^У t) 1 Э2р^у, t)

Указанное уравнение известно в теории уравнений математической физики как уравнение диффузии. Собственно, это и объясняет название описанного класса процессов. ■

В гл. III будет рассмотрен класс диффузионных процессов, которые описываются с помощью стохастических дифференциальных уравнений.

Задачи для самостоятельного решения.

Пусть £,(t) — гауссовский процесс с параметрами тД^ Н^Д$У Вывести соотношение для плотности двумерного распределения. Привести условие существования плотности двумерного распределения.

Ответ.

рДт1,Ж2; С1Д2) = , ехр<——

х / (ж1 -тДН))2^.

\ ЯДН,Н) Ре 2^/__^^R^^A^) )

где

’V ^е ^ ^i )^ (^2, ^2)

есть коэффициент корреляции. Плотность существует, если |рДНД2)| < 1 при Н 5^ t^.

Для случайного процесса ^(t) = X cos^/; + У), где Х^ Y — независимы, случайная величина X имеет распределение с плотностью

х < О,

Р^ = \ xe-^h ж > О

а У имеет равномерное распределение на [—я, я], доказать, что процесс Д/;) является гауссовским и найти его ковариационную функцию. Какими еще свойствами обладает Д£)?

Указание. Убедиться, что совместное распределение случайных величин А = X cos У, В = X sin У — стандартное гауссовское. Далее использовать результат примера 2.1.

Ответ. R^(t, s) = cos(w(t — s)), процесс Д/;) является стационарным в узком смысле.

Пусть {Д^), t ^ 0} — процесс броуновского движения. Показать, что процесс

X(t) = ЩГ1), £ > 0, Х(0) = 0

также является процессом броуновского движения.

Указание. Проверить гауссовость и вычислить ковариационную функцию.

Пусть {Д/Д £ ^ 0} — процесс броуновского движения. Показать, что при любом с > 0 процесс

X(t) = у ей

также является процессом броуновского движения.

Указание. Проверить гауссовость и вычислить ковариационную функцию.

Пусть {Д/Д t ^ 0} — процесс броуновского движения. Процесс Z(t) = = Д/;) — t Д1) называется броуновским мостом и удовлетворяет соотношению ^(0) = Z(l) = 0. Найти его среднее значение и ковариационную функцию.

Ответ. mz(t) = 0, Rz^i s) = min (^ s) — ^s-

4 Б.М. Миллер и А.Р. Панков

Пусть ^ZQty t ^ 0} — броуновский мост (см. задачу 5). Определим процесс

у(П = (i + nz( , t^o.

Показать, что {У(/Д t ^ 0} есть процесс броуновского движения.

Какие из ниже перечисленных функций являются неотрицательноопределенными:

fl, \t-s\ < 1, i)CM= п '' .

( 0, ц — s| > 1;

( 1- It — si, \t-s\ < 1,

С^ = j,’

I 0,\t-s\ > 1;

C(t, s) = exp^iw(t — s)}, w E R1;

s) = ехр{Д — s|};

C(£, s) = exp{ — \t — s|}, где — ос < t, s < oc;

C^ s) = min (£, s), t^s ^ 0;

С(1, s) = min (£, s) — ts, t,s E [0,1].

Указание. В пи. 2, 3, 5-7 функция С(£, s) соответствует ковариационной функции случайных процессов, рассмотренных ранее (см. примеры 2.9, 2.6, задачу 12 из § 1, пример 2.3, а также задачу 5). В и. 1 нарушается неравенство (2.6), а в и. 4 — неравенство Коши-Буняковского.

Ответ. Пи. 2, 3, 5-7.

Доказать теоремы 2.3 и 2.4.

Указание. См. замечание после формулировки теорем.

Доказать свойства ковариационной функции процесса, стационарного в широком смысле.

Указание. См. теорему 2.1 и замечание к ней.

Доказать, что для марковского процесса выполняется соотношение (2.8).

Указание. Воспользоваться соотношением (2.7).

Пусть {Дп), и = 1,2, ...} — марковская цепь с тремя возможными состояниями Дп) Е {1,2,3} и переходными вероятностями Р{Дп + 1) = = 3 I Дп) = О = Ptj > 0. Рассмотрим последовательность

( Дп), если Дп) = 1,

[ 2, если Дп) Д 1.

Показать, что последовательность ц(п) может не обладать марковским свойством.

Указание. Найти выражения для вероятностей событий

Р{Дп + 1) = 1, Дп - 1) = 1 | Дп) = 2},

Р{Дп + 1) = 1 | Дп) = 2}, Р{Дп - 1) = 1 | Дп) = 2}

и убедиться, что при некотором выборе переходных вероятностей соотношение (2.8) не выполняется.

Пусть ^Z^Y t ^ 0} — броуновский мост (см. задачу 5). Показать, что процесс Z(t) является марковским.

Указание. Проверить условие (2.11).

(Продолжение задачи 12). Показать, что Z(t) и Z(1 — t) одинаково распределены.

Вывести соотношение (2.10) из общей формулы (2.9).

Пусть задан однородный марковский процесс {£(£), ^ ^ 0} с переходной вероятностью Р(ж,£,5), имеющей плотность

z \1[(г/ — ж — atY |

р(ж, ^, т/) =. ехр < — — > .

Показать, что данный процесс является диффузионным, и найти для него коэффициенты сноса и диффузии.

Ответ, а^ = а, У(ж) = 1.

Указание. При вычислении коэффициента сноса находим, что

Ipр1_ Q-аУг)2

- (у — ж) Р(ж, t, dy) =ге 2 dz,

|2/ —ж|^5\z\^5,Vt

далее используем замену переменной ж = z — aVt и разбиваем интеграл на сумму двух интегралов

^(Vi^-aVi^(Vi^-aVi

f1f1

a.e 2 dv —> а и. v e 2 dv —> 0

J v2?rJ v2?rt

— (d/V^)— aVt—(S^Vt) — aVt

при t V 0. Коэффициент диффузии вычисляется аналогично примеру 2.15.

ГЛАВА II

СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ

В данной главе будут изучаться случайные процессы с дискретным временем, которые обычно называют случайными последовательностями. В дальнейшем для обозначения случайной последовательности будем использовать сокращение СП.

Стационарные случайные последовательности

Основные характеристики ССП. Пусть К — пространство комплексных случайных величин £ = а ^ %Р^ где а, /3 G R1 — вещественные случайные величины, такие, что М{а2 + /З2} < ос. Для £, ц Е К можно определить скалярное произведение

(£, ц) = М{£ц} ,(3.1)

где rj = а — гР — комплексно-сопряженная величина к т] = а + г/3, и норму

псп - vo=vwi(з.2)

где |^|2 = а2 +/32. Пространство К со скалярным произведением (3.1) и нормой (3.2) называется гильбертовым пространством случайных величин с конечным вторым моментом (см. п. 14.7).

Определение 3.1. Ковариацией случайных величин ^ у Е К называется

cov{£, Щ = м{(е - М^^-МИ)} = Д ^) - М{ОШ (3.3)

Из соотношений (3.1), (3.3) следует, что при М{£} = М{ц} = О

cov^,^ = (СлУ(3.4)

Рассмотрим последовательность £, составленную из комплексных случайных величин L G й. где п пробегает множество всех целых чисел Z = {... ,-2,-1, 0,1,2, ... }.

Определение 3.2. Последовательность £ = {£n, n G Z} называется стационарной в широком смысле, если для любых п, k Е Z

М{£п} = М{£0}, соу{^п+к,Д} = соу{^пДо}- (3.5)

В дальнейшем стационарные в широком смысле последовательности будем называть кратко стационарными случайными последовательностями (ССП). Кроме того, не умаляя общности, полагаем М{Ы = 0. Это предположение позволяет отождествить ковариацию со скалярным произведением и применять методы и результаты теории гильбертовых пространств (см. п. 13.6).

Определение 3.3. Функция

R^(n) = cov{£n,£0} > п Е X,(3.6)

называется ковариационной функцией стационарной последовательности £ = {<Д. п Е Z}.

Если R^(0) = М{|£0|2} У 0, то функция

= ^ • "6 z <3-7>

называется корреляционной функцией ССП ф

Из (3.5), (3.6) следует, что для любых n, т Е X

соу{^„Дт} = R^n - ту

Ковариационная функция R^Qn) обладает следующими свойствами, которые непосредственно вытекают из определения 3.3 и общих свойств ковариационной функции (см. и. 2.2).

Ковариационная функция R^n^ является неотрицательно- определенной^ т. е. для любого набора комплексных чисел ai, ..., ат и моментов времени ni, ..., пт Е Z, т ^ 1, имеет место неравенство

у^ у^ di^jR^^i — nj) о.(3-8)

г=1 j = l

Дисперсия D^ ССП £ постоянна и имеет вид

Д =Д(0)=М{|&|2} >0.

Ковариационная функция является эрмитовой, т. е. R^(—n) = = R^n^ для всех п Е X.

|^И1^(0) для всех п Е X.

Замечание. Если £ — вещественная ССП, то R^(п) — вещественная неотрицательно-определенная функция, в частности, R^n^ — четная, т. е. R^—n^ = R^(n).

Кроме ковариационной функции, которая относится к классу моментных характеристик (см. и. 1.4), при описании ССП используются также спектральные характеристики: спектральная функция и спектральная плотность.

Теорема 3.1 (Герглотц). Пусть R^n^ — ковариационная функция некоторой ССП ^ = Дп. п Е Z}. Тогда найдется однозначно определенная монотонно неубывающая вещественная функция F^(X), X Е [—тг,тг], непрерывная справа на [—тг,тг], F^—тг) = О, такая, что

Re(n) = j eiXndFeU^ neZ.(3.9)

Функция Д(А), определенная в теореме 3.1, называется спектральной функцией ССП £.

Если F^(X) при каждом А Е [—тг, тг] можно представить в виде

А

ЩА) = | Ш^(З.Ю)

то функция f^v) называется спектральной плотностью ССП £. В силу монотонности F^(X) выполнено f^(y) ^ 0, v Е [—тг,тг]. В этом случае из (3.9) следует

R^n^ — j eiXH^^6X, пЕХ.(3.11)

Заметим, что числа ^(п) равны коэффициентам разложения функции Д(А) в ряд Фурье по системе функций ^егХп, п Е X}, ортогональных на отрезке [—тг,тг]. Обратно, если ^ 1^(п)1 < °0’ то РЯД

Фурье с коэффициентами R^(n) абсолютно сходится к спектральной плотности ССП £ для любого А Е [—тг,тг]:

AW = ^ Е e'^R^n).(3.12)

Для дисперсии D^ = R^(0) справедливо следующее выражение через спектральные характеристики:

D^= j f^X)dX = F^.(3.13)

Замечание. Если £ — вещественная ССП, то спектральная плотность Д(А) также обладает свойством четности, те. Д(А) = Д(—А), А Е [—тг,тг].

Примеры С СП. Приведем примеры некоторых, наиболее часто встречающихся ССП.

Пример 3.1. Пусть ^п = ^0^(п), где М{£0} = О, D{£0} = 1 и д(п) — некоторая комплексная детерминированная функция. При каких условиях на д(п) последовательность {^п} стационарна? Определить ковариационную функцию такой последовательности.

Решение. Последовательность £ = {£n, пбД имеет

М{£п} = 0, cov{£n+/c, £/Д = д(п + к)д(к).

Следовательно, она будет стационарной в том и только том случае, если функция д(п + к)д(к) не зависит от к. Отсюда следует, что

д(п + к)д(к) = д^д^ V п ЕХ.

Таким образом, д(п + 1)/д(п) = д(О)/д(1) = а = const, поэтому

д^ = ^(0) ап.

Далее, поскольку D{£n} = D{£o} |#(0)|2|а|п = consC то Ы™ = Д| = 1 и существует число А € [—тг,тг), такое, что а = егЛ. Таким образом, последовательность случайных величин ^п = £о^(^) является стационарной, если ^(п) = ^(0) ап, т. е.

nez.

Тогда ее ковариационная функция

Ш = DRo} |5(0)|2е*Ап = |y(0)|2PAn. ■

Следующий пример обобщает предыдущий.

Пример 3.2. Пусть задан набор комплексных центрированных случайных величин {zi, ... ,z/v} С %, удовлетворяющих условию ортогональности, т. е.

!

сг? > 0 при г = Д

0 при г / j.

Пусть Ai < А2 < ... < А^ — некоторые числа из полуинтервала [—тг,тг). Случайная последовательность ^ = ^п^ п Е Х^ называемая почти периодической, определена соотношением

= Е zkeiXkn, nez.(3.14)

к=1

Показать, что последовательность ^ стационарна, и найти ее спектральные характеристики.

Решение. Последовательность £ центрирована, т. е. т^ = 0, а ее ковариационная функция имеет вид

cov{£n+m,£m} = ГЕ ZkelXk^n+m\ Е ZketXkm) = к = 1к = 1

N N N

= 52eiXim = 52 сг^егХкП = ^(п)?

к = 1 1 = 1к=1

т. е. зависит только от п. Следовательно, последовательность £ стационарна.

Введем функцию

ЩА) = Е ^(з-15)

к: Хк

которая, очевидно, удовлетворяет условиям теоремы 3.1. Тогда ковариационная функция R$(n) представляется в виде интеграла Лебега- Стилтьеса:

R^ = j eiXHdF^X\

В силу (3.9) это означает, что введенная в (3.15) функция F^X^ является спектральной функцией для ССП £. По построению F^(X) кусочно постоянна на [—тг, тг], причем Ai, ..., Xn — точки ее разрывов, a F^X^) — F^X^—) = д| — величины скачков. Таким образом, F^X) не является абсолютно непрерывной относительно меры Лебега, и, следовательно, спектральная плотность f^X) не существует. ■

Пример 3.3. Пусть s — последовательность некоррелированных случайных величин еП) п Е Z, т. е. М{е„} = 0, D{e„} =ЛЕ > 0 и

!

D£ при г = j,

О при г ф j.

Доказать ее стационарность, найти моментные и спектральные характеристики.

Решение. Последовательность е = {sn, пбД является стационарной, так как имеет ковариационную функцию

!

Ве при п = О,

О при п ф 0.

Воспользовавшись соотношением

7Г 2 л при п = 0,

eiX" d\ =

JI 0при п ф 0,

получим спектральное представление для ковариационной функции Я£(п):

Д(п) = J eiXnfeWdX,

где /е(А) = ^ — спектральная плотность ССП е = {en, п G Й. Тогда в соответствии с формулой (3.10) находим спектральную функцию ^(А) = §(А + тг). ■

Замечание. Последовательность е = {sn, n Е Z}, рассмотренную в примере 3.3, обычно называют стационарным дискретным белым шумом. При De = 1 белый шум называют стандартным. Мы показали, что спектральная плотность /е(А) последовательности е постоянна на отрезке [—тг, тг], что и послужило основанием для термина «белый шум», используемого в радиофизике, где белым шумом называется случайный сигнал с равномерным спектром.

Последовательность белого шума позволяет сформировать различные виды стационарных последовательностей.

Определение 3.4. Пусть е = {sn, n Е Z} — стандартный белый шум, а {а&, k Е Z} — последовательность комплексных чисел, таких, что

У |а*|2 < оо.(3.16)

Случайная последовательность £ = {£n, п Е Z} вида

^п = ^ ^к^п—к(3-17)

называется линейной ССП или последовательностью двустороннего скользящего среднего.

Если а^ = 0 при к < 0, т. е.

£п — ^ ^к^-п — кч(3.18)

к=0

то £ называется последовательностью одностороннего скользящего среднего.

Наконец, если а^ = 0 при к < 0 и к > р, т. е.

р

^п — ^ ^к^п—кч(3.19)

к=0

то £ называется последовательностью скользящего среднего порядка р.

Пример 3.4. Показать, что последовательности скользящего среднего действительно удовлетворяют условиям стационарности.

Решение. Достаточно рассмотреть случай последовательности двустороннего скользящего среднего, так как остальные являются ее частными случаями. В силу условия (3.16) ряд (3.17) сходится в среднеквадратическом смысле (с.к.-сходимость ряда обсуждается в §4). Очевидно, что

5^к-п — к — 5 ^ ^п — к^к'

к = — оок= — оо

Вычисляя ковариационную функцию с учетом свойства ортогональности сечений белого шума е, находим

^"^{^n+m^m} — ( 5 ^п~Ет — к^к > 52 ^т — к^к ) — кЕХкЕХ

— 5 у ^п-Ет — к^т — I ^кч^Й — 5 у ^ггЕт-кДт-к — 5 у ^"гг-Ек^к • кЦЕХкЕХкЕХ

Ряд 52 ап-Ек^к сходится, поскольку |ап+д,^/с| С an+fc ^—^ * Таким кЕХ

образом, показано, что £ = {£n, n Е Z} — стационарная последовательность с ковариационной функцией

^Д?Д — 5 ап-Ека'к-кЕХ

Спектральная плотность /ДА) ССП £ имеет вид

Мх) = 4- ILе tXnR$W = 4- ILе tXn IL an+kak =

пЕХnEXkEX

= ^IL e"ix^k4H+ke-^ak =

k,nEX

= ^ IL e lXm»me iXkak =

k^mEX

причем /ДА) интегрируема на [—тг,тг] в силу условия (3.16). ■

Спектральное представление ССП. Спектральное представление ковариационной функции определяет распределение «энергии» последовательности по частотам Аб [—тг,тг]. В случае почти периодической последовательности (см. пример 3.2) мы видели, что

сумме гармоник со случайными амплитудами соответствует дискретное представление спектра в виде ступенчатой функции со скачками в точках, где сосредоточен спектр, т. е. в точках разрыва функции F^(X\ Таким образом, почти периодическую последовательность можно представить как сумму гармоник со случайными амплитудами, т. е. такая последовательность имеет дискретный «случайный спектр». Оказывается, что любая С СП допускает такое спектральное представление со «случайным спектром», хотя в общем случае спектр уже не будет дискретным. Это представление весьма удобно в приложениях и основано на понятии интеграла по ортогональной стохастической мере (см. и. 14.9).

Теорема 3.2. Пусть £ = {£n, n G Z} — ССП с ковариационной функцией R^n^ соответствующей спектральной функции F^X\ Тогда существует такал ортогональнал стохастическал мера Z^(A), определеннал на борелевской сг-алгебре S([—тг,тг)) промежутка [—тг,тг), что имеет место представление

Сг = | e^Z^d\\Сг = | e^Z^d\\п Е Z,п Е Z,(3.20)(3.20)

Сг = | e^Z^d\\

Сг = | e^Z^d\\

п Е Z,

п Е Z,

(3.20)

(3.20)

причем ^(А) имеет структурную функцию вида

ЕДА) = М{^(А)|2} = | ЛДА), А е5([-тг,тг)).(3.21)

А

Замечание. Таким образом, F^X) является функцией распределения структурной функции Т^(А) ортогональной стохастической меры Z^(A), определенной на £([—тг,тг)). В частности, если А = = (од /3] С [—тг,тг), то Т^(А) = F^(P) — F^a^ а если к тому же F^X^ имеет плотность Д(А), то

Fz^ = j ^(А) dX.

А

Спектральное представление ССП играет важную роль в задачах линейного оценивания и прогнозирования случайных последовательностей. Это связано с тем, что результат любого линейного преобразования ССП можно представить с помощью стохастического интеграла по мере Z^(dX).

Определение 3.5. Если случайная величина £ является пределом в среднеквадратическом смысле некоторой последовательности случайных величин {£т}, образованных линейными комбинациями сечений ССП £ = {£n, п Е Z}, то будем говорить, что £ Е %(£).

Теорема 3.3. Пусть случайная величина ( Е 7/(^), где £ — ССП, имеющая представление (3.20) и спектральную функцию ^(А). Тогда существует такая функция Ф(А), А Е [—тг, тг], что ( допускает представление

С = j ф(А)^(</а),С = j ф(А)^(</а),(3.22)(3.22)

С = j ф(А)^(</а),

С = j ф(А)^(</а),

(3.22)

(3.22)

причем

j ^(A)|2<№€(A) < оо.j ^(A)|2<№€(A) < оо.(3.23)(3.23)

j ^(A)|2<№€(A) < оо.

j ^(A)|2<№€(A) < оо.

(3.23)

(3.23)

Замечание. Поскольку условие £ € %(£) означает, что £ является линейной комбинацией сечений С СП £ или с. к.-предел ом таковых, мы далее будем говорить, что £ является линейным преобразованием £. В свете этого утверждение теоремы 3.3 означает, что всякое линейное преобразование С СП £ может быть представлено в виде интеграла по стохастической мере от некоторой функции Ф(А), удовлетворяющей условию (3.23). Функция Ф(А) характеризует само линейное преобразование и называется его частотной характеристикой. Условие (3.23) означает, что

М{|<|2}= j |Ф(А)|2 сУДА) < оо.

Теперь мы можем ввести понятие линейного стационарного преобразования ссп.

Определение 3.6. Пусть ССП £ = {£n, п Е Z} имеет спектральное представление (3.20). Если последовательность £ = {£n, ^ Е Z}, допускает представление

Д = j е’А”Ф(А) Z^AXV(3.24)

с некоторой функцией Ф(А), удовлетворяющей условию (3.23), то говорят, что последовательность £ получена из ССП £ с помощью стационарного линейного преобразования.

Прим ер 3.5. Показать, что последовательность £ = {£n, п Е Z}, определенная в (3.24), является стационарной.

Решение. Вычислим ковариацию сечений (т и £n, т, п Е Z пользуясь свойствами интеграла по ортогональной стохастической

мере (см. п. 14.9):

соу{<тЦп} = (<m,Q = ( j егЛтФ(А)^(Д), | eiXn^(X)Z^dX^ =

= j е^тФ(А) е®ЛпФ(А) dF^X) = j e^t™”") |Ф( A) |2 dF^X) = R^m-n),

что вместе с равенством M{£n} = М| j егЛпФ(А) Z^dX)| = 0 доказывает стационарность (. Итак, последовательность, полученная в результате стационарного линейного преобразования С СП, также является стационарной. При этом условие (3.23) означает, что М{КП|2} < сю, т. е. случайная последовательность £ действительно существует. ■

Моментные и спектральные характеристики последовательностей (и ( связаны некоторыми аналитическими соотношениями, о чем говорит следующее утверждение.

Теорема 3.4. Последовательность (, полученная из ССП Е с помощью линейного преобразования (3.24), является стационарной с ортогональной стохастической мерой Z^dX), спектральной функцией Т^(А) и ковариационной функцией К^(п)^ которые удовлетворяют соотношениям

Z^dX^ = Ф(Х)г^Х),

А7Г

ЩА) = j |Ф(А)|2^(А),R<» = j е^|Ф(А)|2^(А).

Если Е имеет спектральную плотность f^X^ то ( таксисе имеет спектральную плотность f((X)^ причем

/ЦАМФЩДЦА).

Соотношение (3.24) описывает линейное преобразование последовательности в спектральной области. Однако как показывает следующий пример, этому представлению может соответствовать и представление во временной области.

Пример 3.6. Пусть стационарному линейному преобразованию с частотной характеристикой Ф(А), удовлетворяющей условию

j |Ф(А)|2</Аj |Ф(А)|2</А< оо,< оо,(3.25)(3.25)

j |Ф(А)|2</А

j |Ф(А)|2</А

< оо,

< оо,

(3.25)

(3.25)

подвергается стандартный дискретный белый шум е = {еп, п Е X}. Показать, что полученная ССП £ = {£n, n Е Z} допускает представление в форме двустороннего скользящего среднего. Найти спектральную плотность f^X).

Решение. Условие (3.25) равносильно условию (3.23), поскольку

^(А) = (см. пример 3.3). В силу (3.25) функция Ф(А) допускает 2я

разложение в ряд Фурье на отрезке [—я, я]:

Ф(А) = £

7Г

Мт) = Е eiAm$(A) dX.

2я J

Если Z^dX) — стохастическая мера в спектральном представлении белого шума е, то соотношение (3.24) для £ записывается как

£„= j е<АпФ(А)Т£(Д) = £ Цт) j e^-^Z^A) =m=-oo

= V Мт)£п-т,

что соответствует представлению в форме скользящего среднего (3.17). Тогда в силу теоремы 3.4 спектральная плотность последовательности £ имеет вид

Л(А) = ^|Ф(А)|2,

так как Л (А) = 1/2я — спектральная плотность стандартного белого шума е. ■

Задачи для самостоятельного решения.

Показать, что если «к, Зк — действительные некоррелированные слу

чайные величины, M{ofc} = М{Д} = 0, D{ofc} = П{Д} = сг^ ^2 ^к < 00, k=i

то последовательность

^п = ^2 (ак cos Хктг-\-3к sin Хктг) п Е X, k=i

является стационарной. Найти ковариационную функцию Н^тр.

Указание. Показать, что СВ ^п допускает представление ^п = = J2 zkeXkT\ где Х-к = -Хк, zk =^, г_к = ^к при к > 1, z0 = О,

причем ^Zk, к Е Z} — некоррелированные.

Ответ. R^ (п) = ^2 а-к cos ХкП.

k=i

Пусть СВ О имеет равномерное распределение на [—тг,тг], а СВ q распределена по закону Af(O; 1) и не зависит от 9. Показать, что последовательность

ту, если п = О,

ег6ту если п ^ О,

является стационарной. Найти ее ковариационную функцию и спектральную плотность.

Ответ, т^ = 0, R^(n) =Ответ, т^ = 0, R^(n) =1 при п = 0,1

Ответ, т^ = 0, R^(n) =

Ответ, т^ = 0, R^(n) =

О при тг 0,2тг

Пусть ( — С СП, полученная из £ с помощью линейного преобразования с частотной характеристикой Ф1(А), а ту — ССП, полученная из £ с помощью линейного преобразования с частотной характеристикой Ф2(А). Показать, что ту может быть найдена из £ с помощью линейного преобразования с частотной характеристикой Ф2(А)Ф1(А).

Найти частотную характеристику преобразования ССП У в последовательность

X(n) = |(У(п) + У(п - 1) + У(п - 2)).

Ответ. Ф(А) = ^ (1 + е“’л + е-2гЛ).

Пусть ^п = соз(пту + 9У где 0 — случайная величина, равномерно распределенная на [0,2тг], а ту не зависит от 0 и имеет некоторую функцию распределения G^xy Показать, что £ = {£n, п Е Z} — вещественная центрированная ССП.

Пусть 0 < а < тг. Показать, что

^(тт) = <^(тт) = <sin атгsin атг7ГП7ГПпри п = О, при п ^ Опри п = О, при п ^ О

^(тт) = <

^(тт) = <

sin атг

sin атг

7ГП

7ГП

при п = О, при п ^ О

при п = О, при п ^ О

есть ковариационная функция некоторой ССП. Найти спектральную плотность этой последовательности.

Указание. Показать, что R^(n) = ^| егЛп с/А, откуда следует, что последовательность с ковариационной функцией R^^n) есть линейное стационарное преобразование белого шума с частотной характеристикой

Г 1 при |А| < а,Ф(А) = <, ,

( 0 при |А| > а.

11Ответ. /фА) = <Ответ. /фА) = <2тгО2тгОпри |А| ^ а, при |А| > а.при |А| ^ а, при |А| > а.

1

1

Ответ. /фА) = <

Ответ. /фА) = <

2тг

О

2тг

О

при |А| ^ а, при |А| > а.

при |А| ^ а, при |А| > а.

Найти ковариационную функцию R^^ti) ССП, имеющей спектральную плотность /ЛА) = -—

7Г2

Указание. Воспользоваться формулой (3.11).

!

1при п = О,

2(—1)п.

-——- при и + 0.

Пусть ф £ — некоррелированные ССП (т. е. cov{^,(m} = 0 при всех щт 6 Z) со спектральными функциями F^Xy Е^Х). Показать, что Хп = = Ф, + ф, есть ССП, и найти ее спектральную функцию Ех(Х).

Ответ. Ех(Х) = Е^Х)Е Е^Х).

Пусть ф £ — ССП, удовлетворяющие уравнениям

фг СК фг —1 — ^п )фг СК фг —1 — ^п )фгCV^n —1 — фг Т £п?фгCV^n —1 — фг Т £п?

фг СК фг —1 — ^п )

фг СК фг —1 — ^п )

фгCV^n —1 — фг Т £п?

фгCV^n —1 — фг Т £п?

где |а| < 1 — неслучайная постоянная, а е1, £2 — некоррелированные последовательности белого шума. Найти спектральную плотность ССП ф

Указание. Обозначим Z1 (dX), Z2(dX) ортогональные стохастические -12

меры в спектральных представлениях последовательностей е и £ соответственно. Тогда ортогональная стохастическая мера, соответствующая последовательности ф равна

Z^dX^ =Z^dX^ =ZX(^A) + Z2(dA)

Z^dX^ =

Z^dX^ =

(1 — ае-гХУ 1 — ае-гХ ’

откуда с учетом некоррелированности последовательностей е1, е2 находим

ответ.

Ответ. /С(А) = ——- + ——^.

2тг|1 — ае гАд 2тг|1 — ае гА|2

Используя спектральное представление, показать, что случайная последовательность £ = {£n, n 6 Z}, удовлетворяющая соотношению

фг Т ^1фг —1 Т • • • Т bq^n_q — ClQEn Т П1£п—1 Т • • • Т dp^n-p-)

при определенных условиях на многочлен Q^ = l+biz+.. .Ebqzq является линейным преобразованием стандартного белого шума £ = {en, n 6 Z}. Найти эти условия, определить спектральную плотность ССП ф

ции —-— вОтвет.ции —-— вОтвет.А (А) = 4А (А) = 4Указание. Показать, что £ имеет представление в виде одностороннего скользящего среднего (3.18), где ак — коэффициенты разложения функ- ряд Тейлора в единичном круге, а Р^ = 1 + сцг + ... + apzp. Если корни многочлена Q^z) лежат вне единичного круга, то 2

ции —-— в

Ответ.

ции —-— в

Ответ.

А (А) = 4

А (А) = 4

С(е-гЛ)

Линейные преобразования случайныхпоследовательностей

Линейные преобразования последовательностей общего вида.

Определение 4.1. Случайная последовательность ^т]п, п Е Z} называется линейным преобразованием случайной последовательности {^, к Е Z} с весовой последовательностью {сп^ п,к Е Z}, если при каждом п Е Z

Здесь и далее сходимость ряда (4.1) понимается в среднеквадратическом смысле:

м

Лп = l.i.m. 52 спк£к-(4.2)

’°° k=-N

Соотношение (4.2) можно записать следующим образом:

МЩП- 52 с»аЩ } ^ 0 ПРИ N,M^oo. (4.3) k=-N

Очевидно, что преобразование {77^} существует, если выполнены соотношения (4.2) или (4.3), поэтому на {сп^} и {^} должны быть наложены некоторые условия, гарантирующие, что выражение (4.1) имеет смысл.

Определение 4.2. Случайная последовательность {^} называется гильбертовой, если М{|^|2} < ос для всех к Е Z.

Для гильбертовых последовательностей при к, I Е Z существуют

т^к-) = М{Щ

Д(М) = соу{ДД/} = м|(Д -m^k^^t - m^Z))},

ДИ = <7^ = R^k, к) = М{|Д - те(к)\^ .

Пример 4.1. Доказать, что {77^} существует тогда и только тогда, когда сходятся следующие числовые ряды:

ЛИ = 52 CTikm^k) и Л(п) = 52 спкс5,Н^к,1\ (4.4) к= — сокД = — ос

5 Б.М. Миллер и А.Р. Панков

Решение. Очевидно, что достаточно рассмотреть условия схо

димости ряда (п = У^ сп^^. Покажем, что при выполнении (4.4) по- к=0к

следовательность случайных величин S^ = У^ спк^к является фунда-

к=0

ментальной в среднеквадратическом смысле, т. е. M^S^ — S^|2} —> О

при К. L —> ос. Действительно, при L > К

M{|S^-S^|2}=M£ спкЦ = 53 с^слм{едг} =

&=К+1J k1l=K-\-Y

L L

=52 cnkCni (m^(k)m^l) + R^kJ)) =52 c„fec^ m€(fc)me (Z) +

k,l=K+lk,l=K+l

LI12

4" ^ cnkcni R^k.l) =^ cn& Ш£(/c) + ^ cnkcnlR^kJ) = I

k,l=K^lk=K+lk,l=K^l’

Если выполнено (4.4), то IK L —> 0 при K^L ^ ос, что означает: М{|5^-^|2}^0 при RL-Д ос. В силу свойств с.к.-сходимости (см. и. 14.4) последовательность {S^} сходится в среднеквадратиче-

Коо

ском смысле к пределу Cn = 14.m. у^ cnk^k = У2 с^Е,к- k=Qk=Q

Наоборот, если (п существует, то

M{Kn|2}=D{Cn} + |M{Cn}|2<oc, но

■^{Сп} — Пш ^ ^ cnkcniR^(kJ) — ^ ^ cnkcniR^(kJ) <2 ос, L^°°k,l=oк,1=0

I12I 0012

1М{С}|2 = lim 52 c»fem6(fc) = 52cnkm£(fc) < °°,L^°°'k=o''к=о1

что означает сходимость рядов (4.4). Таким образом, если ряды (4.4) сходятся, то Mtl^l2} < ос и, более того, мы получили соотношения для математического ожидания и дисперсии СП т]п:

М{7?„} = Ii(n), D{??n} =/2(п),

где /i(n), Ь(^) определены в (4.4). ■

Используя некоторую дополнительную информацию о СП {^п}, можно несколько упростить условия (4.4).

Пример 4.2. Пусть известно, что M{|^n|2} ^ К2 для всех n G Z. Доказать, что в этом случае для существования линейного преобра

зования т]п (4.1) достаточно, чтобы У^ \сп^\ < ос для всех n G Z.

Решение. Так как М{|^|2} = сг^к) + |ш£(&)|2 < К\ к 6 Z, то ^(^) С К и |ш£(&)| ^ К. Известно, что |В£(АД)| ^ ст^к^сг^1\ тогда

^ ^TtkE-nlR^ (^? О | С ^| спк 11 Сп1|<Д (^)^ (О —

/с,/ = —оскД = — ос

Таким образом, ряд I^ti) в (4.4) сходится абсолютно и, следовательно, сходится. Аналогично,

< ОС,< ОС,^| С-^m^ (^) | К ^ ^ |сп^|

< ОС,

< ОС,

к= — оск= — оо

поэтому сходится ряд ТДп). Итак, существование цп теперь следует из результатов примера 4.1. ■

Рассмотрим примеры важных для практических приложений линейных преобразований.

Пример 4.3. Вещественная СП {^, к ^ 0} определена соотношением ^ = 9 -V е^ где 9 — случайный параметр с М{#} = те и D{#} = De- {s^} — центрированный дискретный белый шум, такой, что D{e&} = D^ ^ D. причем параметр 9 не коррелирует с {е/Д. СП {^} подвергается преобразованию осреднения:

п > 0.п > 0.(4-5)(4-5)

п > 0.

п > 0.

(4-5)

(4-5)

Вычислить М{цп}, В{цп} и найти lim В{цп}.

Решение. М{^} = те и D{^} = De + D^ < De + D. Поэтому M{^} ^ De + D + m^ = К < ос. Так как сумма в (4.5) содержит конечное число слагаемых, условия примера 4.2 выполнены. Таким образом, М{ц2} < ос при каждом п ^ 0, причем М{цп} = Д(п)

и В{цп} = 12И, где

11 (п) =11 (п) =V те = те; и +1 к=V те = те; и +1 к=R^kJ) =R^kJ) =Do + DkDeDo + DkDeпри к = Ц при к Д I;при к = Ц при к Д I;

11 (п) =

11 (п) =

V те = те; и +1 к=

V те = те; и +1 к=

R^kJ) =

R^kJ) =

Do + Dk

De

Do + Dk

De

при к = Ц при к Д I;

при к = Ц при к Д I;

Заметим, что в силу Dk ^ D имеем

при п —> ОС.при п —> ОС.1 пD

при п —> ОС.

при п —> ОС.

De < ^W < De + с— .2 У^ D = De Н—- —> De

Vй + И ГДn + 1

Таким образом, В{цп} —> De при п —> ос. ■

Для того чтобы прояснить прикладной смысл полученного результата, рассмотрим процедуру линейного оценивания случайного вектора ц по вектору наблюдений ф

Определение 4.3. Оценка rj = <Д£) называется линейной среднеквадратической оценкой для ц по £, если р — линейное преобразование. Точность оценки характеризуется среднеквадратической погрешностью А = М{|ц — ц|}.

Пример 4.4. Доказать, что цп, определенная в (4.5), является несмещенной линейной оценкой для 6, погрешность которой можно сделать сколь угодно малой.

Решение. Преобразуем формулу (4.5):

k=Qk=Qk=Q

1п + 11п + 1п 1У^ £к г = 0, так как М{е^} = 0, и к=оп 1У^ £к г = 0, так как М{е^} = 0, и к=о

1

п + 1

1

п + 1

п 1

У^ £к г = 0, так как М{е^} = 0, и к=о

п 1

У^ £к г = 0, так как М{е^} = 0, и к=о

У^ Ek представляет собой случай- к=0

д^мЦ^в^

D

п + 1

—> 0 при

п -д ос,

что следует из результата примера 4.3. Итак, М{цп — 0} = 0 для всякого п ^ 0 (несмесценностъУ а Ап = М{|цп — #|2} -д 0 при п -Д ос (состоятельность). ■

Замечание. Если в примере 4.4 параметр 6 является неслучайным (т. е. Dg = 0), то результат, сформулированный выше, принимает следующий вид:

52 т$ ПРИ п(4-6)

п + 1 к=0

где т^ = М{^} = ^- При этом утверждение (4.6) называют законом больших чисел.

Рассмотрим вещественную СП {£п}, являющуюся процессом наблюдения, формируемым по следующей схеме:

Ск = ^Х) + ек, kez,(4.7)

где ^(^) — полезный нестационарный случайный сигнал, а {еД — центрированный белый шум с постоянной дисперсией D{e^} = О£ > 0.

Для оценивания сигнала ^(^) СП {^} подвергается преобразованию, которое называется фильтром экспоненциального сглаживания и имеет вид

Лп = «Лп-1 + 3 - «Нп, neZ,(4.8)

где а € [0,1) — параметр фильтра.

В следующем примере исследуются характеристики точности фильтра экспоненциального сглаживания (4.8).

Пример 4.5. Предположим, что в модели (4.7) полезный сигнал имеет вид р(к) = 01 + ^2^, где ^i, #2 — случайные параметры с известными средними те_^ те^ и дисперсиями D е^ D е^ причем {^1, #2} не зависят от {е/Д. Найти с.к.-погрешность оценки цп сигнала р^к^ определяемой уравнением (4.8).

Решение. 1) Покажем, что (4.8) является линейным преобразованием вида (4.1):

Чп= a (a??n-2 + (1 - a)€n-i) + (1 - a)G =

(1 оО (£п 4“1) 4“ ^ Лп—2• ■ •(1^) ) ^ ^п—к-

к=0

причем полученный ряд с.к.-сходится в силу |а| < 1.

2) Рассмотрим действие полученного линейного преобразования на СП {^п} вида (4.7):

Лп = (1 - а) 52 “к^ + 6^п - *0) + Г - а) 52 акеп-к = Д1} 4- Д2\ к=0k=Q

чД = (1 - а^ву + 02n) 52- (1 - а)02 52 ак^"

к=0к=0

Учитывая, что У^ ак = (1 — а) 1 и (1 — а) У^ ^ак = а(1 — а) \ по- к=0к=0

лучаем т]п^ = ^(п) 4—у #2- Отсюда в силу независимости #2 от {сп} находим

Окончательно получаем

21

△« - (^Л1р н + ^) + ^De = AW + А)2' = f(a\

Заметим, что Ап1) — результат искажения фильтром полезного сигнала р^п^ a A^ — остаток от шума наблюдения {е^}- Интересно, что при а —> 0 А™1) —> 0, но тогда А^ —> Л£, а при а —> 1 А^ —> 0, но А™1) —> ос. Очевидно, что параметр а может быть выбран оптимальным образом из условия а = arg min f(a\ ■

аЕ[0,1)

Линейные преобразования стационарных СП. Пусть известно, что {^, к Е Z} — стационарная вещественная СП с характеристиками: М{^} = cov{^)6} = R^k — Z), D{^} = ^(0) > 0. Пусть также задана некоторая числовая последовательность {ст}.

Определение 4.4. Случайная последовательность {т/п } называется стационарным линейным преобразованием случайной последовательности {^} с весовой последовательностью {ст}, если

Лп =Лп =Ст 6,1Ст 6,1П ЕХ.П ЕХ.(4-9)(4-9)

Лп =

Лп =

Ст 6,1

Ст 6,1

П ЕХ.

П ЕХ.

(4-9)

(4-9)

Замечание. Ранее в п. 3.3 изучались линейные преобразования в спектральной (частотной) форме. Соотношение (4.9) дает явное представление преобразования во временной области. Частный случай такого преобразования рассмотрен в примере 3.6.

Для существования преобразования (4.9) достаточно, чтобы выполнялось условие

У кт| < ОО,(4.10)

что следует из результата примера 4.2.

Пример 4.6. Пусть выполнено (4.10). Доказать, что СП {цп}, определяемая в (4.9), является стационарной.

Решение. Покажем, что М{цп} = т^ и соу{цп, цт} = R^n — m) при любых целых т, п:

М{цп} = м{ У ст^п_т j> =

= ^ ст ]VE{^n_m} = т^ ^ ст = т^. т= — сют= — оо

Далее,

Г 0000

со v {г/,,,//,,,} = cov| у <Д„-Р. у сДт_81 = р= —ООs = — ОО

= У cpcs cov{^n_p Дт_8} = у cpcs R^n - т + s - р) = р18 = — ООр18 = — ОО

= R^n — т\

Таким образом, СП {цп} стационарна по определению. Заметим, что П{ц} = ^(0) = у^ cpcsR^s — р\ Обоснованность внесения оператора математического ожидания и ковариации под знак суммирования следует из примеров 4.1, 4.2 и условия (4.10). ■

Замечание. Если весовая последовательность {ст} такова, что ст = 0 при всех т < 0, то стационарное линейное преобразование (4.9), имеющее вид цп = У^ cm£n_m, называется физически реа- т=0

лизуемым (фильтром\ поскольку в этом случае выходной сигнал уп зависит лишь от прошлых значений входного сигнала ^ при к ^ п.

Пример 4.7. Пусть при некотором Д| < 1 последовательность {цп} удовлетворяет рекуррентному уравнению:

^n=^n-l+€n, nE^,^n=^n-l+€n, nE^,(4.11)(4.11)

^n=^n-l+€n, nE^,

^n=^n-l+€n, nE^,

(4.11)

(4.11)

где {^п} — вещественная ССП. Показать, что (4.11) является линейным стационарным фильтром, и найти моментные характеристики СП К}.

Решение. Непосредственно из результатов примера 4.5 следует

>7™ = Е «Х-к, nez,(4.12)

к=0

где Ск = ак. Тогда ^ \ск\ = 52 Ы^ = ■;—п—г < °0? т. е. условие (4.10) к=о к=о 1

выполнено.

Опираясь на результаты примера 4.6, находим, что выражения

(4ЛЗ)

к=0

R^n — т) = Е ар+8К$(п — т + s — р),(4-14)

D^R^O)^ £ aP+sR^s — p)(4.15)

определяют математическое ожидание, ковариационную функцию и дисперсию СП {цп}. ■

Особый интерес представляет случай, когда фильтруемая СП {^п} является белым шумом. При этом соотношения (4.14), (4.15) можно существенно упростить.

Пример 4.8. В условиях примера 4.7 рассмотреть случай, когда {^п} — стационарный белый шум.

Решение. По определению белого шума R^s—p) = 0, еслир 7^ s, поэтому из (4.15) следует

ООп

Dn=^ a^D^ =

Пусть теперь m^nnZ = n — т, тогда

R^n-m) = R^l) = Е a2s+lD4 = alD^a2s = alDn.p — s=ls=0

Аналогично, если m > n, то R^tJ) = R^-l) = а-1Вл. Объединяя оба решения, находим R^n — m) = а\п-т\Вл. ■

Определение 4.5. Комплексная функция Ф(А) действительной переменной А 6 [—я, я], определяемая соотношением

Ф(А) = £ cme"iXm,(4.16)

называется частотной характеристикой линейного стационарного преобразования (4.9).

Замечание. Нетрудно проверить, что Ф(А), определяемая выражением (4.16), совпадает с частотной характеристикой, использованной в (3.24) для спектрального представления линейного стационарного преобразования (см. также пример 3.6).

Пример 4.9. Доказать, что Ф(А), А 6 [—я, я], существует, если выполнено условие (4.10).

Решение. Покажем, что при каждом А Е [—я,я] ряд (4.16) сходится абсолютно.

I ОО|ОООО

|Ф(Д)| = | 52 .„ЯД 52 Kdl^^l = Е Ы<оо,

т= — оот= — оот= — оо

так как |е-гЛт|2 = COs2 Хт + sin2 Хт = 1. ■

Зачастую преобразование (4.9) задается неявно (см. пример 4.7), поэтому для вычисления Ф(А) удобно воспользоваться следующей формулой, вытекающей непосредственно из (4.16):

ад = ^£Т(4-17)

где Ь^егХт^ — результат линейного стационарного преобразования неслучайной последовательности хт = егЛт, т ЕХ.

Частотная характеристика Ф(А) позволяет вычислить спектральную плотность преобразования СП {£т} (см. теорему 3.4).

Пример 4.10. Пусть стационарная СП {£т} имеет спектральную плотность Д(А), А Е [—я,я]. Доказать, что СП {цп} вида (4.9) при условии (4.10) также имеет спектральную плотность fq(X):

/,(А) = |S«/t(A).(4.18)

Решение. Рассмотрим случай, когда ^ 1^(п) | < °0- Тогда в силу представления (3.12) Д(А) = я- ^2 ^(^)е-гАп> причем ковариационная функция R^^n) имеет вид (см. пример 4.6)

Rq(n) = У^ CpCsR^H + 8 — р).

p,sE^

Тогда спектральная плотность f-q(X) может быть представлена в виде

= 2^ Т Г CpCs R^n + s - р)е"гХп = пЕХ p^sEX

= 52 срс8 гХ8е"^ А 52 R5(l)e-*xl =

p^sEXlE^

= Ф(А)Ф(А)Д(А) = |Ф(А)|2/^(А). ■

Проиллюстрируем применение формулы (4.18) для модели преобразования, рассмотренной в примере 4.7.

Пример 4.11. Пусть линейное преобразование задано рекуррентной формулой (4.11), где {£п} — центрированная СП с ковариационной функцией ^(n) = D^P^, \Р\ < 1. Найти спектральную плотность СП {цп}.

Решение. По формуле (3.12) имеем

№ =12 RMe"iXn = ^ £ 6-^1 =

п= —ООп= —ОО

= ^k .=^(1~^)(д 1ОА

2тг |1 —^е-^!22тг(1 +/З2 — 2/3 cos А)

Найдем теперь частотную характеристику преобразования

Лп = ат)п-1 + £„•(4.20)

Для этого рассмотрим соотношение (4.17) для случая, когда L0 задается уравнением (4.20). Тогда

Ф(А)е*А" = а(Ф(А)еи("-1)) + eiXn,(4.21)

откуда, сокращая на егХп обе части (4.21) и выражая явно Ф(А), получаем

ф(А) = тД^ и 1ф^12 = тт^£^А-

Теперь, используя формулы (4.18) и (4.19), находим

2тг(1 + о2 — 2о cos А)(1 +/З2 — 2/3 cos А) *

Линейное прогнозирование стационарных последовательностей. Пусть £ = {£n, nEZ} — центрированная ССП с ковариационной функцией ^(п) и спектральной функцией F^X).

Определение 4.6. Пространством Н^), порожденным случайной последовательностью ^ называется совокупность всех случайных величин, являющихся конечными линейными комбинациями сечений СП £ или с.к.-пределами таковых.

Элементами пространства %(£) являются линейные преобразования СП £ (см. и. 3.3).

Для любых v, у 6 Н^) можно определить скалярное произведение и норму:

(v, у) = М{г/ц} ,

НИН (м{м2})1/2 = (ьО1/2-

В этом случае пространство %(£) — гильбертово и является подпространством гильбертова пространства 7/ случайных величин с конечным вторым моментом (см. п. 14.7). Будем также говорить, что Н^) порождено ССП ф

Предположим, что до момента т включительно ССП £ доступна наблюдению, т. е. ^т = {£m,£m-i, ... } — наблюдаемый случайный элемент (наблюдаемая часть ССП £). По аналогии с Н^) введем гильбертово пространство 7/(£т), порожденное только наблюдаемой частью ССП ф Очевидно, что ?/(£m) С Н^).

Определение 4.7. Наилучшим линейным среднеквадратическим прогнозом (с.к.-оптимальным прогнозом) для £m+n, п ^ 1, по наблюдениям Дп называется случайная величина у Е H^E,m)^ такая, что

IIU+п - 77II2 < IIU+n - уII2 v7 е

Далее наилучший линейный прогноз у будем обозначать Е,п^т. Точность прогноза характеризуется величиной среднеквадратической погрешности (с.к.-погрешности):

= ll^n+m — €n+m|| = •

Заметим, что в силу стационарности последовательности £ ошибка прогноза не зависит от т, а зависит лишь от п, т. е. от числа шагов «вперед», на которое прогнозируется ССП ф

Определение 4.8. ССП £ называется сингулярной, если сг^ = О при всех п ^ 1. Если же а^ D^ = R^O) при п ос, то ССП £ называется регулярной (или чисто случайной).

Замечание. Сингулярность £ означает, что она абсолютно точно прогнозируется на любое количество n > 1 шагов по своему прошлому ^т. Поэтому сингулярные последовательности также называ-

ют детерминированными. Наоборот, регулярность последовательности означает, что £m+n С'К' > МЦп+т} = 0 при п ос, т. е. прогноз становится тривиальным.

Оказывается, что всякая стационарная случайная последовательность единственным образом может быть представлена в виде суммы сингулярной и регулярной последовательностей.

Теорема 4.1. Пусть $, — ССП, тогда она единственным образом представляется в виде

^n=^+^, n е Z,(4.22)

где ^ — сингулярная часть ССП, а ^ — регулярная часть ССП, причем ^^т) = cov{^,^} = 0 при любых п, т, а таксисе

В^У) с ХИ ^ ЖТ) ^ ЖУ пЕХ,

т. е. ССП {^} и {^} подчинены ССП {^п}.

Представление £ в виде (4.22) называется разложением Вольда.

Для описания структуры регулярной ССП нам понадобится понятие обновляющего процесса.

Определение 4.9. Центрированный стандартный дискретный белый шум е = Цп}, М{еп} = 0, cov{en,Ет) = ^ называется обновляющим процессом для ССП £, если при каждом п Е X

Xn = WnY(4.23)

где еп = {еп,еп_1, ... }, а ^ = 0 при п ^ т и ^ = 1 (символ Кронекера) .

Таким образом, обновляющий процесс е есть совокупность ортогональных величин, порождающих те же пространства наблюдений /Н(еп), п Е X, что и сама ССП £.

Теорема 4.2. ССП £ является регулярной тогда и только тогда, когда найдутся обновляющий процесс Цп} и коэффициенты {п&}, такие, что

(,п — ^ ^k^n-k 7 П Е X,к=0

где У^ |п&|2 < ос.

к=0

Критерий регулярности, использующий спектральные характеристики ССП £, имеет следующий вид.

Теорема 4.3. ССП ^ регулярна тогда и только тогда, когда £ имеет спектральную плотность XX), причем XX) > 0 почти всюду (по мере Лебега) на [—я, я] и

| In/ДА) dX > —сю.

Замечание. Если £ имеет кусочно постоянную спектральную функцию F^X), то она сингулярна. Например, если (см. пример 3.2)

6г = Е zkeiXkn, nelк=1

где {^} — некоррелированные случайные величины, а А& — различные точки полуинтервала [—я, я), то F^X) имеет вид

ЩЧ = Е ^, гДе <72=М{Ы2}.(4.24)

к : А^ А

Эта функция имеет N разрывов первого рода в точках {АД и постоянна на каждом промежутке [А^, А&+1). В этом случае спектральная плотность Д(А) не существует, что означает сингулярность ССП ф

Пример 4.12. Вещественная ССП £ = {£п} удовлетворяет уравнению авторегрессии первого порядка:

^п — ^^,n — l Т Eni^,

где |а|<1, s = {sn} — стандартный дискретный белый шум. Доказать, что £ — регулярная ССП.

Решение. При каждом п выполнено равенство еп = ^ — a£n_i, поэтому Ч^ CH^Y С другой стороны, из примера 4.7 следует, что

£п — ^ ^к^п—кч(4.25)

к=0

где а к = ак причем Е Ы2 = Д .—— < сю. Кроме того, из (4.25) сле

дует, что F^) С 7/(еп). Итак, 7/(en) = F^Y т. е. е — обновляющий процесс для последовательности ф Теперь в силу теоремы 4.2 ССП £ является регулярной. ■

Теперь мы можем описать общий вид с.к.-оптимального линейного прогноза для £n+m по наблюдениям /Н^т\

Теорема 4.4. Пусть я^^ — оператор ортогонального проектирования на подпространство 34YE,mY тогда случайная величина

£m+n =^i^m^ (£m+n)(4.26)

является с. к.-оптимальным линейным прогнозом для Е.т^п по наблюдениям = {^тДт-1, . . . }.

Замечание. Свойства оператора ортогонального проектирования рассмотрены в пн. 13.8 и 14.7.

Пример 4.13. Пусть ^п = 52 ак£п-Ь гДе {^п} — обновляющий к=0

процесс. Показать, что

^m+n — 5 ^ ^к£т-\-п — к-

Найти с.к.-погрешность сг^ прогноза Ет^п-

Решение. Без ограничения общности можно считать, что т = 0:

ООп— 1ОО

€п = 5 ^к^п — к = 5 ^к^п — к 4" 5 С1^6п_к = ^ ^ 4" ^ 2 к=0к=0к=п

Очевидно, что Еп^ G ^/(е0), а ^^ Т 7/Д0), так как cov^™1), ц| = 0 для любой СВ ц 6 %(е°) в силу того, что е — белый шум.

Так как е — обновляющий процесс, из (4.23) следует 4/(е°) = %(£°). Таким образом, £п — Еп*^ 4- 7/(£°), т. е. Еп^ = ^^(^о^^) (см. и. 14.7). Тогда из (4.26) Еп = Еп\ что и требовалось доказать.

Для нахождения сг^ заметим, что

= ПСп - U2 - П^П2 = м{| £ ЙМ|2}.

к=0

Учитывая, что е^ Т Ej при г 7^ j и М{|^|2} = 1? получаем

1

д = Е Ы2-

к=0

Заметим, что сг^ —> ^ |(^|2 = М{|£„|2} = D^ при п -^ сю, т. е. прогноз к=0

действительно становится тривиальным. ■

Пример 4.14. В условия примера 4.12 найти Еп по наблюдениям

Решение. Так как Еп = 52 ак£п-к^ где ак = схка {еп} — обно- к=0

вляющий процесс, то в силу примера 4.13 имеем

Еп — 5 у ^к^п — к — а 5 у ак£ — к — °L ^q.к=пк=0

п-1. 2п

Р X2 кО

является с.к.-погрешно-= D^ при п -^ сю. ■является с.к.-погрешно-= D^ при п -^ сю. ■При этом величинаv а = ——

является с.к.-погрешно-

= D^ при п -^ сю. ■

является с.к.-погрешно-

= D^ при п -^ сю. ■

к=0-

стью прогноза Еп- Здесь также сг^ ^

Рассмотрим способ построения прогноза для сингулярной ССП на примере почти периодической ССП (см. пример 3.2).

Пример 4.15. Построить с.к.-оптимальный прогноз для £i по наблюдениям £° в случае сингулярной последовательности {^п} из примера 3.2.

Решение. По условию

= Е zkeiXkn = [ eiX"Z^dX\

—7Г

Пусть Ф(А) — искомая частотная характеристика, дающая с.к.-оптимальный прогноз на один шаг:

6 = j е®лФ(А) z^axy

С.к.-погрешность этого прогноза имеет вид

= M{|Ci - £i|2} = [ |eiA(l - Ф(А))|2 ^(А) = Е |1 - Ф(АЙ|2^,

— 7Г

где Dj. = М{|^|2}, a F^(X) — спектральная функция ССП £п (3.15). В силу сингулярности прогнозируемой последовательности а^ = О, поэтому найдется Ф(А), такая, что

Ф(А^) = 1, к = 1, ...,7V.

Будем искать функцию Ф(А) в виде

ф(А) = ^Га1е"ш,

1=1

тогда для определения коэффициентов {«/} необходимо решить систему уравнений

N

^aie~iXkl = 1, к = 1,(4.27)

1=1

Нетрудно проверить, что решение {2/} системы (4.27) существует и единственно, если А& ф Xj при к ф j, что и предполагается по условию.

Теперь мы можем найти окончательное выражение для ^:

€1 = [ e^^ate-^1 Z^(dX) = ^а! f c7^1^ Z^(dX) = ^ ^i-ь

—тгi=ii=ii=i

Видно, что прогноз строится по наблюдениям {^сь^-ь • • • ^-N-уЛ и является абсолютно точным, так как ст2 = 0 по построению. ■

Пусть теперь {^} — регулярная ССП со спектральной плотностью вида

- Дф(е"'Л)|2,

где ФД) = У^ bkzk имеет радиус сходимости г > 1 и не имеет нулей к=0

в области \z\1.

Для построения прогноза £п по наблюдениям £° в этом случае можно воспользоваться следующим алгоритмом.

Определить функцию

<7п(Л) = е^ФДе-’^Ще-^))-1,(4.28)

где ФДД = У bkzk.

Представить дп(Х) в виде ряда Фурье:

дп(Х) = со + ще г^ + С2С г2^ + ... = у^ ске гк^- (4.29) к=0

Вычислить прогноз ^ в виде линейного преобразования:

^ = £ ск^_ь(4.30)

к=0

где {щ} — коэффициенты ряда (4.29).

Оказывается, что М{£п — £п} = 0, т. е. оценка £п является несмещенной, а дисперсия ее ошибки (т. е. с.к.-погрешность) может быть вычислена по формуле

Д = М{|Д-Д|2}= у Д)2-(4.31)

к=0

Из (4.31) также следует, что ст2 монотонно возрастает при п сю.

Пример 4.16. В условиях примера 4.11 построить оптимальный прогноз £п для £п по наблюдениям £° и определить точность этого прогноза.

Решение. С учетом выражения (4.19) для спектральной плотности /ДА) получаем

/ДД = /|ф(е"<Л)|2, Ф(Д = Щ - М-1 = « У 0kzk = У ькЛ к=0к=0

где а = Д1?Д1 — /З2), Ьк = а{Зк к = 0,1, 2, ...

Найдем теперь выражение для Фп(г):

ФП(Д = Е bkzk = 3"zna £ 3kzk = ^ДФСДк=пк=0

Поэтому Фп(г)[Ф(г)]-1 = P^z^^ откуда

дп^ = е^пФп(е-гАп)[Ф(е-гАп)]-1 = eiXnpn^iXy = рп.

Таким образом, в данном случае в разложении (4.29) для функции g^W имеем со = Рп ф 0 и сь = 0 для любого к ^ 1. Итак, из (4.30) теперь следует, что

^г=рп^ П = 1,2, ...(4.32)

С учетом того что Ьк = аРк к = 0,1, ..., по формуле (4.31) находим выражение для дисперсии ошибки прогноза ^п:

^ = М{|С„ - а2} - «2 е - л Л ’ - ад - ГТ (4.33)к=0р

Заметим, что наиболее точным является прогноз на один шаг (n = 1), его точность равна ст2 = ^(1 — Р2\ При увеличении п в силу условия |/3| < 1 имеем /32п -Д 0, поэтому а^ -A D^ при п ос. Так как D^ = R^O) — дисперсия СП {£п}, видно, что точность оптимального прогноза ^п при п ос падает и приближается к точности «тривиального» прогноза £п = М{£п} = 0, для которого, очевидно,

М{|^-^|2}=ПК„} = Д. ■

Задачи для самостоятельного решения.

Доказать формулу (4.17).

Найти спектральную плотность С СП {т/п}:

9п — G-o^n Т &l£n —1, U G Д

где {^} — центрированный белый шум с дисперсией D^.

Ответ. /77(A) = ”^(ао + «1 + 2ao«i cos А).

Пусть ССП {?7n, n 6 Z} удовлетворяет уравнению авторегрессии Пп = адп-1 + Р9п-2 + Сп, Т1 ЕХ. Найти тП1 если М{^п} = ш^.

Ответ, т^ = ш^/(1 — о — /3), если корни алгебраического уравнения 1 — az — Pz2 = 0 по модулю больше 1.

6 Б.М. Миллер и А.Р. Панков

пт 11

т]п = — 5д £п+&, где Т — положительное целое число, а {^п} — 2Т к = п — Т

белый шум с параметрами т^ и D^. Найти т^ и D^.

Ответ, т^ = m^, Dn = D^/2T.

Пусть цп = Цп-i — ^Цп-2+en- Найти для {цп} явное выражение (4.9).

У к аз ан и е. Использовать цп = ^ акЕп-к совместно с представлением

к=0

^п — Лп-т + ™Цп—2 = £n, ti Е Д показать, что коэффициенты {од} определя

ются из рекуррентных соотношений ак = ak-i — -ак-2^к2, «о = ад = 1.

4

Ответ, цп = X.

к=о 2

В условиях предыдущей задачи найти спектральную плотность СП {цп}, если {sn} — белый шум со спектральной плотностью /ДА) = 1.

Ответ. /77(A) = —.

1,5625 — 2,5 cos А + cos2 А

Пусть ^к = 6i -\- 62k -\- Ек^ к = 0,1, ..., где {е/Д — центрированный белый шум с дисперсией De. Оценка г)п полезного сигнала ^(п) = ^1+^2^ имеет вид

Найти с.к.-погрешность оценки цп, если {^1,^2} не зависят от {е^}, а параметры т6^ и D 6^ известны.

Ответ. Дп = М{|цп - +(n)|2} = 0,25n2(m^2 + D6^ + D£/(n + 1).

Пусть ССП, имеющая спектральную функцию +ДА), подвергается линейному стационарному преобразованию с частотной характеристикой Ф(А). Найти явный вид спектральной функции ГД А).

А

Ответ. РДА) = J |Ф(д)|2 dF^p,).

СП q получена из стандартного белого шума е преобразованием вида

Лп — - Дп-1 + £п+1) , п Е X.

Доказать стационарность СП {цп} и вычислить ее спектральную плотность.

Указание. Воспользоваться теоремой 3.4.

Ответ. Д (А) = ^- cos2 А.

Пусть Ш£ = 3, Д (А) = 5 + 4 cos А. Найти с.к.-оптимальный прогноз по наблюдениям £° и дисперсию ошибки прогноза Дтг для всех п 1.

Ответ. «Д = 3 + 0,5 5д (—0,5)fc(^_fc — 3), Д1 = 87г и ^п = т^ = 3, Дп = fc = 0

= D^ = Ютг, если п > 2.

Цепи Маркова

Вероятностные характеристики цепей Маркова. Цепью Маркова, которая далее для краткости обозначается ЦМ, называется последовательность вещественных случайных величин, обладающая марковским свойством.

Пусть Е = {во, ci, ..., е^, ... } — некоторое конечное или счетное множество. Рассмотрим последовательность случайных величин £п, п = 0,1, ..., которые принимают значения из множества Е с вероятностями яЦп) = РЦП = е&}, к = 0,1, ... Таким образом, £п — случайная величина с дискретным (конечным или счетным) множеством значений Е. Случайная последовательность £ = Цп, п = 0,1, ... } указанного типа называется дискретной цепью.

Определение 5.1. Случайная последовательность £ называется дискретной цепью Маркова, если она является дискретной цепью и обладает марковским свойством, т. е. для каждого n ^ 1 и любых элементов жо, ад, ..., хп множества Е выполнено

Р{€п — жп | ^п —1 — ^n —1, • • • , <0 — ^0} — Р{Сп — жп | Сп —1 — жп — 1} •

(5-1)

Замечание. Соотношение (5.1) на языке условных вероятностей (см. п. 14.5) означает, что

Р{Сп = хп \ Рп-1} = Р{Сп = жп | Сп-1}?

где Гн_\ — сг-алгебра, порожденная СВ {Со, • • •,€п-1}*-

Из определения (5.1) следует, что дискретная цепь Маркова является частным случаем марковского процесса, общее определение которого было дано в п. 2.4.

Множество Е обычно называют множеством (пространством) состояний ЦМ. Если в момент п ^ 0 произошло событие {Cn = ekV то говорят, что ЦМ находится в состоянии е^. Если же известно, что ДЛЯ п ^ 1 выполнено Сп-1 = ^к и in = ej, то говорят, что цепь на п-м шаге перешла из состояния е^ в состояние вр Если Е имеет конечное число состояний, то соответствующая ЦМ называется конечной.

Определение 5.2. Число рк ^(п) = РЦП = ej | £n-i = 6^} называется вероятностью перехода из состояния е^ Е Е в состояние ej Е Е за один шаг в момент п ^ 1.

Определение 5.3. Матрица Р(п), элементами которой являются вероятности перехода pkj(n), называется переходной матрицей ЦМ i (за один шаг в момент п ^ 1).

Определение 5.4. Вероятность тгк(п) = РЦП = ек^, ек Е Е, называется вероятностью состояния ек в момент времени п ^ 0, а вектор тг(п) = {яо(п), тгДп), ... }* — распределением вероятностей состояний ЦМ £ в момент п ^ 0.

Очевидно, что тг(п) удовлетворяет при каждом п < ос условию нормировки У^ тгк(п) = 1. Компоненты вектора я(п) показывают, ка- к=0

кие из возможных состояний ЦМ в момент времени п являются наиболее вероятными, а какие — нет. Таким образом, знание последовательности {я(п)} позволяет составить представление о поведении ЦМ во времени.

Пример 5.1. Доказать, что при каждом п ^ 1 выполнено рекуррентное соотношение

7г(п) = Р*(п)я(п — 1).(5-2)

Решение. Сформируем систему гипотез Нк = {£n~i = еД. Очевидно, что Нк. Hj несовместны при к ^ j. причем У^ Нк = Q. По к=0

определению ?№} = P^-t = е^ = тгк(п — 1), к = 0,1, ... Пусть Ат — {€п — ^т}? ТОГДа

P{^m} = ^т^^ Р{^т | Н^ = Р{£ = вт | ^n—1 = ек^ = Pk.m^V

Для вычисления Р{Лт} применим формулу полной вероятности (см. и. 14.1):

Р{ЛД = 7Vm(n) = У2 Р{НкуЕЧАт I ЯД = У2 МП - 1)ркДп). к=0к=0’

(5.3)

Теперь нетрудно убедится в том, что формула (5.3), представленная в матричном виде, совпадает с (5.2). ■

Формула (5.2) задает рекуррентный алгоритм вычисления вероятностей состояний тг(п), п ^ 1. Очевидно, что для вычисления я(п) необходимо задать начальное распределение вероятностей я(0) и все переходные матрицы ^Р(к^ к = 1, ..., п}.

Определение 5.5. Цепь Маркова называется однородной, если для всех n ^ 1 выполнено Р(п) = Р, т. е. переходная матрица Р(п) не зависит от времени.

Пример 5.2. Показать, что для однородной ЦМ распределение тг(п), п ^ 1, полностью определяется переходной матрицей Р и начальным распределением вероятностей состояний тг(О).

Решение. Пусть n > 1 и задано начальное распределение тг(О). Тогда из (5.2) следует, что тг(1) = Р*тг(0). Далее, тг(2) = Р*тг(1) = = Р*(Р*тг(0)) = (Р*)2тг(0). Продолжая этот процесс, получаем окончательно

тг(п) = (Р*)птг(0) Vn>l.(5.4)

Более того, если обозначить через

= PRn+m = о Цп = ек}(5'5)

вероятность перехода из е^ в ej за m > 1 шагов, то из (5.4) следует, что для однородной ЦМ матрица Р^т\п) = {р^М} имеет вид P^Qn) = Рт, поэтому

тг(п + т) = (Р*)ттг(п).(5.6)

Таким образом, пара {Р, я(0)} полностью описывает вероятностную структуру однородной ЦМ. ■

Для описания однородной ЦМ удобно использовать ее графическое представление в виде размеченного стохастического графа, вершинами которого являются состояния {еД, стрелками указаны возможные переходы, а рядом с каждой стрелкой указана вероятность соответствующего перехода за один шаг.

Пример 5.3. ЦМ задана стохастическим графом (рис. 5.1). Найти вероятности состояний на третьем шаге при условии, что в начальный момент ЦМ находилась в состоянии ei.

Решение. Составим матрицу Р пе

реходных вероятностей: р00 = 0,3; poi = 0,7;0,7

Рю = 1; рц = 0 (переход ei -Д ei запрещен по

условию). Таким образом, матрица Р* имеет 0,3 ( vV Мы элементы Qoo = 0,3; Qoi = 1? Qio = 0,7; qn = 0,

а тг(О) = {0; 1}* — начальное распределе-1

ние вероятностей состояний. Используя (5.2),рис 5д

последовательно находим я(1) = Р*тг(0) =

= {1; 0}*, тг(2) = Р*тг(1) = {0,3; 0,7}*, я(3) = Р*я(2) = {0,79; 0,21}*. Очевидно, что тот же результат будет получен по формуле ЦЗ) = (ц^о). ■

Элементы {ptj} матрицы перехода Р удовлетворяют следующим двум условиям:

l)Pv >о VzJ = 0,l,

2)f>zj = l Vi = 0,l, j=0

Матрицы, удовлетворяющие свойствам 1, 2, называются стохастическими.

Условие 2 означает, что на каждом шаге ЦМ обязательно либо переходит в какое-то новое состояние из числа допустимых, либо остается в прежнем состоянии. Практические ситуации, адекватно описываемые цепями Маркова, встречаются весьма часто, так как марковское свойство фактически означает следующее: если некоторой процесс обладает марковским свойством, то его «будуицее» при фиксированном «настоящем» не зависит от «прошлого» (альтернативная формулировка марковского свойства). Следующий пример поясняет смысл этих терминов и самого марковского свойства.

Пример 5.4. Доказать, что альтернативная формулировка марковского свойства следует из (5.1).

Решение. Из (5.1) следует, что Vк ^ 0 и V x^i Е Е

P{^fc+1 = ^Щ-1 | ^кч • • • До} = P{€fc+1 = ^Щ-1 | €&}•(6-7)

Нетрудно проверить, что для произвольных событий А, В и С выполнено соотношение Р{ЛВ | С} = Р{Л | ВС} Р{В | С}. Используя это соотношение необходимое число раз для п ^ к + 1, получаем с учетом (5.7)

Р{€п = ^гн • • • > €fc + l = ^кД-А. | ^>к-> • • • ? Ы =

— Р{€п —• ^кД-1 — ^fc+1 | €fc} (б-8)

для произвольных ж&+1, ..., хп Е Е. Обозначим И = {^ = х^} — «настоящее» рассматриваемой ЦМ, Б = Дп = хп, ... Д&+1 = ж^+х} — ее «будущее» и И = {^-i = ж&_1, ... До = жо} — «прошлое», где {жо, ... ,Xk-i} — некоторые значения из Е, которые ЦМ принимала до текущего момента времени к. Тогда соотношение (5.8) означает, что Р{Б | НИ} = Р{Б | Н}. Отсюда

Р{БП | И} = Р{Б | НП}Р{П | И} = Р{Б | Н}Р{П | Н},

т. е. события Б и И, рассматриваемые при условии выполнения события И, независимы. ■

Доказанное утверждение обобщает формулу (2.7).

Рассмотрим теперь классический пример цепи Маркова, связанный с игрой двух лиц.

Пример 5.5. Пусть целые числа т > О, М > О — начальные капиталы соответственно первого и второго игроков. Проводятся последовательно игры, в результате каждой из которых с вероятностью р капитал первого игрока увеличивается на 1 и с вероятностью q = 1 — р уменьшается на 1. Результаты любой игры не зависят от результатов любых других игр. Пусть £п — капитал первого игрока после п игр. Предполагается, что в случае £п = О или ^ = L = т + М игра прекращается (ситуация разорения одного из игроков). Показать, что {^п} — ЦМ, найти переходную матрицу Р и построить стохастический граф цепи.

Решение. По определению {^п} — дискретная цепь с множеством возможных состояний Е = {0,1, ...,£}. Пусть жд = т, ад, ..., жп_1 — реализовавшиеся значения ^ при к ^ п — 1, т. е. ^ = = х^ к = 0,1, ... ,п — 1. Будем считать, что х^ / 0 или L. Тогда €п = €п-1 + ^п? гДе ^п — результат n-й игры, причем Р{гп = 1} = р. P{vn = -1} = 9, и хп не зависит от Цо, ... ,£n_i}. Поэтому

Р{€п — ^п —1 Т 1 | ^n—1 — ^п —1? • • • э <0 — ш{ —

= Р{Сп =1 Т 1 | Сп —1 =1} = Р{^ = 1} = Р-

Аналогично,

Р{Сп — ®п — 1 1 | Сп—1 — хп — 1? • • • До — пЦ —

Р{^ 1 1 I Сп —1 1} Р{^ 1} Q*

Наконец, P{Cn = Хп I Cn-i = ^п-ь • • • До = иг} = 0, если хп ^ xn~i ± ± 1. Таким образом, {С™} обладает марковским свойством и является однородной ЦМ в силу предположения р = const.

Переходная матрица Р = {pij}, i^j = 0, ..., L, имеет элементы Ри = 0, Pi^i = р, Pi,i-i = q, Pi^i = 0, для Z > 2, г = 1, 2, ..., L - 1. Наконец, poo = Pll = 1 по условию задачи. Стохастический граф построенной ЦМ изображен на рис. 5.2.

Полученная модель игры двух лиц известна в теории марковских случайных процессов как случайное блуждание частицы по целым точкам отрезка с двумя поглощающими барьерами. ■

Рассмотренная в примере 5.5 модель приводит к ЦМ с конечным множеством состояний Е. Если же второй игрок бесконечно богат (т. е. М = ос), то Е = {0,1, ... }, Цп} — однородная ЦМ со счетным множеством состояний, а соответствующая математическая модель — блуждание по целым точкам оси с одним (левым) поглощающим барьером.

Эргодические цепи Маркова. В данном пункте будут рассматриваться только однородные цепи Маркова с конечным или счетным числом состояний. Для таких цепей при определенных условиях выполняется следующее свойство: я(п) -Д я0 при п -Д ос, причем

предельное распределение тг° вероятностей состояний ЦМ не зависит от начального распределения тг(О), а определяется лишь переходной матрицей Р. В этом случае говорят, что ЦМ обладает эргодическим свойством., которое фактически означает, что вероятности состояний тг(п) по мере увеличения п практически перестают изменяться, а система, описываемая соответствующей цепью, переходит в стационарный режим функционирования.

Для выяснения условий эргодичности однородной ЦМ необходимо ввести классификацию ее возможных состояний.

Пусть р^. = РЦП = ej |^o = efc} — вероятность перехода за п шагов из состояния щ в состояние е^, а

fj(n) = P{€n = ej Дп-1 т^ ел • • • Дх Д ej I €о =

обозначает вероятность первого возвращения за п шагов в состояние Сд.

Состояние е^ Е Е называется несущественным) если найдется ej 6 Е, такое, что р^ > 0 для некоторого т 1, но р^ = 0 для всех п ^ 1. В противном случае состояние е^ называется существенным.

Состояния е^ ej Е Е называются сообщающимися^ если най- \ 1(ш) п (п) и

дутся m, п 1, такие, что рк > 0 и р^ к > 0.

Состояние е^ Е Е называется возвратным^ если Fk = 1, и невоз

вратным^ если < 1, где Fk = ^ А(Д)-

П=1

Состояние е^ Е Е называется нулевым, если lim р^ = 0.

Пусть dk — наибольший общий делитель чисел {n ^ 1: Д(п) > 0}. Состояние е^ называется периодическим с периодом dk, если dk > 1. В противном случае состояние — апериодическое.

Заметим, что возвращение в периодическое состояние е^ с положительной вероятностью возможно только за число шагов, кратное dk > 1, причем dk — наибольшее целое число, обладающее указанным свойством.

Пример 5.6. Пусть £п — координата частицы, блуждающей по целым точкам на вещественной оси одним из следующих двух способов: находясь в произвольной допустимой точке на оси, частица

с вероятностью р сдвигается на 1 вправо, а с вероятностью q остается на месте;

с вероятностью р сдвигается на 1 вправо и с вероятностью q — на 1 влево, где 0 < р < 1,^ = 1— ри £о = О.

Провести классификацию состояний ЦМ Цп}.

Решение, а) Здесь Е = {0,1, ... }, причем для любого j^ 0 вы

полнено /Д1) = д<1и /Дп) = 0 при п ^ 2. Отсюда Ej = ^ fj(n) =

П=1

q < 1, поэтому все состояния — невозвратные. Так как P^i j = 0

для n ^ 1, j Е Е. то все состояния — несущественные. Очевидно, что р^ = ^ — вероятность п раз подряд остаться на месте, поэтому р^ —> О, п ос и, следовательно, все состояния — нулевые. Заметим, что p^j = q > 0, p^j = q2 > 0, поэтому dj = 1 и все состояния — апериодические. Наконец, р^ = 0 при любых j > к и п 1, поэтому никакие два состояния цепи не являются сообщающимися.

Для рассмотрения второго случая воспользуемся следующим утверждением: состояние ej является возвратным тогда и только тогда^ когда Pj = ^ Р^ = 30 • причем для невозвратного состояния 13П=1

F -5

3" 1+Р/

Каждое состояние ej является периодическим с периодом 2, так

как возвращение в состояние ej возможно лишь за четное число шагов. Очевидно также, что все состояния существенны и сообщаются. Од

нако все состояния являются нулевыми. Действительно, для любого ej Е Е имеем по формуле Бернулли: р^^ = C^(pq)m = ^^(pg)m, Р^™"^ = 0* Используя формулу Стирлинга т\ ~ т^е-^^^пгц по’(2m) <4pqT „

лучаем: р- •~¥ 0 при m ос, т. е. все состояния цепи —

J-J \/кт

нулевые. Кроме того, если р = q = 1/2, то Pj = У/ Р^^ = сю, т. е. все состояния — возвратные. Если же р 7^ q. то Ру < ос, т. е. все

состояния — невозвратные. ■

Замечание. Из результата примера 5.6 также получаем, что любое невозвратное состояние ej Е Е является нулевым, так как из сходимости ряда У/ р^ следует, что р^ 0, п ос.

п=1

Определение 5.6. ЦМ называется неразлоснсимой, если все ее состояния — существенные и сообщающиеся. В противном случае ЦМ называется разложимой.

Определение 5.7. Неразложимая ЦМ называется апериодической^ если все ее состояния — апериодические.

Замечание. Для неразложимой ЦМ справедливо «свойство

солидарности»:

если хотя бы одно состояние возвратно, то и все возвратны;

если хотя бы одно состояние нулевое, то и все нулевые;

если хотя бы одно состояние имеет период d ^ 1, то и все остальные периодичны с периодом d.

Таким образом, неразложимая ЦМ будет апериодической, если хотя бы одно из ее состояний — апериодическое.

Пример 5.7. Исследовать цепи Маркова, описанные в примерах 5.3, 5.5 и 5.6 на разложимость и периодичность.

Решение. 1) ЦМ, рассмотренная в примере 5.3, является неразложимой и апериодической конечной цепью Маркова, так как все ее состояния — существенные, сообщающиеся и апериодические.

ЦМ из примера 5.5, описывающая игру двух лиц, разложима. Действительно, состояния во = 0 и еь = L являются существенными, а состояния е^, А; = 1, ...,L —1, — несущественными. При этом состояния ед = 0 и еь = L не сообщаются, так как р^^ = 0, р^ = 0, п 1. Таким образом, все состояния данной цепи можно разбить на непересекающиеся классы Eq , Еу , Е^: Е = Eq U Еу U Е^ , где Eq = {ci, .. .,е^-1} — класс несущественных состояний, Еу = {ео}, Е^ = {eL} — классы существенных состояний, причем Еу и Е^ не сообщаются. Все состояния из Eq — периодические с периодом 2, а состояния из Еу и Е^ — апериодические.

ЦМ из примера 5.6 в случае а) разложима, так как ни одно из ее состояний не является существенным. В случае б), наоборот, все состояния существенные и сообщающиеся, поэтому ЦМ является неразложимой и имеет счетное число состояний. Однако она периодическая с периодом d = 2. ■

Теорема 5.1. Пусть однородная ЦМ имеет переходную матрицу Р = {ptj} и обладает следующими свойствами:

цепь неразлоснсима и апериодична*,

найдется состояние е^ Е Е, такое, что время возвращения в него, т. е. дискретная случайная величина т^ = inf{n ^ 1: Дп) = = е^ с распределением

РЦк = п | ДО) = efe} =/Дп), п = 1,2,

имеет конечное среднее

Цк = M{Tfc I До) = efe} = у riM^ < оо.

П=1

Выполнение условий 1, 2 необходимо и достаточно для того, чтобы для любых i,j = 0,1,... существовали не зависящие от г пределы:

р^ —> pj > 0 при п -д ос.(5-9)

Числа {рЦ являются единственным решением системы уравнений

Pj = ^PkjPb J = о, 1, ...,(5.10)

к=0

1>з = Е(5.И)

3=0

Определение 5.8. Цепь Маркова, удовлетворяющая приведенным выше условиям (5.9)-(5.11), называется эргодической, а распределение вероятностей р = {рсь^ь • • • }* — стационарным распределением ЦМ.

Для ЦМ с конечным множеством состояний Е наиболее сложно проверяемое условие 2 теоремы 5.1 становится излишним. Действительно, справедливо следующее утверждение.

Теорема 5.2. Для того чтобы конечная ЦМ была эргодической, необходимо и достаточно, чтобы она была неразложимой и апериодической.

3. Предельные вероятности состояний цепи Маркова. В данном пункте мы рассмотрим вопрос, связанный с существованием предельных вероятностей состояний ЦМ тг°: тг(п) —> я0, п ос при неограниченном увеличении числа шагов п. Для эргодической ЦМ этот вопрос уже фактически решен, о чем свидетельствует следующий пример.

Пример 5.8. Доказать, что для эргодической ЦМ предельное распределение тг° = {тго,7Г1, ... }* существует и единственно, является стационарным и удовлетворяет системе уравнений

7Г° = Р*7Г°, (5.12)

(5.13)(5.13)У>й = 1.

(5.13)

(5.13)

k=0

Решение. Пусть тгДп) = РЦП = еД при условии, что задано начальное распределение тг(О), тогда

= ^рДлЧ

г=0

Так как ЦМ — эргодическая, то для каждого к ^ 0 выполнено р^ Рк > 0 при п сю, причем рк не зависит от тг(О). Следовательно, при п ОС

^Рк^О) = Рк^лМ = рк, к = 0,1, ...

г=0г=0

Таким образом, кДп) кк = рк, поэтому все свойства предельного распределения я0 = {тг^, к = 0,1, ... } совпадают со свойствами стационарного распределения ^рк, к = 0,1, ... }. Теперь, заменяя в (5.10), (5.11) рк на кк и переписывая (5.10) в матричной форме, получаем (5.12), (5.13). Распределение тг° единственно в силу единственности решения системы (5.12), (5.13) и стационарно, так как я0 не зависит от тг(О). ■

Рассмотрим конкретный пример вычисления стационарных вероятностей состояний эргодической ЦМ.

Пример 5.9. Найти я0 для ЦМ из примера 5.3.

Решение. Выше (см. пример 5.7) показано, что ЦМ из примера 5.3 является неразложимой и апериодической. Кроме того, она имеет конечное число состояний, поэтому ее эргодичность следует из теоремы 5.2. Используя уравнения (5.12) и (5.13), а также выражение для Р*, находим

' О,3тго+7Г1 = 7Г0,

<0,7 7Го = 7Г1,

7ГО+ТГ1 =1.

Заметим, что в данном случае система уравнений тг° = Р*тг° дает нам лишь одно уравнение (Д-Р* — вырожденная матрица, поскольку матрица Р — стохастическая). Единственное решение для тг° дает система уравнений, включающая условие нормировки:

0, 7яо — 7Г17Г0 + 7Г10, 7яо — 7Г17Г0 + 7Г1о,1.о,1.

0, 7яо — 7Г1

7Г0 + 7Г1

0, 7яо — 7Г1

7Г0 + 7Г1

о,

1.

о,

1.

Отсюда тго = 10/17, яд = 7/17. ■

Заметим, что практическое нахождение тг° из (5.12), (5.13) возможно в общем случае лишь для конечных цепей Маркова.

Соответствующий алгоритм вычисления стационарного распределения тг° для конечной эргодической ЦМ имеет следующий вид:

составить систему уравнений тг° = Р*тг°;

заменить в полученной системе одно из уравнений на условие нормировки (5.13), при этом полученная система уравнений будет иметь вид СтД = д, где д ^ 0, а матрица G — невырожденная;

решить систему Ся0 = д и определить тг°.

Найденное тг° будет удовлетворять одновременно системе уравнений (5.12) и условию нормировки (5.13). Заметим также, что тг° не будет зависеть от того, какое именно из уравнений системы (5.12) было нами заменено на условие (5.13).

Замечание. Для цепей Маркова с конечным множеством состояний понятие неразложимости может быть обобщено: конечная ЦМ называется неразложимой^ если Е = Eq U Е^ где Eq —класс несущественных состояний, а Гх — единственный класс существенных сообщающихся состояний.

В этом случае справедливы следующие утверждения:

если класс состояний Е\ — апериодический, то существует единственный вектор предельных вероятностей тг° = {яд} с неотрицательными компонентами, удовлетворяющий (5.12), (5.13);

Кк = 0, если е^ Е Eq^ и Kj > 0, если е^ Е Ev

Пример 5.10. ЦМ задана стохастическим графом (рис. 5.3). Найти стационарное распределение вероятностей состояний.

Решение. Очевидно, что eg — несущественное состояние, а {61,62} образуют класс существенных апериодических сообщающихся состояний. Поэтому стационарное распределение тг° = {яд,tti,7Г2}* существует, причем тгд = 0. Вероятности яд и Я2 определяются из системы уравнений тг° = Р*тг° и условия яд + яд = 1 (см. приведенный выше алгоритм):

( 0,5 ЯД + 0,2 ЯД = ЯД,

(ЯД + ЯД =1,

откуда яд = 2/7, яд = 5/7. Итак, я(п) —> я-0 = {0, 2/7, 5/7}* при п ^ ос для любого начального распределения вероятностей состояний 7Г(О). ■

Если ЦМ не обладает свойством эргодичности, то вектор предельных вероятностей я-0, даже если он существует, не является стационарным распределением вероятностей состояний ЦМ (например, я-0 не удовлетворяет условию нормировки (5.13) или 0,5 же зависит от начального распределения тг(О) и т. и.). В этом случае будем называть я0 вектором финальных вероятностей состояний ЦМ.

в следующих примерах.в следующих примерах.Типичные случаи подробно изучены

в следующих примерах.

в следующих примерах.

Пример 5.11. Найти финальные вероятности состояний ЦМ, описывающей блуждание частицы по целым точкам прямой (см. пример 5.6).

Решение. В примере 5.6 было показано, что все состояния ЦМ — нулевые. Следовательно, р^ -Л 0 при п -Л ос для любых i^j 0. Отсюда

lim = lim яд(п) = яд = 0, j = 0,1, ...

Таким образом, я0 — нулевой вектор и

Яд + ЯД + . . . + ЯД + . . . = 0.

Следовательно, я-0 не является стационарным распределением вероятностей состояний ЦМ. Очевидно, что отсутствие стационарного распределения вызвано нарушением условия 2 теоремы 5.1, так как в данном случае pj = ос для любого ej Е Е. ■

Если условие 1 теоремы 5.1 не выполнено, то финальные вероятности состояний либо вообще не существуют, либо зависят от начального распределения вероятностей состояний.

Пример 5.12. Конечная цепь Маркова задана стохастическим графом (рис. 5.4). Показать, что при любом тг(О) / {1/2, 1/2}* финальные вероятности не существуют.

п = 1,2,п = 1,2,Решение. ЦМ имеет переходную матрицу Р с элементами р00 = Ри = 0, р01 = р10 = 1, поэтому соотношения (5.2), описывающие эволюцию вектора тг(п) = {яо(п), тгЦп)}*, принимают следующий вид:

п = 1,2,

п = 1,2,

7Г0(п) = ТгЦп - 1), 7Г1(п) = 7ГО(П - 1).

Пусть тг(О) = {р,^}*, тогда при р / q имеем тго(п) = р, если п = 2к и 7Го(п) = q. если п = 2к + 1, к = 0,1, ... Очевидно, что в этом случае последовательность {яо(п)} предела не имеет. Аналогично, нет предела и у последовательности {тгЦп)}. Если же р = ^ = 1/2, то существует вектор финальных вероятностей тг° = {1/2,1/2}*, так как в этом случае 7Го(п) = ти(^) = 1/2 для всякого п > 0. Полученный ре-

1зультат объясняется тем, что рассмотренная цепь Мар

кова является неразложимой, но периодической с периРис. 5.4 одом d = 2, и, следовательно, условие 1 теоремы 5.1 не выполнено. ■

Рассмотрим теперь поведение вероятностей состояний разложимых ЦМ. Очевидно, что стационарных распределений здесь не будет, однако финальные вероятности при определенных условиях будут

существовать.

Пример 5.13. ЦМ, описывающая случайное блуждание частицы по целым неотрицательным точкам прямой Е = {0,1, ... } с поглощающим состоянием во = 0, задана стохастическим графом (рис. 5.5), где 0 < р < 1, g = 1 — р. Известно, что в начальный момент времени частица находилась в некотором состоянии ет = т ^ 0. Найти финальные вероятности состояний данной цепи Маркова.

Решение. Нетрудно ви

Р рР деть, что Е = Eq U Е^^ где

Eq = {во} является классом

I ( 0 J ( 1 )( 2 ) С 3 ) ’’’ существенных состояний, а

Е^ = {ei, в2, вз, ... } образует q q qq класс несущественных состоя

ний. Поэтому цепь разложима рис ^ ^и условие 1 теоремы 5.1 нару

шается. Следовательно, данная ЦМ не имеет стационарного распределения. Из определения цепи ясно, что pg J = 1 н pvmj -Л 0, п -Л сю при любых т ^ 0, j 1. Таким образом, при любом J ^ 1 имеем яу = 0. Обозначим через Рт вероятность того, что частица, выходящая из состояния ет = ш, рано или поздно попадет в состояние во = 0. В силу того что состояние во —

поглощающее, р^0 тгд = Рш. п —> ос, т. е. Рт — искомая финальная вероятность состояния ед. При каждом m ^ 1 справедливо

Рт — pPm^l 4“ Q^m — 1?Рт — pPm^l 4“ Q^m — 1?(5.14)(5.14)

Рт — pPm^l 4“ Q^m — 1?

Рт — pPm^l 4“ Q^m — 1?

(5.14)

(5.14)

что следует из марковского свойства цепи и формулы полной вероятности. Кроме того, Pg = 1 по условию. Обозначим а = q/p. тогда общее решение уравнения (5.14) имеет вид Рт = а + Ьат, а условие Pg = 1 означает, что а + b = 1.

Пусть q > р, т. е. а > 1. Тогда b = 0 в силу ограничения Рт ^ 1. Но тогда а = 1, т. е. Рт = 1. Пусть теперь q < р, т. е. а < 1. Для вычисления Рт введем в произвольной точке N > т второй поглощающий барьер и обозначим Pm(N) вероятность того, что блуждающая точка достигнет состояния ед раньше, чем состояния cn- В следующем примере будет показано, что lim Pm(N) = ат. Докажем, что этот предел равен Рт. Действительно, пусть А — событие, состоящее в том, что найдется N^ такое, что частица достигнет ед, выходя из ет, раньше, чем cn- Тогда Рт = Р{А}. Если An = { частица достигнет ед

раньше, чем е^}, то А = |J An, An С Ajv+i- Очевидно, что

N=m-\-l

Р{А} = Р{ J Лу} = ^Р{Лу} = ^Рт(Л9 = ат

т.е. Рт = Р{А} = ат.

Наконец, если р = щ то оба решения совпадают, т. е. Рт = 1. Итак, окончательно для финальной вероятности тгд имеем: тгд = 1, если р ^ q и тгд = {q/p)^, если р > q. Заметим, что при условии р ^ q рассмотренная модель имеет предельное распределение вероятностей состояний я0 = {1,0,0, ... }. Если же р > щ то набор финальных вероятностей я0 = {ат, 0, 0, ... } не является распределением вероятностей, так как условие нормировки не выполнено. ■

В заключение вычислим финальные вероятности состояний в цепи Маркова, описывающей игру двух лиц, которая рассмотрена в примере 5.5.

Пример 5.14. Найти финальные вероятности в игре двух лиц и, в частности, вероятность Рт разорения первого игрока, если начальные капиталы игроков конечны и равны т и М, а вероятности успеха в каждой игре равны р и q = 1 — р для первого и второго игроков соответственно.

Решение. В примере 5.5 показано, что математической моделью рассматриваемой игры является дискретная конечная ЦМ с множеством состояний Б = {0,1, ..., L}, где L = т + М. Состояния {ei, .. .,cl-i} — несущественные, поэтому их финальные вероятности щ. = 0. Пусть тгд = Рт — финальная вероятность состояния ед,

тогда (в силу конечности ЦМ) лд, = 1 — Рт- Найдем Рт из соотношения (5.14)

Рт — рРт-^1 "Г QPm — 1^1^ ^1?(5.15)

с учетом краевых условий Pq = 1, Pl = 0, которые следуют из условия окончания игры (разорение одного из игроков). Из общего соотношения (5.15) для а = q/p имеем

' Р2- Pi = a(Pi - Ро),

Р3_р2 = а2(Р1-Р0))

I Рт - Рт_г = ат"ЧР1 - PoY

Складывая полученные выражения и учитывая, что Pq = 1, находим Рт = 1 + (Pi - l)Sm, где Sm = (1 - am)/(l - а) при а / 1 и Sm = т при а = 1. Значение Pi определяем из второго краевого условия Pl = 0: Pi = 1 — 1/Sl - Подставляя найденное Pi в выражение для Рт^ окончательно получаем с учетом L = т + М:

(_ пт ' хь\

рт = м^+м? при Qri (p^qY

( м )(5Л6)

P™ = YYoY ПРИ 0 = 1 ^ = (? = 1/2)-

Из (5.16) следует, что при а < 1, т. е. при р > q выполнено соотношение lim Рт = ат. Последний результат был использован в при- М—¥ОО

мере 5.13 для N = т + М, Рт = Pm(N).

Заметим, что условие М ос фактически означает, что второй игрок располагает неограниченным исходным капиталом. В этом случае при р ^ q имеем Рт —У 1 при М ос, что означает неизбежное разорение первого игрока даже в безобидной игре (т. е. при р = q = 1/2). Если же р > q^ то Рт —У ат < 1. Поэтому с вероятностью Qm = 1 — ат > 0 первый игрок может добиться неограниченного уве

личения своего исходного капитала. ■

5.4. Задачи для самостоятельного решения.

Дискретная цепь с множеством состояний Е = {0,1, ... } определена соотношением: £n+i = £п + ^п, п ^ 0, с начальным условием £о = 0, где {гп} — последовательность независимых случайных величин с распределением Бернулли. Доказать, что {£п} обладает марковским свойством, найти ее переходную матрицу и провести классификацию состояний.

Указание. См. пример 5.6.

Пусть случайные величины Цо, Щ, • • • } независимы в совокупности и каждая принимает значения +1 и — 1 с вероятностями 1/2. Рассмотрим две последовательности: ^п = Цп + rn+i)/2 и рп = ^n^n+i, п = 0,1, ... Какая из этих последовательностей является цепью Маркова?

Ответ. Вторая.

Через фиксированные промежутки времени проводится контроль технического состояния прибора, который может находиться в одном из трех состояний: во — работает, ei — не работает и ожидает ремонта, 62 — ремонтируется. Пусть ^п — номер состояния прибора при n-й проверке. Предполагается, что {Ц} является однородной ЦМ с переходной матрицей

Р =Р =^020,60,29^020,60,290,80,1

Р =

Р =

^020,60,29

^020,60,29

0,3 рнр20 0,01

Найти неизвестные элементы матрицы Р и вычислить тг(2) при условии, что в начальный момент времени прибор исправен.

Ответ. р02 = 0,1; рн = 0,1; р20 = 0,7; тг(2) = {0,74; 0,091; 0,169}*.

Цепь Маркова задана стохастическим графом (рис. 5.6), где состояния ео и ез — отражающие барьеры. Найти стационарное распределение тг, если оно существует.

Ответ, тго = тгз = 0,2; tti = ?Г2 = 0,3.

Пусть конечная эргодическая ЦМ с Е = {0,1, ... ,7V} имеет дважды NN

стохастическую матрицу перехода Р = {pij}, т. е. У/ pij = ^2,ptj = 1 для 3=0г=0

всех 1.3 Е Е. Показать, что стационарное распределение существует и является равномерным на Е.

ЦМ имеет множество допустимых состояний Е = {0,1, ...,7V} и описывается стохастическим графом (рис. 5.7), где 0 < р < 1, q = 1 — р. Доказать, что цепь является эргодической, и найти стационарное распределение вероятностей состояний {тт/Д.

7 Б.М. Миллер и А.Р. Панков

ок f 1 — аА

Ответ. Если р A q, то Кк = —-—дг+i ’ А: = 0,1, ...,7V, где а = p/q\ если р = q, ТО 7Го = 7Г1 = ... = тгn = 1/(7V + 1).

Эргодическая ЦМ с двумя состояниями имеет стационарное распределение тго = р, 7Г1 = q = 1 — р. Найти переходную матрицу.

D f ж 1-ж А/1\

Ответ, г = I 1 — у / ’ ГДе ДЛЯ а = Р/Ч х1, а Для

а < 1 х Е (0,1) и у = а(1 — ж).

Пусть конечная ЦМ неразложима и апериодична, ат — случайное время первого возвращения в любое фиксированное состояние. Доказать, что найдутся с > 0 и q < 1, такие, что Р{т > n} < cqn.

Частица, находящаяся на плоскости в точке с целыми координатами (т, п), может с вероятностью 1/4 переместиться в любую из четырех точек с координатами (m ± 1, и ± 1). Доказать, что все состояния двумерной ЦМ, описывающей процесс блуждания, возвратны.

Разностные стохастические уравнения

Модели авторегрессии и скользящего среднего. Пусть е = {еп, п Е Z} — последовательность независимых случайных величин с характеристиками те(п) = М{еп} и De(n) = M{|sn — ше(п)|2}. Далее е называется дискретным белым шумом.

Замечание. В примере 3.3 мы рассматривали стационарный дискретный белый шум. Определенный выше дискретный белый шум будет стационарным, если те(п) = те = const, De(n) = De = const. При этом некоррелированность сечений следует из их независимости. Кроме того, в данном параграфе мы будем рассматривать только вещественные СП.

Определение 6.1. Случайная последовательность {£п} называется авторегрессионной последовательностью (АР-последовательностью) порядка р ^ 1 если она удовлетворяет уравнению

(6.1)(6.1)р

(6.1)

(6.1)

^а + ^ у ^kCri-k — ^п? П Е ^к=1

где {61, ..., 6р} — числовые параметры, а р ^ 1 — порядок модели авторегрессии (АР-модели) (6.1).

Алгебраическое уравнение

(6-2)(6-2)жр + £ bkxp"k = О

(6-2)

(6-2)

к=1

называется характеристическим уравнением АР-модели (6.1).

Определение 6.2. АР-модель (6.1) называется асимптотически устойчивой, если все решения {ж^} характеристического уравнения удовлетворяют условию |а^| < 1.

Определение 6.3. Случайная последовательность {цп} называется последовательностью скользящего среднего (СС-последователь- ностью^ порядка q ^ 1, если

q йп — ^O^-n "Р ^ ^ ^к^тъ — к*,^ ^ ^,(6.3)

к=1

где {по, «1, • • • ^aqV У ~ параметры СС-модели (6.3).

Если все решения {^} характеристического уравнения СС-модели

q

aozq + ^ ak^q-k = О

k=i

удовлетворяют условию |^| < 1, то модель (6.3) называется мини- малино-фазовой.

Очевидно, что модели (6.1), (6.3) можно объединить в одну комбинированную модель.

Определение 6.4. Случайная последовательность {£п} называется последовательностью авторегрессии-скользящего среднего (или АРСС-последовательностью) порядка (р, д), если она удовлетворяет разностному стохастическому уравнению

рq

^>п "Р ^ ^к^п—к — ^О^п "Р ^ ^j^n—j^ П (z ^.(6.4)

к = 1j=l

Числа {^}^=1, {aj}J=0 являются параметрами АРСС-модели, р — порядок авторегрессии, a q — порядок скользящего среднего.

Замечание. Из приведенных определений следует, что если {гп} — гауссовский белый шум, то АРСС-последовательность {£п} также является гауссовской.

Пример 6.1. Пусть в асимптотически устойчивой АР-модели порядка р = 1 белый шум {еп} является стационарным. Найти математическое ожидание и дисперсию АР-последовательности {£п} и доказать ее стационарность.

Решение. По условию {£п} удовлетворяет уравнению

^n + ^n-i=e„, n е Z.(6.5)

Характеристическое уравнение модели (6.5) имеет вид х + b = О, и, следовательно, |ti| = \b\ < 1 — условие асимптотической устойчивости. Используя прием, описанный в примере 4.5, нетрудно показать

£п = У УАп-к,(6.6)

к=0

где Р = —Ь, причем ряд (6.6) сходится в среднеквадратическом смысле в силу \Р\ < 1. Итак, £п является линейным преобразованием белого шума {еп}. Обозначим те = М{гп} и Д = D{еп}, тогда

= М{£„} = £ ркММЛ = те^к =к=0к=0+

оооср

DM = DR„} - Е(^)2°К-^ = De W? = ^-k=0k=0

Для доказательства стационарности {£n} остается вычислить ковариационную последовательность

соу{^„Дт}= у /3fc/3Jcov{en_fe,em_j} = М=0

= p\»-m\De ^(М = ^n~m^Di = R^n - m). k=0

Здесь мы воспользовались тем, что cov{sn_/e, Ет_^ = De, если п — к = т — j и cov^En-kMm-j^ = 0 при п — к 7^ т — j. Итак, СП {^п} имеет постоянные математическое ожидание и дисперсию, а ковариация сечений ^ и £т зависит только от разности п — ш, т. е. {£п} является стационарной в широком смысле СП с характеристиками

= ГДР ^ = ^’ ReW = М)^. ■

Аналогичная ситуация имеет место и для асимптотически устойчивой АР-модели произвольного порядка р ^ 1.

Теорема 6.1. Пусть {£п} удовлетворяет уравнению (6.1), описывающему асимптотически устойчивую АР-модель порядка р ^ 1, где {еп} — стационарный белый шум, тогда

^,п — ^ С^к^п — кчк=0

где коэффициенты {а^} удовлетворяют условию У^ \а^\ < ос и вы- к=1

числяются по рекуррентным формулам

f О^кмЗкД = 0,

Pk-\-iJ — /^^д+i Pkpdj, j — 1, 2, ...,р 1, < РкЧ!^ — ЗкдЬр, к — 0, 1, . . . ,

с начальными условиями «о = 1, Poj = bj, j = 1,2, ... ,р. При этом СП {£п} является стационарной и имеет характеристики

m^ = m£^ak, D^ = De^ak,к=0к=0

R^m) = De ^ акак+\т\, тбЪ

k=Q

В примере 3.4 рассматривалась модель бесконечного скользящего среднего. Рассмотрим теперь модель скользящего среднего (6.3) конечного порядка.

Пример 6.2. СС-последовательность {цп} удовлетворяет (6.3), где {еп} — стационарный белый шум. Найти математическое ожидание, дисперсию и ковариационную функцию СП {цп}.

q

Решение. По определению Т]п = ^ акЕп-ь где М{еД = т£ = к=0

= const, D{^} = D£ = const, cov^s^Sj^ = 0 при к / j. Отсюда

Г 919

МДД =akEn-kV = m£^ak = const,

Lfc=0k=0

qq

D{^?n} — ^ ^k^l cov ^£n_k^ £n — I} — D£ ^ ak^кД=Оk=0

qq—\n — m\

covt^n^m} = cikai cov^sn_k, Em_^ = De akak_^\n_m\ при кД=Оk=Q

\n — m\ < q и соу{цп, цт} = 0 при \n — m\ > q. Отсюда

q-|m|De ^^k^k-V\m\k=00q-|m|De ^^k^k-V\m\k=00приприq.q.припри

q-|m|

De ^^k^k-V\m\

k=0

0

q-|m|

De ^^k^k-V\m\

k=0

0

при

при

q.

q.

при

при

Последнее означает, что любые сечения СС-последовательности, отстоящие друг от друга более чем на q шагов, являются некоррелированными. Этим СС-последовательность существенно отличается от АР-последовательности, так как у последней сколь угодно далеко отстоящие друг от друга сечения в общем случае являются коррелированными. ■

Пример 6.3. Доказать, что АР-последовательность первого порядка обладает марковским свойством.

Решение. Пусть известно, что для некоторого т^Ои набора целых чисел ng < ... < пт = п — 1 выполнено £По = Жд, £щ = ^1) • • •, ^Пт = жт- ВЫЧИСЛИМ P{^n 6 В | ^Пггг = Тт, . . . , Спо = ^о}? гДе В произвольное борелевское множество на прямой.

По условию £„ + ^„-1 = г„, причем £п_т = ^.(-Ь^еп-т-к,

к=0

поэтому еп и £n_m независимы при всех m ^ 1 в силу того, что {еп} — белый шум с независимыми сечениями. Тогда

Р{€п ^ В | ^Пти = Хт, . . . , ^По = Тд} =

= Р{ ^n —1 Т ^п ^ В | £Пт = Хт, • • • ч £,по = жо} = Р{^п Ьхт G В^ .

С другой стороны,

Р{€п В | Сп^ == Р{^п Ьхт G В^ ,

откуда Р{£п е В | ^ = Хт. . . . , £По = Тд} = Р{£п е В | ^ = Хт\ .

Совершенно аналогично рассматривается случай произвольного пт < п. В силу произвольности выбора т, {п&} и В доказанное означает, что {^} — марковская последовательность. Подчеркнем, что доказанное утверждение справедливо для случая, когда {еп} — белый шум с независимыми сечениями. Если же сечения являются лишь некоррелированными, то марковское свойство может нарушаться. Однако если {еп} — гауссовский белый шум, то марковское свойство следует из результатов примера 2.12. ■

Обычно в практических задачах всякий процесс имеет «начало», т. е. {^} задан лишь при п ^ 0. Если при n > 1 £п удовлетворяет уравнению авторегрессии порядка р, а значения Со = Ci? • • • ?С-р+1 = Ср — заданные случайные величины (начальные условия), то свойства СП {Сп} несколько отличаются от свойств АР-последовательности.

Пример 6.4. Найти математическое ожидание и дисперсию последовательности {Сп}, удовлетворяющей уравнению

Сп = «Сп-1+^n, П > 1,^0=Л.(6.7)

где |а| < 1, ц — случайная величина с М{ц2} < сю, не зависящая от стационарного белого шума {еп}.

Решение. Найдем представление Сп через {еп} и Л*-

п —1

Сп — ^п Ч~ CYSn — X Ч- OL ^п_2 — • • • — ^ (X 6n_^ Ч- Q Т]^к=0

т^(п) = М{^п} = т£ У^ ак + anmn = m£—Н anmn. к=0

{

in 1-х।"2т1

52 сАп_Д + D^} = пД^-^ +

к=0

Подчеркнем, что СП {£п} нестационарна, так как т^п) и D^(n) зависят явно от п. В силу условия М{ц} < сю имеем Jm^l < сю и Dq < сю, поэтому с учетом |а| < 1 получаем

тДп) —>тДп) —>те1 — а ’те1 — а ’Ре1 — а2Ре1 — а2при п —> сю.при п —> сю.

тДп) —>

тДп) —>

те

1 — а ’

те

1 — а ’

Ре

1 — а2

Ре

1 — а2

при п —> сю.

при п —> сю.

Таким образом, предельные значения среднего и дисперсии для СП {^} такие же, как и для стационарной АР-последовательности порядка р = 1, удовлетворяющей (6.7) при всех пЕ^. ■

Замечание. Можно показать, что вывод о совпадении предельных характеристик последовательности {£п}, удовлетворяющей уравнению авторегрессии порядка р > 1 с заданными начальными значениями, и характеристик соответствующей АР-последовательности остается в силе, если АР-модель асимптотически устойчива.

Спектральные характеристики АРСС-последователь- ностей. Из теоремы 6.1 следует, что АРСС-последовательность {£п} является результатом стационарного линейного преобразования стационарного белого шума {еп}. Поэтому спектральная плотность f^X) последовательности {£п} может быть вычислена с использованием результатов и. 4.2.

Пример 6.5. Пусть {£п} — АРСС-последовательность, определяемая разностным стохастическим уравнением

рq

^,пЬ^^п_к — ^ CLj£n_j^ пЕ^(6*8)

к=13=0

где {еп} — центрированный стационарный белый шум с дисперсией De > 0. Найти спектральную плотность f^(X\

Решение. Найдем частотную характеристику Ф(А) линейного преобразования (6.8). Для этого предположим, что £п = егХп. Тогда из (4.17) следует, что ^п = Ф(А)егЛп. Подставим соответствующие еп и £п в уравнение (6.8), тогда

(6-9)(6-9)Ф(А) е<Ап + Ё= 52 a3eix^"jV

(6-9)

(6-9)

к=03=0

После деления обеих частей равенства (6.9) на егА" получаем

F(e~ix)Я(е"*А)’F(e~ix)Я(е"*А)’i:«ie-ixj

F(e~ix)

Я(е"*А)’

F(e~ix)

Я(е"*А)’

Ф(А) =Ф(А) =3=0

Ф(А) =

Ф(А) =

где F(x) = ао + а^х + ... + aqxq и Н(х) = 1 + Ъ^х + ... + Ьрхр.

Заметим, что условие асимптотической устойчивости модели (6.8) означает, что все корни характеристического многочлена Н(х) = хрН(х-1) по модулю меньше единицы. Тогда выполнено условие (3.25) интегрируемости квадрата модуля частотной характеристики Ф(А), поскольку

IФ(Л) 1= = Ф(Л)Ф(Л) ==

Наконец, Л (А) =— спектральная плотность белого шума {еп}.

Теперь, используя соотношение (4.18), получаем

№ =(6Л0)

2тг 1+ £^е-гЛ,г

к=1

Из (6.10) следует, что спектральная плотность АРСС-последователь- ности порядка (р, q) является дробно-рациональной функцией переменной е-гХ. ■

Формула (6.10) позволяет явно вычислить дисперсию АРСС-по- следовательности для произвольных порядков р и q.

Пример 6.6. СП {^п} удовлетворяет уравнению

^ - 0,5 en-i + о,25 еп-2 = Еп,(6.И)

где {еп} — центрированный стационарный белый шум с дисперсией

De = 1. Вычислить дисперсию D^ СП {£п}-

Решение. Убедимся, что модель (6.11) асимптотически устойчива. Характеристическое уравнение модели имеет вид

х2 - 0,5 х + 0,25 = 0.(6.12)

Найдем корни уравнения (6.12): здд = 0,25 (1 ± %V^\ поэтому 1^1,21 = 0,5 < 1, т. е. условие асимптотической устойчивости выполнено. Теперь из (6.10) следует, что

= яд+ЧГ где н^ = ^^-о^^ + О’25^-

Дисперсия D^ может быть найдена по формуле (3.13):

"+№)<« = Д (6ЛЗ)

Для аналитического вычисления интеграла (6.13) воспользуемся алгоритмом, изложенным в п. 15.2.

Пусть у = 0,5, тогда 5g = 1 Дх = —у, ^2 = У? ао = 1? а1 = 0, &2 = 0,

р = 2. Для вычисления интеграла 1-2 воспользуемся рекуррентными формулами (15.9) с начальными условиями (15.10). В условиях данного примера получаем: а^ = <Д = 0, Qq = 1; /3q = 1, /Зд = 1 — у,

^0 = ГТТТ Отсюда по формуле (15.8) Ь = ^ ^Ц = > =

УРо к=0 Ро Ро

1 + у2

= -. Подставляя у = 0,5, находим De = I2 ~ 1,27.

— yb

Заметим, что мы получили несколько более общий результат: если {^} удовлетворяет уравнению АР-модели вида

€п у^п—1 т у €п—2 — |уI < 1?

1

ТО D{£„} = Л£ 1 _ ^6 , где De = D{en}. ■

Применительно к практическим приложениям для описания СП {ДД удобно использовать параметрическую АРСС-модель вида (6.1), обеспечивающую требуемый вид спектральной плотности {ДД. Из примера 6.1 следует, что в случае, когда /ДА) имеет вид (6.10), а {еп} — гауссовский стационарный белый шум с дисперсией De. {ДД является гауссовской СП, удовлетворяющей уравнению АРСС. Соответствующая АРСС-модель называется формирующим фильтром для СП {ДД, построенным по заданной дробно-рациональной спектральной плотности.

Пример 6.7. Построить формирующий фильтр для гауссовской центрированной случайной последовательности {ДД со спектральной . / х х 1,49 + 1,4 cos А ПЛОТНОСТЬЮ Тек Л) = 7

72тг(1,16 — 0,8 cos А)

Решение. Произведем факторизацию спектральной плотности:

Уравнение (6.14) позволяет провести компьютерное моделирование последовательности {£п}, имеющей спектральную плотность требуемого вида.

Рассмотренный алгоритм можно использовать для приближенного моделирования СП, спектральная плотность которой не является дробно-рациональной. Для этого обычно предварительно аппроксимируют заданную спектральную плотность подходящей дробнорациональной плотностью (для этого можно применить, например, метод наименьших квадратов), после чего строят соответствующий формирующий фильтр в виде АРСС-модели.

Многомерные разностные линейные стохастические уравнения. Пусть {£п} — многомерная СП, т. е Дп Е 1р при каждом п ^ 0, а {еп} — многомерный дискретный белый шум. Последнее означает, что {еп} — последовательность независимых СВ еп eR9. Будем далее считать, что М{еп} = те^п\ cov{en,en} = М{ДП — — m£(n))(sn — m£(n))*} = De^n\ Матричная функция De(n) называется дисперсионной функцией (при q = 1 De(n) — дисперсия СП {еп})- По-прежнему ^-мерный белый шум {еп} будем называть стационарным^ если те (п) = те, De (n) = De. Если же те = 0 и De = I, то {^п} — стандартный ^-мерный белый шум.

Определение 6.5. Случайная последовательность {£n, п > 0} удовлетворяет многомерному линейному разностному стохастическому уравнению с начальным условием ц, если

Г €n = 1 4" ВпЕп, П 1,

[ ^0 =

где у Е W — случайный вектор начальных условий, не зависящий от {еп}, Ап Е RpXp, Вп Е RpXq — известные неслучайные матрицы.

Определение 6.6. Уравнение (6.15) называется стационарным асимптотически устойчивым, если Ап = А, Вп = В при всех п ^ 1, матрица А такова, что все корни алгебраического уравнения (относительно х Е С)

det[A — xl\ = 0 (6.16)

по модулю меньше единицы, а {еп} — стационарный дискретный белый шум.

Рекуррентные соотношения (6.15) позволяют провести моделирование СП {^п}? а также вычислить моментные характеристики т^п^ = М{£п} и D^n^ = cov{£n,£n} при заданных характеристиках {еп} и начального условия у.

Пример 6.8. Доказать, что если СП {£п} удовлетворяет уравнению (6.15), то функции т^тг) и D^n) удовлетворяют рекуррентным

уравнениям

(6-17)(6-17)т^(п) = Апт^п — 1) + Впте^пУ п ^ 1, т^(0) = тт

(6-17)

(6-17)

Z)^(n) — AnI?^(n 1)Ап-\- BnDe(n)Bn1 п ^ 1,

De№ = R„|6Л8>

где т^ = М{ц}, Н^ = cov^t/}.

Решение. Применим к обеим частям уравнения (6.15) оператор математического ожидания:

^^(^) = ^-{€п} = ^-{^n^n—1 4" ВпЕп^ =

= AnM{£n-i} + ВпМ{еп} = А^т^п - 1) + B^m^nY

Аналогично, т^(0) = М{£о} = М{ц} = т^. Итак, мы показали справедливость (6.17).

Заметим, что ^(0) = cov{^0,€o} = ^V Пусть теперь n > 1, тогда

4^^ (^) — ^^^{€n? €п} — COv{An<n_i 4" -Bn6n, An^n_i 4- BnEn J —

= An cov{^n_i, ^n_i} A*+An cov{^_ben} B^Bnсоу{еп^п_^ A*n+

+ Bn cov{en,En}B* = AnD^n- 1)A* + BnDe(n)B^

где учтено, что при всяком n ^ 1 случайные векторы еп и £n-i независимы в силу того, что £п-1 линейно выражается через вектора {77,^1, . ..,En-i}, которые не зависят от еп по условию. Последнее означает, что cov{£n_i,en} = 0. Полученные соотношения для ^(0) и D^ny n > 1 совпадают с (6.18). ■

Уравнения (6.17), (6.18), позволяющие вычислить моментные характеристики первого и второго порядков СП {£п}, называются уравнениями метода моментов.

Рассмотрим поведение т^п) и D^(n) при п ^ сю в случае, когда система (6.15) является стационарной асимптотически устойчивой. Можно доказать, что существуют постоянные вектор т^ и матрица D^ такие, что m^Qn) —> т^ и D^n) —> D^ при п —> сю, причем пределы т^ и D^ не зависят от тл и R^.

Пример 6.9. Найти уравнения для предельных значений среднего т^ и дисперсии D^.

Решение. Если (6.15) стационарна и асимптотически устойчива, то соответствующие уравнения метода моментов принимают стационарный вид

(6.19)(6.19)т^(п) = Ат^п — 1) 4-Вте.

(6.19)

(6.19)

D^n) = AD^n - 1)А* + BDeB\

Очевидно, что если т^п) —> т^ и D^(n) —> D^ при п —> ос, то, переходя к пределу в уравнениях (6.19), получаем

(6.20)(6.20)т^ = Ат^ + Вте.

(6.20)

(6.20)

D^ = AD^A* ^BDeB\

Уравнения (6.20) являются линейными алгебраическими уравнениями, определяющими искомые величины т^ и D^. Можно показать, что в силу устойчивости матрицы А (см. определение 6.6) система (6.20) имеет единственное решение. Например, т^ = (I — АГ^Впи причем матрица (J — А) обратима в силу того, что все собственные значения матрицы А по модулю меньше единицы. ■

Оказывается, что рассмотренная выше АРСС-модель (6.4) является частным случаем векторной стационарной модели (6.15). Действительно, пусть АРСС-последовательность {£п} определена уравнением

^п 4" ^l^n —1 4" • • • 4" Ьр^п_р — CL^tl 4" ^l^n—1 4" • • • 4" ttqSn — q^ (6.21)

где Ьр / 0, q = р — 1, а р ^ 1 — порядок авторегрессионной части модели (6.21). Тогда ^п = £i(n), где £i(n) — первая компонента р-мерной случайной последовательности Дп) = {£i(n), ... Др(п)}*, удовлетворяющей векторному разностному стохастическому уравнению

^И = А^(п

-1) +

Ben ?

(6.22)

где

Г ”bl

— ^2

...Ьр_ 1

Ьр

■ а0 ■

1

0

...0

0

dq

А =

0

1

...0

0

, в =

dq—1

,(6.23)

_ 0

0

1

0 _

_ di _

а параметры {(/^, к = 1, ...,(/} вычисляются по рекуррентным формулам:

dq — ^g ? ^fc — ^к ^ ^ ^г+1 ^k-Vq — г i ^ — 91?(6.24)

где обозначено ^ = —а^/Ьр^ к = 1, ... ,щ ^ = Ь^)Ьр^ г = 2, ... ,р.

Можно также показать, что если АРСС-модель (6.21) является асимптотически устойчивой, то соответствующее векторное уравнение (6.22) также является асимптотически устойчивым в смысле определения 6.6.

Заметим, что (6.22) является уравнением авторегрессии первого порядка для р-мерной СП {Дп)}. Таким образом, приведенные соотношения фактически показывают, что скалярная АРСС-модель р-го порядка эквивалентна р-мерной АР-модели первого порядка. Последнее означает, что для исследования АРСС-последовательности, наряду со спектральными методами, можно использовать методы, предназначенные для работы с векторными стохастическими линейными разностными уравнениями (например, рассмотренный выше метод моментов).

Пример 6.10. Вычислить математическое ожидание и дисперсию АР-последовательности второго порядка вида

€п 7€п—1 Т=(6.25)

если М{еп} = те и D{en} = Л£, а параметр 0 у < 1.

Решение. Приведем (6.25) к виду (6.22) и применим метод моментов. Из (6.25) следует, что by = —у, 62 = 72? ао = 1, &1 = 0. Тогда из (6.23) и (6.24) получаем

(6.26)(6.26)6И = 76 (« - 1) - 72£г(п - 1) + bW = Ы™- 1),

(6.26)

(6.26)

поэтому А =поэтому А =71711010Проверим для модели (6.26) условие асимптотической устойчивости. Из (6.26) следует, что det [А — хЦ = ж2 — уж + у2 = 0. Корни этого уравнения ауд = ^(1 ± гд/З), поэтому |ау| = |х2| = у < 1 по условию. Это означает, что {Д/г)} — стационарная СП и существуют т^ и D^ удовлетворяющие уравнениям (6.20) метода моментов. Для упрощения дальнейших вычислений заметим, что ^М =€1(п — 1)?Проверим для модели (6.26) условие асимптотической устойчивости. Из (6.26) следует, что det [А — хЦ = ж2 — уж + у2 = 0. Корни этого уравнения ауд = ^(1 ± гд/З), поэтому |ау| = |х2| = у < 1 по условию. Это означает, что {Д/г)} — стационарная СП и существуют т^ и D^ удовлетворяющие уравнениям (6.20) метода моментов. Для упрощения дальнейших вычислений заметим, что ^М =€1(п — 1)?следовательно, т^ =следовательно, т^ =d к к dd к к d= D{^n}, к = cov{£n,£n_i}.Подставляя указанные т^ и D^ в= D{^n}, к = cov{£n,£n_i}.Подставляя указанные т^ и D^ в, где m = M{£n}, d =, где m = M{£n}, d =систему (6.20), находимсистему (6.20), находим

поэтому А =

поэтому А =

7

1

7

1

1

0

1

0

Проверим для модели (6.26) условие асимптотической устойчивости. Из (6.26) следует, что det [А — хЦ = ж2 — уж + у2 = 0. Корни этого уравнения ауд = ^(1 ± гд/З), поэтому |ау| = |х2| = у < 1 по условию. Это означает, что {Д/г)} — стационарная СП и существуют т^ и D^ удовлетворяющие уравнениям (6.20) метода моментов. Для упрощения дальнейших вычислений заметим, что ^М =€1(п — 1)?

Проверим для модели (6.26) условие асимптотической устойчивости. Из (6.26) следует, что det [А — хЦ = ж2 — уж + у2 = 0. Корни этого уравнения ауд = ^(1 ± гд/З), поэтому |ау| = |х2| = у < 1 по условию. Это означает, что {Д/г)} — стационарная СП и существуют т^ и D^ удовлетворяющие уравнениям (6.20) метода моментов. Для упрощения дальнейших вычислений заметим, что ^М =€1(п — 1)?

следовательно, т^ =

следовательно, т^ =

d к к d

d к к d

= D{^n}, к = cov{£n,£n_i}.

Подставляя указанные т^ и D^ в

= D{^n}, к = cov{£n,£n_i}.

Подставляя указанные т^ и D^ в

, где m = M{£n}, d =

, где m = M{£n}, d =

систему (6.20), находим

систему (6.20), находим

т = ym — y2m + т£, d = y2d — 2у3/с + y4d + De.

к = yd — у2 Аг

Решим полученную систему уравнений относительно m, d, к:

т =т =те1 - у + у2 ’те1 - у + у2 ’d = Ded = De1 + у21 — у6 ’1 + у21 — у6 ’к = Deк = De11 — у6 *11 — у6 *

т =

т =

те

1 - у + у2 ’

те

1 - у + у2 ’

d = De

d = De

1 + у2

1 — у6 ’

1 + у2

1 — у6 ’

к = De

к = De

1

1 — у6 *

1

1 — у6 *

Так как £n = £i(n), то M{£n} = m, a D{£n} = d. Заметим, что выражение для дисперсии СП {£п} совпадает с выражением, полученным ранее с помощью спектрального метода в примере 6.6. ■

Фильтр Калмана. В данном пункте мы рассмотрим задачу оценивания траектории некоторой векторной СП, удовлетворяющей многомерному разностному линейному стохастическому уравнению, по косвенным линейным наблюдениям, искаженным случайными ошибками.

Предварительно рассмотрим постановку задачи оценивания по среднеквадратическому критерию (задача с.к.-оценивания) для некоторого случайного вектора £ по наблюдениям, составляющим случайный вектор у (см. также пн. 14.6, 14.7).

Определение 6.7. Случайный вектор ^ = ф(у) называется с. к.-оптимальной оценкой случайного вектора £ по наблюдениям ц, если

М{|^-П2} М{|^-^|2},(6.27)

где £ = ^(ц) — произвольное измеримое преобразование вектора наблюдений т] (т. е. £ — произвольная допустимая оценка для £ по ц).

Структура с.к.-оптимальной оценки в общем случае описывается следующей теоремой (см. также и. 14.5).

Теорема 6.2. Пусть М{|^|2} < сю, тогда с.к.-оптимальная оценка £ существует и имеет вид

1= £0) = М{£ I Л,(6.28)

где MR I л — условное математическое ожидание случайного вектора £ относительно случайного вектора наблюдений щ

Формула (6.28) позволяет оценить СВ £ по ц при практически произвольном совместном законе распределения оцениваемого и наблюдаемого случайных векторов. Однако в общем случае найти аналитическую формулу для М{£ | ц} весьма трудно. Если же ограничиться одним частным, но практически важным случаем, то удается найти простое аналитическое выражение для ф

Теорема 6.3. Пусть случайный вектор ( = {£*,??*}* является гауссовским, a R^ = cov{?7, ц} — невырожденная матрица, тогда

£ = т^ + R^R”1^ - wQ,(6.29)

где т^ = М{£} и тл = М{ц} — математические ожидания СВ £ ища R^ = cov{£,??} — их взаимная ковариационная матрица. При этом оценка £ — несмещенная (т. е. м{^-Д = о), а ковариационная матрица Р ее ошибки имеет вид

p^cov^-H-^^Rc-R^R^R^, (б.зо)

где Rc = соу{^,Ц.

Критерий качества с.к.-оптимальной оценки £ имеет вид

м{|€-€12} = ИД,(6.31)

где tr[ • ] — след матрицы.

Формула (6.29) дает явное выражение для М{£ | ту} в гауссовском случае, а сама теорема 6.3 известна как теорема о нормальной корреляции (см. п. 14.6).

Пример 6.11. Пусть оцениваемый £ и наблюдаемый у векторы связаны соотношением многомерной линейной регрессии:

л = А^е,(6.32)

где £ ~ JV(m^ R^ е ~ N\mA Re\ cov{£, е} = О, А — известная неслучайная матрица. Предположим, что ковариационная матрица Re ошибок наблюдений е — невырожденная. Найти выражение для £.

Решение. В силу линейности преобразования (6.32) ту является гауссовским СВ, и, более того, вектор £ = {£*,ту*}* = {£*,£*4* + е*}* также гауссовский. Поэтому для вычисления £ можно использовать утверждение теоремы 6.3. Пусть т^ и R^ известны. Найдем выражение для R^ и R^, исходя из модели (6.32):

тл = М{А£ + е} = Any + ш£,

R^ = cov}?/, ц} = cov{A£ + е, А£ + е} = AR^A* + Re.

где учтено, что cov{£, е} = 0. Аналогично получаем

R^ = cov{£, А^ + е} = R^A*.

Подставляя найденные выражения в (6.29), находим

£ = m^ + R^A*(AR^A* + ReT4n - Ат^ - т£\(6.33)

Заметим, что обратная матрица в (6.33) существует в силу того, что AR^A* + Re ^ Re > 0 по условию. ■

Рассмотренная выше техника оценивания может теперь быть использована для построения алгоритма рекуррентной фильтрации Калмана.

Пусть СП {£п} удовлетворяет разностному стохастическому уравнению

£п — Ап^п_ 1 + ВпеП1 п ^ 1,(6.34)

которое решается с начальным условием

где 7 ~ А7(т7; Р7), {еп} — дискретный векторный гауссовский белый шум, М{еп} = m£(n), cov{en,£n} = De(n)^ cov{En,^} = 0, если п ^ к. Также предполагается, что 7 и {еп} независимы. В силу линейности модели (6.34) и сделанных предположений СВ £п имеет гауссовское распределение при каждом п ^ 1, если {ЛП,ВП} — последовательности неслучайных матриц.

Предположим, что СВ £п в каждый момент времени n ^ 1 доступен косвенным измерениям по схеме

=п=1,2, ...,(6.35)

где т]п — вектор результатов измерений в момент п; Сп — известная неслучайная матрица, а {гп} — гауссовская СП, описывающая ошибки наблюдений. Далее предполагается, что {гп} — векторный дискретный белый шум, М{гп} = шДп), cov{rn,rn} = Dv(nY причем матрицы Dv(n) — невырожденные. Будем также считать, что СП {гп} не зависит от {еп} и от 7. Уравнения (6.34), (6.35) описывают динамическую модель наблюдений Калмана.

Обозначим цп = ^т]^ ... ^ЛпУ — вектор всех наблюдений до момента п включительно. Рассмотрим задачу построения с.к.-оптимальной оценки £п для СП £n, п ^ 1, удовлетворяющей уравнению (6.34), по наблюдениям ??п, полученным по схеме (6.35).

Теорема 6.4 (Калман). Пусть выполнены сформулированные выше предполоснсения о модели наблюдений (6.34), (6.35), тогда с. к.-оптимальная оценка ^ для £п по наблюдениям Т)п удовлетворяет разностному стохастическому уравнению

' 7=7лДХ^СЦ7С7г + ^

< х(г)п- С'Дп - т,^\ n ^ 1,(6.36)

„ Со = т7,

^^ Сп — ^ЬСп—1 "Ь Рп^е^р) а Рп — Л.пРп—iAn + В^О^н^В^.

Матрица Рп является ковариационной матрицей ошибки Д£п = = ^п — ^п оценки и удовлетворяет разностному матричному уравнению

< _(6.37)

[ Ро = ^7-

Рекуррентные уравнения (6.36), (6.37) известны в литературе по теории стохастических систем как дискретный фильтр Калмана.

Если ввести обозначение кп = РпС*(СпРпС* + Dv(n)) х, то уравнение фильтра Калмана можно записать в более компактном виде:

Г €п = €п Т кпОПп С^ Шу^П^^ <^о = тп^

1 Рп = (7 — кпСп)Рп.Р0 = ^7?

где кп называется матричнъьм коэффициентом усиления фильтра. Заметим, что если наблюдения (6.35) отсутствуют, т. е. Сп = 0, то кп = 0. В этом случае уравнения фильтра Калмана (6.36), (6.37) принимают вид

( Сп = АпСп—1 + ВпТП£ (п),<0 = ^7)

I Я = AnPn-iA* + ВпВ£(н)В*, Ро = Р7.

Таким образом, полученные уравнения совпадают с уравнениями метода моментов (6.17), (6.18), т. е. £n = M{£n}, а Рп = cov{£n,£n}. Последнее означает, что с.к.-оптимальной оценкой СП {£п} является ее математическое ожидание, если СП {£п} недоступна наблюдению (т. е. у нас нет дополнительной измерительной информации).

Пример 6.12. Рассматривается скалярная модель наблюдения

J £n = ^n-i+£n,^о=7),.

[ Лп ~™ > 1,

где {еп}, {гп} — стационарные и центрированные гауссовские белые шумы. Требуется построить для (6.38) фильтр Калмана.

Решение. По условию m£(n) = mv(n) = 0, P£(n) = r£ = const, Dy(n) = Ту = const, Ап = а. Вп = Сп = 1. Поэтому

^п = ^п + кп(рп — £п),

т 77 Рп с Рп—1Тге

гДе snttsn—1, кп = •.

Рп + Ту а2Рп-1 + ге А-Ту

Таким образом, уравнение для оценки ^ имеет вид

^п — ^^п—1 Т кпХЛп, ^€п—1), €о — тп^.(6.39)

Теперь преобразуем (6.37) (учитывая скалярность модели):

Видно, что кп удовлетворяет разностному уравнению

7 ® кп—1 Т р

a2kn-i + р + 1

8 Б.М. Миллер и А.Р. Панков

где р = r£/rv, с начальным условием ко = Po/rv = R^/rv.

Окончательно уравнения рекуррентной фильтрации принимают следующий вид:

{

С — ^€n —1 Т ^п^Рп ^€п—1), €о — ТП^ кп — 1 ^а кп—х "Г р "Г 1) ко — R^/tv^

Рп — ^и^п?

причем Рп совпадает с дисперсией ошибки оценки ^п. ■

Алгоритм рекуррентной фильтрации Калмана позволяет решать разнообразные задачи оценивания в случае, когда исходная модель может быть приведена к виду (6.34), (6.35).

Пример 6.13. Модель наблюдений имеет вид

Пп = Сп9п = 1,2, ...,(6.41)

где рп — вектор результатов наблюдения, {гп} — гауссовский векторный белый шум с параметрами шДп) и Dv(n) > 0, описывающий ошибки наблюдений, 9 — гауссовский вектор неизвестных параметров модели, {Сп} — последовательность известных неслучайных матриц. Известно, что М{0} = mg, cov{#,#} = Rg и 9 не зависит от {гп}. Построить рекуррентный алгоритм с.к.-оптимального оценивания 9 по наблюдениям рп = {ц^, ..., ц*}*.

Решение. Модель (6.41) является частным случаем модели (6.34), (6.35). Действительно, обозначим ^п = 9 при п = 0,1, ..., тогда уравнение динамики СП £п имеет вид

€n = €n-i,п>1(6.42)

с начальными условиями Д> = ^, М{Д} = mg^ R^o = cov{^o^o} = Re- Сравнивая (6.42) с (6.34), получаем: Ап = J, Вп = 0. Заменяя в (6.41) 9 на £п, получаем уравнение наблюдения (6.35). Таким образом, (6.41) можно представить в виде совокупности уравнений (6.42), (6.35). Теперь можно воспользоваться теоремой 6.4. Из (6.36) с учетом Ап = I и Вп = 0 находим

€п ^п—1, Рп Рп— 1*

Следовательно,

' U = U-i + Р^С^Р^С* +

< х On Гп^п_ 1 ш^О)),(6.43)

. Д = Pn-i - Pn-iC*n(CnPn-iC*n + Dv(n)rVCnP„-i.

Уравнения (6.43) решаются с начальными условиями:

€о = W, Ро = Нд.(6.44)

При этом 0п = £п — с.к.-оптимальная оценка для 6 по т]п. а Рп — ковариационная матрица ее ошибки.

Уравнения (6.43), (6.44) описывают рекуррентный вариант обобщенного метода наименьших квадратов. ■

Замечание. В примере 6.13 мы построили с.к.-оптимальную оценку для 6 по наблюдениям цп, т. е. 9 = М{0 | цп} в предположении гауссовости 9 и {гп}. Если это предположение не выполнено, то можно показать, что 9 является наилучшей линейной оценкой для 0 по наблюдениям цп, т. е. 9п является наиболее точной среди всех оценок вида 9п = Gif1 + g. где G^g — произвольные неслучайные матричные коэффициенты соответствующих размеров (см. также и. 14.7).

В заключение рассмотрим ситуацию, когда модель наблюдения (6.34), (6.35) является стационарной, а разностное стохастическое уравнение (6.34) — асимптотически устойчивым. В этом случае все параметры модели (6.34), (6.35) не зависят от времени п, а матрица А удовлетворяет условию (6.16). Будем называть модель (6.34), (6.35) стационарной калмановской моделью наблюдения.

Теорема 6.5. Для стационарной калмановской модели наблюдения справедливо предельное соотношение: Рп —> Р ^ 0 при любом

начальном условии Pq ^ О, причем Р не зависит от Pq.

Из теоремы 6.5 и теоремы Калмана немедленно следует

Рп = АРп_хА* + ВВ£В* АРА + BD£B* = Р,

k„ = РпС*(СР„С* + D^"1 РС*(СРС* + DJ”1 = к, п^оо.

Полученные предельные соотношения могут быть использованы для построения стационарных уравнений фильтра Калмана:

( £п = ^п + Нй™ — С^ — Шу),

< _(6.45)

I = А^п_^ Т Вт£1 ^ =

где к = PC*(CPC* + Ру)-1, а матрица Р определяется из системы алгебраических уравнений

Г Р = АРА* Р ВВ£В%

_(6.46)

( Р = Р - РС*(СРС* Р ВД^СР.

Уравнения (6.45), (6.46) описывают алгоритм фильтрации для достаточно больших п, поэтому можно считать, что процесс {£п} является стационарным (т. е. закончился переходный процесс, вызванный наличием начального значения (о = 7)-

Пример 6.14. Построить стационарный вариант фильтра Калма- на для модели (6.38) в предположении, что r£ = 1 — п2, rv = 1.

Решение. Заметим, что если {£п} — стационарная последовательность, то R^ = cov{£n,£n} = г£/(1 — п2) = 1. Условие асимптотической устойчивости для (6.38) означает, что |п| < 1. В силу теоремы 6.5 уравнение фильтрации (6.39) имеет вид

к^Лп ^€п—1),(6.47)

ь ь с2р + (1-с2)г а а

где к = пт кп = —^—, с учетом того, что Iim Pn~i = Р.

п^ос а2Р+(1-С2) + 1

Г£ = 1 - п2, rv = 1.

Из соотношения (6.40) находим, что Р = lim Рп = lim knrv = к, поэтому для вычисления Р необходимо решить уравнение

Р = “Д+Г-а2)48)

а2Р+(1-а2) + 1

причем нас интересует только неотрицательное решение Р ^ 0, поскольку Р — предельное значение дисперсии ошибки оценки фильтра Калмана.

Уравнение (6.48) после замены /3 = (1 — а2} / а2 принимает вид

Р2 + 2/3Р -/3 = 0

и имеет единственное неотрицательное решение

Р = л/^2 +/3= V1 а2^1—Д) _(6.49)

Обозначим через сг£ = V1 — и2 среднее квадратическое отклонение СП {еп}, тогда из (6.49) следует Р = ———. В силу (6.48) к = Р, поэтому уравнение фильтрации (6.47) принимает окончательный вид

С —1 4"। j (^7пп<^п_х), <Со — тт (6.50)

Точность оценки £п асимптотически (т. е. при п ^ ос) можно характеризовать величиной Р, так как М{(£п — £n)2} —> Р = —при

П ОС.

Заметим, что дисперсия ошибок наблюдений в рассмотренном примере Гу = 1, а дисперсия ошибок оценивания Р ^ 1/2. Действительно, из условия |п| < 1 следует а£ ^ 1, что означает Р = ——— ^1/2. (Те + 1

Таким образом, процедура фильтрации позволяет существенно повысить точность оценивания СП {£п} по сравнению с измерениями. Отметим также, что если величина |п| близка к 1 (т. е. сечения СП {<Д} сильно коррелированы), то Р может быть существенно меньше 1/2. Например, Р и 0,304 при а = 0,9 и Р и 0,124 при а = 0,99. ■

Нелинейная фильтрация марковских случайных последовательностей. Пусть {£n, п > 0} — вещественная марковская СП с переходной плотностью р(п — 1, ж, п, у) и плотностью ро(х) распределения начального значения (о (см. и. 2.4). Далее предполагается, что £п Е Rp, р ^ 1, а М{|£п|2} < ос, т. е. {£п} — гильбертова СП.

В каждый момент n ^ 1 СП {<Д} доступна измерению по следующей схеме:

Лп = Ptl^tl^ 4" гп, п = 1, 2, ...,(6.51)

где цп G R9 — результат n-го измерения; рп(х) — ^-мерная детерминированная нелинейная функция аргумента х Е Rp; {гп, п ^ 1} — (/-мерный дискретный белый шум, причем сечения {гп} независимы в совокупности. Будем считать, что при каждом п ^ 1 СВ хп имеет плотность распределения рп(хУ г Е R9.

Так же как и в п. 6.4, уп будет обозначать вектор, составленный из всех наблюдений {щ, ... ,цп} до момента п включительно. Тогда из теоремы 6.2 следует, что с.к.-оптимальная оценка СВ ^п по наблюдениям т]п имеет вид

Е = Gn(r?n) = М{е„ I тП ,(6.52)

Оценка £п называется с.к.-оптимальной оценкой фильтрации СП Дп} по наблюдениям цп. Последовательность нелинейных операторов {Gn} задает алгоритм с. к.-оптимальной нелинейной фильтрации СП {Щ.

Предположим, что существует условная плотность распределения СВ ^п относительно цп, которую мы будем далее обозначать wn^y\ где п ^ 1, у Е Rp. Тогда оператор Gn в (6.52) можно представить в интегральной форме (см. п. 14.5):

£n = j yw„(y)<fy.(6.53)

Rp

Для характеризации величины ошибки оценки ^ можно воспользоваться ее условной ковариационной матрицей

Е^м^и-Еж-ЕУ |Н = j уу*Ж^Л-ЕЕ- (6.54)

Из (6.53), (6.54) следует, что

мд„ - & । цД - мщ - щ = о,

М{|е„-€»|2 | Щ = Д_Р„], п = 1,2, ...

Таким образом, построение оценки фильтрации ^ и алгоритма Gn фактически сводится к вычислению условной плотности wn(t/). Заметим, что в общем случае рп Е RnXq, поэтому объем вычислений быстро увеличивается с ростом п. Если же оцениваемый процесс {£п} является марковским, то уравнения фильтрации могут быть выписаны в явном виде, причем алгоритм фильтрации Gn приобретает рекуррентный характер.

Введем функцию wn(t/), определяемую следующими рекуррентными функциональными соотношениями:

«Ду) =~ <Щу)) ] p(n - 1,Ж,П,у) Wn-1(x)dx, n > 1,

*_RP

. wo(y)=Po(y)-

(6.55)

Функция wn(y) называется ненормированной условной плотностъю распределения £п относительно рп. Можно показать, что

w^y) = w„(y)(| w„(y)</y) .(6.56)

Соотношения (6.53)-(6.56) определяют общий вид алгоритма с.к.-оптимальной нелинейной фильтрации марковской СП {£п} по наблюдениям {цп} (6.51).

Замечания. 1) Для линейно-гауссовской модели наблюдения (6.34), (6.35) уравнения нелинейной фильтрации превращаются в уравнения (6.36), (6.37) фильтра Калмана. Если же в модели наблюдения Калмана процессы {еп}, {гп} и начальный вектор у не являются гауссовскими, то оценка ф, (6.52) в общем случае будет нелинейно зависеть от наблюдений {цп} и может существенно отличаться от линейной оценки (6.36).

При практической реализации нелинейного фильтра (6.53)(6.56) наибольшие трудности связаны с вычислением интегралов, если р > 1. В случае, когда аналитическое вычисление интегралов невозможно, для wn(y) используют подходящую параметрическую модель (например, аппроксимируют wn(t/) конечным разложением по системе базисных функций с неопределенными коэффициентами). Тогда уравнения (6.55) позволяют получить конечную систему рекуррентных уравнений, описывающих эволюцию во времени указанных

параметров (коэффициентов), после вычисления которых построение оценки £п не представляет труда. В любом случае уравнения нелинейной фильтрации (6.53)-(6.56) позволяют построить некоторый «эталон» процедуры оценивания, с которым далее можно сравнивать результаты оценивания, полученные с помощью субоптимальных (приближенных) алгоритмов фильтрации (см. и. 6.6).

Широкий класс марковских СП можно построить с помощью модели, описываемой нелинейными разностными стохастическими уравнениями:

^п(<ъП—1) ^п(<ъП—1)^П, В 2. . . . ,

(6.57) €о = 7,

где ап($У bn(x\ х Е Rp — матричные нелинейные функции, {бп} — векторный r-мерный белый шум, у — СВ начальных условий.

Уравнение (6.57) называется уравнением диффузии с дискретным временем. Решение {£п} уравнения (6.57) является марковским процессом, о чем свидетельствует следующая теорема.

Теорема 6.6. Пусть при каснсдом п^ 1 функции ап(х\ Ьп(х) измеримы по Борелю, а {7,61,62, •••} независимы в совокупности. Тогда СП {£п}, удовлетворяющая (6.57), является марковской и имеет переходную вероятность

Р(п — 1, х, п, В) = Р{пп(т) + Ьп(х)еп Е В} , х EW, В Е B(W).

При определенных условиях будет существовать также и переходная плотность р(п — 1, х, п, у):

Р(п - 1, х, п, В) = j р(п — 1,х,п,у) dy V В Е B(W\в

Действительно, пусть матрица bn(x) обратима для всякого х Е Rp, а СВ бп имеет плотность рп(т), тогда

Р(п — 1, х, п, В) = Р{пп(т) + Ьп(х)еп Е В} =

в

поэтому

р(п- 1,ж,п,у) = det[^^^«(^n1^)^ - VEV^Y (6.58)

Для корректной постановки задачи с.к.-оптимальной фильтрации процесса {£п} в (6.57) необходимо, чтобы он был гильбертовым. Соответствующие достаточные условия приведены в следующем примере.

Пример 6.15. Пусть в модели (6.57) при каждом n ^ 1 найдется Кп < ос, такое, что

К(ж)|2 + ||Ь„(ж)||2 < К„(1 + |ж|2),(6.59)

причем М{|еп|2} < ос, МЩ)2} < ос. Показать, что М{|£„|2} < ОС при всех п ^ 1.

Решение. Заметим, что ||5п(т)||2 = 1г[5п(т)5* (ж)] по определению, а для любых СВ X и Y выполнено неравенство

М{|Х + У|2} < 2(М{|Х|2} + М{|У|2}).(6.60)

Для доказательства воспользуемся методом математической индукции. Предположим, что M{|£n_i|2} < ос. Покажем, что в условиях примера в этом случае М{|£п|2} < ос. Действительно,

м{|е„|2} = м{|а„(е„_1) + м^ы2} <

<2М{М£п_1)|2} + 2М{|Ы6г-1К|2} <

2М{М£„М|2} +2М{||М£п-1)1|2Ы2} .

По условию bn(£,n-i) не зависит от sn, поэтому с учетом (6.59) и (6.60)

М{|^п|2} <2М{Кп(1 + |^_1|2)} + 2М{Ап(1 + |^_1|2)} х

хМ{|£п|2}=27Щ1+М{|£пД2})(1 + М{|£п|2}) <оо

в силу сделанного индуктивного предположения и условий примера. Итак, M{|^n-i|2} < ос влечет М{|£п|2} < ос, что вместе с условием м{ы2} = м{ы2} < ос доказывает требуемое утверждение. ■

В заключение рассмотрим пример, описывающий алгоритм нелинейной фильтрации для конкретной СП.

Пример 6.16. Скалярные вещественные СП {£п} и {^п} описываются уравнениями

( С = An arctg£n_i +в„г„, ^о = 7,,,

<(6.61)

Лп ^П ^,п + 3™

где {Лп, Вп. ап^ /Зп} — заданные коэффициенты, Вп ^ 0, Рп ^ 0, 7 имеет равномерное распределение на [—А, А], А > 0, {еп} — центрированный гауссовский белый шум, М{е2 } = ст2 > 0, a {wn} — белый шум, сечение wn которого распределено по закону Лапласа с параметром Ап > 0. В предположении, что {en}, {wn} и у независимы, построить с.к.-оптимальный фильтр для {^п} по наблюдениям {?7П}.

Решение. В условиях примера из теоремы 6.6 и примера 6.15 следует, что {£п} — марковская гильбертова СП. Так как плотность рп(х) СВ еп равна

рп(ж) = (2тгсг2)"1/2ехр{-ж2/2сгД ,

то из (6.58) с учетом Вп ^ 0 получаем

р(п - 1,ж,п,у) = [2тг(Рп<тп)2] 1/2ехр{-(у - A„arctga:)2/(2y2<T2)} .

Плотность ро (?/) начального распределения по условию равна

( (2Д)-1, если д 6

роЫ= ,’’ ь(6.62)

I 0 в противном случае.

По условию СВ шп имеет плотность вероятности

ехр{-А„|ж|} ,

поэтому, обозначая гп = /Зпшп, находим плотность рп(х) СВ гп:

РпМ = рпехр{-2рп\х\} , где рп = Ап/(2|/Зп|).

Теперь, подставляя найденные выражения для p(n — 1^гцу) и рп^ в уравнение (6.55) для ненормированной условной плотности шп(?/), находим

«Ду) = сДехр{-2/Д?7п - а„у2)} х

х f ехр{ —с^\у — Ан arctga:)2}wn_i(a:) dx, (6.63)

где сД = Ап(л/8тгДп/Зп|о-п) \ Cn^ = (/?и<тп) 2/2 — детерминированные числовые последовательности.

Уравнение (6.63) решается рекуррентно для п = 1, 2, ... с начальным условием йо^у) = Ро(у), где ро(у) имеет вид (6.62). После вычисления й^у^ с.к.-оптимальная оценка £п определяется по формуле

Условная дисперсия ошибки оценки Рп = М{(£п — ^п)2 | Цп} вычисляется по формуле (6.54) с учетом (6.56). ■

Алгоритмы субоптимальной нелинейной фильтрации.

Рассмотрим вначале модель наблюдения вида

(6.64)(6.64)(6.65)(6.65)€п — ^п€п —1 4" Un 4" ВПЕП1 ^о — 7,

(6.64)

(6.64)

(6.65)

(6.65)

Лп — Сп^п 4" Wn 4" Dnun, п — 1,2,...,

где {еп}, {гп} — независимые стандартные гауссовские белые шумы; 7 — вектор начальных условий с распределением N^m^ Ry\ не зависящий от {sn}, {гп}; {Ат Вт СП) Dn} — известные матрицы, причем DnD^ > О при всех п ^ 1; {Un)Vn} — известные векторы.

Из теоремы 6.4 Калмана следует, что с.к.-оптимальная оценка £п по наблюдениям цп = {ц^, ...,ц*}* вычисляется по формуле

^п ^п 4 кп(рп Сп£, И^п), €о

_(6-66)

€п = Ап^п_ 1 + Un.

kn = PnC^CnPnC*n + DnD*ny\(6.67)

Pn = (I — knCn)Pn^ Pg = Рд-

_(6-68)

Pn — AnPn_iA^ + BnB*.

Напомним, что £n = M{£n | цп}, ^n = M{£n | цп x} — с.к.-оп- тимальный прогноз (на один шаг) для £п по наблюдениям цп-1, Pn = cov{£n — |n^n — tn | Л™^ — условная ковариационная матрица ошибки оценки £n, a Pn = cov{£n — £п, £п — £п | цп-1} — условная ковариационная матрица ошибки прогноза £п (см. задачу 10).

Уравнения (6.66)-(6.68) можно использовать для приближенного оценивания процесса {£п} в нелинейной разностной стохастической модели наблюдения

(6.69)(6.69)(6.70)(6.70)^п — ^п(^п —1) 4" Un 4" ВПЕП1 ^о — 4?

(6.69)

(6.69)

(6.70)

(6.70)

Лп — ^n(€n) 4" wn 4^ Dnt)n^ Tt — 1)2, ...,

где aH^Y cn(^) — известные нелинейные дифференцируемые функции; nn, wn — известные векторы.

Предположим, что для {£п} имеется некоторая опорная траектория {£°} такая, что М{|£п —£°|2} <С 1 (т. е. достаточно точно аппроксимирующая процесс {£п})-

Проведем линеаризацию модели (6.69), разложив нелинейность в правой части около опорного значения ^° и отбросив члены второго

и более высоких порядков:

€n — ^n(€n-i) 4-€n — ^n(€n-i) 4-C^Mf)C^Mf)Кп-1’П — 1Кп-1’П — 1-£-i) +-£-i) +

€n — ^n(€n-i) 4-

€n — ^n(€n-i) 4-

C^Mf)

C^Mf)

Кп-1

’П — 1

Кп-1

’П — 1

-£-i) +

-£-i) +

4" и^ + Вп£п — An^n_i 4" Un 4" Впеп,4" и^ + Вп£п — An^n_i 4" Un 4" Впеп,

4" и^ + Вп£п — An^n_i 4" Un 4" Впеп,

4" и^ + Вп£п — An^n_i 4" Un 4" Впеп,

где

5апЮ5апЮUn = M£n-i) - AJ^ + ип. (6.71)Un = M£n-i) - AJ^ + ип. (6.71)

5апЮ

5апЮ

Un = M£n-i) - AJ^ + ип. (6.71)

Un = M£n-i) - AJ^ + ип. (6.71)

Аналогичные преобразования проведем также и с моделью процесса измерений (6.70):

Ли — сп(^п) 4-Ли — сп(^п) 4-с*сД£)аес*сД£)ае(^п€п) 4" wn 4" Опьп — Сп^п 4" W"n 4" 7)nrn(^п€п) 4" wn 4" Опьп — Сп^п 4" W"n 4" 7)nrn

Ли — сп(^п) 4-

Ли — сп(^п) 4-

с*сД£)

ае

с*сД£)

ае

(^п€п) 4" wn 4" Опьп — Сп^п 4" W"n 4" 7)nrn

(^п€п) 4" wn 4" Опьп — Сп^п 4" W"n 4" 7)nrn

где

сп = ^^, wn = <) - С„^ + w„.(6.72)

Теперь оценка £п может быть построена по формулам линейной фильтрации (6.66)-(6.68), где параметры {АП) Un, СП) Wn} вычисляются по формулам (6.71), (6.72). Оценку £п обычно называют субоптимальной оценкой нелинейной фильтрации, а алгоритм оценивания (6.66)-(6.72) — алгоритмом ецб оптимальной нелинейной фильтрации первого порядка.

Рассмотрим два наиболее распространенных способа выбора опорных значений и £° в формулах (6.71), (6.72).

Пусть {£°} является решением уравнения (6.69) при отсутствии случайных возмущений ({£°} — невозмущенная траектория (6.69)):

€п = ап(£,п-1) 4- ^п? €о = тт-(6.73)

Совокупность уравнений (6.66)-(6.73) называется линеаризованным фильтром Калмана (ЛФК).

Пусть в (6.71) в качестве Е^_у выбирается оценка £п-1- Тогда уравнения для прогноза £п принимают вид

€п — Ап^п_ 1 4" ^^п(^п—1) Ап^п_ 1 4" ип^ — ап^п_i) 4" ип.

Теперь в (6.72) в качестве £° можно использовать £п. Тогда

€п *ъп 4" 1^-п \йп Un^ ^.С-п^п^ Сп£,п 4" wn

С 4^п \йп сп{^,п) ^гД •

Итак, уравнения (6.66) принимают окончательный вид

€п £п 4" ^П \Лп Сп(Ап)?^n = ttn(€n —1) 4" tZn,€п £п 4" ^П \Лп Сп(Ап)?^n = ttn(€n —1) 4" tZn,€о —€о —m7,m7,(6.74)(6.74)

€п £п 4" ^П \Лп Сп(Ап)?

^n = ttn(€n —1) 4" tZn,

€п £п 4" ^П \Лп Сп(Ап)?

^n = ttn(€n —1) 4" tZn,

€о —

€о —

m7,

m7,

(6.74)

(6.74)

Матрицы Ап и Сп вычисляются в соответствии с (6.71), (6.72):

п аеп аеСп — 1Сп — 1СпСпдсп^дсп^(6.75)(6.75)

п ае

п ае

Сп — 1

Сп — 1

Сп

Сп

дсп^

дсп^

(6.75)

(6.75)

а кп^ Рп- Рп определяются из (6.67), (6.68).

Совокупность уравнений (6.74), (6.75), (6.67), (6.68) называется расширенным фильтром Калмана (РФК).

Замечания. 1) Алгоритм ЛФК реализуется на практике существенно проще по сравнению с РФК, так как матричные параметры кп^ Рп и Рп в алгоритме ЛФК не зависят от наблюдений {цп} и, следовательно, могут быть вычислены заранее. В алгоритме РФК Ап и Сп зависят от наблюдений {цп}, поэтому кп^ Рп и Рп необходимо вычислять непосредственно в процессе обработки поступающих наблюдений. Практические расчеты показывают, что оценка РФК обычно несколько точнее оценки ЛФК. Точностные характеристики обеих оценок существенно зависят от величины случайных возмущений в модели (6.69), (6.70) и от характеристик нелинейностей этих моделей. В линейном же случае обе оценки, естественно, совпадают с с.к.-оптимальной оценкой линейного фильтра Калмана.

В общем случае оценки ЛФК и РФК не совпадают с условным математическим ожиданием, а матрицы {Рп} не равны условным ковариациям ошибок соответствующих оценок. Поэтому реальные точности оценок {£п} субоптимальных нелинейных фильтров следует определять методом статистического моделирования на этапе синтеза соответствующих алгоритмов оценивания.

Пример 6.17. Нелинейная динамическая модель наблюдения описывается разностными стохастическими уравнениями

(6.76)(6.76)£» = АСЬ0,7гп, со =

(6.76)

(6.76)

1 "Г Чп-1

77„ = о,6£п +0,4^2 + 0,2

где {еп}, {гп} — независимые скалярные стандартные гауссовские белые шумы, у — стандартная гауссовская СВ, не зависящая от {еп}, {гп}. Построить линеаризованный и расширенный фильтры Калмана для оценивания СП {£п} по наблюдениям {цп}.

Решение. 1) (Построение ЛФК). Сравнивая (6.76) с (6.69) и (6.70), заключаем, что

<1 + ^(6.77)

< сп(0 = 0,6^4 0,4^, шп = 0, Dn = 0,2.

По условию также ш7 = 0, R^ = 1.

Опорная траектория {£°} определяется уравнением (6.73), которое с учетом (6.77) имеет вид

е = 1т1> s = 0-№78)

Из (6.78) немедленно следует, что £° = 0, п = 0,1,2, ... Для ап^ и сп(£) конкретного вида (6.77) следует

da^ = 1-£2^(1+С)2’da^ = 1-£2^(1+С)2’^^ = 0,6+ 0,8^.^^ = 0,6+ 0,8^.(6.79)(6.79)

da^ = 1-£2^(1+С)2’

da^ = 1-£2^(1+С)2’

^^ = 0,6+ 0,8^.

^^ = 0,6+ 0,8^.

(6.79)

(6.79)

Отсюда с учетом (6.71), (6.72) для случая ^ = 0 получаем

Ап = 1, Сп = 0,6, Un = Wn = 0.(6.80)

Подставляя (6.80), (6.77) в уравнения ЛФК (6.66)-(6.68), получаем системы уравнений

€п = ёп + ^[/?п-о,бёп], fo = o,

_(6.81)

кп = 0,6 Рп (0,36 Рп + 0,04) \(6.82)

Рн = (1-0,6 кп)Рп, Ро = 1, _(6-83)

Рп = Рп_! + 0,49.

Исключая из (6.81)-(6.83) вспомогательные переменные £„ и Рп, получаем окончательный вид ЛФК:

Си — Си—1 + 15Pn[v?n ОД».,], ^о — 0,

(6-84)

Рп= (Р„_1+0,49)(9Р„_1+5,41) , Ро = 1.

(Построение РФК). В уравнениях РФК на n-ом шаге полагаем ^_1 = €n-i, ^ = ^„. С учетом (6.79) находим

А„ = (1-^_1)(1 + ^_1)-2,Сп = 0,6 + 0,8ё„.(6.85)

Из (6.74) с учетом wn = ип = 0 получаем уравнения фильтрации

fn = f„ + АДт7„ -(Шп -0,4^],&> = 0,

<(6.86)

где уравнения для вычисления коэффициента усиления кп имеют вид

' кп = спК<с£рп + о,о4Г\

< Р„ = (1 - кпСп)Рп, Ро = 1,(6.87)

. РП = А2РП_1+О,49,

а Ап и Сп определены соотношениями (6.85).

Сравнивая (6.86) и (6.84) видим, что алгоритм ЛФК дает линейную по наблюдениям оценку £п, а последовательность {Рп} — детерминированная, в то время как РФК осуществляет существенно нелинейные преобразования наблюдений, а последовательности {РП,РП} и, следовательно, {&п} — стохастические. Таким образом ЛФК дает очень простую и грубую оценку для СП {£п}, в то время как РФК гораздо более полным образом учитывает нелинейную структуру модели наблюдения (6.76). ■

В заключение рассмотрим метод 'условно-оптимальной нелинейной фильтрации (УОНФ), предложенный В.С. Пугачевым [19]. Для построения УОНФ процесса {£п} в модели (6.69), (6.70) выбираются две функции:

Рп^^) — базовая прогнозирующая функция;

'ф-пХ^гци?) — базовая корректирующая функция, которые могут быть как линейными, так и нелинейными.

Алгоритм фильтрации определяется рекуррентными уравнениями вида «прогноз-коррекция»:

{

€п — Дп^п(€п —1 ? ^п) т /п?€о — ТП^^

_~~(6.88)

€п — €п т Hni]jn^n^ ть, wn) т кп^

где матричные параметры {7Д, fn} и ^Hn^hn^ выбираются с.к.-оптимальным образом, т. е. так, чтобы

M{|G - (Fn$n + /п)|2}М{|£„ - Ш$п + /)|2} ,

М{|е„ - (Ц + Нн$п Fh^H M{l€n - (fn + М + h)|2},

где $n = NU-i^n), фп = 4>n^n,r)n,wn), а {FJ} и {Я, h} — произвольные матричные коэффициенты соответствующих размеров.

Из теоремы 14.16 (см. п. 14.7) немедленно следует, что

Fn = cov{C„, ^„} [cov{^„, Уп}]”,1 /„ = М{^„} - Р„ М{уп}; (6.89)

Яп = cov{£„ - £пДЩсоу{^п,^п}] ^h^ = -НпМффЛ- (6-90)

Из (6.89), (6.90) следует, что параметры {Fn, fn, Нп, hn} — неслучайные, т. е. могут быть вычислены заранее (до начала обработки наблюдений).

Оценки £п и £п — несмещенные по построению, а ковариационные матрицы их ошибок Рп и Рп определяются аналитически:

Р„ = cov{£„, Щ - F„ cov{yn, £„},

Fn = F^ Нп cov{^n,£n ^n}-

Для практического вычисления коэффициентов (6.89) проще всего воспользоваться методом статистического моделирования.

Пусть смоделированы N реализаций {£^21} оценки УОНФ £n-i и N реализаций {^п^} СП £п. Тогда при TV ^ 1 можно состоятельно оценить правые части выражений (6.89):

мы «и = n-1 е ^,м{£„} » а, = ^ Е <М&иЛ

г = 1г = 1

cov{^„,^„} »cov{^„,^„} =

г = 1

cov{^„, ФЛ ~ covRn, ФЛ = Е ^^(Cn-l, иЛ - 1ЛРп-

г = 1

Теперь, заменяя в (6.89) математическое ожидания и ковариации их выборочными аналогами, получаем оценки Fn и /п для Fn и /п:

Р„ = соу^п^Л\со¥^фТ1,фЛГ11 7п = 1п-рпфп. (6.91)

После вычисления Fn и /п, мы можем построить набор реализаций прогноза {^®4 и базовой коррекции ффп(1,п\ i]n \ w)}, где {т?^} — набор реализаций вектора наблюдений г)п, соответствующий реализациям {Сп4:

а {^п^} — набор независимых реализаций вектора ошибок наблюдений гп.

Теперь оценки Нп и Л^для Нп и hn могут быть вычислены точно так же, как оценки Fn и /п. Заметим, что Fni /п, Нп и hn сходятся с вероятностью 1 при N -Д ос к точным значениям коэффициентов Рти fn- Нп и hn.

Укажем стандартные способы выбора базовых функций ^n^i^ и фп^Л. w):

прогноз по уравнению (6.69), описывающему динамику СП {£п}:

1 ? ^п) = ttn(€n —1) Т ^п?(6.92)

коррекция в виде невязки (рассогласования):

Фп^п^ Лги Wn) — Лп ^Сп^п^ Т Шп);(6.93)

коррекция в виде преобразованной невязки:

Фп^П-) Лги ^п) = ^-Длп (сп(€п) Т ^п)] 5(6.94)

где кп = РпС*(СпРпС* + П^уфРп = cov{£n - £ПДП - jn}, Сп =

Другие возможные способы выбора срп(фи) и ^n(^,?7,w) рассмотрены в [17].

Таблица 6.1

п

у(2)

J^

т(2) / тС1)

т(3) / тС1) ^п / ^п

1

0,261

0,563

0,278

2,16

1,07

2

0,238

0,450

0,257

1,89

1,08

4

0,224

0,392

0,237

1,75

1,06

6

0,224

0,387

0,238

1,73

1,06

8

0,227

0,387

0,244

1,70

1,07

10

0,239

0,421

0,258

1,76

1,08

Пример 6.18. Для модели (6.76) из примера 6.17 были построены по N = 2000 реализаций с.к.-оптимальной оценки ^п^, оценки РФК ^2) и оценки УОНФ ^3^. Если обозначить соответствующие реализации {£n^G)j3 гДе к = 1, 2, 3; г = 1, ...,7V, то реальные точности оценок определяются величинами их выборочных с.к.-погрешностей:

Для построения оценки £^ использован алгоритм оптимальной нелинейной фильтрации, описанный в п. 6.5, оценка РФК ^2^ вычислялась по формулам (6.74), (6.75), (6.67), (6.68), а оценка УОНФ £п3) — по формулам (6.88), где функция ip™^ п) имела вид (6.92), а функция Д,Д. vy.w) — (6.94). Результаты расчетов приведены в табл. 6.1.

Полученные результаты показывают, что оценка УОНФ по точности практически не уступает с.к.-оптимальной оценке и существенно точнее оценки РФК. Заметим также, что объем расчетов, требуемый для построения оценки ^п1^ значительно больше, чем для построения +(2)+(3)-

как так и • ■

7. Задачи для самостоятельного решения.

СП £ = {^п} удовлетворяет уравнению авторегрессии

<Д - 0,8 <п-1 = Sn, П е Д

где {sn} — стационарный гауссовский белый шум с параметрами те = 0,2 и De = 0,36. Вычислить Р{02}.

Ответ. Р{0 < ^ < 2} «0,683.

Спектральная плотность ССП £ = {£п} имеет вид

/ДА) = 1,25 +cos А.

Найти разностное стохастическое уравнение, которому удовлетворяет £. Указание. Факторизовать спектральную плотность (см. пример 6.7).

Ответ. ^ =еп +0,5sn-i, где {sn} — белый шум с дисперсией De = 2тг.

АР-последовательность £ = {£п} удовлетворяет уравнению

/™ + 0,7 ^п-1 + 0,5 /п-2 — 0,3 ^п-з = ti Е Д

где {sn} — белый шум с дисперсией De = 1. Вычислить D^.

Ответ. D^ « 3,876.

Пусть р-мерная СП £ = {£п} удовлетворяет разностному стохастическому уравнению

^п — Ап^п_ 1 + ВП6П1 п Е Д где {АП,ВП} — неслучайные матрицы, a {sn} — m-мерный дискретный белый шум. Доказать, что £ — марковская СП.

В условиях предыдущей задачи СП £ имеет начало: Д = 7/. Показать, что £ — марковская, если q не зависит от {sn}, n ^ 1.

Пусть {Д } — гауссовская АР-последовательность порядка р = 2. Доказать, что ^п не обладает марковским свойством.

Указание. Показать, что М{Д | Д-i} + М{Д | Д-i, Д_2}.

Доказать, что для АРСС-последовательности порядка (р, q), где р ^ 2, р > q всегда найдется р-мерная марковская СП {рп}, такая, что ее первая компонента совпадает с ^п.

Указание. Использовать результат задачи 4.

9 Б.М. Миллер и А.Р. Панков

Пусть £ = {^п} — АРСС-последовательность порядка (1,1):

£п - Ь^п-! = Еп - аЕп-1, П ЕХ.

где \b\ < 1, {sn} — центрированный гауссовский белый шум с De > 0. Найти представление для £ в виде бесконечного скользящего среднего. Пользуясь этим представлением, найти закон распределения £п при каждом п Е X.

Ответ. £„ = е„ + ^ акеп_к, где ак = (6 - а)^-1, ^„ ~ WfO: D5), n - n 1 - 2а6 + а2

Пусть СП {^п} удовлетворяет асимптотически устойчивому уравнению авторегрессии порядка р ^ 1:

р

Е,п "Г ^ ^ Ък^п — к = ^n, Tl Е Х^

к = 1

где {sn} — стационарный белый шум с параметрами те и De. Доказать, что с.к.-оптимальный прогноз ^п для £n, п ^ 1, по наблюдениям £° = = {£0Д-1, • • • } удовлетворяет разностному уравнению

_ р ~

С + 52 ^к^п-к = те, п ^ 1, к=1

где ^j = ^-, если j'^ 0, и ^ = £р если j > 0.

Указание. Вычислить М{£п | £0}.

Показать, что в уравнениях фильтра Калмана вектор ^п является с.к.-оптимальным прогнозом для ^п по наблюдениям цп-1, а Рп — ковариационная матрица ошибки этого прогноза.

Указание. Воспользоваться теоремой о нормальной корреляции.

Пусть случайный скалярный параметр 9 измеряется по схеме

цп=с^ + гп, п = 1,2, ...,

где {гп} — стационарный центрированный белый шум с Dv > 0. Доказать, что если с Д 0, то оценка 9п параметра 9. полученная с помощью фильтра Калмана (см. пример 6.13), с.к.-состоятельна, т. е. м{(0 — #п)2} —> 0 при п -Э сю.

Указание. Доказать, что Рп —> 0 при п —> сю (см. уравнение (6.43)).

Пусть {^п,77п} — частично наблюдаемая гауссовская последовательность, заданная моделью наблюдения Калмана:

^п — й^п—1 "Г Ьеп, рп — А ^п А В vn^

где {sn^n} — скалярные стандартные гауссовские независимые белые шумы. Показать, что если b Д 0, А Д 0, В Д 0, то Рп —> Р при п —> сю, причем предельная дисперсия Р ошибки фильтрации является положительным корнем уравнения а?А2Р2 + \b2A2 + (1 — п2)В2]Р — Ь2В2 = 0.

Мартингалы с дискретным временем

Основные определения. Будем всюду далее предполагать, что на вероятностном пространстве {f^T7, Р} задан неубывающий поток а-алгебр {Хп}, п ^ О, т. е. семейство сг-алгебр, такое, что T-q С СТ7! С ... С X. Например, если {^п}, п > 0 — набор случайных величин, заданных на {f^T7, Р}, а Х^ = сг{^о, - --^п} — сг-алгебра, порожденная конечным набором {^, к = 0, ..., п}, то Т7^^ С Т7^ по построению и, следовательно, {Т7^}, п ^ 0 — поток сг-алгебр.

Определение 7.1. Пусть {Хп, п ^ 0} — последовательность вещественных случайных величин, определенных на {f^T7, Р}. Если при каждом п > 0 случайная величина Хп является 7^-измеримой, то {Хп,Хп}, п ^ 0, называется стохастической последовательностью.

Определение 7.2. Если при каждом n ^ 1 случайная величина Хп является 7^ _i-измеримой, то последовательность {Хп, Xn~i} называется предсказуемой. Если выполнено также условие монотонности Xn-i С Хп (Р-п.н.), то {Хп, Xn_i} называется неубывающей предсказуемой последовательностью.

Замечание. Смысл термина «предсказуемость» становится понятным, если в качестве Тн выбраны сг-алгебры Х^ = сг^Х^ ..., Хп}. Предсказуемость означает тогда, что случайная величина Хп есть некоторая борелевская функция величин {Xq, ..., Xn~i} и, следовательно, может быть однозначно определена (предсказана) по значениям этих случайных величин.

Определение 7.3. Стохастическая последовательность ^Хп , Тп }, удовлетворяющая условию М{|Х„|} < сю, называется:

мартингалом, если M{Xn+i Хп} = Хп (Р-п.н.);

субмартингалом, если M{Xn+i | 7^} ^ Хп (Р-п.н.);

супермартингалом, если {—Хп,Хп^ — субмартингал.

Смысл мартингального свойства а) можно пояснить с позиций теории прогнозирования случайных последовательностей.

Пример 7.1. Пусть {Хп, Т7™} — мартингал (Хп = сг^Хо, • • •, Хп}), причем М {| Хп|2} < сю. Найти наилучший среднеквадратический прогноз для Xn+i по наблюдениям {Хо, ..., Хп}.

Решение. Обозначим через Xn+i с.к.-оптимальный прогноз для Xn+i по наблюдениям {Хо, ..., Хп}. Тогда для любого прогноза Xn+i = рп(Хо, ..., Хп), построенного по наблюдениям {Xq, ..., Хп} с помощью преобразования рп^, в силу определения 7.3 выполнено

М{|Ап+1 - Д+1|2} < М{|Ап+1 - Д+1|2}.

Так как M{|Xn+i|2} < сю, из теоремы 6.2 и определения условного математического ожидания относительно случайного вектора (см. п. 14.5) получаем

Xn+i = M{Xn+i | 7^} = Хп (Р-п.н.).

Итак, с.к.-оптимальный прогноз (на один шаг) для мартингала {ХП1ХП} таков: на (п + 1)-м шаге ничего не изменится.

С учетом результата, сформулированного в задаче 3, с.к.-оптимальный прогноз на m ^ 1 шагов вперед имеет вид

Х^т = M{Xn+m \ Х^} = Хп (Р-п.н.).

Если {ХтХп} — субмартингал, то нетрудно проверить, что

^n+i = M{Xn+i | 7^} > Хп (Р-п.н.).

Наконец, если {Хп,Хп} — супермартингал, то в последнем соотношении знак неравенства изменится на противоположный. ■

Замечания. 1) Полученный в примере 7.1 результат имеет следующую экономическую интерпретацию. Пусть {ХтХп} описывает эволюцию некоторого финансового индекса, в увеличении которого мы заинтересованы (например, эффективность финансового рынка или текущая доходность нашего инвестиционного портфеля). Если {ХтХп} — мартингал, то имеет место ситуация «стабильности». Если же {ХП.ХП} — субмартингал (супермартингал), то имеет место ситуация «развития» («падения» или «рецессии»).

Из определения 7.3 следует, что всякий мартингал является одновременно как субмартингалом, так и супермартингалом. Если X = {Хп, Хп^ является мартингалом или субмартингалом, то по свойствам условного математического ожидания для мартингала

M{Xn} = M{M{Xn I ^о}} = М{Х0},

и для субмартингала

М{А„} = М{М{А„ | Л,}} > М{А0}.

Приведем ряд простых примеров стохастических последовательностей, образующих мартингалы и субмартингалы (необходимые далее свойства условного математического ожидания описаны в п. 14.5).

Пример 7.2. Пусть {£n, п ^ 0} — последовательность незави

симых случайных величин, Хп = сг{£о5£ь • • • , €п}, ^п = У^ ^к- По- к=0

казать, что {ХП.ХП} является мартингалом (субмартингалом), если м{Щ = о (м{Щ 0).

Решение. Из условия М{|^|} < сю и свойств математического ожидания (см. и. 14.3) следует

М{ДП|} = М{| £ Д|} < M{f |Д|} = £ М{1^1} < ос-/с=0к=0к=0

Покажем, что ^Хп^п^ — мартингал при условии М{^} = 0. Заметим, что по условию СВ Хп измерима относительно Зад a £n+i от Тн не зависит, поэтому с учетом свойств условного математического ожидания (см. и. 14.5) получаем:

М{Хп+1 I Т^ = М{ХП + еп+11 ^ =

= M{Xn I ^n} + M{£n+1 I ^п} = Хп + М{£п+1}.

Отсюда M{Xn+i | Х^ = Хп, если М{£п+Х} = 0, т. е. {Хп, Х^ — мартингал. Кроме того, M{Xn+i | 7Д} > Хт если M{£n+i} > 0, т. е. {Хп,Хп} — субмартингал. ■

Пример 7.3. Пусть Хп = П 6с, гДе {^п} и {^п} определены к=0

в примере 7.2. Показать, что при условии М{£Д = 1 последовательность {Хп^Хп} образует мартингал, а при условии М^} ^ 1 — субмартингал, если дополнительно предположить, что £п ^ 0 (Р-п.н.).

Решение. В силу независимости СВ {^} и М{|^|} < сю находим

М{|АП|} = м{ п |е„|} - п м{|&1) <к=0к=0

Если M{£n+i} = 1, то

М{Хп+1 | ^n} = M{Xn£n+i | ^п} =

= XnM{£n+i | ^n} = XnM{£n+i} = Хп, (7.1)

где второе равенство получено с учетом ^-измеримости СВ ХП1 а третье — в силу независимости £n+i от сг-алгебры Хп. Тем самым, {Хп,Хп} образует мартингал.

Если же ^п ^ 0 (Р-п.н.) и M{£n+i} ^ 1, то Хп ^ 0 (Р-п.н.) и М{Ап+1 | ^1 ^ Хп в силу (7.1). Следовательно, в этом случае {ХП1ХП} — субмартингал. ■

Пример 7.4. Пусть £ — случайная величина с М{|£|} < сю и {Хп} — некоторый поток сг-алгебр. Пусть Хп = М{£ | XnY Доказать, что {Хп,Хп} — мартингал.

Решение. Заметим, что

м{|а„|} = m{|mr । ^„} |} ^ м{м{|е| । ад = м{|ец <

Теперь в силу FH С Т^х и свойства 8 из и. 14.5 находим

м{ап+1 । д,} = м{м{е ।। да = м{е । д,} = ап. ■

Пример 7.5. Пусть X = {Хп, Хп} — мартингал, а д^ — выпуклая вниз функция, такая, что M{|g(Xn)|} < сю. Доказать, что последовательность ^д^Хп\Хп^ образует субмартингал.

Решение. Пусть Yn = д(Хп), тогда М{|УП|} < сю по условию. Воспользуемся неравенством Йенсена M{g(£) | Хп^ ^ д(М{£ | 7Д}), верным для выпуклой вниз функции д(-) и СВ £ с М{|£|} < сю:

М{Уп+1 I Д} = M{g(An+1) I Д} > д(М{А„+1 | Я»}) = д^ = У„,

т. е. {Уп,Хп} — субмартингал. ■

Замечание. Пример 7.5 показывает важный способ формирования субмартингала из некоторого мартингала. Например, если {Хп,Хп} — мартингал, a Yn = Х^ то {Уп,Хп} — субмартингал, так как д(х) = ж2 — выпуклая вниз функция. Естественно, предполагается, что м{аД < сю.

Пример 7.6. Рассмотрим последовательность независимых случайных величин {?7n}, n ^ 1, принимающих значения { — 1, 1} с вероятностями Р{цп = 1} = р, Р^дп = —1} = q. где q = 1 — р. Эту последовательность можно рассматривать как результаты игры двух лиц, где цп = 1 трактуется как выигрыш первого игрока в п-й партии, а цп = — 1 — как проигрыш. Заметим, что М{цп} = р — q при любых п. Если последовательность ставок первого игрока есть {УД, то его общий выигрыш Хп после n-й партии равен

Хп = Лк^к = -^n —1 4" 'ПпУпч ^0 = 0. к=1

Поскольку игроку неизвестны результаты будущих партий, то его стратегия может базироваться только на результатах прошедших партий, что означает

V» = (Щт?!, ... , 77„-1) > 0,

где рп0 — некоторая неслучайная борелевская функция. Таким образом, случайная величина Vn является измеримой относительно Х^_г = сДщ, ..., цп_1}. Рассмотрим поведение последовательности X = ^ХП1Х^ с точки зрения определения 7.3. Тогда

М{АП |= Аи_! + V» МДД ,

и последовательность X образует мартингал, если М{цп} = р — q = 0, субмартингал, если р — q > 0, и супермартингал, если р — q < 0. ■

Пример 7.7. Пусть р* (яд, ..., тп) — n-мерная плотность распределения случайной последовательности £ = {£n, n > 1}. Доказать, что если p^(xi, ..., хп) — также n-мерная плотность и p^(xi, ... ,хп) > О, то последовательность

рп

является мартингалом относительно потока Т^ = сг{£1, ... Дп}.

Решение. M{pn} = j p^(^i, ..., х^ dxi ... dxn = 1 < сю. Если р^ ^^(у | Xi, ..., хп) — условная плотность случайной величины £n+i при условии, ЧТО £1 = ЯД, ... , ^П = ^п, ТО

-^-{Рп+1 | €1 — Т1, . . . , ^п — Тп} —

Г Рп+1(^Ъ • • -^у)J Рп + 1(Ж^ • -^п,у)Г Рп+1(^Ъ • • -^у)J Рп + 1(Ж^ • -^п,у)•Р^+Лу I жь ...,xn)dy =•Р^+Лу I жь ...,xn)dy =

Г Рп+1(^Ъ • • -^у)J Рп + 1(Ж^ • -^п,у)

Г Рп+1(^Ъ • • -^у)J Рп + 1(Ж^ • -^п,у)

•Р^+Лу I жь ...,xn)dy =

•Р^+Лу I жь ...,xn)dy =

Г Pn^l^l, ...,Хп,У) , Рп+1(яд, ....Х^У) ^

J Р„+1(Ж1, . . . ,Хп,у) P^(xi, . . . ,Хп)

f Рп-^1 (^1? • • • 1 *Кп-)У^ ^^ Рп (^1 ? •••,^п)

J Рп(Х1, ...,Хп)РпХ ---^п)

Следовательно, M{pn+i | ^} = Рти т-е- последовательность {Рп,-^} образует мартингал. С другой стороны, поскольку в силу определения

Qu = ^{pi, • • • ,Рп\ С Д^, .Д„} = F^

получаем

м{рп+х | дп] = м{м{рп+11 д|} | дп^ = м{р„ | дп] = рп.

Таким образом, последовательность {pn, Qn^ — также мартингал. ■

Замечание. Величина рп называется отношением правдоподобия. Вычисление отношения правдоподобия используется в статистике при решении задачи различения гипотез. В данном случае рассматривается ситуация различения гипотез о совместном распределении совокупности случайных величин {^i, ...^п^ т. е. задача о выборе р^(-) или р^(-) в качестве истинной плотности распределения набора

Структура произвольного субмартингала описывается следующей теоремой.

Теорема 7.1. Пусть X = {Хп,Хп} — субмартингал. Тогда существуют мартингал т = ^т^Х^ и неубывающая предсказуемая последовательность А = {Ап, Xn~i}, такие, что для любого п > О справедливо разложение

Хн=тп + Ап (Р-п.н.).(7.2)

Замечание. Формула (7.2) называется разложением Дуба для субмартингала. Из доказательства теоремы 7.1 вытекает, что последовательности {mn} и {Лп} имеют вид

п— 1

mn = A0+E№+i-M{AH1 | Д}),(7.3)

з=о

Ап = Е (М{Д+1 | Д} - Х3\ Ао = 0.(7.4)

3=0

Определение 7.4. Последовательность A = {An,Xn_i} в (7.2) называется компенсатором субмартингала X.

Разложение Дуба играет основную роль при изучении квадра- тично-интегрируемых мартингалов, т. е. мартингалов X = {Хп, Хп^, для которых М{Х2} < сю для всех п ^ 0. Тогда последовательность X2 = {Х2,^} — субмартингал и по теореме 7.1 существуют мартингал т = {mn,Xn} и предсказуемая неубывающая последовательность (X) = {(Х)П ,Хп-1}, такие, что

^ =т„ + (А)„ .(7.5)

Определение 7.5. Последовательность (X), определяемая из разложения (7.5), называется квадратической характеристикой мартингала X.

Из формулы (7.4) следует (см. задачу 6), что

n— 1

(Е„ = Ем№+1-Е)21Д1(7.6)

3=0

и для всех I ^ к

М^Хк - Xtf I Л} = M{xfc2 - X? I Д} = M{(X)fe- (А), I Д}. (7.7)

Если Xq = 0 (Р-п.н.), то

MpCfe2} = M{O0fe}.(7.8)

Пример 7.8. Пусть Ап = у Д и FH = 0Д1Д2, ■ ■ ■,6J, где {€п, ^ ^ 1} — последовательность независимых случайных величин с m{u = о и м® < сю. Доказать, что стохастическая последовательность X = {ХтХп} — мартингал с квадратической характеристикой

(7-9)(7-9)wn= ED{M-

(7-9)

(7-9)

к=1

Решение. Мы можем сразу получить ответ, воспользовавшись формулой (7.6). Однако мы дадим полное решение, основываясь на теореме 7.1, чтобы продемонстрировать технику работы с условным математическим ожиданием.

Пусть Тп = Х^ тогда в силу результата примера 7.5 ^Тп^Хп^ — субмартингал. По теореме 7.1 для Тп справедливо разложение Дуба: Тп = тп + Ап^ где Ап = (Xх) п — квадратическая характеристика мартингала {ХтХп}. Вычислим Ап по формуле (7.4) с учетом £о = 0:

Ап = 52 (М{П+1 I ДД - Тк) = 52 М{П+1 - Тк I ДД, п > 1. к=0к=0

Для произвольного к 0 имеем:

&+1к

Tk+1 ~тк — (У) &) - (У 6) = № +^к+1)2 - ^к = 2АкД+1 + ^+1- г=1г=1

Поэтому

М{Д+1 - Тк I ^} = М{2АкД+1 I ^} + М{^+1 I ^} =

= 2АкМ{Д+1} + М{^+1} = П{Д+1},

где учтено, что Хк измерима относительно Хк^ а ^+1 не зависит от Хк^ причем М{Д+1} = 0 и М{^+1} = П{Д+1}. Итак,

Ап = у DRfc+1} = у П{Д} =.

к=0к=1

Таким образом, (Xх)п = М{Х^} = D{Xn}, причем квадратическая характеристика в данном случае оказалась детерминированной последовательностью. ■

Марковские моменты. Случайная замена времени в мартингале. В задачах теории случайных процессов важное значение имеет понятие марковского момента или момента остановки. Фактически, марковский момент соответствует моменту времени первого появления некоторого случайного события, причем определить, произошло оно или нет, можно по наблюдениям предыстории случайного процесса. Далее будем предполагать, что на вероятностном пространстве {Q,^7, Р} задан поток сг-алгебр {Уп}, Fn С Т7.

Определение 7.6. СВ т, заданная на {Q, У Р} и принимающая значения из множества {0,1, ..., сю}, называется марковским моментом (относительно {7Д}), если для любого п > О

{т = п} е

Если Р{т < сю} = 1, то марковский момент г называется моментом остановки.

Замечание. Можно показать, что данное определение эквивалентно следующему:

{т < n} Е Уп V п^ 0.

Определение 7.7. Значение случайной последовательности {Хп} в случайный момент времени т определяется как

Ат = £ ЗДт = Д,

п=0

где 1{т = п} — индикатор события {т = п}.

Заметим, что Хт является случайной величиной. Действительно, для любого В Е B(R1)

^Хт Е В} = J ^Хп Е В} П {т = n} Е У.

п=0

Процедура, описанная в определении 7.7, называется случайной заменой времени.

Рассмотрим следующий типичный пример марковского момента.

Пример 7.9. Пусть X = {ХП)УП} — стохастическая последовательность, множество В Е Б^1) и т — момент первого попадания последовательности в множество В, т. е.

т = inf{n > 0: Хп Е В},

причем, если Хп ^ В для всех п ^ 0, то полагаем т = сю. Показать, что случайная величина т является марковским моментом.

Решение. Для любого п ^ О

п —1

{т = п} = П \хк £ в} п {х„ е в} е хП1 к=0

что и доказывает требуемое утверждение. ■

Множество марковских моментов является замкнутым относительно некоторых простых операций.

Пример 7.10. Показать, что если тиа — два марковских момента (относительно потока {7Д}), то т + а, тт(т, ст) и max (г, ст) также являются марковскими моментами.

Решение. Для любого п ^ 0

{min(r, ст) п} = {т n} U {ст n} Е

так как {т ^ n} Е Тп^ {ст ^ n} Е Тп^ а Ун замкнута относительно операции конечного или счетного объединения (см. и. 13.1). Аналогично,

{тах(т, ст) ^ п} = {т ^ п} П {ст ^ n} Е Г^

{т + <7<п} = U {г = fc} П {<7 = Z} € Вп. ■к1 I 0к + I ^ п

В п. 7.1 отмечено, что для всякого мартингала M{Xn} = M{Xq}. Если же заменить детерминированный момент времени п на некоторый случайный момент т, то указанное равенство может нарушиться.

Пример 7.11. Рассмотрим пример 7.6, в котором игрок использует следующую стратегию игры: величина ставки Vn выбирается по правилу

если щ = т?2 = • ■ • == -1,

0 в остальных случаях.

Это означает, что он удваивает ставки, начиная со ставки Vi = 1, и прекращает игру после первого выигрыша. Если щ = ц2 = • • • = Ли = = — 1, то

к=1к=1

Однако если цп+1 = 1, то

Xn+1 = Хп + Vn^ = (1 - 2n) + 2n = 1.

Пусть т = inf{n ^ 1: Хп = 1}. Если р = q = 1/2, то Р{т = п} = 1/2п, поэтому

м{т) = £ni=2<o°

П=1

и, следовательно, Р{т < ос} = 1. Далее, Р{ХТ = 1} = 1 по определению момента т, поэтому М{ХТ} = 1 7^ M{Xq} = 0. ■

Пример 7.12. Пусть {£i,£2> • • • } — последовательность независимых одинаково распределенных случайных величин с М{|^|} < сю; т — некоторый момент остановки относительно В/ = сг{Д, ... Дп}, т > 1, М{т} < сю. Тогда

МЙ + ... + М=МЙ}М{т}.(7.10)

Если к тому же М{^} < сю, то

м{ [С1 + • ■ • + ^т -тМЙ}]2} = DR1} М{т} .(7.11)

Соотношения (7.10), (7.11) называются тосмсдествами Вальда. ■

Прим ер 7.13. Применим тождества Вальда к исследованию задачи об игре двух лиц (см. примеры 7.6, 7.11). Предположим, что игроки располагают конечными начальными капиталами А и В со

ответственно, ставки фиксированы и равны 1. Если Sn = У^ р^ то величины капиталов первого и второго игроков после n-го розыгрыша будут

Xn=AUni Yn = В — Sn.

Игра заканчивается, если Sn достигает уровня (—А) или В. В первом случае разоряется первый игрок, во втором — второй. Определим момент окончания игры как момент остановки:

т = inf {n ^ 1: Sn = —А или Sn = В}.

Найти вероятности разорения каждого из игроков, если р = q = 1/2.

Решение. Последовательность Sn есть последовательность состояний марковской цепи, соответствующей модели случайных блужданий, у которой при р = q = 1/2 все состояния возвратны. Поэтому за конечное время она достигает любого уровня и Р{т < сю} = 1, М{т} < сю. Введем а = P{ST = —Л} и /3 = P{ST = В}, а + /3 = 1. Далее, при р = q = 1/2 мы имеем из (7.10) с учетом M{??i} = 0:

M{ST} = М{т}М{щ} = 0 =

= -A P{ST = -Л} + В P{ST = В} = Ц-А) + /ЗВ.

Таким образом, а и /3 удовлетворяют системе уравнений

а + /3 = 1, аА = /ЗВ, разрешив которую, получим

_ Во А

“ Л + В’А + В"

Для вычисления среднего времени игры М{т} применим тождество Вальда (7.11), которое в силу D{?7i} = 1, М{ц1} = 0 дает

М^} = М{т} В{ц1} = М{т} = аА2 + ЗВ2 = АВ.

Таким образом, М{т} = АВ, т. е. среднее время игры быстро возрастает, если увеличиваются начальные капиталы игроков. ■

Замечание. В примере 7.13 мы вычислили финальные вероятности состояний цепи Маркова, описывающей игру двух лиц (см. пример 5.14), с использованием мартингальной техники.

Теоремы сходимости мартингалов и их приложения. Рассматриваемые ниже результаты показывают, что последовательности случайных величин, являющиеся мартингалами, при определенных условиях сходятся с вероятностью 1 (Р-п.н.) и в среднем, т. е. существует такая СВ Х^, что

Хп ХХд Xqq и M{|Xn — Х^} —> 0 при п ос.

Теорема 7.2. Если X = ^Хп,Еп^ — субмартингал, для которого найдется р > 1, такое, что supM{|Xn|p} < ос, то суи^ествует п^О

случайная величина такая, что МЦХооЦ < ос, причем

А„ = М{ХТО | ГЛ ф-п.н.У

Хп П'Н' > Xqq при п —> ос;

M{|Xn — Xoq|} —> 0 при п —> ос.

Утверждение теоремы может быть использовано для обоснования сходимости оценок параметров в различных задачах математической статистики.

Пример 7.14 (усиленный закон больших чисел). Пусть независимые случайные величины £i, £2, • • • имеют одинаковые математические ожидания М{£Д = а и ограниченные дисперсии D{^} = <т^ D. Доказать, что

. п

л п.н.

ап = — 2 v sk > ci при п —> ос.

п k=i

Решение. Пусть ук = ^к — а, тогда М{?дД = 0, О{?дД = crk С D. Рассмотрим оценку ап:

если Лп = ” У Лк П Н > 0 при п —> ос. Докажем, что требуемая схо- П к=1

димость действительно имеет место.

Если е^ = "Т"^ то {£/Л независимы и М{е^} = 0. Пусть Хп = ^ £ki к=1 тогда из примера 7.2 следует, что {Хп, п > 1} образует мартингал относительно потока Тн = cr{si, . .., еп^ = а\л\, ..., цп}. Поскольку

м{аД = п{аи} = ^п{Щ и Db} = TD{%} = ^|^^,

то 8прМ{УД = у ЩЩ ^D^ -^ < ос. Тогда из теоремы 7.2 сле- п^°к=1к=1 к

дует, что Хп —Х^ при п ^ ос. Последнее означает, что

Р{ш, f^^M^Lк=1

Здесь нам понадобится утверждение, известное как лемма Кронекера: если числовые последовательности {un} и {жп} таковы, что

0 < un t ос при п —> ос, а ряд У^ х^ сходится, то — У^ и^х^ —> 0

К=1К=1

при П —> ОС.

Если обозначить х^ = уь^^/к, и^ = к, то ^ жк = Уоо(^)? поэтому । п। пк = 1

пЛ^ = “ Е %М = — Е пкХк о при П ОО. п к=1к=1

Итак, P{oj: уп(ш) —> 0} = 1, т. е. цп П'Н' > 0 при п —> ос, что и требовалось доказать. ■

Замечание. Оценка 6п параметра 6, построенная по наблюдениям ^ух, у2, ..., уп}^ называется сильно состоятельной, если 0п П'Н" > 9 при п ос. Предыдущий пример показывает, что выборочное среднее ап является сильно состоятельной оценкой математического ожидания а.

Поведение квадратично-интегрируемого мартингала X = {Хп, ТУ} в значительной степени определяется его квадратической характеристикой (компенсатором) (У)п-

Обозначим через {(Х)^ = ос} событие, состоящее в том, что неубывающая последовательность (Х)п не ограничена.

Теорема 7.3. Пусть X = {Хп,Хп} — квадратично-интегрируе- мый мартингал и (X) = {(Х)п, ТУ-i} — его квадратическая характеристика. Если Р{(Х)ОО = ос} = 1, то

Хп п.н.

> 0 при п ос. \/ п

Следующие примеры показывают применение этого результата в задачах оценивания неизвестных параметров моделей наблюдения.

Пример 7.15. Пусть {ж^} — числовая последовательность, а

Ук = хк9 А-Ек1 к = 1, 2, ..., п,

где {еД — независимые центрированные ошибки наблюдений с дисперсией D{^} = а2. Доказать, что оценка параметра 9, построенная по методу наименьших квадратов (МНК-оценка), является сильно состоятельной при условии

Д = ОО.

к=1

Решение. Найдем выражение для МНК-оценки 9П) построенной по наблюдениям ^у^ ... ,уп}:

6п = arg min 52 (Ук - жк0)2 = argmin£(0).

6 k=i6

Найдем У„ из условия ТР = О» т-е- У' ^к^Ук — $к6) = 0:

к=1

0п = А А1 жкУк, где dn = 52 А-п к=1к=1

Из последнего выражения следует

о.о.^п — ^Д ^ ^к^к^ Т ^к^ — 9 А” ~^~ ^ ХкЕк — 9 А” Х9п.

о.

о.

Таким образом, нам достаточно показать, что А^

Если Хп = У^ xksk^ то с учетом М{еД = 0 мы заключаем, что к=1

{Хп^Хп} — мартингал, где Тн = <r{si, ..., еп^ причем в силу приме

ра 7.8 (Х^ = у^ D{a7^^^} = o-2dn. Поэтому (Х^ П'Н' > ос при п ос, к=1

если dn —> ос. Тогда в силу теоремы 7.3 имеем Х6п = сг2-—^—П'Н' > 0

при п ос. Таким образом, 0п —9 при п ос, что и требовалось

доказать. ■

В заключение рассмотрим задачу оценивания неизвестного параметра в разностном стохастическом уравнении (задачу параметрической идентификации модели случайного процесса).

Пример 7.16. Пусть случайная последовательность {Хп, п ^ 0} удовлетворяет уравнению авторегрессии первого порядка

Хо = 0,Хо = 0,Х^-щ — $Хп + <^n_|_i, п ^ 0,

Хо = 0,

Хо = 0,

где {Д} — независимые центрированные случайные величины, такие, что DRn} = Dn > D > 0, Dn+1/Dn < Аь МЦЦ А2, а У - неизвестный неслучайный параметр. Доказать, что оценка 0п метода взвешенных наименьших квадратов является сильно состоятельной.

Решение. Рассмотрим оценку метода взвешенных наименьших квадратов, которая строится следующим образом. Для заданного набора наблюдений {Хд, . ..,ХП} оценка 0п выбирается так, чтобы минимизировать сумму нормированных квадратических отклонений, а именно:

д. У1 (Xfe+1 - 9Xkf

6» = arg mm ^~-

6 k=o Dk+1

Преобразования, аналогичные приведенным выше в примере 7.15, дают следующий результат:

6п6пп—1Ек=0п—1Ек=0Dk+1 J fc=0 Dk+1Dk+1 J fc=0 Dk+1

6п

6п

п—1

Е

к=0

п—1

Е

к=0

Dk+1 J fc=0 Dk+1

Dk+1 J fc=0 Dk+1

Данную оценку можно записать в виде 9п = 6 + Мп/ (М^ , где

(7-12)(7.13)(7-12)(7.13)У M+i

(7-12)

(7.13)

(7-12)

(7.13)

Д Dk+1 ’

711

(М^ = у

n hDk^

Пусть сг-алгебра ^п порождена наблюдениями {Хд, ..., Хп}, тогда

M{Mn+11 У} = мД„ + ЕЕп Д I = М(+JEM{C+1} = мн,

т. е. {МП,ХП} — мартингал. Нетрудно показать, что (М)п — квадратическая характеристика указанного мартингала (см. задачу 12).

Докажем теперь расходимость (Р-п.н.) последовательности (М)п:

V

(Хк-9Хк_гу Dk(Хк-9Хк_гу Dk=4£к=0=4£к=0DkWDkDkWDkv2 00k=0v2 00k=0X% {Вк^х JX% {Вк^х J^2(K1+02)£k=0^2(K1+02)£k=0x^Dk+ix^Dk+iDk к=1 К к=1

(Хк-9Хк_гу Dk

(Хк-9Хк_гу Dk

=4£

к=0

=4£

к=0

DkWDk

DkWDk

v2 00

k=0

v2 00

k=0

X% {

Вк^х J

X% {

Вк^х J

^2(K1+02)£

k=0

^2(K1+02)£

k=0

x^

Dk+i

x^

Dk+i

OO

Поэтому из расходимости (Р-п.н.) ряда Y^ —- следует, что с вероят- к = 1

ОО

ностью 1 выполнено_ к = сю.

\ /ООD

к=0

K2D2K2D2Пусть % = ^_, тогда М{%} = 1, М{^} = Д^ Uk

K2

D2

K2

D2

1

Отсюда с учетом результата примера 7.14 получаем — Y^ т]к п " к = 1 , п ^2со ^2>.

= - Y^ П'Н" > 1 при п ос, что влечет Р< Y^ = ос > = 1.

^^ок4=1Dk j

Итак, Р^М)^ = ос} = 1, поэтому по теореме 7.3

0п — 0 = —4—П'Н" > 0 при п ос,

что и означает сильную состоятельность оценки 0п.

Заметим, что если {£п} одинаково распределены, то достаточно потребовать только D{£n} = D > 0. Если же {£п} — гауссовская последовательность, то остается лишь условие Dk^ijDk ^ Ку^ так как МЫ} = 3. ■

4. Задачи для самостоятельного решения.

Пусть ^ и ?7 — независимые и одинаково распределенные случайные величины с М{|^|} < ос. Показать, что

МК |€ + ^ = М{г/ |^ + ^} = Ци (Р-П.Н.).

Указание. Воспользоваться определением условного математического ожидания.

Пусть случайные векторы ж, и, г имеют совместное гауссовское невырожденное распределение, причем и и г — независимы. Доказать, что

М{ж | и,г} = М{ж | и} + М{ж | г} — М{ж}.

Указание. Воспользоваться теоремой о нормальной корреляции.

10 Б.М. Миллер и А.Р. Панков

Пусть {Хп,^Гп} — мартингал. Доказать, что для любого m ^ 1 справедливо M{Xn+m I = Хп (Р-п.н.).

Указание. Показать, что М{Уп+т | jTn} = M{Xn+m_i | jTn}, и воспользоваться методом математической индукции.

Пусть {^п, п ^ 0} — гауссовская СП с параметрами шДп) и Щ(п^ т\ Пусть также гп = {^(0,1), ...,^(0,n)}, a Vn — матрица с элементами R^(bj^ bj = Ь • • • ч™- Доказать, что последовательность

Т]п = тДО) + DnV”1^ - ш^), п > 1,

где ^ = {^i, ... Дп}*, т^ = {т$(1), ..., тДп)}*, образует мартингал относительно потока сг-алгебр Тп = сг{^1, ..., ^nJ-

Указание. Воспользоваться теоремой о нормальной корреляции и результатом примера 7.4.

Пусть {£&} — центрированный белый шум, а {ц/Д — такая СП, что при каждом к ^ 1 совокупности случайных величин {тц, ..., q^ и {^ Д&+1, ... } независимы. Доказать, что если IV[{ 177^^^ |} < ос, то последовательность

/„ = У/ Лк^ тг ^ 1 является мартингалом. к=т

Вывести соотношения (7.6)-(7.8) для квадратично-интегрируемого мартингала {Хп,^Гп}.

В примере 7.8 вывести соотношение (7.9) для квадратической характеристики с использованием (7.6).

Объяснить, почему разность марковских моментов, вообще говоря, марковским моментом не является.

Доказать тождество Вальда для дисперсий (соотношение (7.11) в примере 7.12).

Пусть {^1,^2, ---} — последовательность независимых одинаково распределенных случайных величин с Р{^ = 0} = Р{^ = 2} = 1/2. Показать, что последовательность Хп = ]Д & является мартингалом относи- г=1

тельно потока сг-алгебр Тп = сг{£1, .. . Дп} и сходится (Р-п.н.) к конечной случайной величине.

Указание. Показать, что {Уп} сходится к нулю с вероятностью 1.

Пусть независимые случайные величины {^1Д2, • • • } имеют распределение Р{<т = 1} = Р{<т = -1} = Р{^т = 0} = 1. Показать,

что последовательность Хп = У/ Ст сходится (Р-п.н.).

Доказать, что (7.13) является квадратической характеристикой мартингала (7.12).

Пусть 9п — с.к.-оптимальная оценка для СВ 9 по наблюдениям Ц1,М{|У|2} < ос. Доказать, что если 9п С'К" > 9. то также и

а п-н- v av

9п > 9 при п ос.

Указание. Показать, что 9п — квадратично-интегрируемый мартингал относительно ^ = сг{£1, ... Дп}-

ГЛАВА III

СЛУЧАЙНЫЕ ФУНКЦИИ

В данной главе будут изучаться случайные процессы с непрерывным временем, которые обычно называют случайными функциями. В дальнейшем для обозначения случайной функции будем использовать сокращение СФ.

Элементы анализа случайных функций

Непрерывность случайных функций. Пусть случайный процесс ^(t) определен на некотором связном подмножестве Т действительной оси R1, т. е. является процессом с непрерывным временем. Такие процессы далее будем называть случайными функциями (СФ). В данном параграфе также всюду предполагается, что для любого t Е Т выполнено М{|^(^)|2} < ос. Очевидно, что в этом случае существуют и конечны математическое ожидание m^(t)^ дисперсия D^(t) и ковариационная функция Н^(Ст) при всех t^r ЕТ. По умолчанию будем также считать, что СФ ^(t) — вещественная.

Определение 8.1. Случайная величина т] называется среднеквадратическим (с.к.) пределом СФ ^(^) в точке to Е Т, если

м{к(<) - >?|2} о при t^t0.

Указанный вид сходимости будем далее обозначать ^(t) С'К" > у при t to или ту = Li.m. £(£), а случайную величину ту будем называть с.к.-пределом ^(^) при t —> to-

Определение 8.2. Случайная функция {£(£), t Е Т} называется непрерывной в среднеквадратическом смысле (с. к.-непрерывной) в точке to Е Т^ если ^(t) С'К" > ^(to) при t —> до

определение 8.3. Случайная функция {£(£), t Е Т} называется с.к.-непрерывной на Т, если она с.к.-непрерывна в каждой точке to Е Т.

Пусть ^(t^w), t ЕТ} — некоторая траектория СФ Д^). Как показывают рассмотренные далее примеры, из того, что Д^) с.к.-непрерывна на Т, в общем случае не следует, что все или почти все функции Д1,ш) являются непрерывными.

Определение 8.4. Случайная функция называется непрерывной на Т, если Р{о;: ДС^) — непрерывная на Т функция} = 1.

Из определения 8.4 следует, что почти все траектории непрерывной СФ Д^) являются непрерывными (в обычном смысле) функциями. Очевидно, что для каждого to Е Т

P{oj: Д1,ш) —> ^(to,w), t —> ^о} = 1?

т. е. непрерывная СФ ^(t) для каждого to Е Т почти наверное (п.н.) сходится к Д^о) ПРИ t to- Соответствующий вид сходимости будем обозначать ^(t) П'Н' > Д^о)? t to- Таким образом, непрерывная СФ ^(t) является также почти наверное непрерывной в каждой точке to Е Т. Заметим, однако, что из и.н.-непрерывности Дб) на Т в общем случае не следует ее непрерывность, т. е. непрерывность почти всех ее траекторий.

Рассмотрение различных видов непрерывности случайных функций вызвано наличием различных видов сходимости последовательностей случайных величин. Кроме того, для различных видов непрерывности (а также дифференцируемости, интегрируемости и т. д.) имеются соответствующие критерии, позволяющие установить непрерывность случайной функции. Для с.к.-непрерывности соответствующий критерий является весьма простым.

Теорема 8.1. Для с.к.-непрерывности случайной функции Д^) в точке to Е Т необходимо и достаточно, чтобы тДД было непрерывно в точке to, а КДбг) непрерывна в точке (to,to).

Заметим сразу, что из с.к.-непрерывности ^(t) в силу теоремы 8.1 следует, что дисперсия D^t) = R^(t,t) — непрерывная функция.

Таким образом, для исследования с.к.-непрерывности СФ ^(t) достаточно исследовать непрерывность ее моментных характеристик первого и второго порядка, что можно сделать, используя стандартные методы математического анализа.

Пример 8.1. Случайная функция ^(t) задана соотношением

№) = Y.VWk(t), tET, (8.1) k=i

где {1Д} представляют собой некоррелированные случайные величины с параметрами М{1Д} = тк, О{1Д} = Dk. а {^^(^)} — непрерывные на Т неслучайные функции. Исследовать Дб) на непрерывность.

Решение. Заметим, что в силу (8.1) при каждом w Е Q выполне

но ДС^) = 52 Vk(w)pk(t), где Р{си: Vk(uj) < ос} = 1. Таким образом, к = 1

ДС ш) — линейная комбинация непрерывных функций с и.н.-конечными коэффициентами. Следовательно, Р{о;: Д£,сД непрерывна} = 1, т. е. СФ Д^) непрерывна.

Для исследования с.к.-непрерывности найдем m^t^ и К^Ц т\ Очевидно, что

т^О = 52 ткЧ>к^1

к=1

п пп

К&,т1 = 52 Есоу{И,й}^(#)^(т) = 52 Бкфк^фкЕ),к = 1 1 = 1к=1

так как по условию cov{V^, Vj} = О при к Д I. Отсюда вытекает, что m^t^ и R^t^ непрерывны на Т и Т х Т соответственно и, следовательно, Д^) с.к.-непрерывна на Т. ■

Заметим, что в данном примере понятие с.к.-непрерывности и непрерывности совпадают. Рассмотрим теперь случай, когда Д^) в некоторой точке to Е Т является разрывной как почти наверное, так и в среднем квадратическом.

Пример 8.2. СФ Д^) задана на Т = [0,1] следующим образом:

( Vi, если t < 1/2,

( О если t ^ 1/2,

где Д и У2 — независимые одинаково распределенные случайные величины со средним m и дисперсией D > 0. Исследовать непрерывность Д^) в точке ^о = 1/2.

Решение. Для всякого w Е Q выполнено ДСш) —> Их(ш) при t —> to — 0 и Д^,сД —> ЕДсД при t —> to + 0. В силу независимости {Vi, РД и условия D > 0 имеем: P{oj: РДсД 7^ РДсД} > 0 и, следовательно,

P{oj: Д£,сД —> Д^о,^) при ^ ~> A} < 1-

Таким образом, Д^) не является п.н.-непрерывной в точке to = 1/2.

Теперь исследуем с.к.-непрерывность Д^) на Т:

( M{Vi}, если t < 1/2,

( М{У2}, если ^>1/2,

поэтому m^t^ = m, так как M{Vi} = М{У2} = иг по условию. Следовательно, m^t^ непрерывна на Т. Найдем теперь ковариационную функцию R^I^t). Если тах(^т) < 1/2, то

Д(4,т) = соу{Ц#),Цт)} = cov{Vi, Vi} = D.

Аналогично, R^I^t) = D при min(£,r) ^1/2. Если же t < 1/2 ^ т, то R^(t,T) = cov{Ei, У2} = 0. Отсюда получаем, что R^(t,T) D при

t,T to так, что t,T < to или t,T > to- Если же t,T —> to так, что t < to, а т > to, то R^(t, т) —> 0. С учетом D > 0 получаем, что К^,т) разрывна в точке (to,to). Итак, ^(t) не является с.к.-непрерывной в точке to = 1/2.

Заметим, что если Vy и V^ таковы, что Р{У1 = У2} = 0, то почти все траектории ^(t,w) терпят разрыв в точке to = 1/2. Если же P{Ei = V2} = q>0, то с вероятностью а траектории E,(t,w) будут непрерывными. Например, если P{Vi = 1} = р > 0, a P{Vi = 0} = 1 — р, то P{Vi = ЕД = р2 + (1 — р)2 = а > 0. Отсюда P{oj: E,(t,w) непрерывна} = а > 0. ■

Покажем теперь, что СФ ^(t) может быть с.к.-непрерывной даже в случае, когда почти все ее траектории разрывны.

Пример 8.3. Пусть СФ £(t) определена на Т = [0,1] следующим образом:

£0) = (£0) = (V1, если t < г,

£0) = (

£0) = (

V2, если t ^ г,

где г — случайная величина, равномерно распределенная на Т = [0,1], р и р — гауссовские СВ с одинаковыми средними m и дисперсиями D > 0. Случайные величины г, Vy и V2 независимы в совокупности. Доказать, что СФ ^(t) с.к.-непрерывна на [0,1], хотя почти все ее траектории разрывны.

Решение. Для вычисления m^(t) введем две вероятностных гипотезы:

Ну = ^t < г} и Н2 = ^t г}.

По условию Р{ЯД = 1 — t и Р{Я2} = t.

По формуле полного математического ожидания (см. и. 14.5) имеем

= MK(t)} = Р{ЯЦ MR(t) I ЯЦ + Р{Я2} M{C(t) I Я2} =

= (1 — t) M{ Д } + t М{У2} = (1 — t) m -\- tm = m.

Таким образом, функция m^(t) непрерывна на Т.

Обозначим ту = тах(НД2), т^ = тн1(НД2) и рассмотрим следующие гипотезы:

Ну = {тх < г}, Я2 = {т2 > г}, Н3 = {т2 < г < тД.

По условию Р{ЯД = 1 - ту, Р{Я2} = т2, Р{Я3} = Ту - т2 = \ty - ^2|.

Вычислим теперь ковариационную функцию Я^(НД2):

Д$Д,<2) = Е Р{яцм{Цй)е^2) | ЯЦ.

к=1

Для к = 1,2 имеем М{£(Н) £(t2) | Н^ = М{ V& V^ = D. Если же к = 3, то М{£(Н) £(t2) | Я3} = M{Vi С2} = 0 по условию. Итак,

ддн Д2) = (1 - Т1) D + т2 D = D (1 - (п - т2)) = D (1 - |и - t2|).

Отсюда ^(ИД2) —> D = R^t^t) при H,t2 —> t для всякого t 6 Т. Таким образом, ^(t) с.к.-непрерывна всюду на Т.

Покажем теперь, что почти все траектории СФ ^(t) разрывны. Итак, если 0 < г (w) < 1 для некоторого со Е Q, то в точке t = г (со) траектория ^(t^co) изменяет свое значение с УДо;) на УДси). По условию P{oj: 0 < г(сД < 1} = 1 и Р{с<;: УДо;) Д УДсД} = 1. Поэтому

P{w: £(ti,w) 7^ £(t2,cu) для Н < т(со) < t2} = 1,

что означает разрывность траекторий Д^) с вероятностью 1. ■

Пусть теперь Д^) Е Rp при каждом t Е Т, где р ^ 1. В этом случае Д^) называется р-мерной случайной функцией.

Определение 8.5. р-мерная СФ {^(t), t Е Т} называется с.к.-непрерывной в точке to Е Т (на Т), если все ее компоненты {ОсД), k = 1) • • • ,^} с.к.-непрерывны в точке to Е Т (на Т).

Пример 8.4. Пусть А = {Ai, ..., Ар}* Е Rp — неслучайный вектор, а Д^) — с.к.-непрерывная р-мерная СФ. Показать, что случайная р

функция <t) = АДД) = У^ А/ДД) с.к.-непрерывна на Т.

к=1

р

Решение. Функция m^t) = У^ X^m^(t) непрерывна на Т, как к=1

линейная комбинация непрерывных функций m^(t) = М{^Д)}. Исследуем теперь непрерывность ковариационной функции R^t^n) = р р

= ^.^XkXiRki^t,^, где Rki(t,r) = cov{£fc(t),&(т)}. Из леммы к=1 1 = 1

Лоэва (см. и. 14.4) следует, что если ^(t) С К' > ОсДоД 6(т) ° К > 6 До) при t^ т to^ то

В-кЛ,т) = cov{^fe(t),^(r)} -4- cov^k^tol^to^ = Rki(to,toy

Таким образом, функции Rki(t^r) непрерывны в произвольной точке (to, to) и, следовательно, R^it^ т), как линейная комбинация непрерывных функций, также непрерывна. Теперь из теоремы 8.1 следует, что p(t) с.к.-непрерывна на Т. ■

Замечание. Заметим, что если в примере 8.4 СФ ^(t) непрерывны, то y(t) также непрерывна, поскольку все ее траектории суть р

линейные комбинации непрерывных функций: y^t^w^ = У^ X^^t^ ш\ к=1

Действительно,

р

P{oj: p(t,w) непрерывна} = Р{ Q {w: ^(t^w) непрерывна}} = 1,к=1

что и означает непрерывность СФ p(t).

В заключение данного пункта рассмотрим одно утверждение, позволяющее судить о непрерывности траекторий £(t\ Для этого нам понадобится следующее определение (см. также и. 1.3).

Определение 8.6. Случайные функции Д^) и Д£) называются стохастически эквивалентными на Т, если

P{oj: Д£,сД 7^ p(t,w)^ = 0 Vt Е Т.

Можно показать, что стохастически эквивалентные СФ имеют одни и те же конечномерные распределения и, следовательно, все их вероятностные характеристики совпадают (см. п. 1.3).

Теорема 8.2 (Колмогоров). Пусть Д^) — случайная функция, принимающая числовые значения и заданная на отрезке Т = [а, 6]. Если существуют положительные константы К, а и Р, такие, что для всех t,T Е Т

мш^-^тГИк\1-тЩ,

то найдется непрерывная случайная функция Д^), стохастически эквивалентная £ (t).

Обычно на практике стохастически эквивалентные случайные функции отождествляют, т. е. подразумевается, например, что вместо Д^) в расчетах используется ее непрерывная модификация Д^) (если, конечно, последняя существует).

Прим ер 8.5. Пусть Д^) — гауссовская СФ, такая, что m^t) = О иМ{|Ц^-Цт)|2} = А|)-т| для всех t,T Е Т = [0,1]. Показать, что Д^) имеет непрерывную модификацию.

Решение. Пусть у = Д^) — Дт). В силу гауссовости Д^) случайная величина ц также является гауссовской, причем М{ц} = m^t) — — т^(т) = 0, a В{ц} = М{|Д£) — Дт)|2} = A|t — т\ = Dq. Известно, что для центрированной гауссовской величины справедливо равенство МД4} = 3D2, поэтому МД4} = M{|^t) -Цт)|4} = 31)2 = 3A2|f _ — т|2. Если положить а = 4, 8 = 1 и К = ЗА2, то М{|Д£) — Дт)|а} = = K\t — т|1+^ и требуемое утверждение следует из теоремы 8.2. ■

Заметим, что в условиях примера 8.5 СФ Д^) также является с.к.-непрерывной, так как lim М{|Д£) — Дт)|2} = A lim \t — т\ = 0, т. е. Д^) С'К"> Дт), t т для любого т Е Т. Более того, если в условиях теоремы 8.2 потребовать, чтобы а ^ 2, то СФ Д^) будет одновременно с.к.-непрерывной и потраекторно непрерывной.

Дифференцирование случайных функций. Для СФ понятие дифференцируемости и, следовательно, производной можно ввести различными способами. Мы будем рассматривать производные двух видов: производную в среднем квадратическом (с.к.-производную) и потраекторную производную.

Пусть Д^) — гильбертова СФ, определенная на открытом интервале Т С R1, имеющая среднее т^ (t) и ковариационную функцию ^(t, s).

Определение 8.7. Случайная величина Д^о) называется с.к.-производной случайной функции ^(t) в точке to 6 Т, если

СФ £(t) называетсяСФ £(t) называетсяЦЬ) при h 0.(8.2)

СФ £(t) называется

СФ £(t) называется

Если указанный с.к.-предел существует, то с.к.-дифференцируемой в точке to-

точке t G Т, то будемточке t G Т, то будемЕсли Дб) с.к.-дифференцируема в каждой

точке t G Т, то будем

точке t G Т, то будем

говорить, что ^(t) с.к.-дифференцируема на Т, а семейство случайных величин {£(t), t G Т} будем называть с.к.-производной СФ £(t) на Т.

Теорема 8.3. Для того чтобы случайная функция £(t) была с.к.-дифференцируемой в точке to G Т, необходимо и достаточно.

в точке to и обобщенная d2R^t,T).——- в точке {to, to).OtOTв точке to и обобщенная d2R^t,T).——- в точке {to, to).OtOT3 д/тДб чтобы существовали производная —

в точке to и обобщенная d2R^t,T).

——- в точке {to, to).

OtOT

в точке to и обобщенная d2R^t,T).

——- в точке {to, to).

OtOT

Замечание. Обобщенная производная определяется какЗамечание. Обобщенная производная определяется как82НДт)dtdr82НДт)dtdrсмешанная производная второго порядка

Замечание. Обобщенная производная определяется как

Замечание. Обобщенная производная определяется как

82НДт)dtdr

82НДт)dtdr

= lim -1 [ЯДо + h, t0 + 5) - t=T=t h,S^O hd L s'

— R^(to + h,to) — R^to, to + 5) + R^{to, to)].

Достаточным условием существования обобщенной смешанной производной является непрерывность хотя бы одной из частных про- Э (dRRt,R)\ Э (dRRt,R)\ изводных: — .

ot у от у от у ot у

Если £(t) дифференцируема на Т, то ее с.к.-производная Д^) имеет математическое ожидание тп^б) и ковариационную функцию R^{6t), определяемые формулами

^-аД^ w-^^v(8-3)

Пример 8.6. Пусть центрированная СФ Д^) имеет ковариационную функцию R^(t,T) = 2e-a^t-T^ , где а > 0. Вычислить дисперсию D^(t) ее с.к.-производной Д^).

Решение. Поскольку m^t) = 0, a R^t^r) бесконечно дифференцируема, СФ Д^) с.к.-дифференцируема в силу теоремы 8.3. Для нахождения R^I^t) воспользуемся формулой (8.3):

Следовательно,

= It [^(f’^] = 4“(1 - ^^ -

и дисперсия ^(t) вычисляется по формуле D^t) = R^t^t) = 4а. ■

Критерий с.к.-дифференцируемости весьма легко проверяем и позволяет также определить математическое ожидание и ковариационную функцию с.к.-производной. К сожалению, явный вид с.к.-производной в общем случае, используя только результат теоремы 8.3, получить не удается. Поэтому нам понадобится следующее определение.

Определение 8.8. Случайная функция ^(t) называется дифференцируемой (потраекторно) на Т, если почти все ее траектории — дифференцируемые функции, т. е.

P{oj: Д^сД дифференцируема на Т} = 1.

Очевидно, что если £ (t) — потраекторная производная ДД, а ^(t) — с.к.-производная, то Р{£ (t) = ДД} = 1, т. е. СФ ^(t) и £ (t) стохастически эквивалентны. Действительно, при всяком t G Т в силу совпадения с вероятностью 1 пределов ^(t + h) — ^(t)^/h П'Н' > £ (t) и ^(t + h) — £,(ty\/h C'K' > ДД справедливо ДД = £ (t) (Р-п.н.).

Пример 8.7. СФ ДД задана соотношением (8.1), т. е.

№) = ^¥кМФ, tGT,(8.4)

k=i

где {^(Д} — неслучайные дифференцируемые функции, а {УД — случайные коэффициенты, причем МфДД < сю, k = 1, ..., п. Найти с.к.-производную Д^).

Решение. Из (8.4) следует, что траектории Д^, со) СФ £(Д имеют вид ^t,w) = У^ Ук(ш)ркф)^ t G Т, поэтому £ (t) существует и имеет

траектории ^^Ь^оо) = У^ Ук^^Фк^Ф где фкф) =• Отсюда сле-

к=1.

дует, что если Д^) с.к.-дифференцируема, то ее с.к.-производная Д^)

при каждом t Е Т имеет вид

^№ = 52 ¥кФк^ (Р-п.н.).(8.5)

В силу М{У^2} < сю из (8.4) следует, что функции m^t\ R^t^ определены и имеют вид

™Д) = 'Е mk^Pk{t), R^t,^ = у 'ERkUPkEmYE к=1к=1 1=1

где m& = M{V&}, R^i = cov{V&, ViY Очевидно, что функции т^ф и R^t^ дифференцируемы необходимое число раз (как линейные комбинации дифференцируемых функций). Поэтому Д^) существует и определяется соотношением (8.5). При этом m^t) = 52 ткФк^-> а n пк=1

R^t^ = 52 52 ^мфЦфФфгфгф что вытекает из (8.3). ■ к=1 1=1

Следующий пример показывает, что операция с.к.-дифференцирования является линейным преобразованием.

Пример 8.8. Для случайной функции ^(t) = 52 ^^^(t), где «^ — к=1

числовые коэффициенты, ^(t) — с.к.-дифференцируемые случайные функции, вычислить £(t\

Решение. Вычислим Д^) по определению 8.7:

№ + h)-^ = ^ak^t+h)-Ш лу уak^kW при h^0 k=lk=l

в силу свойств с.к.-сходимости. Таким образом,

№) = ^a^Y tET.(8.6)

k=i

Формула (8.6) показывает, что с.к.-производная линейной комбинации с.к.-дифференцируемых функций является линейной комбинацией их с.к.-производных, что и означает линейность операции с.к.-дифференцирования. ■

Замечание. Полученный в примере результат может быть обобщен в следующем направлении: если детерминированная функция p(t) дифференцируема на Т, а СФ Д^) с.к.-дифференцируема на Т, то СФ p(t) = р^ф^^ф имеет с.к.-производную

Оказывается, что далеко не все случайные функции дифференцируемы даже в среднеквадратическом смысле.

Пример 8.9. Центрированная СФ Д£) имеет ковариационную функцию R^(t, т) = D min(t, т), D > 0. Показать, что она нигде не дифференцируема в с.к.-смысле.

Решение. По определению

min(t, т) = <min(t, т) = <еслиеслиеслиеслиtttt

min(t, т) = <

min(t, т) = <

если

если

если

если

t

t

t

t

поэтому

W^ = ^{min(t,r)} =W^ = ^{min(t,r)} =0,1,0,1,еслиеслиеслиеслиtttt

W^ = ^{min(t,r)} =

W^ = ^{min(t,r)} =

0,

1,

0,

1,

если

если

если

если

t

t

t

t

Отсюда p(t, т) —> 0 при т —> t + 0 и p^t, т) 1 при т —> t — 0. Таким образом, при t = т функция р^1,т^ является разрывной по перемен- нои t и, следовательно, производнаяПРИ t = т не существует.

d^RRt,^ nd2min(t,r)

Следовательно, —- = DТ не определена при t = т ни

OtdToWt

для одного t Е R1, т. е. Д£) нигде не имеет с.к.-производной. Заметим, что, используя понятие обобщенной производной, можно записать

^(^ т) —^(^ т) —dtdrdtdr(t,r) = D5(t — r),(t,r) = D5(t — r),

^(^ т) —

^(^ т) —

dtdr

dtdr

(t,r) = D5(t — r),

(t,r) = D5(t — r),

где 5(х) — дельта-функция Дирака. Таким образом, формально СФ Д^) является таким случайным процессом, что R^(t,T) = 0 при любых t Д т, a D^t) = R^t,!) = Z) ДО) = сю. Это означает, что сечения СФ Д^) представляют собой некоррелированные случайные величины с бесконечной дисперсией. Такой процесс называется белим шумом (см. п. 1.4). ■

Если ^(t) — гауссовская СФ, то Д^) — также гауссовская в силу следующего утверждения.

Теорема 8.4. Если {Д^), t Е Т} — с.к.-дифференцируемая гауссовская СФ, то Д^) таксисе является гауссовской СФ с математическим ожиданием и ковариационной функцией, определенными в (8.3).

Пример 8.10. Для гауссовской СФ {Д^), t Е R1} с математическим ожиданием m^t) = С и ковариационной функцией R^(t, т) = 41т вычислитьР{Щ)>2}.

Решение. По теореме 8.4 Д^) является гауссовской СФ, причем

= ^(t) = 2t, = 4.

Поэтому при t 6 R1 сечение Д^) имеет гауссовское распределение ЛДДД). Следовательно, Д2) ~ JV(4; 4) и

(

2 — т •\

. с 7 = 1 - Ф(-1)1 - 0,1587 = 0,8413,

где Ф(х) = —-L= [ е 1 /2 dt — функция Лапласа (интеграл вероятно- V 2тг J

стей) (см. пн. 14.6 и 15.1). ■

Интегрирование случайных функций. Понятие интеграла от случайной функции будем также изучать в двух следующих вариантах: интеграл в среднеквадратическом смысле (с.к.-интеграл) и потраекторный интеграл.

Пусть СФ Д^) определена на Т С R1. На отрезке [а, 6] С Т построим некоторое разбиение а = to С П С • • • С tn~i С tn = b, а на каждом из промежутков этого разбиения выберем произвольную точку Ti € [tj-1,^), г = 1, ... ,n.

Определение 8.9. Если при п —> оо и max (tj — t;-i) ~> 0 существует предел в среднеквадратическом

£щгДг-^_1)(8.7)

г=1

не зависящий от способа разбиения {t^} и выбора точек {тД, то СФ ^(t) называется с.к.-интегрируемой на [а, 6], а случайная величина у называется ее с. к.-интегралом по [а, 6] и обозначается

ь

Л =

Для с.к.-интегрируемости имеется весьма простой критерий.

ь

Теорема 8.5. Для существования с.к.-интеграла j ^(t) dt необходимо и достаточно, чтобы существовали следующие интегралы Римана:

ь

Д = jm^t) c/t,(8.8)

ь ь

I2 = j j R^t, t) dtdr,(8.9)

где m^t) = М{Д^)}, R^(t,T) = cov{£(t), Дт)}.

Теорема 8.6. Если СФ Е^ с.к.-интегрируема наТ, то

dt = Д,dt = Д,

dt = Д,

dt = Д,

г ь16

COV < j Е (t) dt, Е (г) > = j ^ (^ т) dt, т Е Т,

COVCOVb d= j j R^(t, т) dtdr,b d= j j R^(t, т) dtdr,[c, d"\ С T,[c, d"\ С T,b bb bdtdr = 1-2-dtdr = 1-2-

COV

COV

b d

= j j R^(t, т) dtdr,

b d

= j j R^(t, т) dtdr,

[c, d"\ С T,

[c, d"\ С T,

b b

b b

dtdr = 1-2-

dtdr = 1-2-

Из определения 8.9 следует, что с.к.-интегрирование является линейным преобразованием EW- Отсюда с учетом свойств с.к.-сходимости гауссовских случайных величин (см. п. 14.6) получаем, что если ь

E(t) — гауссовская СФ, то с.к.-интеграл j EW dt представляет собой

гауссовскую случайную величину со средним Д и дисперсией Д, определенными в (8.8), (8.9).

Рассмотрим свойства с.к.-интеграла на примерах.

Пример 8.11. Доказать, что всякая СФ CW, с.к.-непрерывная на конечном промежутке [а, 6], является с.к.-интегрируемой на [а, 6].

Решение. Если E(t) с.к.-непрерывна на [а, 6], то функция m^(t) непрерывна на [а, 6], поэтому Д в (8.8) существует как интеграл от непрерывной функции по конечному отрезку. В силу с.к.-непрерывности E(t) функция R^t^r) непрерывна при t = т. Последнее условие достаточно для того, чтобы R^(t, т) была непрерывной всюду на [а, 6] х х [а, 6]. Таким образом, Д также существует и, следовательно, Д^) с.к.-интегрируема на [а, 6] в силу утверждения теоремы 8.5. ■

Пример 8.12. Пусть {Д^), t ^ 0} имеет характеристики m^t) = = mt, R^(t, s) = Dts, где D > 0. Вычислить математическое ожидание и ковариационную функцию случайной функции

t

nW =t > о.

о

Решение. По условию т^ (t), R^ (t, т) непрерывны. Следовательно, Д^) с.к.-интегрируема на любом конечном промежутке [ОД] при t ^ 0. Тогда по теореме 8.6 находим:

tt

тп^ = M{?j(t)} = | М{Дт)} dr = т jr dr = yt2,оо

R^8) = cov|p(n) dr^ j^^) dT2^ = j ^ cov{ Дтх), Дт2)} dxidT2 = ооoo

= j j ^(л, r2) dTidT2 = D j TidTl j t2 dx2 = -^s2, 0 000

Dn(t) = Rn(t,t) = ^t4. ■

Для с.к.-интеграла справедливы многие свойства обычного интеграла от неслучайных функций.

Линейность интеграла:

j 52 ak£k(tW = 52 ак j^(0 dt'(8Л0)

21 к=1к=1 гр

где {аД — неслучайные коэффициенты, a {Д(£)} — с.к.-интегрируемые на Т случайные функции.

Формула интегрирования по частям: tt

j ФМ^П dr =- <p(to)C(*o) - j чШт) dr, (8.11)

где р(т) — непрерывно дифференцируемая неслучайная функция, a ^(t) — СФ, имеющая с.к.-непрерывную с.к.-производную.

Правило дифференцирования по верхнему пределу: если Д^) — t

c.K,„„p«pb„™ СФ. то о.к.-„ро„з„од„ая СФ ,(4) = р(т)йт при о

каждом t Е Т имеет вид

t

»Д) = ^|Щ)^ = Ц0 (Р-п.н.).(8.12)

о

Пример 8.13. Доказать формулу (8.12).

Решение. Пусть h > 0, тогда

t-\-htt-\-h

М = T](t + h) - ri(t) = j Цт) dr - | Цт) dr = | Цт) dr.

00t

Покажем, что МЦА77/Д — £(t)|2} —> 0 при h —> 0.

Если m^R) = 0, то по теореме 8.6

t-\-h t-\-h

M{At72} = j j ^(n, Ta) dridr2 = R^oi, <72) h2t t

для некоторых ai, 02 6 [t, t + Л]. Аналогично, для <73 6 [t, t + h\

t-\-h

M{A?y^(t)} = j R^(t^ t) dr = R^(cr3, t) h.

t

Отсюда МЦА77/Д — £(t)|2} = ^(<7i, <72) — 2^(аз, t) + R^(R t) —> 0 при h —> 0, так как ^(<7i,cr2) —> R^Rt), R^cr^R) —> R^RR) в силу того, что а^ ^ t при h —> 0, к = 1, 2, 3, а функция R^(R т) непрерывна. Итак, мы показали, что (j](t + h) — r](t))/h С'К' > ^(t) при h —> 0.

Если m^R) ф 0, то 77(f) = j^(т) dr + jтп^т^ dr и по доказанному оо

77(f) = ^(f) + Tn^(t) = ^(f). Формула (8.12) полностью доказана. ■ Замечание. Пусть £(f) такова, что почти все ее реализации

интегрируемы по Риману на множестве Т, т. е.

P{oj: существует интеграл Римана T]R(w) = j ^(Ru) dt} = 1. т

Тогда r]R является случайной величиной (т. е. измеримой функцией от ш). Если же ^(t) является к тому же с.к.-интегрируемой, то по- траекторный интеграл r]R и с.к.-интеграл 77 = j ^(t) dt совпадают с вет

роятностью 1. Сформулированное утверждение зачастую позволяет явным образом вычислить с.к.-интеграл.

Пример 8.14. СФ ^(t) задана формулой

^(t) = Ui sinz/f + U2 cos vt^ v > 0, t 0,

где [7i, U2 — независимые гауссовские случайные величины с нулевым средним и дисперсией D > 0. Найти явный вид с.к.-интеграла

t

и вычислить его математическое ожидание m^t) и дисперсию D^t). Решение. Для ш Е Q траектория СФ Дт) имеет вид

Дт, ш) = Ui(w) sin vt + U^y^ cos vt

и является интегрируемой на [0, t\ функцией. Поэтому t

rjR(t^) = j Дт,сД dr = -[/7i(oj)(1 — cosz/t) + Z72(w) sinz/t], t ^ 0. о

Заметим, что ^(t) с.к.-непрерывна, как линейная комбинация непрерывных неслучайных функций со случайными коэффициентами, имеющими конечные вторые моменты (см. пример 8.1). В силу примера 8.11 с.к.-интеграл T](t) существует и совпадает с потраекторным интегралом ^(ф^ш):

r](t) = -[/7Д1 — cos vt) + U2 sin vt\ (P-n.H.).(8.13)

Теперь, используя (8.13), нетрудно вычислить m^t) и ^(t):

m^t) = -[M{/7i} (1 — cos vt) + M{/72} sin vt\ = 0,

D^t) = ^-[D{/7i} (1 — cos vt)2 + D{/72} sin2 vt + 2 cov{/7i, C2} x

x (1 — cos z/t) sin vt\ = ^[(l — cos vt)2 + sin2 vt\ = ^(1 — cos vt).

Таким образом, при каждом t ^ 0 случайная величина ц(£) является гауссовской с распределением Л/^О; 212(1 — cosvt)jv2y как с.к.-интеграл от гауссовской СФ Д^). ■

Дифференциальные уравнения со случайной правой частью. Введенные выше понятия с.к.-производной и с.к.-интеграла позволяют рассмотреть проблему корректного описания линейного дифференциального уравнения со случайными возмущениями в правой части и случайными начальными условиями:

T)(t) = a(t)i](t) + b(t)£yty t ^ 0,(8-14)

ц(0) = z/,(8.15)

где i)(t) — с.к.-производная p(t)^ ^(t) — с.к.-непрерывная при t ^ 0 случайная функция, a(ty b(t) — непрерывные неслучайные функции, az/ — некоторая случайная величина.

11 Б.М. Миллер и А.Р. Панков

Определение 8.10. Случайная функция ^(t^ t^O является решением уравнения (8.14) с начальным условием (8.15), если при каждом t ^ 0 выполнено

tt

>?(t) = +1 ам,пм ^т + j &(Т)Щ)dT, (8Л6) оо

где в правой части (8.16) все интегралы понимаются в с.к.-смысле.

Для явного построения решения (8.16) введем вспомогательную неслучайную функцию 6(t):

J 0(t) = a^G^t), t 0, I Ф) = 1.

Известно, что 0(t) из (8.17) такова, что 6(f) ^ 0 при любом t ^ 0, если a(f) кусочно непрерывна. Следующий пример показывает, как выглядит общее решение уравнения (8.14).

Пример 8.15. Доказать, что случайная функция

t

r,^ = 6(t)v + 0(t) j У-1 (т)Ь(т)Цт) dT,(8.18)

о

где 6(f) — решение уравнения (8.17), удовлетворяет уравнению (8.14).

Решение. Для доказательства вычислим с.к.-производную ц(^) функции 77(f), определенной в (8.18), пользуясь полученными в предыдущих пунктах свойствами операции с.к.-дифференцирования:

^t) - [у(#) + 6^ j9"4tMtW) dr] = о

= ^(t) V + 0(t) j 9 1(т)Ь(т)^т) dr + 9(t) Д|# Чт^ЮЦтДт]. оо

Применяя правило дифференцирования с.к.-интеграла по верхнему пределу (8.12) с учетом 6(f) = a(t)O(t)^ получаем

t

r)(f) = a(f) [^(f)^ + 6(f) j #-1Д)5(т)Дт) с/т] +

0

+ eW 1(.tWW) = a(i)»7G) + 4t)^(t\

Таким образом, p(t) удовлетворяет (8.14) при всех t > 0. Осталось проверить выполнение начального условия: 77(0) = 0(0) z/ = z/, поскольку 0(0) = 1 в силу (8.17). Итак, 77(f), определенная в (8.18), является решением задачи (8.14)-(8.16), что и требовалось доказать. ■

Выражение (8.18) позволяет выписать явный аналитический вид решения уравнения (8.14) во многих практически важных случаях.

Пример 8.16. СФ 77(f), f > 0 удовлетворяет уравнению

>Д) = at^f) + 5, ЦО) = и,(8.19)

где £, v образуют гауссовский случайный вектор, причем т^ = М{£}, mv = M{z/}, D^ = D{£}, Dv = D{z/}, p = cov{^, z/}. Найти закон распределения случайной величины 77(f) при любом f > 0.

Решение. В данном случае для 0(f) имеем

0(t) = a0(t),0(0) = 1,

поэтому 0(t) = eat. Общее решение (8.18) уравнения (8.19): tt

тЛ) = eatv + eat f е““т£ dr = eatz/ + £eat [ e“at dr = eatv + Uat - 1) .

00

Таким образом, 77(f) — гауссовская случайная величина, как линейное преобразование гауссовского случайного вектора {z/, £}*, т. е. 77(f) ~ ^(m^t)^ Dn(t))^ где параметры m^f) и Dn(t) определяются следующим образом:

= М{тД)} = eatmv + ^ (eat - 1) ,

Dn^ = П{Ц<)} = e2atDv + ^ (eat - l)2 + ^ (e2at - eat) . ■

Замечание. Рассмотрим асимптотическое поведение решения уравнения (8.19) при f —> сю. Если а < 0, то

с.к. £,

> ;—г при f сю,ы

поскольку eatv С'К' > 0 и ( (eat — 1) (а С'К' > ^/|а|. Таким образом, дифференциальная система (8.19) выступает по отношению к входному сигналу как усилитель с коэффициентом усиления к = 1/|о;|, если время f достаточно велико.

Заметим, что в случае, когда СФ ^(f) имеет кусочно непрерывные (следовательно, интегрируемые) траектории, формула (8.18) может

рассматриваться как потраекторное решение уравнения (8.14), т. е. для почти всех ш Е Q выполнено

t

T](t^ w) = 0(t)v(w) + 6(t) | ^-1(т)^)(т)^(т, ш) dr. (8.20) о

Формула (8.20) задает «пучок» реализаций решений уравнения (8.14), который может быть получен, например, непосредственным решением обыкновенных дифференциальных уравнений, описывающих каждую траекторию:

т^иГ) = a(t)r](t^ ш) + b^£Xt^ w), ц(0, ш) = z/(c(j).

Рассмотрим теперь векторный случай, когда система (8.14) состоит из п линейных дифференциальных уравнений:

(8.21)(8.21)тМ = A^t) + B(tK(t), t > 0, 7?(0) = V,

(8.21)

(8.21)

где r](t) — с.к.-производная n-мерной СФ ц(£), ^(t) — m-мерная с.к.-непрерывная СФ, z/ — n-мерный СВ, а матричные функции A(t) Е RnXn, B(t) Е RnXm имеют неслучайные кусочно непрерывные компоненты.

Общее решение уравнения (8.21) имеет вид

t

(8.22)(8.22)y(t) = 0(t)z/ + 0(t) | 0-1(т)В(т)^(т) dr,о

(8.22)

(8.22)

где 0(2) — матричная функция Коши^ удовлетворяющая системе однородных дифференциальных уравнений

J 0(t) = A(t)0(t),( 0(0) = I,

0-1(t) — матрица, обратная к 0(t). Интеграл в правой части (8.22) понимается в с.к.-смысле и применяется к случайной векторной подынтегральной функции покомпонентно. Заметим, что 0-1(t) существует при каждом t ^ 0, если А^ имеет кусочно непрерывные компоненты.

Пример 8.17. Вычислить математическое ожидание m^t^ и ковариационную матрицу К^^ решения т^ системы (8.21), считая, что при каждом t ^ 0 случайные величины z/, £^ являются некоррелированными, а функции m^t^ R^BAs) известны.

Решение. Применим к обеим частям (8.22) оператор математического ожидания:

t

rn^t) = М{гД)} = М{0(ф} + ©(t) м{ j ©“^ЦВ^Цт) dT^ =

О

t

= <d(t)mv + 0(t) j 01 (т)В(т)т^т) dr. о

Из последнего соотношения следует, что m^t^ является решением системы обыкновенных дифференциальных уравнений

m^t) = A(t)mn(t) + B(t)m^(t)

с начальным условием mr?(0) = mv.

Аналогично, для Кп^ = cov{?7(t), ц(^)} с учетом некоррелированности v и ^(t), t ^ 0 получаем

K^f) = 0(2) cov{z/, z/} 0*(t) + t t

+ 0(t) ||cov{0-1(ti)B(ti)^(ti), 0-1(t2)B(t2)^(t2)} dTidr2 0*(t) = о о

t t

= 0(f) [-R, + ||©ЩпИп^п, тзДЗтзКОЩтз))*^!^] 0*(t),

0 0

где Rv = cov{z/, z/}, a B^(ti, t2) = cov{£(ri), £(t2)}. К сожалению, в общем случае матрица K^t) не является решением какого-либо дифференциального уравнения.

Если же предположить, что R^Ti^) = V(ti) 5(т-2 — т-С^ где V(t) — функция, значениями которой являются неотрицательно-определенные матрицы, то говорят, что ^(t) — m-мерный белый шум с матрицей интенсивностей V^t\ Подставив формально В^(тх,т2) в выражение для K^Rp получим

t

К^ = 0(f) [в, + j©ЩЦВЮУЦД’ДХ©-1^))*^] ©*(t). (8.23) о

Можно показать, используя определение матрицы 0(t) и дифференцируя обе части (8.23) по t, что

J К^ = А^К^ + Кп^А*^ + B(t)E(t)B*(t), [ ^(0) = ^..

Заметим, однако, что правомочность проделанных выкладок в рамках рассмотренной теории с.к.-интегрирования мы обосновать не можем. Это будет сделано далее, в §11, посвященном теории стохастических дифференциальных уравнений. ■

Задачи для самостоятельного решения.

Доказать, что r](t) = <p(t)^(t) + ^(t) — с.к.-непрерывная СФ, если ^(t^ ^(t) — непрерывные детерминированные функции, а Д^) — с.к.-непрерывная СФ.

Пусть СФ Д/;) с.к.-непрерывна на конечном промежутке Т = [а, 6]. Доказать, что найдется такое конечное С, что М{|Д/;)|2} ^ С для любого t Е Г.

Известно, что Д/;) = 0 с вероятностью 1 при каждом t Е Т. Показать, что в этом случае существует константа с Е R1, такая, что Д^) = с (Р-п.н.) при каждом t Е Т.

Найти с.к.-производную Д/;) для СФ Д/;) = ЛзтД/; + (Д, где Л, ф — случайные величины с конечными вторыми моментами, а ц = const.

Ответ. Д/;) = Av cos(vt + <р).

Доказать, что из с.к.-дифференцируемости СФ Д/;) следует ее с.к.-непрерывность, а обратное утверждение неверно.

Доказать, что= cov{£(t), Дт)} = ^^^’т^.

дт

Показать, что центрированная гауссовская случайная функция Д/;) R^(t, s) = (1 + \t — s|) e-^-5' является с.к.-дифференцируемой, доказать независимость сечений Д^) и Д^).

Указание. Показать, что R^t, s) = (1 — \t — s|) e-^-5' и R^(t, s) = = (t- 8)е-^-51.

Пусть центрированная СФ Д^) имеет ковариационную функцию т

R^I^t) = cr^tT. Вычислить М{ц2}, где ц = J Д^) 8т(тгДТ) dt.

о

Ответ. сг2Т4/тг2.

Привести пример СФ, которая не является с.к.-непрерывной на отрезке, но тем не менее с.к.-интегрируема на нем.

Указание. Воспользоваться результатом примера 8.2.

Доказать, что если СФ Д/;) с.к.-дифференцируема, а Д/;) с.к.-непрерывна, то для с.к.-интеграла справедлива формула Ньютона-Лейбница:

t

j ^dr = £(t) - ^(t0) (Р-п.н.). to

Указание. См. пример 8.13. t

Вычислить дисперсию интеграла r)(t) = J Дт) di^ если СФ Д/;) имеет о

ковариационную функцию R^t^R) = De-a^t-TV

Ответ. D^Qt) = \t + —(е at — 1)1.

Пусть ^(t) = Ut + V, где U,V — случайные величины с конечными вторыми моментами. Решить дифференциальное уравнение

Ш + ay(t) = /3^№,ц(0) = О,

где о, (3 — постоянные коэффициенты.

Ответ. 77(f) = 4 (е-“* + ta - 1) Р + ^ (1 - е"**) V. а2а

Стационарные случайные функции

Основные характеристики стационарных случайных функций. Рассмотрим комплексную гильбертову случайную функцию ^(t)^ где время t пробегает множество всех вещественных чисел R1.

Определение 9.1. Случайная функция {^(t), t Е R1} называется стационарной в широком смысле, если для любых t, т Е R1

М{Ц<)} = М{Ц0)}, соу{Ц# + т)Ц(т)} = ссгДЦДЦО)}. (9.1)

В дальнейшем стационарные в широком смысле функции будем кратко называть стационарными случайными функциями (ССФ). Кроме того, не ограничивая общности, предположим, что M{£(t)} = 0.

Определение 9.2. Комплексная функция

R^t) = cov{£(f) Д(0)}, teR1,(9.2)

называется ковариационной функцией стационарной случайной функции £(t\

Из (9.1), (9.2) следует, что для любых t, s Е JR1

covRW.^s)} = M{€W€(s)} =- s).

Ковариационная функция R^t) обладает свойствами, которые вытекают непосредственно из определения 9.2 и из общих свойств ковариационной функции (см. п. 2.2):

ковариационная функция является неотрицательно-определенной, т. е. для любых ^i, ..., zn Е С и 4, ... ,tn Е R1, п ^ 1, имеет место неравенство

У? У? zizjR^^i ~ О;

г=1 j = l

дисперсия D^ ССФ £(С) постоянна и имеет вид

Д = Д(0)=М{|Ц0)|2} >0;

ковариационная функция R^(t) является эрмитовой, т. е.

R^—t) = R^t) для всех t Е R1;

|^(t)|^(0) для всех t Е R1;

|^(t) — ^(s)|22Л^(0)[Л^(0) — ReR^(t — s)] для всех t, s Е R1;

ковариационная функция непрерывна всюду на R1, если она непрерывна в точке t = 0.

Так же как и в случае дискретного времени, ковариационная функция ССФ имеет спектральное представление.

Теорема 9.1 (Бохнер, Хинчин). Пусть {£(£), HR1} — ССФ с непрерывной ковариационной функцией R^(t\ Тогда найдется однозначно определенная вещественная ограниченная, монотонно неубывающая функция F^(X), AeR1, непрерывная справа на R1 и F^(—сю) = 0, такая, что

К^= J eiXtdF^, teR1.(9.3)

Функция 7^ (А), определенная в теореме 9.1, называется спектральной функцией ССФ ^(t). Если F^X^ при каждом А Е R1 представима в виде

А

то вещественная функция f^(v) называется спектральной плотностью ССФ £,(t\ В этом случае /^(А) = ^^(А) почти ВСЮДУ на ^S причем в силу монотонности 7^ (А) спектральная плотность /^(А) неотрицательна. Кроме того, из (9.3) следует, что

R^t) = J eixtf$WdX' teR1,(9.4)

поэтому дисперсия стационарной функции Ц#) имеет вид

Д = J MX) dX = F^oo\

Замечание. Введенные названия для спектральных характеристик F^X) и /ДА) объясняются тем, что параметр А G R1 имеет смысл частоты, а представление (9.3), называемое спектральным разложением ковариационной функции, показывает распределение энергии стационарной функции по частотам спектра.

Связь спектральных характеристик с ковариационной функцией ССФ описана в следующей теореме.

Теорема 9.2. Пусть {£(£), tEM1} — стационарная случайная функция с непрерывной ковариационной функцией R^ (t). Тогда

для любых точек непрерывности А, д, А < д спектральной функции Д^(А) выполнено равенство

т

F^-F№ = ljni е-R^dt,-Т

если ковариационная функция R^(t) интегрируема на R1, т. е.

| |^(t)| dt < сю,(9-5)

то спектральная плотность f^(X) существует и определяется обратным преобразованием Фурье ковариационной функции:

№ = e^R^dt.(9.6)

Замечание. Для вещественной ССФ Д^) ее ковариация R^t) — вещественная функция, причем условие эрмитовости превращается в условие четности:

R^-t) = Rc(t), t е R1.

Тогда в силу (9.6) спектральная плотность принимает вид

Д (А) = — | cos Xt R^ (t) dt, A 6 R1,о

поэтому /ДА) также является четной функцией, т. е. Д (А) = Д (—А), а спектральная функция ДДА) имеет симметричные относительно нуля приращения:

ГДд)-ГДА)=ГД-А)-ГД-д), А < д.

В этом случае формула (9.4) принимает вид

(9-7)(9-7)R^(t) = 2 | cos Xt f^(X) dX. t E R1.о

(9-7)

(9-7)

Используя понятие интеграла по ортогональной стохастической мере (см. п. 14.8), можно получить спектральное представление для стационарной случайной функции, аналогичное разложению для стационарной последовательности.

Теорема 9.3. Пусть {^(t), Hl1} — ССФ с ковариационной функцией R^t)^ допускающей спектральное разложение (9.3). Тогда существует такая ортогональная стохастическая мера Z^dX^ определенная на борелевской а-алгебре S(R1), что имеет место представление

^(t) = J e%xt Z^dX\ Ul\^(t) = J e%xt Z^dX\ Ul\(9-8)(9-8)

^(t) = J e%xt Z^dX\ Ul\

^(t) = J e%xt Z^dX\ Ul\

(9-8)

(9-8)

при этом для любого борелевского множества Д Е S(R1)

М{|^(Д)|2} = рД(А).АМ{|^(Д)|2} = рД(А).А(9-9)(9-9)

М{|^(Д)|2} = рД(А).

А

М{|^(Д)|2} = рД(А).

А

(9-9)

(9-9)

Замечание. Если ^(t) имеет спектральную плотность /^(А), то формула (9.9) принимает вид

М{ ДДА)|2} = [ Д(А) <ZAr Деф1).

А

Примеры ССФ. Приведем примеры некоторых наиболее часто встречающихся ССФ, поясняющие введенные выше определения и модели.

Пример 9.1. Спектральная имеет видПример 9.1. Спектральная имеет видплотность вещественной ССФ ^(t)плотность вещественной ССФ ^(t)

Пример 9.1. Спектральная имеет вид

Пример 9.1. Спектральная имеет вид

плотность вещественной ССФ ^(t)

плотность вещественной ССФ ^(t)

AW =AW =2тг02тг0приприприпри|А| < Ао,|А| > Ао,|А| < Ао,|А| > Ао,

AW =

AW =

2тг

0

2тг

0

при

при

при

при

|А| < Ао,

|А| > Ао,

|А| < Ао,

|А| > Ао,

где Ао > 0. Вычислить ковариационную функцию и дисперсию ^(t).

Решение. В силу четности спектральной плотности по формуле (9.7) для ^ ^ 0 имеем

оо2 Ао2

Re (t) = 2 f cos Xt ft (A) dX = — f cos Xt dX = — sin Ao£;

J7Г Jlit

00

22 \

De = JMO) = ~ f dX =■

S7Г J7Г

0

Замечание. Отметим, что ковариационная функция обращается в нуль в точках т^ = кк) Хо^ к ЕХ. Это означает, что сечения £(t), £(£ + Т&) — некоррелированные. Если До достаточно велико, то ^(^) называют широкополосным белым шумом и используют для аппроксимации белого шума с непрерывным временем (см. далее пример 9.3).

Пример 9.2. Существует ли стационарная случайная функция £(t), имеющая ковариационную функцию

{

ст2 при \t\^0)

О при \t\ > ^о,

где ст > 0, to > О?

Решение. Предположим, что такая ССФ существует. Так как ее ковариационная функция удовлетворяет (9.5), ^(t) должна иметь спектральную плотность

/а (А) =[ е~шdt = — f cos Xtdt = ^—smXto-

2тг J7Г JтгА

— оо0

Теперь видно, что условие f^X) ^ 0 не выполнено, поэтому f^X) не может быть спектральной плотностью. Таким образом, ССФ с заданной ковариационной функцией не существует. ■

Пример 9.3. В гл. I обсуждалось понятие стационарного белого шума как процесса £(£), имеющего ковариационную функцию

R^t) = <r25(t).

Вычислить спектральную плотность для Ц#).

Решение. Формально применяя преобразование Фурье к дельтафункции, получаем

ОО2

Д(А) = — Г е-^<т26(0 dt = — e"iXV = —, AeR1. ■

757 7 2тг J7 2тг,_ n 2тг

-ОС6 U

Замечание. В данном параграфе мы будем далее использовать понятие стационарного белого шума как процесса, имеющего постоянную спектральную плотность во всем диапазоне частот — сю < А < сю.

Пример 9.4. Ковариационная функция R^(t) ССФ ^(t) имеет вид

R£(t) = De"“w,

где D > 0, а > 0. Показать, что ДД имеет спектральную плотность, и вычислить ее.

Решение. Функция R^ (£) удовлетворяет условию интегрируемости (9.5), поэтому существует спектральная плотность

/ЛА) = — 7 e"iXtR£(t)dt = — 7 е-’^-"1*1 dt =

2тг J4 ' 2тг J

= f (e-^Xt-at\ AXt-oit\ 7, _ В (1 i 1 A _ Ba

2тг J VJ 2тг UA + o -iX + cJ тг(а2+А2)

0

Замечание. Параметр а характеризует скорость уменьшения корреляции между сечениями, поскольку при £ ^ 1/а выполняется R^t) и 0. Если сечения процесса не коррелируют при близких значениях Г Р, то такой процесс может быть хорошей моделью белого шума. Действительно, если D и а стремятся к бесконечности так, что D/а -^ а2 > 0, то спектральная плотность /ДА) приближается к постоянной спектральной плотности су2 [тх во всем диапазоне частот —сю < А < сю.

Пример 9.5. Пусть Д^) = ДО) д^^ где М{Д0)} = 0, В{Д0)} = 1 и #Д) — некоторая комплексная неслучайная функция. При каких условиях на g(t) случайный процесс ДД стационарен? Определить ковариационную функцию такого процесса.

Решение. Из условия стационарности получаем соотношение

g(t)g(s) = g^t - s^g^\

откуда (если использовать представление функции д^ = p(t) егу(Д вытекает, что

р№ = 1Д01 =- s) = Д6) - Д0)-

Если предположить, что р^ дифференцируема в точке t = 0, то

ДД=о = Ао,

откуда следует, что

д^ = eiW.

Поэтому ковариационная функция процесса ^(t) = £(0) егХ°1 принимает вид

R^ = eiW. ■

Пример стационарной случайной функции можно построить, задав ее непосредственное разложение по гармоническим функциям. Следующий пример является обобщением предыдущего.

Пример 9.6. Рассмотрим случайную функцию

Ц#) = ^ zkeiXkt, teR1,

к = 1

где — сю < А& < сю — неслучайные различные числа, а ^ — некоррелированные случайные величины, такие, что М{^} = 0 и

£м{|^|2} <оо.(9.10)

к=1

Показать, что ^(^) стационарна, определить ее ковариационную функцию и построить ее спектральное разложение.

Решение. Ряд £(£) = ^ ^к^гХк1 сходится в среднеквадратиче- к = 1

ском смысле для любого t Е R1 в силу условия (9.10). Из условия центрированности и некоррелированности величин {^} получаем mrwi = о и

соуЦ(4)Ц(в)} = М^ zkeiXfct ^z^-^A =

4=11 = 1

= £ ЁмЦЦ^е^*"^6) = ^4eix^-s\

к = 1 1 = 1к = 1

где <т^ = М{|^|2}. Таким образом, случайная функция ^(t) является стационарной, а ее ковариационная функция имеет вид

(9.11)

к=1

Соотношение (9.11) задает спектральное разложение для R^(t) и определяет соответствующую спектральную функцию

= Е ^.

к: Хк^Х

Функция F^(X) — кусочно непрерывная со скачками (в точках Х^ равными F^X^) — F^X^—) = сг^ к = 1, 2, ... Заметим также, что формула, задающая Д^) в условии данного примера, описывает спектральное разложение ^(t) вида (9.8), где ортогональная стохастическая мера определяется выражением Z%(B) = У^ z^ для любого множества В Е S(R1). ■ к: хкев

Следующий пример описывает модель, которая часто используется в теории случайных процессов, связанных с передачей информации, моделями надежности и массового обслуживания.

Пример 9.7. Пусть 0 = щ С П С ^2 С • • • — случайные моменты времени, образующие пуассоновский поток интенсивности До > 0, т. е. {т^+1 — т^. к = 0, 1, 2, ... } независимы и распределены по экспоненциальному закону с параметром Ад. Случайная функция ^(t) имеет следующую структуру:

^W = Vk, при ^e[Tfc,Tfc+i), к = 0,1,2, ...,

где {УД — последовательность центрированных некоррелированных случайных величин с одинаковыми дисперсиями D{V^} = D > 0. Предположим также, что величины {14} не зависят от моментов времени {ту}. Показать, что случайная функция Д^) является стационарной, и вычислить R^t), f^(^\

Решение. Пуассоновский поток будет подробно описан в п. 12.1. Здесь же нам понадобится следующее его свойство: если X — случайное число точек потока {т&}, попавших в промежуток [зД), где 0 < s < Г то X имеет распределение Пуассона с параметром 5 = A0|t - s|:

P{X = m} =, m = 0,1, 2, ...

Для фиксированного ДО события H^^ = {t 6 [т&,т&+1)}, к = = 0,1, 2, ..., образуют систему вероятностных гипотез (см. и. 14.1). Тогда, применяя формулу полного математического ожидания, получаем

М{Ц«)} - £ М{Ц«) I Нк^ Y{Hk(t)} = к=0

= £ МЩ I Hk(t^ Р^НкШ = £ МЩ} Р{ВД} = 0.

к=0к=0к=0

к=0

к=0

Для заданных 0 < s < t события ^Hk(s)Hi(t), к, I = 0,1, 2, ... } — также система вероятностных гипотез, поэтому

соу{Ц#),Цз)} = М{Ц#)Цз)} =

= ££м{Ц4)Щ) | ЯЦз)ЯД)}Р{ЯЦз)ЯД)}, к=0 1=0

где при к = I

МЦ^Цз) I ЯЦз)ЯЦ^} = М{Ц2 I Н.МНМ = МЮ = U а при к / I

М{Ц#)Щ) I ЯЩ)ЯД)} = МЩЦ I Н^Н^ = МЩЦ} = 0.

Тогда соу{Д^)Д(5)} = DP^H^ где событие Н имеет вид

^ = U H^s^H^t^ = {тд ^ [$Д) ни при каком к ^ 1} = {X = 0}. к=0

Следовательно, cov{£(t), £(s)} = De А°^ sl = R^t — s). Таким об

DXoДА^А^)DXoДА^А^)разом, Д^) — ССФ с ковариационной функцией R^f) = De А°^1 и

DXoДА^А^)

DXoДА^А^)

(в силу примера 9.4).(в силу примера 9.4).спектральной плотностью Д(А) =

(в силу примера 9.4).

(в силу примера 9.4).

Замечание. Если в условиях примера 9.7 величины {14} имеют

распределение Р{14 = 1} = P{V& = — 1} = 1/2, то случайный процесс Д^) называют телеграфним сигналом.

Линейные преобразования ССФ. Представим себе некоторую систему 5, осуществляющую преобразование сигналов, т. е. функций, зависящих от времени. Функция, которая должна быть преобразована, называется входом, а функция, которая получается в результате преобразования, называется выходом системы 5. Всякая система задается классом £ допустимых функций на входе и оператором L(X) = У, где X — допустимый вход, а У — соответствующий выход системы.

Определение 9.3. Система называется линейной, если

класс £ есть линейное пространство;

оператор L является линейным, т. е. удовлетворяет принципу суперпозиции:

ЦоХл+рХ^ = аЦХ^ + РЦХ2) Va^eR1, Х15Х2 € Г.

Оператор L называют также линейним преобразованием.

Пусть ССФ ^(^) имеет спектральное разложение (9.8) в виде интеграла по ортогональной стохастической мере Z^dX^ a F^X^ — ее спектральная функция. Пусть также задана некоторая комплексная функция Ф(А), AeR1, такая, что

J |Ф(А)|2^(А) < ос.(9.12)

Определение 9.4. Если случайная функция {£(£), tER1} допускает представление

= У ешФ(А)Хе((/А),(9.13)

где Ф(А) удовлетворяет условию (9.12), то говорят, что ((t) получена из ^(^) с помощью стационарного линейного преобразования. Функция Ф(А) в (9.13) называется частотной характеристикой этого преобразования.

Непосредственными вычислениями нетрудно убедиться, что

Dc= j |Ф(А)|2^(А),(9.14)

А

FC(X)= j ^(v^dF^v), AeR1.(9.15)

Если же ССФ имеет спектральную плотность /^(А), то ((f) также имеет спектральную плотность /^(А), причем

/^(А) = |Ф(А)|2 Д(А), AeR1.(9.16)

Если функция Ф(А) удовлетворяет (9.12), то процесс ((f) также является стационарным, причем соотношение (9.13) задает его спектральное представление. Из свойств стохастического интеграла (см. п. 14.9) следует, что ковариационная функция процесса ((f) равна

Д(#) = соу{<(ДС(0)} = J е’л*|Ф(А)|2 ЛДА). (9.17)

Замечание. Аналогично случаю дискретного времени (см. и. 3.3), можно показать, что для всякого t Е R1 процесс ((f) удовлетворяющий (9.13), является либо линейной комбинацией некоторых

сечений ССФ £(t), либо с.к.-пределом таких комбинаций. Этим и объясняется использование термина «линейное преобразование» для обозначения (9.13). Заметим также, что если линейному преобразованию подвергается гауссовская случайная функция £(£), а результатом преобразования является вещественная случайная функция £(£), то ((t) — также гауссовская.

В прикладных задачах линейные преобразования обычно задаются не в частотной форме (9.13), а во временной. Приведенные ниже примеры показывают, как устанавливается соответствующая связь между этими описаниями, а также поясняются соотношения между временными и частотными характеристиками линейных стационарных преобразований.

Пример 9.8. Пусть процесс ((f) получен из ^(^) преобразованием сдвига по времени на Т Е R1, т. е.

<(t)=£(t + T), чС.(9.18)

Показать, что (9.18) — стационарное линейное преобразование, и найти его частотную характеристику.

Решение. В силу спектрального представления (9.8)

Ц#) = ^t + T) = J eiX(-t+T^ Z^dXY

поэтому функция Ф(А) = егХТ есть частотная характеристика этого преобразования. ■

Пример 9.9. Пусть задана функция h(t), такая, что

j |Л(^)| dt < сю.(9.19)

Показать, что с.к.-интегральное преобразование ССФ {£(s), s Е R1}

((f) = j h(t - $)£($) ds,(9.20)

является линейным стационарным преобразованием, и найти Ф(А). Решение. Покажем, что ((f) — гильбертов процесс:

h(t — si)R^(si — S2)h(t — S2) ds^ds^ ^h(t — si)R^(si — S2)h(t — S2) ds^ds^ ^12 Б.М. Миллер и A.P. Панков12 Б.М. Миллер и A.P. ПанковM{K(t)|2}

h(t — si)R^(si — S2)h(t — S2) ds^ds^ ^

h(t — si)R^(si — S2)h(t — S2) ds^ds^ ^

12 Б.М. Миллер и A.P. Панков

12 Б.М. Миллер и A.P. Панков

Поэтому М{£(£)} = h(t — s) т^ ds = 0, так как т^ = 0.

Если £(s) = егХ® Z^dX\ то

<(#) = j /^-^(j eiXsZ^dX^ds = j e^^^Z^dX^

где Ф(А) =где Ф(А) =ds. причемds. причем

где Ф(А) =

где Ф(А) =

ds. причем

ds. причем

| |ф(а)|2лда) = м{|с«} <<».

Следовательно, (9.20) — стационарное линейное преобразование с указанной частотной характеристикой Ф(А). ■

Замечание. Стационарное линейное преобразование (9.20) широко используется при решении разнообразных прикладных задач, связанных с обработкой информации. При этом h(t) обычно называется весовой функцией преобразования или импульсним откликом.

Пример 9.10. Пусть процесс ^(^) с.к.-дифференцируем. Найти

и ко-и ко-частотную характеристику преобразования ^(^) нд вариационную функцию процесса £(£).

и ко-

и ко-

Решение. Из общих условий дифференцируемости в среднем квадратическом следует (см. и. 8.2), что если стационарный случай-

„-,-,82R^(t-s)

ныи процесс с.к.-дифференцируем, то существует -

otos ,

для любого г 6 R1. Последнее равносильно существованию R^ (0), что, в свою очередь, эквивалентно условию

(9-21)(9-21)-R'(0) = f A2dF^(A) < ос.

(9-21)

(9-21)

Воспользовавшись результатом примера 9.8, получаем

Г ^-1 шh J ~Z^AXVГ ^-1 шh J ~Z^AXV(9.22)(9.22)

Г ^-1 ш

h J ~Z^AXV

Г ^-1 ш

h J ~Z^AXV

(9.22)

(9.22)

Среднеквадратические пределы при h —У 0 в левой и правой частях соотношения (9.22) существуют в силу предположения об с.к.-дифференцируемости ^(t) и условия (9.21). Итак,

^t)= j iXeiMZ^dX\^t)= j iXeiMZ^dX\(9.23)(9.23)

^t)= j iXeiMZ^dX\

^t)= j iXeiMZ^dX\

(9.23)

(9.23)

Таким образом, процесс Ц^) получен из процесса Ц#) с помощью линейного преобразования, имеющего частотную характеристику Ф(А) = гА. В силу условия (9.21) случайный процесс ^(^) является стационарным, имеет М{^(^)} = 0 и ковариационную функцию

Я^(#) =соу{Ц#),Ц0)} = j eiXt>?dF^XY ■

Пример 9.11. Предположим, что стационарный процесс Y(t) п раз с.к.-дифференцируем. Мы хотим найти т раз с.к.-дифференцируемый процесс X (t) связанный с Y (t) линейным дифференциальным уравнением с постоянными коэффициентами

^Х^=£акГ^,3=0к=0^Х^=£акГ^,3=0к=0(9.24)(9.24)

^Х^=£акГ^,

3=0к=0

^Х^=£акГ^,

3=0к=0

(9.24)

(9.24)

где а^ bj — заданные константы. Требуется определить условия, при которых Х^ — стационарный случайный процесс, и найти частотную характеристику преобразования Y^oX^^ определяемого (9.24).

Решение. Найдем представление для X (t) в виде линейного преобразования процесса Y (t) с некоторой частотной характеристикой Ф(А):

X(t) = J ешФ(Х)гу^Х),

где ZY(dX) — ортогональная стохастическая мера, дающая разложение Y (t). Используя спектральное представление для оператора дифференцирования (9.23), получаем

Xw(t) = j еш^Х)кФ(Х)г¥^Х), Y^4t) = j eiXt^k ZY^dX\

откуда

т°?

^bjX^Ht^ eixtB(iX^^ZY^dX),

—оо

п

^akY^Xt^ e^AXX^Zy^dX),

к=0_

где А (г) и В (г) — алгебраические многочлены вида

A(z) = 52 akZk, к=0A(z) = 52 akZk, к=0

A(z) = 52 akZk, к=0

A(z) = 52 akZk, к=0

Предположим, что многочлен В (г) не имеет чисто мнимых корней,

тогдатогдаФ(А) =Ф(А) =Л(гА)В (г А)'Л(гА)В (г А)'

тогда

тогда

Ф(А) =

Ф(А) =

Л(гА)

В (г А)'

Л(гА)

В (г А)'

По построению X(t) существует и является стационарным, если его дисперсия конечна, т. е.

M{|A(t)|2}M{|A(t)|2}Л(гА)В (г А)Л(гА)В (г А)2dFy(X) < оо.2dFy(X) < оо.

M{|A(t)|2}

M{|A(t)|2}

Л(гА)

В (г А)

Л(гА)

В (г А)

2

dFy(X) < оо.

2

dFy(X) < оо.

Л(гА) В(гХ)Л(гА) В(гХ)/у(А). ■/у(А). ■Если процесс E(t) имеет спектральную плотность fy(А), то процесс

Л(гА) В(гХ)

Л(гА) В(гХ)

/у(А). ■

/у(А). ■

A(t) также имеет спектральную плотность /ДА) =

Пример 9.12. Пусть линейная система описывается уравнением

агХ^^аоХ^ = Y(t^

где входной сигнал Y(t) — стационарный процесс, имеющий ту = 0

и спектральную плотность fy(X) =2д2) * Найти спектральную

плотность и ковариационную функцию процесса X^t\

Решение. Среднее значение процесса тх = 0. Частотная характеристика и квадрат ее модуля имеют вид

Ф(А) =,|ф(А)|2 = 2 *.

v 7 cio + zAaivQq + a^A2

Спектральная плотность процесса X(t) следует из (9.16):

fxW =fxW =Da

fxW =

fxW =

7г(о2 + A2)(dg + a^A2)

Rx№ = j eixtRx№ = j eixtКовариационная функция процесса X(t) при а < а$/а\ есть

Rx№ = j eixt

Rx№ = j eixt

fx^dX^Ge-^W ch(M + ^sh(,So|t|) , Ро

где

Da0(aai + a0)Da0(aai + a0)

Da0(aai + a0)

Da0(aai + a0)

Поэтому Dx = ^x(O) = G — дисперсия процесса X(t\ ■

Замечание. Если в (9.20) h(t) = 0 при t < 0, то линейное преобразование называется физически реализуемым (фильтром), поскольку в этом случае выходной сигнал ((t) зависит лишь от прошлых значений входного сигнала ^(s) при s ^ t.

Рассмотрим пример фильтра, обеспечивающего «экспоненциальное забывание» прошлой информации.

Пример 9.13. Пусть задана весовая функция линейного преобразования (9.20)

hW =hW =1 e-t/T То1 e-t/T Топри t ^ 0,при t ^ 0,при t < 0,при t < 0,

hW =

hW =

1 e-t/T Т

о

1 e-t/T Т

о

при t ^ 0,

при t ^ 0,

при t < 0,

при t < 0,

где Т > 0 — параметр, определяющий скорость «забывания». Входной сигнал Y(t) имеет спектральную плотность /у (А) = 2 . Найти спектральную плотность и дисперсию выходного сигнала

X(t) = h(t-s)Y(s)ds.

Решение. Из примера 9.9 следует

Ф(А) = J h(sKtXs ds = J Le-td/т+гХ) dt = 1-oo0

Спектральная плотность процесса X(t) имеет вид

ЫАМЩ)|Ду(А) = .^^

Применяя результат примера 9.12 при по = 1, ai = Т, получаем

= ттзт- ■

Замечание. Процесс Д^) есть результат прохождения стандартного белого шума через физически реализуемый линейный фильтр с импульсным откликом h(t), если спектральная плотность процесса ДД допускает представление

= (9.25)

где Ф(А) = j б^с-^1 dt. j |/г(^)|^ < ос. о о

Действительно, такой спектральной плотностью обладает процесс ДД который получен при прохождении через фильтр с частотной характеристикой Ф(А) стационарного процесса Д£) с постоянной спектральной плотностью, равной 1/2тг. В силу примера 9.3 процесс Д£) является стандартным белым шумом (т. е. ст2 = 1).

Условие возможности представления некоторого стационарного процесса в виде результата прохождения белого шума через физически реализуемый фильтр определяется следующей теоремой.

Теорема 9.4. Для того чтобы неотрицательная функция f(X) допускала представление (9.25), необходимо и достаточно, чтобы выполнялось условие

j (9-26)

В заключение рассмотрим два примера использования теории стационарных линейных преобразований в задачах обработки сигналов. Дело в том, что многие операции численной обработки сигналов могут быть сведены к линейным стационарным преобразованиям. Если входной сигнал можно представить как сумму некоторого детерминированного процесса (полезного сигнала) и стационарного случайного процесса (шума), то результат обработки также есть сумма полезного выходного сигнала и шума, а его характеристики можно определить с помощью данной теории. В качестве первого примера рассмотрим задачу численного дифференцирования.

Пример 9.14. Пусть случайная функция

где /(f) — некоторая неслучайная дифференцируемая функция (полезный сигнал), а Д^) — центрированная ССФ (помеха) с дисперсией D^ = ст2 и постоянной на [—Aq, Aq] спектральной плотностью

М^ =М^ =2А0О2А0Опри |А| ^ Ао, при |А| > Aq,

М^ =

М^ =

2А0

О

2А0

О

подвергается численному дифференцированию с шагом h > 0:

АД =(9.27)

Вычислить mx^t\ Dx(t) при h —> 0.

Решение. В силу линейности преобразования (9.27)

= ДЦЦкДД + ^1 + ^ - ^ = ^ д + x^ty

где первый сигнал является детерминированным, а второй случайным, причем

м{х2Д} = мр^-^} = ММ±МлМ№ = о.

Поэтому

тх= М{АД} =Kt + h')h" № f W при h^O,

a Dxk^ = Dx2 (£), так как DxY^ = 0.

Процесс ^(t) есть результат линейного преобразования стационарного случайного шума £(t). Воспользовавшись его спектральным

представлением £(£) = | егХг Z^dX\ получаем

А2Д = ^^^ = J ^^ТлД^Ц^А) = | ФДД^ЦД),

где частотная характеристика Ф(А) преобразования (9.27) и квадрат ее модуля имеют вид

Ф(А) = ^——Л|ф(А)|2 = ДЦдДД

Поэтому fx2(X) = ——^~~^ f^W — спектральная плотность процесса Х2(^). Тогда

^Ц^2Д(А) dA = ^ [ (1 - cos А/г) dX = h,2 SAoh,2 J

о

при h -Д 0. ■при h -Д 0. ■2сг2 /sin(A0^)\ <t2Aq

при h -Д 0. ■

при h -Д 0. ■

"h? I Xoh /3

Замечание. Таким образом, при численном дифференцировании дисперсия шума выходного сигнала мало зависит от шага дифференцирования h. а определяется в основном шириной Ад спектра помехи во входном сигнале. Более того, даже при очень малой дисперсии ст2 этой помехи дисперсия выходного сигнала может быть большой, если помеха — широкополосный белый шум (т. е. Ag ^ 1). Полученный результат объясняет неудачные попытки продифференцировать сигнал прежде, чем он отфильтрован от помехи.

Пример 9.15. Следящая система радиолокатора описывается уравнением

y^t) = ke^tY к > О,(9.28)

где e(t) = x(t) — г/(^) + г(^) — рассогласование; г/(^) — выходной сигнал; х^ = Vg + Vit + V^2 — полезный сигнал, Vg, Vi, V2 ~ независимые гауссовские случайные величины с параметрами mg = 4-104 м, mi = = m2 = 0, сд = 104м, ai = 150м/с, сг2 = 2м/с2; х^ — гауссовская стационарная помеха, не коррелирующая с сигналом х^ и имеющая параметры mv = 0 и Rv(r) = Ае-а\т^ где А = 360м2, а = 50с-1; к = 25 с-1 — коэффициент усиления.

Требуется найти математическое ожидание и среднее квадратическое отклонение погрешности воспроизведения следящей системой полезного сигнала x(tY

Решение. Пусть S(t) = х^ — y^t) — случайная ошибка воспроизведения x(t\ Тогда as = M{S2(^)}1//2 — искомая величина. Из (9.28) с учетом выражения для e(t) следует

+ W) = ЖХ)+ 4lY(9.29)

Из предыдущих примеров следует, что (9.29) описывает линейную стационарную систему. Пусть г/(^) = щ(£) + Д(^), где 2/1 to описывает прохождение через систему полезного сигнала x(tY а Д(^) — прохождение помехи x^tY Очевидно, -щ(£) + 2/ito = x^tY откуда 2/ito = = Cg + Cit + c2£2, где

co = Vo - Vi/k + 2V2/k\ Cl = Vi - 2V2/k, c2 = y2.

Пусть Дж to = ж to — 2/ito — искажение системой полезного сигнала, тогда

+(9-30)

Из (9.30) следует, что М{Дж(^)} = 0, В{Дж(£)} = |д + ^^ (^ — 1) = = 36 + 0,0256 (t — 0,04)2 to 36 м2 (т. е. слабо зависит от t).

Вычислим теперь дисперсию «остатка от помехи» Д(Д. Частотная к

характеристика преобразования (9.28): Ф(А) = ^ .^, а спектральная плотность помехи i)(t) равна /ДА) = ^д2)* Отсюда следует, что спектральная плотность Д(Д имеет вид

Поэтому

сД ри ГDA = D{A(t)} = | f^dX=^-сД ри ГDA = D{A(t)} = | f^dX=^-dXdX(о2 + Х^к2 + А2)(о2 + Х^к2 + А2)Аак2Аак2

сД ри Г

DA = D{A(t)} = | f^dX=^-

сД ри Г

DA = D{A(t)} = | f^dX=^-

dX

dX

(о2 + Х^к2 + А2)

(о2 + Х^к2 + А2)

Аак2

Аак2

Для вычисление интеграла I воспользуемся формулами из и. 15.2:

9^

h(iX)h(-iX) 1

где g(z) = 1, h(z) = z2 ^ (а -\- k)z -\- ак, причем многочлен h(z) — устойчивый, т. е. его корни лежат в левой полуплоскости. Отсюда по = Д <4 = « + Д ^2 = ак, Д = О, Д = 1, следовательно,

т aobi - а2Ь0 тг

1 = 7Г = т——-

ао^1«2 (о + к)ак

и D= - = 100 м2. Очевидно также, что М{Д(Д} = 0.

Итак, тд = М{ж(Д — г/(Д} = 0, поэтому в силу некоррелированности процессов Дж(Д и Д(Д получаем

a s2 = В{ж(Д — g(t)^ = В{Дж(Д} + D136м2.

Таким образом, as^ 11,7м — средняя квадратическая погрешность работы следящей системы. ■

Задачи для самостоятельного решения.

Показать, что ССФ {ДД t Е R1} с.к.-непрерывна, если непрерывна ее ковариационная функция R^t\

Найти тДД R^t\ f$(X\ если Д^) — телеграфный сигнал.

Ответ. m6(t) = 0, R^ = e"2Aoltl, hW =.

Для процесса Д^), введенного в определении 9.4, показать стационарность и вывести соотношение (9.17) для ковариационной функции.

Указание. Воспользоваться свойствами стохастического интеграла.

Доказать, что если выполнено условие (9.21), то правая часть выражения (9.22) сходится в среднеквадратическом смысле при h —> 0 к правой части соотношения (9.23).

Пусть Д^) — центрированный стационарный процесс, а а — некоторое действительное число. Показать, что процесс Д^) = czny(t) также является стационарным. Является ли стационарным процесс Д^) cosat?

Ответ. Является только при а = 0.

N

Пусть Д^ = У^ ^(t) — сумма ССФ £,k(ty допускающих спектраль- к=т

ное представление со стохастическими мерами Z^dXy Показать, что для процесса Д^) также имеет место спектральное представление с некоторой стохастической мерой Z(dX). Если процессы ^(t) являются попарно некоррелированными, показать, что спектральное распределение процесса Д^ равно сумме спектральных распределений ССФ Д(£). Привести пример, показывающий, что для коррелированных процессов это утверждение неверно.

ССФ Д^ имеет спектральное представление Д^) = J егМ Z^(dXy ОО-оо

Пусть также Д^) = J ег9(л^Ф(А) Z^dXy где д(Х) — некоторая действитель

ная функция, а Ф(А) удовлетворяет условию (9.12). Найти ковариационную функцию процесса Д^. Будет ли он стационарным?

Ответ. R<(t) = J е9^1 |Ф(А) |2 dF^(Xy где F^QC) — спектральная функция ССФ Д^.°°

Частотная характеристика Ф(А) линейного преобразования имеет вид

( 1, если а < IА| Ф(А)= п

I U в противном случае,

где b > а > 0. Найти весовую функцию h(t) этого преобразования и дисперсию выходного сигнала Д^), если на вход поступает белый шум u(t) с ковариацией Rv(t) = cr^S^ty

~sindt — sin at „2 b — а

Ответ. h(t) = , D^ = ст2.

7ft7Г

Показать, что функция, C(ty такая, что C(t) = 1 — |t|/to при \t\ ^ to и C(t) = 0 при \t\ > to, является ковариационной функцией некоторого стационарного процесса. Найти его спектральную плотность.

е / \ х 1 cos Ato

Ответ. f^X) =.

Определить, являются ли следующие функции ковариационными функциями некоторых стационарных процессов, и, если являются, найти их спектральные плотности:

C(t) = tr2exp{—a|t|} cos/3t, а > 0;

C(t) = tr2exp{—a|t|} (1 + сД|), а > 0;

C(t) = tr2exp{—a|t|} fl + a\t\ + ^^—J , a > 0;

С^ = сгехр{—сф|} (cospt — ^ sin/31^|), а > 0;

C(t) = сг2ехр{—сф|} (cospt + ^ sin/31^|), а > 0;

C(t) = сг2ехр{—оф|} (chpt + ^ sh/3|^|), а ^ р.

Указание. Найти преобразование Фурье функций C(t). Поскольку преобразования Фурье для всех функций являются неотрицательными и интегрируемыми функциями, то по теореме 9.1 они являются ковариационными функциями некоторых стационарных случайных процессов.

Ответ.

1) hW =

сг2а 2тг

О2 + (3 + А)2 а^рЗ- А)2

2) А (А) =

сг2а

2а2

7Г

(а2 + А2)2 ’

3) А (А) =

сг2а

8а

7Г

З(а2 + А2)’

4) А(А) =

сг2а

2А2.

7Г

(А2 + а2 + /З2)2 — 4/32А2 ’

5) А(А) =

сг2а

2(а2+/32).

7Г

(А2 + а2 — /З2)2 + 4а2/32 ’

6) А(А) =

сг2а

2(а2 - /З2)

7Г

[(а-/3)2 + А2][(а + /3)2 + А2]'

11. Является ли с.к.-дифференцируемой ССФ ^(t) со спектральной

плотностью:

1о^(Х^ру1о^(Х^ру21 /(А) = |гД^ где а > 0, Р > 0.

1

о^(Х^ру

1

о^(Х^ру

Ответ. 1) нет; 2) нет.

12. Пусть ковариационная функция стационарного процесса ^(t) бесконечное число раз дифференцируема. Показать, что тогда:

1) J X2n dF^(X) < оо Vn > 0;

Случайные функции с ортогональными инезависимыми приращениями

10.1. Основные понятия и определения. Предположим, что {Д^), t ^ 0} — некоторая вещественная гильбертова случайная функция, т. е. М{Д^)2} < ос для всех t 0.

Определение 10.1. Приращением СФ ДД на промежутке (f, s], где 0 ^ t ^ з. называется случайная величина

(юл)

Определение 10.2. СФ Д^) называется процессом с ортогональными приращениями^ если для произвольных моментов времени 0 < Н < ^ < ^з < ^4 выполняется соотношение

^{△ДНД2),АД^зД4)} = 0.(10.2)

Известно (см. п. 14.7), что ковариация двух случайных величин имеет смысл скалярного произведения. Поэтому условие некоррелированности приращений (10.2) обычно называют условием их ор- тогоналъностщ т. е. равенства нулю скалярного произведения этих приращений. Заметим также, что из (10.2) в общем случае не следует независимость соответствующих приращений.

Замечание. Из (10.1), (10.2) следует, что СФ Д^) = ДД — ДО) также является процессом с ортогональными приращениями. Действительно, для любого промежутка (С s] АД^, з) = АД£,Д, т- е- все свойства приращений процесса Д^) автоматически переносятся на приращения процесса ДД Поэтому без потери общности изложения далее предполагается, что ДО) = 0. В этом случае говорят, что процесс Д^) выходит из нуля.

Оказывается, что условие ортогональности приращений процесса Д^) означает, что ковариационная функция R^t^s) имеет некоторую специальную структуру. Изучим строение функции R^^t^s) при условии, что Д^) — центрированный вещественный процесс с ортогональными приращениями и дисперсией

Dc(t) = М{Д£)2} , ^>0.(10.3)

Предположим также, что Д^) является с.к.-непрерывным. В этом случае D^t) — непрерывная функция (см. и. 8.1).

Пример 10.1. Доказать, что функция D^t) является монотонно неубывающей.

Решение. Пусть s ^ 0. Тогда для любого ^ ^ 0 с учетом ДО) = 0

D$(t + s) = Б{Щ + s)} = D{(£(t + s) - ^У) + (Щ) - Ц0))} -

= Б{ДЩ, t + 8) + ДЦ0, t)} = П{ДЦ0, t)} +

+ 2 cov{A£(0, £), АДС t + s)} + В{АД£, t + s)} .

Учитывая, что приращения АДОД) и АД^ Д + s) ортогональны, и то, что АДОД) = Д^), получаем

Mt + д = п{Дг)} + D{A^,t + .)} > DRW} = ^W,

что и требовалось доказать. ■

Рассмотрим ковариационную функцию R^t^ т) = cov{£W , Дт)} СФ E,(t\ Известно, что D^R) = R^t^t) для всех t ^ 0. Следующий пример показывает, что для процессов с ортогональными приращениями имеет место и обратное утверждение, а именно: ковариационная функция R^t^ может быть выражена через дисперсию D^t^ (в общем случае это не так!).

Пример 10.2. Доказать, что для произвольного процесса с ортогональными приращениями Д^) и любых С s ^ 0 справедливо соотношение

R^t^s) = ЛДттК s))-(Ю.4)

Решение. По-прежнему будем считать, что m^t^ = 0 и ДО) = 0. Если t ^ s, то

R-dM) = соу{Ц#),Цз)} = cov{£(t),£(s) - Щ) + Щ)} =

= соуЦДЦ(4)} + соу{ДЦ0^), ДЦ^з)} = соу{Щ),Щ)} = D^ty

Если же t > s, то аналогично находим R^^t^s) = D^s). Полученные результаты можно записать одной формулой:

R^(t, s) = D^(min(C s)). ■

Из (10.2)-(10.4) следует, что при s ^ t приращение АД^, s) является центрированной случайной величиной с дисперсией

В{ДЩ,5)} = ЦЩ-ЦД.

Последнюю формулу для произвольных ^, s ^ 0 можно представить в несколько более общем виде:

D{^W - €(«)} = Ц(тах(4, з)) - Д(min(t,з)).(10.5)

Замечание. Поскольку для с.к.-непрерывности центрированного процесса Д^) в точке to необходимо и достаточно, чтобы ковариационная функция R^t-^ts) была непрерывна в точке (to^toY то с.к.-непрерывность произвольного процесса с ортогональными приращениями равносильна непрерывности функции D^t\

Весьма важным частным случаем процессов с ортогональными приращениями являются процессы с независимыми приращениями.

Определение 10.3. Случайная функция {Д^),/; > 0} называется процессом с независимими прирагцениями^ если для любых моментов 0 ^ Н ^ ^2 С • • С t-ги п ^ 1 случайные величины

ЦО), АЦО,Й), A£(W2), ДЦЦ-ЪЦ) независимы в совокупности.

Замечания. 1) Очевидно, что в случае мцед < ос при всех t ^ 0 процесс с независимыми приращениями является также процессом с ортогональными приращениями. Обратное утверждение в общем случае несправедливо, однако всякий гауссовский процесс с ортогональными приращениями также является и процессом с независимыми приращениями (в предположении, что ДО) = 0). Действительно, для гауссовского процесса Д^) величины

ДЦ<Ъ<2), АЦц_ьЦ)

образуют гауссовский случайный вектор с некоррелированными компонентами и, следовательно, эти величины независимы в совокупности (см. и. 14.6).

Можно доказать, что всякий процесс с независимыми приращениями является марковским процессом. Однако для процессов с некоррелированными приращениями в общем случае это утверждение несправедливо.

Следующий пример показывает важность понятия процесса с ортогональными приращениями для стохастического анализа вообще и теории стационарных процессов — в частности.

Пример 10.3. Показать, что с помощью центрированного с.к.-непрерывного процесса Д^) с ортогональными приращениями, заданного на [0,Т] CR1, ДО) = 0, можно задать ортогональную стохастическую меру на борелевской сг-алгебре подмножеств [0,Т].

Решение. Пусть 8о — алгебра, порожденная промежутками Д = ДД) отрезка [0,Т] (см. и. 13.3). Покажем, что функция 5°(-), определенная по правилу

Е°(Д) = ДЦ#,з) = Щ)-ЦЦ, А = М, (10.6)

обладает всеми свойствами элементарной ортогональной стохастической меры на 8о (см. п. 14.8).

Действительно,

М{Н°(А)} = М{ДД^ Д} = 0,М{Н°(А)2} = П{АД^ Д} = D^s) - D^ < ос.

Если Ai = (t, т\ А2 = (г, s\ Ai П Д2 = 0 и Ai U Д2 = (t, s\ то e°(Ai и а2) = дд - ем = дд^, д + дем д = ндад + е°(д2).

Наконец, 5°(-) обладает свойством ортогональности:

М{Н°(Д1) Н°(А2)} = cov{Ae(H, ^1), дем^2)} = О

для любых Ai = (Н,£1), Д2 = (^2,^2), таких, что Ai П Д2 = 0. В силу того, что любое множество A G £о можно представить в виде А = М Д^, где п < ос, а {А^} — непересекающиеся промежутки, к=1

рассмотренные свойства функции 5°(-) справедливы для любых множеств из £q, если положить Е°(А) = М W-

к = 1

Пусть функция т^-) определена на промежутках соотношением

т^(А) = М{Е°(А)2} = D^s) - D^t), А = (t, s).(10.7)

Дисперсия D^t) монотонно не убывает (см. пример 10.1), является непрерывной (в силу с.к.-непрерывности ДД), а также ^(0) = 0, так как ДО) = 0. Следовательно, D^t) — функция распределения (см. определение 13.9), а т^-) — порожденная ею мера.

Пусть {Лп} — такая последовательность множеств из £q, что Ап 4- 0 при п ос (см. и. 14.8), тогда

М{Е°(АП)2} = т^(Ап) -д 0 при п ос

в силу непрерывности «в нуле» меры ш^(-). Итак, Е°(-) — элементарная ортогональная стохастическая мера на Дь а гп^-) — ее структурная функция.

Теперь Е°(-) может быть продолжена до ортогональной стохастической меры S(-) (см. и. 14.8), определенной на борелевской сг-алгебре Б([0,Т]), которая является минимальной сг-алгеброй, содержащей £q. т. е. Б([0, Т]) = сг^о) (см. п. 13.3). ■

В дальнейшем стохастический интеграл по мере 5(-), порожденной случайной функцией ДД с ортогональными приращениями, будем записывать следующим образом:

тт

(10.8)(10.8)1Ы = J W) 5W = J W) й№\оо

(10.8)

(10.8)

где p(t), t 6 [0,Т], — неслучайная функция, такая, что

т

j |^(t)|2 dD^(t) < ос.(10.9)

о

Из общих свойств интеграла по стохастической мере (см. и. 14.9) с учетом (Ю.7) получаем

т

мц(Д} = м{р^)ед} = о, (10.10) о

Т2 т

D№)} = M{|p(t)dew| } = фдрлш (io.li) оо

т

Наконец, если Т^ф) = j ^(t)d^(t)^ где ^(t)^ t Е [0,Т], — неслучайная о

функция, также удовлетворяющая условию (10.9), то

т

ссгДТХДТД)} = j Л^Ж*) dD^t).

о

Если определить процесс ц(^) как интеграл с переменным верхним пределом:

t

W) = (ДтДЩ), t^T,о

то нетрудно проверить, что ц(^) имеет ортогональные приращения, откуда

R^s) = ссуДЦДЦз)} = | \1р(т)\2 апе(т) = Dn(mm(t,s)).

о

Можно показать, что в рассматриваемом случае справедлив аналог формулы (8.11) интегрирования по частям для с.к.-интеграла:

тт

| Л-t) d^t) = <TW) - j ЛШ) dt, (10.12) оо

где p(t) — функция, непрерывно дифференцируемая на отрезке [0, TY Отметим, что левая часть равенства (10.12) содержит стохастический интеграл (от неслучайной функции), тогда как, в правой части присутствует интеграл в среднеквадратическом (от с.к.-непрерывной случайной функции).

Однородные процессы с ортогональными приращениями. Пусть ^(t)^ t 0} — выходящий из нуля вещественный процесс с ортогональными приращениями.

Определение 10.4. Процесс ^(t) называется однородным^ если для любых t. s ^ 0 закон распределения приращения А£(£, t + s) зависит только от s, т. е. совпадает с законом распределения сечения ^(s).

Оказывается, что требование однородности позволяет получить явный вид функций R^t, s) и D^ty

Пример 10.4. Показать, что произвольный с.к.-непрерывный невырожденный однородный процесс ^(t) с ортогональными приращениями имеет следующие характеристики:

(10.13)(10.14)(10.15)(10.13)(10.14)(10.15)D^t) = (j^t^ ст > 0,R^t, s) = ст2 min(t, §У

(10.13)

(10.14)

(10.15)

(10.13)

(10.14)

(10.15)

Решение. Из примера 10.1 следует, что для любых t, s ^ 0 выполнено равенство

D^(t + s) = D^t^ + D{A<^(t, t + s)} .

С учетом однородности процесса ^(t) и условия £(0) = 0 имеем

D{A€(t, t + s)} = П{ДЦ0, s)} = ПЩз)} = Ц(з).

Итак, D^(t + s) = D^t^ + D^8^ Для любых t, s ^ 0, причем в силу замечания после примера 10.2 функция D^R) непрерывна. Полученное уравнение имеет единственное решение на классе непрерывных функций:

D^R) = cr2t, а2 ^ 0.

Если ^(t) — невырожденный процесс (т. е. D^t^ > 0 для некоторого t > 0), то ст2 > 0. Итак, равенство (10.13) доказано. Формулы (10.14) и (10.15) следуют непосредственно из общих соотношений (10.4), (10.5) с учетом (10.13). ■

Замечание. Константу ст2 в (10.13) обычно называют ннтен- сивностъю процесса ^(t). Если же ст2 = 1, то процесс ^(t) называется стандартным или процессом с единичной интенсивностью. Заметим также, что структурная функция ш^(А) стохастической меры 5(A), построенной по стандартному однородному процессу ^(t) (см. пример 10.3), совпадает с обычной мерой Лебега:

(10.16)(10.16)m^dR) = dt,

(10.16)

(10.16)

что следует непосредственно из (10.7) и (10.13).

13 Б.М. Миллер и А.Р. Панков

Рассмотрим пример однородного процесса с независимыми приращениями, который имеет важное значение при решении прикладных задач, связанных с теорией надежности и теорией систем массового обслуживания (см. § 12).

Определение 10.5. Однородный процесс {//(t), t ^ 0} с независимыми приращениями называется пуассоновским, если при каждом t ^ 0 сечение ц(^) имеет распределение Пуассона с параметром At, где А > 0:

P{?7(t) = fc} = e"xt, fc = 0,1,2,...(10.17)

Из определения 10.5 и общих свойств процессов с ортогональными приращениями следует:

тл^ = At, ^(t) = At, t > 0;

PHs) -л№ = fc} = M®^))1 е-х^-1\ O^t^s, /г = 0,1,2, ...;

D{?7(s) — //(t)} = A11 — s| t, s > 0.

Пуассоновский процесс имеет следующий физический смысл: при всяком t > 0 величина T)(t) численно равна количеству событий из простейшего потока интенсивности А (см. и. 12.1), произошедших к моменту t. Таким образом, реализации пуассоновского процесса имеют вид кусочно постоянных функций, изменяющихся скачком на единицу (вверх) в случайные моменты времени {ti,T2, ... }, соответствующие появлениям очередных событий из потока. Поэтому ?y(t) относится к классу считающих случайных процессов.

Пусть теперь на Т = [0, +оо) задана детерминированная функция v^ > 0, которая предполагается интегрируемой по Лебегу на каждом конечном промежутке. Пусть также

t

a^t) = | v(t) dr,(10.18)

о

a {//(t), t ^ 0} — процесс с независимыми приращениями, такой, что для всех 0^t^snfc = 0,1, ... выполнено

Р{АЦМ) = fc} = Н^ТЛШ^ЧаЦнаО)).

В этом случае у^ называют неоднородным пуассоновским процессом, а функцию v^ — интенсивностъю. Из определения 10.5 немедленно следует, что однородный пуассоновский процесс имеет постоянную интенсивность z/(t) = А > 0.

Из свойств распределения Пуассона следует, что m^t^ = D^t^ = a^tY Ну^т) = a(min(t,r)).

Из определения (10.18) а^ следует, что Вп^ непрерывна на Т, поэтому ^(^ — с.к.-непрерывный процесс с ортогональными приращениями (см. пример 10.2).

Неоднородный пуассоновский процесс несложно преобразовать в однородный, о чем свидетельствует следующий пример.

Пример 10.5. Показать, что с помощью неслучайной замены времени неоднородный пуассоновский процесс можно преобразовать в однородный пуассоновский с интенсивностью А = 1.

Решение. В силу условия и^ > 0 заключаем, что а^ — строго монотонно возрастающая функция, а(0) = 0. Обозначим через 6(f) функцию, обратную к a(tY a(b(tY) = t. Функция b(t) определена на полуинтервале [0, а(+оо)) единственным образом. Введем процесс rj(t) = = ц(6(^)), тогда для 0 ^ t < s < а(+оо) имеем

^Чй(8) - ^) = &} = PVMs)) - <b(t)) = &} =

= exp{-[a(6(s)) - a(b(t)y^ = е •

Таким образом, rj^t) — однородный пуассоновский процесс единичной интенсивности в силу определения 10.5. Полученное преобразование времени позволяет сводить решение задач для неоднородного пуассоновского процесса к соответствующим решениям для однородного процесса. ■

В конце п. 10.1 был определен стохастический интеграл по центрированному процессу ^(t) с ортогональными приращениями (£(0) = 0). Пусть r](t) = ^(t) — а (2), где ц(^) — неоднородный пуассоновский процесс интенсивности v^Y Тогда можно показать, что для любой непрерывной на [0,Т] функции p(t) выполнено

t t

j Дт) с/^(т) = у ДтЦ - | Дт)Цт) с/т, t > 0, (10.19) 0 Тк^ о

где {г/,} — случайные моменты скачков процесса ц(А). Стохастическая ортогональная мера, порожденная центрированным пуассоновским процессом ц(А), называется пуассоновской мерой. Из (10.19) следует, что стохастический интеграл от неслучайной функции по пуассоновской мере можно вычислить аналитически.

В заключение выясним, может ли какой-нибудь процесс с некоррелированными приращениями быть дифференцируемым.

Пример 10.6. Показать, что невырожденный однородный процесс ^(t) с ортогональными приращениями не имеет с.к.-производной ни в одной точке t ^ 0.

Решение. Предположим, что с.к.-производная r(t) = Д^) существует. Тогда Rv(t^T) = cov{r(t), Дт)} = ^ ^^’^ ’ причем последняя производная по теореме 8.3 должна быть конечной при t = т. Попытаемся вычислить Rv(t,r) с учетом, что R^I^t) = a2min(t,r). Очевидно, что

=CT4T-t), где 1М=|0) ж<0

Тогда Rv(t,т) = ^- (сг21(т — t)) = а26(т — t), где ст > 0, а 5(х) есть дельта-функция Дирака. Отсюда, Rv(t,t) = сг25(0) = ос, т. е. Д^) не имеет с.к.-производной в обычном смысле ни в одной точке t ^ 0. ■

Замечание. Результат, приведенный в примере 10.6, будучи негативным, имеет тем не менее важные последствия. Пусть процесс r(t) таков, что mv(t) = 0, a Rv(t, т) = a26(t — т). В силу того что 5(t — т) = 0 при t ^ т, можно заключить, что r(t) обладает тем свойством, что любые его сечения, сколь угодно близкие по времени, являются некоррелированными. Такой процесс уже встречался нам раньше — это белый шум. К сожалению, Dv(t) = Rv(t,t) = ос и, следовательно, такой процесс физически нереализуем. Однако результат примера 10.6 показывает, как белый шум появляется практически: это есть результат попытки продифференцировать некоторую случайную функцию с ортогональными приращениями. Наоборот, сам процесс с ортогональными приращениями можно формально трактовать как с.к.-интеграл от белого шума:

tД^) = j г (г) (/т.

о

Оказывается, что последнему выражению можно придать аккуратный математический смысл, что будет сделано в § 11.

Мартингалы (непрерывное время). В §7 рассматривались случайные последовательности, являющиеся мартингалами с дискретным временем. В данном пункте мы распространим это понятие на случайные функции и рассмотрим мартингалы с непрерывным временем., которые тесно связаны с процессами, имеющими ортогональные и независимые приращения.

Предположим, что на вероятностном пространстве {Q,^7, Р} задано некоторое семейство сг-алгебр {7д}, t ^ 0.

Определение 10.6. Семейство {7д} называется потоком а-алгебр на {Q. ТР}, если ^ С У при каждом t ^ 0, причем

Tt ^У- если 0 t < s;

семейство {Щ} непрерывно справа, т. е.

Ft = Ft^ = Q Fs, t^O.

s>t

Замечание. Если { Д^)Д ^ 0} — случайная функция, определенная на {Q,^7, Р}, а Т7/ = сг{Дп), 0 и < Д — сг-алгебра, порожденная всевозможными конечными наборами сечений ^(tk)^ tk G [ОД], к = 1, ..., n}, то семейство {Т7/} удовлетворяет требованию а) определения 10.6 по построению. Если же пополнить ^ событиями нулевой вероятности Р и положить 7д = Т7^, то полученное семейство {7д} будет удовлетворять также и условию б) и, следовательно, будет потоком сг-алгебр. Далее предполагается, что указанные действия выполнены, а под потоком {Т7^} подразумевается «исправленный» вариант {Тд}.

Определение 10.7. Если при каждом t ^ 0 случайная величина £(t) измерима относительно J^ то случайная функция V^Y ^ ^ 0} называется согласованной с потоком а-алгебр {7д} (или ^-согласованной) .

Пусть {ДД, t ^ 0} согласована с потоком {7д} и, кроме того, М{|Щ)|} < оо.

Определение 10.8. Случайная функция ДД называется:

мартингалом относительно {Тд}, если

М{ДД I ^Л = Ш) (Р-п.н.) при s^t*

субмартингалом относительно {7д}, если

М{ДД I ^ ^ ДД (Р-п.н.) при s > t;

супермартингалом относительно {7д}, если {—ДД,7д} — субмартингал.

Замечание. Если £(t) является мартингалом относительно {Т7/}, то слова «относительно потока {^}» зачастую будут опускаться.

Приведем примеры мартингалов с непрерывным временем.

Пример 10.7. Пусть на {Q,^7, Р} задан поток сг-алгебр {7д} и случайная величина ц, имеющая конечное математическое ожидание. Показать, что случайная функция ДД = М{ц | Т7*}, t ^ 0, является мартингалом относительно {Тд}.

Решение. По условию М{|ц|} < ос, поэтому для любого t ^ 0 определено условное математическое ожидание ДД = М{ц | Тд}, причем ДД измерима относительно Tf Таким образом, случайная функция ДД .Тд-согласована. Далее, используя свойства условного математического ожидания и неравенство Йенсена (см. п. 14.5), получаем

М{|ДД|} = М{|М{ц | ^} |} < М{М{ф| | Л}} < М{|ц|} < ос.

Теперь осталось проверить условие а) определения 10.8. Пусть 0 ^ t ^ s, тогда с учетом Ft С Fs имеем

М{Щ) I щ = м{мд I ГД I ГД = МД I ГД = ДД.

Итак, ^(t) — мартингал относительно {Ft} в силу определения. ■

Пример 10.8. Пусть {£(t), t > 0} — мартингал относительно {7д}, а ^(т) — выпуклая вниз функция, причем M{|g(£(t))|} < ос. Показать, что v(t) = g(£(t)), t ^ 0, является субмартингалом относительно {Ft}.

Решение. Результат следует непосредственно из неравенства Йенсена (при t ^ s):

М{Щ) I ГД = M«(s)) I ГД > <?(М{Щ) | Л}) = д^ = АД.

В частности, если ^(t) — мартингал, то случайные функции |^(t)|, |£(t)|p (р > 1), £+(t), где т+ = шах(т,0), будут субмартингалами при условии, что они имеют конечные математические ожидания. ■

Свойства мартингалов и субмартингалов. Ниже предполагается, что {^(t^ t ^ 0} является мартингалом или субмартингалом относительно фиксированного потока сг-алгебр {Ft}.

Функция ^(t) является мартингалом, если для s > t ^ 0

j £(s, w) P(^) = j ^(t, w) P^du\(10.20)

AA

и субмартингалом, если

j £(s, w) P(dw) ^ j ^(t, w) P(dw)(10.21)

AA

для любого события A E Ft-

Если ^(t) — мартингал, то M{£(t)} = const, а если ^(t) — субмартингал (супермартингал), то M{£(t)} — неубывающая (невозрастающая) функция.

Если £(£) — субмартингал, то для того чтобы £(£) был мартингалом, необходимо и достаточно, чтобы М {£(£)} = const.

Неравенство Колмогорова для мартингалов. Если {^(t), t ^ 0} образует мартингал с непрерывными справа траекториями, M{£(t)} = = т^ д^ — неотрицательная выпуклая функция, а △ С [0, +оо), то для любого Е > 0

P{supg(£(t)) ^ Д < supM{g(^(t))}/e. teAteA

В частности, справедлив усиленный вариант неравенства Чебышева:

P{supmt)-m5| >е} < supD{^(t)}/£2. teAteA

Если ДД — неотрицательный субмартингал, траектории которого непрерывны справа, а А С [0, +оо), то для любого г > 0

P{sup£(t) > е} ^ 8ирМ{Щ)}/£.teAteA

Пусть {ДД t ^ 0} — субмартингал, траектории которого непрерывны справа, и supM{|£(t)|} < ос. Тогда с вероятностью 1 существу

ет предел ц = Jim Д^), причем М{|ц|} < ос.

Замечание. Из последнего свойства следует, в частности, что всякий непрерывный неотрицательный супермартингал ^(t)^ t ^ 0} (его математическое ожидание равномерно ограничено) в некотором смысле вырождается. Действительно, почти каждая траектория этого процесса при t -Д ос сходится к некоторому конечному пределу (в общем случае пределы различны для различных траекторий). Аналогичное свойство имеет место также и для неположительного субмартингала.

Следующий пример поясняет связь мартингалов и процессов с независимыми приращениями.

Пример 10.9. Пусть ^(t^ t ^ 0} — случайная функция с независимыми приращениями и постоянным математическим ожиданием. Показать, что ДД является мартингалом относительно потока V^t^ если ДО) = 0.

Решение. Пусть АД^, s) = ДД — ДД для 0 ^ t < s. Покажем, что АДС s) не зависит от сг-алгебры ^. Для этого достаточно доказать независимость указанного приращения от произвольного набора сечений

ДН), ...ДЛ),(10.22)

где 0 = to СП < • • • < tn С t. Поскольку сечения (10.22) можно представить в виде линейного преобразования приращений

АДН,Н), ...ЛД^-ЛД,(10.23)

то требуемое утверждение следует из того, что приращения (10.23) не зависят от АД^, s) по условию.

Теперь в силу независимости АД^, s) от ^ и постоянства М{ДД} находим

м{Щ) I ^} = м{щ) + дцщ) I ^} =

= М{Щ) I ^ + М{ДЩ, s) | ^} = Ц0 + М{ДЩ,8)} =

= Щ) + МШ8)}-М{Щ)} = ^),

где ^t) = M{C(i) | ЛЧ, так как ^(t) измерима относительно ^ (см. свойства условного математического ожидания в и. 14.5). Учитывая, что M{|£(t)|} < ос по условию, получаем, что ^(t) — мартингал. ■

Введенный в предыдущем пункте пуассоновский процесс дает нам содержательный пример субмартингала.

Пример 10.10. Показать, что однородный пуассоновский процесс T](t) является субмартингалом относительно {Тд7} и допускает представление вида

T](tH(t)W(10.24)

где y(t) — мартингал относительно {Тд7}, a A(t) — детерминированная функция.

Решение. Согласно определению 10.5 приращение ?y(s) — ц(^), s > t, неотрицательно, причем М{|ц(^)|} < ос. Следовательно,

M{?y(s) |- r)(t) = M{t?(s) - т)^ |0,

что доказывает субмартингальность процесса T](ty

Поскольку М{ц(£)} = At, то процесс y(t) = T](t) — At является центрированной СФ с независимыми приращениями, причем 7(0) = 0. Поэтому в силу результата примера 10.9 y(t) представляет собой мартингал относительно {^д7}. Так как Тд7 = Тд7 при любом t ^ 0, то y(t) — мартингал относительно потока ^tV Таким образом, требуемое представление имеет вид (10.24), где

7(t) = ^(t), A(t) = M{7?(t)} = At. ■

Замечание. Представление (10.24) субмартингала 7y(t) аналогично разложению Дуба (7.2) (для субмартингалов с дискретным временем), полученному в п. 7.1. При этом детерминированная неубывающая функция A(t) (А(0) = 0) называется компенсатором субмартингала ^(t).

Далее будем предполагать, что траектории пуассоновского процесса непрерывны справа.

Пример 10.11. В условиях примера 10.10 оценить

Р{ sup |?y(t) — At| > е} для T = 1, А = 2, е = 4. te[o,T]

Решение. Из примера 10.10 следует, что y(t) — центрированный непрерывный справа мартингал, причем М{72Д}=В{гД)} = АЛ так как СВ ?y(t) имеет распределение Пуассона с параметром д = At. Теперь воспользуемся неравенством Колмогорова:

nfI\1 /^т]^Xt XT

sup ?7(t) - Atsup —= sup — = —.

te[o,T]te[o,T] £ te[o,T] ££

Отсюда при Т = 1. А = 2, е = 4 получаем

Р{ sup |7?(t) — At| > е} < - = 0,125.

*е[о,т] 8

Последнее означает, что с вероятностью, не меньшей 0,875, максимальное отклонение реального числа скачков процесса r](t) от ожидаемого числа тД^) = 2t на промежутке времени [0,1] будет не больше четырех. ■

Пусть теперь Д^) — центрированная гильбертова случайная функция (т. е. М{|Д^)|2} < ос), являющаяся мартингалом относительно потока сг-алгебр {7д}. Такой процесс мы будем называть квадратично- интегрируемым мартингалом. Между мартингалами этого типа и процессами с ортогональными приращениями имеется тесная связь, о чем свидетельствует следующий пример.

Пример 10.12. Доказать, что любой квадратично-интегрируе- мый мартингал является процессом с ортогональными приращениями.

Решение. Пусть 0 ^ Н < ^2 ^ ^з < ^4, тогда

М{ДДнд2)АД^Д4)} = М{М{ДДнд2)АД^Д4) I ^з}} =

= МЩЦ^ЩМЩЩзЩ) | Л3}} = 0, где предпоследнее равенство справедливо в силу того, что приращение ДДНД2) измеримо относительно 7д3, а последнее — в силу М{ДД^з,^) | 7д3} = 0, как показано в примере 10.9. Таким образом, с учетом М{ДД^, s)} = 0 получаем cov{A£(H Д2Х АД^з,^)} = 0, т. е. Д^) — процесс с ортогональными приращениями. ■

Замечание. Если центрированный выходящий из нуля мартингал является гауссовским, то он квадратично интегрируем и имеет ортогональные приращения, которые (в силу гауссовости) являются независимыми. Таким образом, всякий гауссовский мартингал имеет независимые приращения. Наоборот, всякий центрированный выходящий из нуля гауссовский процесс с независимыми приращениями является квадратично-интегрируемым гауссовским мартингалом.

Для квадратично-интегрируемых мартингалов справедлив аналог разложения (7.5), которое выглядит наиболее просто, если рассматривается мартингал с независимыми приращениями.

Теорема 10.1. Пусть Д^) — квадратично-интегрируемый мартингал с независимыми приращениями. Тогда субмартингал ц(£) = Д(^) допускает единственное разложение

л(Ь = M(t) + ^, (Ю.25)

где M(t) — мартингал относительно потока ^tV а (^t — неубывающая детерминированная функция (такая, что (До = 0).

Функция (^ называется квадратической характеристикой мартингала ^(t).

Пример 10.13. Пусть ^(t), t ^ 0} — квадратично-интегрируе- мый мартингал (относительно {Т7/}) с независимыми приращениями, £(0) = 0. Показать, что (^ = D^ty

Решение. Вычислим m{^2(s) — £2(t) | F^ ПРИ 5 ^ £• Используя независимость в совокупности случайных величин

ШМ), A£(0,t), ew,

мартингальное свойство М^А£(£, s) |77^|=0 и результат примера 10.2, получаем

m{€2(s)-€2G) |^} = м{(Щ)-Цг))(Щ) + Цг)) |^/} =

= м{дЦМ)[ДДМ + 2ДЦ0Д + 2Ц0)] | ^«} =

= м{(ДЦМ)2 | ^} = М{(ДЦЛ <} = дц) - D^.

Таким образом, процесс M(t) = £2(t) — D^f) удовлетворяет мартин- гальному свойству, a M{|M(t)|} < ос в силу M{£2(t)} < ос. ■

Естественным обобщением однородного пуассоновского процесса T)(ty у которого все скачки равны 1, является обобщенный пуассоновский процесс H(t), скачки которого образуют совокупность независимых случайных величин {^}, не зависящих также и от r](ty

H(t) = £&, ^0.

г = 1

Таким образом, ^ = АН(д) — величина скачка процесса H(t) в момент т^ соответствующий г-му скачку процесса ц(£) на промежутке [0,2], где г = 1, ... ^(t). Будем считать, что заданы параметры обобщенного пуассоновского процесса:

А, ц = М^, Л = П{^},

где А > 0 — интенсивность пуассоновского процесса у(уУ

Пример 10.14. Пусть H(t) — обобщенный пуассоновский процесс с параметрами (Х.у.Ву Найти его математическое ожидание и дисперсию.

Решение. По формуле полного математического ожидания, используя независимость скачков {£Д от 7/(t), находим

M{H(t)} = £ M{H(t) I Щ) = n} Р{ц(0 = n} = n=l

CX) , n |oo^n^

= Z M{Z& | ^W = Д р<л(0 = = Z м{£ Дрдд = n} =

n=l z=ln=l z=l

= У^ n^P{?y(t) = n} = /iM{^(t)} = pAt.

n=l

Аналогично получаем выражение для M{H2(t)}:

M{H2(t)} = £ M{H2(f) I Щ) = ДРДД = n} = n=l

= Z M{(Z&)2}pWi) = n} = ^2^nD + (nuf^p^^t) = n} =

n=lz = ln=l

= M{?y(t)} D + M{?y2(t)} ц2 = XtD + (At + (At)2)^2,

Г П 2) П/ П\2

где учтено M< (У^ ^) f = У? D{^} + (У^ М{^Д j • Окончательно г = 1г=1г = 1

находим выражение для D{H(t)}:

M{H2(t)}-(M{H(t)})2 = А1Л+(А1+(А02)Д-(АД)2 = (Л + Д)АГ ■

Следующий пример показывает, что обобщенный пуассоновский процесс имеет независимые приращения.

Пример 10.15. Доказать, что обобщенный пуассоновский процесс H(t) с параметрами (А,д,1?) имеет независимые приращения.

Решение. Пусть to = 0 < Н < ... < tn. Докажем, что приращения AHj = H(tj) — H(tj_i), j = 1, ..., n, независимы. Для этого достаточно доказать равенство

(10.26)(10.26)Ф(^1, ... ,zn) = Ф1(^1).. .Ф„(г„),

(10.26)

(10.26)

где Ф(2|. ..., zn) — характеристическая функция случайного вектора {ДН1, ...,АН„}*, a ’Sj(zj) — характеристические функции случайных величин ДД, у = 1, ..., п (см. и. 14.3). Итак,

ФЩ, ... ,zn) = м|ехр(г У) ^ДН,Д = М{^(ц(Н), ... ,ц(Ц))} , 1=1

(10.27)

где функция ^(mi, ... ^т^ определяется выражением

p(mi^ ... тп) = М< ехрp(mi^ ... тп) = М< ехр7?(ti) = 7711, . . . ,7?(t„) = тп7?(ti) = 7711, . . . ,7?(t„) = тпг У^ ^ AHj

p(mi^ ... тп) = М< ехр

p(mi^ ... тп) = М< ехр

7?(ti) = 7711, . . . ,7?(t„) = тп

7?(ti) = 7711, . . . ,7?(t„) = тп

(10.28)

для натуральных аргументов mi ^ ... ^ тп. Используя обозначение AHj(m) = У2 €й в силу независимости скачков {^} от г)(1) и неза- m3 — i <i^.mj

висимости величин {AHj(m), j = 1, ... , п} находим

^(mi, ..., mn) = м{ехр(г У^ zjAHj(m)) | =

= П М{ехр(^АНЦт))} = П Ф5(10.29)

3 = 13 = 1

где ^(zj) — характеристическая функция случайной величины ^-. Теперь из (10.27)-(10.29) с учетом независимости приращений пуассоновского процесса ц(£) получаем

{

71

ПФеЦУ^^^-^Ч^

= п мДцд^о-^-!))}. (ю.зо)

3 = 1

Повторяя дословно проделанные выкладки для функции ^j(zj)^ находим

Ф/^) = М^)1^"*-!))}.(10.31)

Теперь требуемое равенство (10.26) следует из (10.30) и (10.31). ■ С помощью обобщенного пуассоновского процесса можно определить важный класс квадратично-интегрируемых мартингалов.

Теорема 10.2. Пусть H(t) — обобщенный пуассоновский процесс с параметрами (Х^щВ). Тогда процесс

H(t) = H(t) - y,Xt

есть квадратично-интегрируемый мартингал с квадратической характеристикой

(H)t = д + Дщ

Еще один класс квадратично-интегрируемых мартингалов можно построить следующим образом.

Пример 10.16. Пусть задана последовательность независимых случайных величин {ф}. таких, что М{ф} = 0 и М{^} < ос. Пусть также задана детерминированная возрастающая последовательность моментов времени {тД. При каких условиях процесс

€G) = 52

Ti<t

является квадратично-интегрируемым мартингалом?

Решение. На каждом интервале [ОД], таком, что число N(t) = sup{z: т^ ^ Д конечно, процесс ^(t) является квадратично- интегрируемым мартингалом с квадратической характеристикой

П = ЕМЮ-

г=1

Если же N(t) = ос, то £(f) — квадратично-интегрируемый мартингал, если ^М{^} < ос. ■ г=1

Замечание. Построение процесса ДД очень напоминает построение обобщенного пуассоновского процесса с той лишь разницей, что у последнего скачки происходят в случайные моменты времени. Траектории обоих процессов также весьма похожи и представляют собой кусочно постоянные непрерывные справа функции. Однако их квадратические характеристики отличаются радикальным образом. Квадратическая характеристика обобщенного пуассоновского процесса непрерывна, откуда следует его с.к.-непрерывность в каждой точке. Квадратическая характеристика процесса ^(t) разрывна во всех точках {тД, где испытывают разрыв траектории самого процесса.

10.4. Винеровский процесс. Данный пункт мы посвятим изучению свойств наиболее важного процесса, принадлежащего семейству случайных функций с ортогональными приращениями.

Определение 10.9. Случайная функция {ш(ДД ^ 0} называется винеровским процессом, если:

ш(0) = 0, М{ш(Д} = 0;

ш(Д — однородный процесс с независимыми приращениями;

ш(Д — гауссовский процесс.

Из приведенного определения сразу следует, что при любом t > 0 сечение и)^ имеет распределение АДО; <т2Д, а приращение Aw(t, s) — распределение АДО; <r2|t —s|), где Ы\оц D) — гауссовское распределение со средним а и дисперсией D. Указанные характеристики позволяют

рассчитывать вероятности некоторых простых событий, связанных с винеровским процессом.

Пример 10.17. Пусть w(t) — винеровский процесс с интенсивностью <т2 > 0. Вычислить вероятность того, что в момент Т > 0 траектория w(t) окажется выше уровня х (т. е. Р{ш(Т) > ж}).

Решение. По условию M{w(t)} = 0, a Dw(t) = сг2^, поэтому w(t) имеет распределение ЛГ^О^сг2!). Отсюда величина w(t) = имеет стандартное гауссовское распределение Af(O; 1). Следовательно,

p{w(T) > ж} = р/дт > -Д= I = i - ф (-Д= ),

где Ф(Ц = ^ [ e-t /2 dt — функция распределения СВ w(T)

(функция Лапласа).

В частности, P{|w(t)| ^ Зо-Д} = Ф(3) - Ф(-3) to 0,997 ДЛЯ всякого t > 0, т. е. выход траектории винеровского процесса за пределы области |ж| ^ ЗсглД маловероятен (см. рис. 10.1). ■

Рис. 10.1

Оказывается, что w(t) обладает многими интересными свойствами, которые мы приведем без доказательства.

Винеровский процесс является марковским процессом.

Почти все траектории винеровского процесса — непреривные функции (рис. 10.1).

Почти все траектории винеровского процесса не дифференцируемы ни в одной точке.

С вероятностью 1 на любом конечном отрезке [t,s], t < s. траектория винеровского процесса имеет неограниченную вариацию.

Винеровский процесс описывает симметричное блуждание частицы по действительной прямой (w(t) — координата частицы в момент t ^ 0):

P{w(t) > 0} = P{w(t) < 0} = | при t > 0.

Более того, если тх — случайный момент первого пересечения траекторией w^ уровня ж, то дальнейшее блуждание также симметрично:

P{w(t) > ж | t} = P{w(t) < ж | тт <Щ = |.(10.32)

Пусть {^fc(t)}^T1 — ортонормированный базис гильбертова пространства £2 [0, Т] функций, квадратично-интегрируемых на отрезке [0,Т], a {У/с}^^ — гауссовский стандартный дискретный белый шум. Тогда процесс

оо

= Е vkjw(r)dT, t е [о,т],(10.33)

о

является стандартным винеровским процессом на [0,Т] (сходимость ряда в (10.33) понимается в с.к.-смысле).

Винеровский процесс w(t) является непрерывным гауссовским квадратично-интегрируемым мартингалом с квадратической характеристикой (w)^ = Dw(t) = а2!.

Приведенные свойства винеровского процесса w^ позволяют исследовать более сложные его характеристики.

Пусть х > 0 — заданное число. Обозначим через тх случайный момент первого пересечения уровня х траекторией винеровского процесса w(t), упомянутый в свойстве 5:

тх = inf{t > 0: w(t) ж}.(10.34)

Рассмотрим вероятностные характеристики СВ тх.

Пример 10.18. Найти закон распределения СВ тЖ) определяемой соотношением (10.34). Выяснить, любой ли уровень х будет преодолен. Если да, то сколько в среднем придется ожидать момента наступления этого события?

Решение. Пусть t > 0 таково, что w(t) > х > 0. В силу непрерывности w(f) (см. свойство 2) это возможно, только если до момента t траектория {w(t), т > 0} уже пересекла уровень ж, т. е. произошло событие {тж ^ t}. Таким образом, случайное событие {w(t) > х} влечет

{тж С О? поэтому {w(t) > ж} П {тж < t} = {w(t) > ж}. С учетом этого, используя формулу умножения вероятностей, получаем

P{w(t) > ж} = P{w(t) > ж, тж < t} = P{w(t) > ж | тж < t} Р{тж < t^ .

Итак,

P{w(t) > х I тх < 4 = P{w(t) > ж} /Р{тж < 4 .(10.35)

Из свойства симметрии винеровского процесса (см. свойство 5) и соотношения (10.32) следует, что левая часть (10.35) равна 1/2. Поэтому

Р{тж С О = 2P{w(t) > ж} ,(10.36)

где Р{тж С О = ^W — искомая функция распределения СВ тЖ) причем из примера 10.17 следует, что P{w(t) > х} = 1 — Ф ( —). Таким образом,

Из (10.37) следует, что FT$ (t) — непрерывно дифференцируемая функция, т. е. СВ тх имеет непрерывную плотность вероятности:

fT (t) = FT (t) = -x2/(2<72t) t 0(10.38)

Соотношения (10.37) и (10.38) позволяют сделать следующие выводы:

Р{тж < ос} = 1 при любом конечном х > 0, т. е. траектория винеровского процесса рано или поздно пересечет сколь угодно высокий барьер ж;

М{тж} = | tfTx(t)dt = ос, т. е. среднее время ожидания этого о

пересечения бесконечно велико. ■

В завершение рассмотрим пример, иллюстрирующий связь винеровского процесса с некоторой последовательностью случайных блужданий частицы по дискретным точкам вещественной прямой. В частности, мы выясним причину, по которой винеровский процесс оказывается гауссовским.

Пример 10.19. Показать, что винеровский процесс w(t) можно рассматривать как предел последовательности случайных блужданий на прямой.

Решение. Под дискретным случайным блужданием на прямой будем понимать случайную последовательность {wn(r), т = 0, At, 2At, ..., nAt}, где t > 0, At = t/п, n ^ 1, обладающую следующим свойством: если точка в момент т имеет координату wn(r), то в следующий момент т + At она переходит либо в точку wn(r) + Aw, либо в точку wn(r) — Aw, где Aw > 0 — (пространственный) шаг блуждания, а само блуждание симметрично, т. е.

P{wn(r + At) = wn(r) + Aw} =

= P{wn(T + At) = wn(r) - Aw} = 1/2. (10.39)

Пусть wn(0) = 0 — начальная координата блуждающей точки и к моменту времени t сделано n = t/At шагов. Тогда wn(t) = У/ wn&, где {wn&} — соответствующие случайные шаги. По построению случайные величины {wn&} независимы в совокупности и

РЬ^пк = Aw} = Р^к = -Aw} = 1/2.

Отсюда M{wn^} = 0, a D{wn^} = (Aw)2. Поэтому wn(t) имеет следующие характеристики:

M{wn(t)} = у^ M{wnfc} = 0;

k=i

D{w„(t)} = £ D{w„k} = nAw2 = t^

Будем считать t фиксированным, a At и Aw устремим к нулю так, что- r (Aw)2 2 X п

бы х = ст = const > 0, причем п = — сю. Рассмотрим предел (по распределению) последовательности wn(t) = Из центральной предельной теоремы (см. п. 14.6) следует, что

P{wn(t) ^ ж} Ф^ при п -А ос,

т. е. предельная величина w(t) имеет стандартное гауссовское распределение. Нетрудно показать, что для всякого набора чисел {А^};!^

и моментов времени 0 < ti < tz < ... < tm < t СВ £n = У/ Адщп(^)

к = 1

также в пределе имеет гауссовское распределение. Это означает, что w(t) является гауссовской случайной функцией, а следовательно, w(t) = w(t)a\/t — также гауссовская функция, причем M{w(t)} = 0, D{w(t)} = <r2t, w(0) = 0, а однородность и независимость приращений

14 Б.М. Миллер и А.Р. Панков

процесса w(t) следуют из способа построения блужданий {wn(t)}. Таким образом, w(t) — винеровский процесс с интенсивностью ст2 > 0.

Из полученного результата следует способ физической интерпретации винеровского процесса w(t): если на промежутке [0, t\ точка делает случайные шаги с интервалом времени At, а величина шага равна Aw, то при условии, что шагов совершается много, т. е. п = t/At велико, можно считать, что {wn(r) ^ w(t), т Е [0, t]}. При этом интенсивность процесса блуждания определяется величиной ст2 = (Aw)2/At. Очевидно, что если (Aw)2 = At, то в пределе мы получим стандартный винеровский процесс. ■

10.5. Задачи для самостоятельного решения.

Пусть ^(t) — процесс с ортогональными приращениями, имеющий математическое ожидание m^t). Доказать, что процесс r)(t) = ^(t) — m^Qt) — — (ДО) — тДО)) — центрированный и имеет ортогональные приращения.

Пусть ^i(t) и Д (t) — независимые случайные функции с независимыми приращениями. Доказать, что ^(t) = £i(t) + ^(t) также имеет независимые приращения.

Пусть {^(t),7ц}, t ^ 0, — субмартингал, а /(ж) — непрерывная и монотонно неубывающая выпуклая вниз функция и M{|/(£(t))|} < ос. Показать, что {/(^(t)),^}, t 0, — также субмартингал.

Доказать свойства 1-3 мартингалов и субмартингалов из и. 10.3.

Доказать теорему 10.2.

Указание. Воспользоваться результатами примеров 10.13-10.15.

Пусть £i(t), Д (t) — квадратично-интегрируемые мартингалы относительно некоторого потока {7ц}. Показать, что £i(t) + ^(t) — также квадратично-интегрируемый мартингал относительно {7ц}.

Пусть ^(t) — однородный процесс с независимыми приращениями, выходящий из нуля, а ФДА; t) — его одномерная характеристическая функция. Доказать равенство

ФДА; t + s) = ФДА; ^ФДА; s), t, s 0.

Указание. Воспользоваться тем, что характеристическая функция суммы независимых случайных величин равна произведению их характеристических функций.

t

Пусть ?y(t) = Jt7w(t), где w(r) — стандартный винеровский процесс, о

Вычислить т^^ и D^t).

Ответ, т^^ = 0, D^^ = t3/3.

Доказать, что стандартный винеровский процесс w(t) с.к.-интегриру- t

ем на [0,t], и найти ДД^Д, где Т)(1) = J w(t) 7т.

о

Ответ. R^ (t, s) = а? (36 — а)/6, где а = min(t, s), 6 = max(t, s).

Пусть T)(t) = max w(r), где w(r) — стандартный винеровский процесс. Найти закон распределения случайной величины ц(£) при любом t > 0.

Указание. Учесть Р{Д/;) > ж} = Р{тж ^ /;} и использовать решение примера 10.18.

ж/Vt

Ответ. F^t^x) = Д2/тг J е-2 dz.

о

Доказать, что если ^w^t^ t ^ 0} — винеровский процесс, то для п — 1

всякого s > 0 имеет место сходимость Р{ Д^ |гДД+1) — гДД)| > s} —> 1 при к=0

шах |^fc+i — tk \0, где 0 = to Нtn = 1 (неограниченность вариа

ции винеровского процесса на конечном интервале).

Указание. Вычислить математическое ожидание а и дисперсию указанной суммы и, воспользовавшись неравенством Чебышева, показать, что п — 1

Р{а - ^ lw(A+i) - ги^к^ а - е} 0. к=0

Доказать, что винеровский процесс является марковским.

Указание. Проверить выполнение условия марковости для гауссовского процесса из примера 2.12.

Доказать, что винеровский процесс является квадратично-интегри- руемым мартингалом, и найти его квадратическую характеристику.

Ответ. (w)t = cr2t.

Пусть {Д^), t ^ 0} — пуассоновский процесс с интенсивностью А > 0. Показать, что при At ф 0 выполнено:

P^(t + At) - Д^ = 0} = 1 - ХМ + о(М),

P^(t + М) - Д^ = 1} = ХМ + о(Му P^(t + М) - Д^ > 1} = о(М).

Указание. Учесть, что е Лж = 1 — Хх + о(ж).

Пусть {^(t), t ^ 0} — с.к.-непрерывный однородный процесс с ор

тогональными приращениями, а функция <р(т) такова, что J ср2 (т) dr < ос tо

для всех t 0. Доказать, что процесс r](t) = J р(т) d^^ является с.к.-не- о

прерывным процессом с ортогональными приращениями.

Пусть w(t) — стандартный винеровский процесс. Показать, что процесс

T](t) = exp{w(t) — t/2} — 1

центрированный и имеет ортогональные приращения.

Указание. Воспользоваться тем, что М{е^} = ев^2 для £ ~ М (0; D).

Пусть i)(t) — однородный пуассоновский процесс с интенсивностью А > 0. Показать, что £(t) = ехр{ц(/;) — at^ — субмартингал относительно потока V^tV если а С А(е — 1).

Указание. Вычислить М{Дз) | F^ для s ^ t^ предварительно доказав, что в условиях задачи М{ехр{ц(8) — i)(t) — a(s — ^)}} ^ 1.

§11. Стохастические дифференциальныеуравнения

.1. Стохастический интеграл Ито. Выше мы познакомились с понятием стохастического интеграла от неслучайной функции по стохастической мере, порожденной процессом с ортогональными приращениями. Теперь мы расширим это понятие и рассмотрим стохастические интегралы от случайных функций по стохастической мере, порожденной винеровским процессом.

Пусть стандартный винеровский процесс w(t), t Е [0,Т] = А задан на вероятностном пространстве {Q, У, Р}. Пусть также В — сг-алгебра борелевских множеств на действительной оси.

Выберем некоторое t Е А и введем сг-алгебру событий 7д, порожденную случайной функцией {w(s), s Д.

Определение 11.1. Система событий 7д, являющаяся наименьшей сг-алгеброй, содержащей все события вида {w(s) Е В^ Vs < t, VВ Е В, называется сг-алгеброй, порожденной {w(s), s ^ Д. Для yt будем использовать обозначение yt = чДДД. 8 С [ОД]}-

Замечания. 1) Очевидно, что по определению Тд С У при любом t ^ Т (так как У содержит все события вида (w(t) Е В} при В Е В). Кроме того, если 0 ^ s ^ t ^ Т, то У^^У1- что также очевидно. В этом случае говорят, что {7д, t Е А} — поток ст-алгебр.

<т-алгебра У имеет ясный физический смысл: в yt содержатся все события, о наступлении которых можно узнать, наблюдая процесс (w(s)} на промежутке [ОД] (естественно, речь идет о событиях, содержащихся в множестве У и, следовательно, имеющих вероятность).

Определение 11.2. Случайная функция VW, t Е А} называется неупреждающей относительно процесса (w(t), t Е А}, если при любом t Е А случайная величина f(t) является 7д-измеримой (т. е. VW Е В} Е yt для всякого В Е В).

Для начала мы определим стохастический интеграл по винеровской мере на конечном интервале А = [0,Т] для случайных функций /(Д специального вида — простых функций.

Пусть интервал А разбит на промежутки {А^}, k = 1, ... ,п: А =

= U Afc, где Д1 = [ti, t2], А2 = (Ws], ... , А„ = (t„,t„+i].

к=1

Определение 11.3. Случайная функция /(Д называется простой, если она имеет вид

/М = ЁеЛд,М, i€A,(11.1)

к=1

где I/xk(t) — индикатор промежутка А^, т. е.

если t Е А^,

О, если t А^,

причем ^ — случайные величины, такие, что М{|^|2} = D^ < сю.

Замечание. Из определения 11.3 следует, что функция /(t) — неупреждающая, если ^ измерима относительно ^к^ к = 1, ...,п. Действительно, если t Е А^, то f(t) = ^ измерима относительно ^tk^ но tk < t и поэтому ^к С Т^ т. е. / (t) является 7д-измеримой.

Определение 11.4. Стохастическим интегралом от простой неупреждающей функции / (t) по винеровскому процессу {w(t), t Е А} называется случайная величина

ЦЛ = [ f№ dw(t) = 22 Ck^k,(11-2)

Д

где ^w^ = ш(Д+1) — w(tk) — приращение винеровского процесса w(t) на промежутке А^.

Рассмотрим некоторые свойства стохастического интеграла /(/) от простой неупреждающей функции f(t\

Пример 11.1. Доказать, что /(/) обладает следующими свойствами:

1(«1/1 + 0:2/2) = одД/Д + О2Д/2)) если «i,Q2 — неслучайные числа, a /ДД^ДСД — простые неупреждающие функции;

М{/(/)} = 0;

M{|Z(/)|2} = jM{|/(t)|2}^<oo.

А

Решение. Если /1 (t) /2 (Д — простые случайные функции, причем fi(t\f2(t) измеримы относительно Tt^ то этими же свойствами обладает также их линейная комбинация f(t) = од/ДД + 012 f2(1)1 т. е. /(Д — простая неупреждающая функция. Теперь свойство 1 следует непосредственно из (11.2) и линейности операции суммирования.

Далее М{/(/)} = 22 MkkA’"fc} , гДе

к=1

M^w^ = M{M{^kAwk | ДД} =

= MRfeM{Awfe | ДЩ = M{^}M{Awfe} = 0.

Здесь учтено, что Ашд, не зависит от ^tk по свойству независимости приращений винеровского процесса, M{w(t)} = 0 и ^ измерима относительно Тдд.. Отсюда следует справедливость свойства 2.

Аналогично,

М{|ЦД№к|2} = М{|Щ2} M{|Awfc|2} = Dk(tk+1 - tkY

Если к < I, то M{^feAwfc/Aw;} = M{^Awfe/JM{AwJ = 0, что также верно и для к > I. Следовательно,

м{|/(/)|2} = £1Ш+1-^) =

к=1

= £ м{ы2} (w - <й = j м{|Ж2} at. д

Таким образом, свойство 3 также выполнено. ■

Для построения стохастического интеграла от более сложных неупреждающих функций /(f) нам понадобится следующее утверждение.

Теорема 11.1. Пусть {/(f),t Е А} — с. к.-непрерывная функция.

Если /(f) — неупреждающая, то найдется последовательность простых неупреждающих функций ^ЛЛУУ такая, что

jM{|/(f)-/n«}^0 при п —> ОО.(11.3)

А

Имеет место с.к.-сходимость последовательности стохастических интегралов ЦЛУ

ЦЛ) ЦП w^ ос.(11.4)

Теперь мы можем определить интеграл от /(f), t Е А.

Определение 11.5. Случайная величина !(/) = j /(f) dw(t),

А

определенная в (11.4), называется стохастическим интегралом Ито от случайной неупреждающей функции /(f).

Из (11.3), (11.4) и свойств с.к.-сходимости (см. и. 14.4) следует, что 1(f) Для /(f) общего вида также обладает свойствами 1-3 (см. пример 11.1). Заметим, что определение 11.5 корректно в том смысле, что предел /(/) зависит лишь от /(f) и не зависит от конкретного выбора последовательности {/n(f)} простых неупреждающих функций, аппроксимирующих /(f) в смысле соотношения (11.3).

Теорема 11.2. Если {/(f), f Е А} — с.к.-непрерывная функция, заданная на конечном промежутке А = [О, Г] и неупреждающая относительно потока а-алгебр {7д}, где Ft = сгЦЦз), s Е [0,f]}, то стохастический интеграл 1(f) = j /(f) dw(t) существует и облада- А

ет свойствами 1-3, приведенными в примере 11.1.

Замечание. Без ограничения общности можно считать, что М{/(£)} = 0 на [0,Т], так как в противном случае

цЛ = Цт,НЦП

где m^(t) = М{/(t)}, а / (t) = f(t) — m^(t) — центрированная случайная функция. При этом 1(т^) есть интеграл от неслучайной функции по ортогональной стохастической мере (см. и. 14.9), а /(/) — интеграл Ито. Последнее означает, что вместо с.к.-непрерывности СФ /(t) мы можем требовать с.к.-непрерывность лишь f(t\ При этом математическое ожидание m^(t) может быть кусочно непрерывной функцией (напомним, что с.к.-непрерывность f(t) влечет непрерывность m^(t) (см. п. 8.1)).

Интеграл !(/) для с.к.-непрерывной на А = [0,Т] функции f(t) можно ввести и по-другому. Пусть А = [J А^ — разбиение интер- &=1

вала А на п подынтервалов А^ одинаковой длины h = Т/п. Пусть {^}^=i — точки разбиения, тогда tk-\-i — tk = h. Обозначим

МЛ = 52 /(MAW,(И.5)

k=i

где ^Wk — приращение процесса w(t) на промежутке А^.

Теорема 11.3. Пусть выполнены условия теоремы 11.2, тогда 1п(Л ° К > ЛЛ иРи п °0? г^е 1(f) — интеграл Ито, a 1п(Л ~ интегральные суммы вида (11.5).

Заметим, что представление (11.5) зачастую более удобно для практических вычислений. Рассмотрим использование интегральных сумм (11.5) на примере.

Пример 11.2. Доказать, что

т

^w^dw^t^^^^-T).(11.6)

О

Решение. Заметим сразу, что Aw& имеет распределение АДО; h) (см. и. 10.4), поэтому М{| Агщ|2} = h, а М{|Агщ|4} = ЗМ2{|Агщ|2} = = 37г2 по известному свойству гауссовского распределения. Заметим также, что h = Т/п —> 0 при п —> сю.

Рассмотрим и преобразуем А>й член в интегральной сумме (11.5):

w(#fc)Awfc = |[w2(tfe+i) -w2(tfe)] - i(Awfc)2.

Отсюда для In(w) получаем:

InW = Е w(tk)Awk = 2[w2(T) — w2(0)] - ^ y)(Awfe)2,k=lk=l

M{^(Awt)2} = EM{(Awt)2} — n-h — T,

K=1k=l

{

TL-vTLrxrp*2

^(△w,)2} = ^D{(Aw,)2} = n-2/i2 = ^^0, n^oo, k=i}k=in

так как D{(Aw&)2} = М{(Агщ)4} — М2{(Агщ)2} = 3h2 — h2 = 2h2.

Таким образом, y^ (АцД2 C'K" > T при и —> сю, откуда в силу к=1

w(0) = 0 и теоремы 11.3

InW |(w2(T) -Г), п ос,

что и требовалось доказать. ■

Замечания. 1) Рассмотренный пример показывает, что свойства интеграла Ито отличаются от привычных свойств интеграла Стилтьеса. Например, формула интегрирования по частями в общем случае не имеет места. Действительно, если она была бы верна, то

тт т

[ w(t) cZw(t) = w2(t) — f w(t) cZw(t), о0 о

т. e. 2I(w) = w2(T), что неверно в силу результата примера 11.2.

В формуле (11.5) выбор точки 1^ для вычисления /(t) на А^ (выбор левого конца промежутка АД является принципиальным. Если выбрать 6 € [0,1], положить ^ = (1 — У)^ + 0Д+1 и составить интегральную сумму

ТпШ = Е f(<>wk,(11.7)

к=1

то в условиях теоремы 11.3 справедливо утверждение:

^(Л ТЧЛ ПРИ П ОО,

причем предельная величина Iе (/) в общем случае зависит от О и называется стохастическим 0-интегралом. Очевидно, что если

9 = 0, то I°(f) — интеграл Ито. Если же 9 = 1/2, то интеграл I1^2^) называется интегралом Стратоновича. В условиях примера 11.2 можно показать, что I1^2^) = -w2(T), a Z^w) = -(w2(T) + Т), так что значения указанных интегралов могут различаться очень существенно, если Т велико. Естественно, если / (t) — неслучайная кусочно непрерывная функция, то значения всех 0-интегралов совпадают, а интеграл /(/) обладает свойствами с.к.-интеграла по ортогональной стохастической мере (см. и. 14.9).

Рассмотрим случайную функцию

t

о

т. е. интеграл Ито с переменным верхним пределом. В рамках принятых нами условий выполняются следующие утверждения:

случайная величина r](t) измерима относительно ^;

ц(ф) — непрерывный центрированный процесс с ортогональными приращениями, дисперсия которого имеет вид

t

ад = |м{/2(т)}

о

r](t) является мартингалом относительно потока {7д}, t ^ О, (см. п. 10.3), т. е. для s < t справедливо M{?y(t) | Т^} = //(s) (Р-п.н.).

Предположим, что случайная функция T)(t) может быть представлена для каждого t Е [0, Т] в виде

tt

= 77(0) + j <Дт) ^т + j Л7") сМт)оо

для некоторых подходящих случайных функций р^т^ /(т\ Тогда говорят, что T](t) имеет стохастический дифференциал, а последнее соотношение записывают в дифференциальной форме

dp(t) = p(t) dt + /(t) dw(t).

Стохастическое дифференциальное уравнение. Формула Ито. Введенное понятие стохастического интеграла Ито позволяет рассмотреть новый класс дифференциальных уравнений со случайной правой частью.

Пусть ^(t) Е Rn, f(t, х) Е Rn, aft, х) Е RnXm — матричная функция размера (п х m), w(t) Е Rm — m-мерный стандартный винеровский

процесс, компонентами которого являются независимые стандартные (скалярные) винеровские процессы, a v Е Rn — случайный вектор начальных условий.

Определение 11.6. Случайная функция Д^) является решением стохастического дифференциального уравнения

d^ = Kt, Ж) dt + аХ dw(t)(11.8)

на А = [0,Т] с начальным условием

£(0) = V.(11.9)

если ее можно представить для каждого t Е [0,Т] в виде

tt

UK = v + j KT, КЮ dr + j <т(т, Цт)) dwb),(11.10)

00

где в формуле (11.10) первый интеграл в правой части понимается в с.к.-смысле, а второй является интегралом Ито.

Замечание. Выражение (11.8) покомпонентно может быть представлено в виде

d^kK = JKt,^')dt + ’^<7ki(tKK)dwi(t'),

&(0) = vk, k = l,

где КЬ = KKtKk=n Ж К = WKt,xKk=v Ж К = £сткЛ,хК, k = = 1, ..., n, г = 1, ..., m. Очевидно, (11.10) принимает вид

Ы1) = Vk + [А(тДг))</т + у [<тм(т,£(т))сЦЦт).(11-12)

оi=1 о

Для того чтобы все интегралы в правой части (11.12) имели смысл для некоторого процесса Д^), t Е А, и для каждой компоненты этого процесса выполнялось бы при каждом t Е А равенство (11.12), на функции {Д(£,т)}, {сгдД£,т)} необходимо наложить некоторые ограничения.

Обозначим |ЖЦ|2 = У КЖК, а ||сД, ж)||2 = У у КкЛ,х\ к = 1к=1 г=1

Теорема 11.4. Пусть случайная величина v не зависит от {w(t\ t Е А}, М{ф|2} < сю, а коэффициенты уравнения (11.8) ff^x) и a(t,x) непрерывны по переменным t Е А, жЕ1п. Пусть таксисе:

найдется такое К < сю, что при всех t Е А, х Е Rn 1ЖШ2 + 1И^Ц||2^К(1 + И2);

найдется такое С < сю, что при всех t Е А, х^у Е Rn

1Жж) - /(t, у)I2 + ЦДж) -<r(t,y)||2 < С\х - у|2.(11-14)

Тогда на А = [0,Т] существует и единственно (Р-п.н.) непрерывное решение £(t) уравнения (11.8) с начальным условием (11.9), причем

М{|ЦД2} <Ц1 + М{М2}). t е A,(11.15)

где константа L зависит лишь от Т и К.

Замечания. 1) Под единственностью (Р-п.н.) непрерывного решения понимается следующее: если найдется случайная функция y(t) (почти все траектории которой непрерывны), удовлетворяющая уравнению (11.8), т. е.

dy(t) = /(t, y(t)) dt + cr(t, y(t)) dw(t), ц(0) = щ

TO P{sup|£(t) — ц(^)| > 0} = 0, t. e. Д^) и y(t) — неотличимые случай

ные процессы (см. п. 1.3).

Условие (11.13) накладывает ограничения на скорость изменения компонент функций /(t,x), о^х) по х при |ж| -Дею: |/(t,x)|, ||cr(t, ж) || не могут возрастать быстрее, чем линейная функция. Условие (11.14), известное в математике как условие Липшица, ужесточает требование непрерывности по переменной х коэффициентов уравнения (11.8). Условия (11.14), (11.15) будут выполнены, например, если функции f^t^x^ a(t,x) дифференцируемы по ж, причем |/Д^,т)|2 + + ||сгД£,х)||2 ^ С при любых t Е А, х Е Rn и некотором С < сю. Условия теоремы 11.4 довольно жесткие, но относительно легко проверяемые. В принципе, они могут быть ослаблены, но соответствующие результаты выходят за рамки данной книги.

Процесс Д^) при M{|z/|2} < сю является процессом с конечными моментами второго порядка в силу (11.15). Более того, если М{фГ} < сю для k ^ 1, то найдется такая константа L^ < сю, зависящая только от к, Т и К, что для всех t Е А

M{|cG)|2fe} ^Щ1 + м{и2Ц).

Другие свойства решения уравнения (11.8) будут описаны далее.

Определение 11.7. Стохастическое дифференциальное уравнение вида

(11.16)(11.16)Г d^(t) = a^t)^!) dt + u(t) dt + b(t) dw(t),

(11.16)

(11.16)

I Ж) =

где a(t), u(t\ b(t) — матричные детерминированные функции соответствующих размеров, называется линейным стохастическим дифференциальным уравнением.

Пример 11.3. Показать, что линейное дифференциальное уравнение (11.16) с непрерывными коэффициентами а (2), u(t) и b(f) имеет единственное решение на А = [0,Т].

Решение. Сравнивая (11.16) с (11.8), находим

/ (t, ж) = п(£)т + u(t), a(t, ж) = b(t).

Проверим выполнение условий теоремы 11.4.

Пусть К^ = max |п^(^)|2, К^ = птах |щ(£)|2 и К^ = max |6^(t)|2, г, j = 1, ... ,п, I = 1, ..., m. Указанные максимумы существуют в силу непрерывности функций а^(1)^ щ(£) и Ьц(ф) на А.

|/(t, т)|2 = |n(t)x + u(t)|2 С 2|n(t)x|2 + 2|u(t)|2 < 2Гба|т|2 + 2К\

где Ка = У^ ГС^-, Ки = ^К"^. Аналогично,

М^)||М^^кь = £^.

Отсюда

|/(t,Ц|2 + ||<r(t,ЦП2 ^ 2К°|ж|2 + 2А“ + КЬ^ К(1 + |ж|2),

где К = тах^2Ка ,2Ки + КЦ. Таким образом, (11.13) выполнено.

|Hf,x)-<r(f,y)||2 = ||&(f)-&(f)||2 = 0,

I/(i, ж) - /Ц, у)|2 = |аДЦ - у)|2 Ка\х - у|2, Уж,у € R"

Отсюда условие (11.14) теоремы 11.4 выполнено при С = Ка.

Итак, все условия теоремы 11.4 выполнены, и, следовательно, уравнение (11.16) имеет единственное решение. ■

Предположим, что задана скалярная детерминированная функция д^хП\ х 6ЙП. t Е А. Применим преобразование

W) = g^WX(H-Ц

к решению ^(t) уравнения (11.8). Процесс ^(t) по построению имеет стохастический дифференциал (см. и. 11.1). Будет ли также и r](t) иметь стохастический дифференциал? Ответ на этот вопрос дает следующая теорема.

Теорема 11.5. Пусть функция д(хП) непрерывно дифференцируема на А по t^ дважды непрерывно дифференцируема по х и выполнены условия теоремы 11.4, тогда

dp(t) = /i(t, £,(t)) di + (7i(t,^(t)) dw(t).(11.18)

Здесь

с х 6g(x,t) , /6g(x,t)\х , 1. \d2g(x1tA хх

Mt,x) = а\; ’ + а\ ’ ’/(£,ж + -tr ^ ’ Д(£,ж <тД,ж ,

at у ох у2 о2х

х / Эд(х. \, х

<71 (t.x) =77 аНхУ

у Ox J

(11.19)

где ^^i^) _ градиент функции g(x,t) по х, tr[-] — след матрицы.

Формула (11.18) называется формулой стохастического дифференцирования Ито. Соотношения (11.18), (11.19) позволяют исследовать свойства различных нелинейных преобразований от решений стохастических дифференциальных уравнений.

Пример 11.4. Вывести формулу Ито для случая скалярного уравнения (11.8), т. е. п = т = 1.

Решение. Подставляя в (11.19) выражения ^-^-^ = <7^^

= д'НхПУ ^ = д' (х ty <т(С ж)<т*(С ж) = ^((ЦхУ находим о2хot

(11.20)(11.20)/Д,аО = g'tW) + g'x(x,t)f(t,x) + |д"Ц,()<72Дж),

(11.20)

(11.20)

<7i(С х) = д'х{х^ t)a(t, хУ

Следовательно,

^W = М^^У dt + <7i(C£(0) dw(ty

где коэффициенты /i, <7i определяются из (11.20). ■

Замечание. В заключение подчеркнем отличие правила дифференцирования Ито от правила обычного дифференцирования. Пусть ^(^) — дифференцируемая неслучайная функция, a y(t) = g^^tyt), тогда

Mt) = д'Ж1)^)^^ g'^tyt'ld^t).

Если же ^(^) — случайная функция, удовлетворяющая стохастическому дифференциальному уравнению, то по (11.20)

Mt) = ШЖЖ1 +д'ЖЖ)ММ + У'ЖЬ^М^.Ж)^.

Если последний член в формуле Ито отсутствует, то оба правила дифференцирования совпадают. Это будет иметь место, например, в случае gx^^tyt^ = 0, т. е. если д^х, t) = а^ х — линейное преобразование. Очевидно также, что отсутствие диффузионного члена в уравнении (11.8), т. е. сг(С^) = 0, приводит к аналогичному результату.

Приведем несколько примеров, показывающих эффективность использования формулы Ито в стохастическом анализе.

Пример 11.5. Используя формулу Ито, доказать, что

t

jw(r) cZw(t) = |[w2(£) — ^], t > 0. 0

Решение. Пусть £(£) = w(^), тогда d^(t) = dw^t), £(0) = 0, t. e. ^(t) удовлетворяет стохастическому дифференциальному уравнению, в котором /(£, я) = 0, <т(£,х) = 1. Рассмотрим преобразование ц(£) = = £2(t), Т. е. д^х,^ = ж2. Тогда g't(x,t) = 0, дЦжД = 2ж, g"(x,t) = 2. Подставим найденные выражения в (11.20):

/1(^,х) = 1,<71 (^, ж) = 2х.

Отсюда dg(t) = dt + 2^t^ dus^t^ причем ц(0) = £2(0) = 0. Переходя к интегральной записи (11.10), получаем

tt

ц(£) — ц(0) = j dr + 2 р(т) (/w(t),оо

откуда с учетом ^(т) = ш(т) и ц(^) = ш2(£) следует

t

w2(£) = t + 2 jw(r) cZw(t) = t + 2J(w),о

что и требовалось доказать. ■

Заметим, что результат примера 11.5 согласуется с формулой (11.6), полученной в примере 11.2 непосредственным вычислением интеграла I(w).

Пример 11.6. Решить стохастическое дифференциальное уравнение:

f ^(t) = ^(^dt + ^dw^,(1121)

I СО) = i."

Решение. Уравнение (11.21) имеет решение в силу теоремы 11.4. Рассмотрим функцию ^(^) = ew^\ т. е. ^(^) = g^w^t^t), где д(х,1) = = еж. Очевидно, что g^x^t) = 0, gfx(x,t) = g^x^t) = еж. Применим правило дифференцирования Ито:

d£(t) = ^9х^^^) dt + g^wit),^ dw(t).

Отсюда df;^ = | Д^) dt + Д^) dw(t^ так как

У (иДД) = д^иЧ),^ = ewW = Ut\

Кроме того, ДО) = ew^ = 1, так как w(0) = 0. Таким образом, Д^) = = ew^ является решением уравнения (11.21).

Заметим также, что модель (11.21) удовлетворяет всем условиям теоремы 11.4, поэтому мы можем утверждать, что полученное решение — единственное, а также для всех к ^ 1

M{m<)|2fc} =M{e2fewW} < оо, IgA. ■

Пример 11.7. Пусть E(t) — решение уравнения

dE^ = cos Д£) dt + cos Д£) dw^t\ ДО) = 0.

Показать, что g(t) = зтД^) также является решением некоторого нелинейного стохастического дифференциального уравнения.

Решение. По условию g(x,t) = sin ж, поэтому g^x^t) = 0, gfx(x,t) = cost, дх(х^) = — sinx. По условию также f(t,x) = a^t^x) = = cost. Воспользуемся формулами (11.18), (11.19):

(t, xA = cos2 x — - sin x cos2 x = cos2 x (1 — - sin xA,

<71 (t, x) = cos2 x = 1 — sin2 X.

Учитывая, что зтД^) = g(t\ получаем

J dglt') = (1 -7?2(t))(l - ^(t))</t + (1 -g^t^du^t),m99>.

( Д0) = sin ДО) = 0.

Таким образом, g^t) = зтД^) является решением (11.22). Отметим, что уравнение (11.22) не удовлетворяет условиям существования и единственности решения, использованным в теореме 11.4. Тем не менее это решение существует, и мы явным образом это проверили. Данный результат не является противоречием, а указывает лишь на то, что условия теоремы 11.4 являются достаточными для разрешимости нелинейного стохастического дифференциального уравнения, но не необходимыми. ■

Следующий пример показывает, как формула Ито может быть использована для вычисления моментных характеристик решения E(t) уравнения (11.8).

(11.23)(11.23)Пример 11.8. Предположим, что Д^) является решением уравнения

(11.23)

(11.23)

dE,^ = ct^W dt + b£,(t) dw(t), Д0) = щ причем M{z/4} < оо. Вычислить ^t) = МЩ(<)}-

Решение. Пусть g(x,t) = х2, тогда по формуле Ито получаем уравнение для g(t) = Д(£):

dg(t) = (2п + b2)g(t) dt + 2bg(t) dw(t).(11.24)

В силу М{?у2(0)} = M{z/4} < ос из неравенства (11.15) следует, t

что М{ц2(^)} < ос, поэтому м{ j Дт) с/ш(т)} = 0. Отсюда, интегри- о

руя (11.24) и вычисляя математическое ожидание от обеих частей, получаем

t

M{//(t)} = М{Д0)} + (2а + b2) j М{Дт)} dx.

о

С учетом того, что M{?y(t)} = y(t), имеем

t

^W = ?(0) + (2а + b2) j у(т) dx.о

Дифференцируя полученное соотношение по Г находим

ДО = (2а + б2Ы0,

т. е. y(t) = 7(0) ехр{(2а + Ъ2)£^ где 7(0) = М{Д (0)} = M{z/2}.

Заметим, что если 2а + Ъ2 < 0, то 7(f) -4-0 при t ос для любого конечного 7(0). Последнее, в свою очередь, означает, что ДО С'К" > 0 при t —> ос для любого v. такого, что М<Д4} < ос. Указанное свойство уравнения (11.23) называется его стохастической асимптотической дстойчивостъю в с.к.-смысле. ■

Для численного моделирования процесса ДО, заданного нелинейным стохастическим дифференциальным уравнением (11.8), можно воспользоваться методом Эйлера. Для этого рассмотрим точки 0 = = to < ti < t2 < ... , в которых требуется вычислить значения процесса ДО- Теперь заменим в (11.8) дифференциалы на приращения: dE,^ на Д^п+1)-Д^п), dt на tn^i-tn и dw(t) на w(tn+i) -w(tn). Тогда

Д^+1) = [Д^) + Д(Д^))] + cr(tn,E(M)(w(tn^i) - w(tn)), где п = 0,1, ..., a h = t^-v ~ tn = const — шаг дискретизации (0 < h <С 1). Так как последовательные приращения w(tn+i) — w(tn) m-мерного винеровского процесса независимы и имеют распределение M(0;hI)^ окончательно получаем

£(Ц+1) = К(Ц) + hf(^tn))] + а41<т(Ц,ЦЦ)) v„, п = 0,1, ..., где {гп} — стандартный m-мерный гауссовский белый шум.

11.3. Линейные стохастические дифференциальные уравнения. Рассмотрим подробнее процесс £(t), удовлетворяющий линейному стохастическому дифференциальному уравнению

(11.25)(11.25)d£,(t) = a(t)£(t) dt + u(t) dt + b(t) dw(t), ДО) = V

(11.25)

(11.25)

с непрерывными коэффициентами a(t), u^) b(t).

В примере 11.3 было показано, что это уравнение имеет единственное решение. Найдем это решение явно.

Пример 11.9. Показать, что процесс

tt

д#) = ©(ф + ©(t) |еДт^т) ат + ©(t) j©ЩтЖт) а™^ (и.26)

Оо

является решением уравнения (11.25), если матричная функция 0(f) удовлетворяет системе дифференциальных уравнений

(11.27)(11.27)0(f) = n(f)0(f), ©(0) = I.

(11.27)

(11.27)

Решение. Вычислим дифференциалы слагаемых в правой части выражения для ^(f), используя правило с.к.-дифференцирования и формулу Ито:

d^)^v^ = ^^vdt..

tt

0 1(t)u(t) dr + и0 1(t)u(t) dr + иdt..dt..d^d^t) j 0-1(т)п(т) dr^ = [@№ j оо

0 1(t)u(t) dr + и

0 1(t)u(t) dr + и

dt..

dt..

tt

d^d(t) j 0-1(t)6(t) dw^T^ = 0(t) j 0-1(t)6(t) (/w(t) + b(t) dw(t). о0

t

В последнем равенстве учтено, что для r](t) = j ©^(т^фт) dw(r) по о

определению справедливо dr](t) = 0-1(f)6(f) dw^t), а по правилу Ито в силу линейности преобразования gQq(t))t) = 0(^)ц(^) имеет место

(/(0(^)ц(^)) = 0(^)ц(^) dt + 0(^) dT](t\

Итак, окончательно получаем

t

d^^Y = 0(£) \v + j0-1(т)Дт) (It + о

t

+ j 0-1(t)6(t) cZw(t)] dt + u(t) dt + b(t) dw(t). о

С учетом 0(f) = a (f) 0(f) и формулы (11.26) имеем

d^(t) = a(t)E(t) dt + u(t) dt + b(t) dw^t), причем начальное условие £(0) = 0(0) z/ = v выполнено, поскольку 0(0) = I. Таким образом, (11.26) действительно является решением уравнения (11.25). Свойства матрицы 0(f) фундаментальных решений (11.27) обсуждались ранее в п. 8.3, поэтому мы считаем их известными. ■

Замечание. Можно показать, что решение (11.26) остается справедливым, если вместо непрерывности a^tY u(t) и b(t) предположить их кусочную непрерывность.

В следующем примере обоснован практически важный метод вычисления моментных характеристик первого и второго порядков решения системы линейных стохастических дифференциальных уравнений — метод моментов.

Пример 11.10. Пусть процесс £(f), удовлетворяющий (11.25), в момент t Е А имеет среднее m^t) = M{£(f)} и ковариационную матрицу 7$(#) =соу{Ц#),Ц#)} = М{(Ц#) - т5(#))(Ц#) - т((t))*}, а начальное значение £(0) = v не зависит от {w(f)}. Показать, что m^YY ^(t) являются решениями следующих систем обыкновенных дифференциальных уравнений:

m^t) = a^m^t) + u(tYm^(0) = mv, (11.28)

7^) = а(<)7^)+7а*)а*(*) + г’(Ф*(Д7Ц0) = 7„,(11.29)

где mv = M{z/}, 7^ = cov{zx, vY

Решение. Воспользуемся формулой (11.26), дающей явный вид решения £(f):

t

m^t^ = M{£(f)} = ©(f)^^ + 0(f) j 01 (т)н(т) dr, (11.30) о

t

так как м| j 01 (т)Ь(т) с/ш(т)} = 0 по теореме 11.2. Дифференциро- о

вание выражения (11.30) по t дает уравнение (11.28).

Вычитая (11.28) из (11.26), получаем для Д^) = Д^) — ^№

(11.31)(11.31)€W = ©W [£ + |0-1(т)6(т) dw(r)].о

(11.31)

(11.31)

Пусть r)(t) = j ©-ДДДт) dw(r\ тогда по свойству стохастического о

интеграла от неслучайной функции имеем

t

ссгДД^), ц(£)} = j0-1(т)6(т)6*(т) (0-1 (г))*dr.

о

Учитывая независимость v от {w(t), т ^ 0}, получаем

?Д) = мЦ(Дд)} = e(t) [7,+ j е-1(т)б(т)б*(т)(е-1(т))^т] ©Д). о

Дифференцирование последнего выражения по t приводит к системе уравнений (11.29). Выполнение начальных условий проверяется непосредственной подстановкой t = 0 в выражения для m^t^ и 7ДД ■

Уравнения (11.28), (11.29) для вычисления моментных характеристик m^t^ и уД^) процесса Д^) называются уравнениями метода моментов.

Рассмотрим использование полученных соотношений на примере скалярного линейного стохастического дифференциального уравнения с постоянными коэффициентами.

Пример 11.11. Пусть скалярная случайная функция {Д^), t ^ 0} удовлетворяет уравнению

(/Д^) = а№^ dt + bdw^tY ДО) = v.

Найти общее решение уравнения и вычислить m^t^ и уД£) с помощью метода моментов. Рассмотреть поведение этих характеристик при t ос, если а < 0.

Решение. Нетрудно проверить, что в данном случае 0(t) = eat поэтому t

Д^) = eatmv + beat j e"aT dw^ о

представляет собой общее решение рассматриваемого уравнения. Для нахождения m^t^ и уД£) применим метод моментов. Из (11.28) следует

m^t^ = ат^1\ тДО) = mv.

Отсюда m^t^ = mveat. Аналогично из (11.29) находим

= 2«7Д) + б\ 7^(0) — 7^-

Решая последнее уравнение с учетом |а| = —а, получаем

62

Так как а < 0, то eat 0 при t ос, поэтому m^t^0, 7^(£) —>

для любых mv, ^v. ■

Определение 11.8. Система дифференциальных уравнений

1Д^) = аЕ,^ dt + udt + bdw(t), ДО) = v(11.32)

с постоянными коэффициентами а, и, b называется асимптотически устойчивой, если все корни {А^} уравнения

det[a — AI] = 0(11.33)

лежат в левой полуплоскости, т. е. Не Х^ < 0.

Теорема 11.6. Если система (11.32) асимптотически устойчива, то существуют т^ и ^, такие, что для всех mv, ^v

m^t) т^ и ^(t)7^ при t ос.

Предельные значения т^, щ удовлетворяют стационарным уравнениям метода моментов:

{

ат^ + и = 0,

(11.34) ау^ + ^а* + bb* = 0.

Пример 11.12. Двумерный процесс Д^) = {Д(£),Д(^)}* Удовлетворяет системе уравнений

( 1Д (t) = Д (t) dt + 5 dt,

[ 1Д (^) = —^2Д (^) dt — 2аиоЕ1^ dt -V g dw(t),

где a, 5, co и g — постоянные параметры.

Найти предельные значения mi, 71 моментов первого и второго порядков компоненты ^i(^), если аса > 0.

Решение. Из (11.32) следует, что

а =

" 01"

—со2 —2асо

,и =

" 6"

0

,ь =

■ 0 "

_ g _

Проверим условия асимптотической устойчивости:

det [а — AI] = detdet [а — AI] = det-А-А1—2cw — А1—2cw — А— А2 + 2qcjA + и2 — 0.— А2 + 2qcjA + и2 — 0.

det [а — AI] = det

det [а — AI] = det

-А

-А

1

—2cw — А

1

—2cw — А

— А2 + 2qcjA + и2 — 0.

— А2 + 2qcjA + и2 — 0.

Корни Ai?2 = —аш ± у а^2 — cj2 лежат в левой полуплоскости, так как аш > 0 по условию. Следовательно, наша система (11.32) асимптотически устойчива. Тогда из теоремы 11.6

ш2 + 6 = 0,

—uj^mi — 2ашт^ = 0,

откуда mi = 2ct5/w.откуда mi = 2ct5/w.Так как 7^ = 7^ по определению,Так как 7^ = 7^ по определению,мы можеммы можемположить 7^ =положить 7^ =01—сс2 — 2асс?01—сс2 — 2асс?7171кк. Тогда из (11.34) следует. Тогда из (11.34) следует7171кк7171ккккккI1!I1!0 -cj21 — 2aw0 -cj21 — 2aw00092092= 0.= 0.

откуда mi = 2ct5/w.

откуда mi = 2ct5/w.

Так как 7^ = 7^ по определению,

Так как 7^ = 7^ по определению,

мы можем

мы можем

положить 7^ =

положить 7^ =

01

—сс2 — 2асс?

01

—сс2 — 2асс?

71

71

к

к

. Тогда из (11.34) следует

. Тогда из (11.34) следует

71

71

к

к

71

71

к

к

к

к

к

к

I1!

I1!

0 -cj2

1 — 2aw

0 -cj2

1 — 2aw

0

0

0

92

0

92

= 0.

= 0.

Данное матричное уравнениеДанное матричное уравнениеможно переписать в скалярном виде:

Данное матричное уравнение

Данное матричное уравнение

2к = 0,

(11.35)(11.35)—cj27i + 72 — 2ашк = 0,

(11.35)

(11.35)

—4qcc?72 — 2ксо2 + д2 = 0.

Разрешая (11.35) относительно 71, находим 71 = д2 /(4асД). Итак, при достаточно больших t можно считать, что £i(t) имеет постоянные среднее M{£i(t)} = 2а5)ш и дисперсию D{£i(t)} = д2/(4аш3). ■

Если процесс ^(t) удовлетворяет системе линейных стохастических дифференциальных уравнений (11.25), то мы можем найти закон его одномерного распределения при известном законе распределения начального условия и.

Пусть Фо(А) = M{exp(zA*z/)}, Acl". — характеристическая функция случайного вектора и. а Ф^(А; I) = М{ехр(гА*Д^))} — характеристическая функция сечения процесса Д^), t ^ 0.

Теорема 11.7. Если Д^) удовлетворяет системе линейных стохастических дифференциальных уравнений (11.25), то характеристическая функция Ф^(А; t) имеет вид

Ф5(А; t) = Фо(0*(ДА) exp(«A*mj(t) - |а*7£(£)а} , (11.36) где 0(t) удовлетворяет (11.27), а {m^t), 7^(^)} — решения системы дифференциальных уравнений метода моментов (11.28), (11.29) с нулевыми начальными условиями.

Пример 11.13. В условиях примера 11.11 найти характеристическую функцию Ф^(А; t), если начальное значение v имеет равномерное распределение на [—а, а], а > 0.

Решение. Так как ^(^) — скалярная функция, то А G R1. Вычислим необходимые компоненты формулы (11.36):

Ф0(А) = M{exp(iAi/)} = ^ j eiA$ d,x =

0(f) = eat (см. решение примера 11.11);

m^t^ = am^t\ m^O) = mv = 0, откуда m^t^ = 0;

7 2

?e(i) = 2«7e(i) + b2, 7^(o) = 0, поэтому y£(t) = — (1 - e2at\,

находим Ф^(А; t) по формуле (11.36):

Заметим, что Ф^(А; 0) = s^n^ = ФО(А). Если же f ос, а параметр а < 0 (т. е. уравнение асимптотически устойчиво), то

Ф€(Л; t) -Э exp j -хА2хт-т [ = ^ДА),

где Ф^(А) — характеристическая функция гауссовского распределения Л/"(0; 62/2|п|). Таким образом, при а < 0 и достаточно больших t можно считать, что ^(t) имеет гауссовское распределение. Естественно, при близких к нулю t точное распределение Ф^(А; t) не является гауссовским. ■

Замечание. Из теоремы 11.7 следует, что если начальное распределение Фо (А) — гауссовское, то для любого f ^ 0 случайный вектор ^(f) имеет гауссовское распределение A7(m^(f); y^(f)), где параметры m^tY 7£№ — решения уравнения метода моментов. Если же v не является гауссовским вектором, но система уравнений такова, что 0(f) -4-0 при f ^ ос (условие асимптотической устойчивости для нестационарных систем), то при f ^ 1 можно считать, что ^(t) ~ ~ A/^m^f); 7^)), т. е. имеет место асимптотическая нормальность решения устойчивого линейного стохастического дифференциального уравнения.

В заключение рассмотрим решение линейного стохастического дифференциального уравнения, порожденного не винеровским процессом w(f), а центрированным неоднородным пуассоновским процессом

Т1№ = W) - тп(Ч

где T](t) — пуассоновский процесс интенсивности v(t) > 0, a m^t) = t

= | v(t) dx: о

^(^) = aW^(t) dt + u(t) dt + b(t) dr](t\

, 5(0) ="

В интегральной форме уравнение (11.37) имеет вид

ttt

£(£) = v + j а(т)£(т) dr + j п(т) dr + j 6(т) d^t\ (11.38) оoo

где последний интеграл в (11.38) — стохастический интеграл по пуассоновской мере (см. п. 10.2). Используя формулу интегрирования по частям (8.11) для с.к.-интеграла и (10.12) — для стохастического

интеграла по процессу с ортогональными приращениями, можно показать, что формула (11.26) (с заменой w(t) на ц(т)) остается в силе:

tt

£(£) = ^^v + 0(t) j 0-1 (т)и(т) dT + 0(t) j 0-1 (т)Ь(т) dy^x). (11.39) оо

Теперь, используя формулу (10.19) для вычисления интеграла от неслучайной функции, окончательно получаем

t

5(<) = 0(t)p + ©(f){j©_1(r)(u(r) - b^vH)) dr + у ©"Чтк)Ь(тк)У

0

где {тд} — случайные моменты скачков процесса ц(£).

Формирующий фильтр для стационарной случайной функции. В данном пункте мы рассмотрим метод моделирования стационарной случайной функции с дробно-рациональной спектральной плотностью с помощью стохастических дифференциальных уравнений — метод формирующих фильтров.

Определение 11.9. Гауссовская стационарная случайная функция {£(£), ^бЕ1} имеет дробно-рациональную спектральную плотность fz(X) в случае, если

= ^= ^l*W2’l*W2’(11.40)(11.40)

= ^

= ^

l*W2’

l*W2’

(11.40)

(11.40)

где

^(ж) = У^ а^хк ап = 1, Н(х) = ^ ^к^к т < п — 1, к=0k=Q

причем корни многочленов F(x) и Н(х) лежат в левой полуплоскости.

Замечание. При выполнении указанных выше предположений функция /ДА) интегрируема на R1, т. е.

Ц=ПЦ(#)}= J /e(A)dA<oo.

Далее всюду предполагаем, что {Д^), ^бЕ1} — вещественный стационарный центрированный гауссовский случайный процесс с дробно-рациональной спектральной плотностью /ДА) вида (11.40) и ковариационной функцией

^Й)= | е^ЧЦА^А.(11.41)

Рассмотрим систему из п линейных стохастических дифференциальных уравнений для процесса цД) = {щ Д), ..., Цп^У^ такого, что Лт^ = Д^)- Структура этой системы описана в следующей теореме.

Теорема 11.8. Пусть T](t) удовлетворяет системе из п линейных стохастических дифференциальных уравнений

drj(t) = AyQt) dt + В dw(ty ц(0) = v.(11.42)

Здесь w(t) — скалярный стандартный винеровский процесс^

010...0001...0А= ООО...1^0^1^2• • •^п —1 -010...0001...0А= ООО...1^0^1^2• • •^п —1 -- 00Цп — тQn —т+1- Qn- 00Цп — тQn —т+1- Qn

010...0

001...0

А=

ООО...1

^0^1^2• • •^п —1 -

010...0

001...0

А=

ООО...1

^0^1^2• • •^п —1 -

- 0

0

Цп — т

Qn —т+1

- Qn

- 0

0

Цп — т

Qn —т+1

- Qn

{do, ... , ^п-1} — коэффициенты многочлена F(x\ а параметры {qn_m, ..., qn^ определяются по рекуррентным формулам:

k-i

Qn—m — bm, q^ — bn_^ ^ ^ ап_^-^-г q^ к — п т Т 1, ..., п,i=n — m

{60, ..., 6m} — коэффициенты многочлена Н(х).

Если случайный вектор v не зависит от {w(£), t ^ 0} и имеет распределение JV^R^ где ковариационная матрица Rv удовлетворяет системе алгебраических уравнений

ARV + RVA* + ВВ* = 0, (11.43)

то компонента rji(t) вектора у^ является стационарным гауссовским центрированным случайным процессом со спектральной плотностью

2тг ‘ |Р(гА)|2'

Замечания. 1) Так как спектральная плотность гауссовского центрированного процесса однозначно определяет его конечномерные распределения, процессы T]i(t) и ДД стохастически эквивалентны в широком смысле (см. п. 1.1).

Обычно многочлен Е(х^ все корни которого лежат в левой полуплоскости, называют устойчивым многочленом. Можно показать, что из устойчивости Е(х) следует асимптотическая устойчивость системы (11.42), поэтому 0(Д —> 0 при t —> сю, где 0(Д — матричная функция Коши, удовлетворяющая уравнению 0(f) = A0(f), 0(0) = I, следующему из (11.27).

Решение системы уравнений (11.43) — процесс трудоемкий, но не имеющий большого практического значения. Действительно, пусть rj(t) удовлетворяет системе уравнений

drj(t) = Arj(t) dt + В dw^t), ДО) = 0. (11.44)

Тогда из результатов примера 11.9 следует, что

T](t) — rj(t) = 0(f)?/ П'Н" > 0 при t —> сю

в силу предыдущего замечания. Это означает, что по истечении некоторого времени процессы 77(f) и rj(t) практически не различаются, причем различие тем меньше, чем больше времени прошло с начала решения уравнения (11.42).

Определение 11.10. Система стохастических дифференциальных уравнений (11.42) (а также (11.44)) называется формирующим фильтром для процесса £(f) с дробно-рациональной спектральной плотностью /ДА) вида (11.40) или ковариационной функцией R^t^ вида (11.41).

Рассмотрим использование описанных результатов на конкретных примерах.

Пример 11.14. Построить формирующий фильтр для процесса £(f), имеющего ковариационную функцию R^t^ = De-a\T\ где D > 0, а > 0.

Решение.

МЛ) = ^ 7 e"iXTR^dT =МЛ) = ^ 7 e"iXTR^dT =D [ р-(«к|+гАт) 7 _ Da 2тг Jтг(а2 + А2) ’D [ р-(«к|+гАт) 7 _ Da 2тг Jтг(а2 + А2) ’

МЛ) = ^ 7 e"iXTR^dT =

МЛ) = ^ 7 e"iXTR^dT =

D [ р-(«к|+гАт) 7 _ Da 2тг Jтг(а2 + А2) ’

D [ р-(«к|+гАт) 7 _ Da 2тг Jтг(а2 + А2) ’

Найденную спектральную плотность можно представить в виде

У2Ра • У2Ра _ 1 \ЩгХУ^(о + гА)(а — гА) 2тг |F(zA)|2’

где Нф) = У2Ра^ F^ = а + х. Тогда Ьо = У2Ра^ ао = a, сд = 1. Заметим, что многочлен F(x) устойчив в силу а > 0. Теперь, используя утверждение теоремы 11.8, находим уравнение фильтра:

^(^) = —а№^ dt + У2Da dwy\ДО) = и.

Дисперсия Rv начального условия определяется из (11.43):

—2aRv + <vV2Daf = 0,

откуда Rv = D > 0. ■

Пример 11.15. Поперечная компонента Д^) скорости ветра в турбулентной атмосфере является стационарным процессом со спектральной плотностью

/ a A (JwLvМх> = "ЧГ/ a A (JwLvМх> = "ЧГV2 + 3L2A2(и2 + L2A2)2’V2 + 3L2A2(и2 + L2A2)2’(11.45)(11.45)

/ a A (JwLv

Мх> = "ЧГ

/ a A (JwLv

Мх> = "ЧГ

V2 + 3L2A2(и2 + L2A2)2’

V2 + 3L2A2(и2 + L2A2)2’

(11.45)

(11.45)

где сф — дисперсия скорости ветра, L > 0 — масштаб турбулентности, х — модуль скорости движения летательного аппарата. Построить формирующий фильтр для процесса ДД

Решение. Преобразуем (11.45) к виду, пригодному для проведения декомпозиции /ДА), т. е. определения вида многочленов Н(х) и F(x\

Обозначим /3 = v/L, тогда (11.45) можно записать как

2тг ' (/З2 + А2)22тг ' (/З2 + А2)21 VtwVP Ф + ySiXyWcTwVP ф - Уз г А)] 2тг '(^ + iA)2(^-iA)2

2тг ' (/З2 + А2)2

2тг ' (/З2 + А2)2

С учетом требования устойчивости многочленов Н(х^ F(x) получаем

Н(х) = 6о + bix^Н(х) = 6о + bix^где b0 = (TW3V3. bi = (TWV^P;

Н(х) = 6о + bix^

Н(х) = 6о + bix^

F(x) = tz0 + aix + x2, где а^ = /32, ai = 2/3.

Теперь по формулам теоремы 11.8 находим qi и q^:

91 = г>1 = <7wV^q2=b0- 2рьг = <7w0VP (1 - 2V3).

Таким образом, мы получаем для ц(£) = {?7i(t), ^(t)}*, где Ц1(£) = ^(t), систему уравнений

^1 (t) = r^^dt-V- crw VW dw (£) ,

^2^) = [-2/37/2^) - /32щ(^)] dt + cr^VM1 - 2V3) dw(tY

где w^ — стандартный винеровский процесс. ■

В завершение пункта обсудим численный метод интегрирования системы линейных стохастических уравнений, в котором используется точная дискретизация по времени.

Пусть дана система линейных стохастических уравнений с постоянными коэффициентами (например, система уравнений формирующего фильтра):

d^V) = ^№ dt + В dw(t\

И пусть 0 = to < ti < t-2 <.. . — точки, в которых нужно вычислить значения процесса ^(t). Положим VtV = V*, & tn — tn-± = h = const. Тогда случайная последовательность {£п} удовлетворяет следующему разностному стохастическому уравнению:

^ = Ф^п-1+^п.(11.46)

Здесь Ф = 0(/i), a 0(f) — решение уравнения

0(f) = AO(tY 0(0) = I,(11.47)

матрица Ф такова, что ФФ* = G(hY где G(t) — решение уравнения метода моментов:

G^ = AG^ + G^W + ВВ\ G^ = 0,(11.48)

{^n} — дискретный гауссовский стандартный белый шум.

Формулы (11.46)-(11.48) непосредственно следуют из (11.26), (11.27), (11.29).

Заметим также, что матрицы Ф и Ф не зависят от времени, поэтому расчеты по формулам (11.47) и (11.48) проводятся только один раз.

Замечание. Если шаг дискретизации h = t^i — tn,n = 0Vi • • •, мал, то для приближенного интегрирования уравнений формирующего фильтра можно использовать метод Эйлера (см. п. 11.2 и задачу 9).

Пример 11.16. Провести дискретизацию уравнения

dVt) = — 2 Vt) dt + Vs dw(t), ^(0) = ^

с шагом по времени h = 0,1.

Решение. В данном случае 0(£) = е ^^ поэтому Ф = 0(/г) = = е-0,2 to 0,819. Из формулы (11.48) находим, что

G^ = -4G^ + (Va)2,G(0) = 0.

Отсюда G(t) = |(1 — e-4t) и G(h) = |(1 — e-0,4) to 0,247. Так как G(h) — скалярная величина, то Ф = G(h) to 0,497.

Итак, разностный вариант стохастического уравнения имеет вид

^п = 0,819^-1 + 0,497 гп, £о = ^,

где гп ~ Л/"(0; 1) и не зависит от гт при и ^ т. ■

Замечание. Метод формирующих фильтров вместе с рассмотренным методом численного решения линейных дифференциальных уравнений дают нам практический способ численного моделирования стационарных случайных функций с дробно-рациональной спектральной плотностью.

Если мы хотим дискретизировать линейное уравнение с переменными коэффициентами, то следует соответственно обобщить формулы (11.46)-(11.48). Пусть

d£(t) = a^^t) dt + b(t) dw^t), £(0) = v^

тогда

€n = Фп^п —1 4" 4^nOn.

Здесь Фп = 0(<n)0-1(tn_i), 0(f) = a(t)0(t), 0(0) = I;

ФпФ: = G(tn),

где

G^^a^G^ + G^K^ + KtXW, t^tn_t, G^-^O,а процесс {rn} остается по-прежнему стандартным белым шумом.

В заключение заметим, что нахождение Фп по G(tn) есть стандартная задача линейной алгебры, для решения которой имеются многочисленные эффективные численные методы.

Стохастические дифференциальные уравнения и диффузионные процессы. В п. 2.5 было дано определение однородного диффузионного процесса с вектором сноса а^ и матрицей диффузии Е(т). Оказывается, между решениями стохастических дифференциальных уравнений и диффузионными процессами имеется теснейшая связь, что объясняется следующим утверждением.

Теорема 11.9. Пусть ^(^) — решение стохастического дифференциального уравнения (11.8) с начальными условиями (11.9), где /(£, ж) = /(ж) и а^х) = сг^х^ т. е. уравнение однородно по времени. Если условия теоремы 11.4 выполнены^ то ^(^) является однородным диффузионным процессом с вектором сноса а(х) = /(ж) и матрицей диффузии ^(х) = сг(х)сг*(х).

Сформулируем условия, при которых переходная плотность р^(х, t. у) и одномерная плотность р^гц t) удовлетворяют уравнениям Колмогорова-Фоккера-Планка.

Пусть /(у) = {/i(y), ...,/п(у)}*, Е(у) = {ЦЦу)Ю=1,...,п, где ^у (у) = У^ сгц^у^ак^у). Введем следующий дифференциальный оператор: k 1

ПоI Л п

- Е т^ШуМу)) + | ЕЕ ^(М^)),(11.49)

где q(y) — достаточно гладкая скалярная функция.

Теорема 11.10. Пусть выполнены условия теоремы 11.4 п, кроме того, функции Vi^A непрерывно дифференцируемы, а функции {сц^у)} дважды непрерывно дифференцируемы. Если переходная плотность p^x,t,y) дважды непрерывно дифференцируема по у и один раз непрерывно дифференцируема по t Е (0,Т] при всех х Е Rn, то она удовлетворяет прямому уравнению Колмогорова*.

= Ь[ре(ж,^,у)],р5(ж,0,у) = 5(у - ж).(11.50)

При этом одномерная плотность распределения р^у, t) удовлетворяет уравнению

ЭР^ ^ = Ер^У <)], Р^У 0) = р0(у),(11.51)

где р0(у) — плотность распределения £(0).

Уравнения (11.50), (11.51) дают принципиальную возможность вычислить конечномерные законы распределения процесса £(£), удовлетворяющего стохастическому дифференциальному уравнению с коэффициентами, не зависящими от времени. Наиболее сложной проблемой является отыскание условий, при которых плотности р^х^ t, у) и р^у, t) существуют. Рассмотрим эту проблему на примере линейного уравнения.

Пример 11.17. Скалярная случайная функция ^(^) удовлетворяет линейному стохастическому дифференциальному уравнению

(/£(£) = а№^ dt + bdcu(ty £(0) = v,

где v ~ Af(mv-,^vY Найти р^(ж,#,у) и/Ду; t).

Решение. Предположим, что р^х^у) существует и является достаточно гладкой, тогда из (11.50) следует (с учетом /(ж) = ах и сг(х) = 6):

Эр а (х, t.yA э //Ъ2 д2р Дх^.уАх х

Рассмотрим функцию

у2тг7ир) (z7J

где тж(£), 7°(^) являются решениями уравнения метода моментов:

f mx(tA = amxU,Y тх№А = х^

<(И-54)

[ 7°(^) = 2tZ7°(^) + 62, 7°(0) = 0.

Если 7°(^) > 0, то р^я,^, ?/) определена при всех t > 0. Непосредственной подстановкой выражения (11.53) в (11.52) с учетом (11.54) можно показать, что р^х^у) удовлетворяет уравнению (11.52) и, кроме того, р^(хД^у) —> 5(х — у) при t —> 0 (так как 7°(t) —> 0 при t —> 0). Таким образом, вопрос о существовании p^x,t,y) упирается в условие 7°(^) > 0. Очевидно, что условие будет выполнено, если b / 0, т. е. коэффициент диффузии Е = 62 > 0.

Пусть теперь р^у, t) при всех ^ ^ 0 имеет вид

<1L55)

где m^t\ ^(t) опять определяются из уравнений метода моментов:

{

m4t) = am4t),

(11.56) 7(f) = 2«7€(f) + 62, 7€(0) = 7^.

Если 7^(^) > 0 при всех t ^ 0, то нетрудно проверить, что

9р^у; <)8 ,, хх 62 Э^р^у t)

= -а-^р^у- t)) + - ■ g2y ,0) = рЛу\

где pv(y) — гауссовская плотность начального вектора v. Из (11.56) следует, что если b ^ 0, то 7^(^) > 0 выполнено при всех t > 0 для любого 7^ ^ 0. ■

Замечание. Условие b ф 0 вполне закономерно. Действительно, пусть ДД € Rn и

= А^ dt + B dw(t), ДО) = v.(11.57)

Тогда 7ДД = ссгДДД, ДД} удовлетворяет уравнению

7£(t) = A7^(t) + 7ДД* + ВВ*, 7е(0) = 7^

Можно показать, что 7ДД > 0 при любом 7^ ^ 0 тогда и только тогда, когда

rank{B, АВ, ..., А^В^ = п.(11.58)

Условие (11.58) хорошо известно в теории управления и называется условием полной управляемости системы (11.57). В случае п = 1 (11.58) означает В ф 0.

Фильтр Калмана—Бьюси. В п. 6.4 приведено решение задачи с.к.-оптимального оценивания случайных последовательностей, описываемых линейными разностными стохастическими уравнениями. В гауссовском случае эта задача имеет явное решение в форме дискретного фильтра Калмана. Оказывается, что этот результат можно распространить и на случайные функции, описываемые линейными стохастическими дифференциальными уравнениями.

Задача фильтрации. Рассмотрим пару случайных процессов {х(Д G Rn, y(t) Е Rm, t Е [0,Т]}, описываемых системой линейных стохастических дифференциальных уравнений

dx(t) = A(t) x(t) dt + В(Д dw1^),

dy(t) = a(t) x(t) dt + b(t) dw2(t),

с начальными условиями x(0) E Rn, y(0) = 0. В уравнениях (11.59) w1^), гс2(Д — стандартные винеровские процессы размерности Ад, к-2 соответственно, х(0) — гауссовский случайный вектор с параметрами

М{т(0)} = m0, cov{x(0), х(0)} = 7о-

Случайные процессы w1^), гс2(Д и случайный вектор х(0) независимы. В задаче фильтрации (оценивания) предполагается, что процесс х^ не наблюдаем, а наблюдать можно лишь процесс у^, который несет неполную информацию о процессе х^. Задача фильтрации состоит в определении с.к.-оптимальной оценки процесса х(Д по наблюдениям процесса ^y(s): 0 ^ s ^ Д. Так же как и в случае модели

с дискретным временем (п.6.4), с.к.-оптимальной оценкой является условное математическое ожидание, а именно:

где

Л =: 0 < з < Ц

есть сг-алгебра, порожденная значениями процесса t/(s) до текущего момента времени t (см. п. 11.1). Замечательный результат Калмана и Бьюси состоит в выводе уравнений, описывающих эволюцию условного математического ожидания m(t\

Теорема 11.11 (Калман, Бьюси). Пусть в уравнениях (11.59) матричные функции А(Х В(Х a(X b(t) имеют кусочно непрерывные компоненты^ матричная функция b(t) b*(t) — равномерно невырожденная^ т. е. найдется константа с > 0, такая^ что для любых t Е [0,Т] и А Е Rm имеет место неравенство

X*b(tX(t)X > с|А|2.(11.60)

Тогда условное математическое ожидание т(Д) = М{х(£) | Т^ есть единственное решение системы стохастических дифференциальных уравнений

dm(t) = A(t) m(t) dt + ДТ)а*(Д)(5(^)6*(ф))-1^у(ф) — a(t) m(t) dt],

(11.61)

Д<) = A(th(b + Wt) + В(Ж№ -

(11.62) с начальными условиями

m(O) = mo, у(О) =7о.(11.63)

Оценка m(t) — несмещенная, т. е. М{х(£) — т(Х = 0. Детерминированная матричная функция Дб) в уравнениях (11.61) и (11.62) равна ковариации ошибки оценки m(t):

ДО) = cov{x(£) — m^t\xX) — т(фД = М{(х(^) — т(ф))(х(ф) — т(^))*} , а процесс

t

Ш^Хь^8)ЩЩуЬ)-а^тХ ds^ t Е [0, Т], о

является стандартным винеровским.

Уравнения (11.61)—(11.63) описывают рекуррентный алгоритм с.к.-оптимальной фильтрации гауссовского процесса x(t\ называемый фильтром Калма/на-Бъюси.

Замечания. 1) Процесс ^(t) называется обновляющим для процесса наблюдений y(t\ Его важность определяется тем, что он, являясь стандартным винеровским процессом, порождает ту же самую <7-алгебру событий, что и процесс наблюдений ?/(t), т. е. ^ = Т7^.

Поскольку m(t) — несмещенная оценка для x(t) по наблюдениям ^(s)^ s ^ t^ то ковариационная матрица ^(t) ее ошибки Ax(t) = x(t) — m(t) характеризует точность оценки m(t\ Поэтому М{|Дт(^)|2} = tr[y(t)] в силу того, что M{Ax(t)} = 0.

Так как {x(t), т(ОД — гауссовский процесс, /\x(t) ~ jV(O^(t)). В частности, р||А*Дж(^)|3^/А*т(7)а| £3 0,997 для любого вектора

А ^ 0. Заметим, что из (11.62) следует, что ^(t) — неслучайная функция времени, поэтому точность процедуры фильтрации может быть рассчитана заранее, т. е. до начала процедуры обработки наблюдений.

В силу линейности уравнений фильтрации (11.61), (11.62) для практической реализации фильтра Калмана-Бьюси можно использовать процедуру дискретизации по времени из п. 11.4.

Рассмотрим некоторые примеры использования полученного результата.

Пример 11.18 (задача оценивания параметра). Найти с.к.-оптимальную оценку гауссовской случайной величины 9 jV(mo; о-^) по наблюдениям случайного процесса ?/(t), удовлетворяющего стохастическому дифференциальному уравнению

dy(t) = 9 dt + <Ti dw(t), 1/(0) = 0, где <7i0.

Решение. Если ввести функцию x(t) = 9^ то пара функций {^(t), y(t)^ удовлетворяет системе линейных стохастических дифференциальных уравнений

(11.64)(11.64)Г dx^ = 0,

(11.64)

(11.64)

I dy^ = х(t) dt + <7i dw(t).

Тогда с.к.-оптимальная оценка для 9 есть

с парамет-что mUA ис парамет-что mUA иПрименяя теорему 11.11 и формулы (11.61), (11.62) рами A(t) = 0, B(t) = 0, a(t) = 1, b(t) = <7i, получаем,

с парамет-что mUA и

с парамет-что mUA и

^(t) = М{(0 — m(t))2} удовлетворяют системе стохастических урав-

16 Б.М. Миллер и А.Р. Панков

ненийненийdm(t) = ^Й- [dy(t) — m(t) dt], m(0) = m0,dm(t) = ^Й- [dy(t) — m(t) dt], m(0) = m0,wi = -^wi = -^7(0) = erg.7(0) = erg.Уравнение для ^(t) имеет явное решениеУравнение для ^(t) имеет явное решениеТогда m(t) удовлетворяет линейному стохастическому уравнению2dm№ = ^2. ? _2 VW) - mX) dtVТогда m(t) удовлетворяет линейному стохастическому уравнению2dm№ = ^2. ? _2 VW) - mX) dtVрешение которого имеет видрешение которого имеет видm(t) = Ф(£, O)mo + j Ф(£, s)оm(t) = Ф(£, O)mo + j Ф(£, s)о2Л^2 MsY2Л^2 MsYОоОо.2.2— решение уравнения— решение уравнения■^Ф(М) = - dt v ’

нений

нений

dm(t) = ^Й- [dy(t) — m(t) dt], m(0) = m0,

dm(t) = ^Й- [dy(t) — m(t) dt], m(0) = m0,

wi = -^

wi = -^

7(0) = erg.

7(0) = erg.

Уравнение для ^(t) имеет явное решение

Уравнение для ^(t) имеет явное решение

Тогда m(t) удовлетворяет линейному стохастическому уравнению

2

dm№ = ^2. ? _2 VW) - mX) dtV

Тогда m(t) удовлетворяет линейному стохастическому уравнению

2

dm№ = ^2. ? _2 VW) - mX) dtV

решение которого имеет вид

решение которого имеет вид

m(t) = Ф(£, O)mo + j Ф(£, s)

о

m(t) = Ф(£, O)mo + j Ф(£, s)

о

2

Л^2 MsY

2

Л^2 MsY

Оо

Оо

.2

.2

— решение уравнения

— решение уравнения

< Ф($, s) = 1.

2—2 Ф(£, s), t 8,2—2 Ф(£, s), t 8,Нетрудно видеть, чтоПодставляя это соот-

2

—2 Ф(£, s), t 8,

2

—2 Ф(£, s), t 8,

^о^ + ^17(s)

ношение в выражение для m(t), получаем

ttОоОооИтак,оИтак,dy(s) = [ Ф(<, S)^ dy(s) = [ dy(s) =y(t).JO"iJ <T-iСЦdy(s) = [ Ф(<, S)^ dy(s) = [ dy(s) =y(t).JO"iJ <T-iСЦООооооФ(<,О)то = "т^то =7(0)erg

t

t

Оо

Оо

о

Итак,

о

Итак,

dy(s) = [ Ф(<, S)^ dy(s) = [ dy(s) =y(t).

JO"iJ <T-iСЦ

dy(s) = [ Ф(<, S)^ dy(s) = [ dy(s) =y(t).

JO"iJ <T-iСЦ

О

О

о

о

о

о

удовлетворяют системе урав-удовлетворяют системе урав-ж(0) ~ Л/"(то;7о), у(0) = О,ж(0) ~ Л/"(то;7о), у(0) = О,

удовлетворяют системе урав-

удовлетворяют системе урав-

ж(0) ~ Л/"(то;7о), у(0) = О,

ж(0) ~ Л/"(то;7о), у(0) = О,

Пример 11.19 (наблюдение процесса Орнштейна-Уленбека).

Пусть скалярные процессы W), у№> нений

( dx(t) =—a x(t) dt dud (t),

1 dy(t) = x(t) dt + cr dw2(t),

где а > 0, сг^О. Исследовать поведение с.к.-оптимального фильтра при t -Д ос и построить стационарный вариант процесса фильтрации.

Решение. Уравнение (11.61) фильтра Калмана-Бьюси для процесса = М{ж(^)|^} имеет вид

dm(t) = —a m(t) dt + ^^- [^(^) — m(t) dt], m(0) = mg,

а уравнение (11.62) для дисперсии ^(t) = M{(x(t) — m(t))2} ошибки фильтрации есть скалярное уравнение Риккати

7(t) = -2отД) + 1 -7(0) =7о-

Это уравнение имеет явное решение

ЧП = Ч +^ - 72)(70 - 71)

71(70-72^-(70-71)’

где /3 = х/^-Д-ч, 71 = оЦр — а), у2 = — о"2(/3 + а).

С учетом условий примера заключаем, что Р > 0, 71 > 0 и 7о — 72 > 0. Тогда из полученного выражения для 7(f) при условии 7о + 71 следует, что 7(f) -Д 71 ПРИ ^ ^ ос. Если же 70 =71? то 7 И = 0 и 7(f) =71.~

Таким образом, при t ^ 1 можно считать, что 7(f) =71, а уравнение фильтрации становится стационарным, т. е.

dm(t) = —a m(t) dt + ^| \dy(t) — m(t) dt].

Последнее означает, что в данной задаче существует стационарный вариант фильтра Калмана-Бьюси. С учетом полученного выражения для 71 он принимает вид

dm(t) = — Р m(t) dt + (Р — a) dy(t). ■

Замечание. Оказывается, что если в уравнениях (11.59), описывающих систему наблюдения, параметры А, В, а и b не зависят от времени, а матрица А устойчива, то результат, обнаруженный в примере 11.19, является закономерным: при любом начальном условии 7о 0 существует 7 = lim 7(f), причем 7 не зависит от 70 и 70.

При этом уравнение фильтрации (11.61) принимает стационарный (предельный) вид

dm(t) = Am(t) dt + К \dy(t) — am(t) dt],

где К = ^ya*(bb*)-1 — постоянный матричный коэффициент.

Задача экстраполяции. Одной из практически важных задач является задача прогнозирования или экстраполяции. Пусть процессы {x(t), Ц^)^ описываются линейной системой стохастических уравнений (11.59). Предположим, что наблюдению доступны значения процесса y^t) лишь до некоторого момента времени s < С и требуется с.к.-оптимально оценить x^ty

Тогда ms(t) = M{x(t) | Т7/} представляет собой искомую оценку, которая называется с. к.-оптимальной оценкой прогноза или экстраполяции. Покажем, как оценка прогноза выражается через оценку ^m^ty^t)^ фильтра Калмана-Бьюси.

В силу уравнения (11.59) процесс x(t) допускает представление (см. п. 11.3)

t

x(t) = Ф(£, s)x(s) + | Ф(£, и)В(и) dw^uy(11.65)

где Ф(£,з) = 0(t)0-1(s), a 0(f) — матрица Коши фундаментальных решений. Поскольку процессы w1, w2 независимы, значения приращений винеровского процесса w1^) при и ^ з не зависят от значений процесса у (и) при и < з. Поэтому

t

мЦфИВ^Д-иДи) |^/}=0

и, следовательно,

ms(t) = М{Ф(£, s)a?(s) | T-J} = Ф(£, s)M{a?(s) | ^F^ = Ф(1^ s)m(s\

(11.66)

Использование представления (11.65) позволяет получить выражение и для ковариации ошибки оценки прогноза:

7Д) = M{(ir(t) - ms(t)))(:r(t) - ms(t))*} =

t

= Ф(Ц)Д)ФДД[ф(Ц)В(и)В*^(11.67)

Соотношения (11.66), (11.67) можно представить в дифференциальной форме:

f

ms(t) = A(t)ms(ty ms(s) = m(s),

(11.68)

7Д) = A^sX) + lsXA*X + B^B*^, 7s(s) = 7(s),

где m(s) — с.к.-оптимальная оценка для ж(б), а 7(5) — ковариационная матрица ее ошибки.

Задачи для самостоятельного решения.

Пусть {/(т), т ^ 0} — с.к.-непрерывная неупреждающая случайная функция. Доказать, что

t

Д1) = JV(t)cMt), t>0,

О

является процессом с ортогональными приращениями, и найти его ковариационную функцию.

min(i ,з)

Ответ. ^(i,s) = | М{|/(т)|2} dr.

о

Доказать, что нелинейное стохастическое дифференциальное уравнение

^(1) = - arctg ^t)dt + ДД,€(0) = 0

имеет единственное решение.

Решить стохастическое дифференциальное уравнение

d£(t) = а Д^) dt + b£(t) dw(tY

Ответ. Д^) = ДО) ехр{(а — Ь2/2) t + b w(£)}.

Пусть случайный процесс {Д^), t ^ 0} удовлетворяет стохастическому уравнению

с/Д^) = а^ Д^) dt + cr(t) Д^) dw(tY Р{Д0) > 0} = 1

с кусочно непрерывными детерминированными функциями a^t) и сг^\ Доказать, что

tt

£(1) = 6°) exp|J[a(s) - Д (s)] ds + jcr(s) dw(s)}.

00

Указание. Вычислить d^t) по правилу дифференцирования Ито.

Доказать, что система двух стохастических дифференциальных уравнений

^6(1) = -Y1^^ + 6(<)<Щ1),6(0) = 0,

d^^t) = --6(0 dt - 6(0 dw(0,6(0) = 1

имеет решение Д(Д = sinw(^), ^(t) = cosw(^).

Построить формирующий фильтр для центрированного гауссовского стационарного процесса Д^), имеющего спектральную плотность

р / х _ D (а + 7Сс10)Ь2 + (а ~ 7^о)сД

тг Ь4 + 2(а2 — <Дд)(Д2 + (Д4’

где сдо = Ь2 — а2, а > 7Д0, D > 0.

Ответ.

Г dyi(t) = 772(t) dt + qi dw(t),

[ dr^Qt) = —b2 771Д) dt — 2arj2^t) dt + qi(b — 2a) dw^t^

где 771 (t) = $(t), 9i = ДР^ТЙ)).

Пусть требуется оценить n-мерный гауссовский случайный вектор 9 ~ АДщуо) по наблюдениям случайного процесса y(t) Е Rm, удовлетворяющего стохастическому уравнению

dy(t) = a(t) 0 dt + b(t) dw(t), т/(0) = О,

где а(Д, b(t) — неслучайные матричные функции, причем b(t)b*(t) — равномерно невырожденная. Вывести уравнения для с.к.-оптимальной оценки m(t) = М{0 | Tt^ и матрицы у(Д = M{(# — m(t))(9 — m(t))*^ ковариации ее ошибки.

Ответ.

( dm(t) = y(t)a* (t)(b(t)b* (t))~1[dy(t) — a(t) m(t) dt]^ ттг(О) = щ

l ДО =7(0) = 70

(Продолжение задачи 7.) Доказать, что в условиях предыдущей задачи при положительно определенной матрице 70 > 0

7(0 = Д1 + j a*(s)(b(s)b*(s))-1a(s) ds) •

О

Указание. Рассмотреть функцию G(t) = 7-1(£) и убедиться, что

G(t) = a* (t)(b(t)b* (t))-1a(t).

Пусть ^(t) удовлетворяет уравнению

d^(t) = а^ ДД dt + b(t) dw^t^ ДО) = za

Обосновать приближенный метод дискретизации этого уравнения для малого шага дискретизации h (метод Эйлера):

Д^+1) = (1 + a(tn)h) ^(tn) + Vhb^t^ ип, n = 0,1, 2, ..., ДО) = ц,

где tn = nh^ a {rn} — стандартный гауссовский дискретный белый шум. Указание. Заменить в исходном уравнении дифференциалы конечными разностями.

Пусть ^y^t\ t ^ 0} — наблюдаемый процесс, удовлетворяющий уравнению

dy(t) = e-t^9 dt + dw^t), т/(0) = 0,

где (3 > 0, 9 АДО; 1). Пусть 9t — с.к.-оптимальная оценка 9 по наблюдениям {t/(s), s Д. Доказать, что ^(t) = М{(0 — 9t)2j-1/(1 + /3) при t сю.

Указание. Воспользоваться алгоритмом Калмана-Бьюси.

§12. Марковские случайные функциис дискретным множеством состояний

Потоки событий. Понятие потока событий имеет ключевое значение для построения математических моделей марковских случайных функций с дискретным множеством состояний.

Определение 12.1. Потоком событий называется последовательность одинаковых событий, происходящих одно за другим через промежутки времени случайной длины.

Пусть здесь и далее t ^ 0, h > 0. Обозначим через P(t, t + h) вероятность появления хотя бы одного события на промежутке времени \t,t + hY Предположим, что при каждом t существует

A(t) = lim ЕМ±Д

Определение 12.2. Функция A(t) называется интенсивностъю потока событий (в точке t\

Рассмотрим некоторые предположения о потоке событий, позволяющие построить его содержательную математическую модель.

Определение 12.3. Пусть п(й,й) — случайное число событий из потока, происходящих на промежутке [й,^]- Поток называется однородным или стационарным, если законы распределения случайных величин п(й,й) и п(й + 5,й + s) совпадают при всех s ^ 0.

Замечания. 1) Очевидно, что однородность потока означает

P{n(s, s + t) = ш} = P{n(0, t) = m} Vs, t>0, m = 0,1,2,...

Поэтому поведение однородного потока можно изучать лишь на промежутке [ОД]. Далее мы будем обозначать

ц^)=п(0Д), t>0.(12.1)

Интенсивность однородного потока постоянна, т. е. A(t) = А:

r P(V^ + ^) г Р(0Д)х

A(t) = hm —, = hm \ 7 = A(0) = A

h h^O h v 7

для всякого t ^ 0.

Определение 12.4. Поток событий называется ординарным, если для всех t ^ 0, h > 0 справедливы соотношения

P{n(t, t + h) = 1} = X(t)h + o(h),

P{n(t,t + Л) > 1} = o(h),

где A(t) — ограниченная функция, ^^0 при h -^ 0.

Замечания. 1) Требование ординарности означает, что события в потоке следуют строго одно за другим и не происходят вместе:

lim РИМ+ />)>!} = Иш ИО = 0 ^oP{n(t,t+fc) = l} h^o X(t)h + o(h)

Последнее означает, что вероятность появления на интервале длины h двух и более событий при малых h пренебрежимо мала по сравнению с вероятностью появления одного события.

Если поток является однородным, то

P{n(t, t + h) = 1} = Xh + oQi\

Пусть выбраны произвольные ТОЧКИ 0 = tg С П С • • • С ^т+1- Рассмотрим совокупность случайных величин

^к = n(tk,tk+i), к = 0,1, ... ,т.

Определение 12.5. Поток событий называется потоком без последействия^ если случайные величины {£g,£i, ---^т} независимы в совокупности.

Определение 12.6. Ординарный поток без последействия называется пуассоновским потоком событий. Если пуассоновский поток является также и однородным, то он называется простейшим потоком событий.

Смысл термина «пуассоновский поток» проясняет следующее утверждение.

Теорема 12.1. Пусти y(t) — число событий в простейшем потоке интенсивности X на промежутке [ОД]. Тогда

P{?7(t) = т^ = ехр{—At} (^ , т = 0,1, 2, ...(12.2)

Таким образом, при любых t Д О случайная величина у(t) имеет распределение Пуассона с параметром Xt. Отсюда, в частности, следует, что 77(1) распределена по Пуассону с параметром А.

Другие свойства пуассоновского потока рассмотрим на примерах.

Пример 12.1. Показать, что интенсивность простейшего потока равна среднему числу событий, происходящих на интервале времени единичной длины.

Решение. Пусть n^t + 1) — число событий на интервале единичной длины. В силу однородности с учетом (12.1) имеем

n(t, t + 1) = n(0,1) = 77(1).

Из теоремы 12.1 следует Р{т7(1) = т^ = ^-у е-Л, поэтому

00\ т00 \т

М{пЧ t + 1)} = МД(1)} = £= А £ е~А = А.

m=0т=0

Итак, M{n(t, t + 1)} = А что и требовалось доказать. ■

Пример 12.2. Пусть т — случайная длина интервала времени между двумя последовательными событиями в простейшем потоке. Доказать, что т имеет экспоненциальное распределение Е^ с параметром А:

Р{т t} = 1 - e-Ai, t^O.(12.3)

Решение. Пусть ц(£) определено в (12.1). Тогда в силу (12.2)

Р{т > t} = Р{Д) = 0} = e"At, t ^ 0.

Следовательно, функция распределения FT(t) случайной величины т имеет вид

ET(t) = Р{т ^ f} = 1 - Р{т > t} = 1 - e"Ai, t ^ 0.

При этом fT(t) = ^^^ ~ Ае-А*, t 0, — плотность распределения т. Итак, т ~ Е^Х^ что и требовалось доказать. ■

Следующий пример показывает, что распределение ^(А) обладает интересным свойством, тесно связанным с понятием отсутствия последействия.

Пример 12.3. Показать, что в простейшем потоке распределение времени от текущего момента до момента появления очередного события не зависит от того, сколько прошло времени от момента появления последнего события до текущего момента.

Решение. Пусть s — текущий момент времени, т — время, отсчитываемое с момента появления последнего события, a тд = т — s — время ожидания очередного события. Тогда для каждого t ^ 0

РД > t I Т ^ в} = Дд= ^Д21 = e-Xs = р{т > s}

Таким образом,

Р{п < t | т ^ s} = Р{т < t} = FT(t) = 1 - сГм.

Итак, условное распределение СВ ту не зависит от s и совпадает с распределением СВ т. ■

Суммируя все свойства процесса т]^1\ рассмотренные выше, мы видим, что T)((t^ — пуассоновский процесс, рассмотренный в п. 10.2. Заметим, что свойство независимости приращений процесса T](t) есть просто другая формулировка условия отсутствия последействия потока. Очевидно также, что ц(£) является марковским случайным процессом (как всякий процесс с независимыми приращениями).

Пример 12.4. На телефонную станцию поступает простейший поток заявок на переговоры. В среднем в одну минуту поступают три заявки. Какова вероятность того, что в течение двух минут на станцию не поступит ни одной заявки?

Решение. Пусть 7V — случайное число заявок в одну минуту, тогда по условию А = M{7V} = 3. Если т — время ожидания очередной заявки, то искомая вероятность равна

Р{т > 2} = 1 - Р{т ^ 2} = 1 - (1 - е“2А) = е"2А = е"6 и 0,0025.

Поскольку Р{т ^ 2} £3 0,9975, то почти наверняка в течение промежутка времени длиной в две минуты поступит хотя бы одна заявка на переговоры. ■

12.2. Вероятностное описание марковских случайных функций с дискретным множеством значений. Пусть ^(t\ t ^ 0} — случайная функция, принимающая значения при каждом t из множества Е = {xq,ti, ... }. Далее без ограничения общности будем считать, что х^ = к, к = 0,1, ...

Определение 12.7. Случайная функция {Д^), t ^ 0}, принимающая значения из множества Е, называется марковским процессом с непрерывным временем и дискретным множеством значений, если для любых моментов 0 ^ Н ^ ... ^ tn-i ^ s ^ t и значений й, ..., гп-1, ^3 Е выполнено

pW) = 3 I Щ) = г,£(Ц-1) = Ц-1, • • • ,Ц#1) = и} =

= р№ = Л Щ) = 0-

Определение 12.8. Вероятностью перехода марковского процесса ^(t) называется функция

p^t) = РШЬ = 3 \ Щ) = 0,(12.4)

где цз Е Е, 0 ^ s ^ t.

Замечание. Из определения 12.8 непосредственно следуют свойства вероятности перехода:

У^ p^s^t) = 1 для всех г Е Е^ jEE

P^t^t) = 1 для всех г Е Е^

Ру(М) = 0 при i +з-

Возможные значения процесса Д^), т. е. элементы множества Е^ часто называют также состояниями процесса Д^). Поэтому р^(з, t) — вероятность перехода £ из состояния г Е Е в момент з в состояние 3 Е Е в момент t.

Определение 12.9. Вероятностью г-го состояния £(£) в момент времени t ^ 0 называется величина

^iW = PRG) = О, гбЕ.

Очевидно, что тгД) > 0 и ^ ^iW = 1- Таким образом набор iEE

{тгф£)} образует распределение вероятностей состояний марковского процесса Д^).

Между переходными вероятностями и вероятностями состояний имеется следующая связь.

Теорема 12.2. Пусть 0 < s < и < t, тогда

РцМ^ Y^Pik^^Pkj^A(12'5)

кЕЕ

^Л) = 52 ^кк^РкЛА кЕЕ^Л) = 52 ^кк^РкЛА кЕЕ(12-6)(12-6)

^Л) = 52 ^кк^РкЛА кЕЕ

^Л) = 52 ^кк^РкЛА кЕЕ

(12-6)

(12-6)

Замечание. Соотношение (12.5) называется уравнением Колмогорова-Чепмена, общий вид которого был рассмотрен в п. 2.4.

Определение 12.10. Процесс Д^) называется однородным, если р^(§, s + t) = Р^(Д t) для всех s,t > 0 и у' Е Е.

Предположим, что при каждом s ^ 0 переходная вероятность р^(з,1) дифференцируема по t при любых i,j Е Е.

Определение 12.11. Интенсивностью перехода Xij(t) > 0 из состояния г в состояние j в момент t ^ 0 называется величина

А М _ Г PijkM + h?) _ дРЛ^и)• , •/197х

М^-ь™ К - 9uи=; г*3-(12-7)

Пример 12.5. Показать, что интенсивности переходов однородного процесса не зависят от времени.

Решение. В силу однородности p^t^tE ^) = Ptj^h), поэтому

получаем X^t) = lim—- = \j(0) = const. ■

h—>0К

Далее мы будем рассматривать только однородные процессы, поэтому основные обозначения принимают следующий вид:

М.Ь = А PijE^s + t) =р41) Vs > 0.

Наибольший практический интерес при исследовании процессов описанного выше типа представляет вычисление вероятностей его состояний в любой момент t > 0, если задано начальное распределение вероятностей состояний {тго(О), тгДО), ... }. Соответствующий

алгоритм и условия его применимости для однородного процесса сформулируем в виде теоремы.

Теорема 12.3. Если для каждого гЕЕ выполнены условия:

sup Хкг < 00;

кЕЕ

2) supкЕЕ2) supкЕЕРк»hРк»hХкгХкг-Л 0 при h -^ 0,-Л 0 при h -^ 0,

2) sup

кЕЕ

2) sup

кЕЕ

Рк»h

Рк»h

Хкг

Хкг

-Л 0 при h -^ 0,

-Л 0 при h -^ 0,

то тг(£) = {тго(^), 7Г1(^), ... } является решением системы дифференциальных -уравнений Колмогорова:

' *i(t) = ^XkiTTk)t)-тт^^Х^, г^Е,

<k^Aik^Ai(12.8)

„ ТгДО) = 7Гг°,

причем с учетом условия нормировки

52 ^АЧ = 1

гЕЕ

система (12.8) имеет при каждом тг(О) = {яд,^, ... } единственное решение.

Замечание. Нетрудно видеть, что в случае конечности множества состояний Е условия теоремы 12.3 выполнены.

Пример 12.6. Вычислить вероятности состояний пуассоновского процесса, используя уравнения Колмогорова.

Решение. Напомним, что ц(£) — число событий в простейшем потоке к моменту t ^ 0, причем ц(0) = 0. Из результатов предыдущего пункта следует, что P^W = 0 при к > г, поэтому Х^ = 0. Если к = г — 1, то

Pi_! Ah) = Xh + o(h), Aj-i j = lim AlX±jAAl = д.

’h—>0A

Если же к < г — 1, то

РкАЕ = °(hA 4i = Нт ^ = 0.

IT —n

Теперь очевидно, что условия теоремы 12.3 выполнены. Отсюда

' TT0(t) = —Атго(<),7Го(О) = 1,

7Ti(t) = А-луД) — АтгД), тгАО) = 0,

<(12.9)

TT2(t) = АтгД) — A?T2(t),тг2(0) = 0,

qow = 1, ^(0) = 0, q2(0) = 0,qow = 1, ^(0) = 0, q2(0) = 0,Сделаем в (12.9) замену переменных тгД) = е xtqAiY

qow = 1, ^(0) = 0, q2(0) = 0,

qow = 1, ^(0) = 0, q2(0) = 0,

ЧХ) = MoWiq2(t) = Xq^t),

Отсюда g0(t) = 1, q^t) = At, g2(t) = ^-, ... ,q^t) = ^-, ... Следовательно, тг^(^) = exp{—A^} v .^ % = 0,1,2, ... Заметим, что полученный результат согласуется с утверждением теоремы 12.1. ■

Пример 12.7. Предположим, что поток сбоев ЭВМ является простейшим с интенсивностью А. Если ЭВМ дает сбой, то он немедленно обнаруживается и производится ремонт, который длится в течение случайного времени т с распределением Е(р,\ Вычислить вероятность того, что в момент времени t ЭВМ находится в рабочем состоянии. Рассмотреть случай t сю.

Решение. Состояние ЭВМ в момент t будем отождествлять со значением процесса ^(^) Е Е = {0,1} (£(£) = 0 означает, что ЭВМ работает). Нетрудно заключить, что в силу свойств простейшего потока и свойства распределения Е(ц) (см. пример 12.3) процесс ^(^) — марковский.

Приведем общий способ рассуждений при вычислении интенсивностей переходов на примере перехода из 0 в 1. Вероятность того, что на интервале [0, h\ будет ровно один отказ, составляет

Р у = Xh + Oy^hy

Вероятность того, что на произвольном малом интервале [t, t + А^] не будет закончен ремонт, равна

Р2(А^) = e~^At = 1 — дА^ + o2(Af) = 1 + О(А^) -д 1 при At -д 0.

Очевидно, что если At ^ /г, то Р^М^ ^ P2W = 1 + О (/г). Поэтому

Xh + Oy(h) ^ P^h) ^ (Xh + Oy(h))(l + O(h^ + o^hy

где o2(h) — вероятность всех других мыслимых переходов из 0 в 1 на [0, h\ (например, «отказ —> ремонт -Д отказ» и т. д.). Итак, из полученных неравенств следует, что

Poi(h) = Xh-V- o(hy

так как Oy(h)O(h) = o(hy Oy(h)oy(h) = o(h). Отсюда

AA0101= lim P«Mh—^-0 h= lim P«Mh—^-0 h= A.= A.

A

A

01

01

= lim P«Mh—^-0 h

= lim P«Mh—^-0 h

= A.

= A.

M°) = a, 7Ti(0) = 1 — a.M°) = a, 7Ti(0) = 1 — a.(12.10)(12.10)

M°) = a, 7Ti(0) = 1 — a.

M°) = a, 7Ti(0) = 1 — a.

(12.10)

(12.10)

Аналогичные рассуждения показывают, что А10 = ц.

Тогда система уравнений Колмогорова принимает вид

МО = мМО - МД),МО = АМО - ^7ri(t),

Подставляя tti(£) = 1 — ttq(^) в первое уравнение системы (12.10), получаем

= -(А + д)тг0(£) + кЦ 7Г0(0) = О,(12.11)

где а — вероятность того, что в момент t = 0 ЭВМ исправна. Решая уравнение (12.11), получаем искомую вероятность:

7r0(t) = ae"^x+ll')t + —^_ О _ е-(АЫ)Л ,(12.12)

А + д \/

В силу того что д + А > 0, е-^"^1 -д 0 при t -Д ос. Отсюда получаем

тг0 = Ит 7T0(t) = —Р-,t—>оод + А

причем предел не зависит от а, т. е. от начального распределения. Очевидно также, что

тгД) = (1 - а)е-^А+м^ +- е"(А+м)р тг, =°°-

7А + ^ V/А + м

Величины Ло =^— и 7Г1 = 1 — яд =— называются предель-

А + дА + д

ными вероятностями состояний процесса £(£). ■

В рассмотренном примере предельные вероятности существуют и не зависят от начального распределения вероятностей. При определенных условиях предельные вероятности существуют и для более сложных однородных процессов. Соответствующие результаты обсуждаются в следующем пункте.

Эргодические свойства однородных марковских случайных функций.

Определение 12.12. Марковский процесс {£(£), t ^ 0} называется эргодическим^ если для любого начального распределения вероятностей состояний {^(0), k Е Е} существуют предельные вероятности

(12.13)(12.13)7Г& = Jim тг& (£),к Е Е,

(12.13)

(12.13)

причем {яд,, к Е Е^ не зависят от {тг^О), к Е Е^ и удовлетворяют условиям

Ек 0,^ 7Г^ = 1.кеЕЕк 0,^ 7Г^ = 1.кеЕ(12.14)(12.14)

Ек 0,^ 7Г^ = 1.

кеЕ

Ек 0,^ 7Г^ = 1.

кеЕ

(12.14)

(12.14)

При этом набор вероятностей {яд,, к Е Е^ называется стационарным распределением процесса £(£).

Следующее утверждение содержит достаточные условия эргодичности однородного процесса £(£).

Теорема 12.4. Если существуют состояние jo Е Е и конечное время t. такие, что одновременно для всех г Е Е, г / jo выполнено условие

Рг5о№ > 5(12.15)

для некоторого 5 > 0, то процесс ^(^) — эргодический.

Замечание. Можно доказать, что в случае конечного множества состояний Е условие (12.15) будет выполнено, если состояния процесса — сообщающиеся (см. пи. 5.2, 5.3).

Теорема 12.4 не дает конструктивного способа вычисления предельных вероятностей (стационарного распределения) {яд,}. Однако если справедливы условия теоремы 12.3, позволяющие использовать уравнения Колмогорова, мы получаем систему алгебраических уравнений для непосредственного вычисления стационарного распределеНИЯ {тгк}.

Теорема 12.5. Пусть выполнены условия теорем 12.3, 12.4, тогда стационарное распределение {тг^, k Е Е} существует и удовлетворяет системе алгебраических уравнений Колмогорова

{

^^Чк — 0, i Е Е,

Е^ ~ к^(12.16)

/ >гЕЕ

причем решение системы (12.16) единственно.

Замечания. 1) Система уравнений (12.16) получается из системы дифференциальных уравнений (12.8), если положить тгф^) = О, = тЦ г € Е.

Условия теоремы 12.5 выполнены, если процесс £(t) имеет конечное число сообщающихся состояний.

Пример 12.8. В условиях примера 12.7 найти тго и tti, не вычисляя 7Го(^) И 7Г1(^).

Решение. Рассматриваемый процесс имеет два состояния (т. е. Е = {0,1}), которые при А > 0 и д > О являются сообщающимися. Поэтому мы можем воспользоваться теоремой 12.5 с учетом Aqi = А, Аю = Щ

' — Ало + Д7Г1 = О,

< Ало — Д^1 = О,

<7ГО+ТГ1 =1.

Видно, что первое и второе уравнения совпадают, поэтому следует выбрать одно из них и решить его с учетом третьего уравнения

(условия нормировки):

-Атг0 - д(1 - тго) = 0.

Отсюда тго =, а 7Г1 = 1 — тго = . Полученный результат

А + дА + д

совпадает с соответствующим результатом примера 12.7. ■

Для практического составления уравнений Колмогорова (12.8), (12.16) удобно пользоваться графическим представлением процесса в виде стохастического графа (см. и. 5.1). Вершинами графа являют-

ся состояния процесса, стрелками указываются возможные переходы, а рядом с каждой стрелкой указывается соответствующая интенсивность перехода (рис. 12.1).

Рис. 12.1Рис. 12.1Пример 12.9. Простейший поток заявок интенсивности А поступает в систему массового обслуживания, состоящую из двух параллельно работающих каналов. Время обслуживания в первом и втором каналах имеет распределение соответственно E(pi) и Е^цз). Предположим, что обслуживание в каналах происходит независимым образом, а заявка выбирает для обслуживания канал случайным равновероятным образом, если оба канала свободны. Построить стохастический граф процесса обслуживания Д^) и найти стационарные ве

Рис. 12.1

Рис. 12.1

роятности его состояний (сделать расчет для случая дх = д2).

Решение. Процесс Д^), описывающий работу системы, имеет

четыре возможных состояния:

' 0, если в системе нет ни одной заявки,

если первый канал занят, а второй свободен,

если первый канал свободен, а второй занят, , 3, если оба канала заняты.

Проведем расчет интенсивностей возможных переходов. Пусть гипотеза Н^ состоит в том, что выбран г-й канал, где г = 1,2. Тогда по условию Р{7Д} = Р{Й2} = 1/2. Пусть h > 0 — малый интервал времени, тогда p01(h) = (Xh + oQi^P^HiY Отсюда

0101Пт.h—>0 1т 2Пт.h—>0 1т 2

01

01

Пт.

h—>0 1т 2

Пт.

h—>0 1т 2

Аналогично, р02(^) = ^ • Очевидно, чтор03(/г) = oQx\ поэтому Аоз = 0. Далее, используя рассуждения из примера 12.7, получаем PxsW = = Xh + о(И^ т. е. А1з = А, р12(^) = o(h) и Ах2 = 0. Аналогично, А23 = А. Указанные переходы вызваны поступлением заявок в систему.

Рассмотрим теперь переходы, вызванные завершением обслуживания заявок: p10(h) = (pih + о(Н))(1 — Xh + o(h)) = pih + o(h), поэтому Аю = Mi- Здесь учтено, что для пере

хода из состояния 1 в состояние 0 на интервале длины h необходимо, чтобы на этом интервале обслуживание закончилось и не поступило ни одной новой заявки. Аналогично, Р2о(^) = P^h + o(h) и А20 = М2- Если заняты оба канала, то рз1(Н) = (д2^ + °W)(1 - М1^ + °W) = = М2^ + o(hy т. е. А31 = М2- Для перехода 3 2 справедливо р 32(h) = p^h + о(/г) и А32 = Mi- Есе прочие переходы имеют

нулевые интенсивности. Теперь мы можем построить стохастический граф процесса Д^) (рис. 12.2).

Для определения стационарных вероятностей воспользуемся системой уравнений Колмогорова (12.16):

' M^l + М2712 - Ало= 0,

0,5 Аяо + М2^з - (А + Mi)^i = °)

< 0,5 Алд + Мх^з — (А + М2)т12 = 0,(12.17)

А(тГ1 + 712) - (mi + М2)тгз = О,

. 71g + 711 + 712 + 71з=1-

Если pi = м2 = М, то из (12.17) следует tii = 712, tii + 712 = —Tig. Кроме М _ у _ у2 _

того, 71з = х~ (tti + 712) = х^^о- Теперь, используя условие нормиров-

<А

ки и обозначение р = —, получаем

М

71g =71g =

71g =

71g =

2

откуда Tii = 712 = 2^°’ ^3 = ^Г^°* Если, например, А = р, то Tig = 2/5, 7Г1 = 712 = 713 = 1/5. ■

.4. Процессы рождения и гибели. Рассматриваемый ниже специальный класс марковских процессов имеет большое значение при исследовании систем массового обслуживания.

Определение 12.13. Однородная марковская случайная функция {ДД t ^ 0} называется процессом рождения и гибели, если ее

стохастический граф имеет вид, представленный на рис. 12.3.

Далее мы будем рассматривать случай W < ос, так как при решении практических задач IV всегда может быть выбрано столь большим, что построенная модель исследуемой системы будет адекватной.

Теорем а 12.6. Если {Д^), t ^ 0} — однородный процесс рождения и гибели, то стационарное распределение {тгп}^=0 существует, единственно и определяется соотношениями

~1 . А1 ^1^2 .. A1A2...AW

7Г0= Ц1h ... Н

(12.18)(12.18)у Д1 Ц1Ц2ЦуЦэ • • • ЦЫ

(12.18)

(12.18)

^п = ^^п_ь п= 1,2, Цп

Замечания. 1) Формулы (12.18) дают аналитическое решение соответствующей системы стационарных уравнений Колмогорова.

Если считать, что Д^) при любом ^ ^ 0 численно равно количеству членов некоторой популяции, где N — максимально возможное число ее членов, то из определения 12.13 следует, что Ап — интенсивность рождения при условии, что в популяции имеется п — 1 член, а цп — интенсивность гибели при условии, что в популяции имеется п членов.

Пример 12.10. Пусть интенсивности рождения и гибели таковы, что Ап = пХ, цп = пц, п ^ N. Найти стационарные вероятности состояний и сравнить их между собой для различных Аид.

Решение. Пусть р = — = —. Из (12.18) следует, что при А ^ ц, Цп ц

т. е. при р ^ 1

тго = (1 + Р + р2 + • • • + pN) 1 = ЦД/УТ’ (12.19)

N1 _ pN+l

так как У^ рп = —по формуле суммирования для геометриче

ской прогрессии. Далее, по формулам (12.18) выражаем все вероятности тгп, п ^ 1 через яд:

(12.20)(12.20)тгп = Р^-х = рп^ п = 1, 2, ...,N.

(12.20)

(12.20)

Рассмотрим случай X > ц. Это означает, что р > 1 и, следовательно, тгп > тгп-1. Таким образом,

тг^ = тах{тго, ..., тг^} =тг^ = тах{тго, ..., тг^} =PN 1 - PN+^рPN 1 - PN+^р1-1р1-1рпри N -д ос,при N -д ос,7ГО = min{7T0, ... ,7rw} =7ГО = min{7T0, ... ,7rw} =1 - Р1 - PN^1 - Р1 - PN^-д О-д ОприприIV ос.IV ос.

тг^ = тах{тго, ..., тг^} =

тг^ = тах{тго, ..., тг^} =

PN 1 - PN+^р

PN 1 - PN+^р

1-1р

1-1р

при N -д ос,

при N -д ос,

7ГО = min{7T0, ... ,7rw} =

7ГО = min{7T0, ... ,7rw} =

1 - Р

1 - PN^

1 - Р

1 - PN^

-д О

-д О

при

при

IV ос.

IV ос.

Следовательно, в случае X > у популяция имеет тенденцию к развитию, а ее гибель при больших N маловероятна.

Пусть теперь А < д, тогда р < 1 и ситуация меняется на противо

положную: тго > 7Г1 > ... > тщ. причем тго —> 1 — р > 0 при N -д ос, а

тг^ О при N -Д ос. Итак, в этом случае популяция имеет тенденцию

к деградации и гибели (например, если 2А = д, то р = 1/2 и P{CW = = 0}1/2 при t ^ 1 и N -л ос).

т. е. предельное распределение является равномерным дист. е. предельное распределение является равномерным дис1V + Г1V + ГНаконец, если А = д, то в силу р = 1 имеем лд = Л1 = ... = л^ = 1

т. е. предельное распределение является равномерным дис

т. е. предельное распределение является равномерным дис

1V + Г

1V + Г

кретным. В этом случае состояние популяции является максимально

неопределенным. ■

Рассмотрим пример использования модели рождения и гибели для исследования системы массового обслуживания с ожиданием и несколькими параллельными каналами обслуживания.

Пример 12.11. Пусть система обслуживания устроена так:

на вход поступает простейший поток заявок интенсивности А;

в системе одновременно пребывает не более N заявок;

обслуживание заявок ведут s независимых каналов, причем время обслуживания в каждом канале случайно и распределено по

экспоненциальному закону с параметром д;

если все s каналов заняты, то заявка может занять одно из N — s мест в очереди и ожидать обслуживания неограниченно долго (если есть хотя бы одно свободное место в очереди).

Требуется:

показать, что процесс {£(£), t ^ 0}, где ^(^) — число заявок в системе в момент 1. является процессом рождения и гибели;

построить стохастический граф процесса;

найти стационарные распределения вероятностей состояний;

вычислить среднее число заявок, находящихся в системе, и среднюю длину очереди (рассмотреть случай АГ -д ос).

Решение. Пусть ^(^) = п означает, что в системе обслуживания в момент t находится п заявок, п = 0,1, ... ,N. Если n ^ s, то в очереди все места свободны. Если же s < п ^ IV, то s заявок проходят обслуживание, а п — s ожидают обслуживания в очереди. Рассмотрим состояние г / 0,1V. Тогда для h > 0

Pi,t+i W = (Xh + о(/г))(1 - p-h + о^У,

где г = min (г, s) — число занятых каналов обслуживания.

Отсюда pi ^+1(^) = Xh + o(hy поэтому A^+i = Ащ+i = А;

Pi^-iW = (1 —А7г + о(7г)) ^(ph+o(hy(l -ph + о(,И?)У 1 = r(ph + o(hy. г = 1

Итак, Цг = X^-i = гд, где г = min(z,s). Если г = 0, то до = 0, а Ад = А. Если же г = IV, то д^ = 5д и А^ = 0.

Стохастический граф процесса Д^) представлен на рис. 12.4.

Р^—:TTq,s!sn-SР^—:TTq,s!sn-SПрименяя соотношения (12.18), получаем

Р^

—:TTq,

s!sn-S

Р^

—:TTq,

s!sn-S

(12.21)(12.21)если п = 0,

(12.21)

(12.21)

если n = 1, ..., s,

если п = s + 1, ...,1V.

где р = А/д, 7S = pfs.

N

Пусть число заявок в системе равно L, тогда M{L} = У^ пяп п=0 есть среднее число заявок в системе в стационарном режиме (т. е. при

N—s

t -Д ос). Если Lq — число заявок в очереди, то M{Lq} = У^ птгп+5 — п=0

средняя длина очереди.

Дальнейшие упрощения возможны при конкретном задании параметров s^ N и р. ■

Пример 12.12. Пусть выполнены условия примера 12.11 и, дополнительно, А = р (т. е. интенсивности поступления и обслуживания заявок одинаковы). Сравнить средние длины очередей для случаев s = l (один канал обслуживания) и s = 2 (два канала обслуживания) в предположении IV ос.

Решение. Пусть сначала s = 2, тогда из предыдущего примера следует (с учетом р = X/ц = 1):

"о-{1 + 1 + | + ^ (5 + ^ + ... + ^)}-

г 1 1 ) —1 ГЧ1+£ч} Г +г 1 1 ) —1 ГЧ1+£ч} Г +1- 1/2^1 11 - 1/2 /1- 1/2^1 11 - 1/2 /при N > 50.при N > 50.

г 1 1 ) —1 Г

Ч1+£ч} Г +

г 1 1 ) —1 Г

Ч1+£ч} Г +

1- 1/2^1 1

1 - 1/2 /

1- 1/2^1 1

1 - 1/2 /

при N > 50.

при N > 50.

По формулам (12.21) тгп = ^ду, n = 1, 2, ...,7V. Отсюда

- N— 2

M{Lq} = тг3 + 2тг4 + ... + (N - 2)ttn = ^ у

71=1

При 0 < а < 1 имеем

Поэтому при а = 1/2 получаем

N—2

МЩ} = w0a2 У па""1 « 1/3.

77=1

Если же s = l и р = X/р = 1, то распределение процесса будет равномерным:

ЧЧчг

При этом

М{Ц} = 7г2 + 27ГзЫ..Я^Щтг„=^ У n=g-^

Таким образом, если s = 1, то M{Lq} -ч ос при N —^ ос, т. е. средняя длина очереди неограниченно возрастает. Это является неожиданным результатом, так как предположение А = д о равенстве интенсивностей поступления и обслуживания заявок не выглядит угрожающим. Если же s = 2, то M{Lq} ч 1/3 при N -ч ос. Последний результат представляет несомненный практический интерес, так как показывает, что увеличение пропускной способности каналов обслуживания в 2 раза приводит не просто к уменьшению очереди (в 2 раза), но фактически к ее ликвидации. ■

12.5. Задачи для самостоятельного решения.

Пусть V^y А ^ 0} — марковская однородная случайная функция с дискретным пространством состояний. Доказать, что {цп, п = 0,1, 2, ...}, где цп = Дп) является дискретной цепью Маркова, и найти ее переходную

матрицу.

Пусть поток событий v^ получен наложением п независимых простейших потоков б^А^У к = 1, ... , п с интенсивностями {А^, к = 1, ..., п}.

Доказать, что v^ — простейший поток с интенсивностью А = У^ А^.

fc=i

Указание. Проверить однородность, ординарность и отсутствие последействия для ДА).

Частица блуждает по целым точкам действительной оси под воздействием двух независимых простейших потоков с интенсивностями Аид следующим образом: если до момента t частица находилась в состоянии п, а в момент t произошло событие из первого потока, то в этот момент частица скачком перемещается в точку и + 1. Второй поток аналогичным образом перемещает частицу в состояние п — 1. Вычислить вероятность того, что очередное перемещение будет совершено из и в и + 1.

А

Ответ. .

А + ц

В условиях примера 12.7 вычислить точно вероятность перехода

Ответ, poi(h) = <Ответ, poi(h) = <Xhe"xhXhe"xhPoiW для произвольных А > 0, д > 0 и показать, что poiW = Xh -V o(h).

Ответ, poi(h) = <

Ответ, poi(h) = <

Xhe"xh

Xhe"xh

при А Д щпри А = щ

Процесс ДА) покидает состояние г Е Е под воздействием п независимых простейших потоков с интенсивностями А^, А: = 1, ..., п. Какова вероятность того, что ДА) останется в состоянии г в течение промежутка времени Т > 0?

Ответ. е-лт, где А = У^ А^.

k=i

Поток событий является однородным и не имеет последействия. Величина длины интервала времени между двумя последовательными событиями имеет экспоненциальное распределение Е(ХУ А > 0. Доказать, что данный поток — простейший.

Указание. Проверить свойство ординарности потока.

Поток отказов прибора — простейший с интенсивностью А. Если прибор отказал, то отказ обнаруживается в течение случайного времени, имеющего распределение Е^У Ремонт осуществляется после обнаружения отказа и продолжается случайное время с распределением Е(ц). Найти стационарную вероятность того, что прибор исправен.

Ответ. .

vp + Xv + Хр

Доказать, что однородная марковская случайная функция с конечным числом сообщающихся состояний всегда имеет стационарное распределение вероятностей.

Указание. Проверить выполнение условий теоремы 12.5.

Система массового обслуживания состоит из двух одинаковых каналов обслуживания с интенсивностями д > О, работающих параллельно. Входной поток заявок — простейший пуассоновский поток с интенсивностью А. Найти дифференциальное уравнение, которому удовлетворяет вероятность тг(£) того, что оба канала заняты. Вычислить стационарную вероятность тг = lim ir(t) этого состояния.

_Д2

Ответ, тг = —.

А2 + 2д2 + 2Ад

Пусть выполнены условия задачи 9, однако каналы обслуживают заявки последовательно. Вычислить стационарную вероятность того, что система простаивает.

Ответ. —.

А + ^)2

Одноканальная система массового обслуживания с интенсивностью обслуживания д и простейшим потоком заявок интенсивности А имеет неограниченное число мест в очереди. Пусть £(£) — число заявок, находящихся в системе в момент времени t. При каких Аид существует стационарное распределение вероятностей состояний процесса ^(f)? Найти это распределение и определить среднюю длину очереди.

А

Ответ. А < д, M{Lg} = , где р = —.

1 - рд

В условиях задачи 11 найти закон распределения времени Tq пребывания заявки в очереди.

Ответ. Р{Тд > £} = р ехр{ — (д — А)£}.

ГЛАВА IV

МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ

В данной главе приводятся необходимые сведения из курсов функционального анализа и теории вероятностей, а также справочные сведения, используемые для вычисления специальных интегралов.

Необходимые сведения из функциональногоанализа

Алгебры и (т-алгебры множеств.

Определение 13.1. Система А подмножеств некоторого множества X называется алгеброй, если

0,Х е А;

А, В е А =^ А и В е А, Ап В е Л;

А е А =^ X \А = А е А.

Свойство 2 выполнено для любого конечного набора подмножеств,

т. е. если Л^ £ Л, к = 1, ..., п, то U 4 е Л П А е А

к=1к=1

Определение 13.2. Алгебра А называется а-алгеброй, если

Ап £ Л, п = 1,2, ... У ^J Ап £ Л, ^ Ап £ А.

Определение 13.3. Множество X вместе с некоторой сг-алге- брой его подмножеств А называется измеримым пространством и обозначается {X, Л}.

На одном и том же множестве X могут быть заданы различные ст-алгебры его подмножеств. Примерами ст-алгебр являются системы множеств

Ао = {0,Х}, А0 = {А: А С X}.

При этом Ло — самая «бедная» сг-алгебра, называемая тривиальной, а Л° — самая «богатая» сг-алгебра, состоящая из всех подмножеств X.

Теорема 13.1. Пусть на множестве X задана некоторая система его подмножеств D. Тогда существует наименьшая а-алге- бра, обозначаемая a(J)), содержащая все множества из D.

Система сг^Т)) является наименьшей в том смысле, что если А — любая сг-алгебра подмножеств X, содержащая систему Р, то а(Р)СА.

Замечания. 1) Систему множеств сг^Т)) называют сг-алгеброщ порожденной системой множеств D.

Если {Аа} — произвольное семейство сг-алгебр на X, то А = = Q А« также является сг-алгеброй. Очевидно, что сг(Р) = Q Aq,, где

{Aq,} — семейство всех сг-алгебр, содержащих систему множеств I).

Меры (определения и свойства).

Определение 13.4. Пусть на множестве X задана некоторая алгебра его подмножеств А. Функция у(А), определенная на множествах А Е Л, называется мерой, заданной на А, если

у(А) ^ 0 для всех А Е Л;

для любого счетного набора попарно непересекающихся мно

жеств Ап Е А, п = 1, 2, ..., (т. е. А^ П Aj, г Д з), таких, что |J Ап е Л

П=1 выполнено свойство счетной аддитивности (ст-аддитивности):

U = У^ т(Ап).

Мера у называется конечной, если дополнительно выполнено условие

у^Х) < ос.

Мера у, заданная на алгебре А, обладает следующими свойствами:

ц(0) = 0.

у(А) < у(В) для А, В Е А, таких, что АС В.

у^А U В) = у^А) + у(В) — у^А П В) для всех А, В Е А.

Если Ап Е А, п = 1,2, ... — убывающая последовательность

множеств, т. е. Ai D А2 5 • • • , такая, что у(А^) < ос и Q Ап Е А, то

П=1

ц( П А„) = lim ЛАп\

71=1

Если Ап Е А, п = 1, 2, ... — возрастающая последовательность множеств, т. е. Ai С А2 С ... , такая, что |J Ап Е А, то

П=1

U = lim ^(^п)-\/п—>оо

Замечание. Если на алгебре А задана функция множества д, обладающая свойством аддитивности:

А, В Е А, А П В = 0=> у(А U В) = у(А) + д(В),

то для доказательства того, что д является мерой на А, достаточно проверить свойство 4 для случая, когда Q Ап = 0, т. е. у(Ап) —> О п=1

при п -Е ОС.

Следующий результат является одним из наиболее важных результатов теории меры.

Теорема 13.2 (Каратеодори). Пусть X — некоторое множество, А — алгебра его подмножеств и уо — мера на А. Если существует последовательность множеств Хп Е А, таких, что

^Хп)<оо, X = \JXn,(13.1)

то существует, и притом единственная, мера у, определенная на а (А), являющаяся продолжением уо, т. е. такая, что

у(А) = у0(А) VAeA.

Замечание. Очевидно, что для конечной меры условие (13.1) выполнено.

Определение 13.5. Множество X вместе с мерой у, определенной на некоторой сг-алгебре А, называется пространством с мерой и обозначается {X, А, д}.

Всякую сг-алгебру А можно пополнить множествами вида A U N, где А Е А, а X С Ад для некоторого Ag Е А, имеющего нулевую меру: у(Aq) = 0. Нетрудно проверить, что система множеств А, содержащая множества указанного вида, также является ст-алгеброй. Пространство с мерой {X, А, у} называется полным.

Определение 13.6. Пусть {X, А, у^ — полное пространство с мерой. Если некоторое свойство Р выполняется для всех х Е Xg СХ, где у(Х \ Xg) = 0, то мы будем говорить, что свойство Р выполнено почти всюду (по мере у).

Способы задания мер. Следующие примеры измеримых пространств являются наиболее важными для теории вероятностей и случайных процессов.

Дискретное измеримое пространство. Пусть множество X = = {ti,T2, ...} не более чем счетно, а А — сг-алгебра всех подмножеств X. Всякая мера у на дискретном измеримом пространстве

{X, Л} задается числами дп = д({тп}) > 0:

ЛА) = 52

п: ХпЕА

где A G А — любое подмножество X. Мера д конечна, если

АХ) = цАХ) = цП=1П=1П=1П=1П=1П=1Дп < ОС.Дп < ОС.

АХ) = ц

АХ) = ц

П=1П=1П=1

П=1П=1П=1

Дп < ОС.

Дп < ОС.

Измеримое пространство {R1,S(R1)}. Пусть X = R1 — действительная прямая, а (а, 6) — промежуток, т. е. одно из множеств вида

(а, 6], [«,6), (ct^Y [а?Ч?

где — ос ^ а ^ 6 ^ ос. Обозначим А систему подмножеств А С R1, состоящих из конечных объединений непересекающихся промежутков:

А = U ^i^i) 1 п < 00•(13.2)

г=1

Очевидно, что система А образует алгебру, но не является сг-ал- геброй.

Определение 13.7. сг-алгебра, порожденная системой А, обозначается S^1) и называется борелевской а-алгеброй множеств действительной прямой, а ее элементы — борелевскими множествами.

Аналогично вводится измеримое пространство {[п, &], Б([п, &])}, где Б([п, &]) состоит из множеств В С [а, 6], таких, что В G S(R1). Система Б([п,&]) называется борелевской а-алгеброй отрезка [а, 6].

Определение 13.8. Мерой Лебега на R1 называется мера А, определенная на {R1,S(R1)}, такая, что

А((п, 6)) = b — а

для всех —ос < а < b < ос.

Из теоремы 13.2 следует, что мера Лебега на R1 существует и единственна. Отметим, что мера Лебега на R1 не является конечной, так как A(RX) = ос.

Конечная мера на борелевской сг-алгебре прямой или отрезка может быть задана с помощью функции распределения^ которая определяется следующим образом.

Определение 13.9. Функция F^x\x G R1, называется функцией распределения на R1, если она обладает следующими свойствами:

F(x) — неубывающая функция;

F(—ос) = lim F(x) = 0, F(+oc) = lim F(x) < ос;

F(x) непрерывна справа, т. е. lim F(x + h) = F(x) для всех

Замечание. Для функции распределения на отрезке [а, 6] свойство 2 принимает вид

F(a) = lim F(x) = 0, F(b) = lim F(x) < ос.X—У ax—yb

Теперь с использованием функции распределения F(x) зададим функцию множества До на промежутках (а^Ь):

6]) = F(b) - F(a\ Щ[а, &]) = F(b) - F(a-\

Щ(а, ЬУ) = F(b—) - F(a\ ц0^а, b)) = F(b-) - F(a-),

где F^x—) = lim F^x — h\ Далее, если A = I J (щ,6Д, n < ос, где г=1

промежутки (a^bi) попарно не пересекаются, то положим

До (и <сц,ЬуА = 52 Mka-iib^Yг=1г=1

Тем самым мы задали до на системе Д, состоящей из множеств вида (13.2). В силу свойств функции распределения F(x) (см. определение 13.9) до является конечной мерой на алгебре Д, поэтому по теореме 13.2 может быть продолжена и притом единственным образом до меры д, заданной на измеримом пространстве {R1, S(R1)}.

Замечания. 1) С каждой конечной мерой д, заданной на {R1,S(R1)}, можно связать функцию

F^(x) = д((—ос, Д), tER1.

Из свойств меры (см. и. 13.2) вытекает, что Fp является функцией распределения, причем 7^(+оо) = lim Fp(x) = д(R1).

Между функциями распределения и конечными мерами на {R1,S(R1)} существует взаимно однозначное соответствие, т. е. всякой конечной мере д соответствует функция распределения Fp\x\ и наоборот, для всякой функции распределения F(x) на R1 существует конечная мера д, такая, что F^ = F.

Измеримое пространство {Rn,F(Rn)}. Пространством77 есть прямое произведение п экземпляров прямых R1, т. е. Rn = R1 х ... ... х R1 — множество упорядоченных наборов вещественных чисел х = {ад, ..., тп}*. Определим на этом пространстве систему подмножеств Дп, образованную множествами

А = Д1 х ... х Ап = Ц Ак, АкеЛ,k=i

где А — алгебра подмножеств прямой вида (13.2). Нетрудно показать, что Дп образует алгебру.

Определение 13.10. сг-алгебра, порожденная системой Дп, обозначается Б(ВП) и называется борелевской а-алгеброй множеств Rn, а ее элементы — борелевскими множествами.

Определение 13.11. Мерой Лебега на Rn называется мера Ап, определенная на {Rn,F(Rn)}, такая, что

А"(П ^^^А = tti)г=1г=1

ДЛЯ всех —ос С ^ Oi С ОС-

Из теоремы 13.2 следует, что мера Лебега на Rn существует и единственна. Отметим, что мера Лебега на Rn не является конечной, так как An(Rn) = ос.

Конечная мера на борелевской сг-алгебре Rn может быть задана с помощью п-мерной функции распределения, которая определяется следующим образом.

Определение 13.12. Функция F(xi, ... , хп), Xi, ..., хп 6 R1, называется п-мерной функцией распределения, если она обладает следующими свойствами.

Е^ху, ..., хп) монотонна в следующем смысле:

△ 1... АпГ(жъ ... ,ж„) > 0,

где Д^ — оператор конечной разности по переменной Xi

^iE(яд, ..., хп^ — F(яд, ..., х^—1, хi -|-, яд-щ, ..., хп^

Е(х^, ..., Xi—1, хi, Xi_^, ..., тп), a hy 0, ..., hn 0 произвольны.

Если хотя бы одна из переменных Xi -Д —ос, то

Е^ху, ..., х^ У 0,

если все переменные Xi -Д +ос, то

F(xi, ..., хп) Е(+ос, ..., +ос) < ос.

F(xi, ..., хп) непрерывна справа по переменным Xi.

Из теоремы 13.2 и свойств n-мерной функции распределения F(xi, ... ,хп) (см. определение 13.12) следует, что на измеримом пространстве {Rn, S(Rn)} существует однозначно определенная конечная мера ц, такая, что F^ = Е, где

, п.

Щжх, ... ,жп) = Д П(-оо,жД, Ж1, ... ,ж„ е R1.(13.3)

г=1

Верно и обратное, если д — конечная мера на {Rn, S(Rn)}, то функция ^(а?!, ..., хп), определяемая соотношением (13.3), является п-мерной функцией распределения. Тем самым между п-мерными функциями распределения и конечными мерами на {Rn,S(Rn)} существует взаимно однозначное соответствие. В этом случае

, +°°) = ц(Х)-

.4. Измеримые функции. Пусть {X, А} — некоторое измеримое пространство.

Определение 13.13. Вещественная функция /(ж), х Е X, называется A-измеримой, если

ГЧВПА VBe^R1),(13.4)

где /-1(В) = {ж Е X: /(ж) Е В} — прообраз множества В.

Тем самым измеримость функции означает, что прообраз любого борелевского подмножества R1 является измеримым множеством в X.

Замечания. 1) Очевидно, что постоянная функция /(ж) = const является измеримой относительно любой сг-алгебры.

Индикаторная функция 1аХ) множества А, определяемая как

Г 1 при х Е А, 1а(х) = <

( 0 при х £ А,

является измеримой в том и только том случае, когда множество А измеримо, т. е. А Е А.

Условие A-измеримости функции /(ж) тем ограничительнее, чем уже сг-алгебра А, т. е. А-измеримая /(ж) является А'-измеримой, если ЛСД'

Для проверки измеримости функции используется следующий результат.

Т еорем а 13.3. Функция f(x), заданная на измеримом пространстве {X, А}, является A-измеримой, если для всякого с Е R1 измеримыми являются множества

{ж 6 X: /(ж) < с}.

Функция р(у), у Е R1, заданная на действительной прямой, называется борелевской функцией, если она В(Жг )-измерима. Примерами борелевских функций являются все кусочно непрерывные функции.

Теорема 13.4. Пусть {X, А} — измеримое пространство. Сложная функция h(ж) = ^(/(т)), х Е X, является А-измеримой, если функция f(x), х Е X, A-измерима, а функция р(у), у ЕЖ1, — борелевская.

Простые арифметические операции над конечным или счетным набором измеримых функций не выводят за рамки множества измеримых функций.

Теорема 13.5. Пусть функции fni п = 1,2, ... определены на измеримом пространстве {X, Д} и A-измеримы. Тогда функции

/1 (ж) + АД), /1(ж)/2(ж),1/А(ж) (при условии ^(х) / 0),

|А(ж)|, тах{А(ж),/2(ж)}, тт{А(ж),/2(ж)}, sup/„(ж), inf/„(ж) пп

таксисе являются измеримыми.

Из приведенного результата следует, что множество

А = {ж е X: 3 lim f-ДхУ^

на котором существует предел последовательности измеримых функций и„(ж)}, является измеримым, т. е. A G А.

Следующее определение описывает важный пример измеримой функции.

Определение 13.14. Измеримая функция /(ж), определенная на измеримом пространстве {X, Д}, называется простощ если она принимает конечное число значений.

Очевидно, что каждая простая измеримая функция /(ж) допускает представление

Gж € X,(13.5)

&=1

где с^ G R1, А^ G А и А^ П Aj = 0, г 7^ j, т < сю.

Теорема 13.6. Для всякой неотрицательной измеримой функции f(x) существует неубывающая последовательность неотрицательных простых измеримых функций {/п(ж)}, сходящаяся к f(x), т. е.

0 С fn(x) t /(ж) при п сю для всех х 6 X.

Результат, приведенный выше, является ключевым при построении интеграла Лебега.

Определение 13.15. Пусть /(ж) — некоторая измеримая функция, определенная на измеримом пространстве {X, Д}. Система

называется а-алгеброщ порожденной функцией f(x).

Нетрудно убедиться, что Ду действительно является ст-алгеброй, причем Ду С А. Класс функций, измеримых относительно ст-алгебры Ду, имеет простое описание.

Т еорем а 13.7. Функция д^х^, х Е X, является Af -измеримой тогда и только тогда, когда сугцествует борелевская функция р(у), у ЕЖ1, такая, что

g^ = p(f(x)) \/х Е X.

Определение 13.16. Две измеримые функции /(ж) и д(х), заданные на {X, А, д}, называются эквивалентными, если /(ж) = д(х) почти всюду по мере у, т. е. ц^х Е X: /(ж) / д^х^ = 0.

Определение 13.17. Последовательность {/Дж)} измеримых функций, определенных на {X, А, д}, называется сходягцейся почти всюду к функции /(ж), если

д{ж Е X: lim fn(x) /(ж)} = 0.

Т еорем а 13.8. Если последовательность {/Дж)} измеримых функций сходится к f(x) почти всюду, то f(x) измерима.

Определение 13.18. Последовательность {/Дж)} измеримых функций, определенных на {X, А, д}, называется сходягцейся по мере ц к измеримой функции /(ж), если для любого в > 0

lim Лж е ^: 1/Щ) - Дж)\ > е} = °-

Соотношение между этими двумя типами сходимости определяется следующими теоремами.

Теорема 13.9. Если последовательность {/Дж)} сходится к f^ почти всюду относительно конечной меры д, то fn(x) сходится к f(x) по мере д.

Обратное утверждение, вообще говоря, не верно, тем не менее справедлив следующий результат.

Теорема 13.10. Если последовательность {/Дж)} сходится к f^ по мере, то сугцествует подпоследовательность {/пДж)}, сходягцаяся к f(x) почти всюду.

13.5. Интеграл Лебега. Пусть {X, А, д} — полное пространство с мерой. Определим вначале интеграл Лебега от простой измеримой функции.

Определение 13.19. Интеграл Лебега от простой измеримой функции f(x), имеющей вид (13.5), определяется равенством

f(x)p,(dx) = ^ck^AkYf(x)p,(dx) = ^ck^AkY(13.6)(13.6)

f(x)p,(dx) = ^ck^AkY

f(x)p,(dx) = ^ck^AkY

(13.6)

(13.6)

Теперь распространим понятие интеграла Лебега на неотрицательную измеримую функцию f(x\ В силу теоремы 13.6 существует последовательность неотрицательных простых измеримых функций Un^Y таких, что

О С fn(x) t /(ж) при п сю для всех х 6 X. (13.7)

Определение 13.20. Интегралом Лебега от неотрицательной измеримой функции f^x) называется величина

j /(ж) y(dx) = lim j fn(x) y(dx).(13.8)

xx

Данное определение корректно, поскольку при заданной функции /(ж) предел (13.8) (конечный или бесконечный) существует для любой аппроксимирующей последовательности (13.7) и не зависит от ее выбора.

Для краткости будем обозначать

= |

Пусть теперь /(ж) — произвольная измеримая функция. Введем обозначения

/+(ж) = тах{Дж),0},/“(ж) = тах{-Дж), 0}.

Тогда функции /+(ж) ^ 0, /-(ж) ^ 0 также являются измеримыми, причем Дж) = /+(ж) -

Определение 13.21. Если min{I(/+), 1(/-)} < ос, то интеграл Лебега от f(x) существует (или определен) и имеет вид

ДД = (Дж)рДж) = /(/+)-/(/")•

Если |7(/)| < сю, то /(ж) называется интегрируемой по мере у или суммируемой.

Интеграл по множеству A G А определяется как j /(ж)ц((/ж) = j f(x)IA(x) y(dx), АX

а /(ж) называется интегрируемой на множестве Л, если интегрируема функция /(ж) 1а(х).

Замечание. В соответствии с определением 13.21 интеграл Лебега от неотрицательной функции /(ж) определен всегда, при этом о < ЦП < ОО.

18 Б.М. Миллер и А.Р. Панков

Перечислим свойства интеграла Лебега, непосредственно вытекающие из его определения.

j Ia(ж) y(dx) = ц(А) для всякого Л Е А

X

Для всех аД Е R1

Да/ + Рд) = аД/) + 01(g), причем если правая часть имеет смысл, то интеграл в левой части интеграл определен.

Если /(ж), д(х) интегрируемы и /(ж) < д(ж\ то /(/) < 1(g)-

Если р,(А) = 0, то j /(ж) p(dx) = 0.

А

Если /(ж) = д(х) почти всюду по мере д, то 1(f) = 1(д)^ причем оба интеграла существуют или не существуют одновременно.

Если h(x) ^ 0 интегрируема и |/(ж)| С h(x) почти всюду по мере д, то f(x) интегрируема.

Интегрируемость функции равносильна интегрируемости ее модуля, т. е.

\ЦЛ\ < ОО Ц\Л) < ОО, кроме того, \ЦЛ\ < Д|/|).

Если f(x) ^ 0 и 1(f) = 0, то f(x) = 0 почти всюду. В частности, если 1(|/|) = 0, то f(x) = 0 почти всюду.

Если функция f(x) интегрируема на Л, то она интегрируема на любом измеримом множестве А* С А.

Если f(x) = 0 почти всюду, то 1(f) = 0.

(Неравенство Чебышева). Если с > 0, то

Аж 6 х-. \КЛ\ 4 < | j \КЛ\мАЛ-

X

(Неравенство Минковского). Если р ^ 1, то

G

V/p / гV/p / гV/p

\f(x)+g(x)\pg(dx)j < Q \f(x)\pg(dx))+ Q \g(x)\p g(dx)) .

XXX

(Неравенство Йенсена). Если p(y)^ у E R1, — выпуклая вниз функция и ц(Х) = 1, то

j p(f(x)) g(dx) < 99^ j f(x)g(dx)y

(Неравенство Гельдера). Если 1<р, ^<сюи- + - = 1, то

1/ гV/p / гV/ч

| ]/(Щ(Щ(Д Д] 1/(я)1р/»(<^)) ■ (J IflMl'MtN),

причем интеграл в левой части определен, если интегралы в правой части конечны. При р = q = 2 неравенство Гельдера называется неравенством Коши-Буняковского:

I2 гг

|] Щ)дЦЫ<^)| < ] |/(ж)|2ДД) ] |д(ж)|2//(Д).

XXX

Теорема 13.11 (ст-аддитивность интеграла Лебега). Если функ

ция f^ интегрируема и X = |J Лп, А^ П Aj = 0 при % ^ ^ то

П=1

j f(x)AdA = У|

Xn=1 Ап

где в правой части интегралы конечны^ а ряд сходится абсолютно.

Из теоремы 13.11 следует, что для любой неотрицательной измеримой функции /(ж) ^ 0 функция множества

(13.9)(13.9)v(A) = j /(ж) ц(дх)^ А е Л,А

(13.9)

(13.9)

является мерой на измеримом пространстве {X, Л}.

Теорема 13.12 (абсолютная непрерывность интеграла Лебега). Пусть f^ — интегрируемая функция, тогда для любого е > 0 существует такое 5 > 0, что | j /(ж) д((/ж)| < е для всякого измеримого

А

множества А 6 Л, такого, что ц(А) < 5.

Следующая теорема утверждает, что всякая мера v, абсолютно непрерывная относительно меры д, допускает представление (13.9).

Определение 13.22. Мера v называется абсолютно непрерывной относительно меры д (сокращенно v <С д), если для любого А Е Л из д(Л) = 0 следует, что ^(Л) = 0.

Теорема 13.13 (Радон, Никодим). Если v <С д, то существует измеримая неотрицательная функция р^ц такая, что

v(A) = j р(х) р,(дх) \/ А Е А.

А

Функция р(х) называется производной Радона-Никодима меры v по мере д и обозначается

Следующий результат дает правило замены меры в интеграле Лебега.

Теорема 13.14. В условиях теоремы 13.13 для любой измеримой функции д^ имеет место равенство

j д^ v(dx) = j д^ р^ p(dx^

где интегралы в левой и правой частях существуют или не существуют одновременно.

Тем самым интегрируемость функции д(х) по мере v равносильна интегрируемости функции д^ р^ по мере д.

Теперь рассмотрим вопрос о замене переменной под знаком интеграла Лебега.

Определение 13.23. Пусть /(ж) — измеримая функция, определенная на пространстве с мерой {X, Д, д}. Тогда мера д^ на {R1, S^1)}, задаваемая равенством

называется мерой, порожденной функцией /.

Нетрудно проверить, что функция множества д^ действительно является мерой на борелевской а-алгебре S(R1).

Теорема 13.15 (формула замены переменной в интеграле Лебега). Пусть функция f(x), х Е X, измерима, а функция ф^, у Е R1, является борелевской. Тогда справедливо равенство

I vU^YpW = | ^(у) цf(dyY

XR1

где интегралы в левой и правой частях существуют или не существуют одновременно.

Предельный переход под знаком интеграла Лебега. Следующие результаты показывают, в каких случаях можно переходить к пределу под знаком интеграла Лебега.

Теорема 13.16 (Лебег). Пусть последовательность {/п(^)} сходится почти всюду к f(x^ причем для всех п почти всюду выполняется неравенство |/п(ж)| < ^(ж), где функция р(х) интегрируема. Тогда предельная функция f(x) также является интегрируемой и

lim j fn(x) р,(дх) = j /(ж) р,(дх\

Теорема 13.17 (Лёви). Пусть {/п(ж)} — неубывающая последовательность функций, т. е.

АМ АМ ^...^ /„(ж) ^ ...,

где fn^x) интегрируемы, а их интегралы ограничены в совокупности:

Ж < ею:Ж < ею:fn(x)y(dx)fn(x)y(dx)(13.10)(13.10)

Ж < ею:

Ж < ею:

fn(x)y(dx)

fn(x)y(dx)

(13.10)

(13.10)

Тогда почти всюду существует конечный предел f^ = lim /п(ж), такой, что функция f(x) интегрируема и

lim j fn(x) y(dx) = j /(ж) y^dx).xx

Теорема 13.18 (Фату). Если последовательность неотрицательных функций {/п(ж)} сходится почти всюду к f(x), причем выполнено (13.10), то f^ интегрируема и j /(ж) ц(дх) ^ К.

х

Интеграл Лебега на прямой. Следующее утверждение показывает связь между интегралом Римана и интегралом Лебега.

Теорема 13.19. Если существует интеграл Римана

ь

ЫЛ = | НЛdx>

то f^ интегрируема по мере Лебега А на [а, 6] и

ЫП = j КхШдх) = ЫП-[а,Ь]

Заметим, что обратное утверждение в общем случае неверно.

Введем еще одно понятие интеграла, основанное на понятии интеграла Лебега.

Определение 13.24. Пусть /(ж), х Е R1, — борелевская функция, а Е(х) — функция распределения на R1 (см. определение 13.9). Интеграл Стилтьеса от f(x) по функции распределения Е(х) определяется следующим образом:

-OORI

где интеграл в правой части понимается как интеграл Лебега по мере ц, имеющей функцию распределения Е(х\

В большинстве практически важных случаев функция распределения F(x) может быть представлена в виде

Дж) = Fa(x) + Fd(x), Fa(x) = р(у) X(dy), Fd^ = у pk,

где функция р(у) ^ 0 интегрируема по мере Лебега на R1, а множество точек {тД не более чем счетно, причем р^ > 0.

Составляющая Ва(х) называется функцией абсолютно непрерывного распределения или просто абсолютно непрерывной функцией. В этом случае для почти всех ж Е R1 (по мере Лебега) справедливо

цией плотности распределения. Заметим, что если цДдх) — мера, имеющая функцию распределения Fa(x), то плотность р(х) есть производная Радона-Никодима меры ца по мере Лебега А.

Составляющая Fd(x) называется функцией дискретного распределения, при этом pk = F(xk) — F(xk-) есть величина скачка функции F(x) в точке ее разрыва х^ Е Е1. Если число скачков конечно, то Fd(x) кусочно постоянна.

Если /(ж) — борелевская функция, то справедливо следующее правило вычисления интеграла Стилтьеса:

f(x)dF(x) = j J(x)p(x) X(dx)+ ^2f(xk)pk,

R1k

причем интеграл Стилтьеса конечен, если функция Дх)р(х) интегрируема по мере Лебега, а ряд ^ f(xk)Pk сходится абсолютно.

Г 1, если то Е В,Г 1, если то Е В,В заключение рассмотрим пример меры на прямой, чрезвычайно важный для приложения. Мера 5ЖДВ), В Е S(R1), хо ER1, определяемая равенством

Г 1, если то Е В,

Г 1, если то Е В,

6ХДВ) = <л

[ 0, если то ^ В,

называется мерой Дирака, сосредоточенной в точке xq. Тогда интеграл по мере Дирака принимает вид

j /(ж) б^М^) = Що)-

R1

Последний интеграл часто записывают в виде

j /(ж) §и - ж0) dx = /(ж0),

где 5(х) называют дельта-функцией Дирака. При этом, поскольку функция

(если х > О,

1(ж) = <

( 0, если х < О,

является функцией распределения меры Дирака 5q, считают, что выполнено равенство о(х) = —

ах

13.6. Гильбертово пространство. Сначала введем понятие линейного пространства.

Определение 13.25. Непустое множество Н называется линейным пространством^ если на Н определены две операции: сложение элементов (+) и умножение элементов на числа (о).

Для любых элементов ж, у, z G Н и любых чисел о, /3 операции сложения и умножения должны обладать следующими свойствами:

х + у = у + X-

(х + у) + z = х + (у + z);

существует элемент О G Н, такой, что 0 + х = х;

существует элемент (—ж) G Нтакой, что х + (—ж) = 0^

а о Д + у) = а о х + а о у,

(о + /3) о х = а о х + 3 о у;

ДЗ) ° х = а о (/3 о х);

1 о х = х.

Если умножение определено на вещественные числа, то пространство называется вещественным или действительным^ если умножение определено на комплексные числа, то пространство называется комплексным.

Замечание. Во всяком линейном пространстве нулевой элемент 0 единственен, а противоположный элемент (—х) однозначно определяется элементом х G Н. В дальнейшем мы будем опускать знак умножения (о), а выражение х + (—у) будем записывать в виде х-у.

Далее без ограничения общности будем считать, что Н — комплексное линейное пространство, а множество комплексных чисел обозначать С.

Определение 13.26. Подпространством М линейного пространства Н называется подмножество, замкнутое относительно операций сложения и умножения, т. е.

сц/ЗеС, х^у G М =>- ах + ЗУ М.

Замечания. 1) Определение 13.26 означает, что подпространство М вместе с каждым конечным набором своих элементов {жх, ... ,эД содержит любую их линейную комбинацию а±х± + ... ... + апхп^ где «1, ...,ап 6 С. В частности, всегда верно О G М.

Мд = {У} называется нулевым подпространством.

Пересечение QMq, произвольного набора подпространств {Mq,} также является подпространством.

Определение 13.27. Линейной оболочкой £(7V) некоторого множества N С Н называется множество всех возможных линейных комбинаций элементов из N.

Из определения 13.27 следует, что £(N) является подпространством, причем £(N) = (^Ма. где {Ма} — семейство всех подпро

странств, содержащих множество N.

Определение 13.28. Элементы {ад, ...,хп} линейного пространства Н называются линейно независимыми^ если

di, ..., од G С, а^х^ -Г ... 4- с^тЛп = 0 У а\ — • • • — од — 0.

Если для линейного пространства Н существует набор линейно независимых элементов {ад, ... , х^ С Н, такой, что выполнено 77" = £{ад, ..., яд}, то {ад, ..., хп^ называют базисом пространства Н. а число п — его размерностью (сокращенно n = dim77). В этом случае каждый элемент х G Н может быть представлен в виде: х = aiXi + ... + одад, причем коэффициенты {од} определяются однозначно.

Определение 13.29. Функция (•>•), определенная на линейном пространстве Н и принимающая числовые значения, называется скалярным произведением, если для любых элементов ж, у, z 6 Н и любых чисел а,Р справедливы следующие свойства:

(ж, ж) ^ 0 и (ас, ас) = 0 =>- х = 0*,

(ах + Ру, z) = а(х, z) + Р(у, z);

(у,ж) = (ж, у).

Определение 13.30. Пусть на Н определено скалярное произведение. Нормой элемента х G Н будем называть число

||ж|| = (х^х)1^2.(13.11)

В этом случае говорят, что норма порождена скалярным произведением.

Непосредственно из определений вытекают следующие свойства скалярного произведения и порожденной им нормы:

||ж|| > 0; из ||ж|| = 0 следует х = 0*,

||аж|| = |а|||ж||;

||ж + 7/|| С 1Ы1 + 1Ы1 (неравенство треугольника);

K^S/)! ^ 1ЫНЫ1 (неравенство Коши-Буняковского), причем равенство достигается только, если ж, у линейно зависимы.

С помощью нормы можно ввести понятие сходимости последовательности элементов {жп} пространства Н.

Определение 13.31. Последовательность {жп} сходится к элементу х G Н при п сю (сокращенно хп -Д ж), если ||хп — х||0.

Скалярное произведение является непрерывным в следующем смысле:

жп Ж1 Ут У ^ ^тиУтг?) ^жчУ\

Определение 13.32. Последовательность {хп} называется фундаментальной, если

||жп — тт|| ^ О при п,т оо.

Определение 13.33. Линейное пространство с нормой (13.11) называется полным, если любая фундаментальная последовательность его элементов сходится к некоторому элементу этого пространства.

Определение 13.34. Линейное пространство со скалярным произведением и нормой (13.11) называется гильбертовым пространством, если оно полно.

Определение 13.35. Подпространство М гильбертова пространства Н называется всюду плотным, если для всякого элемента х Е Н существует последовательность {хп}, такая, что хп Е М и хп -д X.

Замечание. Если пространство Н не является полным, то оно всегда может быть пополнено, т. е. существует такое полное пространство Н, что Н С Н и Н всюду плотно в Н.

Простой критерий сходимости последовательности элементов гильбертова пространства приводится в следующей теореме.

Теорема 13.20. Если Н — гильбертово пространство, то последовательность {хп} сходится к некоторому элементу пространства Н тогда и только тогда, когда существует предел

lim (ж„,жт).

Определение 13.36. Подпространство М гильбертова пространства Н называется замкнутым, если из того, что хп х, при п —> сю, где хп Е М, следует х Е М.

Таким образом, замкнутое подпространство гильбертова пространства само является гильбертовым пространством.

Рассмотрим важнейшие примеры гильбертовых пространств.

Конечномерное евклидово пространство Rn. Его элементами являются упорядоченные наборы вещественных чисел (п-мерные векторы) х = {ад, ... ,xnY, х±, ... ,хп Е R1. Скалярное произведение и норма пространства Rn имеют вид

=1И1 = И = (52 4

к=1к=1

где у = ^У1, ..., y^Y • Очевидно, что dimRn = п.

Пространство I2. Его элементами являются бесконечные последовательности комплексных чисел х = {xi,x2, ... }, таких, что

/<Х)х 1/2

И= W <~-

4=1

Скалярное произведение элементов х.у Е 1«2 имеет вид

(ж, у) = Е

к=1

и порождает норму ||х||, определенную выше. Заметим, что пространство I2 бесконечномерно.

Пространство L2{X, Д, д}. Пусть {X, Д, д} — некоторое пространство с мерой. Тогда L2{X, Д, д} определяется как множество всех Д-измеримых комплексных функций /(ж), интегрируемых с квадратом по мере д, т. е. таких, что

/Г\ 1/2

||/|Д (] |/(ж)|2Ц^))< оо.(13.12)

Объединим в один класс эквивалентности все функции /(ж), эквивалентные (по мере д) данной функции /(ж), и в дальнейшем функции /(ж) различать не будем. Тогда из ||/|| = О следует / = О, поэтому выражение (13.12) определяет норму, порожденную скалярным произведением

(Л д) = j /И д^f,g е l2{x, д, д}. (1злз)

х

Следовательно, L2{X, Д, д} является гильбертовым пространством. Отметим, что L2{X, Д, д} бесконечномерно, если мера д не сосредоточена в конечном числе точек.

Ряды Фурье в гильбертовом пространстве. Пусть далее Н — фиксированное гильбертово пространство.

Определение 13.37. Два элемента х. у Е Н называются ортогональными (обозначается х ± д), если (ж, у) = 0.

Определение 13.38. Система {ei,e2, ...} элементов пространства Н называется ортогональной, если ет ± еп при т Д п. Если дополнительно ||en|| = 1, п = 1, 2, ..., то система называется ортонормальной.

Определение 13.39. Ортонормальная система {ei, в2, ... } С Н называется базисом гильбертова пространства Н^ если для каждого х Е Н существует, и притом единственное, разложение

Ж = 52 «к6^(13.14)

fe=l

где а к Е С, а сходимость ряда понимается в следующем смысле:

||ж — 52 а^е^Ц О при поо.

Разложение (13.14) называется рядом Фурье для ж, а коэффициенты а к вычисляются по формулам

ак = ^х.е^ к = 1,2, ...,

и называются коэффициентами Фурье.

Из (13.14) также следует равенство Парсеваля:

||ж||2 = £Ы2,к=1

которое является обобщением теоремы Пифагора на бесконечномерный случай.

Теорема 13.21. Пусть {еп} — ортонормальная система элементов гильбертова пространства Н. Следующие утверждения равносильны:

{еп} — базис гильбертова пространства Н:

линейная оболочка £({еп}) всюду плотна в Н^

если х ± еп для всех п, то х = 0.

В частности, система {егпж/л/27г, n G Z} является базисом пространства Ь2([—тг, тг], S([-тг, тг]), А), где А — мера Лебега.

13.8. Ортогональное проектирование в гильбертовом пространстве.

Определение 13.40. Если N С Н — произвольное подмножество, то ортогональность ж 1N означает, что х ± у для всех у Е N.

Определение 13.41. Если М — замкнутое подпространство, то его ортогональное дополнение Mv определяется как

М1 = {ж е Н: х ± му

В силу непрерывности скалярного произведения М^ является замкнутым подпространством.

Теорема 13.22. Пусть М — произ вольное замкнутое подпространство гильбертова пространства Н. Тогда любой элемент х Е Н имеет единственное разложение вида

^ — Ух Т Zx )

где ух Е М, zx Е М^.

Определение 13.42. Элемент ухопределенный в теореме 13.22, называется ортогональной проекцией х на М и обозначается тгм(х).

Перечислим основные свойства проекции тгм(х):

У® =€ М, zx = х - тг^ж) € М\

х G М тогда и только тогда, когда тгм(ж) = х, а х G М1- тогда и только тогда, когда 7гм(х) = 0]

||х — 7гм(т)|| < ||х — г|| для всех г Е М^

если {ei, в2, ..., еп, ... } — базис гильбертова пространства Н. М = £{ei, .. .,еп}, т. е. М является линейной оболочкой системы

{ei, . ..,еп}, то 7гм(т) = ^ (ж, e&) е^. Таким образом, к м^х^ — п-я

частичная сумма ряда Фурье для х.

Замечание. Свойство 3 означает, что тгм(т) — наилучшая аппроксимация (оценка) элемента х элементами из подпространства М, а х — тгм(х) представляет собой ошибку указанной аппроксимации. В частности, если М = £{ei, ..., еп}, то тгм(х) является наилучшей оценкой среди всех оценок, представимых в виде линейной комбинации элементов {ei, . ..,еп}, т. е. является наилучшей линейной оценкой.

Метод построения указанных аппроксимаций (с использованием проекции тгм) называют методом наименьших квадратов.

Необходимые сведения из теориивероятностей

Случайные события и их вероятности.

Определение 14.1. Совокупность объектов {Q,^7, Р}, где

Q — пространство элементарных событий ш^

Т — а-алгебра подмножеств пространства Q, образующих систему случайных событий,

Р — нормированная (т. е. P{Q} = 1) мера на Т7, называется вероятностным пространством, а мера Р — вероятностной мерой или просто вероятностью.

Замечания. 1) Предполагается, что {Q,^7, Р} — полное вероятностное пространство (см. п. 13.2).

Над случайными событиями из Т можно совершать действия (аналогичные действиям над множествами), для которых мы будем использовать следующие обозначения:

А + В = АиВ, АВ = А П В, А \ В, А = Q \ А,

52^и = и^ П^ = П^ь

кккк

где событие А называется противоположным А.

Вероятность Р{-} обладает следующими свойствами:

0 ^ Р{А} С 1 для любого события А Е 7*,

P{Q} = 1, где Q — достоверное событие',

Р{0} = 0, где 0 = Q — невозможное событие*,

Р{А + В} = Р{А} + Р{В}, если АВ = 0, т. е. события А и В несовместны*,

Р{А + В} = Р{А} + Р{В} — Р{АВ} для любых двух событий А, В Е У*,

Р{А} ^ Р{В}, если АСВ (т. е. А — частный случай события В).

Замечание. Указанные свойства следуют из общих свойств меры (см. п. 13.2). Свойство 4 распространяется очевидным образом на любое конечное или счетное множество несовместных событий:

P{ZL ^} = 52 РМЛ, AkGJ, АтАп = 0 при т^п.

Vk=lк=1

Определение 14.2. События А и В называются независимыми, если Р{АВ} = Р{А}Р{В}. События {Ап} независимы в совокупности, если для любого конечного набора событий АПк, к = 1, ...,т

{

тт

П АПк } = П P{Anfc}, k=ik=i

где т может равняться сю.

Определение 14.3. Условной вероятностью события А относительно события В, такого, что Р{В} > 0, называется величина

Если события А, В независимы и имеют положительные вероятности, то Р{А | В} = Р{А} и Р{В | А} = Р{В}.

Пусть события Bi, ..., Hn Е Т удовлетворяют условиям:

Р^Нк^ > 0 при всех к*,

НтНп = 0, если т ^ щ

N

£ н^ = ^ k=i

тогда для любого А Е 7 справедлива формула полной вероятности*.

N

Р{А}=^Р{Нк}Р{А\Нк}.

к = 1

События {7Д} обычно называют вероятностными гипотезами.

14.2. Случайные величины и векторы.

Определение 14.4. Случайной величиной (СВ), определенной на {Q, Т7, Р}, называется числовая функция ^(со^ со Е Q. измеримая относительно У.

Определение 14.4 означает, что для всякого борелевского подмножества ВСЕ1 множество

С\В) = Ц € Я: £(Д е В}(14.1)

является случайным событием.

Далее для краткости будем опускать аргумент со: £, Д Е В} и т. п.

В силу теоремы 13.5 сумма, разность, произведение и частное двух случайных величин (при условии, что знаменатель не обращается в нуль) также являются случайными величинами.

Определение 14.5. Две случайные величины £ и ц, заданные на {Q,^7, Р}, называются эквивалентными^ если

PR ^ г,} = 0.

Если некоторое утверждение относительно СВ £ (или совокупности СВ) выполнено для всех со Е Q \ А, причем Р{А} = 0, то говорят, что это утверждение выполнено почти наверное по мере Р (или с вероятностью 1). Мы будем сопровождать соответствующее утверждение знаком (Р-п.н.). Например, если £ и ц эквивалентны, то £ = п (Р-п.н.).

Из теоремы 13.4 следует, что если £ — случайная величина, а д^р ж Е R1, — борелевская функция, то д(£) также является случайной величиной, так как функция у (со) = д(^ (со)) со Е Q является ^-измеримой. В частности, любое непрерывное преобразование СВ £ приводит к СВ ц (т. е. свойство ^-измеримости сохраняется).

Определение 14.6. Пусть £ — некоторая случайная величина. Наименьшую ст-алгебру, содержащую события вида

= {е е в}, вев^1),(14.2)

будем называть а-алгеброй, порожденной случайной величиной £. Эта ст-алгебра обозначается У^ а также сг{£}.

По определению Т^ С Т. Введенная сг-алгебра Т^ состоит из всех случайных событий А Е 7, о наступлении которых мы можем судить, наблюдая СВ ф

Теорема 14.1. Пусть р^х) — произвольная борелевская функция, тогда СВ 77 = р(£) является Т^-измеримой. Наоборот, если некоторая СВ 77 является Т^-измеримой, то существует борелевская функция р^х), такая, что 77 = p^Y

Определение 14.7. Функция Е^х) = Р{^ ^ ж}, ^ € R1, называется функцией распределения СВ ф

Функция распределения Е^(х) обладает всеми свойствами функции распределения меры на измеримом пространстве {R1, ^(R1)} (см. определение 13.9, которое полностью применимо с учетом соотношения //(R1) = 1).

Для любой функции распределения Е(х) существует полное вероятностное пространство {Q, Т, Р} и заданная на нем СВ £, такая, что ОД = FUY

Рассмотрим конкретные типы функций распределения.

Определение 14.8. Если СВ £ принимает значения из конечного или счетного множества {ai, ..., ап, ... } с вероятностями соответственно {pi, ... ,рп, ... }, где рп > 0, ^рп = 1, то говорят, что случайная величина является дискретной (или имеет дискретное распределение). Ее функция распределения имеет вид

f^x) = У рь жек1.

к : а к ^.х

Таким образом, функция распределения дискретной СВ имеет разрывы первого рода в точках а^ а Е^а^) — Е^а^—) = Рк — величины скачков. При этом для любого множества В Е S(RX)

Р^ев}= £ Рк.

к: акЕВ

Если множество значений, которые принимает дискретная СВ, конечно, то ее функция распределения кусочно постоянна.

Функция множества РДВ) = Р{£ Е В} является мерой на S(RX) и называется законом распределения СВ ф При этом F^ (х) является функцией распределения этой меры (см. п. 13.3). При определенных условиях мера РДВ) абсолютно непрерывна относительно меры Лебега на S(RX), т. е. F^(х) имеет плотность распределения p^xY

Определение 14.9. Если функция распределения F^(х) случайной величины £ допускает представление

ГОД = J p^y)dy, где р^ > О, J p^y)dy = l,

а интеграл понимается как интеграл Лебега, то СВ £ называется абсолютно непрерывной (имеет непрерывное распределение). Для любого множества В Е B(R1)

Р$(5) = J Р^Му-

В

Функция р^<у) называется плотностъю распределения СВ £.

dF^x)dxdF^x)dxЗаметим, что функция F^x) в данном случае не имеет разрывов

dF^x)dx

dF^x)dx

= р^\= р^\и почти всюду на R1 дифференцируема:

= р^\

= р^\

В общем случае функция распределения F^x) непрерывна справа в каждой точке разрыва х Е R1. Для вычисления вероятности события {£ Е В}, где В Е B(R1), следует вычислять интеграл Лебега-

Стилтьеса:

Р^ЕВ^ = рЗД = Р^(В),вР^ЕВ^ = рЗД = Р^(В),вВ Е В^1).В Е В^1).

Р^ЕВ^ = рЗД = Р^(В),в

Р^ЕВ^ = рЗД = Р^(В),в

В Е В^1).

В Е В^1).

Предположим, что СВ £i, ... Дп определены на одном вероятностном пространстве {Q, ТР}. Тогда упорядоченный набор п случайных величин £ = {£i, ... Дп}* будем называть п-мерным случайным вектором.

Определение 14.10. Наименьшую сг-алгебру, содержащую все события вида

f1(B) = {^eB}, вев^Г),(14.з)

будем называть а-алгеброй^ порожденной случайным вектором £. Эта сг-алгебра обозначается <т{£} или F^.

Определение 14.11. Функция

F^x^^ ..., хп) — Р{£1 ад, .. ., ^п , ад, ..., хп Е R ,называется функцией распределения п-мерного случайного вектора £.

Функция распределения случайного вектора обладает всеми свойствами функции распределения меры на измеримом пространстве {Rn,B(Rn)} (см. определение 13.12, которое полностью применимо с учетом соотношения ц(Жп) = 1).

Для любого борелевского множества В Е B(Rn) вероятность случайного события {£ Е В} вычисляется как интеграл Лебега:

Р^(В) = Р{£ Е В} = j dF^, ..., хп).

в

Мера Р^(-) на В(Жп) — закон распределения случайного вектора ^ заданный с помощью F^x-^ ... ^хп). Если Р^(-) имеет плотность, т. е.

р{£ев} =...,y^dyi...dyn VBeB(r),

В

ТО

. ,ж„) = j •■• | Р$(Уь

Определение 14.12. Случайные величины {Д, . ,.ДП} независимы в совокупности, если для произвольного набора множеств Bi, ..., Вп Е Б^1) случайные события {£1 Е Ву^, ..., {<Д Е Вп} независимы в совокупности.

Теорема 14.2. Для того чтобы случайные величины {£i, ... Дп} были независимы в совокупности, необходимо и достаточно, чтобы для всех Ху, ... ,хп Е R1

(жд • • •) ^n) = J7 ^к (xk)‘k=i

Общий способ определения независимости случайных событий и величин состоит в следующем. Пусть Ту С Т и Т^ С Т — некоторые сг-алгебры случайных событий. Системы Ту и Т^ называются независимыми, если независимы любые два события А Е Ту и В Е Т^, т. е. Р{ЛВ} = Р{А}Р{В}.

Теперь нетрудно определить понятие независимости СВ £ и ту: £ и ту независимы тогда и только тогда, когда независимы сг-алгебры Т^ и Тп. В частности, СВ £ не зависит от случайного события А, если А и Т^ независимы (т. е. независимы А и любое В Е Т^\ Эти понятия будут использованы в дальнейшем при построении условного математического ожидания.

В общем случае случайная величина £ может принимать комплексные значения, т. е. £ = а + г^, где а, 3 — СВ, заданные на {Q, Т, Р}, а г2 = — 1. Изучение комплексной СВ фактически сводится к изучению двумерного случайного вектора {сд/З}*.

Приведем примеры некоторых наиболее важных законов распределения.

Дискретная СВ £ имеет биномиалъное распределение с параметрами (N;p), где 0 < р < 1, и обозначается £ ~ Bi(7V;p), если

Р{£ = m} = C^pmqN~m, m = 0,l, ...,N,

Nl

где C^ = ——— — число сочетаний из TV по m, q = 1 — р. Рас-

N m\^N -mY' 41

пределение Bi(l;p) называется распределением Бернулли.

Дискретная СВ ^ имеет распределение Пуассона с параметром А > 0 и обозначается ^ ~ П(А), если

Р{£ =е-х, т = 0,1, ...

т\

19 Б.М. Миллер и А.Р. Панков

Непрерывная СВ £ имеет равномерное распределение на отрезке [а, Ь\ и обозначается £~7£(а,6), если ее плотность распределения имеет вид

{

1/(Ь — а)^ если х 6 [а,5],

0,если х ^ [tz, bY

Непрерывная СВ £ имеет экспоненциальное (или показательное) распределение с параметром А > 0 и обозначается £ ~ Е(Ху если

Непрерывная СВ £ имеет гауссовское (или нормальное) распределение с параметрами (т; а2), где а > 0, если

Р5(ж) =Р5(ж) =1,— ехр V^ko"1,— ехр V^ko"х е R1.х е R1.

Р5(ж) =

Р5(ж) =

1

,— ехр V^ko"

1

,— ехр V^ko"

х е R1.

х е R1.

Для гауссовского распределения используется обозначение ЛГ^т^ ст2).

Числовые характеристики этих распределений приведены в следующем пункте.

Математическое ожидание.

Определение 14.13. Математическим ожиданием (или средним) СВ ^ определенной на {Q,^7, Р}, называется число

(14.4)(14.4)М{£} = т^ = j ^(w) P(dw).

(14.4)

(14.4)

Q

Математическое ожидание определено, если интеграл Лебега в правой части равенства (14.4) существует.

Таким образом, математическое ожидание СВ £ есть интеграл Лебега от функции ^(ш) на Q по вероятностной мере Р. Если Р^(-) — закон распределения СВ £ на S^1), a F^(y) — соответствующая функция распределения, то М{£} можно вычислить следующим образом:

(14.5)(14.5)М{Д = j yP^d^ = | ydF^,Ri-oo

(14.5)

(14.5)

причем первый интеграл понимается как интеграл Лебега по мере Р^-), а второй — как интеграл Лебега-Стилтьеса. Существование интегралов в правой части (14.5) вытекает из существования математического ожидания, и наоборот, из существования интегралов следует

существование математического ожидания. Формула (14.5) следует из (14.4) и теоремы 13.15 о замене переменной в интеграле Лебега.

Если функция распределения F^x) является комбинацией абсолютно непрерывной и дискретной составляющих, т. е. допускает представление вида

Щж) = J p^dy + у Рь

где р^у) ^ 0, apj- > 0 — величина скачка в точке разрыва а^, то (14.5) принимает вид

МШ = J yp^dy + ^ркак.— оок

СВ £ называется центрированной^ если М{£} = 0.

Основные свойства математического ожидания вытекают из свойств интеграла Лебега (см. п. 13.5).

Математические ожидания М{£} и М{|£|} существуют и конечны одновременно, причем |М{£} |М{|£|}.

М{1^} = j 1д(ш) P(dw) = Р{Л}, где 1д — индикатор события

А еп

Если М{£} существует, то для любой константы А

М{А£} = АМ{£}.

Если М{£} и М{ц} существуют и конечны, то mr + ^мщ+мш.

Если £ ц, то М{£}М{ц}.

Если р(х) — борелевская функция, то

МЫШ = J V^dF^xY

где математическое ожидание и интеграл существуют или не существуют одновременно.

Если М{£} определено, то для каждого А Е У существует

А

Если ^ ^ 0 (Р-п.н.), а также М{£} < сю, то функция множества 9{Л} = М{^1^}, А Е У, является конечной мерой на У.

Если ^ ^ 0 (Р-п.н.), М{£} < сю и е > 0, то

PR > 4 < ^1.

Если М{|£|р} < сю при р > 0, то выполняется неравенство Маркова

Если ^ = {^i, ...,£п}* — n-мерный случайный вектор, то его математическим ожиданием называется вектор

М{Ц = {М{Щ, ...,М{Ы}*.

Определение 14.14. Комплексная функция Ф^(А), А G Rn,

Ф€(А) = M|eiA*^ = j eix*xdFeHV

называется характеристической функцией распределения F^x\

Теорем а 14.3. Характеристическая функция однозначно определяет функцию распределения, т. е. если СВ £ и СВ ц имеют одну характеристическую функцию Ф^(А) = ^(А), Ас1Г то F^ = F^x\ х е Rn.

Использование аппарата характеристических функций позволяет исследовать зависимость случайных величин в силу следующего утверждения.

Теорема 14.4. Случайные величины {£д ^ = 1, ...,п} независимы тогда и только тогда, когда

T^(Ai, ..., Ап) = П Ф^ (AJ,г=1

где Ф^(А1, ..., Ап) — характеристическая функция случайного вектора £ = {£i, ..., £п}*, а Ф^(А^) — характеристическая функция СВ 6,^ = 1, ---.п.’

Определение 14.15. Дисперсией D{£} СВ £ называется число

D{0 = Д = M{|^-m€|2}= | \u-m^dF^Y

Из определения и свойств интеграла Лебега следует:

D{$} > 0;

D{a£ + 5} = |a|2D{^}, если a,b = const;

зщ{Ёд} = £п{Щ, если О{Д} < оо, а СВ {^} — незави- 4 = 1/с = 1

симы в совокупности;

П{Ц = М{№}-К|2;

если М{|£|2} < сю, то выполнено неравенство Чебышева

Р{|^-т€|>£}^^1.

Определение 14.16. Ковариацией случайных величин £ и у называется величина

cov{£,7?} = МЩ-т5)(т7-7п,;)|,

где (•) — знак комплексного сопряжения.

Если £ = {^i, . ..,4}* — n-мерный случайный вектор, то его ковариационной матрицей называется матрица R^ = {cov{^,^}}. Очевидно, что R^ = м|^ | — т^т^*.

Перечислим важнейшие свойства ковариации.

Если М{|£|2} < сю, М{|ц|2} < сю, то ковариация СВ £, ц существует и удовлетворяет неравенству Коши-Бунжовского:

|cov{£, 77} |2 < П{ОП{Ч}.

Если М{£} = М{ц} = 0, то cov{£,?7} = (£,??) — скалярное произведение случайных величин £,ц.

Если £ и ц независимы, то соу{^,ц} = 0.

ОЩ = cov{£,£}.

D Д + Л = ВЮ + DW + 2 cov{£, 77}.

Если cov{£,?7} = 0, то СВ £ и ц называются некоррелированными или ортогональными, что обозначается £ -L ц.

Приведем числовые характеристики (т. е. математические ожидания и дисперсии) случайных величин, рассмотренных в конце п. 14.2.

Биномиальное распределение с параметрами (N-,p):

т^ = Np, D^ = Npq.

Распределение Пуассона с параметром А > 0:

т^ = D^ = А.

Равномерное распределение на отрезке [а, 6]:

а + 6(Ь-а)2

Экспоненциальное распределение с параметром А > 0:

1 п 1

Гауссовское распределение с параметрами (т;сг2), а > 0: т^ = т, D^ = <т2.

14.4. Последовательности случайных величин. Будем далее предполагать, что случайные величины {£п, п = 1,2, ... } заданы на одном и том же вероятностном пространстве {Q,^7, Р}.

Определение 14.17. Последовательность случайных величин {^} называется сходящейся почти наверное (Р-п.н.) к СВ £, если

P{w е Q: lim £п(си) = £(с^)} = 1.

В этом случае используются обозначения: £п —> £ (Р-п.н.) или л п.н. ллл

5п > С п сю, а также говорят, что £п сходится к £ с вероят

ностью 1.

Следующие результаты вытекают из теорем о предельном переходе под знаком интеграла Лебега и задают правила предельного перехода под знаком математического ожидания.

Теорем а 14.5. Если последовательность {£п} сходится к £ (Р-п.н.) и найдется СВ ц, такая, что |£п| ^ q (Р-п.н.) для всякого п и МД} < сю, то

М{|Ш<оо, МДД^МД}

и

М{|£п — ^|} ^ 0 при п -д сю.

Теорем а 14.6. Пусть ц, £i, £2? • • • — случайные величины.

Если £п ^ ц для всех п ^ 1, где М{ц} > —сю, и £n f £ (Р-п.н.), то МД„} t МД} при п -д сю.

Если ^п С й для всех п ^ 1, где М{ц} < сю, и £п 4- £ (Р-п.н.), то м{£п} 4 м{0 при п -д сю.

Теорема 14.7. Пусть последовательность {£п} неотрицательных случайных величин сходится (Р-п.н.) к СВ £, причем существует такая константа К < сю, что М{£п} ^ К для всех п. Тогда МД} существует и М{£} К.

Определение 14.18. Последовательность {£п} случайных величин называется сходящейся по вероятности к СВ £, если для любого Е > 0

lim Р{|Д-€| >4 = 0.

Теорема 14.8. У любой последовательности случайных величин {^n, п = 1,2, ... }, сходящейся по вероятности к £, найдется подпоследовательность {^}, такая, что Дк П'Н' > £ при к -Д ос.

Определение 14.19. Последовательность {£п} случайных величин называется фундаментальной по вероятности, если для любого Е > О

lim Р{|Д - Д,| > Д = 0.

п,т—>эс

Теорема 14.9. Для сходимости последовательности {£п} ^о вероятности необходимо и достаточно, чтобы последовательность была фундаментальной.

Аналогичный критерий существует и для сходимости (Р-п.н.).

Теорема 14.10. Для сходимости последовательности {£п} (Р-п.н.) необходимо и достаточно, чтобы последовательность была фундаментальной (Р-п.н.), т. е. для любого е > 0

lim P{sup |Д+А: - Д | > £} = 0.

Определение 14.20. Последовательность {£п} случайных величин называется сходящейся в среднем порядка р > 0 к СВ £, если

Jim М{|Д-£|Д = 0.

При р = 2 этот вид сходимости называется сходимостью в среднем квадратическом (или с.к.-сходимостью) и обозначается £ = l.i.m. £п или ^п С'К' > %, п -Д сю. Среднеквадратическая сходимость имеет особое значение в теории случайных процессов.

Приведем важнейшие свойства с.к.-сходимости.

Критерий Коши. Для того чтобы существовал с. к.-предел £ последовательности СВ {£п} при п -Д сю, необходимо и достаточно, чтобы {£п} была фундаментальной в с.к.-смысле:

М{|Д - £m|2} -> о при n,m—>оо.

Пусть Д с’к’ > £ при п —т- оо, причем М{|Д|2} < оо, тогда М{|£|2} < оо и

lim М{Д} = M{l.i.m. Д } = М{Ц; п—>ооп—>оо

lim М{|£„|2} = М{|1л.тД„|2} = М{|£|2} . п—>ооп—>оо

Если {Д}, {>7п} — последовательности СВ, М{|Д|2} < оо, М{|т7„|2} < оо и Д ^, Т]н ПрИ п оо, то

М{6Д„}М{^т?} при п -д сю.

Лемма Лоэва. Последовательность СВ {£п} имеет с.к.-предел тогда и только тогда, когда существует lim М{£ £m} = с. При этом с =где £ = l.i.m. £п.

Наиболее слабый вид сходимости — сходимость последовательности по распределению.

Определение 14.21. Последовательность {£n, п = 1, 2, ... } случайных величин называется сходящейся -по распределению (или слабо сходящийся) к СВ £, если для любой равномерно ограниченной непрерывной функции /(ж), ж G R1,

Jim М{/(^)} = М{/(0}.

Если через Fn(x) обозначить функцию распределения £п, а через F(x) — функцию распределения £, то для слабой сходимости последовательности {^} к £ необходимо и достаточно, чтобы Fn(x) -Д F(x) при п -Д сю в каждой точке х Е R1, в которой F(x) непрерывна. При этом, если F(x) — непрерывная функция, то {Еп(х)} сходится к F(x) равномерно на R1, т. е.

sup |Еп(х) — Е(х)| -Д 0, п сю.

Соотношения между всеми типами сходимости описываются теоремой.

Теорема 14.11. Справедливы следующие утверждения:

сходимость (Р-п.н.) ==> сходимость по вероятности;

сходимость в среднем порядка р > 0 =^ сходимость по вероятности^

сходимость по вероятности ==> сходимость по распределению;

если £п слабо сходится к константе а, то £п сходится к а и по вероятности.

14.5. Условное математическое ожидание. Пусть задано вероятностное пространство {Q, FР}, Q — некоторая а-алгебра случайных событий, т. е. Q С Fа £ — СВ, такая, что М{|£|} < сю.

Определение 14.22. Условным математическим ожиданием СВ £ относительно Q называется случайная величина, обозначаемая М{£ | 5} и удовлетворяющая следующим условиям:

М{£ | 5} является ^-измеримой;

для любого множества А Е б выполняется равенство

Р(^) = М{£ | 9} И Р(ЧР(^) = М{£ | 9} И Р(Ч(14-6)(14-6)

Р(^) = М{£ | 9} И Р(Ч

Р(^) = М{£ | 9} И Р(Ч

(14-6)

(14-6)

Теорема 14.12. Условное математическое ожидание СВ £ определено единственным образом (Р-п.н.).

Свойства условного математического ожидания. Следующие свойства условного математического ожидания непосредственно вытекают из определения 14.22.

Если ^ = С = const (Р-п.н.), то М{£ | 5} = С (Р-п.н.).

Если £ ^ ту (Р-п.н.), то MR | Д < М{/, | Д (Р-п.н.).

|м{д дкмш|д (р-п.н.).

Если а.Ь — константы, а £, у — случайные величины, такие, что МЖ1} < сю, ММ < сю, то

М{< + м 5} = « W I 5} + 6 МД I 5} (Р-П.Н.).

Пусть Q = {0, Q} — тривиальная сг-алгебра, тогда

М{£ |5} = М{0 (Р-п.н.).

Если СВ £ измерима относительно 5, то М{£ | 5} = £ (Р-п.н.).

М{М{£ | 5}} = МШ (Р-п.н.).

Если 5i С 52, то

м{м{£ 152} । ел = м{£ । ел (р-п.н.).

Если 02 С 51, то

М{М{£ | 52} | 51} = М{£ | 52} (Р-п.н.).

Если СВ £ не зависит от 5 (т. е. У^ не зависит от 5), то

М{£ |5} = МШ (Р-п.н.).

Пусть ту измерима относительно 5 и М{|£ту|} < сю, тогда

М{^|5} = т?М{^|5} (Р-п.н.).

Неравенство Йенсена. Пусть д(х) — выпуклая вниз функция, такая, что М{|^(^)|} < сю, тогда

у(мд I д» < м{<) | д) (Р-п.н.).

Пусть ту — произвольная 5-измеримая случайная величина. Если М{|£|2} < сю, М{|ту|2} < сю, то

М{|£ - М{£ | Д |2} < М{|е - ту,2} (Р-п.н.).

Определение 14.23. СВ М{£ | У11^ = М{£ | ту}, где У4 = <т{ту}, называется условным математическим ожиданием СВ £ относительно СВ ту 6 1П.

Теорема 14.13. Существует борелевская функция д^, х Е Rn, такая, что MR I г?} = 5(77) (Р-п.н.).

Пусть £ — оцениваемая СВ по наблюдениям, образующим случайный вектор т] Е Rn, а д(х), х Е Rn, — борелевская функция. Тогда будем говорить, что £ = д(д) — допустимая оценка для £ по наблюдениям д.

Определение 14.24. Допустимая оценка ^ = д(д) называется с. к.-оптимальной оценкой для £ по наблюдениям ц, если для любой допустимой оценки £ = д^ выполнено

м{Ц - €12} м{Ц - €12}-

Теорема 14.14. Пусть М{|£|2} < сю, тогда с.к.-оптимальная оценка имеет вид

1= М{< | ц} (Р-п.н.).

Замечание. Предположение о том, что д(х) — борелевская функция, означает, что £ = д(ц) — случайная величина. Утверждение теоремы 14.14 имеет важное практическое значение, так как мы получаем общий алгоритм построения с.к.-оптимальной оценки £ для СВ £ по наблюдениям ц.

Определение 14.25. Пусть А Е Т и Р{Л} > 0. Условным математическим ожиданием СВ £ относительно случайного события А называется СВ

MR I -4} =| W (14.7)

А

Пусть события Ну, ...^Hn образуют систему вероятностных гипотез (см. п. 14.1). Если М{£} существует, то его можно вычислить по формуле полного математического ожидания:

мш = 1ЖЖ |яд,

k=i

где М{£ | Н^ вычисляется по формуле (14.7).

В заключение пункта рассмотрим практический способ вычисления функции М{£ | ц = у^ = д{у), у Е^, где £ Е Rm, у ЕЖП. Пусть существует совместная плотность распределения р^ ^х, у) случайных векторов £ и ц. Тогда

<?(у) = J жр^(х I уЫ^(14.8)

где Р^^ж | у) = р^ ^х, уУр^у) — условная плотность СВ £ при условии, что у = у, Р^у) = р^ (x,y)dx — n-мерная плотность СВ ц,

причем р^у) ф 0. Если же рл(у) = 0, то полагают, что Р^Л | у) = 0. Формула (14.8) позволяет вычислить реализацию оценки £ = g(jf) при условии, что имеется реализация у Е Rn случайного вектора наблюдений ц € Rn.

14.6. Гауссовские случайные величины и векторы.

Определение 14.26. Функция

Ф(х) = —^= f /2 dy. х Е R1,

- ОО

называется интегралом вероятностей или функцией Лапласа.

Определение 14.27. Случайная величина £ 6 R1 называется гауссовской или нормальной с параметрами (т;сг2), где а > 0, если

Щя) = Р{£(14.9)

Так как функция Лапласа Ф(х) непрерывно дифференцируема на R1, распределение F^x^ гауссовской СВ имеет плотность

Из определения 14.27 следует, что

M^ = m, D{^} = a2.

Для обозначения гауссовской СВ будем писать £ jV^m^a^y Вероятность попадания £ в произвольный интервал (рц Р) С R1 можно вычислить по следующей известной формуле:

Р ~ т\

Р{о<6<.3) = »(^)

Случайная величина £ с распределением АДО; 1) называется стандартной гауссовской. Из (14.9) следует, что ее функция распределения совпадает с Ф(хУ

Замечание. Свойство гауссовости распределения сохраняется при линейном преобразовании СВ £. Пусть £ ~ М(т^ D^y а ц = аЕ, + Р^ где а^Р Е R1, тогда ц ~ АГ^т^ D^y где т^ = ат^ + /3; Dn = o?D^.

Для описания гауссовского случайного вектора (т. е. упорядоченной системы гауссовских СВ) удобно воспользоваться аппаратом характеристических функций.

Пусть £ = {^i, ... , £п}* — вещественный случайный вектор с математическим ожиданием т^ = {т^ , ..., т^У и ковариационной матрицей R^ = {cov{^, ^jY^ij^ ...п- Пусть также х = {xi, ... , xn}* Е Е Rn, ^(т) — п-мерная функция распределения СВ ^ а г — мнимая единица, т. е. г2 = — 1.

Теперь мы можем ввести понятие гауссовского случайного вектора.

Определение 14.28. Случайный вектор £ Е Rn имеет п-мерное гауссовское распределение с параметрами ^m^R^Y если его характеристическая функция имеет вид

Фе(А) = ехр{гА*т$- |а*ДД}, AeF,

где т^ — математическое ожидание, a R^ — ковариационная матрица.

Замечания. 1) Нетрудно проверить, что любая компонента ^ гауссовского вектора £ имеет распределение АГ^т^ D^Y где т^ — &-й элемент вектора т^, a D^ — k-a диагональный элемент матрицы R^.

Если матрица R^ > 0 (т. е. положительно определена), то F^x) имеет плотность распределения р^ (х) , х Е Rn:

р^х^ = (27r)-n/2(det[^])-1/2 exp { — ^х — т^)*R^1 (х — т^)} ,

где det\RY > 0 — определитель матрицы R^.

Гауссовские векторы обладают серией замечательных свойств, важнейшие из которых перечислены ниже.

Если cov{£,?7} = М{£ц*} — т^т* = 0, а вектор 7 = {£*,??*}* — гауссовский, то £ и ц — независимы.

Пусть £ ~ ЛГ(т^; R^Y а Л = ^-£ + Ъ, где А Е ЖтХп, b Е Rn, тогда у ~ ATQm^ R^Y где

тл = Ат^ + 6; Rn = AR^A*.

Пусть {£п} — последовательность гауссовских случайных векторов. Если ^п С'К' > п ос, то £ ~ АГ(т^ R^Y гДе т£ = 1™ М{£п}, a Re = lim cov{£n,£n}, причем указанные пределы существуют и п—>оо конечны.

Если {^п} — последовательность гауссовских СВ и ^п —^, п -Д ос, то ^п С'К'> ^ п -Д оо (в общем случае это не верно!).

(Теорема о нормальной корреляции). Пусть 7 = {^*,77*}* — гауссовский вектор, такой, что R^ > О, тогда

условное математическое ожидание имеет вид

е = М{£ | ту} = т^ + R^R"4t] - тЛ,(14.10)

± т. е. £ и £ — £ — независимы*,

если Д£ = £ — £, то

М{ДД = О, cov{A£, ДО = Я5 - R^R-^,

-условное математическое оснсидание £ имеет гауссовское распределение с параметрами (т^ R^R^R^), где

Я$ = СОу{£,Ц, ^ = cov{£, 77} , Д, = СОуД.Г,} .

Замечание. Теорема о нормальной корреляции дает явный вид (14.10) с.к.-оптимальной оценки £ = М{£ | ц} для £ по наблюдениям у в гауссовском случае. Заметим, что £ линейно зависит от у.

Если {7, £, 77} составляют гауссовский вектор, а £ и ц — некоррелированные, то

М{7 Ц, О = М{7 I О + М{7 I 77} - тт

Если компоненты вектора £ = {£1, ...,£п}* — гауссовские и независимые в совокупности, то £ — гауссовский случайный вектор.

Пусть {£^, к ^ 1} — последовательность независимых одинаково распределенных случайных величин с М{^} = а и П{£Д = ст2 > 0. Обозначим Sn = £1 + ... + £п. Очевидно, что M{Sn} = па^ D{Sn} = = по-2 > 0. Тогда СВ (п = (8п — па)/(сг^/п) является центрированной (М{£п} = 0) и нормированной (D{£n} = 1) суммой случайных величин {£ь к < п}.

Теорема 14.15 (Центральная предельная теорема). Последовательность случайных величин {£п, п ^ 1} сходится по распределению к стандартной гауссовской случайной величине (, т. е.

P{£n С ^} ~> Ф(х) при п —> ос равномерно по х Е R1.

Замечание. Любая последовательность случайных величин, слабо сходящаяся к некоторой гауссовской СВ, называется асимптотически нормальной. Центральная предельная теорема устанавливает свойство асимптотической нормальности для последовательности центрированных и нормированных сумм произвольных независимых одинаково распределенных случайных величин, имеющих конечные дисперсии.

14.7. Гильбертово пространство случайных величин с конечным вторым моментом. Для вероятностных приложений наиболее важным является пространство Н случайных величин £, определенных на одном и том же вероятностном пространстве {ЦТ7,?}, центрированных и имеющих конечный второй момент:

М{£} = 0 и j |ДД|2Р((/Д = М{|£|2} < оо.

Если ^.у Е 14, то положим

(С, Г?) = М{Ст?} = cov{C, 77} .

Справедливы следующие свойства операции (•, •):

(€?€)0; если (£, £) = 0, то £ = 0 (Р-п.н.);

(а£ + Ьт]^ () = а(^ () + &(ц, £) для любых a, b Е С;

(??,£) = К, 7?), где Сп^ Н.

Тем самым (•, •) является скалярным произведением и определяет норму в пространстве 4^:

Ш1 = М1/2.

Если £п —> ^ п —> ос в 4/, то М{|£п — £|2} —> 0. Таким образом, сходимость в 4/ означает с.к.-сходимость. В силу свойств с.к.-сходимости заключаем, что если {£п} фундаментальна, то она сходится к некоторой СВ £, причем ||^||2 = М{|£|2} < ос, т. е. ^ Е 14. Последнее означает, что 14 — пространство со скалярным произведением, полное относительно сходимости по норме, порожденной этим произведением. Итак, 14 — гильбертово пространство случайных величин с конечным вторым моментом.

Если £, у Е 14 и (£, ц) = 0, то эти СВ называются ортогональными, что обозначается как £ Т у. Понятие ортогональности играет важную роль в задачах оценивания случайных величин.

Пусть £,Ц1, .. .уп ^И- Предположим, мы хотим оценить случайную величину £ по наблюдениям у = {щ, . ..,цп}*. Как следует из теоремы 14.14, такой оценкой является М{£ | щ, ...,цп}. Однако вычисление условного математического ожидания требует знания совместного закона распределения всех СВ {£,771, ...,уп^, что довольно редко выполняется на практике. Если доступная информация ограничена лишь первыми двумя моментами совместного распределения и оно не является гауссовским, то можно определить наилучшую в среднеквадратическом смысле линейную оценку для £, т. е. с.к.-оптимальную линейную оценку.

Определение 14.29. Случайная величина

к=1

называется с. к.-оптимальной линейной оценкой для £ по наблюдениям {щ, ..., цп}, если для любой линейной функции l(yi, ...,уп) имеет место неравенство

М{^-^2}<М{|^-/(Ч1,...,Чп)|2}.

Теорема 14.16. Пусть ^ щ, ... .уп Е И, а Пл = cov^y, у} — положительно определенная матрица. Тогда с. к.-оптимальная линейная оценка £ вычисляется по формуле

(14.11)

где П^л = cov{£,??}. При этом

ПС - ell2 = М{|£ -tn = D$- R^R"^- (14.12)

Замечания. 1) Формулы (14.11), (14.12) идентичны формулам теоремы о нормальной корреляции, что не случайно. Действительно, для любой конечной совокупности случайных величин из TL существует семейство гауссовских случайных величин, имеющих те же моменты первого и второго порядка. Для этих гауссовских величин с.к.-оптимальная оценка для £ есть условное математическое ожидание, которое по теореме о нормальной корреляции является линейной функцией от наблюдений. Поэтому параметры, определяющие эту линейную функцию, одновременно определяют и паи лучшую линейную оценку в TL.

Заметим, что для с.к.-оптимальной линейной оценки £ также справедливо £ ± £ — £.

Если через ^(ц) обозначить замкнутое линейное подпространство, порожденное случайным вектором ц, а через тг^^-) — оператор ортогонального проектирования на ^(ц) (см. п. 13.8), то очевидно, что с.к.-оптимальная линейная оценка

Оператор ^^^ называют также оператором условного математического ожидания в широком смысле и обозначают М{ • | ц}. Таким образом, £ = М{£ | ц} — с.к.-оптимальная линейная оценка.

14.8. Ортогональная стохастическая мера. Пусть задано вероятностное пространство {Q,^7, Р} и некоторое множество Е С R1 с алгеброй 8^ его подмножеств. Пусть также 8 = <т{£0} — минимальная сг-алгебра, содержащая 8^.

Определение 14.30. Комплексная функция Zq(A) = Яо(<щ А), где w Е Q, А Е £щ называется элементарной стохастической мерой, если выполнены следующие условия:

Zq (А) — центрированная случайная величина с конечным вторым моментом, т. е. M{Zq(A)} = 0 и M{|Zq(A)|2} < ос для всех А G ^о?

если Ai П А2 = 0, где Ai, А2 Е £о, то

^(△1 U △г) = ^о(Д1) + ^0(^2) (Р-п.н.);

если {Ап} — последовательность множеств из £q, таких, что

Ai D А2 D ... D An D ... и Q Ап = 0 (т. е. An 0 при п —> ос), то П=1

М{|0о(Ап)|2} —> 0 при п —> ос.

Среди всех элементарных стохастических мер особый интерес для наших целей представляет ортогональная стохастическая мера.

Определение 14.31. Элементарная стохастическая мера 0о(А), А 6 ^0) называется ортогональной, если для любых непересека- ющихся множеств Ai,A2E£q выполнено Zq(Ai) Т 0о(А2), т. е. m{z0(Ai)Z0(A2)} =0.

Стохастическая мера 0о(*) тесно связана с некоторой неслучайной мерой, которая определена на £ = сг{£0} и вводится следующим образом. Пусть

т0(А) = M{|Z0(A)|2}, ДеА

Нетрудно проверить, что то (А) — конечная мера на £q- Тогда по теореме Каратеодори (см. п. 13.2) ее можно единственным образом продолжить до меры т, определенной на 8.

Определение 14.32. Конечная мера m(A), А Е 8, называется структурной функцией элементарной ортогональной стохастической меры 0о(А), А Е 8^.

Оказывается, меру 0о(*) можно единственным (Р-п.н.) образом продолжить до ортогональной стохастической меры Z^-), определенной на 8.

Теорема 14.17. Пусть 0О(А), А Е 8^, — ортогональная элементарная стохастическая мера. Тогда существует единственная (Р-п.н.) ортогональная мера 0(A), А Е 8, такая, что для любого А Е £о выполнено 0о(А) = 0(A) (Р-п.н.), причем

M{|Z(A)|2} = m(A), А Е 8,

где т(-) — структурная функция меры Zq(-).

Замечания. 1) Мера 0(-) является сг-аддитивной в среднеквадратическом смысле, т. е. если An Е 8, п = 1, 2, ..., Ат П А^ = 0 при

т ф к и А = У^ An Е 8, то

П=1

ГN

M||Z(A) - 52 Z(A„)| |0 при

Меру т(Д) также будем называть структурной функцией ортогональной стохастической меры Z(-) на 8. так как для любого Д Е 8 следует

т(Д) = М{|0(Д)|2}.

.9. Стохастический интеграл по ортогональной мере. Пусть ортогональная стохастическая мера Z(-) и ее структурная функция т0 заданы на 8. Рассмотрим следующие два гильбертовых пространства:

пространство L^ комплексных неслучайных функций /(А), А Е Е, с интегрируемым квадратом по мере т:

| \ДН\2т^Д <

Е

Пространство L^ является гильбертовым со скалярным произведением и соответствующей нормой:

и^ЦдхШпЦЩ, WfK =

Е

пространство И случайных величин с конечным вторым моментом (см. п. 14.7).

Следующее утверждение будет использовано при построении стохастического интеграла.

Теорема 14.18. Пусть f Е L-^ тогда найдется последовательность простых функций fn Е L-^ такая^ что

НЛг(А) —/(Л)Щ20 при п^со.(14.13)

Определим стохастический интеграл на множестве простых функций, а потом распространим это понятие на все функции из L^ пользуясь утверждением теоремы 14.18.

Определение 14.33. Пусть /(А), А Е Е — простая функция, т. е.

/(А) = ЁАМЦ(14.14)

к=1

где А С С, ^к Е 8 и Д^ О Д/ = 0 при к / I. Тогда СВ

КП = Ё

к=1

называется стохастическим интегралом от простой функции f(X) по мере Z(-).

20 Б.М. Миллер и А.Р. Панков

Из определения следует, что /(/) € ?С причем

М{|Д/)|2} = Ё |A|2rn(Afc) = | |/(A)|2m(dA) < оо.k=YЕ

Тем самым пространства 34 и L2 связаны следующим важным соотношением:

надыши

для любой простой f Е L2.

Пусть последовательность функций {/п} аппроксимирует / Е L2 в смысле (14.13). Тогда

Щ(/„) - I(/m)|| = ||/„ - frnWt 0 при П ОО

в силу фундаментальности {/п}- Таким образом, последовательность {!(/)} фундаментальна в 34 и, следовательно, сходится в 34 (т. е. в с.к.-смысле) к некоторому пределу, который мы обозначим /(/) Е 34.

Определение 14.34. Случайная величина /(/) Е 34 называется стохастическим интегралом на Е от функции f Е L2 по ортогональной стохастической мере Z(-) и обозначается

Е

Непосредственно из определения !(/) и свойств ортогональной стохастической меры следуют основные свойства стохастического интеграла.

Теорема 14.19. Пусть /, д и fn Е L2. Тогда справедливо

М{Щ)} = 0;

ЩПЛЛ = ЦЛ);

I(af + bg) = al(f) + bl(g) (Р-п.н.), где a^b Е С;

DW)} = ||/||22 = j|/(A)|2m(dA);

Е

cov{/(/),/(c/)} = (f, д} = |/(A)y(A)m(dA);

E

если fn —> f, n —> ос в L2, mo I(fn) C K' > 1(f), n 00.

Свойства 1-6 широко используются в пп. 3.3, 4.2, 4.3, 9.3 при построении спектральных разложений стационарных процессов и изучении линейных преобразований последних. Кроме того, применением таких интегралов можно ограничиться при изучении линейных стохастических дифференциальных уравнений (см. пп. 8.4, 11.3).

§15. Вычисление специальных интегралов

тек1.тек1.Интеграл вероятностей. Для вероятностного анализа гауссовского случайного процесса весьма часто приходится вычислять интеграл вероятностей (функцию Лапласа)

тек1.

тек1.

(15-1)

Обычно процедуру вычисления Ф(х) сводят к определению значения функции Ф^х^ которая отличается от Ф^х^ только нижним пределом:

dt.dt.ж > 0.ж > 0.(15-2)(15-2)

dt.

dt.

ж > 0.

ж > 0.

(15-2)

(15-2)

Из (15.1), (15.2) следует:

Ф(х) =Ф(х) =1/2 + ФоМ,1/2 -Фо(-х),1/2 + ФоМ,1/2 -Фо(-х),если х ^ 0, если х < 0.если х ^ 0, если х < 0.(15.3)(15.3)

Ф(х) =

Ф(х) =

1/2 + ФоМ,

1/2 -Фо(-х),

1/2 + ФоМ,

1/2 -Фо(-х),

если х ^ 0, если х < 0.

если х ^ 0, если х < 0.

(15.3)

(15.3)

Для приближенного вычисления Фо^ можно воспользоваться следующим соотношением:

Г246

(15-4)(15-4)X л X х Xх х

(15-4)

(15-4)

” 21! 3 + 22 • 2! • 5 ” 23 • 3! • 7 + ‘ “

причем (15.4) применяется при х ^ 3, а для х > 3 можно использовать асимптотический ряд:

ж 1Мх) = 2ж 1Мх) = 2е-72е-72ЬТ5 + ЬЗ-бЧ- 1х6х8АЬТ5 + ЬЗ-бЧ- 1х6х8А

ж 1

Мх) = 2

ж 1

Мх) = 2

е-72

е-72

ЬТ5 + ЬЗ-бЧ- 1

х6х8А

ЬТ5 + ЬЗ-бЧ- 1

х6х8А

Соотношения (15.3)-(15.5) позволяют вычислять значение функции Ф(х) с любой точностью, варьируя число членов в разложениях (15.4), (15.5).

Интегралы от дробно-рациональных функций. Вычисление дисперсии стационарной случайной последовательности с дробно-рациональной спектральной плотностью сводится к вычислению интеграла от дробно-рациональной функции

где F(x) и Н(х) — многочлены следующего вида:

F^ = ао + aix + ... + архр,

Н(х) = 6g + Ь^х + ... + Ьрхр, р ^ 1,

(15-7)(15-7)причем многочлен Н(х) — устойчивый, т. е. все его корни лежат вне круга единичного радиуса с центром в начале координат. В этом случае интеграл (15.6) при любом р ^ 1 может быть вычислен аналитически с использованием алгоритма

(15-7)

(15-7)

(15.8)

где коэффициенты {с^}, {/3g } вычисляются по рекуррентным формулам (для к = р, р — 1, ..., 0):

где обозначено у^ = ^_i/^.

Соотношения (15.9) реализуются со следующими начальными значениями:

а? = щ; /3f = bi, г = 0,1, .. .,р,

(15.10)(15.10)где {щ}, {Ь^ — коэффициенты многочленов F(x) и Н(х) соответственно.

(15.10)

(15.10)

9п(гХ)9п(гХ)hn(iX)hn(-iX) ’hn(iX)hn(-iX) ’(15.11)(15.11)Для вычисления дисперсии стационарной случайной функции с дробно-рациональной спектральной плотностью приходится вычислять интеграл

9п(гХ)

9п(гХ)

hn(iX)hn(-iX) ’

hn(iX)hn(-iX) ’

(15.11)

(15.11)

где дп(х) и Ьп(ж) — многочлены следующего вида:

(15.12)(15.12)д„(х) = Ь0ж2п 2 + biX2n 4 + ... + bn-lt /г„(ж) = аож” + «1ЖП-1 + ... + «„,

(15.12)

(15.12)

причем многочлен h^x^ таков, что все его корни имеют отрицательные действительные части (т. е. лежат в левой полуплоскости) и «о ?^ 0. В этом случае для любого n ^ 1 интеграл (15.11) вычисляется аналитически следующим образом:

CO-DnCO-Dn(15.13)

CO-Dn

CO-Dn

где

^i,i^1,2^2,1^2,2Dn = det_ ^n,l^n,2^i,i^1,2^2,1^2,2Dn = det_ ^n,l^n,2(15.14)(15.14)^1,п ^2,п^1,п ^2,п

^i,i

^1,2

^2,1

^2,2

Dn = det

_ ^n,l

^n,2

^i,i

^1,2

^2,1

^2,2

Dn = det

_ ^n,l

^n,2

(15.14)

(15.14)

^1,п ^2,п

^1,п ^2,п

dm,T = ci^m-Ti причем считается, что а к = 0, если к < 0 или к > п;

Nn = detNn = det^о bibn—l^о bibn—l^1,2 ^2,2^n,2^1,2 ^2,2^n,2^l,n ^2,n^l,n ^2,n(15.15)(15.15)

Nn = det

Nn = det

^о bi

bn—l

^о bi

bn—l

^1,2 ^2,2

^n,2

^1,2 ^2,2

^n,2

^l,n ^2,n

^l,n ^2,n

(15.15)

(15.15)

В частности, для случаев n = 1 ип = 2 из (15.13)-(15.15) следуют аналитические формулы

тЬо11 = 7Г aoc-iтЬо11 = 7Г aoc-iт aobi — a^bo

тЬо

11 = 7Г aoc-i

тЬо

11 = 7Г aoc-i

72 = 7Г

ао«1«2

Заметим, что в силу ограничений, наложенных на многочлен ИДх^ определитель Dn ф 0, поэтому интеграл (15.11) сходится.

СПИСОК ЛИТЕРАТУРЫ

Боровков А.А. Теория вероятностей. — М.: Эдиториал УРСС, 1999.

Вентцель А.Д. Курс теории случайных процессов. — М.: Наука, 1996.

Вентцель Е.С., Овчаров Л.А. Теория случайных процессов и ее инженерные приложения. — М.: Высшая школа, 2001.

Гихман И. И., Скороход А.В. Введение в теорию случайных процессов. — М.: Наука, 1977.

Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. — М.: Наука, 1987.

Дэвис М.Х.А. Линейное оценивание и стохастическое управление. — М.: Наука, 1984.

Климов Г.П., Кузьмин А.Д. Вероятность, процессы, статистика. Задачи с решениями. — М.: Изд-во МГУ, 1985.

Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. — М.: Наука, 1976.

Королюк В. С. и др. Справочник по теории вероятностей и математической статистике. — М.: Наука, 1985.

Крамер Г, Лидбеттер М. Стационарные случайные процессы. — М.: Мир, 1969.

Лебедев А.А. и др. Статистическая динамика и оптимизация управления летательных аппаратов. — М.: Машиностроение, 1985.

Льюнг Л. Идентификация систем. Теория для пользователей. — М.: Наука, 1991.

Люстерник Л.А., Соболев В.И. Краткий курс функционального анализа. — М.: Высшая школа, 1982.

Мельников А.В. Финансовые рынки: стохастический анализ и расчет производных ценных бумаг. — М.: Изд-во ТВП, 1997.

О стрем К. Введение в стохастическую теорию управления. — М.: Мир, 1973.

Пакшин П.В. Дискретные системы со случайными параметрами и структурой. — М.: Наука, 1994.

Панков А.Р. Рекуррентная условно-минимаксная фильтрация процессов в разностных нелинейных стохастических системах // Известия РАН. Техническая кибернетика. 1992. № 3. С. 71-77.

Пугачев В.С. Лекции по функциональному анализу. — М.: Изд-во МАИ, 1996.

Пугачев В. С. Теория вероятностей и математическая статистика. — М.: Наука, 1979.

Пугачев В. С., Синицын И.Н. Стохастические дифференциальные системы. — М.: Наука, 1990.

Розанов Ю.А. Введение в теорию случайных процессов. — М.: Наука, 1982.

Розанов Ю.А. Теория вероятностей, случайные процессы и математическая статистика. — М.: Наука, 1985.

Семенов В.В., Пантелеев А.В., Бортаковский А.С. Математическая теория управления в примерах и задачах. — М.: Изд-во МАИ, 1997.

Сосулин Ю.Г. Теория обнаружения и оценивания стохастических сигналов. — М.: Советское радио, 1978.

Ширяев А.Н. Вероятность. — М.: Наука, 1989.

Ширяев А.Н. Основы стохастической финансовой математики. — М.: Фазис, 1998.

Hiller F.S., Lieberman G.J. Introduction to Stochastic Models in Operations Research. — N.Y.: McGraw-Hill, 1990.

Merton R. Continuous-Time Finance. — Cambridge: Blackwell, 1990.

предметный указатель

Аддитивность 266

— счетная 265

Алгебра 264

Алгоритм рекуррентной фильтрации Калмана 111

— с.к.-оптимальной нелинейной фильтрации 117

— субоптимальной нелинейной фильтрации первого порядка 123

— условно-оптимальной нелинейной фильтрации 126

Асимптотическая нормальность 230, 301

Базис гильбертова пространства 283

— линейного пространства 280

Белый шум гауссовский 16

дискретный 16, 57, 98

многомерный 106

с непрерывным временем 27, 156

стандартный 57, 106

стационарный 57, 106, 171

широкополосный 171

Броуновский мост 49

Вектор сноса (дрейфа) 46, 236

Вероятности предельные 254

— финальные 93

Вероятностные гипотезы 286

Вероятность 284

— перехода 40, 250

за один шаг 83

— состояния 84, 250

— условная 285

Винеровский процесс 33, 205

Время возвращения в состояние 90

Дельта-функция Дирака 279

Дисперсия 292

— случайного процесса 22

Единственность (Р-п.н.) решения стохастического дифференциального уравнения 219

Закон больших чисел 69

усиленный 141

— распределения 287

Импульсный отклик 178

Интеграл Лебега 273

— Стилтьеса 277

— в среднем квадратическом 157

— вероятностей 15, 299

— по ортогональной стохастической мере 306

— стохастический Ито 214

Стратоновича 217

Интенсивность гибели 258

— однородного процесса с ортогональными приращениями 193

— перехода 251

— потока событий 247

— рождения 258

Квадратическая характеристика 136, 202

Классификация состояний марковской цепи 88

Ковариация 293

Компенсатор субмартингала 136,

200

Коэффициенты Фурье 283

Критерий Коши с.к.-сходимости 295

— регулярности стационарной последовательности 76

— с.к.-дифференцируемости 153

— с.к.-интегрируемости 157

— с.к.-непрерывности 148

— сходимости в гильбертовом пространстве 281

— эргодичности марковской случайной функции 255

цепи Маркова 90, 91

Лемма Кронекера 142

— Лоэва 296

Линейная комбинация 279

— независимость 280

— оболочка 280

— регрессия 111

— система 175

Линейное преобразование 60, 65, 175

стационарное 60, 70, 176

физически реализуемое (фильтр) 71, 181

Марковская случайная функция с дискретным множеством значений 250

однородная 251

эргодическая 254

Марковское свойство 40, 83

, альтернативная формулировка 86

Мартингал 131, 197

— квадратично-интегрируемый 136, 201

Математическое ожидание (среднее) 290

векторного случайного процесса 25

случайного вектора 292

процесса 22

условное 296

в широком смысле 303

относительно случайного события 298

случайной величины 297

Матрица диффузии 46, 236

— интенсивностей белого шума 165

— ковариационная 293

условная 117

— переходная 83

— стохастическая 85

Мера 265

— Дирака 278

Лебега (на R1) 267

на Г 269

абсолютно непрерывная 275

— вероятностная 284

— конечная 265

— нормированная 284

— ортогональная стохастическая 304

— пуассоновская 195

— элементарная стохастическая 303

Метод Эйлера 224

— моментов 226

— наименьших квадратов 284

обобщенный 115

— статистического моделирования 127

— формирующих фильтров 231

Множество борелевское 267, 269

— состояний 83

Модель наблюдения Калмана 112

стационарная 115

Модификация (версия) случайного процесса 19

непрерывная 152

Момент марковский 138

остановки 138

Независимые случайные величины 289

— события 285

— сг-алгебры 289

Неравенство Гельдера 274

— Йенсена 274, 297

— Коши-Буняковского 275, 280, 293

— Маркова 292

— Минковского 274

— Чебышева 274, 293

Норма 280

— в пространстве 7/ 52, 75, 302

Опорная траектория 122

Ортогональная проекция 284

Ортогональное дополнение 283

Ортогональные элементы 282

Отсутствие последействия 39

Оценка метода наименьших квадратов 143

— наилучшая линейная 115, 284, 302

— несмещенная 68

— прогноза сж.-оптимальная 244

— с.к.-оптимальная 110, 298

— сильно состоятельная 142

— состоятельная 68

— фильтрации сж.-оптимальная 117

Плотность переходная 41

— распределения вероятностей 288

— условная 298

ненормированная 118

Подпространство всюду плотное 281

— замкнутое 281

— линейное 279

— нулевое 280

Пополнение пространства 281

Последовательность весовая 65, 70

— предсказуемая 131

— стохастическая 131

— фундаментальная 281

по вероятности 295

почти наверное 295

Поток событий 247

без последействия 248

однородный (стационарный)

247

ординарный 247

простейший 248

пуассоновский 174, 248

Поток сг-алгебр 131, 196, 212

Почти всюду 266

Почти наверное (с вероятностью 1) 286

Прогноз абсолютно точный 75

— наилучший линейный 75

— с.к.-оптимальный 244

— тривиальный 76

Прогнозирование 244

Продолжение меры 266

Производная Радона-Никодима 275

— в среднем квадратическом 153

— обобщенная 156

Прообраз 270

Пространство вероятностное 284

— гильбертово 281

— измеримое 264

дискретное 266

— линейное 279

вещественное (действительное) 279

комплексное 279

, порожденное случайной последовательностью 75

с мерой 266

случайных величин с конечным вторым моментом 52, 302

элементарных событий 284

Процесс Орнштейна-Уленбека 242

броуновского движения 33

рождения и гибели 257

Пуассоновский процесс 194

неоднородный 194

обобщенный 202

Равенство Парсеваля 283

Разложение Вольда 76

— Дуба для субмартингала 136

Размерность линейного пространства 280

Распределение Бернулли 289

— Пуассона 289

— абсолютно непрерывное 278

— биномиальное 289

— вероятностей состояний 84, 251

— гауссовское (нормальное) 290

п-мерное 300

— дискретное 287

— непрерывное 288

— равномерное 290

— стационарное 91, 254

— экспоненциальное (показательное) 290

Ряд Фурье 283

Сж.-интеграл 157

С.к.-предел 147, 295

С.к.-производная 153

С.к.-сходимость 295

Семейство конечномерных распределений случайного процесса 13

Сечение случайного процесса 11

Симметричное блуждание 207

Система элементов ортогональная

282

ортонормальная 282

Скалярное произведение 280

в пространстве 7/ 52, 75, 302

Случайная величина 286

(абсолютно) непрерывная 288

гауссовская (нормальная) 299

стандартная 299

дискретная 287

центрированная 291

Случайная замена времени 138

Случайная последовательность 12

авторегрессии-скользящего

среднего порядка (р, q) 99

авторегрессионная порядка р 98

гильбертова 65

детерминированная 76

подчиненная 76

почти периодическая 55

скользящего среднего порядка q 99

стационарная 53

двустороннего скользящего среднего 57

линейная 57

одностороннего скользящего среднего 57

регулярная 75

сингулярная 75

скользящего среднего порядка р 57

Случайная функция 12, 147

дифференцируемая (потраек- торно) 154

непрерывная (потраекторно) 148

почти наверное 148

неупреждающая 212

простая 212

регулярная 12

с.к.-дифференцируемая 153

с.к.-интегрируемая 157

с. к.-непрерывная 147

согласованная 197

стационарная 167

Случайные величины независимые 289

некоррелированные 293

ортогональные 293, 302

эквивалентные 286

Случайные процессы неотличимые 20

эквивалентные 19, 152

в широком смысле 18

Случайный вектор 288

гауссовский (нормальный) 300

Случайный процесс 11

вещественный (действительный) 12

выходящий из нуля 188

гауссовский 25, 29

гильбертов 23

диффузионного типа 46, 237

комплексный 12

марковский 39

однородный 40

обновляющий 76, 241

с дискретным временем 12

конечными моментами второго порядка 23

независимыми приращениями 190

непрерывным временем 12

ортогональными приращениями 188

однородный 193

стационарный в узком смысле 38

широком смысле 38

считающий 194

центрированный 22

Смешанный момент порядка к случайного процесса 26

Событие достоверное 285

— невозможное 285

— противоположное 285

События независимые 285

— несовместные 285

Состояние апериодическое 88

— возвратное 88

— невозвратное 88

— несущественное 88

— нулевое 88

— периодическое 88

— существенное 88

Состояния сообщающиеся 88

Спектральная плотность 54, 168

дробно-рациональная 231

— функция 54, 168

Спектральное разложение ковариационной функции 54, 169

стационарной последовательности 59

функции 170

Среднеквадратическая погрешность 68, 75

Стохастический граф 85, 256

— дифференциал 217

Субмартингал 131, 197

Супермартингал 131, 197

Сходимость в среднем квадратическом 295

порядка р 295

относительно нормы 280

по вероятности 294

мере 272

распределению (слабая) 296

почти всюду 272

почти наверное (с вероятностью 1) 294

Телеграфный сигнал 175

Теорема Бохнера-Хинчина 168

— Герглотца 54

— Калмана 112

— Калмана-Бьюси 240

— Каратеодори 266

— Колмогорова о существовании непрерывной модификации 152

случайного процесса 18

— Лёви 276

— Лебега 276

— Радона-Никодима 275

— Фату 277

о сг-аддитивности интеграла Лебега 275

виде наилучшей линейной оценки 303

с.к.-оптимальной оценки 110, 298

в гауссовском случае 110

замене переменной в интеграле Лебега 276

нормальной корреляции 111,300

связи различных видов вероятностной сходимости 296

существовании интеграла Ито 214

решения стохастического дифференциального уравнения 218

сходимости мартингала 141

об абсолютной непрерывности ин

теграла Лебега 275

Тождества Вальда 140

Траектория (реализация) случайного процесса 12

Управляемость (полная) 239

Уравнение Колмогорова-Фоккера-

Планка 47, 237

Колмогорова-Чепмена 40, 251

— дифференциальное со случайной правой частью (линейное) 161

, с постоянными коэффициентами 179

— диффузии 48

с дискретным временем 119

— стохастическое дифференциальное 218

линейное 219

, порожденное пуассонов

ским процессом 230

разностное 106

стационарное, асимптотически устойчивое 106

— характеристическое 98

Уравнения Колмогорова алгебраические 255

дифференциальные 252

— стационарные метода моментов 107, 228

фильтра Калмана 115

Калмана-Бьюси 243

Условие Липшица 219

Условия согласованности семейства конечномерных распределений 17

Устойчивость (асимптотическая) 99, 228

— многочлена 233

— нестационарной системы 230

— стохастическая 224

Факторизация спектральной плотности 105

Фильтр Калмана (дискретный) 112

линеаризованный 123

расширенный 124

— Калмана-Бьюси 241

— формирующий 105, 233

— экспоненциального сглаживания 69

Формула дифференцирования с.к.-ин- теграла по верхнему пределу 159 — интегрирования по частям для сж.-интеграла 159

стохастического интеграла 192

— полного математического ожидания 298

— полной вероятности 286

— преобразования спектральной плотности при линейном преобразовании 61, 176

— стохастического дифференцирования Ито 221

Функции эквивалентные 272

Функция Коши 164

— Лапласа 15, 299, 307

— абсолютно непрерывная 278

— борелевская 270

— весовая 178

— выборочная 12

— дискретного распределения 278

— дисперсионная 22, 106

— дробно-рациональная 308

— измеримая 270

— интегрируемая (суммируемая) по мере 273

— ковариационная 22

векторного случайного процесса 25

взаимная 25

комплексного случайного процесса 23

стационарной случайной последовательности 53

функции 167

— корреляционная 53

— неотрицательно-определенная 24, 36, 53, 167

— плотности распределения 278

— простая 271

— распределения 267

вероятностей 287

случайного вектора 288

— структурная 304

— характеристическая 292

/u-мерного распределения случайного процесса 26

— эрмитова 36, 53, 168

Центральная предельная теорема 301

Цепь Маркова (дискретная) 83

апериодическая 89

конечная 42, 83

неразложимая 89, 92

однородная 84

эргодическая 91

Частотная характеристика 60, 73, 176

Экстраполяция 244

n-мерная плотность распределения случайного процесса 13

— функция распределения 269

случайного процесса 13

0-интеграл 216

сг-аддитивность 265

сг-алгебра 264

— борелевская 267, 269

—, порожденная системой множеств 265

—, — случайной величиной 286

—,функцией 212

—, — случайным вектором 288

—) — функцией 271

— тривиальная 264

Учебное издание

МИЛЛЕР Борис МихайловичПАНКОВ Алексей Ростиславович

ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВВ ПРИМЕРАХ И ЗАДАЧАХ

Редактор Н. Б. Бартошевич-Жагелъ

Оригинал-макет: К. В. Семенихин

ЛР № 071930 от 06.07.99.

Подписано в печать 20.11.01. Формат 60x90/16.

Бумага офсетная № 1. Печать офсетная.

Усл. печ. л. 10. Уч.-изд. л. 10. Тираж 2000 экз.

Заказ №

Издательская фирма «Физико-математическая литература»МАИК «Наука/Интерпериодика»

117864 Москва, Профсоюзная, 90

Отпечатано с готовых диапозитивов в Московскойтипографии № 6 Министерства РФ по делам печати,телерадиовещания и средств массовых коммуникаций109088 Москва, Южнопортовая ул., 24

ISBN 5 -9221 -0206 -0

Таким образом, 5п = г/п — 9 =

1 + Е bke"ixk

1 (l + 0,7e~iA)(l + 0,7eiA) _ 1 F(e”iX)F(eiX) ” 2тг (1 - 0,4е-^)(1 - 0,4е*Д “ 2тг ’ Н(е~^)Н(^л) ’

где F(x) = 1 + 0,7 ж, Н(х) = 1 — 0,4 т. Поэтому, /ДА) = |Ф(А)|2/ДА), ™ ф<а>=Ю" -'-и -

^„-0,4^-! =en + 0,7en_i, n е Z.(6.14)

УДК 519.21

М60 ББК 22.171

Рецензент:

академик РАН Н.А. Кузнецов

Миллер Б. М., Панков А. Р. Теория случайных процессов в примерах и задачах. — М.: ФИЗМАТЛИТ, 2002. — 320 с. — ISBN 5-9221-0206-0.

В книге изложены основы современной теории случайных процессов. Описаны важнейшие модели процессов с дискретным и непрерывным временем, методы их исследования и использования для решения прикладных задач. Рассмотрены решения многочисленных типовых примеров, приведены задачи для самостоятельного решения.

Для студентов и аспирантов технических университетов, специализирующихся в области прикладной математики, теории управления, обработки информации и экономики.

ISBN 5-9221-0206-0ISBN 5-9221-0206-0© ФИЗМАТЛИТ, 2002

ISBN 5-9221-0206-0

ISBN 5-9221-0206-0

СОДЕРЖАНИЕ

Предисловие редактора 6

Предисловие 7

Список основных сокращений и обозначений 9

Глава I. Основные понятия теориислучайных процессов 11

Случайные процессы и их вероятностные характеристики .11

Определение случайного процесса (11). 1.2. Конечномерные распределения случайного процесса (13). 1.3. Теорема Колмогорова (17). 1.4. Моментные характеристики случайного процесса (21). 1.5. Задачи для самостоятельного решения (27).

Основные классы случайных процессов 29

Гауссовские случайные процессы (29). 2.2. Случайные процессы с конечными моментами второго порядка (35).

Стационарные случайные процессы (38). 2.4. Марковские процессы (39). 2.5. Диффузионные процессы (46).

Задачи для самостоятельного решения (48).

Глава II. Случайные последовательности 52

Стационарные случайные последовательности 52

Основные характеристики ССП (52). 3.2. Примеры ССП (55). 3.3. Спектральное представление ССП (58). 3.4. Задачи для самостоятельного решения (62).

Линейные преобразования случайных последовательностей .65

Линейные преобразования последовательностей общего вида (65). 4.2. Линейные преобразования стационарных СП (70). 4.3. Линейное прогнозирование стационарных последовательностей (75). 4.4. Задачи для самостоятельного решения (81).

Цепи Маркова 83

Вероятностные характеристики цепей Маркова (83).

Эргодические цепи Маркова (87). 5.3. Предельные вероятности состояний цепи Маркова (91). 5.4. Задачи для самостоятельного решения (96).

Разностные стохастические уравнения 98

Модели авторегрессии и скользящего среднего (98).

Спектральные характеристики АРСС-последовательно- стей (103). 6.3. Многомерные разностные линейные стохастические уравнения (106). 6.4. Фильтр Калмана (110).

Нелинейная фильтрация марковских случайных последовательностей (117). 6.6. Алгоритмы субоптимальной нелинейной фильтрации (122). 6.7. Задачи для самостоятельного решения (129).

Мартингалы с дискретным временем 131

Основные определения (131). 7.2. Марковские моменты. Случайная замена времени в мартингале (138). 7.3. Теоремы сходимости мартингалов и их приложения (141). 7.4. Задачи

для самостоятельного решения (145).

Глава III. Случайные функции 147

Элементы анализа случайных функций 147

Непрерывность случайных функций (147). 8.2. Дифференцирование случайных функций (153). 8.3. Интегрирование случайных функций (157). 8.4. Дифференциальные уравнения со случайной правой частью (161). 8.5. Задачи для самостоятельного решения (166).

Стационарные случайные функции 167

Основные характеристики стационарных случайных функций (167). 9.2. Примеры ССФ (170). 9.3. Линейные преобразования ССФ (175). 9.4. Задачи для самостоятельного решения (185).

Случайные функции с ортогональными и независимыми приращениями 188

Основные понятия и определения (188). 10.2. Однородные процессы с ортогональными приращениями (193).

Мартингалы (непрерывное время) (196). 10.4. Винеровский процесс (205). 10.5. Задачи для самостоятельного решения (210).

Стохастические дифференциальные уравнения 212

Стохастический интеграл Ито (212). 11.2. Стохастическое дифференциальное уравнение. Формула Ито (217).

Линейные стохастические дифференциальные уравнения (225). 11.4. Формирующий фильтр для стационарной случайной функции (231). 11.5. Стохастические дифференциальные уравнения и диффузионные процессы (236).

Фильтр Калмана-Бьюси (239). 11.7. Задачи для самостоятельного решения (245).

Марковские случайные функции с дискретным множеством состояний 247

Потоки событий (247). 12.2. Вероятностное описание марковских случайных функций с дискретным множеством значений (250). 12.3. Эргодические свойства однородных марковских случайных функций (254). 12.4. Процессы рождения и гибели (257). 12.5. Задачи для самостоятельного

решения (262).

Глава IV. Математическое приложение 264

Необходимые сведения из функционального анализа . . . .264

Алгебры и сг-алгебры множеств (264). 13.2. Меры (определения и свойства) (265). 13.3. Способы задания мер (266). 13.4. Измеримые функции (270). 13.5. Интеграл Лебега (272). 13.6. Гильбертово пространство (279). 13.7. Ряды Фурье в гильбертовом пространстве (282). 13.8. Ортогональное проектирование в гильбертовом пространстве (283).

Необходимые сведения из теории вероятностей 284

Случайные события и их вероятности (284). 14.2. Случайные величины и векторы (286). 14.3. Математическое ожидание (290). 14.4. Последовательности случайных величин (294). 14.5. Условное математическое ожидание (296).

Гауссовские случайные величины и векторы (299).

Гильбертово пространство случайных величин с конечным вторым моментом (301). 14.8. Ортогональная стохастическая мера (303). 14.9. Стохастический интеграл по ортогональной мере (305).

Вычисление специальных интегралов 307

Интеграл вероятностей (307). 15.2. Интегралы от дробно-рациональных функций (308).

Список литературы 310

Предметный указатель 312

ПРЕДИСЛОВИЕ РЕДАКТОРА

В 1973 году на факультете прикладной математики Московского государственного авиационного института (технического университета) академиком В.С. Пугачевым была создана кафедра теории вероятностей и математической статистики. За прошедшее время на кафедре под научно-методическим руководством В.С. Пугачева были созданы и прочитаны оригинальные учебные курсы по таким дисциплинам, как «Теория вероятностей и математическая статистика», «Случайные процессы», «Математический анализ» и др. На суд читателя выносится серия учебных пособий по трем названным дисциплинам, которые отражают накопленный опыт преподавания этих дисциплин студентам технического университета МАИ, специализирующимся в области прикладной математики, радиоэлектроники, машиностроения и систем управления. Отличительной чертой данных пособий является максимально лаконичное изложение материала при достаточно полном описании современного состояния изучаемых предметов. Кроме того, значительную часть пособий занимают многочисленные примеры и задачи с решениями, что позволяет использовать эти пособия не только для чтения лекционных курсов, но и для проведения практических и лабораторных занятий. Структура изложения курсов такова, что эти пособия могут одновременно играть роль учебника, задачника и справочника. Поэтому пособия могут быть полезны как преподавателям и студентам, так и инженерам.

Проф.. д.ф.-м.н. А.И. Кибзун

ПРЕДИСЛОВИЕ

Содержание данного учебного пособия отражает многолетний опыт преподавания студентам и аспирантам факультета прикладной математики Московского государственного авиационного института (технического университета) курса теории случайных процессов, в становлении которого решающая роль принадлежит академику РАН В.С. Пугачеву. При подготовке учебника авторы основывались на следующих базовых принципах:

математически корректное изложение материала и обоснование всех методов, используемых для решения конкретных задач;

иллюстрирование основных теоретических положений примерами различного уровня сложности;

более подробное рассмотрение тех моделей случайных процессов, которые в настоящее время являются наиболее важными для решения прикладных задач.

В книге приведено значительное количество строгих определений и аккуратных формулировок теорем. Доказательства теорем можно найти в многочисленных учебниках по теории случайных процессов [2,4, 10,20-22,25]. Для понимания основного материала достаточно знания курсов математического анализа, линейной алгебры и теории вероятностей в объемах, принятых для изучения в техническом университете. Для овладения материалом в полном объеме необходимо знакомство с основами функционального анализа (теория меры, интеграл Лебега, гильбертово пространство). Исчерпывающие сведения по теории вероятностей содержатся в учебниках [1,19,22,25] и справочнике [9], а по функциональному анализу — в [8,13,18].

Использование всех приведенных теоретических положений проиллюстрировано многочисленными примерами, снабженными подробными решениями. В наиболее важных примерах изучаются модели и методы исследования случайных процессов, на которых базируются эффективные алгоритмы обработки информации, принятия решений, анализа и прогнозирования реальных процессов в физических, биологических, сложных технических и экономических системах. В конце каждого параграфа приведены задачи для самостоятельного решения. Все задачи снабжены ответами, а наиболее сложные — указаниями к решению. Отметим также задачники [3,7], которые могут быть использованы для самостоятельной проработки материала.

Наконец, для изучения были отобраны те математические модели случайных процессов, которые имеют особое значение для постановки и решения прикладных задач в следующих областях:

управление сложными системами [6,15,16,23];

управление движением летательных аппаратов [11];

— обработка измерительной информации [20,24];

исследование надежности систем [10];

исследование операций и системный анализ [27];

идентификация систем [12];

системы массового обслуживания [5,27];

математическая экономика и теория финансов [14,26,28].

Поэтому наряду со стандартными разделами курса (гауссовские процессы, стационарные процессы и их преобразования, цепи Маркова и др.) в книге присутствуют нетрадиционные разделы, посвященные стохастическому анализу, разностным и дифференциальным стохастическим уравнениям, оптимальному оцениванию, теории рекуррентной фильтрации Калмана-Бьюси, методам нелинейной фильтрации, теории мартингалов. Так, например, теория мартингалов эффективно используется в настоящее время для исследования и оптимизации процессов на финансовых рынках [26].

Книга состоит из четырех глав. В первой главе приведены основные определения и теоретические положения общего характера, необходимые для изучения остального материала, а также кратко описаны важнейшие типы случайных процессов, применяемых для решения прикладных задач.

Вторая глава посвящена случайным процессам с дискретным временем (случайным последовательностям). В последние годы значение этого класса случайных процессов повысилось в связи с тем, что на смену аналоговым методам обработки информации пришли цифровые методы, реализованные в виде компьютерных алгоритмов и программ.

В третьей главе книги изучаются случайные процессы с непрерывным временем (случайные функции). Модели таких процессов адекватно описывают движение механических систем в случайных средах, распространение радиосигналов, функционирование систем массового обслуживания, процессы изменения курсов ценных бумаг и многое другое.

Четвертая глава имеет справочный характер и содержит сведения по функциональному анализу и теории вероятностей, необходимые для изучения материала в полном объеме.

При подготовке рукописи книги мы постоянно пользовались советами и помощью наших коллег по кафедре «Теории вероятностей» Московского государственного авиационного института (технического университета) А.В. Борисова, А.В. Босова, Е.Н. Платонова и В.И. Синицына, которым мы выражаем искреннюю признательность. Авторы выражают особую благодарность К.В. Семенихину за работу по научному редактированию рукописи и подготовку оригинал-макета.

список основных

СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ

СВ — случайная величина или случайный вектор;

СП — случайная последовательность;

СФ — случайная функция;

ССП — стационарная СП;

ССФ — стационарная СФ;

ЦМ — цепь Маркова;

АР — авторегрессия;

СС — скользящее среднее;

АРСС — авторегрессия-скользящее среднее;

R1 —множество вещественных чисел;

Rn — n-мерное (вещественное) евклидово пространство;

Z — множество целых чисел;

С — множество комплексных чисел;

г — комплексное число, сопряженное к z Е С;

Re z — вещественная часть комплексного числа z Е С;

А* — транспонированная матрица;

А1 — обратная матрица;

I — единичная матрица;

B(Rn) — сг-алгебра борелевских подмножеств пространства Rn;

В([н, 6]) — сг-алгебраборелевских подмножеств промежутка [а, 6];

/в(ж) — индикатор (индикаторная функция) множества В;

ехр{ж} = еж — экспонента;

/(жо—) = Ит /(ж) — предел слева аДж0

функции /(ж) в точке жо;

arg min / (ж) — точка минимума функции /(ж) на множестве А;

д(В) — мера д множества В;

£(А) — линейная оболочка множества А;

det [А] — определитель матрицы А; tr[A] — след матрицы А;

тгм(ж) — проекция элемента ж на подпространство М;

о(ж) — «о-малое», т. е. функция от ж, такая, что о(ж)/ж —> 0 при ж —> 0;

Дж) — дельта-функция Дирака;

В2[аД] — гильбертово пространство комплексных функций, интегрируемых с квадратом по мере Лебега на отрезке [а, 6];

Q — пространство элементарных событий (исходов) ш^

У — сг-алгебра случайных событий (подмножеств Q);

Р{А} — вероятность (вероятностная мера) события А;

{Q,B,P} — основное вероятностное пространство;

0 — невозможное событие (пустое множество);

ВДж) — функция распределения вероятностей СВ Д

рДж) — плотность распределения вероятностей СВ Д

= М{Д — математическое ожидание (среднее) СВ Д

D^ = D{£} — дисперсия СВ Д cov{£, ц} — ковариация СВ £ и ц;

£ — центрированная СВ Д

В (А) — экспоненциальное распределение с параметром А;

Af (т; В) — гауссовское (нормальное) распределение со средним т и дисперсией (ковариационной матрицей) В;

Ф(ж) — интеграл вероятностей (функция Лапласа);

В — гильбертово пространство (центрированных) СВ с конечным вторым моментом;

цеп = М{|е|2}1/2 - норма СВ е В «;

Ц, ^) — скалярное произведение СВ £ и ту в %;

£ ± ту — ортогональные СВ £ и ту в %;

%Ц) — гильбертово пространство, порожденное случайной последовательностью £ = {^п};

^ = ^{^J — сг-алгебра, порожденная СВ £;

J^ = cr{^(s), s ^ Ц — сг-алгебра, порожденная случайным процессом ^(s) до момента £;

М{ту | 9} — условное математическое ожидание СВ ту относительно ст-алгебры 5;

М{/у | £} = М{ту | ^} — условное математическое ожидание СВ ту относительно СВ £;

Р{А | В} — условная вероятность случайного события А относительно случайного события В;

{^п, п 6 Z} — СП, заданная на Z;

^(t), t Е Г} — СФ, заданная на промежутке Г С I1;

В^(ж1, ...^п, h, ... Ап) — п-мерная функция распределения случайного процесса £Ц);

^(жх, ..., жп; Ц, • • •, tn) — п-мерная плотность распределения случайного процесса £Ц);

Ф^(Ai, ..., Ап; Ц, ... Ап) — п-мерная характеристическая функция случайного процесса £Ц);

m^t) — математическое ожидание случайного процесса £Ц);

D^(t) — дисперсия случайного процесса £Ц);

R^t^s) — ковариационная функция случайного процесса £Ц);

R^Qr) — ковариационная функция стационарного процесса £Ц);

В^(А) — спектральная функция стационарного процесса £Ц);

Л W — спектральная плотность стационарного процесса £Ц);

Ф(А) — частотная характеристика линейного стационарного преобразования;

ЯЦД) — ортогональная стохастическая мера, соответствующая стационарному процессу £Ц);

£Ц), €п — оптимальные в среднем квадратическом (с.к.-оптимальные) оценки;

^)t — квадратическая характеристика мартингала £;

P(s,xA, В) — переходная вероятность марковского процесса;

р(б,жЦ,уу) — переходная плотность марковского процесса;

Р(жЦ,В) — переходная вероятность однородного марковского процесса;

р(ж, ^, г/) — переходная плотность однородного марковского процесса;

p^sA) — вероятность перехода ЦМ из г-го состояния в момент s в j-e состояние в момент ^;

р^ — вероятность перехода однородной ЦМ из г-го состояния в j-e состояние за один шаг;

Р = {Pij} — переходная матрица однородной ЦМ;

тгЦЦ — вероятность г-го состояния ЦМ в момент t;

w(t) — винеровский процесс (процесс броуновского движения);

Д£(бЦ) = ^(t) — ^(s) — приращение случайного процесса ^(t) на промежутке (бЦ];

gn > $ — среднеквадратическая

сходимость (с.к.-сходимость);

£ = l.i.m. £п — среднеквадратический предел (с.к.-предел);

^(t) — среднеквадратическая производная (с.к.-производная);

(Р-п.н.) — почти наверное (с вероятностью 1);

^п П Н > £ — сходимость (Р-п.н.);

£ = lim ^п (Р-п.н.) — предел с вероятностью 1.