Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Глава 1. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
Предмет теории вероятностей
Сочетание слов «теория вероятностей» на неискушенного человека производит несколько странное впечатление. В самом деле, слово «теория» связывается с наукой, а наука изучает закономерные явления; слово «вероятность» в обычном языке связывается с чем-то неопределенным, случайным, незакономерным. Поэтому люди, знающие о существовании теории вероятностей только понаслышке, говорят о ней часто иронически. Однако теория вероятностей — это большой, интенсивно развивающийся раздел математики, изучающий случайные явления. Так в чем же тут дело? Как разрешить это противоречие между тем, что теория вероятностей—■ это наука, а ее предмет — случайность, которая, казалось бы, не поддается никакому научному предсказанию? Как мы увидим ниже, противоречие здесь только кажущееся, так как теория вероятностей изучает закономерности случайных явлений.
Математика, как и любая другая наука, изучает закономерные явления реального мира. Связь между математикой и объектом исследования можно изобразить схематически следующим образом ■ (см. рис. 1). Классическим примером такой схемы является механика, созданная Ньютоном. На основе многовековых наблюдений движений небесных тел, а также практической деятельности людей, связанной со строительством и производством, Ньютон сформулировал несколько простых законов механики в виде аксиом и закон всемирного тяготения, из которых дедуктивными рассуждениями можно было объяснить все явления, которые наблюдались ранее, а также предсказать многие новые факты. Построение математических моделей реальных механических и физических процессов привело к созданию математического анализа.
Закономерное событие—это событие, которое всегда осуществляется, как только создаются определенные условия. Закономерное явление —это система закономерных событий. Роль математики, в частности теории дифференциальных уравнений, при изучении реальных закономерных явлений общеизвестна. Но наряду с закономерными мы все время сталкиваемся в практической деятельности с событиями незакономерными или, иначе, случайными. Это события, которые при одних и тех же условиях иногда происходят, а иногда — нет. Например, человек, заболевший гриппом в период эпидемии, может выздороветь, может получить те или иные тяжелые осложнения, или умереть. Таким образом, исход заболевания гриппом случаен.
Казалось бы, что там, где мы имеем дело со случайными событиями, науке, в частности математике, делать нечего.
Объект исследования
I
и
Э
I
I
Математическая модель
Рис. 1.
Ведь наука открывает научные законы, которые помогают предсказывать течение того или иного процесса или явления, а случайное явление — это как раз такое явление, предсказать исход которого невозможно. Однако и случайные события подчиняются некоторым закономерностям, которые мы назовем вероятностными закономерностями. Прежде всего условимся, что мы будем иметь дело не со всякими случайными событиями, а с массовыми случайными событиями, т. е. мы будем предполагать, что в принципе возможно создать много раз одни и те же условия, при каждом из которых может произойти или нет некоторое случайное событие. Пусть при осуществлении некоторых’ условий N раз слу- чзйное событие А осуществляется N(A) раз.Число N(,A) называется частотой события А, а отношение N(A)/N— стносительной частотой события А. Оказывается, при больших N относительная частота N^AVN для случайных массовых событий обладает так называемым свойством устойчивости, которое состоит в том, что в нескольких сериях из достаточно больших Ni, N2, ..., Ns
наблюдений события А в одних и тех же условиях мы обычно имеем приближенные равенства
^(4) ЛМЛ) _. .. N, (Л)Nt N4 ~ 1 1 1 ~ Ns 1
Таким образом, относительная частота события А колеблется около одного и того же числа, которое характеризует данное случайное событие А. Это число Р(Д) в соответствующей математической модели мы будем называть вероятностью события А. Например, мы можем много раз подбрасывать одну и ту же монету. Пусть случайное событие А — это выпадение герба при одном бросании. В случае бросания «правильной» (симметричной, однородной) монеты Р(Д)= 1/2. Статистика рождений показывает, что мальчиков рождается несколько больше, чем девочек, причем наблюдаемая доля рождений мальчиков равна 0,51—0,52 (в разные периоды, в разных странах могут быть колебания). Медицинская статистика свидетельствует о том, что смертность от гриппа имеет малую, но ненулевую вероятность (поэтому в условиях массовой эпидемии число смертных случаев от гриппа становится заметным).
Устойчивость частот — это объективное свойство массовых случайных явлений реального мира. Отсутствие устойчивости частот в сериях испытаний свидетельствует о том, что условия, при которых производятся испытания, претерпевают значительные изменения. Теория вероятностей— это математическая наука, которая изучает математические модели случайных явлений. Если говорить более подробно, то теория вероятностей устанавливает такие связи между вероятностями случайных событий в математических моделях, которые позволяют вычислять вероятности сложных событий ио вероятностям более простых событий.
В теории вероятностей используются результаты и методы многих областей математики (комбинаторики, математического анализа, алгебры, логики и т. п.). Однако теория вероятностей обладает некоторым своеобразием, поскольку она очень тесно связана с различными приложениями, причем приложения эти не столь привычны, как, например, приложения дифференциальных уравнений. Поэтому овладеть теорией вероятностей
может лишь тот, кто решает много задач (этн задачи часто имеют нематематическую постановку, и надо уметь построить соответствующую математическую модель) и приобретает, таким образом, теоретнко-верояг- ностную интуицию.
События
Одним из основных понятий теории вероятностей является случайное событие или, как мы будем чаще говорить, просто событие. В реальном мире случайное событие — это исход (какого-либо испытания, наблюдения, эксперимента), который может произойти (наступить, осуществиться) или не произойти (не наступить, не осуществиться).
Пример 1. При бросании игральной кости1) может выпасть число очков, равное какому-либо числу из множества чисел 1, 2, 3, 4, 5, 6. Событиями в этом случае будут, например, •
А = {выпадает четное число очков},
В = {выпадает число очков, не большее трех}.
В математической модели можно принять понятие события как первоначальное, которому не дается определения и которое характеризуется лишь своими свойствами. Исходя из реального смысла понятия события, мы можем определить следующие частные случаи понятия события и следующие операции над событиями. В тех случаях, когда мы одновременно рассматриваем несколько событий, мы всегда будем предполагать, что этн события могут произойти или не произойти при одном и том же испытании (т. е. при осуществлении одних и тех же условий).
Достоверным событием будем называть событие, которое всегда происходит, и будем его обозначать й. Невозможным событием назовем событие, которое никогда не пронсхеднт. Обозначать невозможное событие будем 0. Событие А назовем событием, противоположным Л,
*) Игральной костью называется кубик, сделанный из однородного материала, грани которого занумерованы цифрами 1, 2, 3, 4,
6. Число очков, выпавшее при бросании игральной кости, — это цифра на верхней грани кубика.
если оно происходит тогда и только тогда, когда не происходит А. Суммой или объединением событий А и В назовем событие, обозначаемое A U В или А + В, которое происходит тогда и только тогда, когда происходят или А, или В (или оба вместе). Произведением или пересечением событий А и В назовем событие, обозначаемое A Q В или АВ, которое происходит тогда и только тогда, когда происходят и Д и В вместе. Разностью А\В событий Д и В назовем событие, которое происходит тогда и только тогда, когда происходит Д и не происходит В. События А и В назовем несовместными, если АВ = 0. Мы будем писать Д В и говорить, что событие Д влечет за собой событие В, если из наступления события А
следует наступление события В. Если Д S В и В s Д, то мы будем говорить, что события Д и В равносильны, и писать Д = В.
В примере 1 с бросанием игральной кости имеем следующие события:
A LIB = (выпадает число очков, отличное от пяти},
Д П В = (выпадает число очков, равное двум},
Д \ В = (выпадает число очков, равное 4 или 6},
Д = (выпадает нечетное число очков}.
Пример 2. На квадрат случайно бросается частица (см. рис. 2);
событие А — (частица попадает' в круг Д},
событие В —(частица попадает в треугольник В}.
События v4|J В, АП в, А\В и А в этом случае — это попадание частицы в области, получаемые объединением, пересечением, разностью областей А и В и дополнением А в квадрате (на рис. 2 соответствующие области заштрихованы).
В настоящее время в теории вероятностей наиболее распространенным является подход, в котором событие определяется через неопределяемое понятие элементарного события. Наиболее употребительная теоретико-вероятностная модель в прдстых случаях — это урновая модель. Пусть имеется урна с п одинаковыми шарами. Испытание состоит в том, что мы случайно выбираем из урны один шар. Обозначим й = {(Oi,to2. .•.. ®4 множество шаров в урне. Если из урны при испытании мы вынимаем шар ^еА, где А — некоторое подмножество множества шаров Й, то мы будем говорить, что произошло событие А; если же ш.^А, то мы будем говорить, что событие А не произошло. В данном случае событие А отождествляется с подмножеством А множества всех возможных исходов или, как мы будем далее говорить, элементарных событий.
В общем случае мы будем в каждой теоретико-вероятностной модели рассматривать некоторое основное множество Й = {со}. Будем называть его элементы w элементарными событиями, само множество Й — пространством элементарных событий, а некоторые его подмножества А ей— событиями. Операции над событиями— это операции над подмножествами. При этом в теории вероятностей употребляется своя терминология, связь которой с теоретико-множественной терминологией отражена в таблице 1.
Операции суммы и произведения событий можно распространить на любое конечное или бесконечное множество событий |J Аа, П Av Обычные свойства опе- аа
раций над множествами переносятся на операции над событиями, например,
ЦХ=Пл. ТГа=11л. а=а, иааа
А = Й\А, 0=Й, Й = 0>
Л\й = Л\ЛВ = Лв, Л\(Л\В) = ЛЗ,АгВ^ВеА
и т. д. Иногда придерживаются следующего соглашения: если Ai, А2, ..., Ап попарно несовместны, то вместо U Л = Л^ Л211 ... 1)Л„ пишут Е At = At +
<-i<-i
+ Л2 + • • • + Ап.
В общем случае бесконечного пространства й мы рассматриваем не все подмножества й, а лишь некоторые классы этих подмножеств, называемые алгебрами и а-алгебрами множеств.
Таблица 1
Обозначение
Терминология в теории множеств
Терминология в теории вероятностей
Q
пространство (основное множество)
пространство элементарных событий, достоверное событие
О, 6) Е Q
элемент пространства ©
элементарное событие о
A, A ей
множество А
событие А
лив. л + в
сумма или объединение множеств Л и В
сумма событий Л и В
АЛ В,АВ
пересечение множеств
А и В
произведение событий Л и В
А\В
разность множеств Л и В
разность событий Л н В
0
пустое множество
невозможное событие
А
дополнительное множество А
противополржное А событие
ЛВ = 0
А и В не пересекаются
Л и В несовместны
AsB
А есть подмножество В
А влечет событие В
А = в
А и В равны
А и В равносильны
Определение 1. Назовем класс st подмножеств пространства Q алгеброй множеств, если
0е^, Qg^; _
из Aest следует Aest;
из А, Be ^ следует A U В е st, ARBest.
Определение 2. Алгебру множеств st назовем а-алгеброй, если из Л„е<^, п=1, 2 следует
U Anest, П А„е^. Я-1п-1
Вероятностное пространство
Определение 3.Тройку (Q, st, Р), где Q —пространство элементарных событий, st— а-алгебра подмножеств Q, называемых событиями, Р — числовая функция, определенная на событиях и называемая вероятностью, будем называть вероятностным пространством, если выполнены следующие аксиомы:
1°. Р(А)>0 для всех Аг st (неотрицательность Р);
2°. Р (Q) = 1 (нормированное™ Р);
3°. Р (А + В) = Р (А) + Р (В), если АВ=0 (аддитивность Р);
4°. Если АД0, т. е. А,гА22... и П Ап=0,
П=1
то Пт Р(А„) = 0 (непрерывность Р).
П->оо
Из этих аксиом вытекают следующие свойства вероятности.
Если АеВ, то Р(В\А) = Р(В)-Р(А).
Так как В = А + (В\А) и АП(В\А)=0, то по аксиоме 3°
Р (В) = Р(А) + Р(В \ А).(1)
Если А г В, то Р(А)<Р(В).
Следует из (1).
Для любого Аг st
0<Р(А)<1.
Следует из 2), так как 0 £ A S Q.
Р(Л)=1-Р(Л).
Следует из аксиомы 3°, так как Л + Л = 0, ЛЛ = 0.
Р(0) = О.
Следует из 4) и аксиомы 2°.
Имеет место конечная аддитивность: если AtAj = 0 для любых 1=#$, то
Р(Л, + Л2+ ... + Л„) = £ Р(ЛД (2)
6-1
Следует из аксиомы 3°. Доказывается по индукции.
Для любых событий Л]Ап
РР/ п \ (ила \&=1 // п \ (ила \&=1 /п<2 Р(л6).6-1п<2 Р(л6).6-1(3)(3)
Р
Р
/ п \ (ила \&=1 /
/ п \ (ила \&=1 /
п
<2 Р(л6).
6-1
п
<2 Р(л6).
6-1
(3)
(3)
Представим U Л^ в виде суммы попарно несовместных событий Bk = Ak \(Л[и Л2 U ... U Л6-1):
U Ак=1»Вкк=\6=1
По свойству аддитивности 6) имеем
/ П X п
р и ла^Е рш\б=1/6=1
откуда следует (3), так как Р(В*ХР(ЛЙ).
Для любых событий А и В
Р(ЛиВ) = Р(Л) + Р(В)-Р(ЛВ).
Следует из A U В = А + (В \ АВ), аксиомы 3°: Р (A U В) = Р (Л) + Р (В \ АВ) и свойства 1): Р (В \ АВ)= = Р (В) - Р (ЛВ).
Аксиомы 3° и 4° можно заменить одной аксиомой счетной аддитивности (или, как еще говорят, аксиомой о-аддитивности)
3*. Если события Ап в последовательности Ль Л2, ... попарно несовместны, то
pfs Л„) = Е Р(Л„).(4)
\П-1/П=1
Теорема 1. Система аксиом Г, 2°, 3°, 4° равносильна системе аксиом Г, 2°, 3*.
Доказательство. Пусть справедливы аксиомы 1°, 2°, 3°, 4°, и пусть Ап — последовательность попарно несовместных событий. Обозначим Вп = У Аь А = 1
= У, Ап. Тогда А при любом п разлагается на ко- нечную сумму попарно несовместных событий
л=л, + л2+...+Л„ + В„, поэтому п
Р(Л)=ЕР(4) + Р(В„).
Так как Вп | 0, т. е. В{ 3 В2 з ... и П В„ = 0, то п=\
по аксиоме 4° имеем P(BJIO. Отсюда вытекает счетная аддитивность (4).
Пусть теперь выполнены аксиомы 1°, 2°, 3*, и пусть Вп^0. Обозначим Ап = Вп\Вп+1, п=1, 2, ... События Ап попарно несовместны и
В\=Т. АП1 Вп=Х Лъп—1к=п
поэтому по аксиоме 3* ряд Р (В^ = У Р (Л„) сходится,
П=1
и сумма остатка этого ряда Р(В„) = У P(XJ-*0. Тео- к=и
рема доказана.
Система аксиом 1°, 2°, 3°, 4° или 1°, 2°, 3* определяет вероятностную меру на о-алгебре пространства £2. Эта система аксиом предложена А. Н. Колмогоровым.
Происхождение аксиом 1°, 2°, 3° можно объяснить, исходя из свойства статистической устойчивости частот, Пусть А и В — несовместные события, N(A)/N и N(B)/N— их относительные частоты в какой-либо длинной серии наблюдений.Так как ^(Л)^0,тo N^AV/N^ ^ О, следовательно, то число Р(Л), к которому близко отношение N(A)/N, должно быть неотрицательным,
Для достоверного события N(.^—N, поэтому надо по* требовать Р(й)=1. Для несовместных событий N^A^, -|-В)= М(Л)4-М(В), откуда'
N (Д + В) — N (Д) , N (В)NjV + jV *
что и приводит к аксиоме 3°.
Аксиома 4° (или 3*) имеет несколько другое происхождение, связанное не с реальным свойством устой
чивости частот, а с нуждами развиваемой на основе аксиоматики математической теории. Поясним сказанное на примере. Пусть на единичный квадрат бросается случайно частица, причем вероятность попадания в любой внутренний квадрат со сторонами, параллельными сторонам основного квадрата, равна площади меньшего квадрата. С помощью аксиомы 3° отсюда можно получить вероятность попадания в любую фигуру, составленную из суммы конечного числа квадратов. Но нам хотелось бы иметь также возможность находить вероятность попадания в более сложные фигуры, например, в круг. Это можно сделать с помощью аксиомы 3*. приближая круг фигурами, составленными из конечных сумм таких квадратов (см. рис. 3).
Конечное вероятностное пространство.
Классическое определение вероятности
Рассмотрим простой случай конечного вероятностного пространства. В этом случае £2 = {ш}— конечное пространство, ^ — алгебра всех подмножеств множества й (ввиду конечности ^ эта алгебра автоматически представляет собой о-алгебру). Вероятность Р(Л) для любого подмножества А из Q в этом случае можно задать следующим образом. Пусть заданы неотрицательные числа pa такие, что Л рщ=1. Вероятность Р(Л)
определим как сумму
(5)(5)РИ)= 2 ра.
(5)
(5)
<а е А
Легко видеть, что так определенная вероятность (вместе с Р(0) = О) удовлетворяет всем аксиомам. Обозначим |А| число элементов в множестве А. Частным случаем определения вероятности (5) будет так называемое классическое определение вероятности, когда все рЙ равны друг другу. Так как 1 = ^ р^ = р^ IQ |, то в
этом случае ра = -щу и
p^)=w-(б)
Модель вероятностного пространства, приводящая к классическому определению вероятности, используется в тех случаях, когда элементарные события обладают свойством «симметрии» в том смысле, что все элементарные события находятся в одинаковом отношении к тем условиям, которые определяют характер испытания. Например, бросание игральной кости или монеты обладает свойством «симметрии» по отношению к выпадению того или иного числа очков на кости или той или иной стороны монеты, если, конечно, при броске они были достаточно высоко от горизонтальной поверхности и им было придано в начале броска вращательное движение (но не вокруг оси симметрии). Таким же свойством симметрии обладают правильно организованная жеребьевка и тираж лотереи.
При нахождении вероятностей в схеме классического определения широко используется комбинаторика. Мы часто будем использовать комбинаторные понятия размещения, перестановки и сочетания. Будем исходить из конечного множества X = {хь хз, ..., х^}, состоящего из N элементов X/. Пусть 1 ^ п ^ N. Размещением, из N элементов множества X по п элементам (коротко, размещением из N по п) назовем любой упорядоченный набор (х^, х^х^ элементов множества X, Два размещения (^ х^..., у „ ^, х,_.^
равны тогда и только тогда, когда все xlfc = х^, k= 1,,,. ..., п. Число всех различных размещений из N элементов по п обозначается Ам и равно N (N— 1) ... (N— — и+1). Последнее произведение мы иногда будем обозначать как обобщенную степень №L Таким образом, для числа всех размещений из N элементов по п мы имеем формулу
A^ = Nw = N^N- 1) ... (N-n+ 1).(7)
В дальнейшем будем полагать Лдг = Л^101 = 1 при любом целом N ^ 1. Формула (7) легко доказывается по индукции. Частный случай размещения при N = п называется перестановкой из N элементов. Число всех перестановок из N элементов равно
A^ = Nw = N(N— 1) ... 2- 1=М(8)
Из (7) и (8) следует также формула
a«—(n^-(9>
Сочетанием из N элементов множества X по п называется любое подмножество $х.х, I мощности п
I Л*п>
множества X. Общее число всех сочетаний из N по п обозначается См и равно
ГП An №
Из (10) имеем соотношение См = См-п. В дальнейшем будем полагать 0! = 1, С°м=Л и См = 0> если к — целое и к < 0 или к> N.
Пример 3. Выборка без возвращения. Пусть имеется урна с N шарами, которые мы занумеруем числами 1, 2, .... N. Предположим, что шары с номерами 1, 2, ..., М белого цвета, остальные — черного. Выборка без возвращения состоит в том, что мы наугад вынимаем из урны последовательно п шаров, не возвращая их обратно. В этом случае за пространство элементарных событий @={со} естественно принять множество всех упорядоченных наборов '
6> = («1> «2> • • •» ап)(11)
чисел си, 1 ^ а, ^ N, не равных друг другу. Мощность множества £2 равна в этом случае
|Q| = ^(^- 1) ... (N-n+ 1)==JVW(12)
— числу размещений N элементов по п.
Вычислим вероятность события Ат, состоящего в том, что среди выбранных п шаров имеется ровно т белых. Для этого подсчитаем |Лт|:
! Лm! = OW,'кVл,-Л^),,7-m,.(13)
В самом деле, число элементарных событий (И), у которых ровно в пг случаях 1 ^ а, ^ М, определяется как произведение: С” — числа способов выбора т координат из общего количества их п, на которые мы помещаем 1 ^ а,- ^ М; МИ— числа различных наборов 1 ^ а/ ^ М, попадающих на отмеченные т мест; (N — М) i”-ml — числа различных наборов М + 1 ^ си ^ ^N, попадающих на остальные места. Из (12) и (13) получаем
CmM\tn\ ^ _ М^п-т\
Р (^m) —^•
Пользуясь (10), мы можем вероятность Р(Лт) выразить в следующих эквивалентных видах:
Пример 4. Выборка с возвращением. Пусть имеется та же урна, но выборка п шаров из нее происходит последовательно по одному шару, и при этом каждый раз фиксируется номер шара, а сам шар возвращается обратно в урну. В этом случае пространство элементарных событий состоит из всевозможных векторов (11), у которых координаты не имеют никаких дополнительных ограничений, кроме 1 ^ а/ ^ N. В этом случае
|Й| = МП,
а вероятность события Ат, вычисляемая аналогичным способом, равна
Р(ЛП1) —С»Р(ЛП1) —С»Мт (N — М)п~тМт (N — М)п~тСт п.Ст п.(М_\т(XN) К(М_\т(XN) КМ\п-тN )М\п-тN ).(15).(15)
Р(ЛП1) —С»
Р(ЛП1) —С»
Мт (N — М)п~т
Мт (N — М)п~т
Ст п.
Ст п.
(М_\т(
XN) К
(М_\т(
XN) К
М\п-т
N )
М\п-т
N )
.(15)
.(15)
§ & ГЕОМЕТРИЧЕСКИЕ ВЕРОЯТНОСТИ§ & ГЕОМЕТРИЧЕСКИЕ ВЕРОЯТНОСТИ23
§ & ГЕОМЕТРИЧЕСКИЕ ВЕРОЯТНОСТИ
§ & ГЕОМЕТРИЧЕСКИЕ ВЕРОЯТНОСТИ
Геометрические вероятности
Еще один важный класс моделей вероятностных пространств дают так называемые геометрические вероятности. Пусть Q = {(о}—область евклидова л-мерного пространства с конечным п-мерпым объемом. Событиями назовем подмножества Q, для которых можно определить л-мерный объем. За множество событий можно принять так называемую о-алгебру ^ борелев- ских подмножеств Q (подробнее об этом см. гл. 6, §27), За вероятность события /1 е^ примем
'Р(Л)=И1,(16)"'
где | V'| означает л-мерный обь-Рис. 4.
ем множества V. Понимая под
n-мерным объемом соответствующую' меру Лебега, мы получаем вероятностное пространство (й, £Й, Р), где вероятность р определена равенством (16). Это вероятностное пространство служит моделью задач, в которых частица случайно бросается в область й. Предполагается, что ее положение равномерно распределено в этой области, т. е. вероятность попасть частице в область Л пропорциональна «-мерному объему этой области.
Пример 5. Стержень разламывается на две части в случайной точке, равномерно распределенной подлине стержня. Найти вероятность того, что меньший обломок имеет длину, не превосходящую одной трети длины стержня. Обозначим длину стержня /, а расстояние точки разлома от одного (фиксированного) конца стержня— х. Тогда описанное событие произойдет тогда и только тогда, когда либо х ^ //3, либо х ^ 21/3. Искомая вероятность равна отношению (1/3 + //3): I = 2/3 (см. рис. 4).
Пример 6. Задача Бюффона. На плоскость, расчерченную параллельными прямыми, находящимися на расстоянии а друг от друга, случайно брошена игла длины I < а. Найти вероятность пересечения иглы с какой-нибудь из параллельных прямых. Обозначим у расстояние от середины иглы до ближайшей прямой, х — острый угол между иглой и перпендикуляром к парад-
дельным прямым (рис. 5). Координаты (х, у), определяющие положение иглы относительно параллельных прямых, удовлетворяют условиям 0 ^ х ^ л/2, 0^у<;
/2. На плоскости (х, у) они образуют прямоугольник й. Попадание точки (х, у) в заштрихованную область А (см. рис. 6) приводит к пересечению иглы с
Рис. 5.Рис. 5.Рис. 6.Рис. 6.
Рис. 5.
Рис. 5.
Рис. 6.
Рис. 6.
одной из параллельных прямых. По формуле (16) искомая вероятность равна
л/2
\ — cos х dx
Д | ._ 2/
Q |a/2 • л/2 ал
Задачи
События Д и В несовместны. Доказать, что В = А тогда и только тогда, когда А + В = Q. _ _
Известно, что А Л В = 0 и А Л В = 0. Доказать, что в этом случае В = А.
Доказать, что события ДВ ЛД и В \ А равносильны.
Доказать, что А \ (Д \ В) = АВ.
Доказать, что: а) АВ = В тогда и только тогда, когда В г А; б) Д (J В = В тогда и только тогда, когда Д £ В.
На карточке спортлото из 49 клеток отмечено шесть. Какова вероятность того, что ровно три из отмеченных клеток выпадут в очередном тираже? (В тираже производится случайная выборка шести элементов без возвращения из множества 49 клеток карточки спортлото.)
Трехзначное число случайно и равновероятно выбирается из всего множества трехзначных чисел. Найти вероятность того, что оно делится: а) на 3; б) на 5.
Деталь с вероятностью 0,01 имеет дефект А, с вероятностью 0,02 имеет дефект Вис вероятностью 0,005 имеет оба дефекта. Найти вероятность того, что деталь имеет хотя бы один дефект.
При жеребьевке N человек тянут билеты с номерами 1, 2, ..., N. Первые три человека вытянули номера Xi, хг, хз. Какова вероятность того, что
min (zi, х^ <xs < max (xi, x2)?
Из кармана, в котором находится 10 монет достоинством
20 коп. и 10 монет достоинством 3 коп., вынимается пригоршня из
10 случайно взятых монет. Какова вероятность того, что в кармане осталась сумма денег, нс мепыпая той, что вынута?
Из 104 чисел 0000, 0001, 0002, ..., 9999 случайно и равновероятно выбирается число. Какова вероятность того, что в выбранном числе: а) все цифры разные; б) имеются только 3 разные цифры; в) имеются только 2 разные цифры; г) все цифры одинаковые?
На бесконечную шахматную доску со стороной квадрата а бросается наудачу монета радиуса г, 2г < а. Найти вероятность р6 того, что монета будет иметь общие точки с к
квадратами, к = 1,2,3,4.
На паркет, изображенный на рис. 7, случайно падает монета радиуса г, 2г < а. Найти вероятность того, что монета целиком
окажется внутри маленького квадрата.
На квадрат случайно с равномерным распределением бросается частица. Найти вероятность того, что она удалена от вершин квадрата на расстояние, не меньшее половины длины стороны квадрата.
Г л а в a 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
Условные вероятности
Пусть при N испытаниях события Л, В и АВ произошли с частотами ^(Л), N(B) и N^AB). Назовем отношение Д£(ЛВ)/Л£(В) условной относительной частотой события А при условии, что произошло событие В. Если имеет место устойчивость частот
^~Р(Л), MUP(b), Л^^Р^В)
и Р(В)>0, то относительная частота N (AB))N (В) тоже устойчива:
N (Д6) _ N(AB)/N ~ Р (АВУ...
N ^В) — N(B)/X ~ Р(В) ''*'
Соотношение (1) приводит к следующему естественному определению.
Определение L Пусть Р(В)>0. Условно» в> ролтностью Р(Л|В) события А при условии, что произошло событие В (или просто: при условии В), назовем отношение
Р(Л|В) = -^-.(2)
Для условной вероятности Р(Л|В) применяется также обозначение РВ(Л).
Если В фиксировано, а As. si из некоторого вероятностного пространства (Q, si, Р), то условная вероятность РвМ), рассматриваемая как функция Рв от события А е si, определяет новое вероятностное пространство (й, si, Рв). Для того чтобы это установить, надо проверить, что Рв удовлетворяет аксиомам Г — 4°. Это легко делается, так как в силу (2):
р Р(^8) _ „— Р (£26) ।
гц—P(6j~^u' пн^ — p(S) —
если Л1Л2=0, то (Л]В)п(Л2В) = 0 и
„ / л , лх Р^ВЛ-А^ PMtB) , Р(Л,5) Ps (Л=Р(5)= W + W =
= РД(Л,) + РД(Л2);
и, наконец, из Л„ | 0 следует ВАп [ 0, поэтому
РвШ=-^^!0-
Переписывая (2) в фор?ие
Р (ЛВ) = Р (В) рв (Л),(3)
мы получаем равенство, которое называют теоремой умножения. Если исходить из определения (2), то содержательность теоремы умножения (3) представляется весьма невысокой. Однако в применениях мы часто условную вероятность РД(Л) будем вычислять, исходя не из формулы (2), а из каких-либо других соображений. В этом случае формула (3) уже определяет Р(ЛВ) с помощью Р(В) и Р(В|Л), а не наоборот.
Пример 1. В урне находится М белых и N— М черных шаров. По схеме выборки без возвращения последовательно выбираются два шара. Найдем вероятность того, что оба шара будут белыми. Эту вероятность можно найти с помощью теоремы умножения (3). Обозначим события А = {первый вынутый шар — белый}, В = {второй вынутый шар — белый}. Тогда вычисление вероятностей Р(Л) = -у- и Рл (В) = -^-_ * сводится к более простым задачам о вынимании белого шара из урны, содержащей М белых и N— М черных шаров (соответственно во втором случае М—1 белых и JV — М черных шаров). Имеем окончательно Р(ЛВ) = =/о\ At (Af — 1)
‘ И)Рл(В) — -у(лГЛГ-
С помощью (3) по индукции легко доказывается более общая
Теорема 1. (Теорема умножения.) Пусть события ль ••., Ап таковы, что Р (Л1 ... Ап_1)>0. Тогда РИ.-.. Л„) =
= Р (ЛО РЛ1 (Л2) РлА (Лз) ... Рл,... An_t VAnY (4)
Доказательство. Из условия теоремы вытекает, что существуют все условные вероятности в (4). Для доказательства (4) по индукции обозначим В = Ах ... ... Ал-1, А = Ап и применим (3) и индукционное предположение о справедливости (4), когда п заменяется на п—1. Справедливость (4) при м = 2 также следует из (3).
Формулы типа (3) и (4) показывают, что на одном и том же пространстве элементарных событий й с о-ал- геброй ^ удобно рассматривать, наряду с вероятностью Р, условные вероятности Рд.
Формула полной вероятности
Определение 2. Систему событий Ль Аг, ..., Ап будем называть конечным разбиением (в дальнейшем — просто разбиением), если они попарно несовместны и
Ai + Аг + ... + Л„ = й.(5)
Теорема 2. (Формула полной вероятности.) Если Ль ..., Ап—разбиение и все Р(Лй)>0, то для любого события В имеет место формула
п
Р(В)=^Р(ЛЙ)Р(В|Л»),(6)
й-1
называемая формулой полной вероятности.
Доказательство. Из (5) следует разложение В на сумму.
В = ВЙ = ВЛ1 + ВЛ2 + ... +вл„ попарно несовместных событий, поэтому
р (В) = Е Р (влй).й-1
Применяя к слагаемым Р(ВЛЙ) теорему умножения, получаем (6).
Пример 2. Вычислим в урновой схеме примера 1 вероятность события В = {второй вынутый шар — белый}. Из классического определения вероятности имеем Р(Л) = 4. Р(Л)=-^-,
Ра^) = ^Ь Pj(B) = ^.
По формуле полной вероятности
Р (В) = Р (Л) рл (S) + р (Л) Рл (S) =
М М-1 . N — M ММ
— N N - 1 + N N — 1N ’
т. е. Р(Л)= Р(В). Аналогично можно установить, что вынимая последовательно без возвращения шары, мы получаем одну и ту же вероятность вынуть белый шар на любом месте. Таким образом, при правильно организованной жеребьевке шансы всех участников одинаковы, независимо от того, в какой очередности они тянут жребий. Эту же задачу можно интерпретировать как вычисление вероятности вытащить белый шар из урны, из которой был случайно утерян один или несколько шаров.
Формулы Байеса
Теорема 3. Если выполнены условия теоремы, 2 и P(S)>0, то имеют место формулы
„. р ма р (в I лл, х
р (л6 i В) =,(7)
ЁрИ/)рР1Л)
называемые формулами Байеса.
Доказательство. По теореме умножения
р (лйв)=р (л j р (s । ла=р (s) р (л61 s),
откуда имеем
Р (Ль) Р (В | А.)
Применяя к знаменателю Р(В) формулу полной вероятности (6), получаем (7).
Формулы Байеса можно интерпретировать следующим образом. Назовем события Лй гипотезами. Пусть событие В — результат некоторого эксперимента. Вероятности Р (Л*) — это априорные вероятности гипотез, вычисляемые до произведения опыта, а условные вероятности Р (Л6 | В) — это апостериорные вероятности гипотез, вычисляемые после того, как стал известзн
исход эксперимента В. Формулы Байеса позволяют по априорным вероятностям гипотез и по условным вероятностям события В при гипотезах Л* вычислять апостериорные вероятности Р (Л& | В).
Пример 3. Пусть имеются две урны, в каждой из которых по N шаров, причем в первой урне Mi белых шаров, а во второй урне Ма белых шаров. Проводимый эксперимент состоит в том, что мы сначала с вероятностью 1/2 выбираем первую или вторую урну, а затем из выбранной урны случайно вынимаем (с возвращением) п шаров. Пусть событие В состоит в том, что все вынутые шары — белые. В этом случае имеем две гипотезы: Л1 — выбор первой урны и Л2— выбор второй урны. По условиям задачи априорные вероятности равны друг другу: Р (Л ]) = Р (Л2) = 1/2. Далее, легко вычис- (м
L) . Формулы Байеса дают нам априорные вероятности:
Если М2 < Мь то при п -» оо Р (Л, | В) =/лГх" ~* ^ таким образом, знание исхода В эксперимента в этом случае дает нам возможность существенным образом изменить наши априорные сведения о гипотезах At и Л2.
Независимость событий
Понятие независимости относится к одному из основных в теории вероятностей. Если события Лив таковы, что Р(В)>0, то существует условная вероятность Р(Л|В). В случае, когда Р(Л|В)=Р(Л), мы говорим, что событие Л не зависит от события В. Если и Р(Л) > 0, то в этом случае
РИВ) Р(В)РИ|В) _р, . р(5|Л)—=Р(Л)
и из независимости Л от В следует независимость В от А, т. е. понятие независимости Л и В симметрично. Из
теоремы умножения вероятностей (3) следует, что для независимых событий А и В имеет место равенство Р(ДВ) = Р(Д) Р(В). Это приводит нас к следующему определению независимости.
Определение 3. События А и В называются независимыми, если
Р (ДВ) = Р (Д) Р (В). (8) Если равенство (8) не выполняется, то события будем называть зависимыми.
Это определение уже не содержит ограничений типа Р (Д) > 0. В частности, если Р (Д) = 0, то из АВ s А следует, что и Р(ДВ) = 0, а тогда, в силу (8), Д и В независимы. Из определения (8) следует Р(Д) = Р(Д|В) и Р (В) = Р (В | Д), если эти условные вероятности существуют (т. е. Р (В) > 0 и Р (Д) > 0 соответственно).
Обычно независимость Д и В, которую иногда называют теоретико-вероятностной, или статистической, независимостью (в отличие от причинной независимости реальных явлений), не устанавливается с помощью равенства (8), а постулируется на основе каких-либо внешних соображений. С помощью же равенства (8) мы вычисляем вероятность Р(ДВ), зная вероятности Р(Д) и Р(В) двух независимых событий. При установлении независимости событий Д и В часто используют следующий принцип: события А и В, реальные прообразы которых А и В причинно независимы, независимы в теоретико-вероятностном смысле. Реальный смысл этого принципа можно связать со свойством устойчивости частот. Пусть при N наблюдениях N(Д), N (В), N(AB) — частоты событий А, В и АВ. Так как из устойчивости частот следует
^-PW, -^«P(S>, ^2-~Р(ЛВ),
«Ж»р(Л|В)-^.
N^ ' ' / р(В)
то из независимости событий Д и В, т. е. из Р (Д1 В) = = Р (Д), вытекает
NIAS')N(A)
N [В)N
или, что равносильно,
(9)(9)N^B) ~ N (A) N (В)N ^ N N •
(9)
(9)
Свойство (9) для причинно независимых реальных событий А и В установлено многовековой практикой человека. Это и позволяет нам сформулировать приведенный выше принцип.
. Надо отметить, что этот принцип ни в коем случае не является теоремой. Так как он сформулирован не в терминах математической модели, то он и не может быть теоремой. И, конечно, из теоретико-вероятностной независимости событий А и В не следует причинная независимость их реальных прообразов А и В. Следующий пример показывает, что независимость может исчезнуть, если незначительно изменить вероятностную модель.
Пример 4. Из колоды в 52 карты (состоящей из 13 карт каждой из четырех мастей) случайно вынимается карта. Рассмотрим события А = {вынут туз} и В =: = {вынута карта бубновой масти}. Тогда событие АВ =. = {вынут туз бубновой масти}. Поскольку в этом случае
Р (Л) = 4/52= 1/13, Р (В) = 13/52= 1/4,
Р (ЛВ) = 1/52 = Р (Л) Р (В),
то события Л и В независимы. Если же колода карт содержит еще и джокер, то Л и В станут зависимыми, так как Р (Л) = 4/53, Р (В) =13/53, Р(ЛВ)=1/53 и Р(ЛВ)#= Р(Л)Р(В).
Понятие независимости двух событий распространяется на случай нескольких событий.
Определение 4. События Л[, ЛгАп называются независимыми, если для любых 1^й < й< ... ... <.im ^ п, 2 ^ т ^ п, выполняются равенства
р А А • • • А) - р А)р А) ■ ■ ■ р (А): (Ю)
в противном случае события называются зависимыми. Независимость нескольких событий называется иногда независимостью событий в совокупности.
Из определения 4 сразу следует, что события любого подмножества Д^, А^, ..., А/г независимых событий Дь Аг, Ап также независимы.
Нижеследующий пример показывает, что независимость событий Дь АгАп в совокупности — более сильное свойство, чем попарная их независимость.
Пример 5. Пусть из чисел 2, 3, 5 и 30 выбирается одно число, причем каждое из чисел может быть выбрано с вероятностью 1/4. Обозначим событие Д* = = {выбранное число делится на А}. Легко видеть, что события Аг, А3, Д5 попарно независимы, но зависимы в совокупности, так как
Р (Д,) = Р (Дз) = Р (Д5) = 1/2, Р (Д2Дз) = Р (Д2д5) =
= Р(Д3Д5)=1/4 и Р (Д2Д3Д5) = 1/4.
Из определения 2 вытекает следующее свойство условных вероятностей..
Теорема 4. Если события А;, Д2, ..., Д„ независимы, индексы iv, i2, •.., ir, /ь /г, •••> is все различны, вероятность Р (Д^Д^ ... At^ > 0, то
Р(Л, .-.^[Л,, ...Л,Г) = Р(Л,,...Л,,). (II)
Доказательство. Из независимости событий Дь ..., Ап следует
Р(^с--ДО = Р(ЛО---Р(ДО>
Р(Д/, • • • Д/5)= Р (Д/J • • • Р(Д/$) и
Р<Ач...А.хА1х...А^ =
= Р(Д<1)...Р(Д1г)Р(Д/1)...Р(Д/5), поэтому Р(Д*( ... Д;гПД/1 ... Д/4) = Р(Дг1 ... Дгг)Х ХР(Д/, ... Aj^, а отсюда вытекает (11).
Независимость разбиений, алгебр и о-алгебр
Определение 5. Пусть у— некоторая система множеств. Наименьшая алгебра множеств ^(у), содеп- жащая у, называется алгеброй, порожденной системой у.
2 Б. А. Севастьянов
Аналогично определяется а-алгебра, порожденная у, как наименьшая ст-алгебра, содержащая у.
Если мы за систему множеств а возьмем разбиение Ль Л2, ..., Ап, т. е. такие множества А,, что Л^’ .+ Л2 + • • • +^я = Q и Л/Л/ = 0 при i =# j, то нетрудно видеть, что алгебра ^(а), порожденная разбиением а, является конечной (т. е. в нее входит лишь конечное число множеств) и состоит только из пустого множества и множеств вида
Ai, + Л/2 + ... + Л/т.
Имеет место обратное свойство.
Теорема 5. Каждая конечная алгебра множеств, порождается некоторым разбиением.
Доказательство. Пусть ^ — конечная алгебра событий. Обозначим ^ совокупность всех Ве$, для которых ю g В. Для каждого юе Q введем Вв = П 5« Ве^Й
Покажем, что для двух <й =/=<$>' либо В<й = В<й-, либо Ва П В^ = 0. Для любых ю е Q и В е $ имеет место следующее свойство: если оеВ, то В^гВ. Пусть теперь <оеВш'; тогда BtosBQ-. Далее, если й'еВ^, то Bq-sBq и, следовательно, Bto' = BQ. Случай ш' ^Ва невозможен, так как приводит к противоречию Bto- s Bto (а мы уже доказали, что Вш G В^). Выберем среди Вю разные множества Вь В2Вг. Они образуют разбиение, так как Bi + ... + Br = Q и BiB, = 0 при I =N j. Поскольку любое ВеЯ представимо в виде В = [J Вш, то это разбиение порождает алгебру Я, ш е В
что и требовалось доказать.
Пример 6. разбиение А + А = Q порождает алгебру ^ = {0,0, А, Л}.‘
Пример 7. Разбиение Л1 + Л2 + Лз = П порождает алгебру Я = {0, Q, Л/, Л2, Лз, Л] 4* Л2, Л/ 4* A3, Л2 4* Лз}.
Определение 6. Разбиения
а&: Аы 4* А^ 4- ... 4- А^Гк = Q, k = 1, ..., п, называются независимыми, если для любых ik, 1 ^ ^ 1к ^ г к, к = 1п,
Р (Au^i, ... Ля^у^» Р (Ли.) Р (Л2<2) ... Р (Anlft).
Определение 7. Алгебры (или а-алгебры) событий б^ь 6^2st-п называются независимыми, если для любых А, е s4-i
Р (АЛ ... А„) = Р (АО Р (А2) ... Р (А„).
Теорема 6. Конечные алгебры з£х, Л,-•>, »^п независимы тогда и только тогда, когда независимы порождающие их разбиения аь а2> • ■ •. ап.
Доказательство. Так как порождающее stt разбиение ж есть подсистема si-t, т. е. aiGs^i, то из независимости ^i^„ следует независимость аь ..., ап. Каждое А е ^, есть сумма попарно несовместных событий из а,, поэтому обратное заключение получаем из следующей леммы.
Лемма 1. 1°. Если события А и В независимы, то события А и В также независимы. 2°. Если Ах и В независимы и А2 и В независимы, а АхА2 = 0, то At4-A2 и В независимы.
Доказательство. Г. Из независимости А и В следует
Р (В А) = Р (В \ АВ) = Р (В) — Р (АВ) =
= Р (В) - Р (А) Р (В) = Р (В) (1 — Р (А)) = Р (В) Р (А), т. е. В и А также независимы. 2°. Из независимости At и В имеем P(A;B) = P(At-)P(B), откуда вытекает Р ((At + А2)В) = Р (А,В) + Р (А2В) = Р (А,) Р (В)+Р (А2)Х XP(B) = (P(At) + P(A2))P(B) = P(At + A2)P(B), т. е. At + A2 и В независимы.
Следствие. Каждое событие А порождает разбиение A+A = Q, которое в свою очередь порождает алгебру ^(А). Из леммы 1 вытекает, что независимость событий AtАп и независимость порожденных ими алгебр ^(At)^(Ап) эквивалентны.
Независимые испытания
Под испытанием мы будем понимать некоторый эксперимент, исходами которого служат те или иные случайные события. В принятой нами аксиоматике испытание— это некоторое вероятностное пространство. Пусть
даны п испытаний, т. е. даны вероятностные пространства
(Qp РО, (Q„, ^„, Р„).(12)
Если эти вероятностные пространства есть модели некоторых причинно независимых испытаний, то о-алгеб- ры s^\, ^ч, ..., £Фп должны быть независимыми. Но для того чтобы иметь возможность говорить о теоретико-вероятностной независимости, мы должны рассматривать гФ, как о-подалгебры о-алгебры з£- одного общего вероятностного пространства (Q, ^, Р). Такое вероятностное пространство всегда можно построить. Мы проделаем это построение в частном случае, когда вероятностные пространства (12) конечны.
Итак, пусть (Q,, ^i, Р;)—конечное вероятностное пространство, Q, = {(oJ, ^ состоит из всех подмножеств Пг, а вероятность Р;(А) = У, рг(®г) задается
с помощью вероятностей элементарных событий p<((Dt), огеЙг. Построим прямое произведение вероятностных пространств (12) (Q, ^, Р), полагая Q = Q!X^2X... ...Х^п, точки которого аей есть векторы ® = = (®1, ®2. • • •, ®п) с компонентами а^й,, /=1п, st — алгебра всех подмножеств Q,
р(®) = Р1(®1) ... рМ, РМ) = X р(«>\(13)
в>еЛ
Построенная так вероятность Р называется прямым произведением вероятностей Р; и ' обозначается Р = -Р1Х...ХР.. Аналогично в этом случае ^ = — <s^i X ... X есть прямое произведение алгебр. В построенном вероятностном пространстве выделим класс событий А, называемых прямоугольниками, определяемый следующим образом. Пусть А, е ^(-, I = = 1п. Прямоугольник
A = A,XA2X ... ХАп(14)
состоит из тех и только тех со =(wi, со2, •--i ®п), для которых tote. Ai, i=l, ..., п. Из определения вероятности (13) следует, что вероятность прямоугольника (14)
равна
Р(Л) = 2 р(®)= 2 Р1(®1)---£ РпМ =
СО €= ЛС0| G Л|* (Од G Лд
п
= ПРа(Ла). (15)
А» 1
Обозначим s4-k подалгебру алгебры зФ, состоящую из всех тех прямоугольников (14), у которых Л, = П; для i =#=• к. Нетрудно видеть, что между событиями '
Л? = а!Х... Хй^-^Л/ХйжХ ...XQne^
и Д,е^г устанавливается естественный изоморфизм Л; ~ Ар поэтому вместо событий Лг из вероятностного пространства (Qz, з£ь Рг) можно рассматривать изоморфные события Д^ из подалгебры зФ\ вероятностного пространства (Q, зФ, Р), Из определения вероятности (15) следует Р(Д<) = Рг(Дг). Так как А = АгХ-->ХАп =
= П А'к) то из (15) получаем для любых А^ез^
й= 1
/ пхп
■ р(П л;1=Пр(л;),\Й=1 / Й=1 4 '
т. е. алгебры з4-\з^гп независимы.
Схема Бернулли. Частный случай независимых испытаний, с двумя исходами в каждом из испытаний, строится следующим образом. Пусть вероятностные пространства в (12) таковы, что Q, = {0, 1), зФ; = {0, {0}, {Г}, ^1}> p(0) = p, p^ = q1 р + ^=1- Тогда в прямом произведении (Q, зФ, Р) имеем й = {со}, ® = (®i, cd2®п\ ю< = 0, 1, п
p^^AYp6*^.(16)
i=i
Построенная схема независимых испытаний называется схемой Бернулли. Обычно она трактуется следующим образом. Пусть некоторый исход А, который мы будем называть успехом, может произойти при каждом испытании с одной и той же вероятностью р; противоположный исход А ^неуспех) может произойти при каждом
испытании с дополнительной вероятностью q = 1 — р. В элементарном событии со = (wi, ..., ton) имеем со; = 1, если при i-м испытании произошел успех, и <о, = О в противоположном случае. Обозначим Вк ={w: wi + ••• ... + ®rt = ^} событие, состоящее в том, что при п независимых испытаниях в схеме Бернулли произошло ровно к успехов. Поскольку из (16) следует, что при to^Bk р(ю) = ркдп-к, то Р(Вк) — pkqn~kX (число элементарных событий шгВк). Итак имеем,
PM^V^OJп. (17)
Вероятности (17) называются биномиальным распределением. Примерами, в которых появляется биномиальное распределение, служат: выборка с возвращением (§ 4, формула (15)), выпадение шестерки т раз при п бросаниях игральной кости (вероятность этого события
—JРождение т мальчиков при реги
страции п рождений (если вероятность рождения мальчика р = 0,51, то вероятность рождения пг мальчиков при регистрации п рождений равнаСп (0, 51)т • (0, 49)л—т; обширный статистический материал, собранный в разное время и в разных странах, свидетельствует о том, что вероятность р>1/2 и примерно равна 0,51—0,52), Полиномиальная схема. Более сложная схема п независимых испытаний получается, когда при каждом испытании возможно появление одного из г попарно несовместных исходов. Пусть ье испытание связано с вероятностным пространством (Йь s^u Pt), где Q; = = {1, 2, ..., г} состоит из номеров 1, 2, ..., г исходов. Пусть pi, ..., р, — вероятности этих исходов, р\ -f- .., ... -|~pr=l, а ^/ состоит из всех подмножеств Q;. В прямом произведении вероятностных пространств (Я, ^, Р) элементарное событие иеЙ равно со = = (<01<оге), где со, — номер исхода при t-м испытании. Полагая р (ш) = ра р^ ... ра , вычислим вероятность события1 2 п
Впх... пг — (в п независимых испытаниях
произошло ровно по Пк к-х исходов}
Ri + th + • • • + пг = п.
Так как для любого ае Biр(®) = Йр?»fc-i
а количество точек в В,г1...Пг равно полиномиальному коэффициентуто
Р(в".<|8)
zii Н- •.. ~Ь ^г== и»
Распределение (18) называется полиномиальным; описанная схема независимых испытаний с г исходами также называется полиномиальной. При г = 2 эта схема превращается в биномиальную схему Бернулли.
Задачи
Из множества чисел ООО, 001, ..., 999 равновероятно выбирается одно число. Какова вероятность того, что это число не содержит цифру 1, если все его цифры различны?
Рис. 8.Рис. 8.Из урны, содержащей М белых и Л' — М черных шаров, случайно последовательно ио схеме выборки без возвращения извлекаются три шара. С помощью теоремы умножения найти вероятность того, что появится последовательность шаров: белый, черный, белый.
Рис. 8.
Рис. 8.
Показать, что любая конечная алгебра событий состоит из 2* событий, где к — натуральное число.
Плоскость расчерчена параллельными прямыми, расстояния между соседними прямыми, чередуясь, равны 'я и Ь. На эту, плоскость случайно бросается нгла длины Z < min{a, 6). Пользуясь решением задачи Бюффона и формулой полной вероятности, найти вероятность того, что игла пересечет одну из этих прямых.
На бесконечную шахматную доску с длиной стороны квадрата а случайно бросается монета радиуса г < о/2. Найти вероятность того, что монета пересечет сторону какого-либо квадрата.
В последовательности п независимых испытаний с вероятностью р успеха в каждом из испытаний произошел ровно один успех. Какова вероятность того, что успех произошел при втором испытании?
В схеме испытаний задачи 6 произошло ровно два успеха. Найти вероятность того, что успехи произошли в соседних испытаниях.
На паркет, составленный из прямоугольников со сторонами а и Ь, а < Ь, случайно бросается монета радиуса г, 2r < min{a, 6). Найти вероятность того, что монета заденет меньшую сторону
какого-нибудь прямоугольника, если известно, что она какую-то сторону задела.
Для перехода улицы пешеходу нужно три секунды. Каждую секунду с вероятностью р по улице проезжает автомобиль и с вероятностью q = 1—р улица свободна. Будем считать время дискретным (по секундам), а наличие или отсутствие автомобиля па улице в разные моменты времени независимыми испытаниями. Пешеход начинает переходить улицу лишь в том случае, если в течение трех секунд она будет свободна от автомобилей на переходе. Найти вероятность того, что пешеходу придется ждать перехода а) больше двух секунд; б) больше трех секунд.
Бросаются две игральные кости. Какова вероятность того, что на первой кости выпала 1, если известно, что на второй кости выпало число очков больше, чем на первой? (Применить формулу Байеса.)
В единичный квадрат со вписанным в него кругом независимо с равномерным распределением случайно бросается 6 частиц. Найти вероятность того, что нн одна из пяти частей квадрата не будет свободна от частиц (см. рис. 8).
Глава 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
Случайные величины. Индикаторы
Рассмотрим конечное вероятностное пространство (й, si-, Р). Числовую функцию от элементарного события g = ^(со), to е й, назовем случайной величиной. Мы будем обычно обозначать случайные величины греческими буквами g, т), £, ц, v, ... и т. п. (в англо-американской литературе и иногда у нас случайные величины обозначаются прописными латинскими буквами X, У, 2 и т. п.).
Пример 1. В схеме независимых испытаний Бернулли в § 11 множество й состоит из элементарных событий со =((01,02(ол),где (0,= 1, если при i-m
испытании произошел успех, и о, = 0 в случае неуспеха. Случайная величина ц^ ц((о) = (Oi+ (02+ ... +(оп равна числу успехов при п испытаниях в схеме Бернулли.
Пример 2. Рассмотрим следующую урповую схему. Пусть в урне имеется N шаров, из них М белых, остальные— черные. По схеме выборки без возвращения из урны извлекаются п шаров (см. § 4, пример 3). Перенумеруем все N шаров числами 1, 2N так, чтобы белые шары получили номера 1, 2, ..., М. Тогда множество й можно составить из элементарных событий, состоящих из подмножеств (0={li,l2, .... inY i\<. ■< 1'2 < .. • < in, мощности n множества целых чисел {1,2, ..., NY Элементарное событие о = {/1,1'2, •••, М соответствует выборке, в которую вошли шары с номерами /1, i2, ..., in. Случайная величина g, равная числу белых шаров в выборке, определяется как функция от (о следующим образом: g = |((o)=m, если в (»={/i, ...
inY im^M<.im+i при 1 ^ m < n; g((o) = O, если М <; ц* ^(о) = п, если in ^ М.
Пусть ^(хь ..., хг) — числовая функция от числовых аргументов Xi, ..., xr, a gi, ..., gr— случайные величины. Тогда сложная функция л = Л(ю) = g(e(to), ^2(<»), Мю)) также будет случайной величиной. В частности, так определяются случайные величины, гг
равные сумме Ее и произведению Неслучайных а=16-1
величин.
С каждым событием /1 erf можно связать случайную величину
/а = /а(®) = {/а = /а(®) = {если <оеД,
/а = /а(®) = {
/а = /а(®) = {
О, если <о^Д,
называемую индикатором события Д. Индикаторы удовлетворяют следующим легко проверяемым свойствам:
/а = 0, /q=I, 1.^ = 1 aU, 1~д = Х—1а-(1)
Если события Дь ..., Д„ попарно несовместны, то нетрудно установить, что п
1п — Е iAk-
6-1"k п
Выведем формулу для индикатора объединения U ^6 любых событий. Так как у Дб= П Ль то учитывая свойства (1), мы имеем
1п=1-/-—=!-/„=
U AuUП Ас
6-1 *6-1 в6-1 в
-l-n^^l - П(1-/а6),
6-i в6-t 4 в'
«— Е 1дкU Afc *:“11+ L ,«— Е 1дкU Afc *:“11+ L ,откуда следует
«— Е 1дк
U Afc *:“1
1
+ L ,
«— Е 1дк
U Afc *:“1
1
+ L ,
Е /дьА/ +
I<6</<п я '
lAkAlAm— ••• + (~ О” XlAiA2..-An. (2)
Обозначим Xi < Хг < ... < х» всевозможные значения, которые принимает случайная величина g. С каждой случайной величиной £ можно связать разбиение с^, состоящее из событий Д/= {о: ^(со) = х,}. В самом деле, так как X/ ^ Xj, то Д/Д/ = 0 для I Ф j; сумма Д1 + Д2+ •.. +Да есть достоверное событие Q, так как Xi, Хг, ..., Хк — все значения случайной величины £. Разбиение сц порождает алгебру событий ^^, которая состоит из событий, представимых в виде
{^еВ) = {<о: £(<о)е=В),
где В — любое числовое множество. Разбиение а^ и алгебру st^ мы будем называть порожденными случайной величиной g. Любое событие {£ е В} представимо в виде суммы 2 Аь где суммирование ведется по тем I, для /
которых Xi е В.
Случайную величину £ можно выразить с помощью индикаторов разбиения Д1 + ••• +Да = О через сумму
к
V=№=T.XiIAiW,(3)
так как левая и правая части (3) принимают одно и то же значение х/ при ® е Ai.
Законом распределения случайной величины £ мы будем называть вероятность Р{^еВ}, рассматриваемую как функцию числового множества В. Закон распределения £ определяется значениями хь Хг, ... ,хк, которые принимает g, и вероятностями P{£ = xJ этих значений. Обозначим Р {£ = X/} = рь Тогда закон распределения Р{^еВ} можно определить с помощью табл. 2, верхний ряд которой состоит из различных
Таблица 2
Закон распределения случайной величины
Xi
Xi
х3
...
Хк
pl
Рз
Рз
...
Рк
чисел хи а числа нижнего ряда удовлетворяют условиям к
Pi>0, T,Pt=L(4)
е-1
С помощью табл. 2 можно определить вероятность
Р{^еВ}= £ pt(5)
*;е:В
для любого числового множества В.
В теории вероятностей часто говорят о случайной величине £ с законом распределения (5), не указывая ни вероятностного пространства (Й, ^, Р), ни функции ^(о), которая задает случайную величину. В этом случае предполагается, что существует какое-то вероятностное пространство (й, ^, Р), на котором можно определить функцию ^ = ^(о) так, что табл. 2 будет задавать ее закон распределения. Выбор вероятностного пространства каждый раз определяется существом задачи или простотой получающейся схемы. Простейшим вероятностным пространством, связанным с законом распределения (5), будет множество элементарных событий й={хьХ2, .... х*} с элементарными вероятностями p^Xi) = Pi. Случайная величина £ определяется тогда функцией Цх;) = хи
Закон распределения индикатора 1д события А определяется табл. 3. Каждой случайной величине соответствует закон распределения. Одни и тот же закон
Таблица 3
Закон распределения индикатора 1А
0
1
i — р И)
РИ)
распределения могут иметь разные случайные величины, Например, если события А и В разные, но Р(А)=Р(В), то разные случайные величины 1д и 1в имеют один и тот же закон распределения.
Закон распределения g иногда называют кратко просто законом или распределением. Законом распреде-
ления случайной величины иногда называют задающую его таблицу 2.
Примеры законов распределения.
Биномиальный закон для числа успехов р при п независимых испытаниях в схеме Бернулли:
P{p = m} = C^pm(l-p)n"m, m = 0, 1п
(см. §§ 11 и 12, пример 1).
Гипергеоме^рическое распределение— распределение числа бельм шаров £ в выборке без возвращения объема п из урны, содержащей М‘ бёлых и N — М черных шаров (см. § 4, пример 3 и § 12, пример 2):
ртпрп-т
Р {g = т} = ^1_Ы,m = 0,. 1min ^п, М).
CN
Равномерное распределение на {1, 2, .... А/}:
P{g = m} = -^-, т= 1,2, ..., N.
§13. Математическое ожидание
Пусть вероятность Р на конечном вероятностном пространстве (Q, s^, Р) определяется с помощью элементарных вероятностей р (со). Математическое ожидание случайной величины £ = £(®) обозначается М£ и определяется как сумма
М^= Z WPW(6)
Q) €5 Я
Математическое ожидание g называют иногда средним, значением £ или просто средним g. Из этого определения вытекают следующие свойства математического ожидания:
М/Л = Р(Л).
В самом деле,
М/л = 2 /л И Р (®) = Е Р (®) = Р (Л).(7)
вейшел
Аддитивность: М (£ + т)) = М£ + Мц.
Из определения М (g + ч) получаем
М(е + ч) = 2 (1(ю) + ч(ю))р(®) = шей
= S £(ю)р(®) + S ч(ю)р(®) = М^ + Мч. qsQweQ
Из свойства 2) нетрудно по индукции вывести свойство конечной аддитивности математического ожидания:
М (g, + ... +U= Mg, + ... 4- Mg„. (8)
Для любой константы с
M(cg) — cMg, Мс — с.
Это свойство легко вытекает из определения Mg.
Если g > ч, то Mg > Мч. Если g > О и Mg — О, то P{g = O}=l.
Доказательство. В сумме М (g — ч) = Z (£ (ю) —
0)
— Ч(а>))р(а>) при g^4 все слагаемые неотрицательны, поэтому M(g —ч)^°, откуда по свойствам 2) и 3) вытекает Mg>M4- Если g>0 и Mg —О, то при любом (os Q g(«>)р(to) = 0, откуда из р(со) > 0 следует g(<о) = 0.
Математическое ожидание g выражается через закон распределения случайной величины g формулой
к
Mg= Ex,P{g-=xJ.(9)
Доказать (9) можно с помощью представления g в виде суммы (3)'
'"к
£22 хД^—х^,
свойства аддитивности (8) и свойств 1) и 3): кк
Mg — 22 x(M/(S-,(} = Z Х,Р {g = xj.
Пусть g(x)—некоторая числовая функция. Подставляя вместо х случайную величину g, мы получаем новую случайную величину ч — g^- Вычислить Мч можно или исходя из определения, или с помощью закона
распределения т] или с помощью формулы к
Mn = Mg(g)=Eg(xaP{g=xJ, (10) /-1
которая доказывается так же, как и (9). При этом надо воспользоваться равенством
к
Полагая g^ = g“, мы получаем из (10): к
мг=Ё^"ра=ха.
i —1
Математическое ожидание Mg” называется п-м моментом (или моментом п-го порядка) случайной величины g (или ее закона распределения). Абсолютным п-м моментом называется М | ^ |”. Обозначим Mg = a. Центральным моментом п-го порядка называется M(g—а)", а абсолютным центральным моментом п-го порядка — М| g —а Г-
Центральный момент второго порядка называется дисперсией случайной величины и обозначается Dg = =M(g — af. Корень квадратный д/^из дисперсии называется средним квадратическим отклонением (или иногда стандартным отклонением).
Дисперсия обладает следующими свойствами:
Dg=Mg2-(Mg)2.
Доказательство. Имеем Dg=M(g — Mg)2= = М (g2—2М (g • Mg) + (Mg)2) = Mg2—2 • Mg • Mg + (Mg)2 = = Mg2-(Mg)2.
Dg^O и Dg = O тогда и только тогда, когда существует такая константа с, что Р {^ = с) = 1.
Следует из свойства 4) математического ожидания, так как Dg = М (g — Mg)2 и (g — Mg)2> 0.
Для любой константы с
D(cg) = c2Dg, D(g + c)--=Dg.
Следует из определения и свойства 3) математического ожидания.
Многие известные в анализе неравенства для сумм и интегралов широко применяются в теории верояг-
ностей, причем в этих неравенствах используется понятие математического ожидания. Приведем здесь некоторые из этих неравенств.
Неравенство Йенсена. Если числовая функция g(x) выпукла, то для любой случайной величины £
(Н)(Н)MgU)>g(Mg).
(Н)
(Н)
Доказательство. Если g(x) имеет производные g', g", то из выпуклости g следует, что в любой точке х g"(x) ^ 0. Поэтому при любом а
g(l)>g(a) + g'(a)(l-a).(12)
Полагая в (12)а = М£и беря математическое ожидание от обеих частей, получаем (11). В общем случае вместо (12) надо воспользоваться тем, что для любой выпуклой функции g^x) и любой точки а найдется такая константа С, что для всех х
g(x)>g (а) + С (х — а).g(x)>g (а) + С (х — а).(13)(13)
g(x)>g (а) + С (х — а).
g(x)>g (а) + С (х — а).
(13)
(13)
Функция g(x), определенная на интервале (с, d), где —оо ^ с < d ^ оо, называется выпуклой (или выпуклой вниз), если для любых Xi, Хг г (с, d) и любого 0 ^ 0 ^ 1 выполняется неравенство
g (0X1 4- (1 — 0) х2) < 0^ (xi) + (1 — 0) g (х2). (14)
Пусть g — выпуклая функция и а г (с, d). Возьмем любые Xi, х2, удовлетворяющие неравенствам с < х4 < а < х2 < d, Покажем, что для них
g (хб — g(a) g (х2) — g (а)
Х\ — CtХ2 Ct
Нетрудно проверить, что неравенство (15) равносильно (14), если
положить в нем 0 = —, 1—0 =—. Из (15) вытекает
х2 — Xiх2 — Х1'
существование такой константы С, что
supinf
x,<a Xi — ax2>a X2 — a
а это равносильно утверждению (13).
Неравенство Ляпунова. Для любых положительных а < Р
(м^ЧСм!^)’*. (is)
Для доказательства надо применить к выпуклой функции g(x) = xp/“ и случайной величине 1^1“ неравенство Йенсена (11).
Неравенство Коши — Буняковского. Для любых двух случайных величин £, т]
I М^Т] К VM^2 • Мт]2.(17)
Доказательство. Для любых чисел х, у по свойству 4) математического ожидания М(х£ + УЛ)2 ^ 0. Отсюда следует, что квадратичная формула х2М£2 + + 2хуМ|т] + у2Мт]2 неотрицательно определена, а следовательно, ее дискриминант неположителен: (М^т])2 — -Ms2Mti2<0.
Статистическое истолкование математического ожидания. Пусть в некоторой лотерее имеется один выигрыш, размер которого случаен и равен или Хь или х2, ..., или х&. Если лотерея проводится Л/ раз, причем Ni раз выпадает выигрыш хи N = ^l + ^2 + • • • + Л/*, то Ni/N есть относительная частота выигрыша Хи а к
■^ — "д?" ^ xtN t — средний выигрыш на одну лотерею. 1 = 1
Если g — случайная величина, равная размеру выигрыша в одной лотерее, то из статистической устойчивости частот следует » Р (^ = xj, поэтому средний выигрыш х колеблется около М£:
кк
х = -^ £ xtNt ~ ^ х,Р {£ = х,} = М^.i=li—1■
Механическая интерпретация М§ и D§. Интерпретируем наглядно закон распределения как расположение на прямой в точках х, < х2 <...< хк точечных масс кк
Ръ р2, ..., Рк, У, pi = 1. В этом случае ME = У х(р{ есть i = li-1
к
Центр тяжести, Dg = У pt ^xt — М92 — момент инерции <=i
масс pt относительно центра тяжести. Таким образом, М§ характеризует место, вокруг которого группируются
массы рь a Dg —степень разбросанности масс pt окола Mg.
Вероятность суммы событий. Вычислим от обеих час* тей равенства (2) математическое ожидание и воспользуемся его аддитивностью. Получаем
£ P(MJ +
+£р(л»ЛА)-...+(-1Г-1Р(М...^).
I<A1<A2<ZH<ZI
П U8)
С помощью (18) можно вычислять Р^Ц А^У
Пример 3. Размещение частиц по ячейкам. Пусть' имеется N ячеек, в которые независимо друг от друга размещаются п частиц. Каждая частица с вероятностью) 1/N может попасть в любую фиксированную ячейку. Обозначим через ро число пустых ячеек после такого размещения. Вычислим вероятность Р(цо = О}. Введем случайные события At, полагая, что Аг произошло тогда и только тогда, когда t-я ячейка пустая. Тогда (ц0 > 0}= N
= [J А{, и мы можем применить (18). Поскольку p(A=(i-4)n. pm)=(i -4У и, вообще,
то из (18) следует
Р{Цо>О} = ХС^- ^'Ч1 “4)”
А=*1илиN
РЬо = О}=1-Р(Цо>О} = 2 ^(-1/(1 -4)".
А-О
Многомерные законы распределения
Пусть на конечном вероятностном пространстве (й, ^, Р) заданы случайные величины £ = £((о), т] = = т](«>). Пусть хь ..., Хк — все возможные значения £,
уь ..•> Ут — все возможные значения гр Как мы уже знаем, с помощью вероятностей Р {| = xj и Р{я = 1/у} определяются законы распределения случайных величин | и тр
PS(B) = P{^B} = £ P& = xJ, '(19)
P4(B)=PheB} = z Р{Л = М.
где В — любое числовое множество. Совместным распределением случайных величин £, гр или законом ик совместного распределения, мы будем называть вероятность Р{(£, я)еВ), определенную для всех множеств Таблица 4
Двумерный закон распределения
вместное распределение можно задать с помощью набора вероятностейвместное распределение можно задать с помощью набора вероятностей
вместное распределение можно задать с помощью набора вероятностей
вместное распределение можно задать с помощью набора вероятностей
Р{^ = ^, Я = е//}. i = lk; j=l
полагая Р {№, ч) е В) = Z Pf^^o 4 = 0/}- Если(хг.У,)еВ
обозначить р{}=Р^ = хь ч = УА- то совместное распределение £, я можно задать с помощью табл. 4, в кок m
торой все рц^О и У Z Рц— 1- Любая таблица такого вида задает некоторый закон совместного распределения пары случайных величин, который мы иногда будем
называть двумерным законом распределения, или двумерным распределением. Иногда двумерным законом распределения мы будем называть просто табл. 4. Законы распределения (19) отдельных случайных величин | и т] будем называть одномерными.
Пара случайных величин g, т] порождает разбиение а^п, состоящее из событий
Дг/ = {®: £((o) = xz, n(®) = У/}, l=\, ..-,k\i=X, • --,tn.
Это разбиение, а также порожденную им алгебру будем называть порожденными парой £, тр Любое событие Аег4-хт\ представимо в виде А = {со: (®(®), т](®))е <=В}, где В— некоторое множество точек плоскости. II, наоборот, любое событие этого вида принадлежит .9^. Нетрудно видеть, что алгебры зЦ и st-^ порожденные случайными величинами | и т] соответственно, есть подалгебры j^^, причем алгебра «9^ порождена объединением алгебр .9^ и st-^. Если {Д/,} составляют разбиение а$п и mft
Аг. = Ац, А.; = 2 Ац,/-1;-i
то {Да} образуют разбиение aj, а {Д./} — разбиение an. Из двумерного закона распределения можно получить одномерные законы распределения для g
.P^ = x^ = Pi. = ^Plj
И ДЛЯ Т)
ft
РЬ = 9А = Р.1 = ^хРц.
которые иногда называют маргинальными законами первоначального двумерного распределения.
Аналогично для п случайных величин &, £2, .... £я определяется «-мерный закон распределения P$t... $п(В)= = Р {(6ь • • •> 6п)е В\, где В — множество точек «-мерного пространства Rn. Этот закон можно задать вероятностями
Р {=/= Хцр /=1, ..., п^ = Рц]г... /п» ^^ii^kp (20)
Где РМг-1п*^’ il.l^..ijnPl^-lt~ 1 И ХП<^2<--- ... < х,-^— значения, которые принимает случайная величина ^. Совокупность случайных величин £ь£2> • • - Лп. порождает разбиение а^ц... 8„> состоящее из событий вида Л’^-"//^^ М®)™ хц> i= 1» • • •> nY и алгебру ^Х..Л , СОСТОЯЩУЮ из событий вида {(£ь .... EJ е 5}, где В — подмножество «-мерного пространства R".
Так же, как в двумерном случае, по «-мерному закону (20) определяются маргинальные одномерные, двумерные и т. п. законы распределения, например,
P{^ = xi/} = Е р112 — 1„:
Р{&1=хи, ?2 = Х2/}= Е Р///3.../ •‘п
Так же, как и в случае одной случайной величины, мы часто будем считать, что случайные величины ^, £2, • • ..., £„ заданы, если задан их «-мерный закон распределения (20). В этом случае всегда можно построить такое конечное вероятностное пространство (Q, ^, Р), на котором можно определить случайные величины ^1,^2, ••• ..., £„ так, чтобы их «-мерное распределение совпадало с (20). Например, мы можем положить Q = {о}, где ® = (Х1Л- •••• хтп\ X^h^kt и P^ = Pixiv..tn-
Иногда п случайных Реличин ^, £2, •. •, in мы будем трактовать как компоненты случайного вектора £ = = (^ь^2, • ••, £п). Распределением случайного вектора £ будет «-мерное распределение Р [^ G5}= Е Р{1 = х},
■хеВ
где В — множество точек «-мерного пространства, х = = (хь ..., хп) — возможные векторные значения случайного вектора £.
Независимость случайных величин
В общем случае одномерные законы распределения не определяют многомерного закона. Однако в важном случае независимых случайных величин по одномерным
законам распределения однозначно восстанавливаются многомерные распределения.
Определение 1. Случайные величины £ь ^2, ... ..., £„ называются независимыми, если порожденные ими алгебры
Ах> «^6,^1п
независимы.
Поскольку каждая из алгебр ^; состоит из событий вида {g, е 5), где BsR1, то данное выше определение эквивалентно следующему: случайные величины |ь ..., gn независимы, если для любых числовых множеств В;
пP^sB^ ..., ^еВ^-ПР^ВД. (21)4 = 1
Из теоремы 6 в § 10 следует, что независимость алгебр ^^, .... 5^in равносильна независимости порождающих их разбиений а^, ..., а^п. Это приводит еще к одному эквивалентному определению независимости: случайные величины li, ..., 1п независимы, если для любых х^, ...
♦• •> Хп}п
Р ^f = XXjx, . . ., In = *n/„} = П P {&( = ХИ J-'
Теорема 1. Если случайные величины gb ^, ..., grt независимы, a gi(x)— числовые функции, то случайные величины T]i = gx^x), т]2 = gi^Л» = gn^) также независимы.
Доказательство. Так как имеет место включение ^g; ^ S si-\v то утверждение сразу следует из определения 1.
Определение независимости (21) можно распространить на случайные векторы ^ = (£ц, ..., ^irt\ компоненты которых являются случайными величинами. Для этого надо потребовать, чтобы равенство (21) выполнялось для любых множеств Bt s R'1 из г,-мерного евклидова пространства. Для таких независимых случайных векторов тоже будет справедлива теорема, аналогичная теореме 1, если g,(x)— функции, отображающие Rr$ И R^. Л/ — Згмерные случайные векторы.
Мультипликативное свойство математических ожиданий.
Теорема 2. Если случайные величины Bi, Ba, ... .,., Вл независимы, то
М^...^ = ПМ^.(22)
1 = 1
Доказательство. Докажем (22) сначала для двух случайных величин. Пусть В> и независимы, и
fem
^=^XiIA, Ч = Т1УДвР
<=*i'i = x1
где xx < x2 < .. • < xk, Ух<У2< ... <Ут. Отсюда получаем, в силу аддитивности математического ожидания: femfem
^т) = 5j 2 х^у^д^р МВп = ^ Е Xiy^ ^А,В^.
Из независимости В, п следует Р (Л,Sy) = Р(Л,)Р(8у), поэтому fem
мвп = £ x,p (ла Е У)р (да=мв • мп.
= 1/ = 1
Общий случай можно доказать по индукции, если положить В = 11 • • • 1л—ь 1] = Bn н воспользоваться независимостью g и гр
Из мультипликативного свойства (22) следует аддитивное свойство дисперсии.
Теорема 3. Если случайные величины Вь Вг, ... ..., В« независимы, то
D(Bi + ... +U = DB,+ ... +DB„.(23)
Доказательство. Докажем (23) для двух независимых случайных величин Виц. Общий случай получается по индукции. Имеем D (g + п) = М {(В+ п)- м (В + n)l2= М [(В - МВ) + (п - Mn)F = М (В - МВ)2 + 4- М (п — Мп)2 + 2М (В — МВ) (П — Мп)- Так как |, п независимы, то В —МВ и П—Мп также независимы. Поэтому М (В — Mg) (п — Мп) = М (В — МВ) • М (п — Мп)- Отсюда следует утверждение, так как М(В~ МВ) = = Mg-MB=O.■
Евклидово пространство случайных величин
Геометрическая интерпретация. Пусть пространство элементарных событий П={®} состоит из п элементов ®ь юз, ..., юя. Тогда каждой случайной величине g = = g(co) можно поставить в соответствие n-мерный век- Topg = (g(®i)g((u„)). Если
✓ввести скалярное произведение
(6. n) = X & (®) п (®) р (®)=м$1ъ
норму ||g||= V(£> I) и расстояние Рис. 9. Проекция £ иа
прямую констант /0. д ^ n) = ^М (£ _ n)2 = || g - п ||,
то множество всех случайных величин, определенных на вероятностном пространстве (Q, st, Р), можно рассматривать как n-мерное евклидово пространство.
Определим в этом пространстве прямую констант /o={g: g(®i) = g(®2) = • •• = g(®«)}- Спроектируем § на прямую /0, т. е. найдем такую константу т^ ^ /0, что
d(g, т^ = mind(g, с).cel-
Так как при любой константе с е /0
М (g - с)2 = М % - Mg)2 + (Mg - с)2 > Dg,
то m^=Mg и d(g, wit) = VDg. Таким образом, проекция g на прямую констант /0 —это математическое ожидание Mg, и g — Mg ортогонально /0 (ортогональность мы будем обозначать знаком ±, так что в нашем случае g— Mg ±/0), поскольку (g — Mg, 1)=0. Расстояние g от /0 равно среднему квадратическому отклонению д/Dg (см. рис. 9).
Рассмотрим две случайные величины g и т]. Полагая g= Mg + gi, П=Мт] + П1. найдем косинус угла ф^ между g, и тц:
cos Ф, = JkjlL _ 2Кк1«йй^«2к.(24)
1П,1VOE-Dn1 '
Этот косинус носит название коэффициента корреляции между В и т] и обозначается р(В, н)- Числитель справа в (24) носит название ковариации между В и q и обо* значается
Соу (В, г]) = М№-М5)(т|-Мг1).(25)
Из (24) и (25) имеем
Р(В. П) =Р(В. П) =Соу (g, ч)Vog • D-nСоу (g, ч)Vog • D-n
Р(В. П) =
Р(В. П) =
Соу (g, ч)
Vog • D-n
Соу (g, ч)
Vog • D-n
Рис. 10. Проекция ч на плоскость (В. /о).Рис. 10. Проекция ч на плоскость (В. /о).коэффициента корреляциикоэффициента корреляциивытекает, что привытекает, что при0^2 =# О0^2 =# Ор (а^ + Р„ а2Ц + Рг) = -j^-| 1 ртр Р & Л).р (а^ + Р„ а2Ц + Рг) = -j^-| 1 ртр Р & Л).
Рис. 10. Проекция ч на плоскость (В. /о).
Рис. 10. Проекция ч на плоскость (В. /о).
коэффициента корреляции
коэффициента корреляции
вытекает, что при
вытекает, что при
0^2 =# О
0^2 =# О
р (а^ + Р„ а2Ц + Рг) = -j^-| 1 ртр Р & Л).
р (а^ + Р„ а2Ц + Рг) = -j^-| 1 ртр Р & Л).
Из неравенства Коши—Буняковского (MBi^i)2^ МВ2 • Мч? следует, что всегда | р (В, ч)1^1- Если случайные вели
чины В и ч независимы, то Соу (В, ч) = О (так как Соу (В, П)=М (В—МВ) (л- —Мч) = М (В—МВ) • М (ч- —Мч)=0), следовательно, и р (В >4) = 0. Если р (В, ч)= = 0, то Bi ± Л1 и случайные величины В и т] называются некоррелированными. Из определения
Спроектируем вектор ч на плоскость, в которой лежат /о и |. Проекция ч = аВ + Р определяется константами аир (см. рис. 10), при которых ч — «В— Р -L 1 и Т1 — аВ — Р 1 В. т- е.
М(ц-аВ-р)- 1=0,
М (ч — «В — Р) • В = 0.
Это приводит к системе линейных уравнений относи* тельно аир;
а • МВ + Р = Мп,а • МВ2 + Р • МВ = МВл-
Решая эту систему, получаем
Mg4 — Mg-Мч сиа- (Гп а 5— = р — Р — .
Mg2-(Mg)- Р а| Р а.
0 =0 =Mg2 • Мч — Меч • MgMg2 • Мч — Меч • Mg°1°1= Мт| — ра*4= Мт| — ра*4
0 =
0 =
Mg2 • Мч — Меч • Mg
Mg2 • Мч — Меч • Mg
°1
°1
= Мт| — ра
*4
= Мт| — ра
*4
где a| = Dg, ст2 = Оч, р = р(£, ч)- Таким образом, для проекции ч получаем выражение
^ = Мч + Р-^-(^-М£),(26)
называемое уравнением регрессии ч на £. Формула (26) дает линейное относительно & выражение ч> Для которого М (ч ~ ч)2 = min. Вычислим это расстояние:
d2 (ч, ч) = М (ч — ч)2 = М (ч — Мч — Р ^~ Й — мц) == М(ч - Мч)2 + Р4 М(£ - м^ -
-2р^М(|-МШп-Мч) =
= а2+р2а2-2ра2 = а2(1-р2).
Полученное выражение <т2(1—р2) носит название остаточной дисперсии. Если р2=1, то М(ч ~ ч)2 = 0 и ч = Ч с вероятностью 1, т. е. с вероятностью 1 в этом случае £ и ч линейно связаны:
ч — Мч g — msач р ^'
Таким образом, коэффициент корреляции р = р(|,ч) является мерой зависимости между g и ч- Если g и ч независимы, то р = 0; если же р2 = 1, то g и ч зависимы друг от друга линейно, причем при р = 1 ч монотонно возрастает вместе с g, а при р =— 1 — убывает.
Если случайные величины ^, ..., g„ зависимы, то при вычислении дисперсии их суммы можно пользоваться следующей теоремой.
Теорема 4. Имеет место формула
D(ir+ ... +U=EDU + 2£ Cov(U^).
k=ll<A<Z<n
Доказательство. Докажем теорему для суммы В + П- Общий случай доказывается аналогично. Имеем
D (В + П) = М ((В - МВ) + (п - Мп))2 =
= М (В — МВ)2 + М (п — Мп)2 + 2М (В — МВ) (п — Мп) =
= DB + Dn + 2 Cov (В, п).
§17. Условные математические ожидания
Вернемся к понятию условной вероятности. Пусть дано разбиение
а: ^+ ... +Л„ = О,(27)
причем Р(Лд)>0 для всех к. Относительно каждого события Аь из разбиения и любого события В е st можно образовать условную вероятность Р(В|Л6) = Р (ВАъ\
= Р (Да) * Пусть ^ (а) — алгебра событий, порожденная разбиением (27). Определим условную вероятность Р(В|^(а)) относительно ^(а) как случайную величину,
Таблица 5
Закон распределения условной вероятности
Значения Р (В | st (a))
Р(51Д,)
Р(ВМ,)
•••
Р(ВМ„)
Вероятности
РИ.)
РИ,)
.•.
РИ»)
которая принимает значение Р(В |Л*) при сое Ак. Закон распределения этой случайной величины P(B|^(aJ) определяется таблицей 5.
Правую часть формулы полной вероятности
Р(В)= £ Р(Лд)Р(В|Ла)
можно теперь трактовать как математическое ожидание МР(5|^(а)) случайной величины Р(В|^(а)).
Пусть разбиение aj определяется случайной величиной В: Л* = {В = х*}. Обозначим .^ алгебру, порожденную В- Условная вероятность Р(В|^$) в этом случае есть функция от значений В, и мы обозначаем ее Р(5|В), а ее значение — через P(5|B = xft).
Предположим теперь, что В/ = {п=^}> /=1, ..« ..., т, образуют разбиение, порожденное случайной величиной 13. Условным законом распределения 13 при заданном значении В = хк назовем набор условных вероятностей
1P{n = Fp B = ^J , ,
Р(п = yi IB = х^ P(f^j—1= 1т’
условным математическим ожиданием 13 при заданном значении В = хк будет тогда сумма
М {п1 В =xft} = ^ У/Р{т1=У/1В = ^} = z-i
S «№=vv В = ^} _ Z-1 P{g = x*}
Мы можем считать M{i3lB = XjJ значениями случайной величины М(п|Е), являющейся функцией от В и равной М(г]|В = Хб} при ^ = Хк. Случайную величину М(г]|В). будем называть условным математическим ожиданием при заданном В- От этой случайной величины можно вычислить математическое ожидание
м [М (п IВ)! =2 р (В =х») М {13 IB =xkY (29)
Теорема 5. Имеет место равенство
М[М(тз1В)] = Мт1.(30)
Доказательство. Подставляя в (29) значения условных математических ожиданий (28), имеем
М [М (П IЮ1 = I р {£ = xj М {П I £ = ХА} = к-1
= Е Е У/Р{п = уь £ =^} = Е у^ h = yi} = Мп. k—ll—\l-l
Теорема доказана.
Пример 4. Пусть gi, £2, .... £п — случайные величины, имеющие одинаковые математические ожидания М^, a v — независимая от них случайная величина, принимающая целые неотрицательные значения. Определим сумму случайного числа случайных величин t}v = = £i + • • • + £v при v > 1, T]v = 0 при v = 0. Тогда Mnv = M^z * Mv. Эта формула доказывается с помощью (30). Имеем при любом v = п:
М bv I v = «} = М (^ + • • • + U = « • M^z,
т. е. М {riv I v} = v • М^- Отсюда получаем
Mnv = М [М (Hv I V)1 = Mv • МЕ;.
§ 18. Неравенство Чебышева. Закон больших чисел
Следующие два неравенства носят название неравенства Чебышева.
Теорема 6. Для любого х > 0 имеют место неравенства:■
PlIEI^X™1,(31)
Р{Н-М£|>х}<-^.(32)
Доказательство. Вычисляя математическое ожидание от обеих частей неравенства
I * I =1 6 l^{|j|>x} + I £ l^(l£l<*} ^1 £ 1^{|£|>х} ^ Х4ш>хр
получаем
'М|£|>хМ/{И|>е)=хР{Ш>х}.
Неравенство (32) получается из первого неравенства, если его применить к случайной величине ц = (g — Mg)2 и воспользоваться тем, что Мп = Dg. Теорема доказана.
Неравенство Чебышева (32) показывает, что при малой дисперсии Dg с вероятностью, близкой к 1, случайная величина § концентрируется около математического ожидания Mg:
P{|g-Mg|<x)>l--^|-. (33)
Неравенство Чебышева позволяет просто доказывать некоторые предельные соотношения, в которых участвуют последовательности независимых случайных величин g,t. В рассматриваемой в этой главе конечной схеме мы имеем право лишь утверждать, что любое конечное множество случайных величин может быть определено на одном вероятностном пространстве. В доказываемых ниже теоремах 7 и 8 мы полагаем, что при каждом »г случайные величины gb .... gn определены на некотором конечном вероятностном пространстве (Q„, ^„, Р„), причем при каждом фиксированном к < п случайная величина g* имеет распределение вероятностей, не зависящее от и. Вообще говоря, любую последовательность независимых случайных величин |„ можно определить на одном бесконечном вероятностном пространстве. Данные ниже доказательства теорем 7 и 8 имеют общий характер и не зависят от конечности рассматриваемой схемы.
Теорема 7. (Теорема Чебышева.). Если gb g2, ... независимы и существует такая константа О 0, что Dg„<c, п=1,2, .... то при любом е > О
Доказательство. Обозначим £п = gi +' ... + g, и применим к g„/« неравенство (33). Имеем при любом х > 0:
1>1>сх2п ’сх2п ’(35)(35)
1>
1>
с
х2п ’
с
х2п ’
(35)
(35)
п
так как D§„ = У, D^fe^nc (см. теорему 4). Из (35) при 6-1
п->оо имеем (34).
Следствие. Если §ь §2, ••• независимы и одинаково распределены, М§„ = a, D§„ = о2 < со, то при любом х > О
ПтР{| Ь+'я‘ + ^”—а|<х| = 1.(36)
Предельные утверждения типа (34) и (36) носят название закона больших чисел. Закон больших чисел утверждает, что с вероятностью, приближающейся при п->оо к 1, среднее арифметическое сумм независимых слагаемых при определенных условиях становится близким к константе.
Из (36) получаем закон больших чисел в схеме Бернулли.
Теорема 8. (Теорема Бернулли.) Пусть цп— число успехов при п испытаниях в схеме Бернулли с вероятностью 0 < р < 1 в каждом испытании. Тогда при любом х > О
lim Р{| —-p|<xj = 1.(37)
Доказательство. Мы можем представить р„ в виде суммы независимых слагаемых §i + ... + §п, где §; = 1, если при i-м испытании произошел успех, и §, = О в противоположном случае. Поскольку М§/ = р, D§< = p(l — р), то к рга = ii+ ... +§п применимо следствие (36). Теорема доказана.
Соотношение (37) показывает, что при больших п разность между относительной частотой цп/п и вероятностью успеха мала с вероятностью, близкой к 1. В условиях, когда справедливо свойство устойчивости частот, можно применять следующий принцип: при единичном испытании маловероятное событие практически невозможно. Считая серию в п испытаний в схеме Бернулли за единичное испытание и выбирая х таким, _ Dun ра
чтобы -^- = -^- было мало, мы можем утверждать, что неравенство |рп/п— р| > х практически невозможно. Вопрос о том, какие вероятности считать малыми, зависит от конкретной прикладной задачи,
Задачи
Из 28 костей домино случайно выбирается одна. Найти закон распределения суммы очков на половинках этой кости. (Кость домино — это прямоугольник, разделенный на две части. Каждая из частей помечена одной из цифр 0, 1, 2, 3, 4, 5, 6. Все 28 комбинаций пар (г, /), 0^1^/^ 6, составляют набор костей домино.)
Манти закон распределения случайной величины T) = sm-g-§, где § — число очков, выпадающее при бросании игральной кости.
Найти математическое ожидание Mg и дисперсию Dg:
биномиального распределения Р {g = m} = С”рт (1 — р)п~т, т = 0п;
гипергеометрического распределения
ртрп—т
Р {g = т^ = —М к~м т = о, 1min {га, Л4}*.
СПМ
. в) равномерного распределения на {1, 2, ..., А!}
P{g = m} = -L ,т=\, ...,N.
Из множества всех га! подстановок (... га \
\ X! Хг ... хп / чайно и равновероятно выбирается одна. Найти вероятность того, что Хк =# к при всех 1 ^ к ^ га.
Если p(g, 1]) = 0, то g и Т] не обязательно независимы. Построить пример.
Найти Mg,, Dgi и Cov (g;, gy) в полиномиальном распределении
q,га! /га, т
Р О* = '"1^ = «г) =PV '' ' Рг Г.
при целых неотрицательных mt + ... + тг = п и P{g|=mi>... ..., gr = гаг,} = 0 в остальных случаях. .
Из чисел 0000, 0001, ..., 9999 случайно и равновероятно выбирают число ^ibt-^i- Доказать, что g/ независимы в совокупности.
Найти коэффициент корреляции между g и g2, если Р {g=0} = - 1/3, Р {g= 1} = 1/2, P{g = — 1} = 1/6.
Бросается игральная кость. Пусть на ней выпало v очков. После этого та же игральная кость бросается v раз. Обозначим Г) сумму выпавшего числа очков в этих v бросаниях кости. Найти Мт).
а) Показать, что при любом х > 0 найдется такая случайная величина g, для которой М | g | ^ х и неравенство (31) превращается в равенство, б) Аналогичное утверждение справедливо и для неравенства (32), но в этом случае надо полагать Dg^x2.
Пользуясь неравенством Чебышева, оцепить вероятность того, что при 1000 бросаниях монеты число выпадений герба р будет заключено между 450 и 550.
Глава 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ В СХЕМЕ БЕРНУЛЛИ
§ 19. Биномиальное распределение
Биномиальное распределение числа успехов р при л независимых испытаниях в схеме Бернулли с вероятностью успеха р в каждом испытании задается вероятностями
P(R = /n} = C^pV"'n> m = 0, 1, ...,«; 9=1-Р- (О
Формула (1) записывается достаточно компактно и про? сто, однако использование ее для вычисления вероятностей Р (р = /п) при больших значениях п и т вызывает значительные трудности. При очень больших значениях п и jn можно производить вычисления на быстродействующей ЭВМ., Но и в этом случае при составлении программы надо учитывать то обстоятельство, что очень большие числа, возникающие при вычислении С™, приходится множить на очень малые числа pmqn~m. При этом надо следить, чтобы промежуточные численные результаты не выходили за диапазон допустимых значений.
Таблицы для вероятностей Cnpmqn~m громоздки и очень неудобны для пользования, так как содержат три входа (п, р и ту Еще хуже дело обстоит с вычислением вероятностей пн
Р (mi < р < т2) = £ С?рV"m,(2)
т=чщ
которые зависят уже от четырех параметров: п, р, т\ и т2.
Поскольку схема независимых испытаний служит вероятностной моделью многих реальных случайных явлений, представляет значительный интерес задача о нахождении асимптотических формул, позволяющих при-
3 Б. А. Севастьянов
ближенно вычислять вероятности (1) и (2) при больших значениях п, т, mi, та. Такие формулы дают нам предельные теоремы.
Теорема Пуассона
Рассмотрим сначала случай больших п и малых р.
Теорема 1. (Теорема Пуассона.) Если п-*оо и р-*0 так, что пр-* а, то для любого фиксированного m = 0, 1, ...
Р (р = т} = о V” -* ^ ^ О)
Доказательство. Утверждение (3) сразу вытекает из равенства
Р(р = т) —
-^0-4)04)
если учесть, что при п-*оо, пр-* а предел (1—р)” равен er®.
Можно показать, что в предельном соотношении (3) имеет место следующая оценка:
I
m I 2
p^=w)-“^re”|<-T’ а=пР- W
Мы докажем более сильное утверждение в более общей схеме независимых испытаний. Рассмотрим п независимых испытаний с разными вероятностями успеха в разных испытаниях. Обозначим pi вероятность успеха, qi = = 1 — pt—вероятность неуспеха в t-м испытании. Обозначим распределение ц — числа успехов при п испытаниях— через
Р {Ц = m} = рп (tn) = Рп (т; рр„).(5)
Такую схему независимых испытаний с разными pt называют схемой Пуассона. Схема Пуассона при pt® р превращается в схему Бернулли, Вероятности Р(ц = /п}
в схеме Пуассона не записываются в компактном виде, аналогичном (1). Например,
Р {И = 0} = дда ...qn,
Р{Ц=1}=Р1</2 • •. Чп-НхРгдз • •. qtl+ •.. +<7i</2 • • • Чп-\Р».
Р {И = «} = Р\Р2 Рп,
Р {и, = т} = 0 при т < 0 и m > п.
Обозначим т
Щ/л, «)=-^е-°.(6)
Имеет место
Теорема 2. В схеме Пуассона для любого натурального п, любых вероятностей рх, р2, ..., рп и любого числового множества В имеет место неравенство
|Р{цеВ}- £ П(/п, а)|<£ р^ ,(7)
IшеВ|1=1
где а = р\ -}- р2 + • • • + Рп-
Доказательство. Формула (6) задает вероят* ности П(т, а) более общего, чем мы рассматривали до сих пор, распределения Пуассона, имеющего положи* тельные вероятности при m=0, 1, 2, ... такие, что £ П(т, а) = 1. Докажем, что левая часть неравенства (7) не превосходит Vn, где
vn = у 2 I Pi’ • • • > Рп^ — п V». а) |. т=0
Разобьем все неотрицательные целые числа tn на два множества. Положим те В*, если Рп{т) > П(/п, а), н тг В-в остальных случаях. Обозначим
Z + = I кРп^-Пкт, а^,
meiB^
2=2 ^Рп^ — П^п.а^.
те®-
Так как У Рп кт) = У П (m, а) = L то tntn
0=У(Р„(т)-П(т, а))=У+ + У tn
И
У„=у^|Р„(т) —П(т, а)|=^ . т
С другой стороны, для любого числового множества В имеем
I У к?» И — П (,т, а)) I <
|теВI
<тах| У (Р„(т) —П(т, а)), У (Р„(т) —
1/пеВПв+те.В(\В—
-Пкт, «))|}<У + = 7„. Итак, для доказательства (7) нам достаточно доказать, что п
V. <2^.(8)
Проведем доказательство по индукции. При n = 1 и Pi = р имеем
1^1(0; р) —П(0; р) | = е~р + р — 1,
IP.d; р)-П(1; р^Нр-ре-Р,
| Pt кт\ р) — П кт; р) | = ^-е-Р,т>2,
откуда получаем
И| = у 2 ^Р^т> Р)~^кт, р)1 = т-0
= ^f-l + p + e-p-j-p-pe-p+ £-^-е-Л = Xт-2/
= р(1-е-₽)<р2,(9)
Так как 0^1 —е-х^х при х^О.
Далее воспользуемся тем, что по формуле полной вероятности
Рп^ Pn)=^n-i(«;Pi, р»-1)Р1(0; рп) +
+ Рп-1(т-1; Pn-WV. Рп) =
= ^Рп-хкт-^Р1^ Рп\ (10)
к-0
и при любых О| > 0, а2 > 0
П.(/п, а1 + а2)= 2 П(/п — к, а,)П(&, а2).(11)
6=0
пп
Обозначим ап = X Рк. Ап = 2 рХ- Предположим, что к-1к-1
Vn-i<An_b(12)
Применяя формулы (9) —(12), оценим Vn:
Уп = ^^Рп^-П^, ап)] =
т—0
=^£ Х^-л^-^л^; Рп)~
т к
— ^П(т— к, an^t)H(k, к— ^П(т— к, an^t)H(k, кРп) <Рп) <
— ^П(т— к, an^t)H(k, к
— ^П(т— к, an^t)H(k, к
Рп) <
Рп) <
ОО tn
^4Z У,\Рп-1(т-к)-П(т-к, an_vHP^k; Pn) + т—0 к—0
оо m
п-1п-1+ 4 S 2n(m-6« an-i)lpi(^; Рп)-п(&, р„)|< т—0 к—О
п-1
п-1
п*
Теорема доказана.
Следствие. В схеме Бернулли при любых пир
теВ
где а = пр.
Локальная предельная теорема
Муавра — Лапласа
Биномиальное распределение (1) случайной величины ц имеет Мц= пр и Ьр = пр(/ (см. задачу 3 вгл. 3). Обозначим а = л/прц среднее квадратическое отклонение. Доказываемая ниже теорема дает асимптотическую формулу для биномиальной вероятности (1) при р, не близких к 0 или 1.
Теорема 3. (Локальная предельная теорема Муав- ра — Лапласа.) Если в схеме Бернулли a — ^npq -»оо, то для любого С>0 равномерно по всем |х|^ Сеида х =—, где tn — целые неотрицательные числа.
Р | Д^Д= Л = _* е-^(1 + 0 (1))(13)
I ynpq J -у2л о
Доказательство. Пусть пг = пр 4* ха. Оценим логарифм вероятности
Р (р = m} = Р ( Д—^ = х ) = ——^1—- p«q>t-«, равный
log Р {ц = т} = log nl — log ml — log (п — m)l +
+ m log p + (n — m) log q.
Воспользуемся асимптотической при n-^oo формулой Стирлинга
lognl = n logn+log V2nn — n + On,
где 6n= О (-^-) . Обозначим к = п — tn = tiq — ха. Из условия теоремы следует, что m = пр (1 + -у ) -* 00, к = nq (1 — -^-) -♦ со, поэтому можно применить формулу Стирлинга для оценки lognl, log ml, log/г!. Имеем log Р{ц = m} = nlogn — mlogm — klogk-V
+ mlogp + /!log9 + llog-5^- + e„-9/„-9Ji. (14)
Так как log-^=log^L-log (1 + ^-)-lOg(l-^-)= = 2‘og 1 + 0(1), 1=О(У, 1 = -^ = o(^)' 7 = 0(^)’ ^ +б)=О(е), e->0, то из (14) получаем log P (ц = m} =
= — m log — — к log — + log—^+o(l).(15)
прnq а -у2я \о/
Далее, из (15) следует
log Р (ц = т} = — (пр + хо) log (1 + -^-) —
- (^ - х„) log (1 - ^) + tog -L_ + О (1) -
-(„,_от)(_^_^ + о(Я) + о(±)-
что и доказывает асимптотическую формулу (13).
§ 22. Интегральная предельная теорема Муавра — Лапласа
Для приближенного вычисления вероятностей P{mi^ ^ Н ^ т^ можно применять следующую теорему.
Теорема 4. (Интегральная предельная теорема Муавра — Лапласа.) Прио = ^npq ->оо равномерно по — оо ^ а < b ^ оо
Н — пр л/npqН — пр л/npqb х2
Н — пр л/npq
Н — пр л/npq
Р jti<Р jti<1= (/ 2 dx->0.(16)
Р jti<
Р jti<
2л J
а
Доказательство. Предположим сначала, что |а|СС, | 6 | ^С. Пусть Ш\ = ]пр + a ^npq [, пгг = — \пр + b -^npq ], где ]х[ —такое наименьшее целое
ЧИСЛО, ЧИСЛО,ЧИСЛО, ЧИСЛО,что х ^ ] х [, а И — такое наибольшее целое что [х]^х. Тогдачто х ^ ] х [, а И — такое наибольшее целое что [х]^х. ТогдаРМ<РМ<V^^ JV^^ JтгУ, Р{р = ш}.т=т\тгУ, Р{р = ш}.т=т\(17)(17)Обозначим т = пр 4-хт ^npq, тогда Axm= xm+i —
ЧИСЛО, ЧИСЛО,
ЧИСЛО, ЧИСЛО,
что х ^ ] х [, а И — такое наибольшее целое что [х]^х. Тогда
что х ^ ] х [, а И — такое наибольшее целое что [х]^х. Тогда
РМ<
РМ<
V^^ J
V^^ J
тг
У, Р{р = ш}.
т=т\
тг
У, Р{р = ш}.
т=т\
(17)
(17)
—хт = 1/о, По локальной предельной теореме запишем (17) в виде—хт = 1/о, По локальной предельной теореме запишем (17) в видер — «р-V^pqр — «р-V^pqР )а<Р )а<Справа в (18) стоит интегральная сумма, сходящаяся Ь х1
—хт = 1/о, По локальной предельной теореме запишем (17) в виде
—хт = 1/о, По локальной предельной теореме запишем (17) в виде
р — «р
-V^pq
р — «р
-V^pq
Р )а<
Р )а<
1 С2* равномерно по а и b при о->- оо к интегралуе dx;
а
отсюда получаем утверждение (16), когда lal^C, IH^c.
РШП|>С}=1-РШ„1<С}.РШП|>С}=1-РШ„1<С}.(19)(19)Снимем теперь ограничение |а|^С, |6|^С. Обозначим ^„ = 11 ~апр . Имеем равенство
РШП|>С}=1-РШ„1<С}.
РШП|>С}=1-РШ„1<С}.
(19)
(19)
Как известно из анализа,
—4= \ е 2 dx=\,
поэтому1поэтому1сс-\/2л j-с-\/2л j-се 2 dx—\е 2 dx—\112л2леех22 dx.х22 dx.(20)(20)
поэтому
1
поэтому
1
с
с
-\/2л j
-с
-\/2л j
-с
е 2 dx—\
е 2 dx—\
1
1
2л
2л
е
е
х2
2 dx.
х2
2 dx.
(20)
(20)
Из (19) и (20) получаем
P{R„I>C}—( е 2 dx =
|х|>С
С
(21)(21)= p{iui<c}--4- V1 dx
(21)
(21)
1V2jt"1V2jt"Зафиксируем его. По только такое «ь что для всех п "^ «аPdWH-iU-у2ЛЗафиксируем его. По только такое «ь что для всех п "^ «аPdWH-iU-у2Лчто доказанному найдетсячто доказанному найдетсяС Xs\ е 2 dxС Xs\ е 2 dx-с-св8 *в8 *
1
V2jt"
1
V2jt"
Зафиксируем его. По только такое «ь что для всех п "^ «а
PdWH-iU
-у2Л
Зафиксируем его. По только такое «ь что для всех п "^ «а
PdWH-iU
-у2Л
что доказанному найдется
что доказанному найдется
С Xs
\ е 2 dx
С Xs
\ е 2 dx
-с
-с
в
8 *
в
8 *
Пусть задано е > 0. Тогда найдется такое С, что
в dx < —.8|*1>с
откуда, в силу (21) и (22), для тех же п ^ п\ имеем
Р{||„|>С}<^-.(23)
Берем теперь любой интервал [а,6] и обозначим[Л,В] = [а, 6]П[—С, С]. Так как —С ^ Л ^В^ С, то,Берем теперь любой интервал [а,6] и обозначим[Л,В] = [а, 6]П[—С, С]. Так как —С ^ Л ^В^ С, то,как мы уже доказали, существует такое щ, что для всехкак мы уже доказали, существует такое щ, что для всехп^ П2 имеет место неравенствоп^ П2 имеет место неравенствоР6. = И. ВВ-уНА4з неравенстваь 2LP{^[«, 6]}1=- ( е 2 dx-у2л JР6. = И. ВВ-уНА4з неравенстваь 2LP{^[«, 6]}1=- ( е 2 dx-у2л Jх1е 2 dxх1е 2 dx(24)(24)<P{|gJ>C} +<P{|gJ>C} +
Берем теперь любой интервал [а,6] и обозначим[Л,В] = [а, 6]П[—С, С]. Так как —С ^ Л ^В^ С, то,
Берем теперь любой интервал [а,6] и обозначим[Л,В] = [а, 6]П[—С, С]. Так как —С ^ Л ^В^ С, то,
как мы уже доказали, существует такое щ, что для всех
как мы уже доказали, существует такое щ, что для всех
п^ П2 имеет место неравенство
п^ П2 имеет место неравенство
Р6. = И. ВВ-уНА4з неравенстваь 2LP{^[«, 6]}1=- ( е 2 dx
-у2л J
Р6. = И. ВВ-уНА4з неравенстваь 2LP{^[«, 6]}1=- ( е 2 dx
-у2л J
х1
е 2 dx
х1
е 2 dx
(24)
(24)
<P{|gJ>C} +
<P{|gJ>C} +
Р{^[Л, В]}Р{^[Л, В]}В х2V2n J AВ х2V2n J Adxdx
Р{^[Л, В]}
Р{^[Л, В]}
В х2
V2n J A
В х2
V2n J A
dx
dx
приприdx Свdx Св
при
при
dx Св
dx Св
получаем, в силу (22) — (24), что = max(nb »2>
Ь х'
Р{^е[а, 6]}^ (Г 2
-у2л J
а
равномерно по всем а^Ь. Теорема доказана.
§ 23. Применения предельных теорем
Предельные теоремы Пуассона и Муавра — Лапласа применяются для приближенного вычисления вероятностей Р {р = т) и Р {mi ^ р ^ mJ в схеме Бернулли
при больших п. Приближение, даваемое теоремой Пуассона, называется пуассоновским. Приближение, получаемое с помощью теорем Муавра — Лапласа, вазы- X8
12"
вается нормальным, так как функция -^=-е есть плотность нормального распределения (см. § 31). Для распределения Пуассона ^-^~° и интеграла
х и1
Фо (•*) = —в 2 du,(25)
называемого интегралом Лапласа, имеются таблицы.
Пусть, например, нам нужно вычислить вероятность Р{»Ч^Ц^т2) в схеме Бернулли с п независимыми испытаниями и с вероятностью успеха р. Вычислим
Ш1 — прт.1 — пр „
Хт, =а^а- , Хщ. =, И положим упруупрд
Р {m, < р < m2} ~Р {m, < р < m2} ~X8
Р {m, < р < m2} ~
Р {m, < р < m2} ~
dx = Фр (x^J Фр (xm,).
(26)
При этом мы допускаем некоторую погрешность. Можно оценить эту погрешность, но точная ее оценка очень сложна, а более простые оценки слишком грубы. Эту погрешность можно значительно уменьшить, если в правой части приближенного равенства немного изменить пределы интегрирования, полагая
Р {/nj ^ ц ^ т^ ~ Фо(хтг+1/2) — Фо(xmi_1/2), (27)
_ «2 + 1/2 - пр _ - 1/2 - пр тз+1/2 ^Прд ’ №11~1/2 л/npq
Из табл. 6 видно, что приближенная формула (27) дает значения вероятностей P{mi^p^m2) с точностью до трех-четырех знаков после запятой даже при п порядка нескольких сотен. Обычно применяемая формула (26) такой точности не дает.
Таблица 6
mi
та
Точное значение по формуле (2) t
Нормальное приближение до формуле (26)
Уточненное нормальное приближение до формуле (27)
п — 100; ;
> = 0,5
40
60
0,9648
0.9545
0,9643
45
55
0,7287
0,6827
0,7287
55
65
0,1832
0,1573
0,1831
п = 300; /
> = 0,5
135
165
0,9267
0,9167
0,9265
140
160
0,7747
0,7518
0,7747
160
180
0,1361
0,1238
0,1361
я =500; р = 05
230
270
0,9334
0,9264
0,9333
240
260
0,6523
0,6289
0,6523
260
280
0,1950
0,1819
0,1946
я =1000;
9=0,5
470
530
0,9463
0,9422
0,9463
530
560
0,03095
0,02882
0,03097
п = 100; р
= 0,25
15
35
0,9852
0,9791
0,9845
20
30
0,7967
0,7518
0,7960
30
40
0,1492
0,1238
0,1492
п = 300; р
= 0,25
60
70
0,9615
0,9545
0,9612
70
80
0,5366
0,4950
0,5366
80
90
0,2510
0,2297
0,2545
я = 500- jt
> = 0,25
105
145
0,9659
0,9611
0,9658
115
135
0,7219
0,6983
0,7218
135
155
0,1621
0,1499
0,1624
та
Значения вероятностей Р {от! ^ Ц ^ т2} = У, C”pm (1— р)п~т m—mt
в схеме Бернулли.
Задачи
В большом городе в год рождается 20 000 детей. Считая верой гиость рождения мальчика р = 0,51, иайти такое число /, чтобы с вероятностью 0,99 можно было утверждать, что среди рожденных В течение года в этом городе детей число мальчиков превышает число девочек ие меиее чем иа t. ■
Сколько надо произвести бросаний правильной монеты, чтобы с вероятностью 0,99 относительная частота выпадения герба отличалась от 1/2 не более чем и а 0,01?
В таблице случайных чисел каждая цифра появляется независимо от других с вероятностью 1/10. Сколько надо избрать таких Случайных чисел, чтобы с вероятностью 0,999 среди иих появилось ие меиее 100 нулей?
В большом городе в среднем в течение одного дневного часа поступает одни вызов иа скорую помощь. С какой вероятностью за 3 дневных часа поступит более 10 вызовов?
Какова вероятность, что в группе, состоящей из 30 студентов, никто ие родился в январе месяце? Вычислить эту вероятность по точной формуле и по пуассоновскому приближению.
Глава 5. ЦЕПИ МАРКОВА
Марковская зависимость испытаний
Очень часто реальные случайные явления можно изучать с помощью следующей модели. Пусть состояние некоторой системы описывается точкой фазового пространства £ = {е1,е2, ..., е,У В дальнейшем точки из Е будем обозначать просто числами 1, 2, .... г. Предположим, что время t дискретно и принимает значения i = О, 1, 2Т. Эволюция изучаемой системы описывается траекторией со = (соо, ®ь ..., ®г), где аи = 1, если в момент t система находится в состоянии I. В описываемом случае вероятностное пространство (О, ^, Р) определяется пространством траекторий й={со}, алгеброй ^ всевозможных подмножеств й и вероятностью Р, задаваемой элементарными вероятностями р(®). События А1(О={со: со/= i}, i = 1, ..., г, при каждом t определяют разбиение at, которое порождает алгебру событий s^t. Исходя из принятой нами в § 11 терминологии, мы будем говорить, что
^о, s^\, st-i, •••> «^т (1) есть последовательность случайных испытаний.
В § 11 мы описали модель последовательности независимых испытаний. В 1907 г. А. А. Марков ввел такой класс зависимых испытаний (1), который может служить моделью многих случайных явлений. Этот класс впоследствии изучался очень интенсивно и привел к сильно продвинутой в настоящее время теории марковских процессов. Простейшая модель марковского процесса— цепь Маркова — определяется следующим образом. В последовательности испытаний (1) зафиксируем какой-нибудь момент времени L Алгебру событий s^t назовем настоящим, алгебру ^-I, порожденную алгебрами ^о, ^ь ..., ^-t-i, назовем прошлым, алгебру
событий ^+ь порожденную алгебрами ^Z<+1, ..., ^-т,— будущим. Любое событие из ^Zo-1 также назовем прошлым, из ^Г+t — будущим, из sh — настоящим. Например, событие {со: найдется такое к, что t < к < Т и <од = (0^+1} принадлежит будущему, а событие {со: для всех к, 0 ^ к < t, юь ^ г} — прошлому.
Определение 1. Последовательность испытаний (1) мы будем называть цепью Маркова, если при любом фиксированном настоящем ot = k прошлое ^Zo-1 и будущее независимы, т. е. для любых l^fe^r, /= 1, 2, ...» 7- 1, Ае^-Х, Ве^+1
Р {ДВ| tot = м = Р (Д | ®t = £} Р (В I со, = к\ (2}
Поскольку из определения условных вероятностей следует, что для любых событий Д, В, С с Р (ДС) > О
Р (АВ | С) р / д ।
то условие (2) равносильно условию
Р(В|®, = *, д} = Р{В|®, = М- (з)
Переходные вероятности
Вычислим вероятность того, что траектория со = ,—(соо,соь ..., ®г) равна (io, ii, .... ir). Для этого вос- кользуемся введенными выше обозначениями Д,(0 =
•=={®:®< = i} и теоремой умножения из § 6. Имеем
Р {« = (i0, й, • •., ir)} =
- Р (Ло (0)) Д Р (Дit (?) | Ач (0) ЛiД1) ... Д((_, (i - 1)). (4)
Из условия (3) получаем для цепей Маркова
PCAJOI^W^.d) ... Ач_,(/-!)) =
= Р(А(,(0 |Д(/_, (/-1)),
поэтому (4) запишется проще:
Р {®=(i0, ix, •. •, ir)}=P (Дсв(0))Ц Р(Atf(i) IAit_t (t - !)\ ‘,-1(5)
В дальнейшем мы будем рассматривать однородные цепи Маркова, в которых условные вероятности
Р(Л,(/) |Л j(/— 1)) = р,/, называемые переходными вероятностями, не зависят от t. Таким образом, чтобы вычислить вероятность любой траектории <о в цепи Маркова, достаточно задать на- чальное распределение р{ (0) = Р (Л; (0)) и матрицу переходных вероятностей
Рп Р12 • • • Рхг
Pai Р22 ■. ■ Par(g)
Рп Рг» • • • Prr
Вероятность (5) записывается тогда так:
т
Р {со = (Zo, Zh ..., /у)} = Pi (0) Ц ptt_xit. {7)
Элементы матрицы переходных вероятностей обладают следующими свойствами:
Ри>0. LpM = ^(8)
Любая квадратная матрица (6), элементы которой удовлетворяют условиям (8), называется стохастической.
Введем переходные вероятности за t шагов:
p</(/) = PM/(/ + s)M,(s)}.
Матрица
Р(0=11^(0 II
также будет стохастической. Переходные вероятности удовлетворяют при любых целых t > 0, s > 0 уравнению
Рч (' + $) = fcE Plk ^ рм (s).(9)
Это уравнение выводится с помощью формулы полной вероятности
P//(/ + s) = PM/(^ + s)M<(0)) =
=£, Р (Л/ (/ + s)| At (0) Ak (s)) Р (Л, (з) | At (0)).
Так как Р (А, (/ + s) I At (0) Ак (s)) = Р (А, (/ + s) I Ак (s)) в силу марковости и Р(Д;(/+ s) | Дй(5)) = РМ/М 1^(0)) в силу однородности, то отсюда получаем (9).
Уравнения (9) можно записать в матричной форме P(/ + s) = P(/)P(S),
откуда имеем P(t) = Р1, где Р(1)=Р— матрица (6), Предполагая Ру(О) = б// (б,/= 0, если t ^/, бг/=1\ мы распространяем уравнения (9) на случай t ^ 0, s ^ 0.
Через начальные вероятности Р/(0) и переходные вероятности pii(t) мы можем выразить с помощью формулы полной вероятности распределение вероятностей Pt(t) = Р(Л(0) ПРИ любом /:
р/(О=£рИО)ри(о. (10)
Пример 1. Блуждание с поглощением. Пусть по точкам 0, 1, 2, ..., N прямой блуждает частица. Время / дискретно. Если в момент t частица была в точке I, то в следующий момент Z-j- 1 она независимо от ее положений в более ранние моменты времени с вероя;- ностью рц попадает в точку /. Если ЦрцЦ задается равенствами роо = Рим = 1, Pi, ж = р, Pi, i-i = 1 — р, если 1 ^ i ^ N—1 и Pi/ = 0 при |t — /|>1, то мы получаем цепь Маркова, которая описывает блуждание частицы по целым точкам отрезка [0, М] с поглощением на концах.
Пример 2. Блуждание с отражением. Пусть переходные вероятности р/,/+ь pi, i—i для l^i^M — 1 и Ри для |i — /|> 1 остаются теми же самыми. Если определить еще poo = 1 — р, ро i = р, Pnn = р, рм, n-i = 1— — р, то полученная цепь Маркова моделирует блуждание частицы по целым точкам отрезка (--*-, ^ + 7) с 'отражением на концах.
§ 26. Теорема о предельных вероятностях
Теорема 1. Если при некотором /0 все элементы Pii (to) матрицы Р<0 положительны, то существуют пределы
Vxm Pi/^ — pj, ]=!,..., г. (11) t->00
Предельные. вероятности pj не зависят от начального состояния i и являются единственным решением системы
^хкрк1 = Х],]=!,...,г, Ех/=1.(12)
Доказательство. Обозначим
Mj (/) = max Pij(t), m.j (/) = min pti (О-
Так как m/(0 ^ P»/(0 ^ ^/(0 ПРИ любом к, то из равенства
Pli V + 1) = 2 PikPkl (0
следует, что при всех I
mj^^Pijit +1X^(0.
Отсюда вытекает
№,(/)<№;(/+ IX Mj (/+ 1)< Mj (/).
Таким образом, при t-*-oo имеются пределы у последовательностей т/(0 и Mj^ty Докажем, что эти пределы совпадают. Пусть I и / таковы, что р,б(/ +^о) = ^»(^-р + М> Ру^ + ^ХтД^ + М- Вычитая друг из друга равенства
Мк kt + /0) = Pifc V + ^о) = ^ Ри М Ри к0,
тк (t + /0) = Pjk V + ^о) = ^ Р/1 (^о) Ри (0» получаем
Мк kt + /0) ~ мк kt + ^о) = ^ (Ри М ~ Рр ^оЙ Ри (0-
Разобьем сумму справа 2 на сумму £+ положитель* ных слагаемых и сумму ^ отрицательных слагаемых. Тогда
Мн kt + /о) - mkkt + /0) < Мк(t) Е+ кРи kt0) - Рц kt^ +
+ /Ид(/)2 (Рп(^о) Pjikto))- (13)
Так как 0= Е kpukta) — Рц О = Е+ + Е , то Е = = — Е+- Обозначим E+(Pzz(^o)—P/zM)))=^zy- Из условий теоремы следует, что все dq < 1, поэтому d = maxd(/<l. Теперь из (13) имеем
Мк kt +1^ -m^t^t.^d. {Мк (t) - тк (t)) и
0<Afft (/)-mt(0<<fM-»0
при / —> oo. Так как mk(t) ^ PikU) ^ Mt(0> то отсюда следует утверждение (11). Перейдем в уравнениях
Pijkt-V 1) = ^Pik kt) Рм
к пределу по /-> оо. Получаем
Г
Pi = ^ PkPkJ*
Г
Кроме того, Ер/=1>т. е. предельные вероятности Pf
удовлетворяют системе (12). Предположим, что какие- либо хь ..., хг удовлетворяют (12). Тогда они при любом t удовлетворяют системе
(14)(14)Ху ^j Xkpkj V)"
(14)
(14)
Это доказывается по индукции: гг г
£ хкРк] kt + 1) = ^ Хк £ PklPli kt) =®
Г / ГXг
= Е I Е Xkpkt \ Pijkt) = Ц Xlpu(t) = Xi. l-l\k=l/Z-l
Переходя в (14) к пределу по t-*oo, получаем Xj = Г
= Е xkPj = pj. Теорема доказана.
Из формулы (10) следует, что в условиях теоремы! pi(t)-*- Pi при t-*-oo, причем предел не зависит от первоначального распределения рг(б).
Можно проверить, что цепь Маркова, описывающая блуждание с отражением в примере 2, удовлетворяет условиям теоремы. Предельные вероятности в этом случае можно найти с помощью системы уравнений (12).
Задачи
В урне содержится 5 шаров, белые и черные. Испытание состоит в том, что каждый раз из урны случайно вынимается один шар и ззамен в урну возвращается шар, но другого цвета (вместо белого—черный и наоборот). Найти матрицу переходных вероятностей II рц || для цепи Маркова, состояниями которой является количество белых шаров в урне. Найти вероятности перехода за два шага р„(2). Найтн предельные вероятности lim р.Д^ = р..
.<->оо 1
Модель перемешивания колоды карт. Пусть имеется три карточки с номерами 1, 2, 3. Состоянием системы назовем последовательность номеров этих карточек idiis. Предположим, что переме- шиваппе происходит следующим образом: с вероятностями 1/2 состояние iikis переходит в iaiiii или в itisii. Найти матрицу вероятностей перехода. Найтн предельные вероятности pvt iltj
Полагая в примере 1 § 25 ^ = 3, вычислить вероятности перехода Pa(t) за / шагов и пределы lim pit (t) = Pu.
Глава 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
(ОБЩИЙ СЛУЧАЙ)
§ 27. Случайные величины и их распределения
Пусть (Q, s^, Р) — произвольное вероятностное пространство. Теперь уже случайной величиной мы будем называть не любую числовую функцию ^ = ^(о).
Определение 1. Числовая функция £ = £(©)' от элементарного события вей называется случайной величиной, если для любого числа х
{£<х} = {со: ^(о)<х}е^.{£<х} = {со: ^(о)<х}е^.(1)(1)
{£<х} = {со: ^(о)<х}е^.
{£<х} = {со: ^(о)<х}е^.
(1)
(1)
Смысл этого определения состоит в следующем. Поскольку не любое подмножество Q является событием и все события составляют ст-алгебру подмножеств ^/, то естественно рассматривать такие функции g = g(©), для которых имеет смысл говорить о вероятностях попадания £ в достаточно простые числовые множества, в частности, в {^^х}. Свойство (1) гарантирует, что при любом х неравенство (^ ^ х} есть событие и, следовательно, имеет смысл говорить о его вероятности.
Определение 2. Функцию
F(x) = F5U) = Pa<x},F(x) = F5U) = Pa<x},(2)(2)
F(x) = F5U) = Pa<x},
F(x) = F5U) = Pa<x},
(2)
(2)
определенную при всех х е R, назовем функцией распределения случайной величины £.
С помощью распределения (2) можно выразить вероятности попадания £ в различные интервалы вида
Xi^X^X2, ХХ<Х<ХЪ Х!<Х^Х2, х(^х<х2. (3)
Пусть X] < х2. Тогда из разложения события (£^х2) на сумму несовместных событий {£^xj + {xj <g^х2} следует P(^<x2) = P(^<x1) + P(^i <^<х2} и
(4)(4)Р (х, < g < х2) — F (х2) — F (х,).
(4)
(4)
Событие {£ < х} можно представить как счетную сумму несовместных событий
откуда с помощью (4) получаем:
Р{1 <*} = £> {х--7г^Т<1=Сх-^-}=^(х~1) +
П=1
+^W-^)-^-^))= п-2
= lim/;'fx—^-) = F(x — 0). (5) N-»oa '" '
Здесь и далее мы будем пользоваться обозначениями
F(x-0) = limF(t/), F(x + 0) = limF(l0. yfxу^х
F (+ оо) = lim F (у), F(—eo)= lim F(y'). У-^ООy^-OO
С помощью (3), (4) и (5) нетрудно уже получить ОС' тальные случаи:
P{g = x} = F(x)-F(x-0),PUi<g<x2) = F(x2) — F(xt — 0),P(x1<g<x2) = F(x2-0)-F(x1),U
P (x, <1 < x2) = F (x2 — 0) — F (x, — 0).
Теорема 1. Функция распределения F(x) обладает следующими свойствами:
F(x) не убывает,
Г(х) непрерывна справа,
F(+oo) = l,
F(- оо) = 0.U
Доказательство. Свойство 1) следует из (4). Свойство 2) следует из аксиомы непрерывности 4°. Так как события Вп = | х < ^ ^х+ -^-} | 0, то Р (В„) = = F(x + -^)-F(x)->0, т. е. F(x + 0) = F (х). Свойства
и 4) вытекают из аксиомы счетной аддитивности.
Так как Q = Л Л„, где Л„ = {со: п — 1 < £ (со) ^ и}, то П= -ОО
ооN
= P(Q) = £ Р(Л„)=Нт Е Р(Л„) =
= lim [FW-F(-^]
N-*oa
и, следовательно, F(oo) = Пт F(N) = 1, F(— оо) = N->oo
= lim F(—^ = 0. Теорема доказана.
N->oo
Определение 3. ст-алгебра^ числовых множеств, порожденная всевозможными интервалами вида Xi < -< х ^ х2, называется борелевской; множества В, входящие в 93, также называются борелевскими.
ст-алгебра борелевских множеств ^ содержит всевозможные интервалы вида (3) с конечными и бесконечными концами, их конечные и счетные суммы, все открытые и замкнутые множества. Таким образом, ст-алгебра множеств ^ достаточно богата и содержит все числовые множества, которые нам будут необходимы.
Назовем полным прообразом при отображении g числового множества В множество тех со, для которых ^(со)еВ. Обозначая полный прообраз В через ^-ЦВ), имеем £-1 (В) = {со: £(со)е В}. Из свойств полных прообразов■
с’ (0) = 0, Г"1 W = Q (В — прямая),
Г* ( П ВЛ = П Г* Ш Г* ( U = II Г1 №X п / пX п / п
Г‘(В|\В2) = Г1(В1)-Г1(52)
следует, что совокупность ^(В') для всех борелевских множеств В е^ является ст-алгеброй событий ^^ — ^« Мы будем называть s^ ст-алгеброй, порожденной случайной величиной £. Можно установить, что Л^ порождается множествами вида {®:g(co)^x} и состоит из событий Л вида
Л = Г1(В) = {ю: m^BL
где 8 = ^. Ниже мы покажем, что для каждого Вей определена вероятность Р (| е В), которую мы будем обозначать Pg (В).
Определение 4. Функция Pg (В), определенная для всех В е %, называется распределением вероятностей случайной величины g.
С помощью (4) — (6) можно выразить вероятность события {£ е В} для борелевских множеств В, представимых в виде конечной суммы интервалов вида (3).
В теории меры доказывается следующая
Теорема Каратеодори. Если на алгебре з^о подмножеств Й определена вероятность р, удовлетворяющая аксиомам Г, 2°, 3* (причем аксиома счетной аддитивности 3* формулируется так: если попарно несовместные Дпе^/0 и Д=2 Апеб4-й, то Р(4) = п=1■
= У, Р (Лп)), то эту вероятность можно однозначно про- п=1
должать на все множества из о-алгебры &, порожденной ^о1).
Нетрудно видеть, что числовые множества, составленные из конечных сумм полуинтервалов (xi, х2], образуют алгебру St0. Эта алгебра порождает а-алгебру борелевских множеств ^. Если задана функция распределения Fg(x), то она удовлетворяет условиям (7). С помощью формулы (4) и аксиомы аддитивности мы можем по этой функции распределения определить значения вероятностей Pg(B) = Р(£еВ} для всех Ве^а. Можно доказать, что распределение вероятностей Pg (В) а-аддитивно на алгебре множеств ^0- Отсюда и из теоремы Каратеодори следует, что с помощью функции распределения (2) мы можем получить вероятность события {§ е В} для любого борелевского множества ВеиЗ. Итак, распределение вероятностей Pg случайной величины § однозначно определяется функцией распределения Fv
Таким образом, каждая случайная величина £ дает такое отображение £ = £(ю) множества й в числовую прямую R, которое порождает новое вероятностное пространство (/?, 93, Pg).
') См., например, Халмош П„ Теория меры. — М.: ИЛ, 1953.
Из равенства Р {£ = х} = F (х) — F (х — 0) следует, что в точках разрыва функции F (х) имеет место Р (£ = х}>0. Так как при каждом целом п может быть не более п точек х с Р(£ = х)^1/п, то у функции F(x) имеется не более счетного числа точек разрыва.
Обозначим xi, Х2, ... все точки разрыва F^xY Если вероятности Р {^ = х*} = рк таковы, что S р* = 1, то ■t=i
мы говорим, что случайная величина £ имеет дискретное распределение. Примерами дискретных распределений служат:
биномиальное
Р {£ == СУ (1 — p)n~k, к = 0, 1, .... и; 0 < р < 1;
пуассоновское
P{l = k} = ^e~a, k = 0, 1, 2, ...; 0 < а;
геометрическое'
Р{| = ^) = р(1-р)\ ^ = о, 1, 2,0<р < 1.
Мы будем говорить, что функция р (х) = Рх (х) есть плотность распределения случайной величины £, если ДЛЯ любых Х1 < Х2
Р {*! < £ < х2} = $ рх (х) dx.(8)
Х1
Из определения (8) следует:
F^(x) = ps(x) в точках непрерывности р$(х);
X
FxW= ^ px^du;
. 3. Fx (х2) — Fx (хО = ^ px^du для любых хх < х2.
Xi
Если распределение имеет плотность рх(.х), то мы будем говорить, что случайная величина g имеет абсолютно непрерывное распределение. Через плотность Рхкх\ можно выразить любую вероятность Рае= В},
если мы умеем вычислять интеграл по области В в следующей формуле:
P{?eS}=^E(x)^.(9)
в
Для множеств В, равных сумме интервалов, интеграл (9) вычисляется обычным способом. Для того чтобы равенство (9) имело смысл при любом борелевском множестве В, нам нужно обобщить понятие интеграла, перейдя от интеграла Римана к интегралу Лебега (см. гл. 7).
Отметим, что существуют непрерывные функции распределения F(x), не имеющие плотностей. Примером такой функции служит канторова функция F(x), которую можно определить равенствами F^x) = 0 при х ^ < 0, F(x) = 1 ПРИ х^ 1 и
4/7(Зх)при
F^ =F^ =4при
F^ =
F^ =
•^■b^F^x — 2) при
Непрерывные функции распределения, не имеющие плотностей, называются сингулярными. В общем случае любая функция распределения F^x) представима в виде
F (х) = а^ (х) + a2F2 (х) + a3F3 (х),
где at ^ 0, ai + а2 + аз = 1, Ft (х)— дискретная функция распределения, ^(х)— функция распределения, имеющая плотность (такие функции называются абсолютно непрерывными'), F3(x)— сингулярная функция распределения.
Плотность распределения р(х) обладает следующими двумя свойствами:
p(x)^0, p(x)dx=l,(10)
которые легко устанавливаются из определения (8).
Функции от случайных величин. Пусть g(x) отображает действительную прямую R в себя. Для любого
B^R полный прообраз g~l(B) определяется как множество тех точек xeR, для которых g^eB.
Определение 5. Функцию g(x) назовем борелев- ской, если для любого борелевского множества Ве^ полный прообраз ^-‘(В)^.^, т. е. тоже борелевский.
К. множеству борелевских функций принадлежат, в частности, непрерывные и кусочно непрерывные функции.
Теорема 2. Если | — случайная величина, a g(x) — борелевская функция, то т) = g^ есть случайная величина.
Доказательство. Рассмотрим т| = ti(cd) как сложную функцию т) = g-(^ (со)). Пусть Ве^. Так как g(x) — борелевская функция, то g-4B^ = В\е98. Так как т]-1 (В) = |-1 (В^е ^, то п— случайная величина.
Рассмотрим два примера вычисления функции распределения Вч(х) и плотности р^х^ случайной величины 1] = g^) по функции распределения F^x). и плотности р*(х).
Пример 1. Пусть функция т) = g(£) монотонно возрастает, g^M — обратная функция. Тогда
^ (х) = Р fr] < х) = Р (g ® < х} =
= Р{|^^1(х)) = В6(Г,(х)). (11)
Дифференцируя (11) по х, имеем (если ^(х) дифференцируема и имеется плотность Рб(х))
^(x) = f'to-'(x))^^-.
откуда получаем соотношение между плотностями:
Рл (х) = руД^) Рх (£-1 (х))-
В частности, при g(x)=x3 имеем•
Рч(х) = ^з-Р$(^х )-
Пример 2. Пусть g(x) = х2, В§(х)—непрерывная функция распределения с плотностью ps(x), ^ = “. При х ^ 0 из равенств
^(x)=P{Ti<x}=PU2<x} =
= p{-Vx <i<Vx}=bs(V7)-b6(- Vx)
получаем
Ри to = ~^=- (pg (VF) + Ре (- 77)).
Рассмотрим несколько примеров абсолютно непрерывных распределений.
Нормальное (или гауссовское) распределение.
Мы говорим, что случайная величина g имеет нормальное распределение с параметрами (а, а), — оо < < а •< оо, о > 0, если она имеет плотность
Itx-aV
РЕ to =РЕ to =1 е zo* ,V2n or *
РЕ to =
РЕ to =
Нормальное распределение с параметрами (0,1) с плотностью
Р to = -7=2"
-у2л
называется стандартным. Плотность р(х)’ удовлетворяет условию
ОО00 v?
\ р(х)dx = —-=■ \е 1 dx=\.
Равномерное распределение.
Мы говорим, что случайная величина £ имеет равномерное распределение на отрезке [а,6], если ее плотность имеет вид '
J С при а^х^б,
I 0 при х < а или х > Ь.
Из условия ^ p(x)dx — C ^ dx = C(b —а)= 1 следует
■ 3. Гамма-распределение.
Распределение с плотностью
О,О,РЕ to™РЕ to™Хйх°-ХГ (а)Хйх°-ХГ (а)е-Хх,е-Хх,х<0,х>0.х<0,х>0.
О,
О,
РЕ to™
РЕ to™
Хйх°-Х
Г (а)
Хйх°-Х
Г (а)
е-Хх,
е-Хх,
х<0,
х>0.
х<0,
х>0.
где а>0 и X > 0 — параметры, Г (а) — гамма-функция, называется гамма-распределением.
Плотность р^(х) с а = 1 называется плотностью показательного распределения.
§ 28. Многомерные распределения
Часто приходится рассматривать на одном и том же вероятностном пространстве (Q, <s/, Р) несколько случайных величин |1, 5гВ«- Так как множества {5* ^ ^ х*} е s4, т. е. являются событиями, то и их Пересе- п
чение f] {gA ^ х*} е г/. Поэтому существует вероятность этого события, которая называется многомерной функцией распределения
Р{в1^М> Вп ^^-п} = F^ ... '„ (М*л)"
Многомерную функцию распределения мы будем иногда записывать просто F(xiх„), не указывая индексами 5ь ...,
Обозначим Ад,... ^(xiх„) разность n-го порядка по аргументам Xiх„ с приращениями йь ... ..., hn. Последовательно эти разности можно определить следующим образом:
^h,F(xvхп) =
= F(xi+fti, х2, ..., х^ — Р^х, х2х„), W(xt, х„) =
=F (X! + /гь х2 + й2, х3х„) — F (х, + йь х2х„)—
.— F (хь х2 + й2, х3x„) + F(xi, х2х„),
и т. д.
В общем случае имеет место равенство
Ад, ...„/(х,, ..., х„) =
=£(_ 1)n+el+... +9„F(Xi + Q|Aii .... Хп+еА)>
0„=°
где суммирование ведется по всем 0; = 0 и I.
С ПОМОЩЬЮ F^.-.^txiХп) можно вычислить вероятность попадания в любой прямоугольник вида
Xi <li^xt + hi, i= 1, .... n:
Pto <l<Xi-V hi, i= 1, ..., n} = Ад,... hnF(xxxn\
(12)
Доказательство формулы (12) можно провести последовательно:
Р {^-i < £i ^*х -f- h\, s2 ^х2, • • •, ^п ^х„} =
= P{^<Xi+Ah h<x2g„<x„} —
Р {si ^ хх, ..., gn ^ хп1 = Ад,/*^, ,.. gn (хь ..., х„); р {*1 < £1 < Ай + Аь х2 < ^2<х2+/г2, ^3 < Хз^„^Хп}= = Р {х, < ^^Х[ + Й1, ^2 ^ х2 + /г2, ^з ^ х3, ...,£„ ^ хп} — Р(х, <^<х, + hb g2<x2, ..., £„<x,J =
= Ад2(Ад,^| ,..^(хь х2, .х„)) =
= AAih/^...^(xi, х2, •ХпУ И т. д.
Из формулы (12) и из определения многомерной функции распределения F(xx, ... х^ вытекают следующие свойства (которые доказываются аналогично одномерному случаю):
/(хьх2х„) по каждому аргументу не убывает и непрерывна справа-,
F(— оо, х2, ..., x„) = F(xb —оо, х3, ..., х„) = .=F(xvx„_b—оо) = 0;
F(+оо, 4-оо-|-оо)=1;
при любых h\^sO, ..., hn ^ О Аа, ...h„F(xiх„)>0.
Здесь, как и ранее,
F(—ОО, х2, .... х„)= lim F^xx, x2l ..., хпУXj-^-oo
F(4-oo,x2, ..., xn)= Um F^xx, x2xn).'Xi->+°0
Любая функция F(xxx„), удовлетворяющая свойствам 1)—4), есть многомерная функция распределения некоторых gi, ..., ё„- Пример функции
ГО при Х!4-Х2<1, F(xx, х2) = '{
(, 1 при Х|-|-Х2^^1,
9494гл. e. Случайные величины (общий случай!
94
94
для которой выполнены свойства 1)—3) и не выполнено свойство 4) (так как АИВ(О,0) = F(l, 1) — F(l,0) — — F(0,1)-}-F(0, 0) = —1), показывает, что свойство 4) не вытекает из первых трех.
Из формулы (12) и свойства счетной аддитивности вероятности следует, что
^-^(.V.Xm>=F^.„^X\, ..., Хпг, 4-00, . ... 4-00).
Назовем а-алгебру множеств «-мерного пространства Rn, порожденную всевозможными «-мерными прямоугольниками вида ql < Xi^bi, / = 1, ..., «, боре- левской и будем ее обозначать ^п. Множества из ^" также будем называть борелевскими. Как это было и в одномерном случае, многомерная функция распределения F^v...^ (хь • •., Хп) позволяет нам при помощи формулы (12) вычислять вероятности событий вида се В, где £ = (£], ..., ^п), В — прямоугольники и конечные их суммы. Аналогично тому, как мы это делали в § 27, доказывается, что с помощью таких вероятностей однозначно определяется вероятность события ей для всех ВеЯп. События {a: g(<o)eB}, где BeS8nT образуют e-подалгебру $ о-алгебры ^. Мы будем называть ^v...t,n о-алгеброй, порожденной случайными величинами сь .... g4. Функция Р$(В)=Р (£е еВу определенная для всех ВеЗ§п, называется п-мерным распределением вероятностей случайного вектора ^ = (L .... м-
Дискретное многомерное распределение задается конечным или счетным набором значений х = (хь .... х,.) и неотрицательных р(х) с Sp(x)=l. Вероятность
X
Рь (В) — Р (£ е В) определяются в этом случае как 2 р(х).
х е В
Другой частный случай дают распределения с плотностью. Многомерной плотностью распределения р^(х), х=(хь ,.., хга) называется такая функция, что
Р6(В) = Р(6еВ) = ^(х)4х,(13)
в
где справа стоит «-мерный интеграл по области В. Интегралу справа можно придать смысл при любом В г
е^я, поэтому формула (13), вообще говоря, действует при всех В^$п. Из определения плотности р(х) следуют ее свойства:
p(x)>0, p(x)dx — ^ ... p(x)dx = 1. (14)
Функция р(х)', удовлетворяющая (14), может быть плотностью некоторого распределения.
Из определения плотности вытекают следующие ее связи с функцией распределения:
p(xt, ....p(xt, ....Гц... $„to, .... х„) =
p(xt, ....
p(xt, ....
рц ... хп (“ь • • •» м„) dm ... duni
dnF (XtXn^ ,dxt ... dxn
В точках непрерывности x = to, .... xn) плотности p(xi,xgxn) имеет место равенство
Р Ui < & < xt -f- Дх0 i = 1n} =
= P tox„) ДХ1 ... Дх„ + о (ДХ] ... Ах„),
max Axj -* 0.
1ISI01ISI0Р(х) =Р(х) =при хе S, при x^S.при хе S, при x^S.Примером многомерной плотности служит плотность р(х) равномерного распределения на области Ss^" конечного n-мерного объема |S|, задаваемая равенствами
1ISI0
1ISI0
Р(х) =
Р(х) =
при хе S, при x^S.
при хе S, при x^S.
ISHS1$|ISHS1$|Р(£еВ) =Р(£еВ) =Вероятность Р {£ е В} в этом случае определяется отношением объемов ВП5 и В:
ISHS1$|
ISHS1$|
Р(£еВ) =
Р(£еВ) =
По. этой формуле вычисляются так называемые геометрические вероятности (см.§ 5).
§ 29. Независимость случайных величин
Случайные величины ^, ^2£«называются не
зависимыми, если независимы порожденные ими о-ал- гебры
А’ ^2. Ап.
Это определение эквивалентно тому, что для любых
Р Ui s Bt^„ е BJ = ft Р & ё В^.(15)
i = l
Частным случаем (15) является равенство
F^ ... $„ (xiх„) = F^ (xi) ... F^n (х„),(16)
справедливое при всех xt-. Из (16) нетрудно установить, что при всех xi и hi> О п
^hx...hnF^x...x^xxх„) = П Аа/^ (х.),(17)
что эквивалентно (15) для В,- = (х>, Xi + й/]. Как уже отмечалось выше, значения вероятности на всех интервалах однозначно определяют ее на борелевских множествах, поэтому из справедливости (17) вытекает справедливость (15) для любых Вх<=^. Таким образом, равенства (16) или (17) можно взять за определение независимости случайных величин ^, ..., gn.
Если случайные величины дискретны, то из (17) следует, что за определение независимости в этом случае можно принять равенство
P(lz = xz, 4 = 1n) = ftp& = xz), (18) i = l
справедливые при всех возможных х>. Для распределений с плотностью рхх..лпкк\, ..., х«) за определение независимости можно взять равенство
P^.-.^txtxn) = p6,(xi) ... №„(х„),(19)
так как из (19), в силу (13), вытекает (15), а из (17) следует (19).
Если 5ь .... gn независимы и gi^— борелевские функции, то случайные величины ^(50, ..., gn^n) также независимы, так как ^gt ^ s ^г
Аналогично можно определить независимость векторов ^ = ^п£<г) как независимость порожденных ими а-алгебр
Ах> ^^„'
где ^. = s^n^tr^ Иначе это определение можно записать в виде равенства
P^eBb Z=1п} = ПР{^еВЛ,1=1
справедливого для любых борелевских BieSF1. Аналогично, если 5ь .. , Ь независимы, gi(x')—борелевские функции, отображающие Rrt в RSl, то векторы 51(50, 52(b), •••, gnUn') также независимы.
Формула композиции. Пусть 5 и т] — независимые случайные величины, рх, рц — их плотности. Плотность совместного их распределения равна Р^(1х,у') = — Рх(х)рп(у). Функция распределения суммы 5 + п равна следующему интегралу:
^+n(z)=P(l+n<z} = $ p^p^dxdy. (20)
*+У <z
Интеграл в (20) можно вычислять как повторный (для непрерывных плотностей — это факт из анализа, в общем случае — следствие теоремы Фубини, доказываемой в теории интеграла Лебега), поэтому
ОО2 — X00
рихД^ = J Px^dx J p^dy= J Р^г-х^(1х= —00—00—00
002290
J px^ J pn(y- x)dydx = J dy J px^p4ky-x)dx, — 00—00— 00— 00
Формулы
F^^ = $ F^z-x^p^dx
4 Б. А. Севастьянов
И
Р$+Б <2) = 5 Pt (*) Р* (2 — *) ЙХ
носят название формул композиции или свертки. С поч мощью их мы выражаем плотность p|+n(z$ и функцию распределения Ft+4(z) суммы независимых случайных! величин через плотности и функции распределения слагаемых.
Пример 3. Пусть £ и г] независимы, F^\xj— функция распределения 6, а ц имеет плотность
"я
0 в остальных случаях.
Применяя формулу композиции, имеем
Л+ч(2)= J Ыг — x^p^dx = -^—^ $Л(2 — x)dx.
откуда получаем, делая в интеграле замену z — x = at х—а
Р1+^ = Т^ S Fx^du.
z—b
Отсюда следует существование плотности
РХ+^ =РХ+^ =F^z-g^-F^ (z-byЬ — аF^z-g^-F^ (z-byЬ — а
РХ+^ =
РХ+^ =
F^z-g^-F^ (z-byЬ — а
F^z-g^-F^ (z-byЬ — а
Задачи
На прямоугольнике 0 < х ^ а, 0 ^ у ^ 6 с равномерным распределением случайно берется точка (х, у). Найтн функцию распределения и плотность площади | прямоугольника с вершинами (0, 0), (0, у), (х, 0), (х, у).
На отрезке [0, (] независимо друг от друга берутся две случайные точки с равномерным распределением. Найти функцию распределения F(x) и плотность р(х) расстояния между ними.
Пусть случайные величины & с функциями распределения FtW независимы. Найтн функции распределения a) max{£i£„}; б) min{|i,..., gnj.
Пусть случайные величины Et, • • •. Еп независимы н одинаково распределены с функцией распределения F(x) и плотностью р(х). Упорядочив их по возрастанию, образуем «вариационный» ряд
би» < 5(2) ^-^ 8<«)- Найти плотность распределения 6(б> и двумерную плотность распределения gw и 6(0, к < I.
На прямоугольнике 0 ^ х < а, 0 ^ у ^ 6 случайно с равномерным распределением берется точка. Доказать, что ее координаты (§, л) независимы.
7. Найти плотность случайных величин, если7. Найти плотность случайных величин, еслираспределения пх плотностираспределения пх плотностиНа круге хг + у2 ^ R1 с равномерным распределением случайно берется точка. Показать, что ее координаты (6, Л) зависимы.
7. Найти плотность случайных величин, если
7. Найти плотность случайных величин, если
распределения пх плотности
распределения пх плотности
суммы 61 + Ь независимых р^ (х) = Л,е Х<Х, х >0,
р^ (л) = 0, х < 0.
Найти плотность распределения р„(х) суммы 6i + -" + 8* независимых случайных величин, каждая из которых имеет плотность Хе-кх, х^О.
Случайные величины ^ь 6г независимы и имеют плотность е-*,
.V > 0. Найти функцию распределения л =" •
51 + 62
Глава 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
Определение математического ожидания
Математическое ожидание МВ случайной величины $ = В(й)), заданной на вероятностном пространстве (й, ^, Р), определяется последовательно сначала для простых случайных величин, затем для неотрицательных случайных величин и, наконец, в общем случае.
Мы будем называть случайную величину В простой, если она представима в виде
m
l = w=^xI ^(1)
/=1 '
где события Л[, А2, ..., Ат составляют разбиение, т. е. m
AiAj = 0 при i=#j и У, Л; = Й.Для простой случайной величины (1) МВ определяется равенством m
MB-I-t/PM,).
Для неотрицательной случайной величины В ма' тематическое ожидание определяется как предел
МВ = lim МВ„(2)
П->оо
(конечный или бесконечный), где Вл^ИК®) для каждого шей, В« — последовательность простых случайных величин.
В общем случае любая случайная величина В однозначно представима в виде
1=Г-Г,
где В+ = ^{$>о), F = l^k{^<oj. Полагаем
МВ = МВ+-МВ-,(3)
если правая часть равенства (3) имеет смысл, т. е. если Mg+ и Mg~ не равны оо одновременно. Если Mg+ = = МГ = со, то мы говорим, что Mg не существует. Если Mg+ = co, Mg“ < оо, то полагаем Mg = oo. Если Mg“ = oo, Mg+< оо, то полагаем Mg = —°о.
Определенное выше математическое ожидание Mg обладает следующими свойствами.
1°. Свойство линейности.
Пусть Mg, Мт] и Mg + Мл существуют ис — константа. Тогда
М (g + л) = Mg + Мл> M(cg) = cMg.
Свойство положительности.
Если g > 0, то и Mg >= 0. Если Mg и Мл существуют и §^Л, то М§>Мл.
Свойство конечности.
Если Mg конечно, то и М | £ | конечно. Если | § | ^ л и Мл конечно, то Mg конечно. Если Mg и Мл конечны, то М (g + л) конечно.
Эти свойства мы докажем ниже параллельно с доказательством корректности определения математического ожидания. Здесь лишь заметим, что Mg всегда существует и конечно, когда g— простая, и Mg существует для всех неотрицательных g. И, наконец, заметим, что свойство 3° вытекает из определения Mg=Mg+—Mg-, M|g| = = Mg+ + Mg~ и из свойств Г и 2°.
Корректность определения Mg. Для того чтобы данное выше определение Mg было настоящим определением, нам надо убедиться в его корректности, т. е. независимости Mg от представления (1) простой случайной величины g и независимости предела (2) от выбора последовательности простых случайных величин g„ f g.
Простые случайные величины.
Пусть имеется два представления одной и той же случайной величины
• mп
^=T.x1lA.= 'LyJBV(4)
где (ДД и {BJ — разбиения. Поскольку А[=^ AjBk
m
при каждом j и Bk=^1A1Bfc при каждом к и для
QG=Aj(\Bk б(®) = Ху = УА, ТО
Мб = Z х,Р (Ду) = 2 £ ХуР (Д/Б*) =
= Z ZpaPGW-S^pw t-i /=i6-i
Доказательство свойств.
Г. Пусть случайные величины б и П представимы в виде (4). Так как {Д/Б*}, /= 1, .... m; k = = 1, .... п,— разбиение и для шеДуБ* б(®).+ 11(®) = = х1А-Ук, то'
б + л = 2 6Z (^у + у^ iA]Bk, откуда следует
М (б + п) = £ £ (X/ + у о Р (Д/Б*) = £ X/ £ Р (Д/Б*) + j —1 6=1/—16—1
+2 У к £ р (ДА)=£ ^/Р (Лу) + £ УбР (Б>)=Мб+Мп. т
Если б представимо в виде (1), то сб=£сху7д1 и
М(сб) = сМб.
2°. Если 6^0. то в (1) все хг^0, поэтому Мб^О. Если 6>П> то 6 = Tl + (£ — Л) и Мб = Мп + М(б — П)> ^Мп. так как из б-П^О следует М(б — П^О-
Неотрицательные случайные величины.
Если б ^= 0> то всегда существует последовательность неотрицательных простых б„ таких, что бп(®)1^(ш) при любом © е Я. За такую последовательность можно взять, например, п2П
(5)
Нетрудно видеть, что 0 ^ б« ^ &Ж ^ ^ и при б(®) ^ ^^(®)<б„(ю) + ^г.
следовательно, б^®)t Б(ю) Для любого ©ей.
Покажем теперь, что для любых двух последовательностей 0 ^ L t L 0 ^ ч« | 4 простых случайных величин
lim ML = Ит Мчя»(6)
П->00П-»ОО
Докажем сначала лемму.
Лемма ). Пусть ч и L— простые неотрицательные случайные величины u L t & ^ Ч- Тогда
lim ML>Mtj.
Л->оо
Доказательство. Пусть в > 0. Обозначим А„ = — {©: L(®)>n£®) —в}. Тогда А„^0 при п-*оо, следовательно, Р(Л„)|0. Далее, из очевидных неравенств ^>Ua >^ — еИД =П — ^А — ^д
и свойства 2° математического ожидания
ML>Mn-8P(4n)-cP(Jn), где число с выбрано так, чтобы ч (©) ^ с при любом ©ей. Имеем
Mg„ > М4 ~ 8 — cP (Л„),
а так как Р(Л„) | 0, то
lim ML^ Мч~в
Л->оо
при любом 8 > 0. Поскольку 8 произвольно, то отсюда получаем доказываемое неравенство.
Используем теперь это неравенство для доказательства (6). Пусть L t ^ Чл Н — Две последовательности простых случайных величин. Зафиксируем m и применим к ^П^, лемму. Получаем Нт М|„>Мчт. откуда
П->оо
следует lim ML^ Ит Мчп. Меняя местами L и чл> Л->ооП->оо
приходим к равенству (6).
Доказательство св о й ств.
Г. Пусть Q<Ltt 0^ч« t Л- Тогда L + ПпН + ч и по определению
М(£ + ч)= Hm M(L + 4«) = Ит ML+ Ит Мч„ = »■♦*П-»ое«-><*
= Mg + Мч.
Если g >= 0 и с > 0, то из g„ 15 следует cgn f eg и M(cg) = lim M(cg„) = clim Mgn = cMg.
2°. Из 0 < gn f g следует 0 < Mg„ f Mg. Если g >= п. то из g = n + (& —Л) вытекает Mg = Мп + М (g — п)^ Мп.
3°. При g^O имеем |g| = g и M|g|=Mg. Если O^g^n и Мп < °°. то из Mg^Mn следует Mg < оо.
Общий случай.
Так как разложение g = g+— g- единственно, то математическое ожидание М£=М?+-МГ определяется однозначно, если оно существует.
Доказательство свойств.
1°. Из g = g+ — £~ следует eg = cg+ — eg- для с > 0 и eg = | с | g- — | с | g+ для с < 0. Отсюда М(eg)= cMg. Докажем теперь свойство аддитивности М (g + n) = Mg + + Мп- Заметим прежде всего, что из равенства g = gi — — §2, где gi >0, g2 > 0, следует gi = g+ + б, g2 = g“ + + 6, где б ^ 0. В самом деле, из равенства g = g+ — — g- = §i — §2 вытекает, что gi — g+ = g2 — g- > 0; обозначая gi — g+ = 6, получаем g2 = £- + 6. Далее, из g = gi — g2 нетрудно получить Mg=Mgi —Mg2, если Mgi, Mg2 конечны. Поскольку g + n = (§+ +П+)—(5“ + + П~)> T0 из только что доказанного равенства имеем
М (g + 71) = М (g+ + П+) - М (g- + Т]-),
откуда уже легко следует М (g + п) = Mg + Мт). Этот вывод справедлив, когда Mg и Мп конечны. Случай бесконечных Mg или Мп легко анализируется отдельно.
2°. Докажем, что из g^n и существования Mg и Мп следует Mg ^ Мп- Случай Мп = —оо тривиален. Предположим, что Мп > —оо. Тогда в разложении g = = п + (5 — п) можно воспользоваться аддитивностью математического ожидания Mg = Mn + M(g —п) и неравенством M(g —п)^0. Получаем Mg ^ Мп
3°. Так как из g = g+ — g" следует |§| = g+ + g2» то из конечности Mg следует конечность Mg+ и Mg". Все остальные свойства 3° проверяются просто.
Мультипликативное свойство.
Теорема 1. Если g и п независимы и имеют конеч* ные математические ожидания Mg и Мп. то
(7)(7)Mgn = Mg • Мп-
(7)
(7)
Доказательство. Пусть g и т| независимы. Если g и т) простые и представимы в виде ^ — X Хк1дк, т) — ^^У^в? где xt<x2< ... <хт, yt<y2< ... <уп, то Р (Лйв^ = Р (Дй) р (Bz). Поэтому
т пт п
М^л = М X ХкУ^АкВ^ ” ХкУ^ ^k®l) = т птп
=Z Z XkyFkAkWlB^ ХкР(Ак) Z^P(B,)=Mg-Mn. 6-i l-l6-1Z-i
Если неотрицательные g, т) независимы, то простые g„ = = gn (g) и т)л = £л(т]), построенные по формуле (5), тоже будут независимы. Поэтому MgnT)n = Mgn • Мп». Так как g„ f g, Пл t т), то ^Пл f gn и Mg„r)„ f Mgn- Таким образом, равенство (7) доказано для неотрицательных § и т). В общем случае g = g+ — g~, т) = т)+— т)-. Так как ^ и т^ есть функции от § и т), то они независимы. Поэтому
м (g+ — Г1(п+—П J=Mg+T]+—М£+т]-—Mrv+Mrv =
= Mg+ • Мт)+ — Mg+ • Мт)~ — Mg~ • Мт)+ + Mg~ • Мп- =
= (Mg+ - Mg") (Мп+ — Мт]-) = Mg • Мп.
Теорема доказана.
Следствие 1. Если gb ..., g„ независимы и имеют конечные математические ожидания, то Mgi ... g„ = = Mgr ... -Mg„.
Доказывается no индукции.
Интеграл Лебега. Данное нами определение математического ожидания есть не что иное, как интеграл Лебега от функции g = g(®) по вероятностной мере Р. Для такого интеграла используют обозначения ^ g(©)dP(©), j g (©) P (с?©), ^g(®)dP, ^gdP, причем при UQQQ
интегрировании по всему пространству Q иногда вместо J пишут просто (. Интеграл Лебега по множеству
Ле^ определяется как интеграл от Уд, т. е. ^dP=^IAdP.
AQ
Рассмотрим вероятностное пространство (/?, ^, Р^), где R— прямая, %— о-алгебра борелевских множеств на ней, Pj — распределение вероятностей случайной величины g. Интеграл Лебега \ g (х) dP$ (х) от борелевской функции g(x) иногда записывается как
$ 8 U) dFx М
и называется интегралом Лебега — Стилтьеса. Здесь рух) — функция распределения g, которая порождает вероятностную меру Р$
Свойства сходимости. Докажем две теоремы о переходе к пределу под знаком математического ожидания.
Теорема 2. (Теорема о монотонной сходимости.) Если 0 < gn f g, то lim Mgn = Mg.
Доказательство. Так как 0 ^ gn С 6, то 0^ ^ Mg„ ^ Mg и
(8)(8)lim Mg„<Mg.
(8)
(8)
П->оо
Введем простые случайные величины g„»> так что 0^ ^g„6 t 5» ПРИ ^ -♦ °°- Случайные величины Ча = max g^ ■Kn<A
также будут простыми. Так как
0<Ч» = max g„ft< max g^-n = Ч*+ь
то последовательность т^ монотонно возрастает. Обозначим т) предел lim т^. При каждом к 4*^gb поэтому к->оа
lim Мч*=Мч< Иш Mgft.lim Мч*=Мч< Иш Mgft.&->оо&->оок-*оок-*оо(9)(9)
lim Мч*=Мч< Иш Mgft.
lim Мч*=Мч< Иш Mgft.
&->оо
&->оо
к-*оо
к-*оо
(9)
(9)
Далее, при п^к gn6^4A^4; полагая к->оо, имеем бп^Ч при всех п, откуда |^ч и М^^Мч, что вместе с (8) и (9) доказывает теорему.
Следствие 2. Если ряд £ L состоит из неотри- П—1 дательных случайных величин, то
м(1х)=Еми(ю)
\л=1/ П—1
Доказательство. Последовательность л« = = £ L частных сумм удовлетворяет условиям тео- fe=i
ремы 2, поэтому lim Млп= М lim лп> а это —другая П->ооП->оо
запись равенства (10).
Следствие 3. Если Мл конечно и события Л„| 0, то
ИтМл7л=0.(11)
П->ооп
Доказательство. Если | Мл | < оо, то М | л | < оо. Разложим |л! на сумму *n„ + лХ» гДе т1п = 1т117л, Л„=1 П^л^ Тогда М|л1 = Мл„ + Мл' и О^л^Ил! По теореме 2 Игл Мл„ = М| л |, поэтому lim Мл„ = 0. П->ооп->оо
Из |Мл/л„|^М| л |7л„~*0 вытекает (11).
Теорема 3. (Теорема Лебега о мажорируемой сходимости.) Если lim L = £ (в каждой точке йей) и П->оо 1^я1^Л> еде Мл<°°> то
ИтМ£„=М£.(12)
П->оо
Доказательство. При любом в > 0 последовательность событий Л„ = {<о: sup | Sm (®) — £ (®) I < е} та- т> п
кова, что Л10. В сумме L = LL +L7-T слагаемые оцениваются так:
Уд -^Уа <Va +е> -^л <Ua <^а« откуда
^-г-^А -4h <£„<£ + е + л/л -Va* "п "п п"п п
М£ - в - 2Мл/т < ML < М£ + в + 2Мл/л • (13)
Переходя в (13) к пределу по п-*-оо и применяя следствие 3, имеем
Mg-e< Игл Ms„< Пт ML<M£ + s. п"^>п-»оо
Поскольку в > 0 произвольно, отсюда получаем (12).
§31. Формулы для вычисления математического ожидания
Как мы уже отмечали в § 27, случайная величина | = §(ш), заданная на вероятностном пространстве (Q, J^, Р), с точки зрения ее вероятностных свойств вполне характеризуется своим распределением вероятностей Pg, поэтому ее можно рассматривать определенной на вероятностном пространстве (R, & Pg) функцией g»B§(x) = x> xeR. Отсюда можно сделать вывод, что математическое ожидание М£ = ^ £ (®) Р (do) на самом деле не зависит от вида функции ^(ш), о е й, а зависит только от распределения вероятностей Pg. В самом деле, для неотрицательных случайных величин 5 имеем М£ = Ит М£п> где
П->оо
ML =2 тр{®:(14)
4-1
Эту сумму можно выразить через закон распределения Р=:
п-2" ml-^^p^C"^1, £]}’(16)
4-1
Предел lim ML в (14) мы обозначали как интеграл П-»оо
Лебега ^ g (®) dP (®); тот же предел в (15) будет интегралом Лебега J xdP^x), который также называют ин- о
тегралом Лебега — Стилтьеса и обозначают xdF^^.
Применяя то же рассуждение к £+ и V> мы получаем выражение для В = В+ — В“:
Mg = J xdF^x\(16)
зависящее только от распределения случайной величины £.
Если МВ конечно, то в формуле (16) мы можем понимать правую часть как несобственный интеграл Римана — Стилтьеса (в этом случае он сходится абсолютно) .
Интеграл Римана — Стилтьеса от g(x) на конечном отрезке (а, 6] по неубывающей функции F^x) с конечным изменением F^b)—F(a} определяется как предел
Ь/1-1
^gtodFto— Jim У «(^Н^+О-^М]’ afe=0
где х* =g а 4- ^ — *к, k = 0, 1, ..., п, *ц<*й<*й+р Несоб
ственный интегралg (х) dF (х) определяется как предел
6
Jim ^ g (х) dF (х). Если F (х) имеет производную р (х) и F (х№) — Ь->ОО О
X"
— F (х') = ^ р (я) du для всех а ^ х' < х" < Ь, то ^ g (х) dF (х) « X'
= ^gWp (*) dx.
Выведем формулы, по которым вычисляются МВ и Msf(B) Для непрерывных случайных величин. _
Теорема 4. Если случайная величина % имеет плотность р^х^ и | х |р$(х) dx < оо, то
М§= ^ xp^Uc)dx.М§= ^ xp^Uc)dx.(17)(17)
М§= ^ xp^Uc)dx.
М§= ^ xp^Uc)dx.
(17)
(17)
Доказательство. Мы будем предполагать, что плотность р$(х)=р(х) интегрируема по Риману и справа в (17) стоит несобственный интеграл Римана (доказательство остается справедливым и для интеграла Лебега).
Рассмотрим сначала неотрицательную случайную величину | с функцией распределения
P{^x} = F$(x) =P{^x} = F$(x) =ОF(0)F (0) + ( р (ы) duОF(0)F (0) + ( р (ы) duпри приприпри приприх <0,х = 0,(18) х > 0.х <0,х = 0,(18) х > 0.
P{^x} = F$(x) =
P{^x} = F$(x) =
О
F(0)
F (0) + ( р (ы) du
О
F(0)
F (0) + ( р (ы) du
при при
при
при при
при
х <0,
х = 0,
(18) х > 0.
х <0,
х = 0,
(18) х > 0.
—уг* < g^г ? и введем последова
тельность простых случайных величин
пз"
Тогда М| = lim ML- Имеем
J pk^du
*-1(А-1)/2П
И
nnj*k!2ngo
^ xp (x)dx-4rC^ ^A* § P (x) dx ^ ^ XP (я) dx.
о**!(*-n/2*0
Переходя в неравенствах
хр (х) dxхр (х) dx2» ^ М£п ^ j хр (х) dx2» ^ М£п ^ j хр (х) dx
хр (х) dx
хр (х) dx
2» ^ М£п ^ j хр (х) dx
2» ^ М£п ^ j хр (х) dx
к пределу по п-»-оо, устанавливаем справедливость (17) для неотрицательных случайных величин. В общем случае £ = £+ — £~ и £+ и g- имеют распределения вида (18) с плотностями (при х > 0) р$+ (х) = р (х) и р._ (х) = = р (— х). Имеем
м|=мё+-мг =
хр (х) dx — \ хр (— x)dx = \ хр (х) dx.
Теорема 5. Если £ имеет плотность р$(х), функция
g(x) непрерывна и интеграл j | g(x) \p^x^dx сходится, то
Mg(£) = J g(x)p^(x)dx.Mg(£) = J g(x)p^(x)dx.(19)(19)
Mg(£) = J g(x)p^(x)dx.
Mg(£) = J g(x)p^(x)dx.
(19)
(19)
Доказательство. Сначала рассмотрим непрерывные функции g^, равные нулю вне интервала [а, 6]. Для каждого п = 1, 2, ... положим х„6 = а +
( 0 при х^а или х>Ь,I g (*nk) при х„, 6_! < х <x„t.
Пусть е > 0. Тогда найдется такое По, что для всех п > по и всех х е [а, 6] справедливо неравенство I^W —5(-t)l<8. т- е- аЛА-*а^ при п-*оо равномерно по х. Кроме того, при п ^ по
IgnWKIsWI + e.
и g^ ограничена. Применяя теорему Лебега о мажорируемой сходимости, имеем
lim Mg„(£) = Mg(£).lim Mg„(£) = Mg(£).(20)(20)
lim Mg„(£) = Mg(£).
lim Mg„(£) = Mg(£).
(20)
(20)
С другой стороны,
л*пк
Mgn (£) = £ g (xnfc) $ p(x)dx=^gn(x)p(x)dx.6=1хл,6-1°
Отсюда иП^ПоОтсюда иП^Поиз неравенства |gn(x)—gWl^e имеем при
Отсюда и
П^По
Отсюда и
П^По
ь
^g^pWx — Mgn (£) а
Отсюда и из (20) получаем равенство (19). Рассмотрим теперь неотрицательные g^^O. Положим
gn (х) =gn (х) =gto0gto0при припри при|х |> п.|х |> п.
gn (х) =
gn (х) =
gto0
gto0
при при
при при
|х |> п.
|х |> п.
Случайные величины T]n = gn(£) монотонно сходятся к 7] = g(g), поэтому по теореме о монотонной сходимости Mgn(£) t Mg(£). Отсюда и из
ПОО
Mg„(£) = jg(х)р(х)dx -* $ g(x)p(x)dx
—П—ОО
следует (19) для неотрицательных g(x). В общем случае g(x) = g+(x)— g~(x), где g+(x) = max(g(x) 0), g~ (x) = —min {g (x), 0}. Имеем Mg(^)=Mg+(g)-Mg-® =
= § g"v kx^pkx^dx — ^ g ^ркх^х = ^ g^p^dx.
Теорема доказана.
Теоремы 4 и 5 почти так же доказываются и в случае произвольного распределения F^U) с заменой (17) и (19) на интегралы Стилтьеса (Римана — Стилтьеса);
М£= xdFxto,(21)
Mg®= J gkx)dF^xYMg®= J gkx)dF^xY
Mg®= J gkx)dF^xY
Mg®= J gkx)dF^xY
Равенства (21) и (22) имеют место, когда интегралы сходятся абсолютно. Для дискретных случайных величин (21) и( 22) переходят в ряды
Mg=ZxfcP(g = xJ,(23)
Mg(g)=£g(xfe)P{g = xft},(24)
причем равенства (23) и (24) имеют место, когда ряды сходятся абсолютно.
Замечание 1. Формулы (19), (22), (24) справедливы и в более общем случае, когда борелевская функция g(xi, ..., xm) отображает Rm в Rx. Пусть случайный вектор g=(gi, ..., gm) имеет функцию распреде- ния F. , (х., .... и плотность р. . (х., ...,х„) (если она существует). Тогда имеют место следующие формулы для вычисления математических ожиданий:
мг&U=
= 5$S(X1Хт)^$]... £т(Х1Хт)’
Mg(g,gm) =
= J ... ^(Хр .... хт)р6|.„$т(х1, .... xm^dxx ... dxm.
Доказательство аналогично тому, которое проводится в случае формул (19), (22), (24).
Замечание 2. При вычислении математических ожиданий Mg, Mg(g) очень часто используются приемы, позволяющие обходить формулы (16), (17), (19), (22) — (24), тем более, что нередки случаи, когда закон распределения либо очень сложен, либо вообще не выписывается в явном виде. Один из таких приемов состоит в том, что случайная величина g, математическое ожидание которой мы собираемся вычислять, представляется в виде суммы более простых случайных величин (например, индикаторов): g = 01 + 02 + • -• + 0« и Да*
лее используется аддитивное свойство М£ = М9! + М92 4* + ... + М9т. Другой прием-1 вычисления математиче* ских ожиданий связан с использованием производящих и характеристических функций (см. гл. 8 и 9).
В § 13 мы изучали некоторые свойства математических ожиданий в конечной схеме. В этой главе мы установили, что математическое ожидание М£ в общем случае обладает теми же самыми свойствами, если только предполагать в соответствующих местах существование или конечность М£. Так же, как в гл. 3, в общем случае определяются моменты к-то порядка, центральные, абсолютные и абсолютные центральные моменты, в частности дисперсия, ковариация, коэффициент корреляции. Доказательства неравенств Йенсена, Коши — Бу- няковского, Ляпунова, Чебышева, данные в гл. 3, легко переносятся и на общий случай. Аналогично доказательство теоремы Чебышева (закон больших чисел) в § 18 дано в такой форме, которая годится и для общего случая. Мы будем в дальнейшем пользоваться этими результатами, не проводя здесь еще раз доказательств, которые были даны в гл. 3 в конечной схеме.
Вычислим Мт] и Dr, случайной величины т], распределенной нормально с параметрами (0,1):
Мт)= .— \ хе 2 с?х = 0,
X1 00
Dr) = Мт)2 = —\ x2e 2 dx = — - e ,-=-+
При вычислении Dr] мы воспользовались методом интегрирования по частям, полагая о = х, и = — "^=е 2 , do = dx, du = ■ *—-е 2 .
•у2л
Если т] распределена нормально с параметрами (0,1), то g = от] 4- а имеет нормальное распределение с пара-
метрами (а, о) и М£ = а, Dg = a2. Таким образом, параметры нормального распределения а и о равны математическому ожиданию и среднему квадратическому отклонению.
Вычислим М& и D| равномерного на [а, 6] распределения. Имеем
MS “ Т^ J х dx —г- •а
Ъ
1 С63 — а* б^+аб + б*
MS2 - ^) x"dx ^Чць^-5 4
И
в. - Мб- - w = Г +^ "’ - ^^ -Ч^--
Вычислим MS и D& гамма-распределения:
.1( „,Г(а+1) а
М” —J Г (а) 6 dx — ХГ (а) J “ е du— ХГ (а) “Т* оо
5
1а„а+11 Г
I* (а) QX Х’Г (а) J Х ° О
_ Г(а + 2) _ а(а+1)
— Х’Г (aj X3 *
Dg = MS2-(MS)2--^P---p- = ^-
Задачи
Случайная величина | имеет нормальное распределение с па- раметрамй (0, а). Найти ёе моменты М£”
Найти М«'3 для случайной величины £ в задаче 1.
Вычислить Mg" при натуральном п, если $ имеет нормальное распределейие с параметрами (а, о).
Случайные величины J^.,т=1 п,независимы,
М;; = аг, 0^ = 0;. Найти дисперсию Dr)rt, где т)„ = ^|2... g„.
Неотрицательные случайные величины $ь ..., ^ независимы и одинаково распределены. Найти математическое ожидание Мт)А
случайной величиныслучайной величины„ h + a ^t= л„ h + a ^t= л
случайной величины
случайной величины
„ h + a ^t= л
„ h + a ^t= л
Д Е< + "°
где a > 0 — константа.
Случайная величина Е имеет Г-распределение с плотностью да^а—1
" Г (а) "е ’ *^0‘ Найти ME . При каких р это математнческсе ожидание конечно?
Случайные величины (Е, т>)—это координаты равномерно распределенной точки в круге х2 + у2 ^ R2. Найти их математиче
ские ожидания и дисперсии.
Глава 8. ПРОИЗВОДЯЩИЕ ФУНКЦИИ
§ 32. Целочисленные случайные величины
и их производящие функции
Дискретную случайную величину £, принимающую только целые неотрицательные значения, будем называть целочисленной случайной величиной. Закон распределения целочисленной случайной величины определяется вероятностями
р„ = р^ = „},„ = о, 1, 2 (1)
для которых
t.Pn=L(2)
п-0
Закон распределения (1) удобно изучать с помощью производящей функции, которая определяется как следующее математическое ожидание:
Ф£ (s) — Ms£.
Через закон распределения (1) производящая функция выражается суммой ряда
Ф$(5) = Дрп$".<3)
который абсолютно сходится при |s|^ 1. Поскольку
Рп = -НГ^^* л = 0, 1, 2 (4)
то между законами распределения {рп} и производящими функциями равенства (3) и (4) устанавливают взаимно однозначное соответствие. Определенная рядом (3) производящая функция называется иногда вероятностной производящей функцией. Производящей функцией
любой числовой последовательности со, «ь аг, ... называется сумма ряда
а0 + axs + a2s2 + • • • >
если он имеет ненулевой радиус сходимости. Из (2) следует, что вероятностная производящая функция ф$($)^ в точке s = 1 равна 1.
Вычислим производящие функции распределений некоторых целочисленных случайных величин.
Биномиальное распределение.
р^ = т^ = С"ртдп"т, т = 0, 1, 2, ..., п, р + ф=1>
Ф (s) = f C”pV"msm = (ps + qf.m-0
Пуассоновское распределение.
P(l = n}=-^e-«, n = 0, 1, 2, ....
Ф (s) = 2 T e-a = e°n-0
Геометрическое распределение.
P{t, — n} = qnp, n = 0, 1, 2, ..., p + ^= 1,
n—0
33. Факториальные моменты
Вместо моментов М£г в случае целочисленных случайных величин удобнее иметь дело с факториальными моментами М^г\ где £w = U5—О ••• (£ — г + 1), gioj — i, через факториальные моменты М£1И можно выразить моменты МГ и наоборот. Например, первый факториальный момент есть просто математическое ожидание, а М^2 = М^2' + М£ и, следовательно, Dg = = М^ + М^ - (М£)2.
Факториальные моменты легко вычисляются через производные производящих функций в точке s = L
Имеет место равенство
М^^^О).(5)
справедливое при любом целом неотрицательном г. Если ряд (3), определяющий фе(5), сходится в какой-либо точке s > 1, то его можно дифференцировать почленно в s — 1, и мы получаем
фГЧО-Е»^.(6)
В противном случае мы определяем Ф^* (1) либо как lim v(r)(s), либо как левую производную в s = 1, 1
определяемую предельнымпереходом ф№)(1) =
ф<*-1>(1)-ф’*-1>(1-л),
= hm ———т1~ последовательно при к =
= 1г, <^^ = <5^sY В обоих случаях получаем (6).
Поскольку■
М^=^лИр„,(7)
то (6) и (7) доказывают (5). Заметим, что в равенстве (5) обе части могут быть бесконечными.
Таким образом, М| и D& можно следующим образом выразить через производные ф$ (s):
М£ = Ф'(1),(8)
В^Ф^О+Ф^О-^ШТ.(9)
Вычислим с помощью (8) и (9) Mg и Dg биномиального, пуассоновского и геометрического распределений.
Биномиальное распределение.
ф' (s) = пр (ps + qY”\ Ф* (s) = п (п — 1) р2 (ps 4- qY~\
Mg = пр, - Dg — л (л — 1) р2 + лр — л^ = npq.
Пуассоновское распределение.
Ф^ (s) — аеа (е-1), ф^ (s) = а2е® (,-,),
M£ = tz, D^ = a2 + a — а2 —а.
Геометрическое распределение.
W-f. DE-^ + f-^-^.
Многомерные производящие функции. Аналогичным образом можно определить многомерные производящие функции. Пусть g =(gi, .... 5г) — случайный вектор с целочисленными неотрицательными компонентами £ь Обозначим
Ра = РЙ = а}> где ос = (cciос,) —возможные значения вектора %. Многомерной производящей функцией называется
Ф$(sp • • •» sr) = Ms^s^ .. • s^ = ^ рд' ... s^. a
Она обладает свойствами, аналогичными свойствам одномерных производящих функций. В частности, с помощью производных Фь(51» ..., sr) вычисляются смешанные факториальные моменты
мгр^иgM=
ДЙ1+А2+ .«• "^Гф (s SS ^
ds^ds^2... ds/ . _. „„« =i
Пример. Полиномиальное распределение
P(g = a}= О1, "' о! р“* ...р*%«4+ ... +ar = n,
Pl + • • • +Pr= 1» имеет производящую функцию
Ф$ («1«г)= (РА + ... + PrSry.
Мультипликативное свойство
Теорема 1. Если 6i, ?26» — независимые це^
'лочисленные случайные величины, <р$й (s), А = 1, ...,«,— их производящие функции, то п
V-+««(e)eS,P6*(s)’(10)
Доказательство. Из независимости &, &>, ... .gn следует независимость «Ч s5’зЧ Из мультипликативного свойства математического ожидания имеем равенство
МЛ+... +s„ = Mss, s^n = Д Ms6Af
6-i равносильное (10).
Если целочисленные £ и т] независимы и рп = = P{g = n}, qn = Р (т] = п}, то распределение их суммы Гп = Р{^ + 'П = п} по формуле полной вероятности определяется равенством
пп
г„ = £ р Й “ *} р {п = П - 6} = £ РкЯп-к- (11) 6—06=0
Распределение {г„} называется композицией или сверткой распределений {р„} и {</„}. Теорема 1 позволяет нам иногда с помощью производящих функций находить свертку распределений, не прибегая к формулам (11). Например, из равенства
(ps + qt (ps + qT = (ps + q^ni
вытекает, что свертка двух биномиальных распределений с одинаковыми р и разными числами испытаний ni и /г2 Дает опять биномиальное распределение с тем же самым р и числом испытаний п\ + пг. Аналогично, из равенства
е^ (s-l) . еа2 (s-i) = е'а1+а2) (s-1)
следует, что композиция двух пуассоновских законов с параметрами а\ и аг дает опять пуассоновский закон с параметром «1 + аг. Этим свойством пуассоновских распределений мы пользовались в § 20.
Распределение с производящей функцией Y^jy можно интерпретировать как число испытаний в схеме Бернулли до первого успеха. Обозначим в этой схеме gr число испытаний до г-го успеха включительно. Случайная величина gr представима в виде суммы gr = = Ti + тг + ... + г,, где т/ независимы, одинаково распределены и имеют производящие функции фт< (s) = t ^- (ti — число испытаний до первого успеха включительно,
Т2 — число испытаний от первого успеха до второго успеха и т. д.). По свойству мультипликативности имеем
(12>
Разлагая (12) в ряд, получаем
(-;)■(-»• «т-а—о
- nV V -Н-г-1)...(-Г-а+1).(-1)“ а а _
— р sа|Ч 8 —
а—О
V J V1 (г+а—1) (г+а—2) ,.. г _а„а _r_r V* г» „а_а = Р 8 2,8 q =р S Cr+a-lS q ,
а=0а-0
откуда
P^r = n^ = CnL\prqn-r1 п = г, г+1, ...
Сумма случайного числа случайных величин. Пусть £ь 6г, •••— последовательность целочисленных независимых одинаково распределенных случайных величин с производящей функцией q>t(s) и v — независимая от них целочисленная случайная величина с производящей функцией <pv(s). Определим сумму случайного числа случайных величин равенствами £v = ^ + g2 + • •♦ ... + gv при v > 1 Ло = 0.
Теорема 2. Производящая функция ф^ (s) равна суперпозиции
^8) = ^^t^>(13)
Доказательство. Вычислим ф^ (s) = Ms^v с помощью условных математических ожиданий, используя равенство
М {s$i+ • - +tv | v = /г) = Ms$. + - +$n = ^ (s)j>.
Получаем
ФСу ^ = Mstv = М [М (scv I v)l = М [ф4 (S)T = фу (ф£ (s)),
что и требовалось доказать.
С помощью (13), (8) и (9) вычислим математиче* ское ожидание и дисперсию £v:
Ф^ ^^= Vv (ф$ ^>) $5 ^* Ф^ (0 = Ф^ (О Ф$ (I),
<v (s) = Ф: (Ф6 (s)) [ф( (»)Т + Ф» (Ф6 ^) < («)>ф^П^О-КОД + ф^КаХM£v=Mv-MS,
d$v=ф; (о • к о)]2+ф; (1) фг (1)+M£v - <mq2= = (Mv2 - Mv) • (MS)2 + Mv • (MS2 - MS) + Mv . MS -
- (Mv)2. (MS)2 = Dv. (MS)2 + Mv. Ds.
Теорема непрерывности
Докажем, что соответствие между законами распределения {р„} и производящими функциями (3) не толь* ко взаимно однозначно, но и взаимно непрерывно.
Теорема 3. Пусть фг($)=У plT's”, г =1, 2—•
л—О
последовательность вероятностных производящих функций, ф (s) = У, p„s” — производящая функция последова- л—О
тельности {р„}. Для того чтобы при каждом п lim р£> = рп, T-^w
необходимо и достаточно, чтобы при всех 0 ^ s < 1 lim фг (s) = ф (s).
Г-»оо
Доказательство. Предположим,что lim р^ = р„. Г-^оо
Пусть е >» 0 и 0 ^ s < 1. В правой части неравенства |фг(5)-ф(5)|<^]р''-> — pJ-^< fc=0
М-1еоN-lN
<Z Ipv-p.i+Z «*-2 ipf’-p.i+f^ A-0k-Nk-8
выберем N таким, чтобы 5^(1 — s) < е/2, а затем выберем го таким, чтобы У, | р^ — рк | < е/2 при г^г0. Тогда при тех же г^г0 имеем | фг(з) — ф (з) | < е, что и доказывает необходимость. Докажем теперь достаточность. Из ограниченной последовательности 0 ^р(ог) ^1 выбираем сходящуюся подпоследовательность р^г1>-*р0. Из ограниченной последовательности О^р^1'^! выбираем сходящуюся подпоследовательность р'[^~*Р\ и т. д. Из последовательностей
дП. i), р(2, 1), р(3, П . . .
р(1,2) р(2,2) р(3,2)
ГП * ГП * ГП > • ♦ •
п(ЬЗ) р(2,3)р(3, 3)
гп ’ “п ^ г п 3
выбираем диагональную сходящуюся подпоследовательность р^,г\ которая сходится к р„ при любом п. Предположим, что хотя бы при одном п последовательность р^ не сходится к р„. Тогда можно выбрать две сходящиеся к разным пределам подпоследовательности Рп'^Рп’ Рп^^Р’п- По первой части теоремы Фг,($)-* —* Ф* (з) = У p’s" и фг,($)-*ф”(з) = У, р**з". Так как по пп
условию ф„ ($)-* ф (з), ТО ф* (s) = ф” (s) = ф (s) и р* = ^Рп^Рп’ Т- е- Ит Р^ = Рп-
Г-^оо
Замечание. Как показывает пример фг(з) = зг-* —»0 = ф(s), 0^з<1, предельные величины р„ могут не образовывать распределение вероятностей, так как, вообще говоря, Урл^Е Если потребовать, чтобы л—О
Ишф(з)= 1, то У рп = 1 ив пределе мы получаем распределение вероятностей {р„}.
Применим теорему 3 к доказательству предельной теоремы Пуассона (см. § 20):
х т /„ хп-т лт
1) о-т) -т«-‘(И)
Производящая функция биномиального распределения а
для р = — равна
Ут + '-тУ-О+т'5-1))".
Из равенства
lim fl1))" = е°<$-1)
Л->00 XП/
по теореме 3 вытекает (14), что и доказывает предельную теорему Пуассона.
Ветвящиеся процессы
Проиллюстрируем применение аппарата производящих функций на примере ветвящихся процессов. Пусть имеются некоторые однотипные частицы, которые размножаются независимо друг от друга. Пусть рп— вероятность того, что одна частица превращается в п частиц, Ф (s) = У, pnsn — производящая функция распреде- л=0'
ления вероятностей {рп}. Обозначим ц(0 — число частиц в t-м поколении и ф/ (s) : Ms^(() — производящую функцию ц(0- Предположим, что ц(0)=1. Тогда Ф1(8) = = ф(8). Пусть ^ь ^2, • ■■, Ът ... — независимые случайные величины с распределением, определяемым производящей функцией ф(8). Тогда число частиц ц(/4-1) в (/-|-1)-м поколении, согласно нашему определению, есть сумма ^ti + ^tz + ■ • • + £t, цщ случайного числа независимых случайных слагаемых (^— это число потомков й-й частицы /-го поколения). По теореме 2 отсюда вытекает, что
Ф;+1 (s) = ф; (ф (s)),(15)
е. ф2($)= ф(ф($)), Фз(8)= ф(ф(ф(8))) и ф((б) есть t-я итерация функции ф(в). Соотношение (15) позволяет нам вычислить Мц(/) = Л(/). Обозначим ф'(1) = — Л. Продифференцируем (15) по $ в точке 1. Получим Л (/ + 1) = Л (/) -Л, откуда
Л(/) = Л<.(16)
Поведение ветвящегося процесса существенно определяется значением параметра Л — средним числом непосредственных потомков одной частицы. Из (16) мы видим, что при 1 -> со
Л(/)->0, если Л < 1,
Л (/) -> ос, если Л > 1,
Л (z) = 1, если Л = 1.
Назовем ветвящийся процесс докритическим, надкритическим или критическим, если соответственно Л < 1, Л > 1 или Л = 1.
Рис. 11. Графики производящих функций q> (s) докритического и критического ветвящихся процессов.Рис. 11. Графики производящих функций q> (s) докритического и критического ветвящихся процессов.
Рис. 11. Графики производящих функций q> (s) докритического и критического ветвящихся процессов.
Рис. 11. Графики производящих функций q> (s) докритического и критического ветвящихся процессов.
Если ц(/)=0, то мы будем говорить, что ветвящийся процесс выродился к моменту времени L Вероятность этого события равна
Р{р(0 = 0) = Ф((0).
Та\ как {ц(0 = 0} Е {p(Z + 1) = 0}, то Р(ц(/) = 0)не убывает и при /-*ос имеет предел
Нт Р(ц(/) —0} = ?, f ~> ОС
который мы назовем вероятностью вырождения. Предельная вероятность q — это вероятность того, что процесс выродится в каком-либо поколении. Предположим, что ф(з)^ з. Докажем следующую теорему.
Теорема 4. Для того чтобы q < 1, необходимо и достаточно, чтобы процесс был надкритическим.
Доказательство. Соотношение (15) можно записать иначе:
Ф<+1(з) вф(<рДз)).(17)
Подставляя в {17) з = О, имеем
Ф<+1(°) = ф(ф<(0)).(18)
Переходя в (18) к пределу по /-► оо, имеем
7 = ф(7).
так как 9=Нтф((0). Таким образом, q есть решение
уравненияуравненияз = ф(з).з = ф(з).(19)(19)
уравнения
уравнения
з = ф(з).
з = ф(з).
(19)
(19)
О 9 is K>tО 9 is K>tРис. 12. График производящей функции q> (s) надкритического ветвящегося процесса.Рис. 12. График производящей функции q> (s) надкритического ветвящегося процесса.
О 9 is K>t
О 9 is K>t
Рис. 12. График производящей функции q> (s) надкритического ветвящегося процесса.
Рис. 12. График производящей функции q> (s) надкритического ветвящегося процесса.
Это уравнение всегда имеет решение s= 1. Если других решений в [0,1] нет, то отсюда следует, что q = 1.При А ^ 1 других решений уравнения (19) нет, так как при всех 0 ^ s < ^
■< 1 выполнено неравенство з < < Ф(з) (см. рис. 11). Действительно, 1 — ф(з) = ф'(0) (1 — з), где з < 0 < 1, поэтому из ф'(0) < 1 вытекает 1 — ф(з) < 1 — з. При О < s < 1 вторая производная ф"(з) > 0, поэтому уравнение з = = ф (з) не может иметь более двух корней в [0, 1]. Так как ф(0) Э» 0 и при Д > 1 существуют Si <2 1, для которых ф($1) < зь то найдется корень 0 з0 < 1 уравнения (19) (рис. 12). Докажем, что в этом
случае q = з0. В самом деле, нетрудно установить, что Ф(з)>з при 0 < з < з0 и ф(з)<з при So < з < 1. Так как Фж(0) > Ф<(0), то из (18) вытекает, что
фД0)<ф(ф,(0))
при любом t, следовательно, ф/(О)<Зо при всех t и q = lira Ф((О)^$о< 1. Таким образом, вероятность q не Х->оо
может быть равна 1, а так как она есть корень уравнения (19), то q = so < 1. Теорема доказана,
Задачи
Найти производящую функцию равномерного распределения, сосредоточенного в точках 0, 1, 2, ..., N— 1. С помощью производных производящей функции вычислить математическое ожидание и дисперсию этого распределения.
Функция 1—Vl—s есть вероятностная производящая функция. Найти соответствующее распределение. Что можно сказать о его математическом ожидании?
Дана производящая функция ф (з) = У, Р {£ = n} з" случай-
п
00
ной величины £. Найти производящую функцию A (з) = ^ OnS™ п—о
для вероятностей ап = Р {£ > п}.
Пусть число потомков одной частицы в ветвящемся процессе определяется производящей функцией
Ф (s) = 1Ф (s) = 1Л (1-3)•й-0-«>+1Л (1-3)•й-0-«>+1
Ф (s) = 1
Ф (s) = 1
Л (1-3)
•й-0-«>+1
Л (1-3)
•й-0-«>+1
Найти ее Лю итерацию ф(з). Найти вероятность вырождения q.
Г л а в a 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
§ 37. Определение и простейшие свойства характеристических функций
В предыдущей главе мы познакомились с аналитическим аппаратом производящих функций, который успешно используется в задачах исследования свойств распределений целочисленных случайных величин. В общем случае аналогичную роль играют характеристические функции. Для их определения нам нужно понятие математического ожидания распространить на комплексные случайные величины. Пусть £ = £ + Щ* гДе £ и т) — пара действительных случайных величин, у которых существуют и конечны Mg и Мт]. Тогда математическое ожидание комплексной случайной величины определим как сумму
Mg = Mg 4-/Мп-(1)
Основные свойства математического ожидания (например, свойства аддитивности и мультипликативности) естественным образом переносятся на случай (1), Остановимся лишь на доказательстве неравенства '
IMgKMIU(2)
Если случайная величина £ простая, т. е. принимает лишь конечное число значений g = г* = хй 4" iy^, причем Р{£ = *0= pk, то (2) есть простое следствие свойства модуля комплексных величин:
I Mg | = | Е zfcpd< ^ |z6 |рд = Ме. (3)
Пусть ? = |+ —г, n = n+ —n". a g^, п* — последовательности простых случайных величин, для которых ^ t ^, Пп t ^ и, значит, g„ =-§;->£, П„ = ^ -
-^->4- Тогда ^->2, и по определению Mg, Mi]
5 в. А. Севастьянов
имеем
М£ = Нт М£п,П-> ОО
где ^ = ^ + <Пп- В силу (3) при любом п
|М^„КМ|^ |.
Покажем, что lim M|£,J=M|£|. В самом деле, из Л->ОО
| tn | | I ^ I = С + £п + С +
^+ + Г + т1+ + тГ = 1и + 1п1
и ^п.-*^ п0 теореме Лебега о мажорируемой сходимости вытекает M|g«|—*М Igb так как мы рассматри- ваем лишь случай М|?|<°о, Mini < 00 •
Определение 1. Характеристической функцией случайной величины £ мы будем называть функцию fxW4 от действительного аргумента t, равную
f^ = Me^.(4)
Раскрывая в (4) е^ по формуле Эйлера е‘Ф = cos ф + $V i sin ф, мы имеем
h (0 = М cos У + zM sin у.(5)
Иногда мы будем вместо ^(/) писать просто /(0. Если F^x) есть функция распределения £, a p^ W—ее плотность (если она существует), то по общим формулам вычисления математического ожидания имеем:
h^=\eUxdF^, Mt)= ^etUP^dx. (6)
Если распределение £ дискретно, то
(?) к
Из (6) и (7) видно, что характеристическая функция /е(0 вполне определяется функцией распределения F\(x) случайной величины £.
Перечислим несколько простейших свойств характеристических функций.
1/(0 1^1 пРи каждом действительном t J^ssX.
Доказательство просто получается из неравенства (2), так как |е‘^|=1 и |/(/) | = | Ме*^ |^М| е“41= 1.
/(/) равномерно непрерывна по t.
Для доказательства этого свойства установим сначала справедливость следующей леммы, которая нам понадобится далее.
Лемма 1. При действительных ф и любом целом п "^ 1 имеют место неравенства
П-1к^»П-1к^»klkl(8)(8)
П-1
к^»
П-1
к^»
kl
kl
(8)
(8)
Доказательство. Поскольку |е<ф|=1, то ф। ф /
eiu du = | е<ф — 1 | ^ ^ du = | ф |. Далее доказываем (8)
по индукции. Пусть (8) справедливо при некотором п. Тогда, так как
<ф VI ДфГk=0<ф VI ДфГk=0{фЩ VI + 1)1{фЩ VI + 1)1
<ф VI ДфГ
k=0
<ф VI ДфГ
k=0
{фЩ VI + 1)1
{фЩ VI + 1)1
Для доказательства 2) рассмотрим событие А =* = {|£|^ X} и в правой части неравенства
1/(/ + Л)-/(01 = |Мещ(еад-1)|<
<M|ew-l|Z +’М|е‘Л6- 1|Z_ АА*
где 1Д и I- —• индикаторы событий А и А, применим неравенство (8) при п = 1 при оценке первого слагаемого и |е‘^—Ц^2 при оценке второго слагаемого.
Тогда
1/(/ + Л)-/(/)1<|Л|-М11|/л + 2М/-<
<|Й|Х + 2РШ|>Х}.
Пусть е > 0. Выбирая сначала X таким, чтобы Р {I SI > >Х}<-|-, а затем полагая д = -^-, получаем, что I/(/+*)-НОК в при |Л|<д.
Если т] = а£ + 6, где а и b — константы, то M) = e“»h(at).
Легко вытекает из определения:
U (О = МеЩ = Me" (Я’+Ь) = е"ьМе"°5 = е"6^ (о/).
Если ^, ^2, . • •, ^ независимы, то
(9)
Из независимости gv £2 In следует независи-
«6,«6,«6-„
мостье , е е , применяя к ним свойство мультипликативности математического ожидания, получаем
«п п
M-0=h(').
Вытекает из е"6 = е 1<6 и свойства 3).
Обозначим ш„ = М£". Если шп конечно, то существуют все производные fk)V) с k^n и
^(О)^!^6.(Ю)
Кроме того, имеет место разложение
f^ = ^Tm^Rn^’(П)
fc=0
где Kn(t) = o(tn\ при t-+aot
Доказательство. Если мы к раз формально продифференцируем (4), то получим равенство
(12)(12)1^^ = ^е^ = 1к J xkeitxdF^x).
(12)
(12)
Полагая в (12) / = О, приходим к (10). Для обоснования законности дифференцирования под знаком математического ожидания в (12) рассуждаем по индукции. Пусть формула (12) справедлива при к < п. Поскольку
^(f+W-^W = z6Mt6 е^ (е^ - 1) ,
j^-^-^l^f^1 и МЦ^+^со,
то в правой части (13) по теореме Лебега о мажорируем мой сходимости можно перейти к пределу по к->0. Таким образом мы доказываем справедливость (12) при &+1. Для оценки остаточного члена Rn^F) в (11) применим лемму 1 к разности
1Я.(01=1Я.(01=<М<Меklfc=0еklfc=0
1Я.(01=
1Я.(01=
<М
<М
еkl
fc=0
еkl
fc=0
(14)
Где А— событие, введенное в 2) (здесь в первом слагаемом мы воспользовались неравенством (8), а во втором — неравенством
с<ф £ (^)кfe-0с<ф £ (^)кfe-0к-0к-0WkklWkkl
с<ф £ (^)кfe-0
с<ф £ (^)кfe-0
к-0
к-0
Wkkl
Wkkl
[Гак как /л = 1 при [g]<X, то из (14) получаем
|<[П+1хп+1
кп + 1)1
Пусть е>0. Выбираем сначала X таким, чтобы М| В fI-<
А
<-4. а затем о = —^С-' Тогда при Н|<6 имеем
I Вп (О I ^е> что и требовалось.
Если ф$(5) = М56 — производящая функция целочисленной случайной величины, то
1^П = ^А(15)
■ Следует из определения.
Вычисление характеристических функций некоторых законов распределений.
С помощью формулы (15) получаем характеристические функции следующих распределений целочисленных случайных величин:
Биномиальное распределение
р^ = п^ = С^рт^-р^-т, т = 0, 1, .... п,h^ = (peu-VX-pf.
Пуассоновское распределение
P{l = n} = ^e~a, п = 0, 1, 2
/б(0 = ехр(а(е“ — 1)).
Геометрическое распределение
РК = п} = рф",n = 0, 1, 2, .... q=\ — р,
1 — qe1
Вырожденное распределение p{g = С) = 1, Ш = еиС
Нормальное распределение. Если случайная величина £ имеет нормальное распределение с параметрами (0, 1), то
t ^ = 4=- ( eiU-№ dx.(16)
V 2л J
Дифференцируя равенство (16) по t, получаем f^ = -L=- ( хеих"хЧг dx. ' V 2л JДифференцируя равенство (16) по t, получаем f^ = -L=- ( хеих"хЧг dx. ' V 2л JИнтегрируя по частям, приходим к дифференциальному уравнениюI Ux—x’IZ . f Ux-X^l . If (0 = -/==- — e-Vit\e dx =— tf (t).V 2л IJIИнтегрируя по частям, приходим к дифференциальному уравнениюI Ux—x’IZ . f Ux-X^l . If (0 = -/==- — e-Vit\e dx =— tf (t).V 2л IJIРешая это уравнение с начальным условиемРешая это уравнение с начальным условиемf(0)=i.f(0)=i.получаемполучаемН0 = е-№.Н0 = е-№.В общем случае нормального распределения с параметрами (а, а) имеем, согласно свойству 3):l^ = eUtt~o2V1-.(17)В общем случае нормального распределения с параметрами (а, а) имеем, согласно свойству 3):l^ = eUtt~o2V1-.(17)4) Равномерное на (а, Ь) распределение4) Равномерное на (а, Ь) распределение/<о=т^1/<о=т^1С е»х ДХ = £^JZ±^А их it (6 - а)С е»х ДХ = £^JZ±^А их it (6 - а)(18)(18)Отметим частные случаи (18). При а = —l,b = I имеемОтметим частные случаи (18). При а = —l,b = I имеемет — е~т sin//—2///— //ет — е~т sin//—2///— //(19)(19)При а = 0, b = L имеемПри а = 0, b = L имеем/(0 =/(0 =^5=1itL^5=1itL
Дифференцируя равенство (16) по t, получаем f^ = -L=- ( хеих"хЧг dx. ' V 2л J
Дифференцируя равенство (16) по t, получаем f^ = -L=- ( хеих"хЧг dx. ' V 2л J
Интегрируя по частям, приходим к дифференциальному уравнению
I Ux—x’IZ . f Ux-X^l . I
f (0 = -/==- — e-Vit\e dx =— tf (t).
V 2л IJI
Интегрируя по частям, приходим к дифференциальному уравнению
I Ux—x’IZ . f Ux-X^l . I
f (0 = -/==- — e-Vit\e dx =— tf (t).
V 2л IJI
Решая это уравнение с начальным условием
Решая это уравнение с начальным условием
f(0)=i.
f(0)=i.
получаем
получаем
Н0 = е-№.
Н0 = е-№.
В общем случае нормального распределения с параметрами (а, а) имеем, согласно свойству 3):
l^ = eUtt~o2V1-.(17)
В общем случае нормального распределения с параметрами (а, а) имеем, согласно свойству 3):
l^ = eUtt~o2V1-.(17)
4) Равномерное на (а, Ь) распределение
4) Равномерное на (а, Ь) распределение
/<о=т^1
/<о=т^1
С е»х ДХ = £^JZ±^
А их it (6 - а)
С е»х ДХ = £^JZ±^
А их it (6 - а)
(18)
(18)
Отметим частные случаи (18). При а = —l,b = I имеем
Отметим частные случаи (18). При а = —l,b = I имеем
ет — е~т sin//
—2///— //
ет — е~т sin//
—2///— //
(19)
(19)
При а = 0, b = L имеем
При а = 0, b = L имеем
/(0 =
/(0 =
^5=1
itL
^5=1
itL
амма-распределение, с плотностью
X0-1PaW=-Y^e »X0-1PaW=-Y^e »Х-^Х-^0.0.
X0-1
PaW=-Y^e »
X0-1
PaW=-Y^e »
Х-^
Х-^
0.
0.
Обозначим fa(/) характеристическую функцию, соответствующую Ракх\, Поскольку р«+р(х) есть свертка ра(х),
и рр(х):XРа + gU) == ^ Рр^ ~ S') PaWy =и рр(х):XРа + gU) == ^ Рр^ ~ S') PaWy =ххОка+0-1е-х JГ (а) Г (0)" JоОка+0-1е-х JГ (а) Г (0)" Jо-X гРХп' г^г^у-X гРХп' г^г^у'6-1dy=*'6-1dy=*О1 ^г = Г (а + 0) 6О1 ^г = Г (а + 0) 6—х—х
и рр(х):
X
Ра + gU) == ^ Рр^ ~ S') PaWy =
и рр(х):
X
Ра + gU) == ^ Рр^ ~ S') PaWy =
х
х
Ока+0-1е-х JГ (а) Г (0)" Jо
Ока+0-1е-х JГ (а) Г (0)" Jо
-X г
РХп' г^г^у
-X г
РХп' г^г^у
'6-1dy=*
'6-1dy=*
О
1 ^г = Г (а + 0) 6
О
1 ^г = Г (а + 0) 6
—х
—х
то, в силу 4), fa+@ (О = fo (0 fp (t). Вычислим сначала /((х) = ^ е'^рх (х) dx = ^ eltx-x dx. Интегрируя по частям, получаем
h^J^eltx-xdx = -eitx-~\A-U^^^1 + «МО
ООО
и
Из (20) для любого целого п имеем
fn (0= (1-7/)» •
Из ft (/) = [f 1/п (0]п получаем fVn (0 = (1 — г7)~1/п, и, далее, from(0 = [Л/п М]” = 0 — «Гт'п. Таким образом, для любого рационального a > О
faW-U-itr”.(21)
Так как плотность PaW непрерывно зависит от а и,как мы увидим в § 39, из pa^ (х)-* ра (х) следует f^ (0 -> fa(О, формула (21) справедлива для всех a > 0. Заметим, что при дробных а из многозначной функции (21) выделяется однозначная ветвь, для которой fa(0)= 1.
Формулы обращения для характеристических функций
В § 37 мы установили, что каждой функции распределения ^(х) соответствует характеристическая функция f^(Z). Пусть существует непрерывная плотность Pt(x). Тогда характеристическая функция вычисляется
по формуле
М) = $ eitxp^xW,(22)
т. е. f^(/) есть преобразование Фурье функции р^х^. В анализе доказывается, что при f^(OG^b т. е. при конечности интеграла ^ 1М01^> имеет место формула обращения для преобразования Фурье (22):
Р^ = ^ J e-“xMt)dL(23)
Исходя из этой формулы, мы докажем формулу обращения в общем случае. Сначала докажем несколько вспомогательных утверждений.
Лемма 2. Пусть £ и т] независимы. Если £ имеет функцию распределения Е(х), а т) равномерно распределена на отрезке [а, 6], то существует плотность P^i\W> которая выражается формулой
Доказательство. По формуле композиции F^x^ J Fz(x — yyp^dy^-b^ ^F^x-y)dy = —соа
= тЬ j F^dz. (24) x-b
Исходя из (24), мы можем для любых xt < х^ записать ^+n(^)-^+n(^i) = TZ^ Г ^F^dz- j F(z)dzl = ^Х2-ЬXi-frJ
Xt
J b — a
Xi
откуда и следует утверждение.
Замечание. Если т) равномерно распределена на [—I. Л > ТО
, , F(x + l)- F (х — I)РЕ+и to =2/L •
Лемма 3. Пусть £ и т) независимы, £ имеет ограниченную плотность р$(х) = р(х) и т) имеет плотность PnVY Обозначим рь(х) плотность суммы ^4-0т], где О — параметр. Тогда в точках непрерывности р^х") имеет место равенство
lim р9^ = р(,хУ е->о
Доказательство. По формуле композиции имеем
PeW= J Ркх-У^Р^^-^.
откуда
Peto-pto = J W-у^-р(^\р^^^ и
IPeto-pWK $ W-y^-p^Xp^^^-^ 1у| <6
+ J \р{х-у) — ptolPnCf)-^* (25) Ь ,^б
Пусть х — точка непрерывности р(х). Зафиксируем любое в > 0. Тогда можно выбрать такое 6 >• 0, что при |//|^б выполняется неравенство |р(х — у)—р(х)|^ ^ е/2. Так как плотность р(х) ограничена, то существует такая константа С < оо, что р(х)^С.
Тогда из (25) следует
IPoto-ptoK^ J Рп(1-)-Т' + СР{|тИ>4}-
К Кб
{
д 8
I ЛI ^< "зс7" Тогда
при всех |О|^Оо имеет место неравенство ipo(4— PWI<8.
Формулу обращения в общем случае дает
Теорема 1. Пусть f^(t)—характеристическая функция и F^x^— соответствующая функция распределения. Тогда, если точки х-\-1 и х— / являются точками непрерывности функции F^x), то
Fdx + l)-F^x-l) = Uml ( e-lxth^^-e"^' dt. а-*0 я J1
’“(26)
Доказательство. Пусть случайные величины £, т], £ независимы, £ имеет функцию распределения Р^(х), 1] имеет равномерное распределение на интервале (—1, 1), £ имеет нормальное распределение с параметрами (0,1). Тогда по лемме 2 £+^1 имеет плотность
. .Р$(х+/)-Р$(х-/)
а £ + /л + о£ имеет характеристическую функцию
* б£„
поэтому ее плотность ра(х) выражается по формуле обращения (23):
ра^=4 $ e^MO^e" » dt. (27)
По лемме 3•
F^x + n-F^x-n hm ра (х) = к, ’(28)
а-*0л
если х-Н и х — / — точки непрерывности F^x). Переходя к пределу в (27) и пользуясь равенством (28), получаем (26).
Теорема 2. Каждой характеристической функции fl(t) соответствует только одна функция распределения F^x).
Доказательство. В формуле (26) разность F^(х2)—^(хО для точек х2 = х + / и xi — х— /непрерывности F^(x-) однозначно определяется по fi(t). Полагая в разности Fi(x2) — ^(xi) xt-э—оо по точкам непрерывности хь мы однозначно определяем ^(хг)
В точках непрерывности х2, а так как в любой точке
Fg(x) = Иш ^(*2)»
где предел берется по точкам непрерывности х2, то Fe(x) однозначно определяется ^(0- Теорема доказана.
Теорема о непрерывном соответствии между множеством характеристических функций и множеством функций распределения
В § 38 мы установили, что между множеством функций распределения {^(х)} и множеством их характеристических функций {/j(0/ имеется взаимно однозначное соответствие. Покажем, что это соответствие не только взаимно однозначное, но и взаимно непрерывное.
Определение 2. Мы будем говорить, что последовательность функций распределения Рп(х\ слабо сходится к F(x), и писать
если F„(x)->F(x)’ в каждой точке непрерывности предельной функции.
Если FnU)—функция распределения ^п, Р^— функция распределения £, то мы будем также иногда говорить, что слабо сходится к £, и обозначать £л =ф £; иногда мы будем говорить, что Хп сходится к по распределению. Из слабой сходимости £„ =ф £ следует, что
Р {*1 < £п < *2} “* Р {*1 < В С-^Ь П-»ОО, если только Р U=xj=p U = х2}=0. Пример Р ^„=2-j= = 1, P{g = O}=l показывает, что из £„=^6 не вытекает сходимость F. (x)-*F^(x) в каждой точке, так как F^№ = 0 и Fg(0)=l.
Одно из самых важных свойств характеристических функций содержится в следующих двух теоремах. Пусть Fn(x), F(x)—функции распределения, fn(0, МО—соответствующие им характеристические функции.
Теорема 3. (Прямая предельная теорема.} Если F»kx^ F^x), то fnk{\-*fktl 6 каждой точке t.
Теорема 4. (Обратная предельная теорема.) Если {„(I) сходится в каждой точке t к некоторой функции $0Y непрерывной в нуле, то Fn(x)^ F(x) и f(t) есть характеристическая функция распределения F(x).
Доказательство этих теорем будет следовать из леммы и двух теорем Хелли.
Лемма 4. Если РДхУ-*- F(x) на всюду плотном на прямой множестве D, то Fnto) F^xY
Доказательство. Пусть х— точка непрерывности F^xY х', x"eD и V < х < х". Имеем
и
/•'(V)= lim ЛДх'ХИт Fn(xX n-*°°,7^>
< lim F„ to < Um Fn (x") = F W(29)
n->oon-»°°
Так как F^x'') ^ F(x) ^ F(x") и разность F^x"')— F^x'') может быть сделана как угодно малой, то из (29) следует lim Fn (х) = F (х), что и требовалось доказать.
П-> со
Теорема 5. (Первая теорема Хелли.) Из всякой последовательности функций распределения (fn} можно выбрать слабо сходящуюся подпоследовательность.
Доказательство. Пусть D = {х*} — всюду плотное на прямой счетное множество. Из ограниченной последовательности 0^Fn(xi)^l выбираем сходящуюся подпоследовательность Fm(xj), предел которой обозначим F^Y Из ограниченной последовательности 0^ ^ЛДхг)^! выбираем сходящуюся подпоследовательность Fin^xY)-^- F^xY) и т. д. Далее выбираем диагональную подпоследовательность Fnn^xY Для- которой ЕщДхк)-*- F(xk) для любой точки х-ц е D. По лемме 4 отсюда вытекает Fnn (х) => F (х).
Замечание. F^ может не быть функцией распределения. Например, если ЕДх)^^ при х < п и Р.Дх') = i прих> п, то Fn (х) => F (х) = 0.
Теорема 6. (Вторая теорема Хелли.) Если g(x)— непрерывная ограниченная функция на прямой и Fn(x)=> ^F(x), f (оо) — F(—оо) = 1, то
lim t g^dF^x^ \g(x)dF(x).(30)
Доказательство. Пусть а <. b — точки непрерывности F(xY Докажем сначала, что
66
(31)(31)lim t g (х) dFn (х) = ( g (х) dF (х). П->оо ^^
(31)
(31)
Пусть е > 0. Разделим [а, Ь] точками непрерывности а = х0, хь .... xn-ь xn = b функции F^ на такие отрезки [х^.х»], что |g(x) — g(xk) |< е для точек хе е[Хй-1, Хй]. Это сделать можно, так как g(x) равномерно непрерывна на [а,6], а точки непрерывности F^x) расположены всюду плотно. Определим ступенчатую функцию
gAx^g^ на хе(хм, хй],
для которой |geW — g(x) | ^ е на хе [а, 6]. Тогда
/>6
$ g (х) dFn (х) — $ g (х) dF (х) аа
ь
< Jj I g W — g6 W I dFn (x) + a
bb
nn— J g6dF + J | g(x) — g6(x) IdF (x) < aa
n
n
где M = sup | g (x) |. При n -*■ oo последнее слагаемое X
может быть сделано как угодно малым, откуда и следует (31). Для доказательства (30) выберем X >■ 0 таким, чтобы F(—Х)< е/4 и 1 — F(,X^<e/^ и чтобы точки ±Х были точками непрерывности F^xY Тогда, так как Fn^ + X^-*F^ + XY можно выбрать п» таким, что при п^п0 fn(—Х) <®/2 и 1 — fn(X)< е/2. Оценим
разность
| g (х) dFп (х) — | g{x)dF (х)
g^dF^ — ^ g^dF^x) +g^dF^ — ^ g^dF^x) +
g^dF^ — ^ g^dF^x) +
g^dF^ — ^ g^dF^x) +
^ g^dFn^ + g^dFt.x')
х
g(x)dFn(x) + Me + MeJ2.g(x)dFn(x) + Me + MeJ2.(32)(32)J g^dF^ —
g(x)dFn(x) + Me + MeJ2.
g(x)dFn(x) + Me + MeJ2.
(32)
(32)
—x
На основании (31) заключаем, что правая часть (32) может быть сделана как угодно малой, что и доказывает теорему.
Доказательство теоремы 3. По теореме 6 из Fn (х) => F (х) вытекает /п(0=^ eitxdFn-> ^ eUxdF — = f (t)- Можно доказать, что эта сходимость будет равномерной на каждом конечном интервале t.
Доказательство теоремы 4. По теореме 5 из последовательности Fn(x) можно выбрать подпоследовательность Fnn(х) =>F*(х). Докажем, что F*(x) — функция распределения, т. е. что F*(oo) = 1, Г*^—оо)=0. Для этого мы используем неравенство
Р{ЦК^}>Р{ЦК^}>111тЛ1тЛ(33)(33)
Р{ЦК^}>
Р{ЦК^}>
1
1
1
тЛ
1
тЛ
(33)
(33)
где /(/) — характеристическая функция g, X > 0, т > 0. В частности, при тХ = 2
(34)
Докажем (33). Имеем
-т-тJ- ^Ме^с?/ =-tJ- ^Ме^с?/ =-tе^ dtе^ dt
-т
-т
J- ^Ме^с?/ =-t
J- ^Ме^с?/ =-t
е^ dt
е^ dt
~”|" (AlSKfl + Л|51>Х})|<М/{|£|<Х} + (lll^PlIM+^O-PIIIK
откуда и следует (33).
По предположению /(/) непрерывна в нуле, поэтому существует такое то > 0, что при 0 < т ^ то
> 1 - е/4.
-Т
Так как /«(/)-*/(/) в каждой точке t, то существует такое «о, что при п^ п0
тт
$f«(0^- \t^dt
-г—t
(теорема 3 § 24 о мажорируемой сходимости). Тогда при п nQ
i \tn^dt > 1 — е/2,
и по неравенству (34)
Р(1£п|<2/т} =
= Fn (2/т) - Fn (-2/т) >2(1- е/2) - 1 = 1 - е,
т. е. Fn(2/'т)—Рп(—2/т) > 1 — е, следовательно, F*(+oc)= = 1, Р(—оо) = 0. Докажем теперь, что Fn=>F. Пред* положим, что Fnd>F. Тогда существуют две подпоследовательности Fn-^F* и Fn-^F**. По прямой предельной теореме fn,->f*, f„,-*!**, но так как /„->/> то /* = /** = /. Теорема доказана.
Задачи
Найти характеристическую функцию распределения, задавав- 1— 1X1
мого плотностью
2. Плотность распределения случайной величины g задана фор-
мулами
2Г (а) 6 1
1 И— ех
1 2Г (Р)
= 0,
"0,
с положительными а и р. Найти характеристическую функцию f^(/).
Пусть /■](/) и [г(() —характеристические функции, 0 ^ р С 1- Доказать, что г(0 = Р/«(0 + (*—Р)ЬЮ тоже будет характеристической функцией.
Если f(0—характеристическая функция, то Ref(/) также будет характеристической функцией. Доказать.
Пользуясь простейшими свойствами характеристических функций, показать, что функции: a) sin t, б) sin< + 1, в) - ' т, г) |cos/|
ие могут быть характеристическими.
6. Показать, что характеристическая функция f^ (О случайной величины £ вещественна при всех t тогда и только тогда, когда распределение £ симметрично (т. е. g и —g имеют одинаковые распределения).
Глава 10. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
§ 40. Центральная предельная теорема для одинаково распределенных независимых слагаемых
Ранее мы доказали, что распределение числа успехов р в схеме Бернулли при п -*- оо и постоянном 0 •< <. р •< 1 обладает следующим предельным свойством:
(1)(1)lim Р |^ х | = —7= е 2 du.
(1)
(1)
П->оо ( У0ц J у2л J
Функцию нормального распределения будем обозначать
Ф (х) = —Д=- \ е-^12 du. Функция нормального распре
деления Ф(х) выражается через интеграл Лапласа X
®oW = —т= \ e~u42du, введенный в гл. 4, следующим V2n J
образом: Ф (х) = у + Фо (х). Этот результат является
очень частным случаем так называемой центральной предельной теоремы. Пусть ^, £2£п, ... — после*
довательность независимых случайных величин. Мы будем говорить, что для этой последовательности выполнена центральная предельная теорема, если при любом
х справедливо следующее предельное соотношение для сумм £« = £1 + £г + •.. + £«:
lim РП->ооlim РП->ооСп — М£лСп — М£лXX= Ф(х).= Ф(х).(2)(2)
lim Р
П->оо
lim Р
П->оо
Сп — М£л
Сп — М£л
X
X
= Ф(х).
= Ф(х).
(2)
(2)
Так как в схеме Бернулли число успехов можно представить в виде суммы р = pi + рг + ... + рп независимых случайных величин с Р{р,= 1}=р,
р{ц2 = 0} = 1 — р, то результат (1) есть частный случай центральной предельной теоремы (2).
Для справедливости центральной предельной теоремы (2) на случайные величины 5ь ?2> • • • > ?«> • •. надо налагать те или иные дополнительные условия.
Мы докажем центральную предельную теорему сначала для одинаково распределенных случайных величин.
Теорема 1. Если случайные величины 61, 6г, .•• независимы, одинаково распределены и имеют конечные Mg, = а и Dgj = а2 > О, то
Пт Р (< х 1 = ф (х).
Доказательство. Используем аппарат характеристических функций. Обозначим £„ = £i+»z + -.. + Бп, U = ^h — ak< Ё„ = ^п ~?--, тогда = —7=-У Хь- Пусть f (0 =/^ (0 ” характеристическая функция g*. Так как Mgs = O, М|б = Щй = а2, то, в силу свойства 6) в § 37, /(0=1--^ + о(/2)
при f->-0 и, следовательно, при любом фиксированном t имеем
” L \ а уп Л X 2п Хп ЛП-* оо.
Отсюда вытекает утверждение теоремы.
Теорема Ляпунова
Центральная предельная теорема имеет место также при некоторых условиях и для неодинаковых независимых слагаемых. Мы докажем ниже эту теорему в условиях Ляпунова.
Пусть теперь g*, k= 1, 2, ..., независимы и имеют не обязательно одно и то же распределение. Обозначим М|» = ак, Dgft = &i М | gt — a« |3 = cl
В ппп
An=tak, В^=Ё^, d = £cLДее 1?й= 1к** 1
Теорема 2. (Теорема Ляпунова.) Если gi, £2, >>* независимы, а^, Ьк, Ск конечны и Сп/Вп-^О, то
НтР1^-±-^^-^<х1 = Ф^ (з)
П->оо I^П>
Доказательство. Положим 1б = £б —в», /бСО”* ^Ц^. Так как M|ft = 0, М££ = ^, М||д|3 = с^< оо.то ^=1-4Ь1 + г^,(4)
где
I гй V) I ^6 >2 Гк ^ ^ 2 ° к(°)
(это доказывается так же, как свойство 6) из § 37). В силу независимости gft, характеристическая функция п
£>п = — ^Дь равна произведению " *=1
6-1
Логарифмируя, получаем
п
'"BfiJ'l-Zlogf.^).(6)
6-1
Из разложения
log(l + ж)-ftl^
6-1 следует, что
log(l+х) = х + а(х),(7)
где при |х|^1/2
О)О)Из условия теоремы вытекает
О)
О)
в» в»
(мы здесь воспользовались неравенством (М1^Г),/Г^ <(М|§Г+1)1/<г+и). Таким образом, &*/В„->0 прив->оо равномерно по 1<&^/1. Пусть Т>0 и U|^T. Согласно (4) и (5)
(в^)^1 + е* (х)’
где, в силу (9),
Выберем п0 таким, что|е* (-^-) | <у при п^по, и применим в правой части (6) представление (7) с оценкой (8). Получаем пп
1=8 f;„ (0 — Т + £ г, (У + £ ад (У. (11) к=\
где |0*[^ 1. Используя в (11) оценки (5) и (10),имеем при |/|^ Т:
п
|i°sV)+4l<Zhtir)l+
п
max bl „ 2
Т< 1<Ю * bl +~’ в" № ‘
поэтому
limf£ (/) = е““.
П->оо ъ№
ито равносильно утверждению (3).
Применения центральной предельной теоремы
Доказанные выше предельные теоремы имеют больч шое теоретическое и прикладное значение. Основным в условиях этих теорем является то, что в сумме £п = = £i + £г + • • • + ^ каждое слагаемое ^ дает малый в общую величину суммы ^ случайный вклад. В частности, это выражается тем, что Dgfc/DC„->0 при /г->-6о равномерно по 1 ^ к ^ п. В приложениях часто используют предположение о том, что встречающиеся при расчетах случайные величины имеют приближенно нормальное распределение. На предположении нормальности построена так называемая теория Ошибок измерения, в которой изучаются методы учета случайных ошибок при измерениях тех или иных параметров в экспериментах. В антропологии, например, обработка результатов измерения параметров человеческого тела также ведется на основе предположения нормальности распределения этих параметров. Основанием для предположения нормальности в этих случаях служит большой статистический материал, накопленный при измерениях. Центральная предельная теорема дает гипотезе нормальности некоторое теоретическое обоснование, так как часто на величину какого-либо параметра в реальт ном явлении влияет много случайных независимых факторов, причем влияние каждого из них невелико, а суммарно они дают некоторый ощутимый эффект. Известно ироническое высказывание одного статистика на этот счет: «Каждый уверен в справедливости нормального закона распределения, экспериментаторы — потому, что они думают, что это математическая теорема, математики — потому, что они думают, что это экспериментальный факт». Это изречение лишний раз нам напоминает, что математические теории строятся не на самих реальных явлениях, а лишь на их математических моделях. Поэтому в применениях теории вероятностей, кай» и вообще математики, надо никогда не забывать о здравом смысле и всегда заботиться о том, чтобы рассматривалась подходящая модель, правильно отражающая соответствующее явление.
Рассмотрим несколько примеров на применение центральной предельной теоремы. При этом мы будем придерживаться следующей терминологии. Если последовательность случайных величин £п такова, что при некоторых Ап и ВпРассмотрим несколько примеров на применение центральной предельной теоремы. При этом мы будем придерживаться следующей терминологии. Если последовательность случайных величин £п такова, что при некоторых Ап и Впlim РЛ->ооlim РЛ->оо?П — АпВп?П — АпВп^ х | = Ф (х).^ х | = Ф (х).(12)(12)
Рассмотрим несколько примеров на применение центральной предельной теоремы. При этом мы будем придерживаться следующей терминологии. Если последовательность случайных величин £п такова, что при некоторых Ап и Вп
Рассмотрим несколько примеров на применение центральной предельной теоремы. При этом мы будем придерживаться следующей терминологии. Если последовательность случайных величин £п такова, что при некоторых Ап и Вп
lim Р
Л->оо
lim Р
Л->оо
?П — АпВп
?П — АпВп
^ х | = Ф (х).
^ х | = Ф (х).
(12)
(12)
5п — Ап5п — Ап~Ф(х).~Ф(х).то мы будем говорить,что случайная величина^ асимптотически нормальна с параметрами (Ап, Вп) или просто (Ап, В пу асимптотически нормальна, а равенство (12) будем использовать в допредельной форме для приближенной оценки вероятности, полагая
5п — Ап
5п — Ап
~Ф(х).
~Ф(х).
р{
Пример 1. Ошибки измерения. При измерении некоторой величины а мы получаем приближенное значение g. Сделанная ошибка 6 = ^ — а может быть представлена в виде суммы двух ошибок
б = (£-М6) + М-а),
первая из которых £— М£ называется случайной ошибкой, а вторая М£— а — систематической ошибкой. Хорошие методы измерения не должны иметь систематической ошибки, поэтому мы будем далее полагать М£ = а. Случайная ошибка 6 имеет нулевое математическое ожидание Мб = 0. Пусть D6 = о2. Для уменьшения этой ошибки производят п независимых измерений ^, £2£п и принимают за оценку измеряемой величины а среднее арифметическое d =-^-(£1+•••+£п)- Какая при этом допускается погрешность? По центральной предельной теореме сумма ^ + • • • + U одинаково распределенных независимых случайных величин с М£г = а, D^ = o2>0 (ап, а^и)-асимптотически нормальна. Поэтому d при больших п (а, о/^«)-зсимптотически нормальна и
e^ids ц,P{|d-aKe}«-^ J e" du. (13)■ -eV«/»
Из (13) формально можно было бы сделать вывод, что с помощью как угодно грубых методов измерения получаются при больших п как угодно точные результаты. Это противоречит здравому смыслу. В чем тут дело? По-видимому, измерение грубыми методами не подчиняется той модели, на основе которой получена формула (13). И, действительно, при крупном масштабе деления измерительного инструмента нельзя гарантировать отсутствие систематической ошибки.
Часто, отвлекаясь от ошибки округления, принимают, что каждое измерение & имеет нормальное распределение с параметрами (а, о). Тогда (13) из приближенного равенства превращается в точное.
Пример 2. Логарифмически-нормальное распределение. В антропологии обычно рост или вес человека определенного возраста и пола считают случайной величиной, имеющей нормальное распределение. Однако во многих случаях с гораздо большим основанием можно считать, что логарифмы этих параметров имеют нормальное распределение. Если случайная величина ^ такова, что g = log т) имеет нормальное распределение, то говорят, что т] имеет логарифмически-нормальное распределение, или, короче, лог-нормальное распределение. Лог-нормальности роста и веса можно дать некоторое теоретическое обоснование. В самом деле, вес, например, получается в результате воздействия многих независимых причин, однако эти причины воздействуют на вес не аддитивно, а мультипликативно, т. е.
T] = T]iT12 . ..Tin.где гр— близкие к единице независимые случайные ве-личины. В этом случаеп
log -п = 2 log Tji,
i—1
и logri в силу центральной предельной теоремы имеет в пределе нормальное распределение.
Пример 3, С помощью центральной предельной теоремы можно доказывать и чисто аналитические факты. Докажем, например, что
В самом деле, пусть £„ есть случайная величина, имеющая распределение Пуассона с параметром п, Тогда
п ь
к=1
Поскольку £п = £1 + - • ■ + £я, где |* независимы, М^ = 1 п распределены по закону Пуассона, то ^п асимптотически нормальна с параметрами (л, -^п); поэтому Р {?„<«)-> 1/2.
Задачи
В предположении, что размер одного шага пешехода равномерно распределен в интервале от 70 см до 80 см и размеры разных шагов независимы, найти вероятность того, что за 10000 шагов он пройдет расстояние не менее 7,49 км и не более 7,51 км.
Пусть случайные величины 6ь $2, ... независимы и одинаково распределены, М^=0, Щ^=1. Показать, что для последовательности Xi£i, Х2£2, ..., X„U ..., где Х„— числовая последовательность, удовлетворяющая условию
max Х|
>0,(14)
справедлива центральная предельная теорема. Построить пример, показывающий, что при нарушении условия (14) центральная предельная теорема может не выполняться.
Случайные величины fr, g2, ..., £„, ... независимы и имеют следующие распределения:
p(u-na}-Rk«—»%Л
2яр
Р^„=0} = 1—L.
При каких а и Р выполнено условие теоремы Ляпунова?
Случайные величины £„, Цп независимы и имеют пуассоновские распределения с М|п = Мцп = Хп. Найти
11m р( ^~Пп
П-»оо ( у Ц
Случайные величины Ь, Ег, ..., |п, ... независимы и равномерно распределены на отрезке [0, 1]. Найти вероятность того, что Це^зТЗГ* к-1
Глава 11. МНОГОМЕРНЫЕ
ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
§ 43. Определение и простейшие свойства
Пусть случайный вектор g = (gb ..,,?*) имеет многомерную функцию распределения Р^...^кУс1х^ = = P(5t^^i5»^^},которую мы иногда будем
обозначать кратко F^ (х), полагая х = (хь ..., х^. Аналогично, плотность p^v...^kkx\хД, если она существует, будем обозначать /?Дх). Многомерной характеристической функцией случайного вектора £ назовем
(О(Оt^ = t^„.4yx/t)= Me'(».$>,
(О
(О
где 1 = УХkY У, g) = 2 k^a- Характеристическая
функция определена для всех t с действительными компонентами /а. Характеристическая функция (1) определяется с помощью ^(х) и рДх) следующим образом:
fl. (О = $ е1 v. ^dFs (х), h (0 = ^ е' <(- ^ р^ (х) dx.
где интегралы берутся по всему A-мерному пространству Rk.
Свойства характеристических функций.
При всех t е Rk ] f (Г) | ^ 1, f(0) = 1.
Очевидное следствие из |e'(f-6)|= 1.
f(Z) равномерно непрерывна по t.
Доказательство. Обозначим событие А =
= {|ъа|^Х, а= 1А} и напишем неравенство
I / У + А) - f (О I = I Me' «• 5> (е< S) - 1) К
<М|е‘<Л^)-1|=М|ег<Л^>-1|/л +
+ М|^(/.Д)-1|/т<М|(/г, g)l^ + 2M/j<
<Х|/г| + 2Р{^[-Х, Ж
к
где I АI = 52 I Ла I и [— X, JV]fe — прямоугольник а=1
{х: | ха |^^, а = 1А}.
Пусть дано 8 > 0. Выбираем сначала X так, чтобы Р{&0[— X, Я]®} < е/4. Тогда при всех |А|<е/(2Х) |f (/ + h)—f (0 | < е, что и требовалось доказать.
Если £(1)> 6(2)^(и)— независимые случайные векторы и £ = £(1) + б(2)+..+ U«). то
п/;(о-П/5,а,м.
Доказывается с помощью мультипликативного свойства математического ожидания.
Характеристическая функция для вектора (£ь ... ..., ^), m <_ h, получается из характеристической функции f^... g6 (/1f6)следующим образом:
ht..amVxQ^....^U, 00).
Очевидно.'
f^-t"...-^^^/^...^^ tty kk
Вытекает из ^^-1 = 1 52 ба- а-1а=1
Для независимости ^^необходимо и до
статочно, чтобы
к
hi...tfeVt^) = П ha М-
Необходимость следует из мультипликативного свойства математического ожидания. Достаточность будет следовать из доказываемой ниже формулы обращения.
Если т] = С^— линейное преобразование
к
Ра = ^S ^арбр! О = 11 • • • > Щ>
с матрицей С=||сар||, а = 1т; ₽=1, ..., А, то
где С* — сопряженная С матрица, преобразующая вектор t = (fl, . . . , tm) по формулам
2 P = Ъ • • • > k.
a=l p
Доказательство.
mm k
Me1<*>’» = Me = Me' G^ = Me a"1=
к m
= Me p = Me''c*'^ = /$(£/).
Замечание 1. Если tn = к, детерминант |C|#=0 и имеется плотность pj(x), то т) = С| также имеет плотность Pti(z/), которая связана с р^^ формулой
Рч^)=Т6Т^(с~'у)-(2)
В самом деле, для любого Л е & имеем Р {^Л} = = ^Pg(x)dx. Делая в интеграле замену х = С~ 1у, полу- А чаем
Р(^Л} = $ P^C-vy^\C-x\dy =
СА
= Р{пеСЛ}= ^P^dy,
СА откуда следует (2).
Замечание 2. Из 3) и 7) следует, что при преобразовании ц = Cg -f- 6 имеется следующая связь между характеристическими функциями fe и f^«
№ = еИ‘.ь)Цс*1).
h(-t)==M0 = UW.
Очевидно.
Обозначим моменты
Если конечны все mai...afe с ai + ••• +«* = г> то
mat...aA = l'a 5 1<0,.0 = 0!++«А<Г, (3)
х к St? ... dt>
и
/w=Z'“ Z in^rm°. -•*+w w u=()a4+ -t-ar=a
где RrU)= o(|/|r) при |П = |Л| + ,.. + |Д|-»-0.
Доказательство. Равенство (3) доказывается так же, как в одномерном случае. Для доказательства (4) опять введем событие A ={|^a|^X, а = 1, ... ..., А} ив правой части неравенства
|/?Л01= Mle''1^ -£|/?Л01= Mle''1^ -£a!a!a=0a=0■a (/, l)“ ’ a!■a (/, l)“ ’ a!
|/?Л01= Mle''1^ -£
|/?Л01= Mle''1^ -£
a!
a!
a=0
a=0
■a (/, l)“ ’ a!
■a (/, l)“ ’ a!
v U®)a / I Ф lI+1 воспользуемся неравенством е,ф — /, -^- ^ ^^ ^у при
a-0
l~r и l — r — 1. Получаем
(r+ 1)!
V + 1)!‘ rlV + 1)!‘ rlM(N ++ 1^)^.M(N ++ 1^)^.
V + 1)!‘ rl
V + 1)!‘ rl
M(N ++ 1^)^.
M(N ++ 1^)^.
Для каждого e > 0 выбираем сначала X так, чтобы второй член был <е|/|г/2. Тогда при |/|^/0 = = г(г + 1)!/(2Хг+1) получаем |fir(0 I < е1Пг« Примеры.
Если P{g = c}=l, то fs(/) = e'<^>.
Пусть Ф^...^ (sisft) = A4s^ .... ^ — многомерная производящая функция случайного вектора g = - (gh ..., ^. Тогда h ('i. -... V = ФЕ (еП>еик\ 13 частности, для полиномиального распределения
Фе(«1sA) = (p1s1+ ... A-PfcSkf и
. fiUb •••> U) = (Р1е<,‘ + ••• А-Р^и,1У«
ккf6,— Eft(O = e -1“-*,ккf6,— Eft(O = e -1“-*,Пусть ^ gft— нормально распределенные независимые случайные величины с М£о = ао и 0^ = 60. Тогда
кк
f6,— Eft(O = e -1“-*,
кк
f6,— Eft(O = e -1“-*,
Формула обращения
Мы будем исходить из следующей формулы обращения для преобразования Фурье, доказываемой в анализе. Пусть случайный вектор g = (£iЬ) имеет непрерывную плотность р&(х) и характеристическую функцию fs(0s Li (t. е. ^|fj(OI^ < ео). Тогда
RW=1TiV",’*hlO* (5>
Основываясь на (5), докажем формулу обращения в общем случае. Пусть 'П=(Л1Л*) имеет независи
мые компоненты, причем t]a имеет равномерное в (—/а, /«) распределение, а 0 = (616*)—случай
ный вектор с независимыми нормально распределенными компонентами с M9a = 0, D9a=l. Образуем вектор £= £4-т) 4-0-9. Его характеристическая функция, если g, т], 9 независимы, равна
»-— Г
=2-1 eL,
а=1
Поэтому по формуле (5)
= V^tAMt. (6)
Обозначим Д(х,/) прямоугольник с вершинами xa±/a, a = lк. JaK же, как в одномерном случае, доказывается, что при о-*-О
Pl (*) ~* Р6+ч ^ = 26lt ...1ft Р ^ s А (-^» Ш
в точках непрерывности х предельной плотности. Поэтому из (6) получаем общую формулу обращения
Р{6еА(х, /)} =Р{6еА(х, /)} == ^lim0-»о= ^lim0-»окдка==1кдка==1Sin lqtg/«Sin lqtg/«к-”1У Ге a=1 dt,к-”1У Ге a=1 dt,(7)(7)
Р{6еА(х, /)} =
Р{6еА(х, /)} =
= ^lim
0-»о
= ^lim
0-»о
к
дка==1
к
дка==1
Sin lqtg/«
Sin lqtg/«
к
-”1У Ге a=1 dt,
к
-”1У Ге a=1 dt,
(7)
(7)
справедливую для всех тех прямоугольников А(х,/), для которых вероятность попадания g на границу равна нулю. Поскольку в (7) А(х, /) можно выбирать так,что ха и /а образуют всюду плотное множество, то мы получаем из нее следующую теорему единственности.
Теорема 1. По характеристической функции f^VY функция распределения восстанавливается однозначно.
Предельные теоремы для характеристических функций
Пусть случайный вектор 61=(6ь ..., ^ имеет функцию распределения F^... $fe(xb ..., х*) = /г(х1, ..., хь\ По этой функции мы определяем одномерные функции распределения ^(х). Обозначим Da множество точек разрыва F^x). Как известно, Da не более чем счетно. Множество D = DX U ... U Dk также не более чем счетно. F(xb ..., xfe)непрерывна во всех точках x = (xb ...,xfe), если никакое ха0D, так как при h = (hb . ..,hk) с Ла О
0<F(x + A) —F(x) = P{ga<xa + Aa, a— 1, .... к) —
Р {^a ^ ха, a — 1 > • • •, 6} ^к
<aSj/\(xa + /U-/4aW],
и аналогичное неравенство можно написать при ha < 0. 6-мерный прямоугольник xa < ga ^ у а, а=1, .... 6, назовем прямоугольником непрерывности, если никакое ха или уа не принадлежит D. Для прямоугольника непрерывности вероятность
рК<Еа< Уа> а = 1, .... 6} = Ай| ...hkF(xv .... хДАа === l/а. *^а»
непрерывна по всем своим аргументам ха, Уа*
Определение. Мы будем говорить, что последи* вательность Fn(x) слабо сходится к F(x), и писать
FJ^F^,(8)
если ГДх)-»-/Дх) в каждой точке непрерывности предельной функции.
Если Гл(х)—функция распределения gn, F(x) — функция распределения g, то при ЕДх)^ F(x) мы будем также говорить, что gn слабо сходится к g, и обозначать gn=>£; иногда мы будем говорить, что g„ сходится к g по распределению. Из слабой сходимости следует, в частности, что Р {g„ е А)-* Р {g е А) для любого прямоугольника непрерывности А по предельному распределению. Если g„ сходится к £ по распределению, то это значит, что распределения |п и g близки друг к другу. Требовать в (8) сходимости в каждой точке было бы неразумно, так как, например, при k = 1, |п = = lA, S = 0 F^x^F^x\ но ^(0) т* ^(О), в тоже время ^п и g близки друг к другу. Нетрудно доказать, что из Fnt.x')^ F(x) и непрерывности Е(х) во всех точках следует равномерная сходимость Е„(х)->-Е(х).
Одно из самых важных свойств характеристических функций содержится в следующих предельных теоремах. Пусть Fn(x'), F’(x)—функции распределения, fn(/), f(t) — соответствующие им характеристические функции.
Теорема 2. (Прямая предельная теорема.) Если Fn (х) => F (х), то fn (/) ->/(/) в каждой точке / е Rk.
Теорема 3. (Обратная предельная теорема.) Если fn^t) сходится в каждой точке t е Rk к некоторой функции f(t), непрерывной в нуле, то Fn(x)^ F(x) и ^t\ есть характеристическая функция F(x').
Доказательство этих теорем вытекает из следующей леммы и двух теорем Хелли.
Лемма. Если D — всюду плотное множество Rk и Fn(x)-*- F(x) для всех х из D, то Fn(x)=> F(x).
Доказательство. Будем писать х ^ у, х <. у, если при всех а ха ^ уа или ха < уа соответственно. Пусть х — точка непрерывности Е(х). Тогда для любых
/, х" е D,х' <х< х", имеем
РДх'ХР.Ах'КР.Ах"'), _
F (х') = lim Fn (х') ^lim Fn (х) ^ lim F„ (х) ^ л->«„.^«-*=»
< lim F^x") = F (х").
Поскольку f(x') ^ F(х)^ F(x") и разность ^(х")— — Fix') может быть сделана как угодно малой, имеем lim F„(x) = F(x).
Теорема 4. (Первая теорема Хелли.) Из всякой последовательности функций распределения {Л,} можно выбрать слабо сходящуюся подпоследовательность.
Доказательство. Пусть D={xn}—всюду плотное в Rfc счетное множество. Из ограниченной последовательности 0^F„(x1)^l выбираем сходящуюся подпоследовательность Fih(xi)->F(xi) (так мы обозначаем предел). Из ограниченной последовательности 0 ^ ^Лп(х2)^1 выбираем сходящуюся подпоследовательность Fin{xi)-^ Fix?) и т. д. Далее выбираем диагональную подпоследовательность Fnn^x^, для которой
Рпп kxk^ —* Р kxki
для любого xkeD. По лемме отсюда вытекает ^(х)^ г^Р (х).
Замечание 3. Р(х) может не быть функцией распределения. Построить пример.
Теорема 5. (Вторая теорема Хелли.) Если g(x)— непрерывная ограниченная функция на Rk и Рп(.х^^ ^ Fk(x), то '
lim ^g^dF^x^ [g(x)dF(x). (9)
Доказательство. Пусть Д — прямоугольник не прерывности F (х). Докажем сначала, что
lim ( g(x)dFn(x) = ( g(x)dF(х).(10)
Пусть |g(x)|^M. Выберем е > 0. Разобьем Д на прямоугольники непрерывности Да с центрами ха и поло-
6 Б. А. Севастьянов
жим ge(x) = g(xa), если хеДа. Выберем разбиение Д' столь мелким, чтобы для любого хеА
I ST (а:) — 5Ге ( v) I < е
.(это можно сделать из-за равномерной непрерывности g(.x) на А). Тогда
$ gEdFn—^ gedp\ +дд I$ gEdFn—^ gedp\ +дд I$ g W dFn (х) — ^ (х) dF (х) дд
$ gEdFn—^ gedp\ +
дд I
$ gEdFn—^ gedp\ +
дд I
+ ^lg(x) — g£(x)|dFn+ ^Isre(х) — gr(х)|rf/7(х) < АЛ
<2е + М- f |Ра„еАа}-РаеАа}|, а = 1
где N — число прямоугольников разбиения. При п-*-оо последнее слагаемое может быть сделано как угодно малым, что и доказывает (10). Для доказательства (9) выберем столь большой прямоугольник непрерывности Л, что ^(Д)^ 1 — е (через ^(А) мы иногда будем обозначать Р{£е А} для случайного вектора £ с функцией распределения F(x)). Тогда существует такое По, что для всякого п ^ п0 ^(Д)^!—2е, следовательно, Г(Д)^е, Л1(Д)^2е. Далее, (9) вытекает из (10) и
я6я6\gdFn\gdFn<ЗеМ<ЗеМАА5 gdFn — ^ gdF лд5 gdFn — ^ gdF лд
я6
я6
\gdFn
\gdFn
<ЗеМ
<ЗеМ
А
А
5 gdFn — ^ gdF лд
5 gdFn — ^ gdF лд
Доказательство теоремы 2. По второй теореме Хелли из Fn^^ F^x) вытекаетfn (0= J dV-^dFg-»
Rk
** f (0 = § ^ ^"x> dF в каждой точке teR6. He- трудно доказать, что сходимость равномерна на любом ограниченном множестве I.
Доказательство теоремы 3. По первой теореме Хелли из Fn(x) можно выбрать подпоследователь-
несть Fnn (х) ^ F* (х). Надо доказать, что F*(x) —функция распределения. Это вытекает из неравенства
POUK^. «=1/О
тХтХ11(Н)(Н)
тХ
тХ
1
1
(Н)
(Н)
В частности, при тХ = 2
Докажем (11). Пусть Л=(|^а|^Х, а= !,...,&}. Имеем
112М2М12%в12%вJ Me1 <f- УШ -тJ Me1 <f- УШ -т^‘- УШ^‘- УШ<Р(Л) + ^(1-Р(Л)),<Р(Л) + ^(1-Р(Л)),
1
1
2М
2М
1
2%в
1
2%в
J Me1 <f- УШ -т
J Me1 <f- УШ -т
^‘- УШ
^‘- УШ
<Р(Л) + ^(1-Р(Л)),
<Р(Л) + ^(1-Р(Л)),
откуда вытекает (11).
По предположению tW непрерывна в нуле, следовательно, для любого е > 0 существует такое то, что При 0 < Т То
тт
S / (/) ш
^ JJ
такое по, что при п ^ п0такое по, что при п ^ п0Так как fntO^ftO в каждой точке t, то существует
такое по, что при п ^ п0
такое по, что при п ^ п0
! т е
-т -г-г
(теорема 3 § 30 о мажорируемой сходимости). Тогда т т(теорема 3 § 30 о мажорируемой сходимости). Тогда т тпри П~>при П~>ПйПй4-Г ((fn(0^—т-т4-Г ((fn(0^—т-т^ 1 —g- и по нера-^ 1 —g- и по нера-
(теорема 3 § 30 о мажорируемой сходимости). Тогда т т
(теорема 3 § 30 о мажорируемой сходимости). Тогда т т
при П~>
при П~>
Пй
Пй
4-Г ((fn(0^
—т-т
4-Г ((fn(0^
—т-т
^ 1 —g- и по нера-
^ 1 —g- и по нера-
{
О^/р \
I Ina К V ° = 1& } > 2 (1~
— 1 = 1 — е, следовательно, F(Rk) = 1.
Докажем теперь, что Fn^F. Предположим, что Fn4>F. Тогда существуют две подпоследовательности Fn'=>-F* и РП" =► F. По прямой предельной теореме Тп,->Г и 1п„-^-Г*, но так как по условию теоремы in-^f, то /* = r* = f и по теореме 1 F* = F**. Теорема доказана.
§ 46. Многомерное нормальное распределение
и связанные с ним распределения
Мы будем говорить, что случайный вектор £ = *=(gi, -.-, 6б) имеет нормальное (или гауссовское') рас* пределение, если его характеристическая функция имеет вид
(13)
где a = (aiай) —вектор, а В =||6ар||—симметрии* пая k X A-матрица неотрицательно определенной квад» к
ратичной формы (В/, /) = £ 6asVe^0 ’)• Мы будем а, р-1 р р
также говорить, что случайный вектор с характеристи’ ческой функцией (13) (о, В) -нормален.
Из (13) следует, что каждая компонента ga имеет характеристическую функцию
ita —t1ha^ = e “,
т. e. нормально распределена с M£a = aa> D£a = 6aa. Далее нам удобно будет перейти к центрированному
вектору | = 6 — а, для которого
№=е 2.
Поскольку конечны все Мба, то конечны и смешанные моменты М|а6у, поэтому их можно вычислять с помощью производных характеристической функции в / = 0. Получаем
. _ уг (0)
COV(6а> 6р) — М6а(р— 5^5^" — ^ар!
таким образом, В=||6ар||—это ковариационная матрица (^£й),_ '
Далее мы будем I обозначать просто 6- Одно из важных свойств нормального распределения состоит в том, что любое линейное преобразование т) = С6 нормально распределенного вектора 6 с М6=0 и || Cov(6a, 6р)11 = = В приводит к нормально распределенному вектору т) с Мл = 0 и |[Cov(na> Лр) 11 = CSC*. Это следует из свойства 7) § 43, по которому
к (0 = h И = е"^ ^СЧ> = е"^ m °.
Пусть С — такая ортогональная матрица, что
ТогдаТогдасве =све =dn 0 ... 00 di^ ... 0dn 0 ... 00 di^ ... 000 ... dkk00 ... dkkк W = eк W = eа| £ W»a=lа| £ W»a=l^aa ^^ О*^aa ^^ О*(14)(14)
Тогда
Тогда
све =
све =
dn 0 ... 0
0 di^ ... 0
dn 0 ... 0
0 di^ ... 0
00 ... dkk
00 ... dkk
к W = e
к W = e
а
| £ W»
a=l
а
| £ W»
a=l
^aa ^^ О*
^aa ^^ О*
(14)
(14)
т. e. грT]ft независимо распределены, причем при daa > 0 г]а имеет нормальное распределение с параметрами (о, V^aaX а при daa = О С ВерОЯТНОСТЬЮ 1 Т)а = 0. Если матрица В имеет ранг к, то матрица D также имеет ранг к, т. е. все daa > 0. В этом случае ц имеет
A-мерную плотность PnUhУб) = к а-iA-мерную плотность PnUhУб) = к а-i— е аа— е аа«а^аа.«а^аа.1 -Ud-Ч^ и,—.—£ ^я^2 VI ВТ1 -Ud-Ч^ и,—.—£ ^я^2 VI ВТ
A-мерную плотность PnUhУб) = к а-i
A-мерную плотность PnUhУб) = к а-i
— е аа
— е аа
«а^аа.
«а^аа.
1 -Ud-Ч^ и,—.—£ ^я^2 VI ВТ
1 -Ud-Ч^ и,—.—£ ^я^2 VI ВТ
Поскольку g = С-'т| и |С|=1, то по формуле (2) из § 43
\1-4(D-'Cx,Cx)
1— (СЧИсх. х) 1_2(в-1х,х)
^ ^2я)№ Vr^T е"~ WklZ л/В 6’
так как В-1 = OD^C, |В| = |В|. Нормальное распределение (gi, ..., ^) с плотностью (15) называется невырожденным. Если В диагональна с одинаковыми диагональными элементами, то нормальное распределение называется сферическим. В этом случае плотность (15) зависит лишь от расстояния точки х от начала координат. Если же ранг г матрицы В меньше к, то daa > О для а=1, ..., г, dr+i, r+i = ••• = dkk = 0 (при соответствующем преобразовании С). В этом случае, как уже говорилось выше, Р {Лг+i = • • • = Ла = 0} = 1, т. е. все распределение сосредоточено на пространстве меньшего числа измерений, определяемого равенствами
к
2 ^ар^р == 0>а == Г "Т 1 > . . . > к.
Р-1
Выбирая накЧа == 2 ^арВр>р=1 н нВыбирая накЧа == 2 ^арВр>р=1 н нэтома = 1,этома = 1,подпространстве координаты ., г, мы получаем, в силу (14),подпространстве координаты ., г, мы получаем, в силу (14),на этом подпространстве плотностьна этом подпространстве плотностьfn,... nr(^iХАfn,... nr(^iХА112 a2 a(2n)r/2Vdn ...drr(2n)r/2Vdn ...drraaaa
Выбирая нак
Ча == 2 ^арВр>р=1 н н
Выбирая нак
Ча == 2 ^арВр>р=1 н н
этом
а = 1,
этом
а = 1,
подпространстве координаты ., г, мы получаем, в силу (14),
подпространстве координаты ., г, мы получаем, в силу (14),
на этом подпространстве плотность
на этом подпространстве плотность
fn,... nr(^iХА
fn,... nr(^iХА
1
1
2 a
2 a
(2n)r/2Vdn ...drr
(2n)r/2Vdn ...drr
aa
aa
В этом случае нормальное распределение называется вырожденным.
Если мы в общем случае г ^ к к случайным величинам ^ь ..., гр применим еще линейное преобразова-
ние 0а = Па/VcQ. так что (01, .... 0,) будут независимы н (0, 1)-нормальпы, то мы приходим к следующему утверждению.
Теорема 6. Для того чтобы случайный вектор £ = = (еь .... 6а) был нормально распределен, необходимо и достаточно, чтобы имело место представление
£а Л барбр 4“ аа>
где Н^арИ—некоторая матрица, М£а = Яа> & 0h ..., 0r — независимые нормально распределенные случайные величины с параметрами (0, 1).
Одно нз самых важных свойств нормального распределения состоит в том, что оно выступает в роли предельного распределения для достаточно общей схемы сумм независимых случайных векторов. Мы докажем здесь методом характеристических функций следующую предельную теорему.
Теорема 7. Пусть ^, ^....^„...—последовательность независимых одинаково распределенных случайных векторов £„ = (£„!, .... ё„*) с Мъпб = 0 и конечными Cov(La. ^ = 1)^. Обозначим $„ —Si+ ••• +L- Тогой функция распределения случайного вектора £п = ^И-^!±
л/ п.л/ п.слабо сходится к нормальной функции распределения с нулевыми математическими ожиданиями и матрицей ковариации В=\\ Ьа^ ||.
л/ п.
л/ п.
Док аз ате л ьств о. Обозначим f(0 характеристическую функцию ^п = ^п~ а- Поскольку М|п = 0 и MLaLp = ^aS> ТО ПО СВОЙСТВУ 9) § 43
\ -у а /2п
Поэтому при любом t
откуда, в силу теоремы 3 § 45, следует доказываемое утверждение.
Частным случаем этой теоремы является
Теорема 8. Пусть | = (^ь .... ^ имеет полиномиальное распределение с вероятностями исходов р =' = (рь ..., pf.) и п испытаниями. Распределение вектора (£— пр)1'\/п при п-^оо слабо сходится к нормальному с нулевым средним и матрицей ковариации ЦбарРа —PappII. где 8а& — символ Кронекера.
Доказательство. Случайный вектор g представим в виде суммы Hi + Пг + • • • + Пп независимых векторов Па = (Па1. Па2> • • •. ПаД ГДв Пар = 1. еСЛИ при а-М испытании произошел исход 0 и Пар — 0 в противоположном случае. Поскольку Мпар=Рр и Cov(nap. Пау) = = pp6pv—pppv> то применима теорема 7, откуда и следует утверждение.
Замечание 4. Из слабой сходимости £„ к предельному вектору следует, что для любого прямоугольника непрерывности А предельного распределения pa„EA}->pgEA}.(16)
Ясно, что из (16) вытекает справедливость аналогичного утверждения для конечных сумм таких прямоугольников и для множеств, которые можно приблизить этими суммами. Другими словами, для любого измеримого по Жордану множества Д с Р (£е дД} = 0, где дА —граница А, при £п => С
р^пеА^Р^еАУ(17)
Можно доказать, что (17) справедливо для любого бо- релевского А с Р{£ е дД} = 0. Так же, как в одномерном случае, мы используем обычно предельное соотношение (17) в допредельной форме, считая, что при достаточно больших п левая часть (17) приближенно равна правой.
Сферическое нормальное распределение. Как уже говорилось выше, распределение ^ = (^, ..., ^) с плотностью к
т« = -^^с(181
называется сферическим нормальным распределением. Это распределение инвариантно относительно любого ортогонального преобразования т] = С£, так как
к(О = h= е~^<СЧ' С,Ц = е"^°,
т. е. ^'(/) = ft (/). Из сферического нормального распределения мы выведем несколько стандартных распределений, имеющих большое значение в математической статистике и других приложениях теории вероятностей, •^-распределение. Рассмотрим сферическое распределение (18) с о=1. Найдем распределение случайной величины
%it = £1 + • •. 4- st
Найдем сначала плотность рХк (х) случайной величины х» (она нам понадобится дальше). Вероятность события х < ха < х + dx можно получить из 6-мерной нормальной плотности (18) с о=1, интегрируя ее по 6-мерному сферическому слою радиуса х и толщины dx. В результате, поскольку (6—1)-мерный объем (6 — 1)-мерной сферы радиуса х пропорционален хк-1, получаем
х2
Для определения С^ воспользуемся тем, что по свойству плотности \ р„ (x)dx=l, откуда получаем
О
00- 1
сДх^е" 2 dx = 2z~ г(|)сА=1 6
ИИX2Ji-1- —Р (х) =е2* Г (4)X2Ji-1- —Р (х) =е2* Г (4)х^х^0.0.(19)(19)
И
И
X2
Ji-1- —
Р (х) =е
2* Г (4)
X2
Ji-1- —
Р (х) =е
2* Г (4)
х^
х^
0.
0.
(19)
(19)
Используя связь между плотностями р„ и р ■>, имеем
P^^ = -^=-pxWx ) = ~^е 2» ^>0.(20)
Ч 2л/х к—,
Распределение с плотностью (20) называется ^-распределением с к степенями свободы. При к = 2 Ха имеет
X
показательную плотность у е 2, х ^ 0. Плотность (19) при к = 3 называется плотностью распределения Максвелла и дает в кинетической теории газов распределение абсолютной величины скорости частиц.
Распределение Стьюдента. Пусть случайные величины ^о» бь .^6 независимы и нормально распределены с параметрами (0,1). В статистике мы часто будем использовать случайную величину
^к^к
^к
^к
называемую отношением Стьюдента. Распределение случайной величины Тк, называемое распределением Стьюдента с к степенями свободы, имеет плотность
г ( к + 1 \_ Л±У
SkW- _• -оо<х<=о. (21)
Плотность (21) можно вывести следующим образом.
£ sL представим т* в виде отио- а-1
тения двух независимых случайных величин
распределение которых известно (числитель имеет нормальное распределение (0, л^к ), а знаменатель — рас-
пределение (19)). Функция распределения S*(x) случайной величины т* равна интегралу
5»И = Р{т6<х} =^ р^ ^ (и) р^ (и) du dv =
— <х, о>0
Г Г 6-1 _t(v + в’) . .= afrv еdu dv,
-^- <х, о>0
где
От переменных (и, и) перейдем к новым переменным (у, z) по формулам
u = yz, V = 2.
2, ПОЭТОМУ2, ПОЭТОМУЯкобиан преобразования равен ^ ^'^Якобиан преобразования равен ^ ^'^
2, ПОЭТОМУ
2, ПОЭТОМУ
Якобиан преобразования равен ^ ^'^
Якобиан преобразования равен ^ ^'^
откуда следует (21). Заметим, что плотность (21) при
«—>■00 сходится к нормальной плотности ■ .—-е
-у2л
F-распределение. Пусть ^, ..., gp, тр, ..., л» — независимые (0,1)-нормальные случайные величины.
.Обозначим.Обозначим
.Обозначим
.Обозначим
р
^» =5
^1
Распределение Fpq имеет плотность
£ Д Г£ Д Г<7<7p‘qp‘q22ГГ£-1X "(<7 + хр) 2£-1X "(<7 + хр) 2(23)(23)
£ Д Г
£ Д Г
<7
<7
p‘q
p‘q
2
2
Г
Г
£-1
X "
(<7 + хр) 2
£-1
X "
(<7 + хр) 2
(23)
(23)
свободы соответственно, По^свободы соответственно, По^и называется F-распределением Фишера. Для вывода ;(23) воспользуемся тем, что ~Fpq есть отношение двух независимых случайных величин, имеющих распределе-
свободы соответственно, По^
свободы соответственно, По^
ние х2 с р и q степенями этому
1
£+£ ,2 2 г(4
£-1 £-1 22
и V
и+о 2,,
е du du.
V
Делая опять под интегралом замену переменных (22),
получаем
И л
1 £-1
' 2 v е
u+o
2 dudv =
7<х
в>0, р>0
о
-1 г J^-1 .dy \ z е
о
z(l+p)
-2 dz =
х |-1
5-Нет*
° О + у) 2
и
откуда уже нетрудно вывести (23). Просто связанная с FPq случайная величина
^+-:-+^(24)
^ +... + gp + 41 + • • • + ч9
немеет более симметричное ^-распределение с плотностью
zj х2 (1-х)2 .0<х<1.(25)
Функции х2-распределения, распределения Стьюдента и /-’-распределения табулированы.
Задачи
Случайные величины gi, ^2— координаты точки, равномерно распределенной в треугольнике |i ^ О, ^5 0, £1 + £2 =5 1. Найти их двумерную характеристическую функцию.
Пусть /(/)—характеристическая функция случайной величины ^i. Найти характеристическую функцию gi, ^2, если ^2=1 —gi.
Случайные величины gi, ^2 имеют сферическое нормальное распределение с плотностью
1—у (хг+И
2л е
Найти вероятности Р {I § I < 1, | Ч К И и Р {£2 + ч2 < П.
Случайные величины ^ ^, ^ .... £„ независимы и имеют нормальное распределение с параметрами (0, 1). Выразить через распределение Стьюдента распределение случайной величины
go-go
Доказать, что случайная величина (24) имеет плотность 0-распределения (25).
Глава 12. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
Лемма Бореля — Кантелли.
Закон «О или 1» Колмогорова
Пусть на вероятностном пространстве (Q, .9/, Р) определена последовательность событий Дпе^. С каждой такой последовательностью можно связать события
Д' = {со: ееД„ для бесконечно многих и},
А, = {со: ®еАп для всех, кроме конечного числа п}, которые называются соответственно верхним и нижним пределами последовательности {Ап}. Мы будем обозначать
А* = limsup Ал, А, = lim inf А„.п->ооП -> ОО
Нетрудно видеть, что
А‘ = П U Ат, Д= U П Ат,п=1 т^пп-1 т^п
поэтому А* и А, принадлежат .4, т. е. являются событиями. Если Д* = Д, = А, то мы будем говорить, что /1 есть предел Ап, и будем писать A = lim Ап. Если ввести
индикаторы 1А , то легко видеть, что
/д* = lim sup/д <=> А* = lim sup Ал,п^ооЛЛ->ОО
Ia. = Hm inf 1д <=>- А, = lim inf Ап, П->ооП->оо
1а = Пт 1д <=>■ А = Пт Д«.П~>ООП->ОО
Монотонные последовательности Ап всегда имеют предел. Если Д[ s Д2 s ..., то Ап | А, = А* = U Лп, а если
Л1 2 Л2 2 ..., то Л„ I Л* — А» = П Ai- В этих случаях из п
аксиомы непрерывности легко получить PU„)tP(U л„) и Р(Л„ЦР(П Ai)- Поскольку для любой последовательности {Лп}
В„ = U Am I Л* = lim sup Л„ и С„ = fl Ат f Л. = т>пп-> оот>п
— lim inf Л„,
П-> ОО
ТО
Р {lim sup Л„} = lim Р (Bn),Р {lim inf Л„} = Пт Р {Сп}.
Л-> ооП->ооЛ-> ооП->оо
Условия, при которых вероятность события
Л* = Ит8ирЛп равна нулю или единице, дает ниже- П -> ОО
следующая
Лемма 1. (Лемма Бореля — Кантелли.) Если
^Р{Ап)<^,(1)
п=\
то Р(Д*) = 0. Если ДьДг, ... независимы и
£Р(Л„) = оо,(2)
П—1
то Р (Л*) = 1.
Доказательство. Рассмотрим случайную величину
^=Т»1ап,п=1 п
равную числу тех номеров п, при которых происходит Ап (т. е. £ (<о) = Лг, если ровно для к номеров п а^Ап). По теореме о монотонной сходимости
m^ = Z m/a„ = Z р(л„),п-1 ” п—1
поэтому из (1) следует М£ < оо, т. е. случайная величина с вероятностью 1 конечна, а так как Р(Л*) = — PU = o°}, то первая часть леммы доказана. Для
доказательства второй части воспользуемся независимостью Аь А2, ... в соотношении
P{A*}=limp( U Ат1=1 —ИтР] П = л->оо к,т=п )п-><» \т-п /
Г к _ \к
■=1—Пт НтР) П Лт>=1—Пт Пт Ц(1—Р(Лт))= n-хю А->» \ т—n2«-►<» Ах» tn—n
= 1- Пт П (1 — Р(Лт))= 1, п->оо т—а
лак как ряд (2) расходится.
' Следствие. Если Ль А2, ... независимы, то Р(А*) равно 0 или 1 в зависимости от того, сходится или расходится ряд £ Р(л„).
п
Это следствие является частным случаем более общего закона «О или 1» А. Н. Колмогорова.
Пусть на вероятностном пространстве (й, si-, Р) определена последовательность ^, £2, • • • независимых случайных величин. (Это означает, что любая конечная их совокупность £ь ^2. • ••Ан независима.) Ранее мы уже определяли а-алгебру ^t--tn» порожденную случайными величинами ^, ..., 1п, как а-алгебру всех событий А, представимых в виде Д = (со: (^ (®), ..., |„(со))} <= В, где В е ^"—борелевские множества из пространства Rn- ‘Диалогично определяются ^ns^ngn+1 = ... Объединение всех ^$п, ^5„5„+1, ... есть алгебра событий; минимальную а-алгебру, порожденную этой алгеброй, обозначим ^$п$п+1 .... Последовательность ^^„5+1 ...> •я^бп+1е„+2 ...» ••• есть последовательность невозрастающих а-алгебр. Назовем а-алгебру ^ = f] *^^„+1 ... остаточной о-алгеброй последовательности {£„}; события А ^^ также будем называть остаточными. Это название отражает тот факт, что любое А г Я? не зависит от любого конечного числа случайных величин ^, £2, • • - Ап и определяется лишь «бесконечно далекими» значениями последовательности ^, g2, ... Примерами остаточных событий являются [ 2 ^„ сходится), | ^ 1я расходится!-
I лJinJ
§ 48: РАЗЛИЧНЫЕ ВИДЫ СХОДИМОСТИ§ 48: РАЗЛИЧНЫЕ ВИДЫ СХОДИМОСТИ¥П
§ 48: РАЗЛИЧНЫЕ ВИДЫ СХОДИМОСТИ
§ 48: РАЗЛИЧНЫЕ ВИДЫ СХОДИМОСТИ
Тее-р-ема I. (Закон «О или t» Колмогорова.) Если £ь |г, ••• — независимые случайные величины, то всякое остаточное событие Ае$ имеет вероятность Р(Д), равную 0 или 1.
Доказательство. Если Ае^, то Ае ^t t ... при любом д. Так как ^(...$п-1 и ^^^ ...независимы, то Р (ДВ) = Р (Д) Р (В) для любого В г гФ^х .,.^п при каждом п. Следовательно, А не зависит от любого Ве^Д1 , а так как «ЙезФ^ ., то А не зависит от самого себя, т. е. Р(ДД) = Р(Д) — Р2(Д), откуда и следует утверждение.
Следствие. Если gi, §2, •-• независимы, то g„ /шбо сходится с вероятностью 1, либо расходится с вероятностью 1; то же самое справедливо для ряда £ g„.
п
Различные виды сходимости случайных величин
Сходимость почти наверное. Мы будем говорить, что последовательность gt, §2, ... сходится почти наверное
(п.Н.) к случайной величине g, и писать ^,--*8, если
Р{Пш g„ = g} = l,
Та Ст. вероятность события
(ш: Пт g„(®) ^ g(®)}
П-> ОО равна нулю.
*п.н.
Покажем, что сходимость g„—► g эквивалентна тому, что для каждого е > О
lim Р (со; sup | gm — g I > в} = 0,(3)
n->oom>n
В.Самом деле, событие {^->-Е} можно записать так!
&-0-Л U Л {|6»-екИ,г-1 п-1 ш>п‘
а противоположное событие представимо в виде
г-1 n=l m>n
Для того чтобы Р^пУН}, необходимо и достаточно, чтобы при всех г
Г 001
р] П U {|^-Е1>Я} = 0’(4>
1л=1 т^п)
а так как
то из (4) следует, что при любом г ^ 1 lim Pjsupl^ —^|>= О,
что равносильно (3).
Сходимость по вероятности. Мы говорим, что gn сходится по вероятности к g (и обозначаем Е„ —* D, если для любого е > О
Р{| In — £1> е}->0, п->оо.
Доказанный ранее закон больших чисел для сумм gn=Ei + • • • +£п независимых одинаково распределенных случайных величин с М^ = а и Dg/=a2<oo дает пример сходимости по вероятности —* а, так как Ve>0
Р{|~^—а | > е J —> 0,п-*оо.
Поскольку {| g„ — g | > е} s { sup | gm — g | > е}, то из m > п
условия (3) вытекает, что gn —* g влечет за собой £„—* g.
Мы будем говорить, что последовательность случайных величин g„ фундаментальна по вероятности, если VE> 0
Р{1 ^« — ^m I> е} —>0, п, т-»к.
Теорема 2. Для того чтобы £„Д%, необходимо и достаточно, чтобы последовательность £„ была фундаментальна по вероятности.
Доказательство. Если £„ Дв > то из неравенств а
P{l^-gml>e}<P{|^-^|> |} + P{lU-&l>|}
вытекает фундаментальность {;„}. Для доказательства достаточности воспользуемся следующей леммой.
Лемма 2. Если последовательность ^„ фундаментальна по вероятности, то из нее можно выбрать подпоследовательность, сходящуюся п. н.
Доказательство. Положим П] = 1 и по индукции определим Пк как наименьшее N > Пк-х, для которого
при всех г, s ^ N. Тогда
поэтому по лемме Бореля — Кантелли с вероятностью 1 осуществляется лишь конечное число событий | £nft+1 —
— Щ > ^- Поэтому ряд ^ + 2 (snft+l — Ц) сходится 6=1
с вероятностью 1. Полагая £ = ^ + £ (ёп6+, — Ь^ для тех со, для которых ряд сходится, и нулю в остальных точках, получаем 1пк^»-1. Лемма доказана.
Докажем теперь достаточность в теореме 2. Если *п фундаментальна по вероятности, то в силу леммы существует случайная величина £ и подпоследовательность lnfe, 1пк^-1. Но в этом случае ^ПД^, так как
Р {I ^п - ^1>е} < Р { | ^„-Щ>у}+Р {|Ц-^(>1 }-*0.
Докажем еще одно следствие сходимости по вероятности.
Теорема 3. Если £„ -^ L то функция распределения F^nW слабо сходится к функции распределения F^x).
Доказательство. Обозначим событие {|^„—• —- ьI ^ е) = Ап. Так как при ю е Ап
& — 8 ^ ^п ^ ^ + 8, то при любом х мы имеем
{l„<*MKHe}U4 {&<* — e}s{g„<x}U^n, откуда следует
Р U < X — 8} — Р (Д„) < Р {£„ <х} <
<р{^5^+в}+Рй„), Р(5<я — е} < lim Р {g„ < г} < Irm Р{£„<х} <'
и->ооЛ^со
<Pa<* + e}.
Если х — точка непрерывности F^ (х), то из (5) получаем lim Ft (x) = 77g(x), что и требовалось доказать.
П>оо "
Если Fx (х) слабо сходится к вырожденному распре* делению, то имеет место обратное утверждение.
Теорема 4. Если Ft =>f^ и F^ вырождено .в точке с» то 1п Л с.
Доказательство. Так как F^ (с + в) -> 1 и F^n (с — е)-* О, то Р {с — е < 1п ^с + 8) ~> 1. т. е. Р{|^л —c]>e}-*0, что и требовалось доказать.
Следующий пример показывает, что сходимость п. н, сильнее сходимости по вероятности. .Пусть пространство элементарных событий — это отрезок Q = [0,1], события— это борелевские множества на нем, вероятность — мера Лебега. Для 2* ^ л < 2*+J определим
f . я - 26 .. я + 1 - 26
. , .1, —-г- <Ю<-т,
|„(©) = г 2й2*
в остальных точках.
Так как при любом 1 >е>0 Р{||»|> е} = —г. 2*Так как при любом 1 >е>0 Р{||»|> е} = —г. 2*£ПД.О, но в то же время Р{|„ — т40} = 1.
Так как при любом 1 >е>0 Р{||»|> е} = —г. 2*
Так как при любом 1 >е>0 Р{||»|> е} = —г. 2*
Сходимость в среднем. Мы будем говорить, что последовательность gn сходится в среднем порядка г > О, если
М| |„ — S f-> О, п->0.М| |„ — S f-> О, п->0.(6)(6)Если г = 2, то сходимость (6) называется сходимостью в среднем квадратическом. Сходимость в среднем порядка г будем обозначать |„-^|. Из неравенства Чебышева
М| |„ — S f-> О, п->0.
М| |„ — S f-> О, п->0.
(6)
(6)
ГР
вытекает, что сходимость £„—*| влечет §„ —*5.
Рис. 13. Связь между различными видами сходимости случайныхвеличин.
Таким образом, мы установили соотношения между разными видами сходимости случайных величин (см. рис, 13).
§ 49. Усиленный закон больших чисел
Исходя из неравенства Чебышева
p{ie« — ме«
примененного к суммам ?га = Si + ... + Sn независимых случайных величин Su • • • > In, мы доказали ранее .закон больших чисел (теорема Чебышева), который
можно сформулировать так: если g], £2, .. • независимы и DgA ограничены, то
£п — M£n Р Q/yv
В случае, когда ^, £2, независимы и одинаково pats пределены, сходимость по вероятности (7) имеет место при более слабом условии конечности М£л = а.
Теорема 5 (Хинчин). Если ^, |2. ••• независимы^ одинаково распределены и М£л = а конечно, то имеет, место закон больших чисел-.
Ei + ... + Ел р, ап
Доказательство. Характеристическая функция f(0 случайной величины £»— а представима в окрестности нуля в виде f(0= 1 + °(0> поэтому, обозначая ?л = ^ + ••• + £л — па, имеем
откуда следует слабая сходимость ^[п к нулю, что равносильно (см. теоремы 3 и 4 § 48) t'/n-^-O.
Оказывается, можно доказать в условиях теоремы 1 более сильное утверждение, принадлежащее А. Н. Колмогорову. Это так называемый усиленный закон больших чисел, утверждающий, что
Ei + ... + Ел н
п
Далее нам понадобится неравенство Колмогорова, усиливающее известное неравенство Чебышева.
Теорема 6. (Неравенство Колмогорова.) Пусть £ь ..., ^л независимы и имеют конечные MgA и D£.k..Тогда
Plmax^-MU^x^^ (8)
где ^ = ^i + ... +
Доказательство. Далее будем считать М^ = 0. Это не ограничивает общности, так как всегда можно перейти от ^ к ^ —М^. Введем случайную величину
v = min {£: | £6 |^?х}. Если max |^|<х, то положим
1 С^кСпп
v = n-^- 1. Так как й^й У- ItM-^, то
6=1
Min ^/ У M$ri7{V=6) =
6=1
= У М (bi + • • • + ^6 + S6 + 1 + • • • + In)2 7{v = 6} ^
6 = 1
^ У М (si + • • • + £б)2 1 {v-6} +
6=1
+ 2 У М (gi + • • • + 5б) / {v=6} (S6 + 1 jr • • • + sj- 6 = 1
Случайная величина /{v=6} зависит лишь от |р ..., с2, поэтому (^ + ... + Q /(v=6} нс зависит от '^ нgrt и
М (^ + • • ■ + ^) /{v-6) (^+1 +••.+£„) =
= М(^ ++^)z(v=6} ’M(^6+i ++Q=°-
Так как для ое {v = /г} имеем £б^я и P{v^n} = = Р { max | ^ |>х}, то
1 ^к^п
МЙ>У М?б/^=б}>х2РЬ<п} = х2Р{тах |£Д>х}. к = 11
Неравенство (8) доказано.
Докажем теорему об усиленном законе больших чисел для независимых .разно распределенных случайных величин.
Теорема 7. Пусть gb g2, ...независимы,М^л = 0,
Dgn = a^ и
Тогда
3'+ •••+Л«ДЛ о.(9)
Доказательство. Обозначим ^ = gi + ...
• • • .+ ^п. По критерию (3) из § 48 сходимость (9) рав-
носильна условию
Р f sup[%|>el->0, п->оо, (10)
при любом в > 0. Обозначим Ап событие
= { max'‘2П-1<6<2П**'
Тогда (10) равносильно
р( 0 лЗ->0, п->оо.(11)
I к=п )
По неравенству Колмогорова
Р(Л)<Р{ max | £„ |> в • 2""1} =^
1п-хСк<1п
<Р{ max |^|>в.2"-1}<4-г^и-.
1<6<2"
Далее
EPw^-fyf; «;< 6=16=1П=1
Й”1{б:2*>п}Й=1
так как У, 2~2i ^2 • 2-ш. Из сходимости ряда У Р(Л6) к=как
следует (11), так как
Р( 0 лЗ^У Р(Л,)->0, п-*оо.
k 6=n J к—п
Докажем следующую вспомогательную лемму.
Лемма 3. Математическое ожидание g конечно
тогда и только тогда, когда ЕР{111>п}<~.
л«=1
Доказательство. Если М£ конечно, то и M|g| конечно, и наоборот. Из очевидных неравенств
Е (n-i)P(n-i <|5j<n}<M|5K я—1
<Е nP{n-l <|£|<n} и соотношений
Е пР{п-1 <|5|<п} = п=1
•=ЕР{^1>п}<1 + ЕР{111>п}, п—Оп—1
Е (П- 1)Р{П- 1<|^|<П} =
= fnp{n-i <iu<n}-pa>o}=E р{|ё|>«} П=1П—1
вытекают неравенства
Е P{iii>n}<Mi5i<i + EP{lil>n}, п=1П=1
откуда следует утверждение леммы.
Для независимых одинаково распределенных случайных величин справедливо более сильное утверждение, дающее необходимое и достаточное условие усиленного закона больших чисел.
Теорема 8. (Усиленный закон больших чисел Кол* могорова.) Пусть gi, £2, - • • независимы и одинаково распределены. Для того чтобы
+ 1г + • • • + In п- н;п
необходимо и достаточно, чтобы существовало конечное Жп = й.
Доказательство. Достаточность. Введем случайные величины
г (^п» если IUI<n,ёп I 0, если |^|>п,
и |„ = 11+ ... + L Случайные величины |ь |2> ••• также независимы, так как ^ есть функция §п. Из равенства
а) (12)а) (12)5л — чз 5л 5л I 5л М5л I Г М£л ллп \ л
а) (12)
а) (12)
заключаем, что теорема будет доказана, если мы покажем, что справа все три слагаемых с вероятностью 1 сходятся к нулю. Третье слагаемое неслучайно и бесконечно мало, так как оно равно среднему арифметическому■
п
XMV{|M>*1
сходящихся к нулю М^/ц jft|>*}-> О, £->оо, членов. Обозначим Ап = {£„ У4Л Имеем
ОООООО
Z PW=ZP{|^i>n}=ZP{|g1|>n}, Л = 1/1=1п=к
где последний ряд сходится в силу конечности M£i по только что доказанной лемме. Поэтому по лемме Бореля—Кантелли лишь для конечного числа номеров п |л Ф In- Следовательно, в (12)
н, _II*
Осталось доказать ^п ^п- —-*• 0. Применим теорему 3. Для этого докажем, что
Поскольку О|п ^ М£л ^ S &2Р {^ _ 1 < I ь I ^ ^}> то
Ёт<Ё Ё^р{*-к1ы<ч= л-1л=1 к=\
Так как
Е
1”dx 1 __ v * /- 1 । * _ * +1
п2J х2 — к * т0 п2 к А2 - к2
п>к кп^к
И п-16=1
<Ё (Н1)Р{*-К1&>1<*}< 6=1■
<2+Ё (А— 1)Р {А— 1 <111 К*} <2 +Mil, к ОО. 6=1
Необходимость. Если — —** а, то
Еп = jn _ п- 1 , £п-1 п. и. 0п п п п — 11
т. е. с вероятностью 1 осуществляется лишь конечное число событий |~|> 1- По лемме Бореля — Кантелли это влечет за собой
£ p{i^i>»}=Zp{iSiI>»}<oo. П= 1П—1
Следовательно, по лемме этого параграфа конечно М^ь Следствие. В схеме Бернулли для числа успехов имеет место не только закон больших чисел
но и усиленный закон больших чисел
Цп тн> р,п г
Следствие вытекает из теоремы 8, так как рп — = 51 + ... + U где ^ gn независимы и Р (^ ==
= 1} = Р, Р{^ = 0}=1-р.
Задачи
Случайные величины £я, n = 1, 2независимы и одинаково распределены. Доказать, что с вероятностью 1 произойдет лишь конечное число событий Лп = { | £л | > Vra~} тогда и только тогда, когда Щл конечна.
Доказать, что сходимость £л к £ почти наверное или по вероятности влечет за собой сходимость в том же смысле f(£n) к f®, если /(х)—непрерывная функция.
Если f(x)— непрерывная ограниченная функция, то нз р
Хп—► 6 следует сходимость f(Xn) к f(£) в среднем r-го порядка при любом г > 0. Доказать.
Показать, что в условиях теоремы 7 можно получить более сильное утверждение о сходимости
Ai£i + ... + Хл£л "• ", у
п*
где Хл — некоторая последовательность, стремящаяся к бесконечности.
Случайные величины gi, ^2Sn> • • • независимы, одинаково распределены, Mgi конечно. Независимые от них случайные величины 91, 929Л, ... независимы между собой и удовлетво
ряют условию 19Л К1 и М9Л = 0, n = 1, 2, ... Справедливо ли утверждение:
ЭЛ1 + ... + 9Л|В п. » ур
га
Глава 13. СТАТИСТИЧЕСКИЕ ДАННЫЕ
§ 50. Основные задачи математической статистики
В гл. 1 говорилось, что теория вероятностей занимается изучением математических моделей случайных явлений. Имея подходящую математическую модель какого-либо случайного явления, мы можем рассчитывать вероятности тех или иных событий и по этим вероятностям мы можем, пользуясь статистической устойчивостью частот, предсказывать частоты этих событий. Если вероятностная модель выбрана правильно, то такие предсказания будут выполняться со случайными ошибками, которые также можно рассчитывать в рамках выбранной модели.
Математическая статистика выделяется из теории вероятностей в самостоятельную область, хотя основные методы и приемы рассуждений в ней остаются теми же самыми. Причиной этого является специфичность задач математической статистики, являющихся в известной мере обратными к задачам теории вероятностей. Если в теории вероятностей мы считаем заданной модель явления и производим расчет возможного реального течения этого явления, то в математической статистике мы исходим из известных реализаций каких- либо случайных событий, из так называемых статистических данных, которые обычно носят числовой характер. Математическая статистика разрабатывает различные методы, которые позволяют по этим статистическим данным подобрать подходящую теоретико-вероятностную модель. Например, пусть имеется п независимых наблюдений в схеме Бернулли и пусть в m из них произошло событие А Поскольку модель в схеме Бернулли определяется числом испытаний п и вероятностью р —Р(А), то на этом примере мы сталкиваемся с одной из задач математической статистики: как по m осуществлениям события А в п независимых испытаниях определить вероятность р = Р (А)?
Перечислим те основные задачи, которые решает ма« ■ тематическая статистика, на примере схемы Бернулли.
Проверка статистических гипотез. Из каких-либо априорных соображений мы можем предполагать, что р = ро, где ро — некоторое фиксированное значение. По относительной частоте — мы должны решить, справедлива гипотеза р = р» или нет. Поскольку при больших п относительная частота — близка к р, то статистический критерий по проверке гипотезы р = Ро должен основываться на разности |-^—Ро | • Если она большая, то, по-видимому, гипотеза неверна, если же она мала, то у нас нет основания отвергать гипотезу р = рй.
Статистическое оценивание неизвестных параметров. Иногда нам требуется по наблюденному m указать то число р, которое можно принять за вероятность р в схеме Бернулли. В нашем примере естественно взять р = -~. Оценка должна быть в том или ином смысле близкой к оцениваемому параметру.
Доверительные интервалы. Иногда нас интересует не точное значение неизвестного параметра р, а требуется указать тот интервал р ^ р ^ р, в котором с вероятностью, близкой к единице, лежит параметр р. Такой интервал (р^ш), р(/п)), концы которого случайны и зависят лишь от наблюдаемого значения т, называется доверительным интервалом.
В последующих главах мы уточним понятия, связанные с этими основными задачами, и рассмотрим эти задачи применительно к некоторым вероятностным моделям.
§ 51. Выборочный метод
Терминология многих статисттеских задач связана со следующей урновой схемой. Пусть имеется урна с карточками, на которых нанесены числа Хь Х2Хя. Из урны случайно выбираются п карточек с числами Хь х2, ,.., хп, Полученный набор чисел
(1)(1)X। > %2> • • •, х^
(1)
(1)
называется выборкой объема п из генеральной совокупности
Х„ Х2, .... XN.(2)
Как известно, выборка может быть без возвращения, когда каждое подмножество^^, ..., Xin^ мощности п из всего множества (2) появляется с вероятностью \1Cn, и с возвращением, когда каждый упорядоченный набор (Xjp ..., Xt^, где могут быть повторения, появляется с вероятностью \/Nn. Нетрудно видеть, что в случае выборки с возвращением хь ..., хп являются независимыми случайными величинами с законом распределения случайной величины £, которая с одной и той же вероятностью \/N принимает каждое из значений (2), если все X, различны:
ра=Х/}=^, /=1,n.
В этом случае мы говорим, что (1) есть независимая выборка объема п, или независимая реализация объема п случайной величины £.
Упорядочивая выборку (1) по возрастанию, мы получаем вариационный ряд
*(1) ^ *(2)••• ^^(п)-
С любой выборкой (1) можно связать так называемое эмпирическое, или выборочное, распределение, приписывая каждому значению х, вероятность \/п. Эмпирической (или выборочной) функцией распределения будет
п
Поскольку выборка (1) случайна, то эмпирическая функция распределения при каждом х есть случайная величина. Математическое ожидание (среднее), дисперсия, моменты эмпирического распределения также будут случайными величинами и будут называться соответственно эмпирическими (или выборочными) математическим ожиданием (средним), дисперсией,моментами.
Таким образом, выборочное среднее есть среднее арифметическое элементов выборки
п
^=тХ^*(3)
6=1
и выборочная дисперсия равна
s^^xk-- х?.(4)
6=1
Выборочные моменты и центральные моменты порядка г определяются выражениями
пп
i=li=l
В прикладных курсах математической статистики большое место занимает так называемая описательная статистика, в которой излагаются рациональные способы задания статистических данных и вычисления сводных характеристик типа (3) и (4). Например, еслих; = а + 'пп
-Нь то х—а + у, где у = — £ уь и s2=— У у^Ча-уУ- i=li=l
Эти формулы облегчают вычисления в случае, когда числа Xi большие. Подбирая подходящее а, мы сводим все вычисления к арифметическим действиям над чие- лами yt с небольшим числом знаков.
«Выборочная» терминология сохраняется и в том случае, когда генеральная совокупность (2) не состоит из конечного числа элементов N, а просто есть некий генератор независимых случайных величин xt с каким- либо распределением1). Такой идеализацией в статистике пользуются или при очень больших N (например, при статистических обследованиях в демографии, экономике, социологии), или в том случае, когда элементы выборки (1) можно получать какой-либо однородной
’) В математической статистике случайные величины обозначаются часто буквами х,, yt и т. д., являющимися элементами выборки.
процедурой любое число раз (например, результаты из* мерений, размер деталей при массовом их изготовлении и т. д.).
В дальнейшем мы будем в основном заниматься независимыми выборками. Относительно бесповторной выборки докажем лишь следующую теорему. Обозначим
1 = 11 = 1
среднее и дисперсию генеральной совокупности (2).
Теорема 1. Эмпирическое среднее х бесповторной выборки (1) имеет следующее математическое ожидание и дисперсию;
Ш = Х, Dx=-^-^-.(5)
Доказательство. Воспользуемся формулами
Мх =£ Mxz, Dxz = ^J £ Ох, + 2 £ Cov (xz, х,М.
i=l4-1t<t'
(6)
Вычислим Mxz, Dxz Cov(xz, х^. Поскольку для вычисления нам нужны лишь двумерные распределения X;, X/, рассмотрим конечное вероятностное пространство (Q, я-, Р), где элементарные события ю = (6, /), 1 ^^#= ^l^N, и элементарные вероятности р (со) = ^, ^__ ^~- Случайные величины xb Xj определим равенствами
xz (A, l) = Xk, хДк.П^Хь
Тогда
Мх, = 4-2^ = ^ Ох, = А-2(^-^)2 = 52 6-1б-t
и при i^i
Cov (xz, х^ = ^„Т)" Е ^ - ^) № - X) =
k=#=l
7 Б. А. Севастьянов
Подставляя полученные значения в (6), получаем формулы (5).
Замечание. Для выборки с возвращением дисперсия х равна S2/n. По неравенству Чебышева при _ р —
N п-* оо мы получим х—► J как в случае выборки с возвращением, так и в случае выборки без возвращения.
Задачи
Из конечной генеральной совокупности {Хр Х2, ..., XWJ берутся последовательно две бесповторные выборки (X]хп^ и (У]у^, п, + n„-^N. Найти ковариацию и коэффициент корре
ляции между средними х = — ^ х; и у = — ^ уг
1=11=1
Найти математическое ожидание Ms2 выборочной дисперсии пп
s2 = — ^ (х; — х^, где х = — ^ х., для бесповторной выборки 1=11=1
Хр ..., хп из конечной генеральной совокупности (Хр Х„, ..., Х^у
Найти математическое ожидание Ms2 выборочной дисперсии
s2 =~ ^ (я,- — х)2, если Хр..., хп — независимая выборка из 1=1
распределения с дисперсией Dx; = o2.
Вычислить Мх(,;) и Ох(#ер если вариационный ряд х(]^х(2^... .. .^х(п| получен из независимой выборки Хр ..., хп с равномерным распределением в (0, а).
Глава 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
Статистические гипотезы
Пусть случайная величина £ или случайный вектор £=(£ь •••> Sn) имеет плотность р(х;6), зависящую от параметра 0, одномерного или многомерного,, принимающего значения из некоторого множества 0. В частности, если р(х;0)— одномерная плотность и независимая выборка
^Ь х2х„(1)
получена из распределения с этой плотностью, то м-мер- ная плотность, соответствующая выборке (1), равна произведению п
Р<Л1Хп; 0) = П /7 (х/г; 0).
*=i
Хотя мы будем далее говорить о р(х; 6) как о плотности, все сказанное с очевидными видоизменениями будет применимо и к дискретным случайным величинам с законом распределения
р(х; 0) — Р {g = х},где х принимает счетное или конечное число значений.
Значение параметра 6 вполне определяет плотность р(х\ 0). Тс или иные предположения о значениях параметра 0 мы будем называть статистическими гипотезами. Статистическая гипотеза называется простой,. если она состоит в том, что 0 = 0о, где 0О— некоторое фиксированное значение. Если же наше предположение заключается в том, что 6 е 0О, где 0О — подмножество множества параметров 0, состоящее более чем из одной точки, то мы говорим о сложной гипотезе. Рассмотрим примеры.
Пример 1. Пусть р(х; а, а) = -;=-& 2°! —плот- -у2л о
ность нормального распределения,, зависящая от дву-
мерного параметра (а,о). Гипотеза (а,о) = (0, 1) является простой, а гипотеза а = а0, где а0 фиксировано, — сложной.
Пример 2. Пусть р(х; 6) = С„6Х(1 — б)"-* — вероятность х успехов в схеме Бернулли с п независимыми испытаниями. Примером простой гипотезы служит 9 == = 1/2, а примером сложной — 9 > 1/2.
Задача проверки статистических гипотез ставится следующим образом. Известно, что выборка (1) получена из распределения, имеющего плотность вида р(х;9). Относительно параметра 9 имеется некоторая основная, или проверяемая, гипотеза Но: 9 г ©о- Мы должны построить такой статистический критерий, который позволяет нам заключить, согласуется ли выборка (1) с гипотезой Но или нет. Обычно критерий строится с помощью критического множества. Из множества X всех возможных значений х = (хь ..., хя) выборки (1) выделяется такое подмножество S, называемое критическим, что при xgS гипотеза Нд отвергается, а в остальных случаях опа принимается. Критическое множество S выбирается таким, чтобы вероятность Рй(5) = = Jp(x;9)dx выборке х попасть в S при гипотезе Нд s
была мала. Получаемый с помощью критического множества S статистический критерий называют иногда S-критерием. Естественно, что множество S, удовлетворяющее этому требованию, можно выбрать многими способами. Более определенный выбор возникает в том случае, когда нам задана конкурирующая, или альтернативная, гипотеза Нх\ 9 е ©ь Мы будем рассматривать главным образом случай двух простых гипотез: проверяемой гипотезы Но: р0(х) = р(х; 90) и конкурирующей гипотезы НХ'. pj(x) = р(х; 91), Есть задачи, в которых гипотезы Нд и Нх равноправны. Так обстоит дело при разбиении множества каких-либо объектов на два вида по значениям определенных параметров. Однако очень часто в реальных задачах гипотезы Но и Нх выступают неравноправно. Например, размер годной детали, изготавливаемой на заводе, есть случайная величина, имеющая нормальное распределение с параметрами (а0, оо). Предположим, что дефектная деталь имеет
соответствующий размер также нормально распределенным, но уже с параметрами (а, а0), где а Ф а». Технический контроль, на который поступают изготовленные детали, исходит из того, что детали должны быть годными, и поэтому проверяет гипотезу Но, т. е. их годность. В этом случае Но— основная гипотеза, и на контроле надо уловить те детали, которые изготовлены в условиях конкурирующей гипотезы Нь
Уровень значимости и мощность критерия
Рассмотрим две простые гипотезы: проверяемую Ну.
9 = 0о, и конкурирующую Н\‘. О = 0ь С каждым S-критерием связаны ошибки двух родов. Ошибка первого рода — отвержение гипотезы Но, когда она верна; принимая гипотезу Но в случае, когда верна конкурирующая гипотеза Нь мы делаем ошибку второго рода. Обозначим
Рг(В)= р(х; Q^dx, z = 0, 1.(1)
в
Тогда вероятность ошибки первого рода S-критерия равна
a = P0(S),(2)
а вероятность ошибки второго рода равна
P = Pi(5).(3)
где S = XXS. Иногда мы кратко вероятности ошибок первого и второго родов будем называть просто ошибками первого и второго рода.
Задача построения S-критерия для проверки простой гипотезы Но при конкурирующей гипотезе Н\ ставится следующим образом. Вероятность ошибки первого рода а называется уровнем значимости S-критерия. Функцией мощности W = №(5; 0) S-критерия называется следующая функция от 0:'
IF(S;0)=J pUl^dx,(4)
s
т. е. вероятность отвергнуть гипотезу Но, когда истинное значение параметра равно 0. Как видно из (2), (3)
и (4), вероятности ошибок первого и второго рода следующим образом выражаются через функцию мощности:
a = №(S;9), 1-р = Г(5;0).
Итак, сначала задается уровень значимости а и рассматривается множество ^а всех S-критериев с уровнем значимости а. Среди этих критериев выбирается критерий S*. для которого мощность при 0 = Ot принимает наибольшее значение, т. с.
Г(5*;90) = а, Г (S’; 00= max Г (S; 9J.(5)
Критерий S*, удовлетворяющий условиям (5), называется оптимальным, иди наиболее мощным, критерием. Оптимальный критерий, удовлетворяющий (5),не всегда существует, поэтому кам удобно будет обобщить понятие статистического критерия. Для этого опишем S-кри- тсрий с помощью функции tf(х), определенной следую
х е S, х ^ S.х е S, х ^ S.(6)(6)щим образом:
х е S, х ^ S.
х е S, х ^ S.
(6)
(6)
( 1, если
( 0, если
Мы можем истолковывать <р(х) как вероятность отвергнуть гипотезу /70, когда выборка приобретает значение х, Критерии, описываемые функцией вида (6), называются нерандомизиросанными. Введем понятие рандомизированного критерия (от англ, random — случайный). Пусть задана функция ср(х), такая, что 0 ^ ^<р(л)^1 для всех х. Мы предполагаем, что с каждым значением выборки х связывается некий случайный эксперимент (рандомизация) с двумя исходами 1 и 0, причем вероятность 1 равна <р(х), а вероятность 0 равна 1 — ф(х). В зависимости от исхода этой рандомизации действует и наш рандомизированный критерий. Если выпала 1, то Но отвергается; если выпал 0, то Но принимается. Функцию мощности этого критерия, который можно назвать ^-критерием, обозначим 1^(ф, 0). Она равна
U7 (ср, 0) = ^ ср (х) р (х; 9) dx = Мйср (£),
где Мй означает математическое ожидание по распределению р(х; 0), a g— случайная величина, плотность
равенравенкоторой равна р(х;0). Уровень значимости ф-критерия
равен
равен
а = $7 (ф; 0») = Мо0ф (б).
а вероятность ошибки второго рода равна Р=1-Г(ф;01)=1-М61Ф®.
Рассмотрим множество 9Ра всех ф-критериев с фик- сированным уровнем значимости а. Мы будем называть Ф*-критерий оптимальным, или наиболее мощным, если
Г(Ф*;90) = а, Г (ф*;9,)= max Й7(ф;9,).(7)
Задача (7) всегда допускает решение.
§ 54. Оптимальный критерий Неймана — Пирсона
Обозначим р0(х) = р(х; 0О), pY (х) = р(х\ 0;), М0Ф = =^ ^^pQ^dx, М1Ф=^ ф(х)р[ (x)dx. Оптимальный критерий (7) можно искать среди критериев, которые определяются отношением правдоподобия р;(х)/р0(х).
Теорема 1. (Теорема Неймана — Пирсона.) Для любого 0 ^ а ^ 1 существуют такие числа с ^ 0 и О ^ е ^ 1, что у*-критерий с функцией
1,1,Ф*(х) = у е,Ф*(х) = у е,если р,(х) > ср0(х), если pY (х) = ср0 (х),если р,(х) > ср0(х), если pY (х) = ср0 (х),(3)(3)0,0,если pv (х) < ср0 (х),если pv (х) < ср0 (х),
1,
1,
Ф*(х) = у е,
Ф*(х) = у е,
если р,(х) > ср0(х), если pY (х) = ср0 (х),
если р,(х) > ср0(х), если pY (х) = ср0 (х),
(3)
(3)
0,
0,
если pv (х) < ср0 (х),
если pv (х) < ср0 (х),
определяет оптимальный критерий с уровнем значимости а, удовлетворяющий (7).
Доказательство- Пусть 0 < а < 1. Случаи а = 0 и а = 1 проверяются отдельно, и мы не будем здесь этим заниматься. Рассмотрим функцию от с
g (с) = Р {Pi ® > сро (s) IHQ}
в предположении, что верна гипотеза Но. Функция
1-1-£(с) = Р{£(с) = Р{Pi (g)Ро U)Pi (g)Ро U)с|Я0}с|Я0}
1-
1-
£(с) = Р{
£(с) = Р{
Pi (g)
Ро U)
Pi (g)
Ро U)
с|Я0}
с|Я0}
есть функция распределения случайной величины Pi(£)/po(£), поэтому она непрерывна справа и g(oo) =
= 0, g(0—)= 1. Определим са из условия g(c«)^a<g(c« — 0).
Если g(ca)< g(ca — 0), то выбираем
a - g (Cg)
° g (ca - 0) - g (ca) ’
Если g-(ca) = g(ca— 0), то полагаем ea = 0. В случае, когда g(c)= a для целого отрезка Cj ^ с ^ с2, принимаем за са любую точку этого отрезка, например, самую левую. Полагая с и е в (8) равными найденным са и ба, строим функцию ф*. Докажем, что полученный Ф*-критерий имеет уровень значимости а и обладает свойством оптимальности (7). Докажем сначала, что уровень значимости ф*-критерия равен а. Имеем
Моф‘ = j р0 (х) dx + Р, (х)>саР0(х)
p0 (x) dx =p0 (x) dx =а — g (Cg)С
p0 (x) dx =
p0 (x) dx =
g (Cg — 0) — g (Ca) J Pi W^gPoW
— ^(Cg)+ g (ca - 0) - g (ca) '^g^a°)^(Cg)) —Ct.
Пусть ф —любой другой критерий с Моф^а. Покажем, что тогда М]Ф*^М1Ф. Рассмотрим интеграл
^ (Ф* (*) — Ф W) (Pi W — сдРо W) dx.(9)
Разобьем его на два слагаемых
) (Ф* — ф) (Р1 — CgPo) dx +(ф*— ф) (Pl —CaPo) dx. (10)
ф*>фф*<ф
В первом слагаемом интегрирование производится по точкам х, для которых ф* (х) > ср(х) ^ 0, поэтому в этом интеграле pi(х)^ сар0(х), т. е. подынтегральная
функция неотрицательна. Аналогично, во втором интеграле (10) ф*(х)< ф(х)^ 1, поэтому Р1(х)^ СаРо(х), И подынтегральная функция также неотрицательна. Отсюда заключаем, что интеграл (9) неотрицателен, т, е.
\ (Ф* — Ф) Pi dx>ca\ (ф* — ^Pudx,
ИЛИИЛИ(12)(12)•V»•V»
ИЛИ
ИЛИ
(12)
(12)
•V»
•V»
М]Ф* — М]ф > са (а — МОФ) > О,
что и требовалось доказать.
Замечание. Теорема справедлива и для дискретных распределений р0(х) и Pi(x). В доказательстве в этом случае надо везде интегралы заменять суммами.
§ 55. Оптимальные критерии для проверки гипотез о параметрах нормального и биномиального распределений
Пусть (1) есть независимая выборка из нормального распределения с параметрами (а, о). Пусть о известно, а относительно а имеются две гипотезы:
гипотеза Яо: а = ай, гипотеза Hv: a = ax>aQ.
Построим оптимальный критерий Неймана — Пирсона.
В этом случае
P.to-^e -, / = 0. 1,
И
-^ = ехр{пх(а1-а0)- — (а2-а2)},(11)
где х— выборочное среднее. Из (11) следует, что область значений х, для которых р1 (х)/ро(х) >• С, определяется неравенством х >• С, при некотором Ср Как известно, среднее х распределено нормально с парамег-
рамирами(а, —£=-\ Определим теперь ошибки первого и
рами
рами
второго рода: а=РИ>С, №}—!= J
1УЗл1УЗле 2 4и = Фе 2 4и = ФС1-ахо
1
УЗл
1
УЗл
е 2 4и = Ф
е 2 4и = Ф
(14)(14)Обозначим «у то значение, для которого 1-Ф(Му) = у.
(14)
(14)
«у носит название кбантиль нормального распределения. Тогда из (12) и (13) и иу = —«i-у вытекает
Ct — ciq / ■Ct — d\ /
Р’Р’(15)(15)- V» = «а, 5 V» = -
Р’
Р’
(15)
(15)
C
lO'O'
j — Дд 1 I tl^ Г™*^ 1 ~~ ^ft J /—’
ииAjnp л/п
и
и
0^иа + и^(at — a0)2 1
Равенство (15) дает тот объем выборки, который при оптимальном критерии обеспечивает ошибки первого и второго рода аир (если правая часть (15) — нецелая, то за п надо брать ближайшее большее целое число). Рассмотрим теперь следующие две гипотезы:
Яо: a = О,Нх- a = 0,Яо: a = О,Нх- a = 0,о = а0,о = а0,<Т — О] > Оу.<Т — О] > Оу.В этом случае отношение правдоподобияВ этом случае отношение правдоподобия
Яо: a = О,
Нх- a = 0,
Яо: a = О,
Нх- a = 0,
о = а0,
о = а0,
<Т — О] > Оу.
<Т — О] > Оу.
В этом случае отношение правдоподобия
В этом случае отношение правдоподобия
приводит к критическому множеству
п
У х2>С 1=1
Поскольку случайная величина
a2 Z-i a2
имеет при гипотезе (0, о) ^-распределение с л степе* иями свободы с функцией распределения
Л„ (х) = ^м (йУ^Ы» X > 0,о
и плотностьюhnwи плотностьюhnwто ошибки первого и второго рода определяются из равенствто ошибки первого и второго рода определяются из равенств
и плотностью
hnw
и плотностью
hnw
то ошибки первого и второго рода определяются из равенств
то ошибки первого и второго рода определяются из равенств
Построим оптимальный критерий в схеме Бернулли. Пусть 0 < ро < Pi < 1. Рассмотрим следующие две гипотезы:
^о: Poto = C>u(1-Ро)"* = °. 1">
Н;- Px^ = Cxnpx^\—pvY""x,х = 0, 1, .... п.
Оптимальный критерий для проверки гипотезы Но против конкурирующей гипотезы Нх строится, исходя из неравенства
Pi (х) = Г рх (1 — р0) Iх (1 — рЛп рРа(х) lpo(l—Pi)J (1—ро)"^ ’
которое равносильно неравенству х <Д Ci при некотором Ci. Для вычисления ошибок первого и второго рода воспользуемся тем, что число положительных успехов х асимптотически нормально с параметрами ^rtp, -Vnp^X — р^У Имеем
I Л/про (1 — РоХ упр0(1—ра) )
р = Р{.г<сдд^ = р(^^=
(.\прх (1 — РхХ Л/прхЦ—рх) )
Отсюда, используя квантиль uv, определенную (14), подучаем при заданных а и р границу
С1 « прйА-и-а ^ПРй^Х — Р®) ~ гарх — и^ ^прх<к — Рх)
и необходимый объем выборки
„ (“a V^ot1 -Ро) + “0 V^i 0 — ^1) У*
§ 56. Критерии для проверки сложных гипотез
На примерах выборок из нормального распределения разберем те задачи, которые возникают при проверке сложных гипотез.
Пример 3. Пусть независимая выборка (1) взята из нормального распределения '
с параметрами (а, о), причем а известно. Рассмотрим простую проверяемую гипотезу HQ: а = ао и одностороннюю сложную конкурирующую гипотезу Нх; а > «о. Действуя так же, как в § 55 при различении двух простых гипотез, находим, что критерий х"> Сх = = «о + иао] 4п будет иметь уровень значи- мошным для любойс параметрами (а, о), причем а известно. Рассмотрим простую проверяемую гипотезу HQ: а = ао и одностороннюю сложную конкурирующую гипотезу Нх; а > «о. Действуя так же, как в § 55 при различении двух простых гипотез, находим, что критерий х"> Сх = = «о + иао] 4п будет иметь уровень значи- мошным для любойРис. 14. Функция мощности W (а) критерия х > ао + «а-\пРис. 14. Функция мощности W (а) критерия х > ао + «а-\пмости а и будет наиболее
с параметрами (а, о), причем а известно. Рассмотрим простую проверяемую гипотезу HQ: а = ао и одностороннюю сложную конкурирующую гипотезу Нх; а > «о. Действуя так же, как в § 55 при различении двух простых гипотез, находим, что критерий х"> Сх = = «о + иао] 4п будет иметь уровень значи- мошным для любой
с параметрами (а, о), причем а известно. Рассмотрим простую проверяемую гипотезу HQ: а = ао и одностороннюю сложную конкурирующую гипотезу Нх; а > «о. Действуя так же, как в § 55 при различении двух простых гипотез, находим, что критерий х"> Сх = = «о + иао] 4п будет иметь уровень значи- мошным для любой
Рис. 14. Функция мощности W (а) критерия х > ао + «а
-\п
Рис. 14. Функция мощности W (а) критерия х > ао + «а
-\п
простой гипотезы ах > «о. Функция мощности этого критерия №(а) будет иметь график, изображенный на рис. 14, и ошибка второго рода 0(а)=1— ^(а) при а | а0 в пределе равна 1—а. Поэтому по критерию x>Ci мы можем лишь с малой ошибкой а отвергнуть гипотезу Нй. В случае х ^Сх мы не имеем больших оснований утверждать только на основе выборки (1), что а = «о, а не а > а0, так как при а, близких к а0, вероятность события х ^ Сх близка к единице. Поэтому при х ^ Сх мы говорим, что выборка (1) не противоречит гипотезе Но, и если эта гипотеза имеет какое- либо обоснование, независимое от выборки (1), то выборка в этом случае ее подтверждает.
Пример 4. Пусть гипотеза Но остается прежней, а конкурирующая гипотеза будет двусторонней Нх: а =^ aQ. В этом случае для значений а = ах <_ а» и
а = Я] > а0 теорема Неймана — Пирсона дает разные оптимальные критерии х С Ci и х > Ср т. е. не существует такого критерия с уровнем значимости а, который максимизировал бы функцию мощности 1Г(а) во
Рис. 15. Функция мощности W (а) двустороннего критерияРис. 15. Функция мощности W (а) двустороннего критерия
Рис. 15. Функция мощности W (а) двустороннего критерия
Рис. 15. Функция мощности W (а) двустороннего критерия
всех точках а ф ао. В этом случае применяют двусторонний критерий, по которому гипотеза HQ отвергается, когда
I х — а01 >I х — а01 >
I х — а01 >
I х — а01 >
Функция мощности такого критерия равна
U7 (а) = 1 —U7 (а) = 1 —1V2n;1V2n;а^-а /- ,—— Vn '+««/2е——— V»-ua/2а^-а /- ,—— Vn '+««/2е——— V»-ua/2хг2 dx.хг2 dx.
U7 (а) = 1 —
U7 (а) = 1 —
1
V2n;
1
V2n;
а^-а /- ,
—— Vn '+««/2
е
——— V»-ua/2
а^-а /- ,
—— Vn '+««/2
е
——— V»-ua/2
хг
2 dx.
хг
2 dx.
Уровень значимости этого критерия равен а, а график имеет вид, изображенный на рис. 15.
Пример 5. Пусть имеются две независимые выборки: выборка хр х2, ..., х„ из нормального распределения (0,0]) и выборка ур уу ..., уП1 из нормального распределения (0, о2). Рассмотрим основную гипотезу Н0:а1 = о2> и конкурирующую гипотезу Яр о^оз.
Статистика
(17)(17)
(17)
(17)
(16)
имеет при гипотезе Но /•'-распределение Фишера. Критерий можно построить на основе статистики (16).Пусь F^ — такая квантиль F-статистики (16), что
P{F>Fy|//0) = Y.
Будем принимать гипотезу Но тогда и только тогда, когда
Fi-a!2^F ^Faj2.
Этот критерий имеет уровень значимости а.
§ 57. Непараметрические критерии
В математической статистике часто требуется проверить гипотезу, что независимая выборка
Х[, %2> • • • , А'п
взята из генеральной совокупности с функцией распределения F(x). Относительно конкурирующей гипотезы, кроме независимости Xi в (17), других предположений не делается. В этом случае применяются так называемые непараметрические статистические критерии, которые строятся на основе какой-либо статистики ^(х1( ... ..., х„, F), зависящей от F, причем распределение этой статистики при справедливости основной гипотезы известно точно или асимптотически при п оо. Обычно статистика положительна, и при любой конкурирующей гипотезе ее значение возрастает. Выбирается такое ga, чтобы g "^ go. при основной гипотезе выполнялось с вероятностью ошибки первого рода а. Основная гипотеза принимается, если g < ga, и отвергается, если g ^ g^. Одним из наиболее известных таких критериев является -/^-критерий Пирсона.
Выберем точки z0 = — оо < z! < z2 < ... <zr_1< <zr=oo. По известной функции F ^ вычисляем веро-
(18)(18)ятности рк— FU^—F(zk_xy &=1, .... г. Обозначим vk число тех Xi из выборки (17), которые удовлетворяют условию zh_x <Xi^zk. Тогда при справедливости основной гипотезы случайные величины
(18)
(18)
Vj, Vo, . . ., Vr
имеют полиномиальное распределение
пх 4* ... 4- пг = п.(19)
Первоначальную задачу мы редуцируем теперь к проверке гипотезы о том, что частоты (18) получены из полиномиального распределения (19) с вероятностями исходов
Р1. р2* • • - , Рг-
Статистика, на основе которой строится критерий, называется у^-статистикой Пирсона и определяется суммой
_У ^-«РкУ п Ь пр^_У ^-«РкУ п Ь пр^(20)(20)
_У ^-«РкУ п Ь пр^
_У ^-«РкУ п Ь пр^
(20)
(20)
Теорема 2. Распределение х„ при п-^-оо слабо сходится к ^-распределению с (г— 1)-й степенью свободы с функцией распределения
х ,
,, г
Кг_1 кх) = “УП 1“ 2 е 2 ^и, х^О.
2—r(LZ±) 0
Доказательство. Из теоремы 8 § 46 следует, что случайный вектор tj^ = ^(1'!), ..., т^1^ с компонентами
сходится при п-*оа к нормальному распределению с кулевыми средними и матрицей ковариации
II Cov (ть Bz) II = I^ы — VPkPi И
(будем обозначать я» случайные величины с предельным нормальным распределением). Характеристическая функция предельного нормального распределения равна
г гг г \2
$ч ^ = ^ ^ — ^j ^Ч ^^PkPi = ^ ^ — (^ V^T ^) ‘ (22)
Преобразуем вектор я ортогональным преобразованием g = Ся. Тогда характеристические функции /^ и fn связаны соотношением
М«) = /\(С*«), « = («|ur),
где С*— преобразование, сопряженное С (см. свойство 7) из § 43). Если t = С*и, то и = Ct, t=(ti, ... ..., t,Y Выберем С так, чтобы
их = ^Рх tx + ... + ^pr tr,(23)
а остальные ик—^ ckiti подберем так, чтобы матрица /-=1
VpT Vp7 ••• "V Pr
C2i ^22 ••• Car
Cri Cra • • • Crr
была ортогональной. Тогда в h\ll) = e~Q^U№ квадратич ная форма, в силу (22) и (23), равна
Q. («) = Q^u) = £ /2 - «2 = £ «2 - «2 = £ и2,•16-16-16=2
т. е. вектор £ = (^gr) имеет независимые компоненты, причем £>g! = 0, ^2, .... ^г распределены нормально с параметрами (0, 1). Из предельной теоремы и формул (20), (21) следует, что %;t =-nin)! + ••• +Лг"и сходится к распределению я2 + • • • + Л2- В силу ортогональности преобразования С сумма я?+ ••• +’1г! переходит в сумму ^ + ^ + ... + g2, что и доказывает теорему (см. определение ^-распределения в § 46).
Полученный результат применяется следующим способом. Задаемся уровнем значимости а. Тогда, в силу
теоремы 2, при больших п с вероятностью, приближенно равной а, выполняется неравенство
й-Е6 = 1й-Е6 = 1(Ч ~ «Рк?"Рк(Ч ~ «Рк?"Рк^к^г-Х^^к^г-Х^
й-Е
6 = 1
й-Е
6 = 1
(Ч ~ «Рк?
"Рк
(Ч ~ «Рк?
"Рк
^к^г-Х^
^к^г-Х^
где kaV—1) — а-квантиль %2-распределения с (г—1)-й степенью свободы (см. § 64. п. в)). Мы считаем основную гипотезу принятой, если "Х^<^а(г —1), и отвергнутой, если выполнено обратное неравенство. Выбор точек деления Ziгг-\ должен удовлетворять двум требованиям. Во-первых, вероятности р\, pz, .... рг должны достаточно хорошо отражать вид функции распределения F(x) (для этого г должно быть больше и р, — меньше). Во-вторых, для того чтобы можно было пользоваться предельной теоремой, npt и, соответственно, Mi должны быть не очень маленькими (для этого г должно быть не очень большим). Обычно на практике требуют, чтобы
пр^ 10, v(>10.
Из этих противоположных требований и выбираются ТОЧКИ Zb ..., Zr-\.
(24)(24)Другим примером непараметрического критерия является критерий Колмогорова. Этот критерий основан на статистике
(24)
(24)
Dn= sup | Fn (x) — F(x) I,-00<x<00
где F(x)— непрерывная функция распределения генеральной совокупности, Fn(x)—эмпирическая функция распределения, построенная по выборке (1):
6=1
Докажем, что распределение случайной величины О„ инвариантно относительно F^x).
Теорема 3. Если F(x) непрерывна, то распределение статистики Dn не зависит от F(x).
Доказательство. Докажем, что Dn при любой непрерывной F^ имеет такое же распределение, как
и в случае, когда F^x) задает равномерное распределение на отрезке [0, 1].
Пусть |i, ..., £„— независимые случайные величины и каждая из них имеет функцию распределения F^xA. Предположим, что F(a) = 0, F(,b')=1 и 0<К(х)<1 при а < х < Ь, причем а и b могут быть и бесконечными. Обозначим через В множество, состоящее из тех точек а < х < Ь, для которых при любом 8 > 0 К(х)< < F(,x-V- е). Нетрудно видеть, что при любом 0 < у < 1 существует единственная точка хе В, для которой Р^ = У- Примем это х за значение обратной функции: х = ^-1 (У) ■
Введем случайные величины ц* = р-Ч^Ч 6 = 1, ... ..., п. Они независимы, так как gb ..., независимы, и равномерно распределены в (0, 1), так как события {'■I* ^ у} и ^к^р-ЧУ^ равносильны и при любом 0<У<1
Р {-n& < у} = р & <F"1 (у)} = F (F-1 (у)) = у.
Обозначим более подробно эмпирические функции распределения для выборок §i, ..., grt
и HiПл
FAy,^ .... Пл) = ^£^<1ф
4 = 1
Положим у = F(x), х е В. Тогда из равносильности событий {I* х} и {ц*//} следует
Fn Чв Пь • • •. Пл) = Fn (х; ^, ..., LY (25) Верхнюю грань в (24) можно брать по хеВ, поэтому, в силу (25), с вероятностью 1
O„ = sup I AJx; gh . ...U —К(х)| =
= sup \FAy, m, Пл) — y\, 0<y<!
что нам и требовалось доказать..
А. Н. Колмогоров доказал, что при п-*оо для любой непрерывной F(x\ имеет место следующая пределы-
пая теорема:
lim Р{л/7дп^х}==/((х) = £ (-1)^~2^8, х>0. (26) Л-»ООк— — ОО
На основе предельного соотношения (26) строится непараметрический критерий Колмогорова. Пусть ка— а- квантиль предельного распределения (26)
— К (£о) = а.
Тогда гипотеза о том, что выборка (17) взята из распределения с функцией F (х), принимается, если Ajin Dn^. ^ka, и отвергается, если ^п Dn> ка. Уровень значимости этого критерия равен приближенно а.
С той же самой предельной функцией! К (х) связан критерий Смирнова. Он состоит в следующем. Пусть х,хП| и ур ..., у— две независимые выборки, первая имеет функцию распределения F (х), вторая — G (х). Обозначим
srtb/l2= sup I Fni (x; Xi, ..., Xn^—F, „(x; y\, .... упП — OO<X<OO
В. Смирнов доказал, что если F (.х) = G (.х) и непрерывны, то при п^ п2 —> оо, -^ —> т, 0 < т < оо, слу-
о/ ПуП^
чайная величина aJ п №' Ощ.^ в пределе имеет тот же закон распределения К (х), определенный рядом (26). Эта предельная теорема позволяет нам строить критерий по проверке гипотезы о том, что выборки Хь ..., хП( и z/i, ..., у^ взяты из одного и того же распределения.
Задачи
Имеется независимая выборка Xiх„. По гипотезе Яо все Xi равномерно распределены в [0, 2], по гипотезе все Я, равномерно распределены в [i, 3]. Построить критерий с наименьшей величиной max(a, Р), где а и Р — вероятности ошибок 1-го и 2-го рода.
Пусть Xiх«— независимая выборка из распределения с плотностью Хе"^, х ^ 0. Построить оптимальный критерий проверки гипотезы Яо: X = Ло при конкурирующей гипотезе Яс X — Xi < Л» с уровнем значимости а. Вычислить мощность W этого критерия.
По двум независимым выборкам: Xiхп из нормального распределения (щ, си) и t/i, ,.., уП1 из нормального распределения
(я», о?) построить с уровнем значимости а оптимальный критерий проверки гипотезы Й»: at = аг при конкурирующей гипотезе Hi: at < аг. Параметры си и <т2 считать известными.
4. В таблице случайных чисел па 1000 знаков цифры 0, 1, ..., 9 встретились следующее число раз:
цифры
0
1
2
3
4
5
6
7
8
9
частота
90
105
112
97
108
101
93
87
103
104
С помощью %2-крнтерия Пирсона проверить гипотезу о том, что все цифры встречаются в таблице случайных чисел равновероятно. За уровень значимости принять а = 0,05.
Глава 15. ОЦЕНКИ ПАРАМЕТРОВ
§ 58. Статистические оценки и их свойства
Мы будем иметь дело с независимой выборкой
^1> Хз, •.., хп(1)
из распределения F^, принадлежащего некоторому семейству распределений ^". Пусть 6 —параметр, однозначно определяемый по каждому распределению F из семейства ^\ Например, 6= ^ xdF^x) или 6 =
= ^ xr dF ^х)и т. п. Таким образом, 6 = 6(F)— это функ
ционал распределения FgS", Очень часто мы будем предполагать, что само семейство iF определяется одним или несколькими такими параметрами. Тогда любая F е tF есть функция распределения F(x;6) или F(x;6i, ..., б,), зависящая от одного или нескольких параметров. Такое семейство распределений называется параметрическим. В любом из этих случаев задача оценки (или, как еще говорят, оценивания) параметра В состоит в нахождении такой функции
e = e(x!х„)(2)
от выборки (1), которая в каком-либо смысле близка к параметру 6, если выборка взята из распределения F с 6(F) = 6. При этом предполагается, что функция (2) не зависит от значения оцениваемого параметра 0 и других неизвестных параметров, от которых может зависеть F. Вообще, любая функция вида (2) от выборки носит название статистики. Таким образом, 6 — это статистика (2). Содержательность это определение приобретает только тогда, когда мы налагаем на эту стати-
стику дополнительные условия, обеспечивающие ее близость к параметру 9.
Оценка 9 = 9 (хн ..., хп) называется несмещенной, если при любом возможном 9
М9=9,(3)
т. е. среднее значение 9 равно 9. Значение свойства (3) можно пояснить на примере большого числа N независимых выборок объема п из одного и того же распределения. Обозначим 9; значение оценки (2) для i-й выборки. Если оценка несмещенная,то М9г=9, 9,, ..., 9^ независимы и одинаково распределены. Тогда по усиленному закону больших чисел
0,+ ... +0W Tt.lL
Если конечна дисперсия D9( — о2, то по центральной предельной теореме разность
0,+ ... +6V
будет (О, о/д/^)-асимптотически нормальна, т. е. при больших N неравенство
б, + ... + 0V uaRaи 7=г
Nл/N
выполняется приближенно с вероятностью 1 — а (здесь иа/2 — квантиль нормального распределения, определенная формулой (14) из § 55).
Приведем примеры несмещенных оценок. Если выборка (1) взята из семейства с конечным r-м моментом mr=^xr dF(x'), то выборочный r-й момент п
1-1 будет несмещенной оценкой mr, так как "п
Mmr = — ^ Мх/ = тг.
1=1
В частности, выборочное среднее х есть несмещенная оценка математического ожидания а = $ xdF^x\ Выборочная дисперсия п
j=l
не является несмещенной оценкой дисперсии а2 = = ^ (х — а)2 dF (х), так как s2 можно представить в виде а
S2 = ^ £ (^ ~ а)2 — кх — of.
i-1
Отсюда
М^а2-^21?1^(5)
поскольку М (х, — а)2 = о2, М (х — а)2 = —. Равенство (5) дает нам возможность построить несмещенную оценку дисперсии
si= Т^Т s2 = ^ГГ £ (^i - ^.(6)
4 = 1
Заметим, что из несмещенности оценки s2 для о2 не следует несмещенность оценки $! для а. Поэтому при большом числе N выборок (1) для оценки о предпочтительнее
Inn
пользоваться оценкой А / "#■ £ su - а не '/v'£sii* где
з^ — значение выборочной несмещенной дисперсии (6) для т-й выборки. З-аметим, что обычно' вместо з? в (6) пользуются обозначением s2. Очень часто нас интересуют асимптотические свойства оценок 0„ = 9„ (х^ ..., х„) для выборок (I) объема п-^оо. Оценка 9„ (вернее, последовательность оценок 0„) называется состоятельной, если при н —> оо она сходится по вероятности к параметру 9
Примером состоятельной оценки может служить выборочный r-й момент fh, в (4), так как при конечности тг по усиленному закону больших чисел тг —► тг при га->со, а следовательно, и тг —*• тг.
Для установления состоятельности оценки 9„ полезна следующая
Теорема 1. Если М9„->9 и 09п-> 0 при п-> со, то оценка 9„ — состоятельная.
Доказательство. По неравенству Чебышева при любом е > О
Р{|9„-М9„|>е}<-^->0.(7)
Из (7) и неравенства
|9n-9K|9n-M9J + |M9n-9|
следует, что при п -> оо вероятность события | 9„ — 01 > е стремится к нулю, что и требовалось доказать.
С помощью теоремы 1 во многих случаях легко доказывается состоятельность оценок 9П.
Условные законы распределения
Рассмотрим сначала случай, когда вектор | = (|ь ... ,.., |п) имеет дискретное распределение
р в = Х> = Pl (х) = Р (х) = р (х,х„),
где х = (хь .... хп) пробегает конечное или счетное множество возможных значений |, p(x)^0, Sp(x) = l.
X
Пусть имеется функция /(x)=/(xi, ..., х„). Условным распределением | при условии t^=t назовем совокупность условных вероятностей при фиксированном /: рию=ра=^®=о=
PV^ = n £ pW (8) x'; t (x^t
He более чем счетное число вероятностей (8) отличны от нуля; / мы выбираем такими, чтобы знаменатель
в (8) не был равен нулю. Если g(x)—числовая функция от векторного аргумента х=(хь .... хп), то т] = = g(|) будет случайной величиной. Ее математическое ожидание равно
Мт] = Mg (£) = Е £ (х) р (х).
Условное математическое ожидание М (g(£)\t (1) = /} определим с помощью условного распределения (8):
Е 8 (х) Р W*: t (x)=tЕ pwх-. t <x)=tЕ 8 (х) Р W*: t (x)=tЕ pwх-. t <x)=t(9)(9)M{g(|)|/(l) = o =
Е 8 (х) Р W
*: t (x)=t
Е pw
х-. t <x)=t
Е 8 (х) Р W
*: t (x)=t
Е pw
х-. t <x)=t
(9)
(9)
= X £ и р (* 1 о=х: t (x)=t
Как видно из (9), условное математическое ожидание М {g(l) |/Ш = 0 есть функция от /. Обозначим ее gi(/). Подставляя вместо t случайную величину 1 = 1^), мы получаем, что условное математическое ожидание есть случайная величина £1(т). Вычислим математическое ожидание от gv (т):
Mgi(x)= Еgi(OPO=o = Еgi(o Е р^= tt х; t[x)=t
= Е Е £(х)р(х)= Е £WpU)- t Х-. t (X) = tX
Таким образом, мы показали, что
Mg(|) = M[M{g(Od) = OL (10)
т. е. при вычислении математического ожидания от g(|) сначала можно вычислить условное математическое ожидание g^ при условии /(|)=/,а затем осред- нить это условное математическое ожидание по вероятностям условий.
Формула (10) сохраняет смысл и в том случае, когда | имеет не дискретное распределение, а, например, имеет плотность р^= р\х\, ..., х„). Пусть плотность р(х) непрерывна в точке х. Тогда при Д,->0, г = 1, ..., п,
Р (х< < £, < х,-+ Ai, i=l,..., п} =
= р(х)Д, ... Д„ + о(А1 ... Д„).
Вычислим условную вероятность
Р tei < £1 < *1 + А,хт < U < хт + Ат )хг <
<h<Xi-\-^b Z = m+1, ...,п} =
_Р&, ...ej*i- •••• -^1 ••• Д» + °'(Д1 ••• М .
“ Р^т+1 - 5„ (Хт+1Х«) Дт+1 ''' Дл + 0 (Дт+1 • • ’ М ’
Переходя к пределу по Д;-^0, получаем
А " Л Р I1*'! < ^1 < ^1 "Ь ^1» • • * > ^т< ^>т< ^т
<^t<xt-V^b 1 — т-\-\,...,п}-^
Рет+1...е„(^+р^) ’ V ’
где Р^••• >х™) =
= $•••$ Р^х..лп<хх> .... хт. хт+1xn^dxx ... dx^
Предел левой части (11) естественно назвать условной плотностью ^ь ..., ^-п при заданных ^т+ь • • • > I»:
^1 ?mlWl sO^X1 1Х“+1Хп^ =
Математическое ожидание
М^61, и =
= 5 • • • ^ё tel, ..., Х^^ ... eft (а,Xn>dxx ... dxn можно вычислять по формуле (10), вычислив сначала условное математическое ожидание
м(5(61Ul^+I=xm+1, ...л, = и =
= J Jg(x,Х„)Х
X psl ... em]em+t ••• s„ tei, ■ • • > xm l^m+rx^dxx.. .dxm =
S ^(x,x„)pEi ...tjxp ..mX^cUi - -4*m
55Х^йХ\— dxm
и осредняя его затем по р^ +^ (хт+1, хп):
-Г-(^.-с^ i.'>dx««"- dxA-
хп)dxx dxm =
= 5 S6^1'^P^'1 •••>* ••• dxn =
= !/№ ...U (12)
Формулу (12) можно вывести и в более общем случае. Пусть имеются дифференцируемые функции Л = Л(х), t2 = tsAxY ..., tm = tm\xY Предположим, что к ним можно подобрать функции pj = yAxY j= 1, . .., п — т., такие, что преобразование С, задаваемое функциями
Ц = ti(x), 1 = 1, ..., /72,
У) = УДХ'1. ] = 1, ..., п — т,(13)
взаимно однозначно в соответствующей области. Тогда плотности р^х) и рх п(/, у), где x^t.®, г^у^), T = (Tt, . .., XWY -И = (ТЦ» Пп-т)» / = (Л. ... tm\ у = = ^У\, •••, Уп-т^ будут связаны равенством
Р^х) = рх^,уМГ\,(14)
где J— якобиан преобразования С. Пусть имеется функция g^x, ..., gn). Вычислим условное математическое ожидание g^x, ..., gn) при условии т = 1. Обозначим хки.У1= хк, k=lп, x(t, у) = (xx(t, у},... ...,хп((,у)) функции, задающие обратное преобразование С-1. Тогда'
M{gr©|T = /} =
= 5V^’ y^^lr^ l^^l ••• ^n-m^
^ • •. К кх У, у)) рч х Vy. П dy{ dy„_m
$ •■• ^РП,г^’ £1>d»l ••• d«n-m
И
М[М(^(Юк}] =
= $... $M{g(£)|T = 0M0^i ...dtm =
= S ... $£(х(Л У^Р^У. 0^ ... dtmdy{ ... dyn_m = = 5 ‘ “ 5 ^ (Xp " ' ’ X*^ ^I ••• ^„ (^l’ ' “ Xn) ^X1 • • • ^ХЛ =
= Mg® (15) (здесь мы воспользовались равенством (14)).
Достаточные статистики
Понятие достаточной статистики играет важную роль в теории оценок.
Определение 1. Пусть £=(£ь ..., |л)—векторная случайная величина, распределение которой р(х;9) зависит от параметра 0, и /(х) = (/Их), ..., /т(х)) — векторная функция (набор т статистик) от х = (хь ... .... хл). Мы будем называть Цх) достаточной статистикой, если условное распределение | = (|ь ..., £л) при условии /(^) = t не зависит от параметра 0.
Мы будем далее иметь в виду два случая, разобранных в § 59: либо р^(х;0)— дискретное распределение вероятностей, либо р;(х; 9)—n-мерная плотность и существует взаимно однозначное преобразование С: х = = (Хь .... хл) В (t, y) = (ti, .... tm, Уъ .... Ун-т), Задаваемое формулами (13).-
Как мы увидим ниже, оценки, зависящие только от достаточных статистик, обладают преимуществами по сравнению с другими оценками. Во-первых, они используют не всю информацию, содержащуюся в выборке (1), а лишь ту ее часть, которая существенна для оценки параметра. Во-вторых, каждой несмещенной оценке 9 с конечной дисперсией соответствует другая несмещенная оценка е, зависящая от достаточной статистики, с Об < Об.
Прежде всего докажем критерий факторизации, позволяющий легко находить достаточные статистики.
Теорема 2, Если распределение р (х; 0) представимо в виде
р (х; 0) = g (/ (х); 0) h (х),(16)
то /(х) есть достаточная статистика.
Доказательство. Рассмотрим сначала дискретное распределение. Согласно формуле (8) условная вероятность £ = х при условии /(с)= / равна
.(17)
р (х; 0)
х: / (х)=<
Если выполнено (16), то из (17) получаем
Рй (*Ю =Рй (*Ю =Е А w х: t(x)-tЕ А w х: t(x)-tЯ (/; 0) h (х)
Рй (*Ю =
Рй (*Ю =
Е А w х: t(x)-t
Е А w х: t(x)-t
g V; 6)£ й (х)
х: t tx4=t
т. е. /(х)— достаточная статистика. Если, наоборот, условная вероятность ре(х|/) = р(хр) не зависит от параметра 0, то из теоремы умножения вероятностей имеем
р(х; ^ = р(х \0рхУ; 6),
где pv\t; 0)—распределение t, т. е. имеет место пред* ставление (16).
Если р(х; 0)—плотность, то будем предполагать, что имеется преобразование (13) и плотности р^х; 0) и Pt, ^t, у; 9") связаны соотношением (14). Тогда условная плотность т) при условии т = /, равная
Р^^У 10 =
Рт.^’*т» УУп-т)
^ "' ^ ^т’ ^0’ "^nv У'.Уп-т^У \ • • • ^Уп-т в силу (14) и (16), представима в виде
Ря1г^Ю =
g(.t; 6) й (x(t, tdV-1 U U, у^_
^ ... ^(/;0) ’I (х (Лу)) J~1 (х (/, у)Уу! ... dyn-m
h (х (,t. У» 7~‘ (х (/, у)) \( h(x(t, y^l-v kxit,y^dyx ... dyn-m
и, следовательно, не зависит от 0. Так как
Ми(Ю1т = /}= J ... ^gUV, у^рчХ.Ду\Мух ... dyn_m
не зависит от 0, то взяв g(x)=l для хгВ и g(x) = 0 для хф В, где Ве$п- борелевское множество из Rn, получаем, что Р {£ е В |т = /} не зависит от 0 при любом В е ^", т. е. / — достаточная статистика. Пусть, наоборот Рщ^г/Ю не зависит от 0. Тогда из
Р^У> (> 6) = Рп 1 т <^ । Z>PT (^; 0)
и (14) имеем
р^х; ty = pmx(y\ t)px(t; 0) | J I,
е. плотность р^(х;0) представима в виде (16). Теорема доказана.
Второе из указанных выше свойств достаточных статистик вытекает из следующей теоремы.
Теорема 3. (Теорема Колмогорова — Блекуэлла.) Пусть t — достаточная статистика семейства распределений р^х;^, а о (х)— несмещенная оценка параметра О с конечной дисперсией, построенная по выборке (1). Тогда условное математическое ожидание ё при фиксированном t
6^М{0|/}
будет несмещенной оценкой 0 с дисперсией D0 ^ D8. Доказательство. Из свойства (15) имеем
м§ = м [М (0 10] = М0^=0,
е. оценка 0 несмещена (0 действительно является оценкой, так как нс зависит от 0, поскольку t — достаточная статистика). Вычислим D0:
D0 = М (0 - 0)2 = М (0 - б + ё - 0)2 =
= М (ё - §)2 + М (ё - 0)2 + 2М (0 -&) (б - 0). (18) Так как
м (6 — ё)(ё — о)=м [М (ё — ё) (6 — 0)| о =
= м [(ё — 0) - м {(ё — ё)| /}],
а М {(9 —9)10 = 0, то из (18) получаем D9^D9. Теорема доказана.
Пример 1. Пусть выборка (1) взята из схемы Бернулли (х,- = 1, если в г-м испытании был успех, xt = 0 в противоположном случае). Параметром в этом случае служит вероятность р. Вероятность появления выборки (1) равна
P(-v; р^йр^-4^?^ - +х"(1 -рГ4- - "Ч
откуда по критерию факторизации следует, что число успехов X] + ... + х„ есть достаточная статистика.
Пример 2. Пусть (1) — независимая выборка из нормального распределения с параметрами (а, о).Тогда по критерию факторизации
пп
е. 2 х,. и 2 х’ — достаточные статистики. i~ii=i
§ 61. Эффективность оценок
Как мы видели в § 60, несмещенные оценки 0 параметра 0 с меньшей дисперсией предпочтительней остальных оценок. Естественно поставить вопрос о нахождении оценок с наименьшей дисперсией. Некоторый подход к решению этого вопроса дает неравенство Рао — Крамера. Пусть р(х;0)=р(хь ..., х„; 9) — плотность, зависящая от параметра9, а 9 = ф(х) = ф(хь ..., х„)— оценка параметра 9 по выборке хь ..., хп, не обязательно несмещенная. Обозначим g(9)=M9=^ ... ^ф(х)Х Xp(x;9)dx. Предположим, что выполнены некоторые условия регулярности, при которых интегралы
\ р(х; Q)dx = 1, ф (х) р (х; 9) dx = g (9)
можно дифференцировать по параметру 0. В этом случае справедливы равенства
^ dx = о,(19)
$ср(х)-^х = /(0).(20)
Математическое ожидание (здесь £ имеет распределение р(£, 0))
/(0) - м(“Stiyaу=((0'°»^ «'У,„;е)dx (21)
носит название информации Фишера относительно семейства р(х; 0).
Теорема 4. (Неравенство Рао — Крамера.) Если семейство плотностей р(х;0) и оценка 0—ср(х) таковы, что выполнены условия (19) и (20), то имеет место неравенство
^>1Ч^-<22>
Доказательство. Условия (19) и (20) перепишем в эквивалентном виде:
S
, д log р (х; 0) , п
Р U; 0) ——- dx = 0,
гл.(23)
j ф (х) р (х; 0) —dx = g' (0).
Умножим первое из тождеств (23) на g(0) и вычтем его из второго:
$ ГФ W - g (0)1 -^- р (х; 0) dx = g' (0).(24)
Полагая в (24) ф! (х) = ср (х) — g (0), ср2 (х) = ^-, применим неравенство Коши — Буняковского
[j Ф1U) Фг (х) р (х; 0)cZc]'<
^ ^ Ф1 (^) Р (я; 6) dx • j ср| (х) р (х; 0) dx.
Имеем отсюда:
[g' (6)]2 = [ J (Ф (х) - g (0)) - ^р'- р (х; 0) dx] <
< (ф W — g (б))2 р (я; 0) dx • ^ (-да-/ р U; 6) dx.
а это равносильно неравенству (22).
Замечание 1. Теорема 4 остается справедливой, если под р(х;0) понимать вероятности дискретного распределения, а под интегралами — суммы.
Замечание 2. Если тождества (19) можно еще раз дифференцировать по 0:
f dz log рJ 592f dz log рJ 592dx = 0,dx = 0,
f dz log р
J 592
f dz log р
J 592
dx = 0,
dx = 0,
то информацию Фишера (21) можно записать в другом виде:
/(0)=-М^|^Л__^^1оер р(х; ^(25)
□-г Sp „52р
В самом деле, обозначая р = Римеем
5 1г.<т п _ р' д2 log р р" / р' \2ои ’ р ’ д№р\ р ) *
откуда
$ - ^q? Р Р ^ = $ p"dx—^ (-^-)2 pdx = — I^,
что и утверждалось..
Замечание 3. Из первого тождества (23) следует М .д™°? да- 6' = 0, поэтому информацию Фишера (21) можно записать иначе:
/(0)aiD(»i2tgL®).
Замечание 4. Если xjхп независимы, то их совместная плотность рп(хх, .... хп; 0) есть произведение одномерных плотностей:
pnU хп; 0) = П pUfc\ О)-
8 Б. Л. Севастьянов
В этом случае информация Фишера/„(0)= М ^^-^^ зависит от п линейно:
4(0) = п/1(0)>(26)
где /1 (0) = ^ (■^^^^') Р (-^ 0) ^х — информация Фишера одного наблюдения хк1 а (22) превращается в неравенство следующего вида:
DO^-И^.(27)
Формула (26) следует из
G
n\ п
Замечание 5. Если оценка 0 несмещенная, то g(6)™0, и в неравенствах (22) и (27) числитель равен g'(0) = 1.
В условиях теоремы 4 неравенства (22) и (27) дают оценку снизу дисперсии оценок 0. Ниоткуда не следует, что эта оценка достигается, однако во многих важных случаях, как мы увидим ниже, она является нижней границей дисперсии 0 хотя бы в асимптотическом смысле при П-* ОО.
Пример 3. Пусть хь .... хп — независимая выборка из нормального распределения с параметрами (а, а), а —известно. Так как log р (х; а) =
,/х— д log р х — аТ ( X М (£ — а)2
— log У2л а, ■■ (^ = —52—, то /„(«) = и^
™а -л1
= -^т- Для оценки а = х имеем Ва = — = ~nJ^ ^, т. е. в этом случае в (27) достигается равенство.
Ниже мы всегда будем предполагать, что выполнены условия теоремы 4.
Он ределение 2. Назовем эффективностью оценки 0 отношение
е(0) =е(0) =ЮУ!De -1 (в)ЮУ!De -1 (в)
е(0) =
е(0) =
ЮУ!
De -1 (в)
ЮУ!
De -1 (в)
Оценка 9 с эффективностью е(0) = 1 называется эффективной.
Эти определения обычно применяют к несмещенным оценкам.
Оценка х в примере 1 эффективна. Если неравенство в (22) или (27) для некоторой оценки превращается в равенство, то эффективность оценки 0— это отношение минимально возможной дисперсии к дисперсии данной оценки:
min D9tе(б)=-
D9
Эффективность всегда удовлетворяет неравенствам 0 ^ ^с(б)^ 1. Конечно, при нарушении условий теоремы4 неравенства (22) и (27) могут не выполняться и могу г существовать «сверхэффективные» оценки 0 с дисперсией D0> убывающей при п->оо быстрее, чем О ^А).
Пример 4. Пусть хь ..., хп— независимая выборка из распределения с плотностью
( е~^~9\х>0,
в>=|. о,Ж<е.
В этом случае нарушается условие (19) и оценка 0 = = min ха обладает «сверхэффективностью», так как 1 <й<л
М0 = 04-А D9=-A.
Важным понятием в теории статистических оценок является также асимптотическая эффективность. Будем предполагать выполненными условия теоремы 1.
Определение 3. Асимптотической эффективностью ео(0„) оценки 0„ = 0„(хь ..., хга), построенной по независимой выборке хь ..., хп, назовем предел
eo(0) = lim
л->оо nJ 1 (9) DO л
если он существует. Оценка 0„ называется асимтоти- чески эффективной, если ^ (0n) = 1.
Таким образом, если 0 — несмещенная оценка с асимптотической эффективностью е0 (0), то ее дисперсия D9 при больших п асимптотически равна [е0 (0) • nJ| (0)]-1.
Для асимптотически нормальных при п->оо оценок 0П полезно другое определение асимптотической эффективности.
Определение 4. Если оценка 0„ при и->-оо
0, —рг I, л/п / то ее асимптотической эффективностью называется отношение
т. е. в этом случае за математическое ожидание и дисперсию оценки 0 мы принимаем математическое ожидание и дисперсию аппроксимирующего нормального закона распределения. Аналогично, если ео(0)=1, то оценка будет называться асимптотически эффективной.
С понятием асимптотической эффективности асимптотически нормальных оценок мы встретимся в следующем параграфе.
Методы нахождения оценок
До сих пор мы занимались свойствами оценок параметров, не затрагивая вопроса о способах их нахождения. Сейчас мы познакомимся с некоторыми методами нахождения оценок.
Метод моментов. Пусть Хь ..., хп — независимая выборка из распределения с плотностьюр(х; 01, ..., 0,), зависящей от г параметров 0Ь ..., 0Г. Предположим, что все моменты
/иА(0ь ..., 0r)= \ хкр(х; 0Ь ..., 0r)dx, к = 1,..., г.
конечны и что система уравнений
6А = /иА(0ь •••, 0,), £ = !,..., г,
однозначно разрешима, причем ее решение ^ k = V...,r,
дается непрерывными обратными функциями т^1. При этих условиях имеет место
Теорема 5. Оценки Qk, k = \, .... г, получаемые как решение системы
Аь-т^, .... er), k = l,...,r,(28)
п
где riik — ^^xl — выборочные моменты, состоятельны. 1 = 1
Доказательство. Согласно нашим предположениям система (28) имеет единственное решение 0$ = — m^^tn^ .... th^, причем m^v— непрерывные функции. По усиленному закону больших чисел т^ сходятся п. н. к nife, а из непрерывности функций т~х отсюда следует, что 0& при п->оо п. н. сходятся к 0*. Теорема доказана.
Метод нахождения оценок, описанный в теореме 1, носит название метода моментов. Этот метод дает состоятельные оценки, но часто их эффективность и асимптотическая эффективность меньше единицы.
Метод наибольшего правдоподобия. Пусть Xi, ... .... хп— независимая выборка из распределения с плотностью р(х; 0), зависящей от параметра 0. Совместную плотность
№ Q) = p(xl-, 0) ... р(х№; 0), рассматриваемую как функцию параметра 0, называют функцией правдоподобия. Оценкой наибольшего правдоподобия называется оценка 0 — 0 (xiх^, которая обращает в максимум функцию правдоподобия:
L (х; 0) —тах£(х; 0).и
Если функция правдоподобия £(х; 0) дифференцируема по 0, то оценку наибольшего правдоподобия 0 можно найти, решив относительно 0 уравнение правдоподобия ■^ ™=0.(29>
Установим некоторые свойства оценок наибольшего правдоподобия. Будем предполагать, что выполнены следующие условия:
Пусть параметр 0 изменяется в интервале 01 < < 0 < 62 и истинное значение параметра 0О лежит внутри этого интервала. Предположим, что в- этом индр д2р 93р тервале существуют производные -^-,.
Интеграл ^ р (х; 0)</х можно два раза дифференцировать под знаком интеграла, так что
J о0 ’ J /Чг
Л (6э) = $ (^^У Р (х; 0) dx |e=Qo > о, 15-1 <Н(х\ и М9Н (£) = ^ Н (х) р (х; 0) dx ^ М, где М не зависит от 0.
Теорема 6. При выполнении условий 1), 2), 3) уравнение правдоподобия (29) имеет решение 0, которое при п-*оо сходится по вероятности к 0О. Эта оценка наибольшего правдоподобия асимптотически нормальна и асимптотически эффективна.
Доказательство. Уравнение правдоподобия (29) равносильно уравнению
п
8L __ 8 loS L „ V 8 1°Е Р (Х^ 0) л /ОЛА £ de до и <30—
Л=1
Разложимп0 формуле Тейлора в окрест
ности точки 0О:
^=^L+<e-w^L.+
+ ■^^^бН(х), (31)
где |6j^l. Разделив (30) на л и воспользовавшись разложением (31), имеем
^^ = Во + Bi (0 - 0о) + у б . В2 (0 - 0О)2, (32)
где
^ d\ogp (xfc; В) |° п^10-9, *
П 1 У1 ^^Р^к* 6) | * П^*9=9« ’
пв»—^У,нм.к=1
РР
По закону больших чисел Вй—’•МВо = О, Вк—>МВ; = = - Л (е0) (см. (25) из §61), В2-—* МВ2, IMB.I^Zf. Пусть теперь h > 0 и е > 0 фиксированы. Выбираем «о таким, чтобы при всех п^па
p(|So^a2)<7. р{в1>-^-}<|.
Р{|В2|>2М}<|.(33)
Обозначим через S событие, состоящее в том, что од- повременно выполняются неравенства
|ВоКЛ2. В^-21^. \В2\^2М.
В силу (33) Р (S) < б и Р (S) > 1 — е. При 0 = 9j + h уравнение (32) преобретает вид
В» ^ B{h + ^ t>B2tf = 0,(34)
В множестве S
|в0 + 1дВД|<(Л1 + 1)/г2,
и при ^ Сургуту знак леа°й части (31) определяется п „1 д log L
знаком члена н-ВД Так как ——— непрерывно зависит от 6, то в интервале (0d — h, 9о + А) при п^па с вероятностью ^ 1 —е существует корень 0. Таким образом, мы доказали первую часть теоремы. Пере-
пишем равенство
в0 + в> (о - Оо) +-^ (о - е0)2=о
гч 3 log » (хь;гч 3 log » (хь;в следующем виде:
гч 3 log » (хь;
гч 3 log » (хь;
., -w(6-60)V7T№= —., -w(6-60)V7T№= —1
., -w
(6-60)V7T№= —
., -w
(6-60)V7T№= —
<9о>" ы! 59'e 0J
Si __ 1 tn 6 — 9q Jt (Во) 2 ° 2 Л (Во)
Числитель в (35) по центральной предельной теореме асимптотически нормален с параметрами (0, 1), а знаменатель при п->оо сходится по вероятности к 1. Поэтому случайная величина (6 — 60) VA (Оо)« асимптотически нормальна с параметрами (0, 1), что и доказывает теорему.
Задачи
Случайная величина Ц подчиняется биномиальному закону распределения Р (р = 6} = Скрк (1 — р)п~к. Найти несмещенные оценки 4 и о2 математического ожидания а = пр и дисперсии а2 = npq этого распределения, считая параметр р неизвестным.
Случайная величина ^ имеет геометрическое распределение Р {g = ^} = pqk, q = 1 — р, к = В, 1, 2, ... Найти выраженные через g несмещенные оценки а и о2 тех же величин а = пр и o2 = npq, что и в задаче 1.
Случайная величина ^ имеет распределение Пуассона Р {£=&}= ик
= П (а; к) = -^ е~а. Найти несмещенную оценку фт (g) вероятности П (та; 6) = е~та в законе Пуассона со значением параметра та, где m = 2, 3 ...
Пусть Xi, Хг, ..., хп— независимая выборка из семейства распределений tF, Найти достаточные статистики в случае, когда #* есть: а) семейство пуассоновских распределений Рп = "1де~а’ п = 0, 1, 2, ...; б) семейство показательных распределений с плотностью Ле-^, х ^ В; в) семейство равномерных распределений с плотностью
. . (—, если 6<х<с,
V В в остальных случаях.
По независимой выборке х«, ..., хл из нормального распре» деления с параметрами (а, 1) построена несмещенная оценка а = xt.
п
Найти несмещенную оценку d = М (xi ] х), где х = — ^ х; — доста- z=i
точная статистика.
Пусть Xi, .... хл— независимая выборка из равномерного в (0, 0) распределения. Найтн оценку 0 наибольшего правдоподобия параметра 0.
Глава 16. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
§ 63. Определение доверительных интервалов
ПустьПусть*1Х„*1Х„(1)(1)
Пусть
Пусть
*1Х„
*1Х„
(1)
(1)
— выборка (далее мы всегда будем предполагать, что она независимая) из некоторого распределения с плотностью р(х;9) = р(хь ..., х„;9), зависящей от параметра 0, который может изменяться в интервале 90 <. <. 9 < 9ь Пусть t/(xiх„)—некоторая статистика (т. е. функция от выборки) и FU> 9) = Р {л 4 х)— функция распределения случайной величины т) = = у(хь ..., Хп), когда выборка (1) имеет распределение с плотностью р(хь .. .,х„;9). Предположим, что F(x; 9) есть убывающая функция от параметра 9. Обозначим xY(9) квантиль распределения F^x;9}, т. е. корень уравнения
F (х; 9) = 1 — у.
В этом случае квантиль xY(9) есть возрастающая функция от 9. Зададимся малым числом а > 0, например, а = 0,05 или а = 0,01. Пусть а = ai + аг- При каждом 9 неравенства
Х1-аг(9) ^*) ^^«.(е)Х1-аг(9) ^*) ^^«.(е)(2)(2)
Х1-аг(9) ^*) ^^«.(е)
Х1-аг(9) ^*) ^^«.(е)
(2)
(2)
выполняются с вероятностью 1 — а, близкой к единице. Обозначим функцию, обратную к xY(9), т. е. решение уравнения
черезчерезУ = ху (9),9 = х-1('/).
через
через
Тогда неравенства (2) можно записать иначе:
Таким образом, неравенства (3) при любом 6 выполняются с вероятностью 1—а. Обозначим x~l(ri) = 9 (р), ^JtD-efrO и запишем (3) в следующем виде:
р0{9(п)С9сё(п)} = 1-«-(4)
Интервал 001)^9^ 9 (rj) называется доверительным интервалом для параметра 9, а вероятность 1—а — доверительной вероятностью. Следует различать смысл неравенств (2) и (3). В неравенстве (2) при любом 9 случайная величина р попадает в указанный интервал с вероятностью 1 — а. В неравенстве (3) параметр 9 неслучайный, а концы интервала случайны, поэтому правильнее будет говорить, что при любом 9 доверительный интервал (со случайными концами) покрывает параметр 9 с доверительной вероятностью 1—а. Доверительный интервал (4), кроме доверительной вероятности 1—а, имеет еще одну характеристику — среднюю длину М[9(г]) — 9(т])]. Мы должны стараться среди всех доверительных интервалов с доверительной вероятностью 1 — а выбрать тот, который имеет наименьшую длину. Если статистика р — у(хь ..., х„) уже выбрана, то мы можем варьировать разложение а на сумму «1 + «2
В дальнейшем мы встретимся со следующими двумя случаями.
Случай 1. Функция распределения/’(х; 0) имеет вид F(x— 9). В этом случае F(,x— 9) убывает с ростом 9. Легко видеть, что при этом ху (9) = 9 + ху (0) и х~ 1 (У)—У~~\(0), поэтому доверительный интервал (3) имеет вид
П-^ОХЭ^п-х^ДО).(5)
Случай 2. Параметр 9 положителен, и 7Дх;9) = = ^^-1-^, 7?(0) = 0. В этом случае ^ (-^-) при х>0 убывает с ростом 9, и ху (9) = 0ху (1), ху 1 (у) — ”^" ■ Доверительный интервал (3) в этом случае имеет вид
11
■*аД*)х1-аД1)
§ 64. Доверительные интервалы для параметров нормального распределения
Пусть независимая выборка (1) взята из нормального распределения с параметрами (а, о).
а) Доверительный интервал для а при известном о. Возьмем за статистику т] среднее арифметическое х. Это разумно, так как х есть достаточная статистика относительно а и является эффективной оценкой а. Как известно, х имеет нормальное распределение с параметрами (а, "^г--^- Обозначим, как и раньше, через uY квантиль нормального распределения, т. е.
1 — Ф(му) = у.
Пусть а = ai + а2- Так как Ы1-у = —ыу, то неравенства
а —ы -^=-<х<а + ы(6)
° V"л/м
выполняются с вероятностью 1—а. Разрешая неравенства (6) относительно а, имеем доверительный интервал для а
х — ип —1= = а<аа<.а — х-\-ип —;=•,°* V» ~°2 лГп
являющийся частным случаем (5). Доверительная вероятность (7) равна 1—а, а его длинат= .
X «2«I/ ^ п
Эта длина будет наименьшей, если взять a1 = a2 = a/2. Пусть, например, a2>ai; тогда ы01>Ыа2. Пусть А>0 таково, что а2 — А > ai 4- А; тогда ы01 > ы^+д > Ыа,-д >
> ы02. Из неравенств'
А-1-ф(“.,)-(1-»(“..-»))-
«а2-Д1 Г-у/2л J“а2Д = 1-ф(“01-д)-«а2-Д1 Г-у/2л J“а2Д = 1-ф(“01-д)-х’х’т=е 2лт=е 2л“а,-А2(“а,-А * О'“а,-А2(“а,-А * О'1 г«а,+ А1 г«а,+ А«01„«01„1■-^=гв-у2л1■-^=гв-у2лНа, + А2(“a.-"a1+A)На, + А2(“a.-"a1+A)
«а2-Д
1 Г
-у/2л J
“а2
Д = 1-ф(“01-д)-
«а2-Д
1 Г
-у/2л J
“а2
Д = 1-ф(“01-д)-
х’
х’
т=е 2л
т=е 2л
“а,-А
2(“а,-А * О'
“а,-А
2(“а,-А * О'
1 г
«а,+ А
1 г
«а,+ А
«01„
«01„
1■
-^=гв
-у2л
1■
-^=гв
-у2л
На, + А
2(“a.-"a1+A)
На, + А
2(“a.-"a1+A)
имеем
22
"аг-А "oi+A
ыа,-д — и0!<А ^е <AV2n е 2 <иа>—м0,+д или
Ua2-A 4” Ыа, + Д < Ыа, 4~ Ua»
т. е. при oti N= «2 доверительный интервал не имеет наименьшей длины.
Доверительный интервал для а при неизвестном о. Прежде всего докажем важное свойство выборочного среднего
и дисперсии
п
s2 = -^t2>‘-^i=l
для выборки (1) из нормального распределения.
Теорема 1. Статистики х и s2 для выборки (1) из нормального распределения независимы. Случайная величина s2(n—1)/о2 имеет ^-распределение с (п—1) й степенью свободы.
Доказательство. Случайные величины х' = х. — а
— независимы и имеют нормальное распределе-
п
ние с параметрами (0, 1). Обозначим х' = — J1 Хр s'* = i=i
= п 2. р ^ (х, — х')2. Тогда х = a 4- ox', s1 = o2s,z. Дока
жем, что х? и s' независимы и что s' (п — 1) имеет Х2-распределение с (п — 1)-й степенью свободы. Случайный вектор (х,х') имеет сферическое нормальное
распределение с плотностью
Пусть у — Сх' — ортогональное преобразование, заданное соотношениями
у.^^/п х'= -—=■ +(9)
У к " S ckiXi'к — 2, ..., и.
i = l
Всегда можно подобрать коэффициенты cki так, чтобы равенства (9) задавали ортогональное преобразование. Тогда ух, у^, ..., уп также будут иметь сферическое нормальное распределение с плотностью (8). Так как пп
у, = V«" ^ н S ^/ = S У\ (из-за ортогональности преобразования С), то
(и — 1) s'2 = X (X — х'^ = X ^f — и^2 =
= £ у]-у\= S Уьi-l1=2
поэтому (/г—I)/2 имеет распределение %2 с (и — 1)-й степенью свободы. Теорема доказана.
Следствием только что доказанной теоремы является Теорема 2. Пусть (1) — выборка из нормального распределения. Статистика
x^S^^E.,(Ю)
называемая отношением Стьюдента, имеет распределение Стьюдента с ^п — 1)-й степенью свободы.
Доказательство. л/п имеет нормальное распределение с параметрами (0, 1), a sjo не зависит от х и равно kJ^^-x!^ - ^- гДе X«-i имеет /^распределение с (п — 1)-й степенью свободы. Поэтому отношение (10) имеет распределение Стьюдента с (я —1)-й степенью свободы. Теорема доказана.
Для построения доверительного интервала для а при неизвестном о воспользуемся отношением Стьюдента (10). Пусть £„(/) —функция распределения Стьюдента
с п степенями свободы. Обозначим /Y(n) квантиль распределения SnW, т. е. корень уравнения
S„(/)=l-Y-
Так как распределение Стьюдента симметрично, то <i_Y(n) =—Мл) и при построении доверительного интервала надо брать ai = а2 = а/2. Неравенство
?=-^/2 (о — 1)< х — а < -4=- tan {п — 1)
-у»
выполняется с вероятностью 1—а. Это дает нам доверительный интервал
Xfallen — 1)<а<хЧ—^=-/а/2(и — 1).
-у»л/п
Доверительный интервал для о при известном а. Статистика
является достаточной для параметра о и имеет ^-распределение с п степенями свободы. Обозначим через Кп^ функцию распределения q/o2 и через &Y(n) квантиль KnW, т. е. корень уравнения
Кп W = 1 — у.
Пусть а = ai + а2. Тогда неравенства
а (и) ^~тW
1 — di ' 7' 7
выполняются с вероятностью 1 — а. Это дает доверительный интервал
л1-тА-т С о < А/ г т .(П)
V *a2<«)V *i-ai («)
Можно доказать, что этот интервал будет иметь наименьшую длину среди всех доверительных интервалов этого вида с доверительной вероятностью 1 —а, если пц и а2 выбраны так, что плотность кп (х) = К'п (х) удовлетворяет равенству
^(^-a.H^^C^W)-
Доверительный интервал для о при неизвестном а. В этом случае за основную статистику т] возьмем эмпй' рнческую дисперсию. По теореме 1 —L имеет Х2-распределенне с (п—1)-й степенью свободы. Эю приводит к доверительному интервалу, аналогичному (11):
V
n — 1--/п — 1
с доверительной вероятностью 1 —(«1 + аг).
Доверительные интервалы
для вероятности успеха в схеме Бернулли
Той же самой процедуры построения доверительных интервалов можно придерживаться и в том случае, когда основное распределение дискретно. Продемонстрируем это на схеме Бернулли. Пусть р—число успехов при п испытаниях в схеме Бернулли. Функция распределения
F (т; р) = Р {р ^ т) = ^ С,У(1 — pf"k,
рассматриваемая в целых точках т = 0, 1, 2п, убывает с ростом р, так как
^F^ = tntn
= £ С^. v-1 (1 - рГ к - £ (« - к) рк (1 - р) n-k-' = fc=Uft =9
= — nCn-ip (1—p) <0.
Обозначим mv(p) такое наименьшее целое число, для которого
Y-F^^p); р)^\-х.
Тогда ту(р)—1 есть такое наибольшее число, что F^(p') — 1; р) < у.
Пусть а: + аг = а, Тогда с вероятностью ^1 — а mi-а, (р)^И(р).
Обозначим решение уравнения у = mY(p) относительно р через т”1 (у). Тогда неравенства
Р = та;1(рКК<„(Р)=Р,(12)
задающие доверительный интервал, выполняются с вероятностью ^1 — а. Число 1—а называется в этом случае коэффициентом доверия. Для нахождения границ доверительных интервалов (12) можно пользоваться таблицами биномиального распределения, но такие таблицы громоздки и не очень распространены. Поэтому часто используют предельную теорему Муавра — Лапласа об асимптотической нормальности
Ц — пр
4 пр (1 — р)
для построения приближенных доверительных интервалов. Неравенство |т]|^ иац при больших п выполняется с вероятностью «1 — а. Это дает
(13)(13)ц „. IР (1 - р) / „ / I* । „. /р (1 - р)
(13)
(13)
—-М«/2Д/ ^P^-^Ua!^
однако неравенства (18) не задают доверительного интервала, так как в них имеется справа и слева зависимость от р. Поскольку -^-—* р, то из (13) получают доверительный интервал
4^^ -У <р<^+"« Vs(--y •
Другой подход к построению приближенного доверительного интервала для р основан на следующей теореме.
Теорема 3. Пусть последовательность ^п такова, что Mg„ = a, 0^ = 0^-* 0 и распределение £п асимптотически нормально с параметрами (а,ап). Предположим, что функция g(x) ограничена, |g(x)|^A', и имеет непрерывные производные g'(x), g"(x) в окрестности точки х = a, g'(a}^(). Тогда случайная величина r],i —- "g^n) асимптотически нормальна с параметрами Vg^, l^'(a)l^)-
Доказательство. Пусть при |х—а|<Геимеет место разложение Тейлора
g W = g (а) + g' (а) (х — а) + г (х) (х — а)2,(14)
где | г (х) | ^ ^l при некотором Kv < сю. Обозначим Ап = = {<в: | £„(ю) — а | < ^У4}- Для и^и0 таких, что о^е4, мы можем, пользуясь разложением (14), написать
= I,, (г <«) + в' to (I. - а) + г (у о, - «у) + ^„в (У ■ Тогда т)л = ^ + бп, где
< = g (а) + g' (а) (£„ — а), ^п = -g№ hn ” S' (а) (к ~ аУдп +
+ /a/(Q(^-«)2 + ^(Q^- (15)
Так как правая часть равенства
П^ ~g (а) _ g'to) Х„-а
I g' (а) I о„ — I g' (а) | ' о„ имеет в пределе нормальное распределение с параметрами (0, 1), то т]' асимптотически нормально с параметрами (р (а), | g' (а) | а„). Докажем, что—~~*0. Для этого обратимся к (15) и докажем соответствующую сходимость по вероятности к нулю для каждого слагаемого. По неравенству Чебышева (32) из § 17
По неравенству Чебышева (31) из § 17 для любого е
Piistol/I_>-c,}<-^<^V^-o.
Аналогично доказывается Р {] g (£п) 11д > eanJ-^-O. Далее по неравенству Чебышева
|g' (a)|Ml^—a)|Z—
Р {I g'^ | • |g„-a | I-An > eoj ^^
и по неравенству Коши — Буняковского
м 11. - “ I 'л. < Vм & ~ “У м '^ < ”. ■ "’.'•■
поэтому
Р {I 8' («) I • 11. - «| h„ > «”„} <1?1^1 - 0.
И, наконец,
р {| v (Q (^ - ^ । >oV- - о.
Итак, мы доказали, что—>-0. Так как в сумме
справа
•Пп - g (“) _ 4n-g(a) ft,, i g' (а) I Сп ~ I g' (а) | o,t + | a' (") I а„ распределение первого слагаемого сходится к нормальному с параметрами (0,1), а второе по вероятности — g fa) стремится к нулю, то распределение у-ттт;— сходится к нормальному с параметрами (0, 1). Теорема доказана.
Применяя эту теорему к случайной величине
П„ = 2 arcsin д/-£- ,
получаем асимптотическую нормальность т)„ с пара- Го ■А»
метрами I 2 arcsin ур , а/ — I, так как случайная величина \inln асимптотически нормальна с параметрами (р, /\/'^~^~^")’ а Функция 2 arcsin ух удовлетворяет условиям теоремы 3 и
(2arcsin х У = —1 1-
Выбирая квантиль нормального распределения иа/2, мы можем построить доверительный интервал для р, исходя из того, что неравенство
2 arcsin Л 2 arcsin У,о С—=•
V п\ п
выполняется при больших п приблизительно с вероятностью 1 — а. Отсюда получаем неравенства
,/“п/2
2arcsin А/ — — —=-<2arcsin Vp
V п
<2arcsin а/— +~
V п
и приближенный доверительный интервал
Зааачи
По независимым выборкам xv ..., xrt| и ухуП1 из двух нормальных распределений с параметрами (at, at) и (аг, аг) соответственно построить доверительный интервал с доверительной вероятностью 1 — а для разности at — аг, если at и Сг известны.
Построить доверительный интервал для той же разности at — аг, что и в задаче 1, если О1 = Сг = а, где а неизвестно.
С помощью теоремы 3 для параметра а пуассоновского закона построить приближенный доверительный интервал с доверительной вероятностью 1 — а по независимой выборке xt, хг, .., хп.
По независимой выборке XtХп из равномерного распределения 6(0.6) построить доверительный интервал для параметра 0 с доверительной вероятностью 1 — а.
ОТВЕТЫ к ЗАДАЧАМ
Глава 1
^3^3
-~-ti-= 0,017650 .... 7. а) 1/3; б) 1/5. 8. 0,025.
9. 1/3. 10. У
10-9-8-711. а) —= 0,504;10-9-8-711. а) —= 0,504;Cf 10-9-8Cf 10-9-8С^0 + 4-10-9С^0 + 4-10-910410104100,432;0,432;12. pvлг‘12. pvлг‘104(а — 2г)2104(а — 2г)2= 0,063; г) — = 0,001.= 0,063; г) — = 0,001.4г «г14г «г14г2 а2 *4г2 а2 *Рз = 0,Рз = 0,
10-9-8-7
11. а) —= 0,504;
10-9-8-7
11. а) —= 0,504;
Cf 10-9-8
Cf 10-9-8
С^0 + 4-10-9
С^0 + 4-10-9
104
10
104
10
0,432;
0,432;
12. pvлг‘
12. pvлг‘
104
(а — 2г)2
104
(а — 2г)2
= 0,063; г) — = 0,001.
= 0,063; г) — = 0,001.
4г «г1
4г «г1
4г2 а2 *
4г2 а2 *
Рз = 0,
Рз = 0,
" а2 -
13. у (1 - 2г/а)2. 14. 1 - л/4.
Глава 2
1 07 2 MW~M^ Ш—1) д «= 4г 4г2
' 'Л'(М-1)(М-2) 1 (а+ 6)л- * а а1*
1/л. 7. 2/п. 8. а/(а + 6 — 2г).
а) 1-393 + 2?4; б) 1-4?3 + Зд4. 10. 1/3.
6л (1 - л/4)4 - 4-5 = 0,000039.
Глава 3
Р (» = £) = 1/28 при £ = 0,1,11,12, Р {£ = £} = 2/28 при £ = 2,3,9,10; Р {( = £}= 3/28 при £ = 4,5, 7, 8;
р {| = 6} = 4/28.
р (1) = 0} = р {i) = ± УТ/г} = 1/3.
a) Mg = np, D^ = npq-,
М-п х ,„ jV + 1дГ=Т: в) м§ = -2-:М-п х ,„ jV + 1дГ=Т: в) м§ = -2-:
М-п х ,„ jV + 1
дГ=Т: в) м§ = -2-:
М-п х ,„ jV + 1
дГ=Т: в) м§ = -2-:
Mg = n ^-, Щ = п — Dg = 2^.
512
Ет 6- M^ = "Pz- D^ = rapz(l-pJ, Cov(gp gy) =
k-Q
= — пр-рр НЧ- 8. Vo.l =0,316227 ... 9. 49/4.
Р {450 < ц < 550} > 0,9.
Глава 4
/ = 71. 2.16 587. 3.1340. 4. 0,00029.
5. (1 — 1/12)30 = 0,07351; е-м/12:= 0,08208.
Глава 5
L Pi,i+v = —~ •Pi, i-i= s"! pzy = 0 для остальных .,/;
5 +10/ — 2i2,„xtG-1)
Pit ^ —25‘ pi> <-2 ®25 ’P‘- <+2 ^ =
= —^g^, остальные p^ (2) = 0; p^ = CiJ^, j = 0, 1,2, 3, 4, 5.
Переходные вероятности plibli> {,{,i,= PtM„ bl)l = 0,5, остальные pt 1t j j j =0, все предельные вероятности pZiZzi3=l/6.
*: 3' 121
poo (0 = Рзз (0 = *, Рю (0=7l^~pq’ P^ =
= q1 X-pq"* P13^ = P "1 -p~ ’P23 w = pt \-"* при нечетных <; pu (<) = p22 (0 = 0, Pi2<0 = P-(P7) 2 . P21 (0 = = q4pq^ 2 ’> ПРИ четных i: pp (0 = P21 (0 = 0, Pn(0 = P22(0 = ,#/2 • p2 • pqp2
— (P7) • P201 — pq * Р2З 1 — pq> P101—pq • ^131—pq>
Poo = P33 = *> остальные ptj = 0.
РаВ, во (*) = 7, Рай, fli (0 = P, Pap, v6 (0=0 при Р=^у! ПРИ t > 1 Pap, 00 (0 = 72> Pap, 01 (0 = Pap, 10 (0 = PA, Pap, и (0 = P •
Нет.
Глава 6
при
z < 0,
Г
0
1. ^(^) = l
z + z In a6 — z In z ab
при
0<z<a&,
1
при
ab < z;
. .( ~-1п — при 0<z<a6,
P£(z) = < об Z
АОв остальных случаях.
Г (х) = (2/х — х)//2, 0 < х < I;
р(х) = 2(1 — х)/12, 0<х</.
a) Fx^xV ... -Рп^хУ, б) I — Ц (1 — F{ (х)).
1=1
р^ ^-(Г^^Г ^ to (1 - ^ to)""6 Р М. PW»}X’ ^ ^ (*—1)! Ц-к-Х^ Цг—iy ^ to kF (y)-F Wy~^ X ХкХ — КуУ^р^р^уУ x < y; p- г lx, y)=0 при x > y.
”\кр\ч
g—k^x g—X^x
При XV=#X,: P^,kx) = XvX2д/!.^. *>0; "РИ Xx = X2 = X; p$1+t, (*) = Хгхе~^х, x > 0.
PnW = ^\ye~KX' X>0-9. F1](x) = x> 0<x<l.
Глава 7
1. Ms2,t+1 = 0, Mg2n = S^La11». 2. e94\
2 "n!
\nm
3 У C2„V-2fte-a2ft.
"2*й!
na
D*)„=n(^ + aD-n^ /=1i=l
Mqn= 1/n.
M^ = Г/^+.£1 ПрИ a + p > 0. ;/r (a)
M§ = Mq = 0, D; = Dq = Rz[^.
Глава 8
—, 9?"(s)—, 9?"(s),s"-l(N-\)sN - Nsn^{
—, 9?"(s)
—, 9?"(s)
; lim <p (s)=l,$t 1; lim <p (s)=l,$t 1*• 4>to=-y(7—i)- Ф ($) =NV-xy™ kN—1 ^JJl-^ls^—2NkN—^s”21±NJ^^^.
; lim <p (s)=l,$t 1
; lim <p (s)=l,$t 1
N (s - I)5
q>' (1) = (im <p' (s) =—, <p (1) = hm <p" (s) =
s 11s t 14
(1—ф (s))/(l—s). 4. ф, (S) = 1—Л» (1—s^g;^—U (1—s)+1] при А=#Х; Ф( (s) = 1 — (1 — s)/(^ 0 — s)+ 1) при А = 1; q = l при А С 1; q = X — 2А (А — Х)/В при А> X.
Глава 9
1. (1 + /2)-1. 2. 1 [а + »г^+ а - «о-Ч
Глава 10
1. 2Ф0 (V1F) — 0,99947. 3. 0 < ₽ < 1, 2а > ₽ - 1.
■ * - \ е 2 du. 5. 0,99952.
V2n J
Глава 11
^[-^У*--1}2- WM^^-t^
3. РЩ|<1, |Г||<1} = 0,46594, PU2 + n2<l}= 0,39347.
Глава 12
Справедливо.
Глава 13
N
Cov (х, у)^^ f У Qty - X?, р (х, у) =
/ПуП2
" Л/ (N — «О (N — п2) ■ N
V У (Xi - ху. 3. -^1 а8.
мх(б) „ + 1 '& (n + I)2 (п + 2) “ '
Глава 14
Если min х, < 1, то принимать Нл если max х, > !к 1<<<п ‘° Ki<n ‘
то принимать Яу; в остальных случаях с вероятностью 1/2 приии* мать Яо. В этом случае max (а, Р) = 2~л-1,
Критическое множество оптимального критерия; Xi + Хг +
... Ч-ХпСХоХ^д, где р \ хп~1е~х4х= 1 — а. Мощность: *1-а
Ко
17^(М-р^О j xn-Vxdx.о
1 Л‘
Критическое множество: х — у^ и^о, где х =— ^ х^ у = >—1
. Л122
-°1°2
= — > »„ а2 =1, и„ — а-квантнль нормального распре
деления.
Z
(V; 100)2
jgg 5,86 < Хо,о5 (9) = 16>9> поэтому данные таблицы не противоречат гипотезе случайности. ■
Глава 15
l.d-11, д2 = -У-^^-. 2. й = п1и=ор 68 = п1к_ц.
Ф„ (I) = (1 - т)6. 4. а), б) х. + х + ... + х ; в) шах х..
5. й = х. 6. 6= шах х,. кг<л ‘
Глава 16 /at а|/а2о?2
Ьх-й-иа12Л/пЛп2Са^-а^Х-5+и^Л/пх^п2- гДе “а/2 — а/2-квантнль нормального распределения, х = rtirt2
г-iг=1
V
sfl)+sv(n2—1)
<*-У4-<а/2(«1 + "2-2)<*-У4-<а/2(«1 + "2-2)л Л1-(»1 - 1) +$2-(«2-Т)л Л1-(»1 - 1) +$2-(«2-Т)где х, 8где х, 8
<*-У4-<а/2(«1 + "2-2)
<*-У4-<а/2(«1 + "2-2)
л Л1-(»1 - 1) +$2-(«2-Т)
л Л1-(»1 - 1) +$2-(«2-Т)
где х, 8
где х, 8
«IП1
те же, что в задаче 1, s2 =^ (х, - х)2, s2 = ^ £ (у-yf #
4=14-1
/^ (п, + п2 — 2) — а/2-квантиль распределения Стьюдента с ^-f. + #ц — 2 степенями свободы.
3.. где x^Xt+.-.+x^/i^
« ^ — а/2-квантиль нормального распределения.
4.
max x, 4<i<n 1
Vi— «
<e<
max x,. i<i<n 1
ТАБЛИЦЫ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
Значения функции Фо (х) = ""Jk^ ^ е~“ 2 ^И
Сотые доли
X
0
1
2
4
5
6
7
8
9
0,0
0,0000
0,00-10
0,0080
0,0120
0,0160
0,0290
0,0239
0,0279
0,0319
0,0359
0,1
398
438
478
517
557
596
635
675
714
753
0,2
793
832
871
910
948
987
' 0,1026
0,1064
0,1103
0,1141
0,3
0,1179
0,1217
0,1255
0,1293
0,1331
0,1368
406
443
480
517
0,4
554
591
628
664
700
736
772
808
844
879
0,5
915
950
985
0,2019
0,2054
0,2088
0,2123
0,2157
0,2190
0,2224
0,6
0,2257
0,2291
0,2324
357
389
422
454
486
517
549
0,7
580
611
642
673
703
734
764
794
823
852
0,8
881
910
939
967
995
0,3023
0,3051
0,3078
0,3106
0,3133
0,9
0,3159
0,3186
0,3212
0,3238
0,3264
289
315
340
365
389
1,0
413
437
461
485
508
581
554
577
599
621
1,1
643
665
686
708
729
749
770
790
810
830
1,2
849
869
888
907
925
944
962
980
997
0,4015
1,3
0,4032
0,4049
0,4066
0,4082
0,4099
0,4115
0,4131
0,4147
0,4162
177
1,4
192
207
222
236
251
265
279
292
306
319
1,5
332
345
357
370
382
394
406
418
429
441
1,6
452
463
474
484
495
505
515
525
535
545
1,7
554
564
573
582
591
599
608
616
625
633
ТАБЛИЦЫ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
X
Сотые доли
0
1
2 1
3
5
6
7
8
9
1,8
641
649
656
664
671
678
686
693
699
706
1,9
713
719
726
732
738
744
750
756
761
767
2,0
772
778
783
788
793
798
803
808
812
817
2,1
821
826
830
834
838
842
846
850
854
857
2,2
861
864
868
871
875
878
881
884
887
890
2,3
893
896
898
901
904
906
909
911
913
916
2,4
918
920
922
925
927
929
931
932
934
936
2,5
938
940
941
943
945
946
948
949
951
952
2,6
S53
955
956
957
959
960
961
962
963
964
2,7
965
966
967
968
969
970
971
972
973
974
2,8
974
975
976
977
977
978
979
979
980
981
2,9
981
982
982
983
984
984
985
985
985
986
3,0
987
987
987
988
988
989
989
989
990
990
Продолжение
ТАБЛИЦЫ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
а
0,001
0,005
0,010
0,015
0,020
0,025
0,030
0,035
0,040
0,045
0,050
«а
3,0902
2,5758
2,3263
2,1701
2,0537
1,9600
1,8808
1,8119
1,7507
1,6954
1,6449
оо л?21 С —Г Квантили нормального распределения, определяемые равенством и = ,— \ в dxоо л?21 С —Г Квантили нормального распределения, определяемые равенством и = ,— \ в dx
оо л?2
1 С —Г Квантили нормального распределения, определяемые равенством и = ,— \ в dx
оо л?2
1 С —Г Квантили нормального распределения, определяемые равенством и = ,— \ в dx
ЛИТЕРАТУРА
Боровков А. А. Теория вероятностей. — М.: Наука, 1976.
Г и х м а н И. И., С к о р о х о д А. В., Я Д р е н к о М. Н. Теория вероятностей и математическая статистика. — Киев: Вища школа, 1979.'
Гнеденко Б. В. Курс теории вероятностей. — М.: Наука, 1969.
Колмогоров А. Н. Основные понятия теории вероятностей. — М.: Наука, 1974..
Крамер Г. Математические методы статистики. — М.: Мир, 1975.
Леман Э. Проверка статистических гипотез. — М.: Наука, 1964.
Севастьянов Б. А., Чистяков В. П., Зубков А. М Сборник задач по теории вероятностей.—М.: Наука, 1980.
Феллер В. Введение в теорию вероятностей и ее приложения. — М.: Мир, т. 1, 1964; т. 2, 1967.
Ширяев А. Н. Вероятность. — М.: Наука, 1980.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Алгебра событий 16
Байеса формула 29
Борелевская а-алгебра 86
— функция 90
Борелевское множество 86
Вероятностное пространство 16
— — конечное 19
Вероятность 11, 16
— апостериорная 29
— априорная 29
Выборка без возвращения 21
— с возвращением 22
Гипотеза конкурирующая 196
—простая 195
— сложная 195
— статистическая 195
Двумерное распределение 52
Дисперсия 47
— остаточная 58
Доверительный интервал 235
Достаточная статистика 220
Закон больших чисел 63
— «0 или 1» Колмогорова 177
Индикатор 42
Интеграл Лебега 105
— Лебега—Стилтьеса 106
Интегральная теорема Муав- ра — Лапласа 71
Испытание 35
Квантиль 202
Ковариационная матрица 165
Ковариация 57
Композиция 98
Коэффициент корреляции 57
Критерий Колмогорова 209
— Смирнова 211
— X2- Пирсона 206
Лемма Бореля — Кантелли 175
Локальная теорема Муавра — Лапласа 70
Математическое ожидание 45, 100
Матрица переходных вероятностей 79
Метод моментов 228
— наибольшего правдоподобия 229
Моменты 47
— абсолютные 47
центральные 47
— факториальные 118
— центральные 47
Независимость 30
— алгебр 33
— испытаний 35
— разбиений 33
— случайных величин 54, 96
— событий 30
— о-алгебр 33
Неравенство Йенсена 48
— Колмогорова 182
— Коши — Буняковского 49
— Ляпунова 48
— Рао—Крамера 224
— Чебышева 61
Оптимальный критерий Неймана-Пирсона 199
Отношение правдоподобия 199
Оценка 213
— асимптотически эффективная 227
— несмещенная 214
— состоятельная 215
— эффективная 227
Ошибка второго рода 197
— первого рода 197
Переходные вероятности 79
Плотность 88
Производящая функция 117
Распределение абсолютно непрерывное 88
— биномиальное 38, 65, 119
— гамма 91
— дискретное 88
— логарифмически-нормальное
152
— многомерное 92
— — нормальное 164
— нормальное 91
— — сферическое 168
— показательное 92
— полиномиальное 39
— пуассоновское 119
— равномерное 91
— сингулярное 89
— Стьюдента 170
— хи-квадрат 169
Свертка 98
Случайная величина 41
простая 101
— — целочисленная 117
Событие 12
Среднее значение 45
Стохастическая матрица 79
Схема Бернулли 37
— полиномиальная 38
— Пуассона 66
Сходимость в среднем 181
— по вероятности 178
— почти наверное 177
сг-алгебра 16
— остаточная 176
Теорема Бернулли 63
— Лебега о мажорируемой сходимости 107
— Ляпунова 147
— Муавра— Лапласа 70, 71
— Неймана—Пирсона 199
— о монотонной сходимости 106
— о предельных вероятностях 80
— Пуассона 66
— Хелли 161
— центральная предельная 146
— Чебышева 62
Уравнение регрессии 58
Уровень значимости 197
Усиленный закон больших чисел 182, 183, 185
Условная вероятность 26, 59
Условное математическое ожидание 60, 217
Формула композиции 97, 98
— обращения 136, 158
— полной вероятности 28
Функция распределения 84
многомерная 92
Характеристические функции 129
многомерные 154
Цепь Маркова 77
Частота 10
Элементарное событие 15
Борис Александрович Севастьянов
КУРС ТЕОРИИ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
Редактор В. В. Абгарян
Технический редактор Л. В. Лихачева
Корректор Н. Д. Дорохова
ИВ № 11780
Стачо в набор 02.02.82. Подписано к печати 11.10.82. Формат 84х1О8‘Лг. Бумага тип. № (.Литературная гарнитура. Высокая печать. У слови, печ. л. 13.44. Уч-изд. л. 13,14. Тираж эо ООО экз. Заказ № 75. Цена 60 коп.
Издательство «Наука»
Главная редакция физико-математической литературы 117071, Москва, В-71, Ленинский проспект, J5.
Ленинградская типография №2 головное предприятие ордена Трудового Красного Знамени Ленинградского объединения «Техническая книга» им. Евгении Соколовой Союзполиграфпрома при Государственном Комитете СССР по делам издательств, полиграфии и книжной торговли. 198052, г. Ленинград, Л-52, Измайловский проспект, 29.
5. Образуют ли цепь Маркова значения случайных величин тр = 8'-18/. где j, взяты из задачи 4, если 0 < р < 1?
Б. А. СЕВАСТЬЯНОВ
КУРС ТЕОРИИ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ
Допущено Министерством высшего и среднего специального образования СССР в качестве учебника для студентов вузов, обучающихся по специальностям «Математика» и «Механика»
МОСКВА«НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ литературы
1982
22.17
С 28
УДК 519.2
Севастьянов Б. А. Курс теории вероятностей и математической статистики.— М.: Наука. Главная редакция физико-математической литературы, 1982. — 256 с.
В основу книги положен годовой курс лекций, читавшихся автором в течение ряда лет па отделении математики механико-математического факультета МГУ. Основные понятия и факты теории вероятностей вводятся первоначально для конечной схемы. Математическое ожидание в общем случае определяется так же, как интеграл Лебега, однако у читателя не предполагается знание никаких предварительных сведений об интегрировании по Лебегу.
В книге содержатся следующие разделы: независимые испытания И цепи Маркова, предельные теоремы Муавра —Лапласа и Пуассона, случайные величины, характеристические и производящие функции, закон больших чисел, центральная предельная теорема, основные понятия математической статистики, проверка статистических гипотез, статистические оценки, доверительные интервалы.
12-8212-82© Издательство «Наука», Главная редакция физико-математической литературы, 1982© Издательство «Наука», Главная редакция физико-математической литературы, 1982Для студентов младших курсов университетов и втузов, изучающих теорию вероятностей.
12-82
12-82
© Издательство «Наука», Главная редакция физико-математической литературы, 1982
© Издательство «Наука», Главная редакция физико-математической литературы, 1982
_, 1702060000 — 143
053(02)-82
ОГЛАВЛЕНИЕ
Предисловие7
Глава1. Вероятностное пространство 9
Предмет теории вероятностей9
События12
Вероятностное пространство16
Конечное вероятностное пространство. Классическое определение вероятности 19
Геометрические вероятности 23
Задачи24
Глава 2. Условные вероятности. Независимость . ... 26
Условные вероятности26
Формула полной вероятности28
Формулы Байеса29
Независимость событий30
Независимость разбиений,алгебр и а-алгебр . ... 33
Независимые испытания 35
Задачи39
Глава 3. Случайные величины (конечная схема) . ... 41
Случайные величины. Индикаторы41
Математическое ожидание45
Многомерные законы распределения50
Независимость случайных величин53
Евклидово пространство случайных величин . ... 56
Условные математические ожидания59
Неравенство Чебышева. Закон больших чисел . ... 61
Задачи64
Глава 4. Предельные теоремы в схеме Бернулли , ... 65
Биномиальное распределение65
Теорема Пуассона66
Локальная предельная теорема Муавра — Лапласа . . 70
Интегральная предельная теорема Муавра— Лапласа 71
Применения предельных теорем . .73
Задачи 76
Глава 5. Цепи Маркова 77
Марковская зависимость испытаний77
Переходные вероятности78
Теорема о предельных вероятностях80
Задачи83
Глава 6. Случайные величины (общийслучай) 84
Случайные величины и их распределения84
Многомерные распределения92
Независимость случайных величин96
Задачи98
Глава 7. Математическое ожидание100
Определение математического ожидания100
Формулы для вычисления математического ожидания 108
Задачи115
Глава 8. Производящие функции 117
Целочисленные случайныевеличины и их производящие функции117
Факториальные моменты118
Мультипликативное свойство120
Теорема непрерывности123
Ветвящиеся процессы125
Задачи127
Глава 9. Характеристические функции 129
Определение и простейшие свойства характеристических функций129
Формулы обращения для характеристических функций 136
Теорема о непрерывном соответствии между множе
ством характеристических функций и множеством
функций распределения 140
Задачи145
Глава 10. Центральная предельнаятеорема 146
Центральная предельная теорема для одинаково распределенных независимыхслагаемых146
Теорема Ляпунова147
Применения центральной предельной теоремы . . . . 150
Задачи‘153
Глава 11. Многомерные характеристические функции . . .154
Определение и простейшие свойства154
Формула обращения158
Предельные теоремы для характеристических функций 159
Многомерное нормальное распределение и связанные с ним распределения164
Задачи173
Глава 12. Усиленный закон больших чисел 174
Лемма Бореля — Кантелли. Закон «0 или 1» Колмогорова 174
Различные виды сходимости случайных величин . . . 177
Усиленный закон больших чисел181
Задачи188
Глава 13. Статистические данные 189
Основные задачи математической статистики . . . . 189
Выборочный метод190
Задачи194
Глава 14. Статистические критерии 195
Статистические гипотезы195
Уровень значимости и мощность критерия197
Оптимальный критерий Неймана — Пирсона . . . . 199
Оптимальные критерии для проверки гипотез о параметрах нормального и биномиальногораспределений 201
Критерии для проверки сложныхгипотез234
Непараметрические критерии206
Задачи211
Глава 15. Оценки параметров 213
Статистические оценки и их свойства213
Условные законы распределения216
Достаточные статистики220
Эффективность оценок223
Методы нахождения оценок228
Задачи232
Глава 16. Доверительные интервалы 234
Определение доверительных интервалов234
Доверительные интервалы для параметров нормального распределения 236
Доверительные интервалы для вероятности успеха в схеме Бернулли.,,. 240
Задачи244
Ответы к задачам .. . . 245
Таблицы нормального распределения251
Литература253
Предметный указатель254
ПРЕДИСЛОВИЕ
Первоначальный курс теории вероятностей и математической статистики должен удовлетворять двум условиям. С одной стороны, он должен помогать развитию теоретико-вероятностной интуиции, т. е. умения строить математические модели, правильно отражающие те или иные стороны реальных случайных явлений. При этом надо иметь в виду, что теория вероятностей и математическая статистика тесно связаны с различными приложениями, с некоторыми из которых выпускникам математических отделений университетов с большой вероятностью придется столкнуться в своей работе. С другой стороны, теория вероятностей должна развиваться как математическая наука, построенная на точных определениях и аксиомах. Однако многие существующие руководства по теории вероятностей придерживаются одной из двух крайностей. В одних курсах, нацеленных па приложения, нет четкого разделения реальных случайных явлений и их математических моделей. В частности, важное в теории вероятностей понятие независимости молчаливо смешивается с причинной независимостью реальных явлений. Другие курсы посвящены, главным образом, строгому изложению математических основ теории вероятностей, поэтому они либо очень велики по объему, либо в значительной степени опираются на такие понятия функционального анализа, как мера и интеграл Лебега, и поэтому не могут быть использованы при обучении студентов младших курсов.
Содержание данного учебника соответствует годовому курсу теории вероятностей и математической статистики, который автор читал в течение ряда лет на механико-математическом факультете Московского государственного университета студентам-математикам 4-го и 5-го семестров. Для преодоления указанны* выше трудностей автор придерживается некоторого компромиссного направления. Первоначально многие
88ПРЕДИСЛОВИЕ
8
8
теоретико-вероятностные понятия введены в простом случае конечного вероятностного пространства. Приведен ряд примеров, в которых указана связь вводимых математических понятий с теми или иными свойствами реальных явлений. Общий случай основан на способе изложения, который связан с введением интеграла Лебега без теории меры. На 4-м семестре, когда студенты еще не знакомы с соответствующими понятиями функционального анализа, аксиоматически вводится понятие вероятностной меры и на ее основе определяется математическое ожидание как интеграл Лебега. Теорема Кара- теодори о продолжении меры формулируется без доказательства. Понятия условного распределения вероятностей и условного математического ожидания даны не в полном объеме, а лишь в простых случаях дискретных и абсолютно непрерывных распределений. В основном автор старался опираться лишь на знание студентами классического математического анализа.
Главы 1—5 связаны в основном с конечными вероятностными пространствами. В этих главах введены основные понятия вероятности, математического ожидания, независимости, случайной величины. Распространение этих понятий на общий случай дано в главах 6—12. Главы 13—16 посвящены некоторым задачам математической статистики. Каждая глава сопровождается небольшим количеством задач. Однако автор предполагает, что читатель использует какой-нибудь задачник (например, Севастьянов Б. А., Чистяков В. П., Зубков А. М. Сборник задач по теории вероятностей.— М.: Наука, 1980).
Москва, май 1981 г.Москва, май 1981 г.Б. А. Севастьянов
Москва, май 1981 г.
Москва, май 1981 г.