Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Глава 1
ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
Взяв практически любую статью по теории вероятностей, мы увидим, что либо она начинается словами: «Пусть (Q,93,P) — вероятностное пространство», либо в одной из первых же фраз написано: «где (Q, 93, Р) — вероятностное пространство». Иногда добавляется: «Q — пространство элементарных исходов, 93 — сг-алгебра (сигма-алгебра) событий, Р — вероятностная мера (или вероятность)». Естественно, у неискушенного читателя пропадает всякое желание читать эту статью дальше. Однако понятие вероятностного пространства является весьма естественным математическим обобщением хорошо известных физических понятий: исход опыта, случайное событие, вероятность события. В настоящей главе мы попытаемся, насколько это возможно, дать читателю, знакомому только с основами высшей математики, разъяснение этого основополагающего для теории вероятностей понятия.
Пространство элементарных исходов
Рассмотрим простейший вариант случайного испытания — подбрасывание монеты. Если отвлечься от чисто гипотетических возможностей — падения монеты на ребро или вообще исчезновения монеты, то возможны только два исхода: выпадение «герба» и выпадение «цифры». Эти два исхода в рамках данного опыта уже нельзя разбить на более мелкие составляющие, т. е. они являются в некотором роде «элементарными». При бросании игральной кости такими неделимыми исходами являются: выпадение одного очка, выпадение двух очков, ..., выпадение шести очков. Значит, мы имеем уже 6 элементарных исходов. Более сложный пример получим, если рассмотрим падение идеальной (т. е. не имеющей размера) частицы на плоскость. Тогда результат испытания представляет собой попадание частицы в определенную точку плоскости и его можно отождествить с двумерным вектором в некоторой системе координат на плоскости.
Аналогично, если проанализировать любое испытание со случайным исходом, можно заметить, что его результат представляет собой один из множества допустимых исходов. Поскольку в математике принято абстрагироваться от несущественных деталей, то всегда можно рассматривать все возможные в данном опыте исходы как некоторое множество Q, которое и носит название пространства элементарных исходов или пространства элементарных событий. Сами элементарные исходы будем обозначать строчной буквой щ, снабжая ее при необходимости индексами.
Пример 1. При подбрасывании монеты пространство элементарных исходов Q состоит всего из 2 исходов: ш\ — выпадение «герба» и Ш2 — выпадение «цифры». □
Пример 2. При бросании игральной кости возможны 6 элементарных исходов: сщ — выпадение одного очка, сид — выпадение 2 очков, . ..,^6 — выпадение 6 очков. □
Пример 3. При подбрасывании двух монет пространство элементарных исходов Q содержит уже 4 исхода. Перечислим их: иц — пара «герб»-«герб», ид — «герб»-«цифра», сщ — «цифра»-«герб», сщ — «цифра»-«цифра». При подбрасывании трех монет возможны 8 элементарных исходов типа «герб»- «цифра»-«герб» и т. д. □
Пример 4. При определении времени жизни элементарной частицы пространство элементарных исходов Q представляет собой полупрямую [0, сю). □
Следует отметить, что в практических исследованиях существует определенный произвол в описании пространства элементарных исходов Q. Так, однократное подбрасывание монеты (пример 1) можно рассматривать как часть более сложного опыта, заключающегося в подбрасывании двух или более монет (пример 3). При определении времени жизни частицы (пример 4) можно также рассматривать типы получившихся после распада частиц и т. д. Очевидно, при решении практических задач разумно выбирать всегда наиболее простой вариант пространства элементарных исходов, необходимый для решения стоящей перед исследователем задачи.
События, действия над ними
Понятие «событие» лингвистически отличается от понятия «элементарное событие» только отсутствием прилагательного «элементарное». Естественно поэтому определить событие так же, как исход испытания, но только не обязательно неделимый.
Пример 5. При бросании игральной кости (см. пример 2) событиями являются: выпадение четного числа очков (это событие происходит тогда и только тогда, когда появляется один из элементарных исходов ид, ищ ид,); выпадение нечетного числа очков (элементарные исходы иц, ид, ид); выпадение не менее двух очков (элементарные исходы ид, ид, ид, ш^, ид) и т. д. □
Пример 6. При подбрасывании двух монет примерами событий будут: падение обеих монет на одну и ту же сторону (появлению этого события благоприятствуют элементарные исходы ал и ид из примера 3); падение монет на разные стороны (элементарные исходы ид и ид); выпадение, по крайней мере, одного «герба» (элементарные исходы од, ид и ид) и т.п. □
Пример 7. При определении времени безотказной работы электрической лампочки можно привести следующие примеры событий: безотказная работа лампочки до момента Т; отказ лампочки до момента Т; отказ лампочки между моментами Г] и Т2 и т. д. Здесь так же, как и в примере 4, пространство элементарных исходов Q представляет собой полупрямую [0, сю). Тогда первому событию соответствует множество точек на полупрямой [Т, сю), второму — на интервале [О, Т), третьему — на интервале (Т^Тг). □
Вспоминая, что в результате опыта может произойти один и только один элементарный исход и из пространства элементарных исходов Q, мы приходим к теоретико-множественному определению события как произвольного набора элементарных исходов или, иными словами, произвольного подмножества множества элементарных исходов Cl. События будем обозначать прописными латинскими буквами, снабженными при необходимости индексами: А, В, С\, Щ^ т.д.
Заметим, что приведенное выше определение события не всегда позволяет построить логически безупречную аксиоматику теории вероятностей. Поэтому в следующем параграфе мы уточним понятие «событие». Сейчас же наша цель состоит в описании теоретикомножественных операций над событиями, и нам удобно отказаться от несущественных пока деталей.
Часто бывает полезным наглядное представление событий в виде так называемой диаграммы Эйлера-Венна. Будем изображать все пространство элементарных исходов прямоугольником (рис. 1). Тогда каждый элементарный исход и соответствует точке внутри прямоугольника, а каждое событие А отождествимо с некоторой областью.
Само пространство элементарных исходов Q представляет собой событие, состоящее из всех возможных исходов, т. е. происходящее всегда (при любом элементарном исходе ш\ и носит название достоверного события. Таким образом, пространство элементарных исходов выступает в двух качествах: в качестве собственно множества всех элементарных исходов и в качестве достоверного события.
Для дальнейшего нам удобно ввести еще одно событие 0, называемое невозможным. Невозможное событие не происходит никогда, т. е. не содержит ни одного элементарного исхода.
Пример 8. При бросании игральной кости событие «выпадение не менее одного очка» является достоверным (Q), событие «выпадение более 6 очков» — невозможным (0). □
Над событиями как над подмножествами фиксированного множества можно производить действия, которые мы сейчас опишем.
Рис. 2Рис. 2Пересечением (произведением) двух событий А и В называется событие С, происходящее тогда и только тогда, когда наступают одновременно оба события А и В, или, иными словами, состоящее из тех элементарных исходов, которые принадлежат и А, и В (рис. 2).
Рис. 2
Рис. 2
Рис. 1
Пересечение событий А и В записывается следующим образом:
С = АГВ
или
С = А • В = АВ.
Аналогично определяется пересечение трех и более событий.
Пример 9. Событие А — при подбрасывании двух монет падение их одной стороной, событие В — выпадение хотя бы одного «герба». Пересечением событий А и В является событие С, состоящее в выпадении двух «гербов». □
Пример 10. Событие А — выпадение четного числа очков при бросании игральной кости, событие В — выпадение не менее 3 очков. Пересечение А и В — событие С, состоящее в выпадении 4 или 6 очков. □
События А и В называются непересекающимися или несовместными, если их пересечение является невозможным событием, т. е. А П В = 0 (рис. 3).
Для трех и более событий понятие несовместности можно определить разными способами. Мы будем, в основном, пользоваться следующим понятием несовместности п событий, которое также называется попарной несовместностью событий: события А\,...,Ап называются (попарно) несовместными, или (попарно) непересекающимися, если At П Aj = 0 для любых г и j при г j.
Пример 11. Событие А — выпадение четного числа очков при бросании игральной кости, событие В — выпадение нечетного числа очков. События А и В несовместны. □
Нетрудно видеть, что справедливы следующие простейшие формулы для пересечения двух событий, одно из которых достоверно или невозможно:
AQ = А, А0 = 0.
Объединением (суммой) двух событий А и В называется событие С, происходящее тогда и только тогда, когда наступает хотя бы одно из событий А или В, т. е. состоящее из тех элементарных исходов, которые принадлежат хотя бы одному из множеств А или В (рис. 4).
Рис. 3Рис. 4Для объединения событий A w В применяется записьРис. 3Рис. 4Для объединения событий A w В применяется запись
Рис. 3Рис. 4
Для объединения событий A w В применяется запись
Рис. 3Рис. 4
Для объединения событий A w В применяется запись
Пример 12. Событие А — выпадение 1 или 3 очков при бросании игральной кости, событие В — выпадение 3 или 5 очков. Объединением событий А и В является событие С, состоящее в выпадении нечетного числа очков.□
Для объединения двух событий, одно из которых достоверно или невозможно, имеют место следующие формулы:
QuA = Q, 0 U А = А.
В том случае, когда события А и В несовместны, наряду со знаком «и» для их объединения употребляют знак «+». Обычно знак «+» применяют тогда, когда заведомо известно, что А и В несовместны, и это особо хотят подчеркнуть. В частности, поскольку невозможное событие несовместно с любым событием А, то
0иА = 0АА = А.
Аналогично определяется объединение трех и более событий. При этом знак «+» используется в случае попарной несовместности входящих в объединение событий.
Разностью двух событий А и В называется событие С, происходящее тогда и только тогда, когда происходит событие А, но не происходит событие В, т. е. состоящее из тех элементарных исходов, которые принадлежат А, но не принадлежат В (рис. 5).
Разность событий А и В записывается в виде
С = А\В.
Пример 13. Событие А — выпадение хотя бы одного «герба» при подбрасывании двух монет, событие В — падение обеих монет одной стороной. Разность С событий А и В представляет собой событие, заключающееся в выпадении ровно одного «герба».□
Справедливы следующие формулы для разности двух событий, одно из которых достоверно или невозможно:
A\Q = 0,А\0 = А, 0\А = 0.
Кроме того, если А и В несовместны (АВ = 0), то А \ В = А.
Симметрической разностью двух событий А и В (обозначается знаком А или о) называется событие С, представляющее собой объединение событий А \ В и В \ А:
С = А А В = (А\В)0(В\А\
Поскольку события А\В и В\А несовместны (рис. 6), симметрическую разность можно записать также в виде
А ^ В = (А\В) + (В\А).
Нетрудно заметить, что симметрическая разность есть объединение событий А и В без их общей части:
ЛдВ = (ЛиВ)\(ВпЛ).
Пример 14. Событие А — выпадение не менее 2 очков при бросании игральной кости, событие В — выпадение не более 4 очков. Симметрической разностью событий Л и В является событие С, заключающееся в выпадении
Если Л и В несовместны, то
Л Д в = л+ в.
Дополнением события А (обычно обозначается Л) называется событие, происходящее тогда и только тогда, когда не происходит событие А (рис. 7), или, иными словами,
А = Q \ А.
Пример 15. Событие А — выпадение четного числа очков при бросании игральной кости. Дополнительное событие А — выпадение нечетного числа очков.□
Справедливы формулы:
Q = 0,0 = Q, А = А.
Если некоторое событие записано в виде нескольких действий над различными событиями, то сначала вычисляются дополнения, затем выполняются умножения и, наконец, сложения и вычитания событий. Так, формула__
С = Л1Л2В1 U Л3В2 \ Вд эквивалентна формуле
С = {[Л1(Л2)В1]и[Л3(В2)]}\В3.
Пользуясь диаграммой Эйлера-Венна, нетрудно показать справедливость следующих формул (формулы де Моргана)'.
Ап в = a vj в, а и в = А п в.
Формулы де Моргана элементарно переносятся на произвольное число событий. В частности, для п событий Ах,... ,Ап они имеют вид:
А П ... П Ап = Ах U ... U Ап, А U ... U Ап = Ах П ... П Ап.
Следует отметить, что все действия над событиями можно получить с помощью только двух действий — объединения и дополнения (или пересечения и дополнения). Основанием для этого утверждения служат формулы де Моргана, а также соотношение
А \ В = АВ.
Кроме вышеперечисленных действий над событиями нам в дальнейшем понадобится понятие включения. Событие А принадлежит (содержится в, включается в) событию В (записывается Л С В), если появление собы
тия А обязательно влечет за собой наступление события В (рис. 8) или, иными словами, каждый элементарный исход и, принадлежащий А, обязательно принадлежит и В. Ясно, что включение А С В эквивалентно выполнению равенства АВ = А.
Используют и обратное понятие: событие В содержит (включает) событие А (В D А), если А с В.
Пример 16. Событие А — выпадение четного числа очков при бросании игральной кости, событие В — выпадение не менее 2 очков. Событие А принадлежит событию В, поскольку если выпало четное число очков (2, 4 или 6), то обязательно выпало не менее 2 очков.□
Следующие включения очевидны:
0 с А с Q.
Кроме того, если А с В, то
АнВ = В, А\В = 0, А^В = В\А.
сг-алгебра событий
Итак, мы назвали событием произвольное подмножество пространства элементарных исходов Q. Такое определение прекрасно работает, когда Q конечно или даже счетно (т. е. его можно пересчитать с помощью чисел натурального ряда). Однако если Q более чем счетно,
то, вообще говоря, мы уже не сможем построить логически непротиворечивую теорию, называя событием произвольное подмножество Q. Причина этого заключается в существовании так называемых неизмеримых множеств, что в свою очередь кроется в топологической структуре классических рассматриваемых пространств (прямой, плоскости, трехмерного пространства и т. д.). Поэтому приходится отказаться от, казалось бы, естественного желания назвать событием любое подмножество пространства элементарных исходов Q и выделить среди всех подмножеств некоторый класс подмножеств Ъ. Именно только подмножества из выделенного класса % и будут называться событиями. Интуитивно ясно, что описанные в предыдущем пункте теоретико-множественные операции над событиями не должны приводить к подмножествам, не являющимся событиями.
С точки зрения повседневной практики подмножества пространства элементарных исходов Q, не являющиеся событиями, представляют собой чистую математическую абстракцию и в реальной жизни никогда не встречаются. Даже само доказательство их существования представляет весьма сложную задачу. Поэтому читателю, не желающему вдаваться в математические тонкости, мы рекомендуем пропустить параграф, посвященный а-алгебре событий, и в дальнейшем под событием понимать произвольное подмножество элементарных исходов Q, а под сг-алгеброй — систему всех этих подмножеств. Любознательному читателю мы предоставляем возможность познакомиться со строгим определением последнего понятия, излагаемым ниже.
Алгеброй событий 21 назовем непустую систему подмножеств Q, удовлетворяющую следующим аксиомам:
А1. Если подмножество А принадлежит 21 (является событием), то дополнение А также принадлежит 21 (является событием).
А2. Если подмножества А и В принадлежат 21 (являются событиями), то и объединение Ли В принадлежит 21 (является событием).
Как мы знаем, любую из рассмотренных нами операций над подмножествами можно получить с помощью только двух операций: дополнения и объединения. Поэтому пересечение и разность двух событий также будут событиями. Поскольку Q = A U А и 0 = Q, то все пространство элементарных исходов Q и пустое подмножество 0 обязательно являются событиями в любой алгебре событий. Очевидно также, что объединение и пересечение любого конечного числа событий снова будет событием. Иными словами, алгебру событий 21 можно определить как систему подмножеств пространства элементарных
исходов Q, замкнутую 9 относительно конечного числа теоретикомножественных операций.
Однако понятие алгебры событий также оказывается недостаточным для аксиоматического построения теории вероятностей в том случае, когда пространство элементарных исходов Q не является конечным. Интересы общей теории меры требуют, чтобы аксиома А2 была заменена на более сильную, и мы приходим к новому определению:
а-алгеброй событий Ъ назовем систему подмножеств из Q, удовлетворяющую аксиоме А1 и аксиоме
2х. Если подмножества Ах, А2,..., Ап,... принадлежат ^В (являются событиями), то и их (счетное) объединение Ах U А^ U ... U U An U ... также принадлежит % (является событием).
Основываясь на формулах де Моргана, нетрудно показать, что пересечение счетного числа событий снова будет событием. Таким образом, сг-алгебру событий ^В можно определить как систему подмножеств пространства элементарных исходов El, замкнутую относительно счетного числа теоретико-множественных операций.
Любая сг-алгебра событий является одновременно и алгеброй событий. Обратное, вообще говоря, не верно, т. е. существуют алгебры событий, не являющиеся «7-алгебрами. Однако если пространство элементарных исходов Q конечно, то любая алгебра событий будет также и сг-алгеброй событий, т. е. в этом случае понятия алгебры событий и (7-алгебры событий эквивалентны.
сг-алгебра событий является второй компонентой вероятностного пространства (Q,93,P).
Пример 17. Для любого пространства элементарных исходов Q, содержащего хотя бы один исход, семейство подмножеств, состоящее всего из двух подмножеств Q и 0, является сг-алгеброй. Ясно, однако, что на такой сг-алгебре, состоящей всего из достоверного и невозможного событий, сколь- нибудь содержательную теорию построить невозможно, и мы ее в дальнейшем рассматривать не будем.□
Пример 18. Пусть пространство элементарных исходов Q содержит по крайней мере два исхода. Возьмем в Q некоторое подмножество А, отличное от 0 и Q. Тогда система из четырех подмножеств 0, А, А и Q будет являться сг-алгеброй %. Поскольку в дальнейшем мы будем рассматривать только события, а других событий, кроме перечисленных четырех, сг-алгебра 93 не содержит, то естественно отождествить ее с сг-алгеброй, определенной на пространстве элементарных исходов Qz, состоящем всего из двух элементарных исходов: ^j = А и ^ = А, и содержащей подмножества 0, {ш{}, {Ц} и Q. Здесь мы имеем дело с тем принципом упрощения пространства элементарных исходов, о котором говорилось в параграфе 1.
9 Система подмножеств замкнута относительно операции, если в результате применения этой операции получаем подмножество, снова принадлежащее этой системе.
В качестве иллюстрации рассмотрим время работы электрической лампочки. Первоначально пространство элементарных исходов представляет собой полупрямую [0, сю). Однако если наблюдателю доступна только информация, произошел отказ за фиксированное время Т (событие А) или нет (событие Л), то он фактически имеет дело с двумя элементарными исходами: ш{ = Л и ш2 = Л; соответствующая сг-алгебра состоит из четырех событий, описанных выше. В этом случае наблюдение за работой электрической лампочки с точки зрения числа возможных элементарных исходов ничем не отличается от наблюдения за подбрасыванием монеты. □
Пример 19. Пусть пространство элементарных исходов Q содержит конечное (Q = {сщ, Ш2,..., шп}) или счетное (Q = {сщ, Ш2,..., шп,...}) число исходов. Такое пространство называется дискретным. В качестве сг-алгебры 93 возьмем систему всех подмножеств. Именно эту сг-алгебру мы всегда будем рассматривать в дальнейшем в случае дискретного пространства элементарных исходов. Нетрудно видеть, что любое событие Л можно отождествить с последовательностью из 0 и 1, причем 0 на г-м месте означает, что элементарный исход Шг не принадлежит событию А. В частности, невозможному событию 0 соответствует последовательность 0,0,... , а достоверному Q — 1,1,... Ясно, что если число исходов п конечно, то сг-алгебра 93 содержит 2П событий (на каждом из п мест последовательности может стоять одно из двух чисел: 0 или 1).
В случае дискретного Q сг-алгебру 93 можно определить исходя и из других предпосылок. Для этого достаточно объявить событиями все элементарные исходы Шг- Поскольку в случае дискретного Q любое его подмножество будет содержать не более счетного числа элементарных исходов, то в соответствии с аксиомой А2' оно обязательно будет событием. Таким образом, сг-алгебру 93 можно трактовать как а-алгебру, порожденную всеми элементарными исходами.
В частности, в случае конечного Q сг-алгебра 93 порождается конечным числом элементарных исходов и поэтому совпадает с алгеброй 21, порожденной всеми элементарными исходами ан- Однако в случае счетного Q алгебра 21, порожденная всеми элементарными исходами cat, уже не будет совпадать с сг-алгеброй 93, поскольку она будет содержать только подмножества, состоящие из конечного числа элементарных исходов (как объединения событий в соответствии с аксиомой А2) или подмножества, состоящие из всех элементарных исходов за исключением их конечного числа (как дополнения к подмножествам первого типа в соответствии с аксиомой А1). □
Пример 20. Пусть пространство элементарных исходов Q представляет собой прямую (—сю, сю). И здесь система всех подмножеств будет представлять собой сг-алгебру. Однако оказывается, что такая «максимальная» сг-алгебра в наиболее интересных случаях представляет собой негодный объект для дальнейших исследований. Дело в том, что введение понятия сг-алгебры является вспомогательным процессом, необходимым для дальнейшего определения собственно вероятности, и, если бы только было возможно, никто не стал бы «городить огород» ради, разве что, красивого названия.
О невозможности использования «максимальной» сг-алгебры мы еще скажем несколько слов, когда будем рассматривать геометрическую вероятность. Сейчас попробуем построить другую сг-алгебру, опираясь на более умеренные запросы. Итак, что бы мы хотели от сг-алгебры на прямой? Разумеет-
ся, основное требование к ней заключается в том, чтобы ей принадлежали всевозможные интервалы [а, 5], [а, 5), (а, 5], (а, Ь). Минимальная сг-алгебра, удовлетворяющая этому требованию, носит название борелевской а-алгебры и является тем объектом, на котором без всяких логических противоречий можно построить математически строгую теорию.
Все сказанное относительно прямой в полной мере относится и к пространствам элементарных исходов, представляющим собой плоскость, трехмерное пространство и пространства более высоких размерностей, а также их невырожденные части (отрезки, многоугольники, круги, шары и т. д.). В теории вероятностей такие пространства элементарных исходов называются непрерывными.□
Вероятность
Приступим теперь к аксиоматическому определению последней составляющей вероятностного пространства (Q,53, Р) — вероятности или, как иногда говорят, вероятностной меры Р.
Предположим сначала, что пространство элементарных исходов конечно. Пусть каждому событию А (т. е. подмножеству А пространства элементарных исходов Q, принадлежащему а-алгебре 53) поставлено в соответствие число Р(Л). Числовая функция Р(Л) (заданная на сг-алгебре 53) называется вероятностью, если она удовлетворяет следующим аксиомам:
Р1. Р(Л) 0 (аксиома неотрицательности);
Р2. P(Q) = 1 (аксиома нормированности);
РЗ. Р(А + В) = Р(Л) + Р(В) (аксиома сложения), если А, В Е % и АиВ = 0.
Как говорилось во введении, аксиомы вероятности представляют собой не что иное, как математическое отражение основных свойств частоты.
Из аксиом Р1-РЗ можно вывести ряд очевидных свойств вероятности.
Поскольку Q = А + А, то по аксиоме сложения P(Q) = Р(Л) + Р(Л) или, с учетом аксиомы нормированности,
Р(А) = 1 - Р(А) (вероятность дополнительного события).
Далее, поскольку А = А + 0, то из аксиомы сложения имеем
Р(0) = 0 (вероятность невозможного события).
Пусть А с В. Тогда В = А + (В \ А), по аксиоме сложения Р(В) = = Р(Д) + Р(В \ А), и из аксиомы неотрицательности получаем
Р(Д) < Р(В) («большему» событию соответствует большая вероятность).
В частности, так как всегда Л С Q, то, с учетом аксиомы неотрицательности,
О < Р(А) < 1 (вероятность заключена между 0 и 1).
Наконец, поскольку AVJ В = А А (В \ А) и В = (В\А) + АВ, то из аксиомы сложения находим: Р(А U В) = Р(А) + Р(В \ А) и Р(В \ А) = = Р(В) — Р(АВ). Следовательно,
Р(А U В) = Р(А) + Р(В) — Р(АВ) (вероятность объединения двух событий).
Последнее свойство допускает очевидное, но весьма полезное обобщение на случай произвольного числа слагаемых
P(Ai U ... U An) = P(Ai) + ... + P(An) - P(AiА2) - P(AiА3) - ...
... - Р(ЛП_! АЛ + Р(А] А2Л3) + ... + (-1Щ1 Р(Л! Л2 ...АЛ-
Свойство 6 доказывается индукцией по п. Так, для трех событий А, В и С
Р(А U В U С) = Р(А) + Р(В U С) - Р(А(В U С)) =
= Р(А) + Р(В) + Р(С) - Р(ВС) - Р(АВ U ВС) =
= Р(А) + Р(В) + Р(С) - Р(ВС) - Р(АВ) - Р(АС) + Р(АВС).
Из свойств 6 и 2 имеем для любого числа п (попарно) непересека- ющихся событий Ai,..., Ап
Р(А1 + ... + Ап) = Р(А1) + ... + Р(Ап).
В случае, когда Q содержит конечное число п элементарных исходов, вероятность можно определить конструктивно.
Действительно, с одной стороны, пусть на пространстве элементарных исходов Q задана некоторая вероятность Р(А). Обозначим через р\,..., рп вероятности элементарных исходов ш\,..., шп. Тогда по аксиоме сложения РЗ вероятность любого события А определяется формулой Р(А) = ^ Р(м) = ^Рг^ гДе суммирование ведется по всем индексам г, соответствующим входящим в событие А элементарным исходам. В силу аксиом неотрицательности Р1 и нормированности Р2 числа р\,...,рп являются неотрицательными и удовлетворяют свойству pi + ... +рп = 1.
С другой стороны, пусть pi,..., рп — любой набор неотрицательных чисел, таких, что pi + ... +pn = 1. Поставим в соответствие каждому элементарному исходу ау (г = 1,...,п) число Р(^) = рл а любому событию А — число Р(А) = ^ Р(^) = ^Pt, где суммирование ведется по всем индексам г, соответствующим входящим в событие А элементарным исходам. Очевидно, достоверному событию Q мы должны сопоставить число P(Q) = pi + ... +pn = 1. Нетрудно видеть, что определенная таким образом функция Р(А) удовлетворяет аксиомам Р1-РЗ, т. е. является вероятностью.
Итак, существует взаимно однозначное соответствие между всеми вероятностями Р(Л) на Q и наборами р\,...,рп неотрицательных чисел, удовлетворяющими условию pi + ... +pn = 1.
В частности, мы можем всем элементарным исходам и^ приписать одну и ту же вероятность pi = 1 /п (г = 1,..., п). В этом случае реализуется так называемый принцип классической вероятности, о котором мы подробно поговорим в следующей главе.
В случае произвольного (не обязательно конечного) пространства элементарных исходов Q аксиому РЗ необходимо заменить более сильной расширенной аксиомой сложения
РЗ'. Р(Л! + ... + Лп + ...) = Р(Л!) + ... + Р(Лп) + ... , справедливой для счетного числа попарно несовместных событий.
Именно аксиомы Pl, Р2 и РЗ' и определяют аксиоматическое понятие вероятности.
Очевидно, что свойства вероятности 1-7 сохраняются и в этом случае.
Пример 21. Пусть Q состоит из счетного числа элементарных исходов сщ,..., шп,... И в этом случае любую вероятностную меру Р(Л) можно получить, задав вероятности pi = Р(сл),..., рп = Р(щп),... элементарных исходов, причем последовательность pi,..., рп, • • • должна удовлетворять только условиям неотрицательности рг > 0 (г = 1,2,...) и нормированности pi + ... + рп + ... = 1. По-прежнему вероятность любого события А определяется как сумма '^pt вероятностей всех входящих в Л элементарных исходов Шг, однако если событие Л содержит бесконечное число элементарных исходов, то и сумма будет бесконечной. □
Пример 22. Пусть пространство элементарных исходов Q представляет собой прямую (—сю, сю) с борелевской а-алгеброй на нем (см. пример 20). Теперь уже в наиболее интересных случаях мы не можем приписать каждому элементарному исходу ш иной вероятности, кроме Р(щ) = 0, и, следовательно, определить вероятность любого события на основе вероятностей входящих в него элементарных исходов. Тем не менее и сейчас вероятность можно задать конструктивно.
Для того чтобы показать это, предположим сначала, что она каким-то образом уже задана для всех событий (элементов борелевской сг-алгебры), и рассмотрим функцию F(x) = Р(ЛЖ), равную вероятности события Лж = (—сю, ж), состоящего из всех точек полупрямой (—сю, ж). Как вероятность функция Р(ж) обязана обладать определенными свойствами, которые мы сейчас опишем.
Во-первых, значения функции Р(ж) как вероятности должны лежать между 0 и 1.
Во-вторых, так как для любых Ж1 < Ж2 событие (—сю,Ж1) содержится в событии (—сю,Ж2), то Р(жф < F($2). Иными словами, Р(ж) — неубывающая функция аргумента ж.
В-третьих, поскольку событие (—сю,—сю) невозможно, а событие (—сю, сю) достоверно, то F( —сю) = lim Р(ж) = 0, F(oc) = lim Р(ж) = 1.
Наконец, так как событие (—сю, ж) представляет собой объединение счетного числа событий (—сю,ж — 1/п), то из расширенной аксиомы сложения
и монотонности F^ можно вывести (см. параграф 2 гл. 5), что F^ — непрерывная слева функция.
Зная функцию F^xY можно определить вероятности любых других событий. В частности, вероятность события А = [жьЖ2) (яй < ^2) определяется формулой Р(Л) = F^x^ — F^x\Y
Таким образом, любая вероятность на прямой полностью определяется своей функцией F(xY которая удовлетворяет перечисленным выше свойствам.
Справедливо и обратное. Любая неубывающая непрерывная слева функция F(xY удовлетворяющая условиям F(—ос) = 0 и F(oo) = 1, задает некоторую вероятность на прямой (—00,00). Действительно, достаточно сопоставить каждому событию Ах = (—оо,ж) число Р(ЛЖ) = F(xY а событию А = [ж1,Ж2) — число Р(Л) = F(^2) — F^x\Y Можно показать, что определенная таким образом для всех событий А = [ящжг) числовая функция Р(Л) будет удовлетворять трем аксиомам вероятности. Для любых других событий, составляющих борелевскую сг-алгебру на прямой, вероятность определяется единственным образом с помощью так называемой теоремы о продолжении меры. □
Глава 2КЛАССИЧЕСКАЯ И ГЕОМЕТРИЧЕСКАЯВЕРОЯТНОСТИ
В этой главе мы рассмотрим некоторые вероятностные пространства, объединенные интуитивным понятием симметрии или «равновероятности». В соответствии с тем, какое пространство элементарных исходов рассматривается — конечное или непрерывное, понятие «равновероятности» реализуется в двух схемах: классической и геометрической вероятности. Как всегда, право на жизнь вышеперечисленных схем определяется практикой. В различных учебниках приводятся результаты многочисленных статистических опытов, подтверждающих корректность понятия «равновероятность».
Классическая вероятность
Понятие классической вероятности мы рассмотрим сначала на примере нашей «палочки-выручалочки» — монеты. Предположим, что опыт состоит в однократном подбрасывании монеты. Как мы теперь знаем, пространство элементарных исходов Q содержит два элементарных исхода: ш\ — выпадение «герба» и ис^ — выпадение «цифры», а сг-алгебра 53 насчитывает 4 события: 0, {сщ}, {^2} и Q. Ясно, что обычная монета обладает свойством симметрии, так как у нас нет оснований предпочесть «герб» «цифре», т. е. элементарный исход сщ элементарному исходу ^2- Поэтому естественно сопоставить обоим элементарным исходам одинаковую вероятность Р(сщ) = Р^ш^. Так как согласно аксиоме сложения P(Q) = Р(^1) + Р(с<Д2), а в силу аксиомы нормированности P(Q) = 1, то получаем Р(сщ) = Р^) = 1/2. Таким образом, каждому из четырех имеющихся в а-алгебре 53 событий мы ставим в соответствие вероятности: Р(0) = 0, Р(сщ) = Р(^2) = 1/2, P(Q) = 1.
Перейдем теперь к общему случаю. Пусть пространство элементарных исходов Q состоит из конечного числа п равнозначных исходов щь Щ2,---, (сг-алгебра событий содержит 2П событий). Тогда каждому элементарному исходу сщ (г = 1,...,п) поставим в соответствие одну и ту же вероятность Р(сщ) = 1/п. Ясно, что в силу аксиомы сложения для определения вероятности любого события А необходимо подсчитать число т элементарных исходов и, содержащихся в А, и затем положить
Р(А) = -.п
Таким образом, в классической схеме вероятность любого события А определяется как отношение числа т благоприятных для события А элементарных исходов к общему числу элементарных исходов п.
Пример 1. Определим вероятность выпадения на игральной кости четного числа очков (событие Л). В этом случае общее число элементарных исходов п = 6 (сг-алгебра 93 состоит из 26 = 64 событий), а число благоприятных исходов т = 3 (выпадение«двойки», «четверки» и «шестерки»). Искомая вероятность Р(Л) = 3/6 = 1/2. □
Пример 2. Производится трехкратное подбрасывание монеты. Определим вероятность события Л, заключающегося в выпадении «герба» хотя бы один раз. Выпишем все элементарные исходы:
сщ = «герб»-«герб»-«герб»,шз = «герб»-«герб»-«цифра»,= «цифра»-«герб»-«герб», ш? = «цифра»-«герб»-«цифра»,сщ = «герб»-«герб»-«герб»,шз = «герб»-«герб»-«цифра»,= «цифра»-«герб»-«герб», ш? = «цифра»-«герб»-«цифра»,шд = «герб»-«цифра»-«герб», сщ = «герб»-«цифра»-«цифра», Шб = «цифра»-«цифра»-«герб», шд = «цифра»-«цифра»-«цифра:шд = «герб»-«цифра»-«герб», сщ = «герб»-«цифра»-«цифра», Шб = «цифра»-«цифра»-«герб», шд = «цифра»-«цифра»-«цифра:
сщ = «герб»-«герб»-«герб»,
шз = «герб»-«герб»-«цифра»,
= «цифра»-«герб»-«герб», ш? = «цифра»-«герб»-«цифра»,
сщ = «герб»-«герб»-«герб»,
шз = «герб»-«герб»-«цифра»,
= «цифра»-«герб»-«герб», ш? = «цифра»-«герб»-«цифра»,
шд = «герб»-«цифра»-«герб», сщ = «герб»-«цифра»-«цифра», Шб = «цифра»-«цифра»-«герб», шд = «цифра»-«цифра»-«цифра:
шд = «герб»-«цифра»-«герб», сщ = «герб»-«цифра»-«цифра», Шб = «цифра»-«цифра»-«герб», шд = «цифра»-«цифра»-«цифра:
Всего имеем п = 8 элементарных исходов (сг-алгебра 93 состоит из 28 = 256 событий). Благоприятными из них для события Л являются т = 7 исходов: шь Ш2,..., шу. Значит, Р(Л) = 7/8.
Вероятность Р(Л) можно подсчитать и другим способом. Дополнительным к Л будет событие Л, заключающееся в невыпадении ни одного «герба». Событие Л состоит только из одного элементарного исхода шд, поэтому Р(Л) = 1/8. Переходя снова к событию Л, имеем Р(Л) = 1 — Р(Л) = 7/8. Отметим, что привлечение дополнительного события позволяет иногда существенно упростить численный подсчет вероятности. □
Пример 3. Найдем вероятность того, что при бросании двух игральных костей в сумме выпадает не менее четырех очков (событие Л). Поскольку при бросании двух игральных костей может выпасть от 2 до 12 очков, а рассматриваемое событие Л состоит в выпадении 4, 5,..., 12 очков, то удобно перейти к дополнительному событию Л — выпадению двух или трех очков. Пространство элементарных исходов состоит из 36 исходов — пар (1,1), (1,2), (2,1), (1,3) и т. д. (заметим, что пары (1,2) и (2,1) представляют собой разные элементарные исходы, поскольку выпадение одного очка на первой кости и двух на второй — не то же самое, что двух очков на первой кости и одного очка на второй). Благоприятными для события Л будут элементарные исходы (1,1), (1,2) и (2,1). Значит, т^ = 3, Р(Л) = 3/36 = 1/12 и Р(Л) = 1 - Р(Л) = 11/12. □
Пример 4. Из колоды в 36 игральных карт наудачу выбирается одна. Определим вероятность того, что она окажется тузом (событие Л). Из колоды мы можем выбрать любую из 36 карт (п = 36). Тузов в колоде 4 (т = 4). Таким образом, Р(Л) = 4/36 =1/9. □
Элементы комбинаторики в теории вероятностей
Примеры, рассмотренные в предыдущем параграфе, имели ту характерную особенность, что для них нетрудно было подсчитать как общее число элементарных исходов, так и число исходов, благоприятных для данного события. Однако именно этот подсчет и представляет наибольшую трудность при решении более сложных задач на классическую вероятность. Для того чтобы иметь некоторые стандартные приемы при
расчетах по схеме классической вероятности, приведем основную формулу комбинаторики и рассмотрим понятия перестановки, размещения и сочетания.
Пусть имеется к групп элементов, причем г-я группа состоит из щ элементов. Выберем по одному элементу из каждой группы. Тогда общее число N способов, которыми можно произвести такой выбор, определяется соотношением
N = ni • п2 •••пь называемым основной формулой комбинаторики.
Для доказательства этой формулы рассмотрим сначала случай к = 2 и перенумеруем все элементы первой группы числами от 1 до пц а второй — от 1 до п2. Тогда каждый возможный способ выбора двух элементов отождествим с парой чисел (i,j), где г = l,...,ni, j = 1,..., п2. Очевидно, что таких пар nin2. Для окончания доказательства достаточно воспользоваться методом математической индукции. Так, для к = 3 всевозможные способы выбора трех элементов можно отождествить с тройками (i,j,l). Поскольку первые два элемента можно выбрать nin2 способами, то все три элемента можно выбрать N = (п1П2)пз = П1П2пз способами.
В том случае, когда все группы состоят из одинакового числа элементов, т. е. гц = п2 = ... = п^, можно считать, что каждый раз выбор производится из одной и той же группы, причем элемент после выбора снова возвращается в группу. Тогда число всех способов выбора равно пк. Такой способ выбора носит название выборки с возвращением.
Перестановкой из п элементов называется любой упорядоченный набор этих элементов. Так, всевозможными перестановками чисел 1, 2, 3 являются: (1,2,3), (1,3,2), (2, 1,3), (2,3, 1), (3, 1,2) и (3,2, 1). Для определения числа различных перестановок из п элементов, которое мы будем обозначать через Рп, заметим, что на первом месте перестановки может стоять любой из п элементов, на втором — любой из п — 1 оставшихся, на третьем — любой из остальных п — 2 и т. д. В силу основной формулы комбинаторики (в данном случае мы имеем п групп элементов размеров п, п — 1,..., 1) получаем
Рп = п(п - 1)... 2 • 1 = п!.
Размещением из п элементов по т называется любой упорядоченный набор из т различных элементов, выбранных из общей совокупности в п элементов. Выпишем для примера все размещения из четырех чисел 1, 2, 3, 4 по два: (1,2), (1,3), (1,4), (2,1), (2,3), (2,4), (3,1), (3,2), (3,4), (4,1), (4,2), (4,3). Число размещений (п)т (используется также запись Л™) подсчитывается точно так же, как и число перестановок: на первом месте может находиться любой из п элементов, на втором — любой из п — 1 оставшихся,..., на т-м месте — любой из п — т + 1 элементов. Снова воспользовавшись основной формулой комбинатори-
ки (выбор осуществляется из групп размеров п, п — 1,..., п — т + 1), имеем
(п)т = п(п- 1)... (n - m + 1) = ?—- = ?гт.
Заметим, что способ выбора, приводящий к перестановкам и размещениям, носит название выборки без возвращения.
Сочетанием из п элементов по т называется любой неупорядоченный набор из т различных элементов, выбранных из общей совокупности в п элементов. Сочетаниями из четырех чисел 1, 2, 3, 4 по два являются: (1,2), (1,3), (1,4), (2,3), (2,4) и (3,4). Для определения числа сочетаний (п ) (употребляется также запись С™) заметим, что сочетание от размещения отличается только тем, что входящие в него элементы неупорядочены. Но, как мы знаем, т элементов можно упорядочить т\ способами. Значит, каждое сочетание соответствует т\ размещениям. Поэтому (п)ш = m!(n) или
/ п \ _ (n)m _ п\ \т) т\ (п — т)! т\ *
Вооружившись знанием формул для чисел перестановок, размещений и сочетаний, продолжим рассмотрение задач на классическую вероятность.
Пример 5. На четырех карточках написаны буквы в, л, к и о. Карточки перемешиваются и выкладываются в ряд. Найдем вероятность того, что образовавшееся слово будет «волк» (событие Л). В соответствии с комбинаторными принципами для определения общего числа элементарных исходов нужно подсчитать число упорядоченных наборов из четырех букв. Мы имеем дело с числом перестановок, поэтому число элементарных исходов п = 4! = 24. Слово «волк» образует только одна перестановка, т. е. число благоприятных для события А элементарных исходов т = 1. Поэтому Р(Л) = 1/24.□
Пример 6. Из колоды в 36 игральных карт вынимаются наудачу 3 карты. Найдем вероятность того, что все эти 3 карты будут одной масти (событие Л). Для большей наглядности приведем два решения.
В первом решении будем предполагать, что выбор производится последовательно по одной карте и нужно учитывать его порядок. Тогда результат выбора отождествим с размещением из 36 карт по 3, и общее число элементарных исходов п = (Зб)з = 36 • 35 • 34. Для подсчета общего числа благоприятных исходов предположим сначала, что мы последовательно вынимаем карты пиковой масти. Поскольку «пик» в колоде 9, то число способов, которыми мы можем последовательно вынуть 3 карты пиковой масти, равно числу размещений из 9 карт по 3, т. е. (9)з = 9-8-7. Но благоприятными для нас будут также такие ситуации, при которых мы вынимаем 3 «трефы», 3 «бубны», 3 «червы». Поэтому для определения общего числа благоприятных исходов нужно число размещений из 9 по 3 умножить на 4: т = 4 • (9)з = 4 • 9 • 8 • 7. Значит, Р(Л) = 4 . (9)з/(36)з = 4/85.
Во втором решении мы не будем учитывать порядок выбора карт. Тогда общее число элементарных исходов определяется уже как число сочетаний из
оdO-dD-d4.
36 карт по 3, т. е. n = I 1 = . Однако и при подсчете числа благо-
\ 3 /1 • 2 • 3
приятных исходов мы должны помнить, что порядок выбора несуществен, т. е.
„/ У \4 • У • б • / тт
m = 4 • I I = . Нетрудно видеть, что окончательное значение
будет тем же самым, что и в первом решении. Рекомендуем любознательному читателю еще раз разобрать этот пример и объяснить, почему в обоих случаях получился один и тот же ответ.□
В заключение этого параграфа мы рассмотрим некоторые наиболее часто встречающиеся в физической практике задачи о распределении частиц по ячейкам.
Гипергеометрическое распределение. Предположим, что имеется п = П1 + ... + пк различных частиц, причем из них п\ частиц первого типа, П2 — второго типа,..., Пк — к-го типа. Случайным образом из этих п частиц выбирается т = mi + ... + тк частиц. Найдем вероятность того, что среди выбранных окажется ровно ту ^ пу частиц первого типа, m2 < П2 — второго типа,..., тк rik — к-го типа (событие Л). Поскольку порядок выбора несуществен, то при определении общего числа исходов и числа благоприятных исходов мы должны пользоваться числом сочетаний. Общее число элементарных исходов
. Далее, т\ частиц. Далее, т\ частицпервого типа мы можем в:первого типа мы можем в:способами, m2 частиц второгоспособами, m2 частиц второгоесть число сочетаний из п частиц по т
. Далее, т\ частиц
. Далее, т\ частиц
первого типа мы можем в:
первого типа мы можем в:
способами, m2 частиц второго
способами, m2 частиц второго
типатипаспособами,..., тк частиц к-го типа ( Пк ) способами. При \тк/
типа
типа
этом любой способ выбора частиц определенного типа комбинирует с любыми способами выбора частиц остальных типов и, значит, число
благоприятных событию А исходов равно этомублагоприятных событию А исходов равно этому. По-. По-Р(Л) = р^т\,... ,т0 =Р(Л) = р^т\,... ,т0 =П1 \ / П2mi ) \Ш2П1 \ / П2mi ) \Ш2ПкткПктк
благоприятных событию А исходов равно этому
благоприятных событию А исходов равно этому
. По-
. По-
Р(Л) = р^т\,... ,т0 =
Р(Л) = р^т\,... ,т0 =
П1 \ / П2mi ) \Ш2
П1 \ / П2mi ) \Ш2
Пктк
Пктк
т
Определенные последней формулой вероятности Р(т\,..., т^ носят название гипергеометрического распределения.
Пример 7. Найдем вероятность того, что в «Спортлото 6 из 49» 9 будет угадано 3 номера (событие ААр 4 номера (Л4), 5 номеров (Л5) и 6 номеров (Ле). Мы имеем дело с гипергеометрическим распределением, в котором п = 49,
9 В конце прошлого столетия в нашей стране были широко распространены разные варианты игры «Спортлото», наиболее популярным из которых являлся вариант «Спортлото 6 из 49». Купив карточку за 30 коп. (что примерно соответствует нынешним 30 руб.), нужно было вычеркнуть 6 номеров из 49 возможных. Аналогично, во время розыгрыша из 49 шаров выбирались 6. Угадавший от 3 до 6 номеров, мог получить выигрыш, который для всех 6 угаданных номеров составлял 10000 тыс. руб.
2 П. П. Бочаров, А. В. Печинкин
к = 2, m = 6, П2 = 43 и т = 6. Для события A3 mi = 3 и m2 = 3, для события А4 mi = 4 и m2 = 2, для события А5 mi = 5 и m2 = 1 и, наконец, ДЛЯ события Аб mi = 6 И Ш2 = 0. Поэтому
Р(^з) =Р(^з) == 0,0176,= 0,0176,Р(Л4) =Р(Л4) =^ 0,00097,^ 0,00097,
Р(^з) =
Р(^з) =
= 0,0176,
= 0,0176,
Р(Л4) =
Р(Л4) =
^ 0,00097,
^ 0,00097,
РШ =РШ == 0,000018,= 0,000018,/ехмзх
РШ =
РШ =
= 0,000018,
= 0,000018,
Р(Л6) = 122222 = 7 • 10"8□
\ 6 7
Статистика Бозе-Эйнштейна. Предположим, что п неразличимых частиц распределяются по т ячейкам. Различными считаются распределения частиц по ячейкам, отличающиеся только числом попавших в каждую ячейку частиц. Такое распределение носит в физике название статистики Бозе-Эйнштейна. Найдем общее число различных размещений в статистике Бозе-Эйнштейна (число элементарных исходов). Для этого рассмотрим последовательность из п + т — 1 элементов (рис. 1) и выберем из них т — 1 «черный» элемент. Если
1234567п + т — 1Рис. 11234567п + т — 1Рис. 1считать «белый» элемент частицей, асчитать «белый» элемент частицей, а«черный»«черный»— перегородкой, то,— перегородкой, то,
1234567п + т — 1
Рис. 1
1234567п + т — 1
Рис. 1
считать «белый» элемент частицей, а
считать «белый» элемент частицей, а
«черный»
«черный»
— перегородкой, то,
— перегородкой, то,
п — к + т — 1 — 1п — к + т — 1 — 1как нетрудно видеть, существует взаимно однозначное соответствие между способами выбора т — 1 «черного» элемента и размещениями частиц в статистике Бозе-Эйнштейна. Так, на приведенном рисунке в первую ячейку попала одна частица, во вторую — три, третья оказалась пустой,..., последняя, т-я ячейка также оказалась пустой. Поэтому общее число размещений равно + ш . Найдем теперь вероятность попадания в фиксированную ячейку ровно к частиц (событие А). Заметим, что если в этой фиксированной ячейке уже находится к частиц, то остальные п — к частиц должны быть распределены по оставшимся т — 1 ячейкам, а это, как мы знаем, можно сде-
п — к + т — 1 — 1
п — к + т — 1 — 1
латьлатьm — 1 — 1п + т — к — 2т — 2m — 1 — 1п + т — к — 2т — 2п Г т — к — 2\
лать
лать
m — 1 — 1
п + т — к — 2т — 2
m — 1 — 1
п + т — к — 2т — 2
способами. Следовательно, т — 27
Р(Л) = (Р(Л) = (+ ш Отметим, что статистике Бозе- m — 1 7
Р(Л) = (
Р(Л) = (
Эйнштейна подчиняются фотоны, атомные ядра и атомы, содержащие четное число частиц.
Статистика Ферми-Дирака. В статистике Ферми-Дирака так же, как и в статистике Бозе-Эйнштейна, п неразличимых частиц распре-
деляются по т ячейкам (п < т\ однако в каждой ячейке не может находиться более одной частицы. Число различных размещений (элементарных исходов) совпадает с числом способов, которыми мы можем выбрать (без учета порядка выбора) п занятых ячеек из общего числа ячеек т, т. е. равно (ш) . Пусть событие А — заняты фиксированные к ячеек (к ^ п\ Тогда оставшиеся т — к ячеек должны быть заполнены п — к частицами, а это можно сделать (т способами. Поэтому \ п — к /
Р(А) = (ш к)/С™)' Статистике Ферми-Дирака подчиняются электроны, протоны и нейтроны.
Статистика Максвелла-Больцмана. Предполагая, что п различных частиц распределяются по т ячейкам без ограничений на число попавших в каждую ячейку частиц, получаем статистику Максвелла- Больцмана. Поскольку каждая из п частиц может попасть в любую из т ячеек, то общее число элементарных исходов равно mn. Событие А заключается в том, что в первую ячейку попало ni частиц, во вторую — П2 частиц,..., в m-ю — пт частиц (ni + ... + пт = п). Число благоприятных для события А исходов подсчитаем следующим образом. В первую ячейку могут попасть любые пх частиц из п имеющихся первоначально. Поскольку порядок выбора частиц несуществен, то это можно сделать () способами. Как только первая ячейка
заполнена, у нас остается n — ni частиц, и вторую ячейку мы можем заполнить [ П1 ) различными способами. Продолжая эту процедуру и используя основную формулу комбинаторики, получаем, что число благоприятных событию А способов равно
п\(п — nJ!(n — ni — ... — nm_i)! _ п\
nJ (п — nJ! П2! (п — Tix — тг^Х '''nm!0!nJ tl^X ... nmX *
Таким образом,
nJ П2!... nm! • mn *
Отметим, что статистика Максвелла-Больцмана представляет собой частный случай так называемой полиномиальной схемы, которую мы рассмотри в параграфе 7 гл. 4. Статистике Максвелла-Больцмана подчиняется идеальный газ.
Пример 8. Поток из 4 частиц поступает в счетчик, состоящий из трех датчиков. Каждая частица с одинаковой вероятностью может попасть в один и только один из этих датчиков. Поток считается зарегистрированным, если он отмечен хотя бы двумя датчиками. Найдем вероятность события А,
заключающегося в том, что поток будет зарегистрирован. Удобно перейти к дополнительному событию Л, которое происходит тогда и только тогда, когда все 4 частицы попадают либо в первый, либо во второй, либо в третий датчик. Но вероятность всем 4 частицам попасть в первый датчик определяется статистикой Максвелла-Больцмана, причем п = 4, т = 3, щ = 4, П2 = О, пз = 0. Учитывая, что вероятность попадания всех 4 частиц во второй и третий датчики точно такая же, как и в первый, получаем
РМ> = 3-?'«о™ = 27и Р(Л) = 1 - 1/27 = 26/27. □
Геометрическая вероятность
Пусть теперь рассматривается непрерывная вероятностная схема, т. е. пространство элементарных исходов представляет собой некоторую ограниченную область (отрезок, многоугольник, круг, параллелепипед, шар и т. п.) /с-мерного пространства (прямой, плоскости, трехмерного пространства и т. д.). Естественно желание обобщить принцип равновероятности элементарных исходов классической вероятности и на эту схему. Однако в непрерывном случае число элементарных исходов бесконечно и, воспользовавшись принципом равновероятности, мы не смогли бы приписать каждому элементарному исходу иной вероятности, кроме нуля. Поэтому подойдем к определению геометрической вероятности по-другому. Рассмотрим сначала отрезок [0, 1] и предположим, что идеальная частица равномерно бросается на этот отрезок. Понятию равномерности придадим следующий смысл. Каждому отрезку [а, Ь\ (0 < а < b < 1), независимо от его расположения, поставим в соответствие одинаковую вероятность попадания частицы на этот отрезок, равную его длине: Р[а, b\ = b — а, а затем эту вероятность попытаемся с помощью трех аксиом Pl, Р2 и РЗ' продолжить на любое подмножество точек отрезка [0, 1]. Очевидно, что вероятность попадания частицы в любую точку х равна нулю, вероятность попадания на любой интервал (а, Ь) или полуинтервал (а, Ь\, [а,Ь) (на отрезке [0, 1]) равна b — а, вероятность попадание в любое множество точек на отрезке [0, 1], состоящее из конечного и даже счетного объединения непересекающихся отрезков, интервалов и полуинтервалов равна сумме их длин, т. е. «длине», или лучше сказать, мере этого множества. В частности, вероятность попадания частицы в множество рациональных точек равна нулю.
Однако, как уже говорилось, имеется препятствие к такому продолжению, связанное с существованием подмножеств, которым разумным образом с сохранением трех аксиом вероятность мы никак не сможем приписать. Поэтому приходится ограничиваться только элементами борелееской а-алгебры Ъ, порожденной всевозможными интервалами (т. е. подмножествами, имеющими меру), что, впрочем, более чем достаточно для практических потребностей.
В общем случае геометрическая вероятность определяется совершенно аналогично. Пусть Q — некоторая область, имеющая меру ДС!) (длину, площадь, объем и т. д.), такую, что 0 < ДС!) < сю. Скажем, что точка равномерным образом попадает в Q (реализуется принцип геометрической вероятности), если вероятность Р(Л) попадания ее в каждую область А, являющуюся подобластью Q, пропорциональна мере этой области р(А) или в силу аксиомы нормированности
Пример 9. В круг радиусом R = 1 равномерно бросается точка. Найдем
вероятность события А, заключающегося в попадании этой точки в круг
радиусом г = 1/2 с тем же центром (рис. 2).
Рассмотрим два способа решения этой задачи:
вероятность Р(Л) определяется как отношение площади внутреннего круга к площади внешнего:
Р(Л) = Х = 1’
тгН2 4
заметим, что в силу принципа геометрической вероятности как угол р, так и расстояние р от точки ш до центра О должно быть распределено равномерно. Поскольку точки,
равноотстоящие от центра, все либо одновременно принадлежат меньшему кругу, либо нет, то вероятность попадания в этот круг равна отношению радиусов: Р(Л) = r/R = 1/2.
Итак, мы получили в одной и той же задаче два разных ответа. Причина кроется в том, что понятие геометрической вероятности не инвариантно относительно преобразований рассматриваемой области Q. В частности, в нашем примере при втором способе решения мы считаем, что равновероятно попадание точки в области Ai и Л2, заштрихованные на рис. 3. Но с точки зрения обычного понятия площади, используемого при первом способе решения, это не так. Значит, вероятность существенно зависит от способа определения /|\ понятия «равновероятно» или, иными словами, от
//ХДД того, как мы задали меру р(А). Именно на неинва-
;L риантности понятия геометрической вероятности оту г/??'// носительно преобразований основаны многочислен-
\”/ ные парадоксы, часто приводимые в различных учеб-
\х/Л никах.
Возвращаясь к рассматриваемому примеру, отметим, что в приведенной постановке задачи предпо- Рис. 3чтительным нужно считать первый способ. Однако
не следует думать, что второе решение относится к числу математических фокусов. Представляемая этим решением модель сигнала с равномерно распределенными фазой (углом) и амплитудой (радиусом) находит широкое применение в статистической радиофизике.□
Пример 10. На Землю параллельно плоскости экватора падает поток метеоритов. Найдем вероятность того, что упавший метеорит попадет между 15° и 45° северной широты (событие Л). Естественно предполагать, что поток метеоритов равномерно распределен на плоскости, перпендикулярной плоскости экватора. Если мы теперь спроецируем земной шар на эту плоскость (рис. 4), то получим, что вероятность наступления события А пропорциональна площади р(А) заштрихованной области А. Определим р(А):
7Г/47Г/47Г/2
р(А) = 2Д3 J cos р (/sin р = 2Д3 J cos2 pdp = ^-|(1 + cos р) dp = ^з^ + ^ • тг/12тг/12тг/6
Рис. 4Рис. 4Окончательно получаем
Рис. 4
Рис. 4
Рис. 5
Пример 11. Поступление каждого из двух сигналов в приемник равновозможно в любой момент промежутка времени Т. Найдем вероятность того, что приемник будет «забит» (событие Л), что происходит в том случае, когда промежуток времени между моментами поступления обоих сигналов меньше т. Для этого обозначим моменты поступления сигналов через х и у. Ясно, что для наложения сигналов необходимо и достаточно, чтобы \х — у\ < т. Изобразим х и у как точки внутри квадрата со сторонами Т (рис. 5). Тогда исходы, благоприятные для наложения сигналов, представятся заштрихованной областью А. В силу принципа геометрической вероятности искомая вероятность равна отношению площади заштрихованной фигуры к площади всего
квадрата:квадрата:Р(Л) =Р(Л) =Т2 - (Г - т)2Т2Т2 - (Г - т)2Т2= 1 -= 1 -□□
квадрата:
квадрата:
Р(Л) =
Р(Л) =
Т2 - (Г - т)2
Т2
Т2 - (Г - т)2
Т2
= 1 -
= 1 -
□
□
Пример 12 (задача Бюффона). Плоскость разграфлена параллельными прямыми, отстоящими друг от друга на расстояние 2а. На плоскость наудачу бросается тонкая игла длиной 21 (I < а\ Найдем вероятность того, что игла пересечет какую-нибудь прямую (рис. 6). Для этого прежде всего решим, что в данном случае соответствует понятию «наудачу». Ясно, что если игла бросается с достаточной высоты и ее начальное положение случайно, то под словом «наудачу» естественно подразумевать следующее: во-первых, центр иглы наудачу попадет на отрезок длиной 2а, во-вторых, угол р между иглой и прямой равномерно распределен на [0, тг] и, в-третьих, на величину угла
Рис. 6Рис. 7
не влияет расстояние от центра до прямой. Поэтому изобразим результат бросания точкой с координатами (р,х), лежащей внутри прямоугольника со сторонами тг и а (рис. 7), где х — расстояние от центра иглы до ближайшей прямой. Из рис. 6 видно, что пересечение иглы с прямой происходит тогда и только тогда, когда х < Zsin^. Искомая вероятность равна отношению площади заштрихованной области Л к площади прямоугольника:
1 791
Р(Л) = — Z sin р dp = — .
a7V J(2ТГ
о
Задача Бюффона может быть использована для экспериментального определения числа тг. Так, Вольф (Цюрих) бросал иглу 5000 раз и получил 2532 пересечения с прямыми; при этом 2а = 45 мм, 2Z = 36 мм. Заменяя теперь Р(Л) частотой пересечения прямых / = 2532/5000 = 0,5064, получаем эмпирическое значение числа тг:
2Z
тг = — = 3,1596.
Более точное определение числа тг таким путем вряд ли возможно, поскольку, с одной стороны, здесь влияют физические особенности опыта (толщина иглы, неточность при определении факта пересечения и т. д.), с другой стороны, как мы увидим дальше, необходимо производить очень большое число испытаний.□
Глава 3
УСЛОВНАЯ ВЕРОЯТНОСТЬ.НЕЗАВИСИМОСТЬ СОБЫТИЙ.
ФОРМУЛЫ ПОЛНОЙ ВЕРОЯТНОСТИ И БАЙЕСА
Одним из основных понятий при аксиоматическом построении теории вероятностей является понятие условной вероятности. Именно условная вероятность оценивает то изменение в степени уверенности о наступлении некоторого события, которое происходит после получения дополнительной информации. С помощью условной вероятности определяется независимость событий, формализующая понятие не связанных между собой опытов. Использование условной вероятности в ряде случаев позволяет существенно упростить решение задачи (формулы умножения вероятностей, полной вероятности и Байеса).
Условная вероятность
Рассмотрим два события А и В. Пусть известно, что событие А наступило, но неизвестно, какой конкретно из элементарных исходов щ, составляющих событие А, произошел. Что можно сказать в этом случае о вероятности наступления события В?
Пример 1. Событие А — выпадение четного числа очков на игральной кости, событие В — выпадение нечетного числа очков. Поскольку события А и В несовместны, то при наступлении события А событие В уже не может произойти и ему естественно приписать условную вероятность 0. □
Пример 2. Событие А — выпадение 4 или 6 очков на игральной кости, событие В — выпадение четного числа очков. Так как событие А принадлежит событию В, то при наступлении события А событие В обязательно произойдет, т. е. событие В имеет условную вероятность 1. □
Пример 3. Событие А — выпадение четного числа очков на игральной кости, событие В — выпадение не менее 5 очков. Если событие А наступило, то произошел один из трех элементарных исходов: выпало 2, 4 или 6 очков. Но из этих трех исходов только один исход (выпадение «шестерки») влечет за собой появление события В. В соответствии с принципом классической вероятности в данном случае естественно определить условную вероятность события В числом 1/3. Заметим, что в этом примере условная вероятность появления события В совпадает с безусловной. □
Из приведенных примеров видно, что условная вероятность может как совпадать с безусловной вероятностью, так и быть меньше или больше нее. Саму же условную вероятность Р(В | А) события В при условии события А в рамках классической схемы естественно определить как отношение числа исходов тдв, благоприятных для
совместного осуществления событий А и В, к числу исходов тд, благоприятных для события Л, т. е.
Р(В I Л) = ЛЛ5_.
7 тд
Поделим теперь числитель и знаменатель полученного выражения на общее число п элементарных исходов:
тдВ
Р(В|.4),^ = М.
события А\события А\Последняя формула уже может служить общим определением условной вероятности при аксиоматическом подходе. Итак, условной вероятностью события В при условии события А (Р(Л) ^ 0) называется отношение вероятности пересечения событий А и В к вероятности
события А\
события А\
Нетрудно видеть, что условная вероятность обладает всеми свойствами безусловной вероятности. Так,
P(Q | Л) = 1, Р(0 | Л) = 0, Р(С + В | Л) = Р(С | Л) + Р(В | А).
Иногда бывает полезным равенство
Р(В\А) = 1 - Р(В\А),
вытекающее из соотношения
1 = P(Q | Л) = Р(В + В | Л) = Р(В | Л) + Р(В | А).
Пример 4. При переписи населения Англии и Уэльса в 1891 г. оказалось, что темноволосые отцы и темноволосые сыновья составляют 5% обследованных, темноволосые отцы и светловолосые сыновья — 7,9%, светловолосые отцы и темноволосые сыновья — 8,9%, светловолосые отцы и светловолосые сыновья — 78,2%. Найдем условные вероятности рождения светловолосого сына у темноволосого и светловолосого отцов. Пусть событие А означает, что в случайно выбранной паре отец-сын светловолосым является отец, событие В — светловолосый сын. Тогда событие А — темноволосый отец, событие В — темноволосый сын и из результатов переписи следует, что Р(АВ) = 0,05, Р(АВ) = 0,079, Р(АВ) = 0,089, Р(АВ) = 0,782. Поэтому
Р(А) = Р(АВ) + Р(АВ) = 0,871, Р(А) = 0,129, и условная вероятность у темноволосого отца родиться светловолосому сыну
Р(В I Л) == 0,612,
v 1 7 Р(Л) 0,129’’
а у светловолосого —
Р(В I Л) = ^Г =0,898.□
v 1 7 Р(Л) 0,871
Пример 5. При трехкратном подбрасывании симметричной монеты выпало два «герба» (событие Л). Определим условную вероятность того, что при втором подбрасывании выпал «герб» (событие В). В этом случае событие АВ состоит в выпадении двух «гербов», один из которых выпал при втором подбрасывании, т. е. содержит тдв = 2 элементарных исходов: «герб»-«герб»-«цифра» и «цифра»-«герб»-«герб». Поскольку всего у нас п = 8 элементарных исходов и мы находимся в рамках классической схемы, то Р(ЛВ) = 1/4. Аналогично, событию А благоприятствуют 3 исхода, и Р(Л) = 3/8. Итак, искомая вероятность
Р(В I Л) = р^в^ = - . □ v 1 7 Р(Л) 3
Пример 6. Электрон может быть с вероятностью 0,6 обнаружен на одной из четырех орбит атома, причем с равной вероятностью — на любой из них, и с дополнительной вероятностью 0,4 не обнаружен вообще. На первых трех орбитах электрон не обнаружен (событие Л). Найдем вероятность обнаружить его на четвертой орбите (событие В) при этом условии. Поскольку вероятность обнаружить электрон на каждой орбите равна 0,6/4 = 0,15, то вероятность не обнаружить электрон на первых трех орбитах Р(Л) = 1 — 3 • 0,15 = 0,55. Событие АВ — электрон не обнаружен на первых трех орбитах и обнаружен на четвертой орбите — совпадает просто с событием В — электрон находится на четвертой орбите и имеет вероятность Р(ЛВ) = Р(В) = 0,15. Искомая вероятность, равная условной вероятности события В при условии события Л, в этом случае имеет вид Р(В | Л) = Р(В)/Р(Л) = 3/11. □
Формула умножения вероятностей
На практике часто происходит так, что известны или достаточно просто определяются именно условные вероятности и с их помощью необходимо вычислить безусловную вероятность некоторого события. Простейшей формулой для решения задач такого типа является формула умножения вероятностей. Пусть имеются события Ль Л2,..., Ап. Тогда, используя понятие условной вероятности, можно написать
Р(ЛП | Л1Л2... Ап_i) —Р(ЛП | Л1Л2... Ап_i) —Р(Л1Л2...ЛП)
Р(ЛП | Л1Л2... Ап_i) —
Р(ЛП | Л1Л2... Ап_i) —
Р(Л1 Л2... Лп_1)
или, умножая на Р(Л1 Л2... Лп_1),
Р(Л1Л2... Ап) = Р(Л1Л2... Лп_1) • Р(ЛП | Л1Л2... Лп_1).
Аналогичным образом
Р(Л1 Л2... Лп_1) = Р(Л1 Л2... Ап_2) • Р(ЛП_1 | Л1Л2... Лп_2).
Продолжая эту процедуру, получаем
Р(Л!Л2... Ап) = Р(АХ)Р(А2\АХ)Р(А3\АХА2) ... Р(Ап\АхА2... Ап_х).
Последнее соотношение носит название формулы умножения вероятностей.
Пример 7. На 7 карточках написаны буквы л, л, о, о, о, т, т. Из них последовательно выбираются 4 и кладутся слева направо. Найдем вероятность того, что в результате образуется слово «лото» (событие Л). Это — задача на классическую вероятность, и ее можно было бы решить стандартным образом, вычисляя общее число элементарных исходов и число благоприятных для события А исходов. Однако гораздо проще воспользоваться формулой умножения вероятностей. Введем события: Ai — на первой вынутой карточке написана буква л, Л2 — на второй — буква о, Аз — на третьей — буква т и Л4 — на четвертой — буква о. Тогда событие Л представляет собой пересечение событий Ai, А2, Аз и А4 и по формуле умножения вероятностей
Р(Л) = Р(Л1Л2Л3Л4) = Р(Аф Р(Л21 Аф Р(Л31 Л1Л2) Р(Л41 Л1Л2Л3).
Заметим теперь, что в соответствии с принципом классической вероятности безусловная вероятность Р(Лф определяется как отношение числа карточек, на которых написана буква л, к общему числу карточек, т. е. Р(Лф = 2/7. Далее, если событие Ai произошло, то у нас осталось 6 карточек и на трех из них написана буква о. Поэтому Р(Л21 Лф = 3/6. Аналогично, если произошли события Л1 и Л2, то из пяти оставшихся карточек на двух написана буква т, и, значит, Р(Лз|Л1Л2) = 2/5. Наконец, Р(Л4|Л1Л2Лз) = 1/2, поскольку из четырех оставшихся карточек на двух написана буква о. Окончательно получаем9 19 11
Р(Л) = Р(Л,Л2Л3Л4) = ф 1 ■ | ■ 1 = *
Любознательному читателю предлагаем решить эту задачу с помощью комбинаторных методов.□
Пример 8. В некоторых сельских местностях России существовало когда-то следующее гадание. Девушка зажимает в руке шесть травинок так, чтобы концы травинок торчали сверху и снизу; подруга связывает эти травинки попарно между собой сверху и снизу в отдельности. Если при этом все шесть травинок оказывались связанными в одно кольцо, то это должно было означать, что девушка в текущем году выйдет замуж. Найдем вероятность того, что травинки при связывании наудачу образуют кольцо (событие А). Для этого предположим сначала, что связаны верхние концы травинок. Тогда у нас образуется 3 пары травинок, и нижние концы этих пар будем последовательно связывать. Пусть событие Ai означает, что при первом связывании у нас не образуется кольцо (рис. 1), т. е. не будут связаны между собой нижние концы одной и той же пары. Событие А2 — после
второго связывания не образуется кольцо. /fх7
Тогда событие А представляет собой Пересе- /И/
чение событий А\ и А2, и по формуле умно- 2'/ /’/
жения вероятностей Р(А) = P(Ai) Р(Д2 | Ai). j//
Теперь заметим, что при первом связывании J/ '-/
событие Ai происходит только тогда, когда/
мы не свяжем между собой концы одной па
ры, а это возможно в 4 случаях из 5. ПоэтомуРис- 1
P(Ai) = 4/5. Если событие Ai произошло, то
для наступления события А^ необходимо связать построенную цепь и оставшуюся пару, что в свою очередь можно сделать 2 способами из 3. Значит, Р(А21 Аф = 2/3 и Р(А) = 4/5 • 2/3 = 8/15.
Предоставляем читателю возможность решить эту задачу для 2п травинок.□
Независимость событий
Следующим важным понятием теории вероятностей является независимость событий. События А и В называются независимыми, если условная вероятность события В при условии А совпадает с безусловной вероятностью события В, т. е. Р(В | А) = Р(В).
Введенное таким образом понятие скорее можно было бы назвать независимостью события В от события А. Покажем, что на самом деле понятие независимости симметрично относительно перестановки событий А и В, т. е. если событие В не зависит от события А, то событие А также не зависит от события В. Для этого подставим вместо условной вероятности Р(В | А) ее значение Р(В | А) = Р(АВ)/Р(А). Тогда независимость событий А \\ В эквивалентна выполнению равенства
Р(АВ) = Р(А) Р(В),
откуда и следует симметричность понятия независимости. Отметим, что последнюю формулу также можно было бы взять в качестве определения независимости. Этим определением можно пользоваться даже в том случае, когда вероятность события А или В равна нулю.
Если событи_я А и В независимы^ то независимыми являются также пары событий АиВ, АиВ, Ан В. В частности,
Р(А | В) = 1 - Р(А | В) = 1 - Р(А) = Р(А),
что означает независимость событий А и В. Аналогично доказывается независимость остальных пар событий.
Пример 9. Проводится опыт, состоящий из двукратного подбрасывания симметричной монеты. Событие А — выпадение «герба» при первом подбрасывании, событие В — выпадение «герба» при втором. В этом случае, как мы знаем, пространство элементарных исходов Q состоит из четырех исходов. Событию А благоприятствуют два исхода, событию В — два исхода и событию АВ — один исход. Значит, Р(А) = Р(В) = 1/2, Р(АВ) = 1/4. События А и В независимы, поскольку Р(АВ) = Р(А)Р(В). □
Этот пример подтверждает с точки зрения классической вероятности интуитивный принцип «несвязности» результатов испытаний такого типа, как подбрасывание монеты, бросание игральной кости и т. д. Однако на практике поступают обычно обратным образом. Пусть имеются два различных испытания, причем в первом из них с вероятностью Р(А) может произойти событие А, а во втором с вероятностью Р(В) — событие В. Рассмотрим «обобщенный опыт», результатами которого являются пары АВ = (А, В\ АВ = (А,В\ АВ = (А, В) и АВ = (А, В\ Если априори известно, что результаты испытаний не связаны между собой, то вполне естественно считать события А и В независимыми и положить Р(АВ) = Р(А) Р(В), Р(АВ) = Р(А) Р(В) и т. д. В частности, в рассмотренном приме-
ре, исходя из двух однократных подбрасываний монеты и независимости результатов подбрасываний, нужно положить для события АВ — выпадение «гербов» при обоих подбрасываниях вероятность Р(АВ) = Р(Л) Р(В) = 1/2 • 1/2 = 1/4.
Пример 10. Известно, что вероятность двум близнецам быть одного пола примерно равна 0,64, причем вероятность рождения мальчика близка к 0,51. Найдем вероятность того, что второй из близнецов — мальчик (событие В), при условии, что первый из них — также мальчик (событие Л). Так как пары мальчик-девочка и девочка-мальчик равновероятны, то вероятность события А — первый ребенок будет мальчиком, а второй — девочкой равна Р(ЛВ) = (1 — 0,64)/2 = 0,36/2 = 0,18. Поскольку из условия задачи Р(Л) = 0,51, то Р(В\А) = 0,18/0,51 = 6/17 и Р(В | Л) = 1 - Р(В | Л) = 11/17, т. е. условная вероятность появления второго мальчика при условии появления первого мальчика существенно больше безусловной вероятности рождения мальчика. Поэтому гипотезу о независимости событий Л и В следует признать ошибочной. С точки зрения генетики это связано с рождением так называемых однояйцевых близнецов. □
Определим теперь понятие независимости событий в совокупности. Назовем события А, В и С независимыми (в совокупности), если Р(ЛВ) = Р(Л) Р(В), Р(АС) = Р(Л) Р(С), Р(ВС) = Р(В) Р(С) и, кроме того, Р(АВС) = Р(Л) Р(В) Р(С). Аналогично определяется понятие независимости в совокупности и большего числа событий: вероятность пересечения любых двух различных событий равна произведению вероятностей этих событий; вероятность пересечения любых трех событий равна произведению их вероятностей;...; вероятность пересечения всех событий равна произведению вероятностей. Из независимости событий в совокупности вытекает их попарная независимость. Однако из попарной независимости, вообще говоря, независимость в совокупности не следует, как показывает следующий простой пример (С. Н. Бернштейн).
Пример 11. Три грани правильного тетраэдра раскрашены в синий, красный и зеленый цвета, а в раскраске четвертой грани присутствуют все эти цвета. Событие А — тетраэдр упал на грань, в раскраске которой присутствует синий, событие В — красный и событие С — зеленый цвет. Поскольку каждый цвет присутствует в раскраске двух граней из четырех, то Р(Л) = Р^В) = Р(С) = 1/2. Далее, два цвета присутствуют в раскраске одной грани. Поэтому Р^АВ) = Р^ВС) = Р(ЛС) = 1/4, и события Л, В и С попарно независимы. Однако все три цвета присутствуют в раскраске также только одной грани и, значит, Р(АВС) = 1/4 А Р(Л) Р(В) Р(С) = 1/8. Таким образом, хотя события А, В и С попарно независимы, они зависимы в совокупности. □
Заметим, что когда говорят о независимости событий Ль ..., Лп, то подразумевают именно независимость событий в совокупности в отличие от попарной независимости событий Ль ..., Ап.
В заключение этого параграфа приведем формулу для вероятности объединения независимых событий. Пусть Л = Л1 U ... U Ап. Тогда в соответствии с формулой де Моргана А = А\ ...Ап. Если события Ль...,Ап независимы, то события А\,...,Ап также независимы и,
значит, Р(Л) = Р(Л1)... Р(ЛП). Отсюда окончательно получаем для вероятности объединения независимых событий формулу
р(Л) = 1 - [1 - Р(Л[)]... [1 - Р(ЛП)].
Пример 12. Пусть некоторое техническое устройство состоит из п элементов. Назовем соединение этих элементов последовательным (рис. 2), если отказ любого элемента влечет за собой отказ всего устройства. Пусть Аг
Рис. 2
(г = 1,..., п) — событие, заключающееся в отказе г-го элемента. Тогда событие А — отказ всего устройства может быть записано в виде А = Ai U ... U Ап. Предполагая, что отказы отдельных элементов независимы, получаем для вероятности отказа всего устройства выражение
□□Р(Л) = 1 — [1 — Р(Л,)]... [1 — Р(ЛП)].
□
□
Наряду с последовательным соединением элементов применяется также параллельное соединение (рис. 3), при котором отказ устройства происходит только при отказе всех элементов. Очевидно, что при параллельном соединении событие А — отказ всего устройства представляет собой пересечение событий Аг (г = 1,...,п) — отказов отдельных " элементов,и в случае независимости отказов
Р(Л) = Р(Л1)... Р(ЛП).
.Разумеется, надежность реальных технических
устройств определяется более сложными структурными схемами, чем последовательное или параллельное соединение элементов. Однако довольно ча
сто встречаются устройства, структурную схему надежности которых можно
представить в виде отдельных компонентов, содержащих только последовательные или только параллельные соединения элементов. В таком случае расчет надежности устройства можно произвести поэтапно, объединяя на каждом этапе
либо последовательно, либо параллельно соединенные элементы и заменяя их одним «обобщенным» элементом.
Например, пусть нужно определить вероятность отказа состоящего из трех элементов устройства, структурная схема надежности которого приведена на рис. 4. Известно, что элементы отказыва
ют независимо друг от друга и вероятно-рИС- 4
сти отказов элементов 1, 2, 3 за заданное
время работы равны соответственно Р(Л1) = Р(Л2) =0,1, Р(Лз) = 0,01. Для нахождения вероятности Р(Л) отказа всего устройства заменим сначала параллельно соединенные элементы 1 и 2 «обобщенным» элементом 4, вероятность
отказа которого в соответствии с приведенным ранее правилом равна Р(Л4) = Р(Л|) Р(Л2) = ОД2 = 0,01.
Теперь осталось заметить, что структурная схема надежности всего устройства представляет собой последовательное соединение элемента 3 и «обобщенного» элемента 4. Значит,
Р(Л) = 1 - [1 - Р(Л3)][1 - Р(Л4)] = 1 - (1 - 0,01)2 ^ 0,02.
Отметим, что при вычислении вероятности отказа устройства мы фактически пользовались следующим представлением события Л:
А = (Л1Л2) U Л3.
Отсюда в силу формул де Моргана для события А — безотказной работы устройства на заданном промежутке времени — получаем выражение
А = (Л1 U Л2)Л3,
где событие At (г = 1,2,3) — безотказная работа г-го элемента.
Формула полной вероятности
Предположим, что в результате опыта может произойти одно из п событий, во-первых, несовместных и, во-вторых, составляющих полную группу событий Н^, т. е. H^Hj = 0 при г у и Н\ + ... + Нп = Q. События, удовлетворяющие этим двум требованиям, будем называть
Рис. 5
гипотезами. Пусть также имеется некоторое событие Л, и нам известны Р(Я1),..., Р(ЯП), Р(Л | Я1),..., Р(Л | Яп). Задача состоит в определении безусловной вероятности Р(Л). Для решения представим событие А в следующем виде:
Л = ЛИ = Л(Я1 + ... + Яп) = ЛЯ1 + ... + ЛЯП
(см. рис. 5). Тогда
Р(Л) = Р(ЛЯ1) + ... + Р(ЛЯп).
По формуле умножения вероятностей
Р(ЛЯ]) = Р(Я[) Р(Л | Я]), Р(ЛЯП) = Р(ЯП)Р(Л|ЯП).
Поэтому
Р(Л) = p(^)p(a I яо +... + Р(ЯП)Р(Л I Яп).
Выведенная формула носит название формулы полной вероятности. При всей своей простоте она играет весьма существенную роль в теории вероятностей.
Пример 13. Частица пролетает мимо трех счетчиков, причем она может попасть в каждый из них с вероятностями 0,3, 0,2 и 0,4. В свою очередь, если частица попадает в первый счетчик, то она регистрируется с вероятностью 0,6, во второй — с вероятностью 0,5 и в третий — с вероятностью 0,55. Найдем вероятность того, что частица будет зарегистрирована (событие Л). В нашем случае гипотеза Н\ — частица попадает в первый счетчик (Р(Я1) = 0,3), Д? — во второй (Р(Я2) = 0,2) и Яз - в третий (Р(Яз) = 0,4). События Hi, Н^ и Из не пересекаются, однако они не составляют полной группы событий. Для того чтобы получить полную группу событий, нужно добавить событие Н4, заключающееся в том, что частица не попадет ни в один счетчик. Ясно, что Р(Я4) = 1 - Р(Я) - Р(Я2) - Р(Я3) = 1 - 0,3 - 0,2 - 0,4 = 0,1. Условные вероятности события Л при условии каждой гипотезы равны: Р(Л|Н1) = 0,6, Р(Л | Н^ = 0,5, Р(Л | Н3) = 0,55 и Р(Л | Я4) = 0. По формуле полной вероятности имеем
Р(Л) = 0,3 • 0,6 + 0,2 • 0,5 + 0,4 • 0,55 + 0,1 • 0 = 0,5. □
Формула Байеса
Во многих приложениях теории вероятностей встречается следующая задача. Пусть до опыта имеются гипотезы Hi,..., Яп. После опыта становится известной информация о его результатах, но не полная. А именно, результаты наблюдений показывают, не какой конкретно элементарный исход и из пространства элементарных исходов Q произошел, а что наступило некоторое событие А. Считая, что до опыта были известны (априорные) вероятности гипотез Р(Я1),..., Р(ЯП) и условные вероятности Р(Л|Я1),..., Р(Л|ЯП), необходимо определить (апостериорные) вероятности гипотез Р(Я1 | Л),..., Р(Нп | А).
Для решения поставленной задачи вспомним, что по определению условной вероятности
р(я,|а) = Е4£"1>
и по формуле умножения вероятностей
Р(ЛЯг) = Р(Яг)Р(Л|Яг).
ПоэтомуПоэтому
Поэтому
Поэтому
Полученное выражение носит название формулы Байеса.
в видев видеПодставляя вместо вероятности Р(Л) ее значение, вычисленное по формуле полной вероятности, формулу Байеса можно переписать также
в виде
в виде
Н I = P(Hj)P(A | Hj)
} Р(ЯфР(Л | Яф + ... + Р(ЯП)Р(Л | Яп) •
Формула Байеса находит широкое применение в математической статистике.
Пример 14. Три завода выпускают одинаковые изделия, причем первый завод производит 50%, второй — 20% и третий — 30% всей продукции. Первый завод выпускает 1% брака, второй завод — 8% и третий — 3%. Наудачу выбранное изделие оказалось бракованным (событие Л). Найдем вероятность того, что оно изготовлено на втором заводе. У нас имеется три гипотезы: Н\ — изделие изготовлено на первом заводе, Н2 — на втором заводе и Из - на третьем. По условию задачи Р(Яф = 0,5, Р(Я2) = 0,2, Р(Я3) = 0,3, Р(Л|Я1) = 0,01, Р(Л|Я2) = 0,08, Р(Л | Я3) = 0,03. Условная вероятность того, что бракованное изделие изготовлено на втором заводе, определяется формулой Байеса:
р/я | л) =Р(Н2)Р(Л|Я2)=
k 21Р(Н1)Р(А|Я|) + Р(Н2)Р(А|Н2) + Р(Яз)Р(Л|Н3)
_0,2-0,08_ 8
“ 0,5 ■ 0,01 + 0,2 ■ 0,08 + 0,3 ■ 0,03 “ Тб "
Итак, несмотря на то что продукция второго завода составляет 1/5, его доля в браке больше половины.□
Пример 15. Два охотника одновременно стреляют одинаковыми пулями в медведя. В результате медведь был убит одной пулей (событие Л). Как охотники должны поделить шкуру убитого медведя, если известно, что вероятность попадания у первого охотника 0,3, а у второго — 0,6? Снова воспользуемся формулой Байеса. Однако предварительно определим гипотезы. Гипотеза Яц попал первый охотник, второй промахнулся; гипотеза Я2: попал второй, первый промахнулся. События Я1 и Я2 несовместны, однако не составляют полной группы событий. Поэтому введем еще две гипотезы: Яз — попали оба охотника и Я4 - оба промахнулись. Заметим, что событие А может происходить тогда и только тогда, когда произошла либо гипотеза Я1, либо гипотеза Я2, т. е. Р(Л | Яф = Р(Л | Я2) = 1, Р(Л | Я3) = Р(Л | Я4) = 0. Кроме того, делая естественное предположение, что попадания охотников в медведя не зависят друг от друга, получаем: Р(Я3) = 0,3 • 0,6 = 0,18, Р(Я4) = (1 - 0,3) х х (1 - 0,6) = 0,28,Р(Я1) = 0,3 • (1 - 0,6) = 0,12,Р(Я2) = (1 - 0,3) х
х 0,6 = 0,42. Теперь мы в состоянии применить формулу Байеса, согласно К0Т0Р°Й0 12-12
Р(Я1 I Л) == - ,
v 1 70,12.1 +0,42.1 +0,18.0 + 0,28.09
Р(Я21 Л) =°ТШ= - .
0,12-1 +0,42-1 +0,18-0 + 0,28-09
Таким образом, при справедливом дележе первый охотник должен получить 2/9 шкуры, т. е. меньше 1/4, в то время как, на первый взгляд, казалось, что ему причитается 1/3 шкуры.□
Пример 16. В группе 15 студентов. Из них: 5 «отличников», 7 «четверочников» и 3 «троечника». Известно, что «отличник» с вероятностью 0,9 получает на каждом экзамене «отлично» и с вероятностью 0,1 — «хорошо». Аналогично, «четверочник» с вероятностью 0,1 получает «отлично», с вероятностью 0,7 — «хорошо» и с вероятностью 0,2 — «удовлетворительно». Наконец, «троечник» получает с вероятностью 0,1 «отлично», с вероятностью 0,2 — «хорошо» и с вероятностью 0,7 — «удовлетворительно». Один из студентов из этой группы получил на первом экзамене «хорошо». Найдем вероятность того, что на следующем экзамене он получит «отлично». Итак, опыт состоит в последовательной сдаче двух экзаменов. Событие А — студент сдал первый экзамен на «хорошо», событие В — второй экзамен на «отлично». Ясно, что в качестве гипотез надо взять: Нх — студент «отличник», Н2 — «четверочник» и Нз — «троечник». Если бы нам необходимо было найти просто безусловную вероятность события В, то нужно было бы воспользоваться формулой полной вероятности, в которой Р(Нф = 5/15 = 1/3, Р(Я2) = 7/15, Р(Я3) = 3/15 = 1/5, Р(В\НХ) = 0,9, Р(В | Н2) = 0,1 и Р(В | Нз) = 0,1. Однако нас интересует условная вероятность события В при условии А, поэтому мы сначала с помощью формулы Байеса найдем условные вероятности гипотез Нх, Н2 и Нз при условии А. Поскольку Р(А | Нх) = 0,1, Р(А | Я2) = 0,7 и Р(А | Нз) = 0,2, то имеем:
• 0Л1
n/zy I дх —
3
•0,1 +
— • 0,7 + - -0,2
12
3
155
т .0,7
15
_ 49
71
3
•0,1 +
— -0,7+ - -0,2
155
Р(Я3|Л) = 1-Р(Я1|Л)-Р(Я2|Л) = 1.
Таким образом, по полученной на первом экзамене оценке мы обязаны приписать нашему студенту новые вероятности 1/12, 49/60 и 1/10 того, что он «отличник», «четверочник» и «троечник». Теперь для вычисления условной вероятности Р(В | А) воспользуемся формулой полной вероятности:
Р(В | А) = Р(Нх | А) Р(В | НхА) + Р(Я21 А) Р(В | Н2А) + Р(Я31 А) Р(В | Н3А),
в которой вместо вероятностей Р(В) и Р(Н^) (г = 1,2,3) взяты условные вероятности Р(В | А) и Р(Нг | А), а вместо условных вероятностей Р(В | Щ) — условные вероятности Р(В | НгА) (справедливость этой формулы мы предлагаем читателю проверить самостоятельно). Тогда, предполагая, что для студента одной успеваемости результат следующего экзамена не зависит от результата предыдущего, т. е. Р(В | НгА) = Р(В | Нг), получаем окончательно
Р(В | А) = Р(Нх | А) Р(В | Нх) + Р(Я21 А) Р(В | Н2) + Р(Я31 А) Р(В | Н3) =
111
— -0,9+ — -0,1 + — -0,1 = -
12’60106
Для лучшего усвоения этого примера рекомендуем читателю построить пространство элементарных исходов Q (в данном случае оно будет состоять из 27 «троек» — «успеваемость-оценка на первом экзамене-оценка на втором экзамене») и определить на нем вероятность. При определении вероятности нужно учитывать, что оценки на каждом экзамене для студентов одной успеваемости независимы.
Вообще говоря, можно отказаться и от условия независимости оценок на каждом экзамене. Тогда в формуле полной вероятности нужно вместо условных вероятностей Р(В | Н^ использовать условные вероятности Р(В|ДВг), т. е. учитывать не только успеваемость студента, но и его предыдущую оценку. Разумеется, модель экзаменов должна быть тоже более тонкой, т. е. необходимо задать для студента каждой успеваемости вероятность получения им любых оценок на двух последовательных экзаменах. □
Глава 4
СХЕМА БЕРНУЛЛИ
Во введении мы говорили, что теория вероятностей имеет дело с такими явлениями, при которых испытания можно повторять, по крайней мере теоретически, бесконечное число раз, и при этом появление или непоявление некоторого наблюдаемого события в каждом испытании не будет зависеть от исходов предыдущих испытаний. Сейчас мы рассмотрим более подробно эту схему, носящую в теории вероятностей название последовательности независимых одинаковых испытаний, или схемы Бернулли, основываясь на аксиоматическом определении вероятности и уже введенном нами понятии независимости событий.
Итак, опыт состоит в n-кратном повторении одинаковых испытаний, в каждом из которых может с вероятностью р наступить некоторое событие (будем говорить в этом случае, что произошел «успех») или с вероятностью q = 1 — р не наступить (произошла «неудача»). Результат каждого опыта можно записать в виде последовательности УНН.. .У, состоящей из п букв У и Н, причем буква У (или Н) на г-м месте означает, что в г-м испытании произошел успех (или неудача). Пространство элементарных исходов Q состоит из 2П исходов, каждый из которых отождествляется с определенной последовательностью УНН...У (ст-алгебра событий 93 включает 22 событий!). Заметим теперь, что в силу независимости испытаний мы обязаны сопоставить каждому элементарному исходу си = ... вероятность Р(ш) = Р(...) = pqq.. .р, причем буква р (или q) в произведении повторяется столько раз, сколько раз произошел успех (или неудача). Типичным представителем схемы Бернулли является п-кратное подбрасывание несимметричной монеты, причем, например, «успех» означает выпадение «герба», а «неудача» — «цифры».
Формула Бернулли
Вычислим вероятность Рп(т) получить в п испытаниях ровно т успехов. Событие Ат — в п испытаниях произошло ровно т успехов — состоит из тех элементарных исходов, в которых буква У появляется ровно т раз. Для того чтобы подсчитать число таких исходов, заметим, что оно совпадает с числом способов, которыми можно расставить т букв У на п местах. Поскольку порядок, в котором мы расставляем буквы, нас не интересует, то мы имеем дело с сочетаниями и число способов равно ( п ) . С другой стороны, каждый элементарный исход, в котором интересующая нас буква У встречается ровно т раз, как мы знаем, имеет вероятность pmqn~m. Окончательно получаем для вероятности Р(ДШ) = Pn(jn) наступления т успехов в п независимых испытаниях формулу Бернулли*.
Ри(пЬ= PApmQu"m (m = 0,1,2,,п).
Данное выражение носит также название биномиального закона, поскольку Рп(т) можно получить как коэффициент при zm разложения по степеням z бинома (pz + q)n. Заметим, что последнее выражение представляет собой производящую функцию (^-преобразование) для биномиального закона (см. параграф 3 гл. 8); аппарат производящих функций широко используется в теории вероятностей.
Пример 1. В шаре радиусом R находится п молекул идеального газа. Вычислим вероятность того, что ровно т из них будут находиться на расстоянии, меньшем р = XR (0 < А < 1) от центра этого шара. Поскольку каждая из п молекул может находиться в любой точке шара независимо от остальных, искомая вероятность определяется с помощью формулы Бернулли. При этом для вычисления вероятности р попадания одной молекулы в шар радиусом р (успех) можно воспользоваться схемой геометрической вероятности, т. е.
Тогда по формуле Бернулли окончательно получаем
Рп(т) = ( nV™(l - A3)"-™□
\т/
Пример 2. Частица пролетает последовательно мимо 6 счетчиков. Каждый счетчик независимо от остальных отмечает ее пролет с вероятностью р = 0,8. Частица считается зарегистрированной (событие Л), если она отмечена не менее чем двумя счетчиками. Найдем вероятность зарегистрировать частицу. В соответствии с аксиомой сложения искомую вероятность Р(Л) можно представить в виде
Р(Л) = Р(Л2) + Р(Л3) + Р(Л4) + Р(Л5) + Р(Л6),
где Аг — событие, заключающееся в том, что частица отмечена ровно г счетчиками. Теперь для определения Р(Л^) можно было бы воспользоваться формулой Бернулли, однако мы предварительно перейдем к дополнительному событию А — частица либо не отмечена ни одним счетчиком, либо отмечена только одним. Тогда
Р(Л) = Р(Л0) + Р(Л1) = Р6(0) + Р6(1) =
= (q)A6+ (^pV = (0,2)6 + 6 -0,8 • (0,2)5 = 0,0016
ИР(Л) = 1 - Р(Л) = 0,9984.□
Формула Пуассона
Предположим, что мы хотим определить вероятность выпадения ровно 5100 «гербов» при 10000 бросаний монеты. Ясно, что при таком большом числе испытаний использование формулы Бернулли весьма затруднительно с точки зрения вычислений. Поэтому возникает естественное желание иметь простые, но достаточно точные приближенные формулы для вычисления Рп(т) при больших п. Такие формулы
существуют и определяются теоремой Пуассона, а также локальной и интегральной теоремами Муавра-Лапласа.
Начнем с наиболее простой из них — формулы Пуассона. Формула Пуассона применяется тогда, когда наряду с большим значением числа испытаний п мала вероятность успеха р. Рекомендации по применению предельных формул (в том числе и формулы Пуассона) мы дадим ниже. Сейчас же сформулируем теорему Пуассона. Строго математически теорема Пуассона опирается на довольно сложное понятие схемы серий, поэтому ниже мы приведем «инженерную» интерпретацию этой теоремы.
Теорема Пуассона. Пусть число испытаний п в схеме Бернулли велико, а вероятность успеха р в одном испытании мала, причем мало также произведение А = пр. Тогда Рп(т) определяется по приближенной формуле (формула Пуассона)
е-Х (т = 0, 1,2,..., п).
Доказательство. Запишем формулу Бернулли
73 (Г П \ т / 1 vn-m Тг(п — 1) . . . (77 — т + 1) т / 1 \п-т
Рп(т) = ( р (V-p)= —-р (V-p)
\т/т\
или, с учетом обозначения А = пр,
/ х Am /1А\ п 77 — 1 п- 277 — 777 + 1 /1А\ -т
Рп (т = —- 1 - -... •
777! \77/777777 X77 /
Как известно, (1 — Х/п)п £з е-л при больших п. Кроме того, если п велико, то (n — l)/n 1, (n — 2)/n1,..., (п — т + l)/n 1 и (1 — X/n)-m 1.
Поэтому
РДт)«Уе"\777!
что и требовалось доказать.□
Совокупность вероятностей Р(т; А) = Хте-Х/т\ (т = 0, 1,...) называется распределением Пуассона.
Значения функции Р(т; А) для некоторых А приведены в табл. 1 приложения.
Отметим, что формула Пуассона справедлива также по отношению к числу неудач, но только в том случае, когда мало X' = nq.
Формулы Муавра-Лапласа
Если в схеме Бернулли наряду с числом испытаний п велики также значения пр и nq, то следует применять формулы Муавра-Лапласа — локальную или интегральную. При этом локальную формулу Муавра- Лапласа, как следует из самого названия, необходимо применять в том случае, когда нас интересует вероятность получить ровно т успехов в п испытаниях, а интегральную — если определяется вероятность получить число успехов, заключенное в пределах от тх до m2-
Так же, как и теорема Пуассона, локальная и интегральная теоремы Муавра-Лапласа приводятся в «инженерной» трактовке.
Локальная теорема Муавра-Лапласа. Если в схеме Бернулли число испытаний п велико, то для всех m справедлива приближенная формула (локальная формула Муавра-Лапласа)
ДгрдРп(т) « <ДЖ),
где х = (m — пр) / ^npq, а
Дх) = Е е-ж Д
Одно из первых доказательств теоремы было основано на известной из курса математического анализа формуле Стирлинга
п! епп~п (2тт)-^ —> 1.
Не вдаваясь в математические подробности доказательства, изложим основную его суть. Считая, что п и п — т достаточно велики, и подставляя в формулу Бернулли вместо п\, т\ и (п — т)\ их приближенные значения, вычисленные по формуле Стирлинга, получаем
Vnpq Рп(т) £з — ,
у 2тг V —
где . _ pmqn V
~ ттф-тГт *
Положим х = (т — пр)/^npq. Тогда т = пр + x^npq , п — т = nq — — Xy/npq. Логарифмируя теперь Л, имеем
Поскольку ^qj(пр) и л^р/(nq) малы при больших п, разложим логарифмы в ряд Маклорена по степеням х до второго члена. Тогда
In Л £з -J (пр + xJnpq • — ) +
Iv7 \ у пр 2 пр/
Следовательно,
А и /2
Наконец, учитывая, что m/(np) ^ 1 и (п — m)/(m/) ^ 1 при фиксированном х и больших п, получаем
откуда и вытекает утверждение теоремы.
Значения функции р(х), которую называют плотностью стандартного нормального, или гауссова, распределения, для некоторых х приведены в табл. 2 приложения. Поскольку функция р(х) является четной, то при определении р(х) для отрицательных х нужно воспользоваться равенством р(х) = р(—х\
Интегральная теорема Муавра-Лапласа. Если в схеме Бернулли число испытаний п велико, то для вероятности P{mi < р < m2} того, что число успехов р заключено в пределах от т\ до m2, справедливо приближенное соотношение (интегральная формула Муавра- Лапласа)
P{mi < р < m2} ~ Ф(^) — Ф(^1),
где х\ = (mi — пр)/^npq , Х2 = (m2 — пр)/^npq ,
е~у /2 dy.
Доказательство теоремы проведем, опираясь на локальную теорему Муавра-Лапласа (здесь мы также опускаем отдельные технические детали доказательства). Если ап сю при п сю, то в силу теоремы о среднем и равномерной непрерывности функции р(х)
ж + 1/(2атг)
у(ж) - а„ у(у) dy —> О
ж-1/(2а7г)
равномерно по х. Поэтому, полагая ап = y/npq, из локальной теоремы Муавра- Лапласа находим
ж + 1/(2^прд)
Рп(т) = —=ДхХ +°(^ ) =dy + о( — ),
VnPQу n ' Jу п '
х — \/(2ynpq )
где х = (т — пр)/y/npq. Суммируя по всем т от тх до m2, окончательно получаем
т2x2XX/(2ynpq)ж2
p{mi у < т2Х = У Рп(т) « j у?(у) dy и j у?(у) dy.т=т'^!-1/(2^рд)хх
Тем самым утверждение теоремы доказано.□
Отметим, что интегральная теорема Муавра-Лапласа является следствием более общей центральной предельной теоремы, которую мы докажем другим, более простым способом в гл. 8.
Функция Ф(ж), фигурирующая в интегральной формуле Муавра- Лапласа, носит название функции стандартного нормального, или гауссова, распределения. В силу четности р^ функция стандартного нормального распределения обладает свойством Ф(—х) = 1 — Ф(х). Поэтому в табл. 3 приложения приведены значения не Ф(х), а интеграла X
Лапласа Фо(^) = J p^dy и только для положительных х. Ясно, что о
Фо(ж) является нечетной функцией, т. е. Фо(—х) = —Фо(х) и, кроме того, Ф(ж) = Фо(ж) + 1/2. В терминах интеграла Лапласа интегральная формула Муавра-Лапласа имеет вид
P{mi < у < т2} Фо(^) - Фо(^1)«
Именно этой формулой мы будем пользоваться при расчетах в примерах следующего параграфа.
Замечание. Распределение Пуассона, плотность и функция стандартного нормального распределения играют в приложениях столь существенную роль, что таблицы их значений содержатся практически в любом справочнике, учебнике или задачнике по теории вероятностей или математической статистике (см. также приложение). Однако следует еще раз обратить внимание на то, что довольно часто в таблицах приводятся не значения функции стандартного нормального распределения, а значения интеграла Лапласа Фо(^) или даже функции Ф*(х) = J р(у) dy = 1 — Ф(х). Поэтому, прежде чем пользоваться таблицей, необходимо внимательно посмотреть, значения какой функции даны в этой таблице.
Применение приближенных формулПуассона и Муавра-Лапласа
В этом параграфе мы дадим некоторые рекомендации (носящие, вообще говоря, условный характер) по применению приближенных формул и рассмотрим примеры расчетов с их помощью.
Если число испытаний п = 10—20, то приближенные формулы используются для грубых прикидочных расчетов. При этом формула Пуассона применяется в том случае, когда А = пр или А' = nq изменяются в пределах от 0—2 (при п = 10) до 0—3 (при п = 20); в противном случае необходимо пользоваться формулами Муавра-Лапласа.
Если п = 20—100, то приближенные формулы уже можно использовать для прикладных инженерных расчетов. Формулу Пуассона рекомендуется применять, когда А или А' заключены в следующих пределах: 0—3 (п = 20) — 0—5 (п = 100).
Если п = 100—1000, то практически при любых инженерных расчетах можно обойтись приближенными формулами. Формула Пуассона
используется, когда А или X' изменяются в следующих пределах: 0—5 (п = 100) - 0-10 (п = 1000).
Наконец, при п > 1000 даже специальные таблицы рассчитываются с помощью приближенных формул (правда, для увеличения точности используют специальные поправки). В этом случае для применения формулы Пуассона необходимо, чтобы А или X' лежали в пределах 0—10 и более.
Прежде чем переходить к рассмотрению примеров, скажем несколько слов о погрешностях, возникающих при использовании приближенных формул. Для этого отметим, что знак £з приближенного равенства использовался нами в том смысле, что при увеличении п разность между величинами, связанными этим знаком, стремится к нулю. Иными словами, приближенные формулы гарантируют только малую абсолютную погрешность, но относительная погрешность, т. е. отношение величин, связанных знаком ^, может быть сколь угодно большой. Так, при использовании формулы Пуассона для вычисления биномиальных вероятностей Рп(т) относительная погрешность имеет тенденцию к увеличению с ростом т. Аналогично, в формулах Муавра-Лапласа относительная погрешность увеличивается с ростом абсолютного значения | х | = \(т — пр)/y/npq |, причем в интегральной формуле Муавра-Лапласа такое увеличение происходит только в том случае, когда х\ = (т\ - пр)/y/npq и Х2 = (m2 - пр)/^/npq имеют одинаковый знак. Читатель сможет убедиться в этом из рассмотренных ниже примеров.
Следует отметить, что к настоящему времени доказаны теоремы, позволяющие не только получать более точные приближения биномиальных вероятностей Рп(т), но и оценивать возникающие при этом погрешности. Однако эти результаты довольно сложны и весьма редко используются в инженерной практике.
Пример 3. Счетчик регистрирует попадающие в него частицы с вероятностью р = 0,9. Найдем вероятность Рю(т) того, что он зарегистрировал т (т = 0, 1,..., 10) частиц при условии, что в него попало 10 частиц.
Воспользуемся сначала точной формулой Бернулли, в соответствии с которой Рхо(т) = () 0,9m(l — 0,9)10-т. Результаты расчетов приведены
\ т /
в табл. 1 в графе «Точное значение Рю(т)».
Постараемся применить теперь приближенные формулы. В нашем случае А = пр = 9 велико, однако X' = nq = 1 мало и, значит, рекомендации советуют воспользоваться формулой Пуассона, но по отношению к незарегистрированным частицам. В соответствии с этой формулой
1 10—m —1
Рю(т) « * е = Р(10 - т; 1).
10 — т
По табл. 1 приложения находим
Рю(Ю) Р(0; 1) = 0,36788, Рх^) Р(1; 1) = 0,36788
и т. д. Приближенные значения приведены в табл. 1 в графе «Значение, вычисленное по формуле Пуассона». Для сравнения полученных результатов
в эту же таблицу включена графа «Погрешность». Анализируя приведенные в этой графе числа, видим, что максимальная абсолютная погрешность 0,01954 невелика, чего нельзя сказать о максимальной относительной погрешности. В частности, приближенное значение 0,00051 вероятности Рю(4), вычисленное по формуле Пуассона, почти в 4 раза больше истинного значения 0,00014 этой вероятности.
Наконец, покажем, как воспользоваться локальной формулой Муавра- Лапласа, хотя здесь это и не рекомендуется делать. Тогда Рю(т) мы должны заменить числом т?(жт)/д/Ю -0,9 • 0,1 , где хт = (т - 10 • 0,9)/V10 • 0,9 • 0,1 , а р(х) — плотность стандартного нормального распределения. Результаты вычислений с использованием табл. 2 приложения приведены в табл. 2. Как и следовало ожидать, локальная формула Муавра-Лапласа дает существенно большие погрешности. □
Таблица 1
т
Точное значение Рю(т)
Значение, вычисленное по формуле Пуассона
Погрешность
0
1
2
0,00001
0,00001
3
0,00001
0,00007
0,00006
4
0,00014
0,00051
0,00037
5
0,00149
0,00307
0,00158
6
0,01116
0,01533
0,00417
7
0,05740
0,06131
0,00391
8
0,19371
0,18394
-0,00977
9
0,38742
0,36788
-0,01954
10
0,34868
0,36788
0,01920
Таблица 2
т
Точное значение Рю(т)
Жт
<р(^т)
Значение, вычисленное по локальной формуле Муавра-Лапласа
Погрешность
0
-9,49
1
-8,43
2
-7,38
3
0,00001
-6,32
-0,00001
4
0,00014
-5,27
-0,00014
5
0,00149
-4,22
0,00006
0,00006
-0,00143
6
0,01116
-3,16
0,00271
0,00286
-0,00830
7
0,05740
-2,11
0,04307
0,04540
-0,01200
8
0,19371
-1,05
0,22988
0,24231
0,04860
9
0,38742
0,00
0,39894
0,42052
0,03310
10
0,34868
1,05
0,22988
0,24231
-0,10637
Пример 4. Производится 10 подбрасываний симметричной монеты. Найдем вероятность того, что выпадет ровно т (т = 0, 1,..., 10) «гербов».
Так же, как и в предыдущем примере, сначала по формуле Бернулли Рю(т) = f О,510 вычислим точные значения этих вероятностей (см. табл. 3, \т /
графа «Точное значение Рю(ш)»).
Воспользуемся теперь приближенными формулами. В данном примере А = 5 и Д' = 5, поэтому применим формулу Муавра-Лапласа. Так как нас интересует вероятность выпадения ровно т «гербов», то необходимо применить локальную формулу Муавра-Лапласа, в которой
V^PQ = СЮ-0,5-0,51,5811,
и для т «гербов» т — 5 m — 5 ^т =/= 1•
V10 • 0,5 • 0,51,5811
Результаты вычислений также приведены в табл. 3. Из табл. 3 видно, что и в этом случае максимальная абсолютная погрешность 0,00622 по отношению к максимальному значению Рю(5) = 0,24609 вероятности Рю(т) достаточно мала.
Таблица 3
т
Точное значение Рю(т)
^т)
Значение, вычисленное по локальной формуле Муавра-Лапласа
Погрешность
0
0,00098
-3,16
0,00271
0,00171
0,00073
1
0,00977
-2,53
0,01625
0,01028
0,00051
2
0,04395
-1,90
0,06562
0,04150
-0,00245
3
0,11719
-1,26
0,18037
0,11408
-0,00311
4
0,20508
-0,63
0,32713
0,20690
0,00182
5
0,24609
0,00
0,39894
0,25231
0,00622
6
0,20508
0,63
0,32713
0,20690
0,00182
7
0,11719
1,26
0,18037
0,11408
-0,00311
8
0,04395
1,90
0,06562
0,04150
-0,00245
9
0,00977
2,53
0,01625
0,01028
0,00051
10
0,00098
3,16
0,00271
0,00171
0,00073
Читателю советуем самостоятельно применить формулу Пуассона и убедиться в том, что она дает существенно большие погрешности. □
Пример 5. В тираже «Спортлото 6 из 4 9» участвуют 10 000 000 карточек. Найдем вероятность события Л — хотя бы в одной из этих карточек зачеркнуты 6 выигрышных номеров (максимальный выигрыш). Естественно сразу же перейти к дополнительному событию Л — ни на одну карточку не выпадет максимальный выигрыш. Считая, что в каждой из карточек номера зачеркиваются случайным образом и независимо от остальных, видим, что число карточек, на которые выпал максимальный выигрыш, подчиняется биномиальному закону с параметрами п = 10 000 000 и р = 7 • 10-8 (см. пример 7 в гл. 2). Поскольку X = пр = 0,7, то для определения вероятности Р(Л) воспользуемся формулой Пуассона. Тогда Р(Л) = Рюоооооо(О) ~ Р(0;0,7). Из табл. 1 приложения имеем
Р(0;0,7) = 0,49659, и, значит, Р(Л) 0,50341. Таким образом, вероятность того, что хотя бы одна из 10 000 000 карточек окажется выигрышной, чуть больше 1/2. □
Пример 6. Для определения числа тг экспериментальным путем (см. пример 12 в гл. 2) производится тг = 10000 бросаний иглы длиной I = а/2. Значение тг определяется при этом формулой к = п/у, где у — число пересечений иглой одной из прямых. Найдем вероятность того, что определенное таким образом приближенное значение тг будет заключено в пределах от 3,14 до 3,15 (событие Л). Событие Л происходит тогда и только тогда, когда число пересечений будет лежать в пределах от тх =3175 до т^ = 3184. Вероятность успеха (пересечения иглой одной из прямых при I = а/2) р = 1 /тг = 0,3183, неудачи — q = 1 - р = 0,6817. Поскольку п, пр и nq велики, а по условию задачи нас интересует вероятность попадания на интервал, воспользуемся интегральной формулой Муавра-Лапласа, в которой хх = (3175 - 3183)/V2169 -0,17 и ж2 = (3184 - 3183)/V2169 0,02. По табл. 3 приложения получаем, что Фо(ж1) = -0,06749, Фо(ж2) = 0,00798, и, значит, Р{3175 < у < 3184} ^ Фо(ж2) - Фо(жф = 0,07547. Отсюда можно сделать вывод: 10000 бросаний иглы явно мало для того, чтобы определенное экспериментально число тг с достаточно большой вероятностью лежало в пределах от 3,14 до 3,15. □
Пример 7. В сосуде содержится п = 5,4 • 1022 молекул газа. В некоторый момент времени сосуд делят непроницаемой перегородкой на две части одинаковых объемов. Считая, что каждая молекула с одинаковой вероятностью (р = q = 1/2) может находиться в любой из двух частей, определим вероятность события Л — в одной из частей сосуда будет содержаться молекул по крайней мере на 10-8% (от общего числа молекул в сосуде) больше, чем в другой. Перейдем к дополнительному событию Л, которое, как нетрудно видеть, состоит в том, что число молекул в первой части сосуда заключено в пределах от тх = 2,7( 1022 — 1012) до m2 = 2,7( 1022 + 1012). Поскольку тг весьма велико, a mi и т2 различны, воспользуемся интегральной формулой Муавра- Лапласа, в которой хх = —23, 3 и ж2 = 23,3. Следовательно, Р(Л) Фо(23,3) — — Фо(—23,3) = 2Фо(23,3). В табл. 3 приложения, как и в большинстве других таблиц, значения функции Фо(ж) приводятся для ж, не превосходящих 5. Учитывая монотонное возрастание функции Фо(ж), можно сделать следующую оценку для вероятности Р(Л): Р(Л) > 2Ф0(5) = 2-0,499 999 7 = 0,999 999 4. Значит, Р(Л) < 1 — 0,999 999 4 = 6 • 10-7. Более точные расчеты показывают, что 2Фо(23,3) < 10-100. Как мы видим, вероятность числу молекул в одной части сосуда отличаться от числа молекул в другой даже на 10-8% ничтожно мала. □
Пример 8. Определим, какое число тг подбрасываний симметричной монеты надо произвести, чтобы наблюденная частота f = у/п выпадения «герба» отличалась от вероятности р = 1/2 выпадения «герба» не более чем на 0,01 с вероятностью 0,99. Предположим, что мы произвели тг испытаний. Тогда число у выпадений «герба» должно быть заключено в пределах от тх = тг/2 — 0,01п до ш2 = тг/2 + 0,01п. Воспользуемся интегральной формулой Муавра-Лапласа, в которой р = q = 1/2, хх = —0,01п/(0,5-^) = —0,02д/п, ж2 = 0,01п/(0,5д/п) = 0,02д/п. Тогда P{mi < у < ш2} Фо(О,О2д/п) — Фо(-О,О27Л) = 2Фо(О,О2х/п). Поскольку из условия задачи известно, что P{mi < у < ш2} = 0,99, то получаем
Фо(О,О2д/п) = 0,495. Из табл. 3 приложения находим 0,02д/п = 2,58. Отсюда следует, что л/п = 129 и п = 16 641. Таким образом, необходимо произвести около 17 000 подбрасываний.
Определим теперь, сколько нужно произвести подбрасываний симметричной монеты, чтобы частота выпадения «герба» отличалась от вероятности не более чем на 0,005 (а не на 0,01) с той же вероятностью 0,99. Иными словами, считая, что наблюденная частота / выпадения «герба» является оценкой вероятности р = 1/2 выпадения «герба», мы хотим узнать, во сколько раз нужно увеличить число испытаний, чтобы повысить точность оценки в два раза. Производя аналогичные вычисления, получаем л/п = 258 и п = 66 564. Значит, число подбрасываний нужно увеличить в 4 раза. Если бы мы захотели повысить точность оценки в 3 раза, то нам пришлось бы увеличить число подбрасываний уже в 9 раз. Нетрудно видеть, что выведенный закон присущ схеме Бернулли с любой вероятностью успеха р: оценивая вероятность р с помощью наблюденной частоты /, для улучшения оценки в а раз мы должны увеличить число наблюдений в а2 раз. □
Теорема Бернулли
Предположим, что мы произвели большое число п испытаний Бернулли с вероятностью успеха р. По числу полученных успехов р определим наблюденную частоту / = р/п. Спрашивается, как сильно может отличаться наблюденная частота успеха / от вероятности успеха р? Ясно, что, вообще говоря, частота / может принимать любые значения от 0 до 1. Так, мы вполне можем получить в п испытаниях одни неудачи. Но, как мы знаем, вероятность такого события равна qn, и при больших п она будет весьма мала. Поэтому естественно ожидать, что при больших п частота / с большой вероятностью группируется вокруг вероятности р, что мы сейчас и установим, исходя из интегральной теоремы Муавра-Лапласа.
Пусть е > 0 — любое сколь угодно малое число, а событие А заключается в том, что наблюдаемая в п испытаниях частота / отличается от вероятности по модулю не больше чем на е. Иными словами, событие А происходит тогда и только тогда, когда число успехов в п испытаниях заключено в пределах от т\ = пр — пе до m2 = пр + пе. Теперь, если п велико, то мы можем воспользоваться интегральной теоремой Муавра- Лапласа, в которой х\ = —^y/n/(pq), Х2 = ^vW(w) > и’ значит,
Р(А)^Ф(х2)-Ф(хх).
Но с ростом п х\ —ос, а Ж2 оо. В свою очередь, Ф(—оо) = 0, Ф(оо) = 1. Поэтому, каково бы ни было е > 0, с ростом п вероятность того, что частота / отличается от вероятности р не более чем на е, стремится к 1.
Установленный нами факт предельного постоянства частоты впервые был обнаружен Я. Бернулли, он носит название (слабого) закона больших чисел или теоремы Бернулли. Закон больших чисел и его многочисленные обобщения являются звеном, позволяющим связать
аксиоматическое построение теории вероятностей с эмпирическим законом постоянства частоты, с которого мы начали путешествие в теорию вероятностей. Именно он позволяет обосновать то широкое применение методов теории вероятностей на практике, которое мы имеем в настоящее время.
Однако если произвести более строгий логический анализ, то окажется, что слабый закон больших чисел также не вполне удовлетворяет нашим исходным предпосылкам, поскольку когда мы говорим о стабильности частоты, то имеем в виду процесс, протекающий во времени. Слабый закон больших чисел утверждает только, что при большом, но фиксированном числе испытаний частота мало отличается от вероятности. Слабый закон больших чисел еще не исключает значительных, но редких отклонений частоты от вероятности при последовательном проведении испытаний. Здесь мы пока только отметим, что имеет место усиленный закон больших чисел, который в определенной степени устраняет это логическое несовершенство слабого закона больших чисел.
Более подробно закон больших чисел, как и интегральная теорема Муавра-Лапласа, будут обсуждены нами в гл. 8, посвященной предельным теоремам теории вероятностей.
Вычисление определенных интеграловметодом Монте-Карло
В этом параграфе мы рассмотрим применение предельных теорем для вычисления многократных интегралов.
Начнем с повторения материала, излагаемого в любом курсе математического анализа.
Пусть непрерывная элементарная (т. е. выраженная в элементарных функциях) функция у = /(ж), заданная на отрезке [а, 6], ограничена снизу и сверху числами с и С соответственно, и необходимо вычис- ь
лить определенный интеграл J /(ж) dx. Поскольку линейные замены и = (х — а)/(Ь — а) и х = (у — с)/(С — с) приводят к интегрированию функции, заданной на отрезке [О, 1] и ограниченной снизу нулем и сверху единицей, то в дальнейшем будем считать, что а = 0, b = 1 и 0 < /(ж) < 1.
1
Для вычисления определенного интеграла J /(ж) dx, как должно о
быть известно читателю, необходимо сначала найти какую-либо первообразную F(x) функции f(x) и затем воспользоваться формулой 1
Ньютона-Лейбница, согласно которой J / (х) dx = о
Однако хорошо известно и то, что интеграл далеко не от всякой элементарной функции f(x) может быть выражен также в элемен-
тарных функциях. Тем не менее к настоящему времени разработаны методы приближенного численного интегрирования (простейшими из них являются формулы трапеций и Симпсона), для применения которых нужно вычислить значения функции f(x) в определенных точках xi,..., хт (узлах интегрирования) и затем сложить полученные результаты с некоторыми весовыми коэффициентами. Обычно для достижения требуемой точности достаточно взять весьма небольшое число т узлов интегрирования. Пусть, например, т = 10. Тогда, даже если /(ж) задается сложным аналитическим выражением, современная ЭВМ легко справится с поставленной задачей и почти мгновенно подсчитает значение определенного интеграла.
Усложним задачу и предположим, что нужно вычислить /e-кратный интеграл /•••// (^ь • • •, Хк) dxy ... dxk, где / (жц ..., Хк) так
же заключена между 0 и 1. Теперь уже для применения численных методов необходимо взять т узлов интегрирования х^у,... .х^т для каждой переменной интегрирования xt (г = 1,..., к) и найти значения функции f(xy,..., Хк) для всех комбинаций ху^х,..., Xkjk (общих узлов интегрирования). Поскольку х^г для каждого г может принимать т различных значений, то всего общих узлов интегрирования будет тк.
В частности, если т = 10, то для вычисле-
уния 10-кратного интеграла необходимо подсчи
тать значения /(хц ..., жщ) в 1010 точках, что
представляет собой уже весьма трудоемкую зада
чу даже для самых современных ЭВМ.
Попробуем теперь решить те же самые задачи, привлекая вероятностные соображения. Для ^ kj r этого снова вернемся к однократному интегралу
1
Рис- 1J /(х) dx и вспомним, что геометрически он пред-
0
ставляет собой площадь области А, ограниченной графиком функции /(ж) (рис. 1).
Проведем опыт, заключающийся в бросании случайным образом (т. е. в соответствии с принципом геометрической вероятности) двух точек на отрезок [0, 1]. Обозначим координату одной из них через £, а другой — через р и отложим £ и ту по осям абсцисс и ординат соответственно (см. рис. 1). Проверим выполнение неравенства р < /(£). Справедливость этого неравенства означает, что точка (£,р) попала в область А. Но в соответствии с принципом геометрической вероятности вероятность Р(А) попадания точки (£, р) в область А есть отноше-
1
ние площади А к площади единичного квадрата, т. е. Р(А) = J /(ж) dx. о
Повторим описанный выше опыт п раз и по результатам наблюдений определим частоту / = пд/п появления события А, т. е. попадания точки (£, р) в область А. Поскольку по теореме Бернулли частота /
с ростом п стремится к вероятности Р(Д), то, подставляя вместо вероятности Р(Л) ее значение, получаем приближенное равенство
1
[ /(ж) dx И / =,
J J v 7 J п
О
которое и служит для оценки интеграла по результатам случайных испытаний.
Описанный метод приближенного вычисления определенного интеграла носит название метода статистических испытаний или метода Монте-Карло (город Монте-Карло — место сосредоточения всемирно известных игорных домов). Название «метод Монте-Карло» связано с тем, что проводимые испытания очень напоминают подбрасывание монеты, бросание игральной кости или игру в рулетку.
Имеется существенное качественное различие между погрешностями, возникающими при применении методов численного интегрирования и метода Монте-Карло. В первом случае при выполнении соответствующих условий можно дать гарантированную оценку точности, т. е. указать достоверные границы, в которых обязательно будет заключено истинное значение вычисляемого интеграла. Во втором случае гарантированную оценку нельзя дать в принципе, а можно сказать только, что отклонение значения интеграла, вычисленного методом Монте-Карло, от истинного значения этого же интеграла не превосходит некоторой величины с определенной вероятностью.
Для определения количественного значения погрешности при применении метода Монте-Карло обычно пользуются интегральной формулой Муавра-Лапласа. Пусть истинное значение интеграла
1
| /(ж) dx = Р(Д) = р.о
Тогда для заданного £ событие {приближенное значение / = пд/п интеграла удовлетворяет неравенству |/ — р\ < е} совпадает с событием {число успехов п в схеме Бернулли с вероятностью успеха р удовлетворяет неравенству |па — пр\ < еп^ или, что то же самое, с событием {число успехов пд заключено в пределах от пр — еп до пр + snY Воспользовавшись теперь интегральной формулой Муавра-Лапласа,
1
получаем, что вероятность р£ того, что значение интеграла J /(ж) dx, о
вычисленного методом Монте-Карло, отличается от истинного значения р этого интеграла не более чем на е, задается выражением
р£ Ф в —- Ф - еМ— = 2Ф0— .
\ у pq j \ V pq / V V pq /
3 П. П. Бочаров, А. В. Печинкин
Из последней формулы видно, что если мы хотим уменьшить погрешность г в а раз с сохранением той же вероятности р£, то мы должны произвести в а2 раз больше опытов (см. пример 8).
При вычислении вероятности р£ часто возникает затруднение, связанное с тем, что значение р нам неизвестно. В этом случае обычно идут двумя путями. Первый путь заключается в том, что величина pq заменяется ее верхней оценкой 1/4. Второй путь состоит в замене в формуле для р£ вероятности р ее приближенным значением /.
Более точную оценку погрешности при применении метода Монте- Карло можно получить на основе результатов математической статистики (раздел «Доверительные интервалы»).
Метод Монте-Карло очевидным образом переносится и на тот случай, когда нужно вычислить /с-кратный интеграл
|...|...,Жк) dx\ ...dxk.
0^Ж1,...,ЖА;^1
Единственное отличие заключается в том, что на отрезок [0, 1] необходимо бросать уже не две, а к + 1 точек £i,..., ^, р и проверять выполнение неравенства р < /(£ь ...,&)• Все остальные результаты, в том числе окончательное выражение
|...| /Ць... ,хк) dxx ...dxk и / = ^
0^Ж1,...,ЖА;^1
для приближенного значения интеграла и формула для оценки вероятности р£ погрешности, полностью сохраняются и в этом случае.
Естественно, возникает вопрос: в каких случаях следует применять методы численного интегрирования, а в каких — метод Монте-Карло? Для этого вернемся к началу параграфа и снова предположим, что для достижения заданной точности вычисления однократного интеграла необходимо взять т = 10 узлов интегрирования х^, т. е. фактически произвести 10 «обобщенных» операций, состоящих в определении f(xi). Опыт показывает (см. также пример 8), что для достижения аналогичной точности методом Монте-Карло требуются десятки, а то и сотни тысяч испытаний. Пусть для определенности необходимое число испытаний п = 105. Поскольку, как правило, основное время при вычислениях занимает нахождение значения /(£), то трудоемкость метода Монте-Карло оценивается 105 «обобщенными» операциями, т. е. метод Монте-Карло существенно уступает численным методам. Перейдем к вычислению интеграла кратности к. Тогда, как мы уже говорили, при применении численных методов трудоемкость вычислений составит уже 10fc операций. Однако использование метода Монте-Карло ведет лишь к незначительному увеличению трудоемкости. В частности, при вычислении 5-кратного интеграла трудоемкость обоих методов практически совпадает, а при вычислении интегралов большей кратности
численные методы уже начинают проигрывать методу Монте-Карло, причем тем больше, чем больше кратность интеграла.
Резюмируя изложенное выше, можно сказать, что применение метода Монте-Карло оправдано только при вычислении кратных интегралов, причем в случае большой кратности метод Монте-Карло просто не имеет конкурентов со стороны методов численного интегрирования.
К достоинствам метода Монте-Карло можно отнести и то, что погрешность при вычислении интеграла с его помощью вообще не зависит от свойств гладкости функции /(ж), в то время как для получения заданной точности при численном интегрировании необходимо выполнение ограничений на производные функции /(ж). В частности, метод Монте-Карло с одинаковым успехом применим для интегрирования как непрерывных функций, так и функций, терпящих разрывы.
Конечно, при вычислении интегралов методом Монте-Карло никто не производит физического бросания точки на отрезок. Для этой цели служат специальные программы или датчики случайных или, точнее говоря, «псевдослучайных» чисел.
Следует обратить внимание на то, что метод Монте-Карло не позволяет беспредельно уменьшать погрешность вычислений. И дело здесь даже не в том, что необходимо проводить очень большое число испытаний. «Псевдослучайные» числа, как вытекает из их названия, не удовлетворяют полностью свойству случайности. Поэтому, прежде чем использовать какой-либо датчик «псевдослучайных» чисел, обычно производят многочисленные проверки (на отсутствие периодичности, на равномерность, на независимость и т. д.) с помощью различных критериев. Однако даже выдержавшие самые строгие проверки датчики генерируют числа, которые не могут быть отнесены к разряду «случайных» в полном смысле этого слова.
7. Полиномиальная схема
В заключение скажем несколько слов о так называемой полиномиальной схеме. Если схема Бернулли интерпретируется как подбрасывание несимметричной монеты, то полиномиальную схему можно трактовать как обобщение статистики Максвелла-Больцмана на тот случай, когда вероятности попадания каждой частицы в различные ячейки неодинаковы. Итак, предположим, что опыт состоит из п независимых одинаковых испытаний, в каждом из которых может произойти одно и только одно из т несовместных событий Ах,..., Ат, причем событие At наступает с вероятностью р^. Тогда вероятность Р(пх,..., пт) того, что в п испытаниях событие Ах произойдет ровно пх раз,..., событие Ат произойдет ровно nm раз (пх + ... + пт = п\ определяется выражением
Р^,...,пт) = -Р^р-'...р^.
ILX- . . . / .
Последняя формула носит название полиномиального распределения. Ее вывод аналогичен выводу формулы Бернулли с учетом комбинаторных соотношений, используемых при рассмотрении статистики Максвелла-Больцмана, и любознательный читатель вполне может провести его самостоятельно. Полиномиальную вероятность P(%i,... ^п^ можно получить также как коэффициент при ж™1 ... х1^ в разложении полинома (pi^i + ... + ртхт)п в ряд по степеням х\,, хт.
Полиномиальная схема обладает теми же предельными свойствами, что и схема Бернулли. Так, если устремить п к бесконечности, то вероятность Р(п\,..., пт) приближенно вычисляется с помощью так называемой многомерной нормальной плотности. Вводя в рассмотрение вектор (/i,..., /ш) наблюденных частот появлений событий Л1,..., Ат, можно доказать, что при большом числе испытаний п этот вектор мало отличается от вектора вероятностей (рь ... ,рт).
Пример 9. В магазине висит 1 костюм второго роста, 2 костюма третьего роста, 3 костюма четвертого роста. Костюм второго роста спрашивается с вероятностью 0,2, костюм третьего роста — с вероятностью 0,3, костюм четвертого роста — с вероятностью 0,5. В магазин обратились 3 покупателя. Найдем вероятность того, что хотя бы один из них ушел без покупки (событие Л). Представим событие Л в виде суммы несовместных событий:
Л = Лзоо + Л210 + Л 201 + Лозо,
где Ацк означает, что г покупателей спросили костюм второго роста, j — третьего роста и к — четвертого. Воспользовавшись теперь полиномиальным распределением, получаем
Р(Л) = Р(3,0,0) + Р(2, 1,0) + Р(2,0, 1) + Р(0,3,0) =
=(0,2)3 + —^— (0,2)2 ■ 0,3 + —^— (0,2)2 ■ 0,5 + —^— (0,3)3 = 0,131.
3!0!0С'2!l!0!V'2!0!l!V’0! 3! 0!V ’
Таким образом, искомая вероятность Р(Л) = 0,131.□
Глава 5
СЛУЧАЙНЫЕ ВЕЛИЧИНЫИ ИХ РАСПРЕДЕЛЕНИЯ
В предыдущих главах мы рассмотрели аксиоматическое построение вероятностного пространства (Q, 53, Р), а также разобрали некоторые простейшие вероятностные схемы. Однако теория вероятностей не достигла бы такого расцвета и не была бы столь широко используема на практике, если бы занималась только лишь случайными событиями. Возвращаясь к истокам возникновения теории вероятностей, вспомним, что уже в азартных играх интерес играющих вызывает не наступление случайного исхода, а связанный с ним выигрыш или проигрыш, т. е. определенная числовая величина, поставленная в соответствие этому исходу. Вполне естественно такую числовую величину назвать случайной величиной. Изучением последнего понятия мы сейчас и займемся.
Случайная величина
Рассмотрим вероятностное пространство (Q,53,P), т. е. пространство элементарных исходов Q, сг-алгебру событий 53 из Q и определенную на ней вероятность Р.
Случайной величиной £ называется функция, ставящая в соответствие каждому элементарному исходу и число £ = £(w). Для того чтобы такое определение было математически корректным, необходимо добавить следующее требование: для любого числа х множество {щ: ^(щ) < ж} элементарных исходов и, для которых ^(щ) < х, является событием, или, иными словами, принадлежит сг-алгебре 53 (это свойство носит название измеримости функции £ = ^(щ) относительно сг-алгебры 53). Таким образом, с точки зрения функционального анализа случайная величина представляет собой не что иное, как обычную числовую функцию, заданную на пространстве элементарных исходов Q (и измеримую относительно сг-алгебры 53). Специфика теории вероятностей проявляется в том, что на Q задана также вероятность Р. Случайные величины будем обозначать греческими буквами, снабжая их при необходимости индексами: £, щ, yz и т. д.
Для краткости условимся в дальнейшем вместо записи {щ: ^(щ) < < х} использовать запись {^(щ) < х}, если необходимо подчеркнуть связь случайной величины с пространством элементарных исходов Q, или даже запись {£ < х}, если не акцентируется внимание на этой связи.
Пример 1. Два игрока играют в «орлянку» на следующих условиях: если при подбрасывании монеты выпадает «герб», то первый игрок платит второму 1 руб., если «цифра», то второй игрок платит первому 2 руб. Опишем случайную величину £, равную выигрышу первого игрока в этой игре (при одном подбрасывании монеты). Как мы знаем, пространство элементарных исходов Q состоит из двух исходов: ш\ — выпадение «герба» и Ш2 — «цифры», сг-алгебра событий 93 насчитывает 4 события: 0, {сщ}, {^2} и Q. Предполагая, что монета симметричная, найдем вероятности всех событий из 93: Р(0) = 0, Р(шф = Р(ш2) = 1/2, P(Q) = 1. Итак, вероятностное пространство (Q, 93, Р) нами определено. Осталось заметить, что случайная величина £ принимает значение — 1, если выпал «герб» (£(шф = — 1), и 2, если выпала «цифра» (^(^2) = 2). Измеримость функции £(ш) очевидна, поскольку при х < -1 множество {^(ш) < ж} является невозможным событием 0, при — 1 < ж < 2 множество {^(ш) < ж} состоит из элементарного исхода сщ и, наконец, при ж > 2 множество {^(ш) < ж} состоит из двух исходов сщ и Ш2, т. е. представляет собой достоверное событие Q. □
Пример 2. Рассмотрим схему Бернулли с вероятностью успеха р. Сопоставим каждому элементарному исходу ш =УНН...У функцию р(ш), равную числу успехов при этом исходе, т. е. числу букв У, содержащихся в последовательности УНН.. .У. Измеримость функции р(ш) проверяется точно так же, как в предыдущем примере. Таким образом, у — случайная величина. Отметим, что значения р(ш) совпадают для тех элементарных исходов ш, при которых произошло одинаковое число успехов. □
Пример 3. Случайными величинами будут число очков, выпавших при бросании игральной кости, а также суммарные числа очков, выпавших при бросании двух, трех и более костей. Советуем читателю для этого примера самостоятельно построить пространство элементарных исходов Q, сг-алгебру 93, вероятность Ри определить случайную величину £. □
Пример 4. На отрезок [0, 1] в соответствии с принципом геометрической вероятности падает идеальная точка. Пусть £(ш) = ш — координата ее падения. Пространство элементарных исходов Q в данном случае совпадает с отрезком [0, 1], сг-алгебра 93 является борелевской (порожденной всевозможными интервалами) er-алгеброй на этом отрезке, а вероятность попадания на каждый интервал внутри отрезка [0, 1] равна его длине. Измеримость функции £(ш) вытекает из того, что множество {^(ш) < ж} при ж < 0 пусто, при 0 < ж < 1 совпадает с интервалом [0, ж) (а все интервалы, как мы знаем, принадлежат борелевской а-алгебре) и, наконец, при ж > 1 совпадает со всем отрезком [0,1], т. е. является достоверным событием. Таким образом, £ — случайная величина.
Отметим, что в этом примере мы имеем дело с интересным явлением: значение случайной величины £ = £(ш) для каждого элементарного исхода ш совпадает с самим этим исходом (в данном случае, наверное, лучше было бы сказать с «номером» этого исхода). Оказывается, такая ситуация встречается очень часто и связано это с тем, что, как правило, исследователь наблюдает именно случайную величину и, значит, для него понятие «элементарный исход» отождествлено с понятием «значение случайной величины». □
Пример 5. На плоский экран падает частица. Будем считать, что нам известна вероятность попадания частицы в каждое (измеримое) множество на экране. Случайными величинами в данном случае будут, например, расстояние
от центра экрана до точки падения, квадрат этого расстояния, угол в полярной системе координат и т. д.□
Прежде чем перейти к дальнейшему изучению случайных величин, отметим, что все известные из курса математического анализа функции, как и вообще все функции, встречающиеся в реальной жизни, являются измеримыми. Поэтому в дальнейшем понятие измеримости мы нигде больше использовать не будем.
Функция распределения случайной величины
Функцией распределения (вероятностей) случайной величины £ называется функция F(x), значение которой в точке х равно вероятности события {£ < х}, т. е. события, состоящего из тех и только тех элементарных исходов со, для которых £(4 < х:
F(x) = Р{< < ж}.
Обычно говорят, что значение функции распределения в точке х равно вероятности случайной величине £ принять значение, меньшее х. Правда, в таком определении имеется маленькая стилистическая неточность, связанная с тем, что слово «вероятность» мы обязаны употреблять только вместе со словом «событие».
Выведем некоторые очевидные свойства функции распределения. Так как, по определению, функция распределения является вероятностью, то
о <44 < 1.
Далее, если х\ < х^, то событие {£ < ац} принадлежит событию {С < ^2} и, значит,
F(x\) ^ F(x2) при х\ < Х2 (F(x) — неубывающая функция).
Положим
F(-oo) = lim F(x) и F(+oo) = lim F(x).
Поскольку событие {£ < —сю} является невозможным, а {^ < сю} — достоверным, то имеем
^(-оо) =0, ^(оо) = 1.
Событие {£ < ^2} при х\ < Х2 представляет собой объединение двух непересекающихся событий: {£ < ац} — случайная величина £ приняла значение, меньшее жц и {ац < £ < ^2} — случайная величина £ приняла значение, лежащее в интервале [ац,а4- Поэтому из аксиомы сложения получаем
P{xi < < < х2} = F(x2) - F(x\).
Наконец, пусть хь ..., хп,... — возрастающая последовательность чисел, сходящаяся к х. Тогда событие А = {£ < х} является счетным объединением несовместных событий
А1 = Ц<Я1},= {жп_] < £ < жп} (п = 2,3,
т. е.
А = А\ + ... + Ап + ...
В силу расширенной аксиомы сложения
Р(Л) = Р(Л) + Р(Л2) +... + Р(ЛП) +... =
= F(x\) + [F(x2) - ^(^i)] + • • • + W(xn) - F(xn_-^ + ... =
= lim F(xn). Следовательно,
F(x) = F(x - 0) (F(x) — непрерывная слева функция).
Типичный вид функции распределения приведен на рис. 1.
Рис. 1
Заметим, что, зная функцию распределения F(x), можно однозначно определить вероятность попадания случайной величины £ не только на интервал [ац,ж2), но и в любое измеримое (борелевское) множество на прямой.
Итак, с любой случайной величиной связана ее функция распределения. Отметим, что справедливо и обратное. Любая неубывающая непрерывная слева функция F(x), удовлетворяющая условиям F( —ос) = 0 и ^(сю) = 1, является функцией распределения некоторой случайной величины £. Действительно, можно рассмотреть падение идеальной точки на прямую (—ос, сю), которая в этом случае принимается в качестве пространства элементарных исходов (см. также пример 22 в гл. 1). Поставим в соответствие каждому событию, заключающемуся в том, что точка попала на интервал (—сю, х) на прямой, число F(x), а событию, заключающемуся в попадании точки на интервал [ж1,ж2), — число F^x^) — F(x\). Определенная таким образом для всех событий, связанных с попаданием точки на интервал [ац,ж2), числовая функция будет удовлетворять трем аксиомам вероятности. Для любых
других событий, составляющих а-алгебру борелевских множеств на прямой, вероятность определяется единственным образом с помощью теоремы о продолжении меры. Если теперь взять в качестве случайной величины £ координату падения, т. е. положить ^(ш) = и, то F(x) будет являться функцией распределения £.
В дальнейшем иногда для того, чтобы подчеркнуть, какой именно случайной величине принадлежит функция распределения F(x), будем к функции распределения приписывать нижний индекс, обозначающий эту случайную величину: F^(x) = Р{£ < х}.
В некоторых учебниках функцией распределения называют вероятность события {£ < xY Такое определение ничего не меняет в наших рассуждениях. Единственное изменение касается свойства 5: функция F(x) будет непрерывна справа.
Обычно (и мы будем также придерживаться этой традиции) для того, чтобы избежать сложного для неподготовленного читателя понятия интеграла Стилтьеса, при знакомстве с теорией вероятностей ограничиваются изучением так называемых дискретных и непрерывных случайных величин. Дискретную случайную величину вкратце можно охарактеризовать как случайную величину, все возможные значения которой можно пересчитать. В свою очередь, для непрерывной случайной величины вероятность попадания на «малый» интервал [х,х + А) приближенно пропорциональна длине этого интервала А с коэффициентом пропорциональности р(х), зависящим от х и носящим название плотности распределения.
Однако существуют случайные величины, не относящиеся ни к одному из этих двух типов. Простейшим примером такой случайной величины является время работы электрической лампочки. Купленная лампочка может с ненулевой вероятностью оказаться бракованной, т. е. время ее работы будет равно нулю, и в этом смысле его необходимо отнести к дискретным случайным величинам. Если же лампочка окажется исправной, то мы не сможем пересчитать все моменты времени, в которые она может отказать, и тогда время ее безотказной работы естественно считать непрерывной случайной величиной. Для данного примера можно сказать, что мы имеем дело со «смесью» дискретной и непрерывной случайных величин.
Существуют и более сложные примеры, в которых случайные величины уже не являются «смесью» дискретной и непрерывной компонент, но с точки зрения практики эти примеры представляют собой математическую абстракцию.
Часто поведение случайной величины удобно характеризовать не с помощью функции распределения, а как-то иначе. Если при этом возможно однозначно восстановить функцию распределения, то такая характеристика называется законом распределения (или просто распределением)) случайной величины. Примерами законов распределения являются ряд распределения и плотность распределения, которые мы рассмотрим в следующих параграфах.
Дискретные случайные величины
Как уже говорилось, дискретной называется случайная величина, которая каждому элементарному исходу и ставит в соответствие одно из конечного (или в общем случае счетного) набора чисел Xi, Х2,..., Xn (Xi, Х2,..., Х^,...). Дискретную случайную величину удобно характеризовать рядом распределения.
Рядом распределения {вероятностей) дискретной случайной величины называется таблица (табл. 1), состоящая из двух строк: в верхней строке перечислены все возможные значения случайной величины, а в нижней — вероятности р^ = Р{£ = Ху того, что случайная величина примет эти значения.
Таблица 1
Х1
х2
Xi
Хп
р
Рх
Р2
Pi
Рп
Иногда для того, чтобы подчеркнуть, что ряд распределения относится именно к случайной величине £, будем наряду с записью pt употреблять запись р^.
Рассмотрим некоторые наиболее часто встречающиеся на практике распределения дискретных случайных величин.
Биномиальное распределение. Дискретная случайная величина р распределена по биномиальному закону, если она принимает значения 0, 1, 2,..., п в соответствии с рядом распределения, представленным в табл. 2, где 0 < р, q < 1 и р + q = 1.
делением числа успехов р в п испытаниях Бернулли с вероятностью успеха р и неудачи q = 1 — р (см. пример 2).
Пуассоновское распределение. Дискретная случайная величина £ распределена по закону Пуассона, если она принимает целые неотрицательные значения с вероятностями, представленными рядом распределения в табл. 3, где А > 0 — параметр пуассоновского распределения.
С распределением Пуассона мы тоже уже встречались в предельной теореме Пуассона. Распределение Пуассона носит также название закона редких событий, поскольку оно всегда появляется там, где производится большое число испытаний, в каждом из которых с ма-
Таблица 3
€
0
1
2
п
р
е"х
Хе-х
А2 -А — в х 2!
А" -А "Те 77!
лой вероятностью происходит «редкое» событие. По закону Пуассона распределены, например, число вызовов, поступивших на телефонную станцию; число метеоритов, упавших в определенном районе; число распавшихся нестабильных частиц и т. д.
Геометрическое распределение. Снова рассмотрим схему Бернулли. Пусть £ — число испытаний, которое необходимо провести, прежде чем появится первый успех. Тогда £ — дискретная случайная величина, принимающая значения 0, 1, 2,..., п,... Определим вероятность события {£ = п}. Очевидно, что £ = О, если в первом же испытании произойдет успех. Поэтому Р{£ = 0} = р. Далее, £ = 1 в том случае, когда в первом испытании произошла неудача, а во втором — успех. Но вероятность такого события, как мы знаем, равна qp, т. е. рц = 1} = qp. Аналогично, £ = 2, если в первых двух испытаниях произошли неудачи, а в третьем — успех, и, значит, Р{£ = 2} = qqp. Продолжая эту процедуру, получаем ряд распределения, представленный в табл. 4.
Таблица 4
Покажем теперь, как по ряду распределения дискретной случайной величины построить ее функцию распределения F^x\ Пусть £ — дискретная случайная величина, заданная своим рядом распределения, причем значения Xi, Х2,..., Хп расположены в порядке возрастания. Тогда для всех х < Xi событие {£ < ж} является невозможным и поэтому в соответствии с определением F(x) = 0 (рис. 2). Если
Рис. 2
Х\ < х ^ Х2, то событие {£ < х} состоит из тех и только тех элементарных исходов се, для которых ^(ш) = Х\, и, следовательно, F(x) = р\. Аналогично, при Х2 < х ^ Х3 событие {£ < х} состоит из тех элементарных исходов ш, для которых либо £(щ) = Xi, либо £(w) = Х2, т. е. {£ < х} = {£ = Xi} + {£ = X2Y а, значит, F(x) = р\ Г Р2 и т. д. Наконец, при х > Хп событие {£ < ж} достоверно и F(x) = 1. Таким образом, функция распределения дискретной случайной величины является кусочно-постоянной функцией, принимающей на интервале (—оо,Х1] значение 0, на интервалах (А^, A^+i] (1 < г < п) — значение р\ + ... F pt и на интервале (Хп,оо) — значение 1.
Пример 6. На зачете студент получил п = 4 задачи. Вероятность решить правильно каждую задачу р = 0,8. Определим ряд распределения и построим функцию распределения случайной величины ц — числа правильно решенных задач. В данном случае мы имеем дело с биномиальным законом. Подставляя в ряд распределения, заданный табл. 2, п = 4, р = 0,8 и q = 0,2, получаем ряд распределения и функцию распределения, представленные в табл. 5 и на рис. 3. □
Таблица 5
0
1
2
3
4
р
0,0016
0,0256
0,1536
0,4096
0,4096
- >■12;1
Рис. 3
Пример 7. Вероятность получить заданный эффект в физическом опыте р = 0,4. Определим ряд распределения и построим функцию распределения случайной величины £, равной числу «пустых» опытов, которые должен произвести экспериментатор, прежде чем он получит необходимый эффект. Случайная величина £ распределена по геометрическому закону. Поэтому, воспользовавшись табл. 4, имеем ряд распределения и функцию распределения, представленные в табл. 6 и на рис. 4. □
Таблица 6
Г
0
1
2
3
Р
0,4
0,24
0,144
0,0864
Рис. 4Рис. 4
Рис. 4
Рис. 4
Пример 8. Выпишем ряд распределения случайной величины £ — числа угаданных номеров в «Спортлото 6 из 49». Как мы знаем (см. пример 7 в гл. 2), число угаданных номеров распределено по гипергеометрическому закону. В этом же примере были найдены рз = р{€ = 3} = р(Лз), Р4 = РК = 4} = Р(Л4}, Р5 = РК = 5} = Р(Л5} и р6 = РК = 6} = Р(Л6). Аналогично определяются и вероятности ро = Р{£ = 0} — не угадать ни одного номера, рх = Р{£ = О — угадать ровно один номер и р2 = Р{£ = 2} — угадать ровно два номера:
^ 0,4360,^ 0,4360,= 0,1324.= 0,1324.
^ 0,4360,
^ 0,4360,
= 0,1324.
= 0,1324.
Таблица 7
€
0
1
2
3
4
5
6
р
0,4360
0,4130
0,1324
0,0176
0,00097
2- 10"5
7•10"8
Окончательно получаем ряд распределения, представленный в табл. 7.□
Непрерывные случайные величины
Непрерывной называется случайная величина ^ функцию распределения которой F{x) можно представить в виде
X
F(P = | р(у) <^У-
Функция р{х) называется плотностью распределения {вероятностей) случайной величины £. Так же, как и прежде, иногда для того, чтобы подчеркнуть принадлежность плотности распределения случайной величине £, будем наряду с записью р{х) употреблять запись р^(х). Отметим, что все реально встречающиеся плотности распределения являются непрерывными (за исключением, быть может, конечного числа
точек) функциями и, следовательно, для них плотность распределения р^ представляет собой производную функции распределения F^x\ т. е. р(х) = F'(x\ Для простоты изложения в дальнейшем будем рассматривать только такие плотности распределения. Типичный вид плотности распределения изображен на рис. 5.
Выведем простейшие свойства плотности распределения.
Поскольку плотность распределения является производной от функции распределения, а функция распределения — неубывающая дифференцируемая функция, то
р(х) ^ 0.
Далее, P{xi < £ < Х2} = F(x2) — F(x\\ Значит, в силу определения непрерывной случайной величины
РЦ1 < £ < ж2} = j р(у) dy.
Таким образом, вероятность попадания случайной величины на интервал [ац,^) численно равна площади криволинейной трапеции, заштрихованной на рис. 5.
В частности, если х\ = —ос, Х2 = ос, то событие {—ос < £ < ос} является достоверным, и поэтому
р(х) dx = 1.
Иными словами, площадь, целиком заключенная под всей кривой, изображающей плотность распределения, равна единице.
Наконец, часто бывает полезна следующая трактовка плотности распределения. Как видно из рис. 5, если А мало, то вероятность попадания на интервал [ж, х + А) приближенно совпадает с площадью прямоугольника со сторонами А и р(х\ Значит, с точностью до о(А)
Р{х < £ < х + А} £з р(х) А.
Отсюда, в частности, следует, что
РЦ = ж} = 0,
т. е. вероятность попадания в любую (заданную до опыта) точку для непрерывной случайной величины равна нулю. Здесь снова возникает кажущееся логическое противоречие: до опыта каждому возможному значению непрерывной случайной величины мы можем приписать только вероятность, равную нулю, однако после опыта случайная величина все же принимает некоторое значение. Решение этого противоречия
опять связано с непрерывной структурой числовой прямой. Для того чтобы гарантировать ненулевую вероятность попадания в некоторое подмножество прямой, необходимо, чтобы это подмножество содержало более чем конечное и даже более чем счетное число точек. Из свойства 5 вытекает также, что в свойствах 2 и 4 знак ^ можно заменить на знак строгого неравенства <. Например, свойство 2 можно переписать в виде
2'. Р{ж1 < £ < ж2} = | р(у) dy.
Рассмотрим некоторые наиболее важные распределения непрерывных случайных величин.
Равномерное распределение. Равномерно распределенная на отрезке [а, Ь\ случайная величина имеет плотность распределения
если а < х < Ь,
если х < а или х > Ь.
Легко видеть, что функция распределения в этом случае определяется
выражением
если х < а, если а < х < Ь, если х > Ь.
Графики плотности распределения р(х) и функции распределения F(x) приведены на рис. 6 и рис. 7.
Рис. 6Рис. 6
Рис. 6
Рис. 6
Вероятность попадания равномерно распределенной случайной величины на интервал (^1,^2), лежащий внутри отрезка [а, 6], равна F^x^ — F(x\) = (х2 — х\)/(Ь — а), т. е. пропорциональна длине этого интервала. Таким образом, равномерное распределение реализует принцип геометрической вероятности при бросании точки на отрезок [а, Ь\.
Заметим, что в примере 4 случайная величина £ равномерно распределена на отрезке [0, 1].
Экспоненциальное распределение. Случайная величина подчиняется экспоненциальному (показательному) закону, если она имеет плотность распределения
0, если х < 0,
Де-Аж, если ж ^ 0,
где А > 0 — параметр экспоненциального распределения. Для функции распределения в данном случае нетрудно получить следующее выражение:
| 0,если х < 0,
1с АТ если х > 0.
Графики плотности распределения и функции распределения экспоненциальной случайной величины приведены на рис. 8 и рис. 9.
Экспоненциально распределенная случайная величина может принимать только положительные значения. Экспоненциальному распределению подчинено время распада атомов различных элементов. При этом число Т = 1/А носит название среднего времени распада. Кроме того, употребляют также число То = 1п2/А, называемое периодом полураспада. Название «период полураспада» основано на следующем физическом соображении. Пусть у нас первоначально имелось п атомов вещества. Тогда через время То каждый атом распадется с вероятностью р = Т(То) = 1 — е-Л1п2/Л = 1 — 1/2 = 1/2. Поэтому в силу независимости отдельных распадов число распавшихся за время То атомов имеет биномиальное распределение с р = q = 1/2. Но как мы знаем из теоремы Бернулли (см. параграф 5, гл. 4), при больших п это число будет примерно равно п/2, т. е. период полураспада То представляет собой не что иное, как время, в течение которого распадается половина имеющегося вещества.
Экспоненциально распределенная случайная величина £ обладает весьма важным свойством, которое естественно назвать отсут-
ствием последействия. Трактуя £ как время распада атома, рассмотрим событие А = {xi < £ < х\ + х^ и найдем условную вероятность этого события при условии выполнения события В = \j; > x\Y По определению условной вероятности Р(Л | В) = Р(АВ)/Р(В\ Но событие АВ, как нетрудно видеть, совпадает с событием А. Поэтому Р(А \В) = Р(А)/Р(В\ Далее,
Р(Л) = Р{ж, < 5 < Ж1 + ж2} = (1 - е-Л<Ж1+жД - (1 - е“Лж1) =
= е“Лж1(1 -е“Лж2),
Р(В) = РД > ж,} = 1 - РД < ж,} = е"Лж1.
Значит,
Р(Л I В) = е= 1 - е"х$2-
Мы получили, что вероятность распада атома за время xs при условии, что перед этим он уже прожил время xi, совпадает с безусловной вероятностью распада того же самого атома за время ^2- Именно это свойство и представляет собой отсутствие последействия. Допуская некоторую вольность речи, отсутствие последействия можно трактовать как независимость остаточного времени жизни атома от того, сколько он уже прожил. Можно показать и обратное: если случайная величина £ обладает свойством отсутствия последействия, то она обязана иметь экспоненциальное распределение. Таким образом, отсутствие последействия является характеристическим свойством экспоненциально распределенных случайных величин.
Практика показывает, что экспоненциальное распределение имеют и другие физические величины, например времена между падениями метеоритов в определенный район, времена между соседними поступлениями вызовов на телефонную станцию и т. д. Экспоненциальное распределение тесно связано с распределением Пуассона, а именно: если времена между последовательными наступлениями некоторого события представляют собой независимые (определение независимости случайных величин будет дано в гл. 6) экспоненциально распределенные (с одним и тем же параметром А) случайные величины, то число наступлений этого события за время t распределено по закону Пуассона с параметром Xt. Отметим также, что дискретным аналогом экспоненциального распределения является геометрическое распределение.
Нормальное распределение. Случайная величина распределена по нормальному, или гауссову, закону, если она имеет плотность распределения
= Фт сг^ = (-00 < Tn < ОО, а > 0).
’сгу2тг
Нормальное распределение зависит от двух параметров: т — математического ожидания, или среднего значения, нормального закона, и а — среднего квадратичного отклонения. Графики плотности Гт,сг(х) и функции Ф-т^^х) нормального распределения в зависимости от т и а приведены на рис. 10 и рис. 11.
Рис. 10Рис. 10Рис. 11Рис. 11
Рис. 10
Рис. 10
Рис. 11
Рис. 11
Как видно из этих рисунков, параметр т определяет положение центра плотности нормального распределения, а а — разброс относительно центра. Если т = 0, а = 1, то такой нормальный закон называется стандартным и его функция распределения обозначается через Ф(х). С плотностью и функцией стандартного нормального распределения мы уже встречались в локальной и интегральной теоремах Муавра-Лапласа. Нормальный закон также очень часто встречается на практике. Как мы увидим в гл. 8, посвященной предельным теоремам, он обычно возникает в явлениях, подверженных действию большого числа малых случайных воздействий.
Распределение Вейбулла. Случайная величина распределена по закону Вейбулла, если она имеет плотность распределения
0,если х < 0,
(а > 0, /3 > 0).(а > 0, /3 > 0).а[Зх^-Хе-аж3, если ж > 0
(а > 0, /3 > 0).
(а > 0, /3 > 0).
Нетрудно проверить, что функция распределения в этом случае определяется следующим выражением:
^Ц)^Ц)если х < 0, если ж > 0.если х < 0, если ж > 0.
^Ц)
^Ц)
если х < 0, если ж > 0.
если х < 0, если ж > 0.
Семейство распределений Вейбулла является двухпараметрическим и описывает положительные случайные величины. Графики плотности и функции распределения Вейбулла представлены на рис. 12 и рис. 13.
Считается, что распределению Вейбулла подчиняются времена безотказной работы многих технических устройств. Если /3 = 1, то распределение Вейбулла превращается в экспоненциальное распределение, а если /3 = 2 — в так называемое распределение Рэлея.
Рис. 12 Рис. 13Рис. 12 Рис. 13Гамма-распределение. Другим распределением, также достаточно хорошо описывающим времена безотказной работы различных технических устройств, является гамма-распределение с плотностью распределения
Рис. 12 Рис. 13
Рис. 12 Рис. 13
'о,'о,AV1AV1Г(7)Г(7)е Лж, если ж > Ое Лж, если ж > О(А > О, 7 > 0),(А > О, 7 > 0),если х < О,
'о,
'о,
AV1
AV1
Г(7)
Г(7)
е Лж, если ж > О
е Лж, если ж > О
(А > О, 7 > 0),
(А > О, 7 > 0),
где Г (7) = J ж7 *е х dx — гамма-функция Эйлера (следующие свой- о
ства гамма-функции являются весьма полезными при изучении гамма- распределения: Г(у + 1) = 7Г(у) и Г(п) = (п — 1)! для целых п). Графики плотности и функции гамма-распределения изображены на рис. 14 и рис. 15.
Как видно из рисунков 12-15, распределение Вейбулла и гамма- распределение весьма близки между собой. Основным преимуществом распределения Вейбулла перед гамма-распределением является то, что его функция распределения выражается в явном виде. Поэтому раньше, когда ЭВМ еще не были достаточно распространены, распределение Вейбулла использовалось гораздо чаще, чем гамма-распределение. Хотя в общем случае гамма-распределение и не выражается в явном виде, оно обладает некоторыми весьма важными свойствами. Так, если 7 = к, т. е. 7 принимает целые значения, то мы получаем распределение
Эрланга, находящее важные применения в теории массового обслуживания. Если же у = к/2 — полуцелое, а А = 1/2, то гамма-распределение превращается в так называемое распределение у2 (хи-квадрат), роль которого в математической статистике невозможно переоценить; параметр к называется в этом случае числом степеней свободы распределения у2 Наконец, при 7 = 1 мы имеем дело все с тем же экспоненциальным распределением. Гамма-распределение имеет и другие интересные особенности, которых мы здесь не будем касаться.
Функции от случайной величины
Пусть на вероятностном пространстве (Q,25,P) задана случайная величина £ = £(щ). Возьмем обычную (измеримую) числовую функцию д^ числового аргумента х. Сопоставляя каждому элементарному исходу и число д(ш) по формуле д(ш) = д (^(ш)), мы получим новую случайную величину ту которую естественно назвать функцией д^ от случайной величины £.
Функция г/ = д(^) от дискретной случайной величины также является дискретной случайной величиной, поскольку она не может принимать больше значений, чем случайная величина £. Очевидно, что, если случайная величина £ имеет ряд распределения, представленный в табл. 1, то ряд распределения случайной величины г/ = д(^ определяется табл. 8.
Таблица 8
у
gW)
д(хп)
р
Рх
Р2
Рп
При этом, если в верхней строке табл. 8 появляются одинаковые значения д^Х^, то соответствующие столбцы надо объединить в один, приписав им суммарную вероятность.
Пример 9. Снова рассмотрим игру «Спортлото 6 из 49». Поставив на некоторые фиксированные номера, мы в результате розыгрыша получим случайную величину £ — число угаданных нами номеров (напомним, что пространство элементарных исходов состоит из всевозможных сочетаний по 6 номеров из 49), причем каждому элементарному исходу ш в соответствии с принципом классической вероятности сопоставлена вероятность Р(ш) = 1/ ( $ ) (ряд распределения случайной величины £ представлен в табл. 7). Однако сама случайная величина £ нас не интересует, для нас представляет интерес выигрыш, связанный с числом угаданных номеров £. Рассмотрим идеализированный вариант игры, при котором, не угадав ни одного или угадав один или два номера, мы проигрываем (с учетом платы за билет) 0,3 руб., угадав 3 номера, получаем выигрыш 2,7 руб., угадав 4 номера — 54,7 руб., 5 номеров — 699,7 руб. и 6 номеров — 9999,7 руб. Выигрыш у зависит
только лишь от числа угаданных номеров, т. е. представляет собой функцию от случайной величины £: ц = д(£), причем числовая функция д^ определена формулами: д(0) = g(V) = д^ = -0,3, д(3) = 2,7, д(4) = 54,7, д(5) = 699,7 и д(в) = 9999,7. Ряд распределения случайной величины у получается из ряда распределения £ (табл. 7) заменой в верхней строке чисел г = 0, 1,..., 6 на соответствующие значения д(г) (табл. 9).
Таблица 9
у
-0,3
-0,3
-0,3
2,7
54,7
699,7
9999,7
р
0,4360
0,4130
0,1324
0,0176
0,00097
2- 10"5
7•10"8
Осталось заметить, что в табл. 9 три первых столбца имеют одинаковые значения у, равные —0,3. Поэтому их надо объединить в один. Окончательный ряд распределения представлен в табл. 10.
Таблица 10
у
-0,3
2,7
54,7
699,7
9999,7
р
0,9814
0,0176
0,00097
2- 10"5
7•10"8
Реально при игре в «Спортлото» выигрыш у зависит от числа играющих, поставивших на ту или иную комбинацию, и в этом случае его нельзя считать функцией от числа угаданных номеров £, а необходимо рассматривать более сложную модель, учитывающую вероятности (частоты) использования различных комбинаций номеров. В частности, мы не можем (без обращения к «потусторонним» силам) изменить вероятность угадывания определенного числа номеров, но мы можем увеличить выигрыш, ставя на «непопулярные» комбинации, которые хотя и появляются с той же частотой, что и остальные, но приносят больший выигрыш. Поиск «непопулярных» комбинаций относится к сфере психологии, а не теории вероятностей. □
Функция у = д(^) от непрерывной случайной величины £ может быть как непрерывной, так и дискретной (дискретной она будет, например, если множество значений функции д^ не более чем счетно). Найдем функцию распределения F^ (ж) по заданной плотности распределения р^х\ По самому определению, F^x) представляет собой вероятность события ^у < х}, состоящего из тех элементарных исходов щ, для которых д(£,(ш)) < х. В свою очередь, вероятность события {д(£(щ)) < х} можно определить, используя аксиому сложения вероятностей, «просуммировав» вероятности всех возможных значений у случайной величины £, для которых д(у) < х. Поскольку, как мы знаем, вероятность случайной величине £ принять значение в промежутке от у до у + dy приближенно равна р^(у) dy, то, заменяя сумму на интеграл, получаем
= j Щу) dy.
Последняя запись означает, что интегрирование производится по всем тем значениям у, для которых д(у) < х.
Пример 10. Случайная величина £ распределена по стандартному нормальному закону. Найдем распределение случайной величины у = £2 В данном случае д(у) = у2, поэтому
= | р^(у)</у =-/=- j e"y2,2dy.
У2<Ху^<х
Поскольку при х < 0 нет ни одного у, для которого у2 < х, или, что то же самое, не существует ни одного ш, для которого д (£(сс)) < ж, то ^(ж) = 0 при ж < 0. Если же ж > 0, то область ^у2 < ж} совпадает с областью {—у/х < у < < Уж} и, значит,
^(ж) =-^ | е~у /2 dy
или в силу четности р^(у)
ЕЛ(х) =| е"у /2 dy.
о
Делая теперь замену г = у2, окончательно получаем при ж > 0
ГДж) = -L [ ^-e”z/2dz.
У2У Jо
Нетрудно видеть, что случайная величина у имеет плотность распределения
{
0,если ж < 0,
_/9
е т^2, если ж > 0,V 2тгж
являющуюся плотностью гамма-распределения с параметрами А = 1/2, у = = 1/2, или, иными словами, у распределена по закону %2 с одной степенью свободы. Именно как распределение квадрата стандартной нормальной случайной величины и появляется распределение %2 в математической статистике. □
Особенно просто находится функция распределения случайной величины у = д(^, если д^ — монотонно возрастающая функция. В этом случае событие {д(£(щ))<ж} эквивалентно событию {^(щ) < д-1(ж)}, где д-Х(х) — функция, обратная д(х), и, значит,
Ц(Ц = РЩЦ < ж} = РЦ < 9-1Ц)} = Д (уЩж)) •
Пример 11. Пусть плотность р(х) распределения случайной величины £ положительна для всех ж. Рассмотрим случайную величину ц = F(£), где Р(ж) — функция распределения £. В силу сделанного предположения Р(ж) — монотонно возрастающая функция, принимающая значения от 0 до 1, и, еле-
довательно,
{
О,если ж < О,
F (Р-1(ж)) = ж, если 0 < ж < 1,
1,если ж > 1.
Таким образом, случайная величина у распределена равномерно на отрезке [0,1].
Полученный результат находит широкое применение при моделировании случайных величин с заданной функцией распределения Р(ж). Дело в том, что практически все используемые в настоящее время датчики случайных (более правильно, «псевдослучайных») чисел инициируют величины у, распределенные равномерно на отрезке [0, 1]. Тогда, если функция Р(ж) имеет достаточно просто вычисляемую обратную функцию Р-1(ж), то, полагая £ = F-i(jf), получаем случайную величину £ с заданной функцией распределения Р(ж). Отметим, что такой способ может быть применен даже для моделирования некоторых дискретных случайных величин.□
Если же, кроме того, £ — непрерывная случайная величина, а д-1(х) имеет производную (р-1(ж)) , то г/ является также непрерывной и ее плотность распределения определяется с помощью формулы дифференцирования сложной функции:
рЩ) = ЦЦ) = f^ (д-Ч^ (д"Ч^У =р^ ЦгЧжУ (д"ЧРУ •
Случай монотонно убывающей функции д(х) предоставляется разобрать читателю.
Пример 12. Случайная величина £ распределена по нормальному закону с параметрами т и а. Найдем распределение случайной величины ц = el В данном примере р(ж) = еж, д-1(ж) = 1пж. В силу свойства экспоненциальной функции случайная величина ц может принимать только положительные значения. Далее, при ж > 0 функция д-1(ж) дифференцируема, причем (р-^ж))7 = (1пж)' = 1/ж. Таким образом,
{
О,еслиж< О,
1(1пж-т)2
-= е2<т2 ,еслиж> 0.
жсгу 2тг
Распределение с плотностью р^Д носит название логнормального (поскольку логарифм случайной величины у распределен по нормальному закону). Двухпараметрическое логнормальное семейство наряду с распределением Вейбулла и гамма-распределением также довольно часто используется при описании времени безотказной работы различных технических устройств.□
Пример 13. Положительная случайная величина ^ распределена по экспоненциальному закону с параметром А = 1/2 (распределение %2 с двумя степенями свободы). Покажите самостоятельно, что случайная величина у = Д имеет распределение Вейбулла с параметрами а = 1/2, 0 = 2 (распределение Рэлея). Воспользуйтесь монотонностью функции д(х) = ДЕ при ж > 0.□
Часто в дальнейшем нам будут встречаться линейные преобразования случайных величин: у = а^ + b (а 0). Тогда
g(x) = ax + b, д"Чх) =(д-'Ц))'= ^
и, значит, при а > 0
W = F^ (д-Ч^) = Д (^) , р» = ]-р< Д-Д . \ Cv /Cv\ Cv /
Пример 14. Случайная величина £ распределена по стандартному нормальному закону. Найдем распределение случайной величины у = а^ + т (ст > 0). Тогда в формулах для линейного преобразования а = сг, b = т и
р^ = Д(^)р^ = Д(^)1(ж —т)2е" 2<т2а у2тг1(ж —т)2е" 2<т2а у2тг— ^т,Сг(Д).— ^т,Сг(Д).
р^ = Д(^)
р^ = Д(^)
1(ж —т)2
е" 2<т2
а у2тг
1(ж —т)2
е" 2<т2
а у2тг
— ^т,Сг(Д).
— ^т,Сг(Д).
Итак, из случайной величины £, распределенной по стандартному нормальному закону, с помощью линейного преобразования у = а^ + т получается нормально распределенная случайная величина с произвольными параметрами т и а.
Читателю предоставляем показать обратное: если у — нормально распределенная случайная величина с параметрами m и а, то случайная величина £ = (ту — ш)/сг распределена по стандартному нормальному закону. Из последнего свойства, в частности, следует
\ 1 ~ ( у - т х - тД . х- тД _ ( х - т\
Эта формула позволяет вычислять значение функции нормального распределения Фт,ст(х) при любых значениях параметров т и а через значение функции стандартного нормального распределения Ф(ж) и оправдывает тот факт, что во всех справочниках приведены только таблицы значений функции стандартного нормального распределения. □
Глава 6
МНОГОМЕРНЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫИ ИХ СВОЙСТВА
Разумеется, на каждом вероятностном пространстве (Q, 93, Р), содержащем хотя бы один элементарный исход ш, можно определить не одну случайную величину. На практике необходимость учета непредсказуемых воздействий также весьма редко приводит к рассмотрению только одной случайной величины. Обычно выделяют несколько случайных компонент и на их основе строят модель исследуемого явления. Классическим примером такого рода, описанным многими великими художниками слова, снова являются азартные игры. Игрок, даже имея самое твердое намерение сыграть только один раз, впадал в азарт (откуда и пошло само название «азартные игры») и, как правило, не уходил из-за игорного стола, пока совсем не разорялся. Здесь суммарный выигрыш игрока состоит из отдельных случайных величин — выигрышей его в каждой партии.
Итак, в этой главе мы обобщим результаты предыдущей главы на случай нескольких случайных величин. Естественно, для того чтобы над случайными величинами можно было производить различные действия (сложение, вычитание, умножение и т.п.), необходимо их задание на одном вероятностном пространстве.
Многомерная случайная величина
Пусть на одном и том же вероятностном пространстве (Q,25,P) задано п случайных величин £1 = £1(щ), ..., £n = ^(ш). Совокупность случайных величин (£i,...,£n) назовем многомерной (п-мернои) случайной величиной или случайным вектором.
В дальнейшем для сокращения записи будем пользоваться также обозначением £ = (£i,..., £п).
Пример 1. На скачках, в которых участвуют 2 лошади, п человек заключают пари (между собой, группами и т. д.). Считая, что результат скачек случаен, причем с вероятностью Р(сщ) происходит элементарный исход Шг (г = 1,2) — к финишу первой пришла лошадь с номером г, получаем, что каждому элементарному исходу Шг соответствует вектор (б(^г), • • •,£п(^)), компонентами которого являются выигрыши 1-го, ..., п-го участников пари. □
Пример 2. Рассмотрим схему Бернулли, состоящую из п испытаний. Каждому элементарному исходу ш = ... поставим в соответствие число pt, равное нулю, если в последовательности УНН...У на г-м месте стоит буква Н (в г-м испытании произошла неудача), и единице, если стоит буква У (произошел успех). Тогда случайная величина Цг есть не что иное, как число успехов в г-м испытании. Совокупность случайных величин (pi,..., рп) представляет собой n-мерный случайный вектор. Нетрудно видеть, что в данном
случае существует взаимно однозначное соответствие между элементарными исходами ш и значениями случайного вектора (pi,..., рп). Действительно, элементарному исходу ш = ... соответствует значение (1,0,0,...,!) случайного вектора (pi,..., рп) и, наоборот, случайный вектор (pi,..., рп) принимает значение (1,0,0,...,!) только для элементарного исхода ш = .... Ясно также, что суммарное число успехов р в п испытаниях Бернулли (см. пример 2 в гл. 5) представляет собой сумму чисел успехов в каждом испытании: р = pi + ... + рп. □
Пример 3. Двумерной случайной величиной является вектор (£1,^2), где £1 — сумма очков, выпавших при бросании двух игральных костей, а £2 — сумма их квадратов. В этом случае различным элементарным исходам могут соответствовать одинаковые значения случайного вектора (^1,^2)- Например, двум элементарным исходам сщ = (2,3) и ^ = (3,2) соответствует одно и то же значение вектора (^1(сщ),£2(^1)) = (6(^2), 6(^2)) = (5,13). □
Пример 4. Двумерными случайными величинами являются декартовы (€bG) или полярные (771,772) координаты точки падения частицы на плоский экран (см. пример 5 в гл. 5). Случайные величины (£1,^2) и (771,772) связаны соотношениями: £1 = 771 cos 772, £2 = 771 sin772. □
Пример 5. Широта £i и долгота £2 места падения метеорита на Землю представляют собой двумерный случайный вектор (^ь&)- В эту модель можно ввести также третью координату £3 — время от начала наблюдений до момента падения первого метеорита на Землю ((^1,^2) — координаты падения этого метеорита), если рассматривать процесс, протекающий во времени. □
Совместная функция распределения
Функцией распределения (п-мерного) случайного вектора £ = = (<ь---^п) называется функция F(xx,..., х^ = F^.^yxx,..., хп\ значение которой в точке (х\,..., хп) равно вероятности совместного осуществления (пересечения) событий {£1 < xi}, ...,У;п < хУ, т. е.
F(xy... , хУ = ^...^(ху,... ,хп) = P{£i < хх,... ,£п < хп}.
Функцию F(x\,... ,хУ называют также совместной функцией распределения случайных величин £ь..., £п.
Для сокращения записи в дальнейшем для функции распределения F(x\,..., хп) = F^.^yxi,... ,хп), будем использовать также обозначения F(x) и F^x).
Далее мы будем в основном Iрассматривать двумерный случай.
УУУ щВ большинстве приводимых далее
результатов переход от двумерно- уУ/УУ < Г/ У У7 уго к общему n-мерному случаю не
ЕуУуу^УУдУУ^уу.должен вызвать каких-либо труд
ностей, а там, где могут возник- р^снуть затруднения, приводятся до'полнительные пояснения.
Совместная функция распределения двумерной случайной величины (^1,^2), по определению, представляет собой не что иное, как вероятность попадания точки с координатами (£1,^2) в область, заштрихованную на рис. 1.
Выведем свойства совместной функции распределения, аналогичные свойствам функции распределения одномерной случайной величины.
Как и прежде, поскольку F^i,^) — вероятность, то
О < ^(жь Ж2)1-
Следующее свойство является очевидным обобщением свойства 2 функции распределения одномерной случайной величины:
F^i,^) — неубывающая функция по каждому из аргументов Х\ и Х2.
Поскольку события {^i < —сю} и {^2 < —сю} невозможны, а в результате пересечения невозможного события с любым событием, как мы знаем, также получается невозможное событие, то
F(—oo, Х2) = F(xy -сю) = 0.
События {^i < сю} и {^2 < сю} так же, как и их пересечение, достоверны. Значит,
F(oq,oq) = 1./:с<:\со/У./// у '
Найдем вероятность попада
ния двумерной случайной ве-:
ЛИЧИНЫ (6,^2) В ПрЯМОуГОЛЬ- У/,'^j-,
НИК {ai < Х\ < Ъ\, U2 Х2 < ^2}z
(рис. 2). Для этого сначала опреде
лим вероятность попадания в по-Рис. 2
луполосу {xi < Ь\, U2 Х2 < ^}.
Но эта вероятность представляет собой вероятность попадания в квадрант {xi < ^i, Х2 < ^2} за вычетом вероятности попадания в квадрант {^1 < 6Ь Х2 < а2}, т. е.
Р{6 < ^ь ^2 ^ ^2 < М = F(byb2) ~ F(b\,a2).
Теперь осталось заметить, что вероятность попадания в прямоугольник {ai < xi < by ay < Х2 < ^2} есть вероятность попадания в полуполосу {^1 < ^1, в2 ^ Х2 < ^}> из которой вычтена вероятность попадания в полуполосу {xi < ау 02 < Х2 < ^2}, равная F(ayb2) — F(aya2). Окончательно получаем
P{ai < ^1 < ^1, «2 С2 < ^2} = F(b\, b2) — F(b\, 02) — F(a\, b2) + + F(a\, 02).
Подобно одномерному случаю доказывается и следующее свойство:
F(xi,X2) — непрерывная слева по каждому из аргументов х\ и Х2 функция.
Наконец, последнее свойство устанавливает естественную связь между распределением случайного вектора (^1,^2) и распределениями
случайных величин £i и £2. Событие {£2 < ос} достоверно, поэтому {6 < Ж1} П {^2 < 00} = {Ci < жД Аналогично Ki < 00} П Ц2 < ж2} = = {£2 < Щ- Значит,
F^ ,52 (ж, оо) = F^ (ж), F^ ,52 (00, ж) = F^ (ж).
Отметим, что, в отличие от одномерного случая, не любая функция F(xi,X2), удовлетворяющая условиям 2-4 и 6, может являться совместной функцией распределения некоторой двумерной случайной величины. Для того чтобы это было возможно, необходимо потребовать также выполнение для любых xi, у\, ^2, У2, х\ < у\, Х2 У2, следующего дополнительного условия:
A(yi, у2) - A(yi, ж2) - А(ж], у2) + А(ж], ж2) < 0.
Дискретные двумерные случайные величины
Двумерная случайная величина (Сч) называется дискретной, если каждая из случайных величин $, и у является дискретной. Ясно, что если случайная величина £ может принимать только значения Xi,...,Xn (для простоты мы ограничимся только конечным множеством значений), а случайная величина у — значения Уь ... ,Ym, то двумерный случайный вектор (£, у) может принимать только пары значений (Х^, У)) (г=1,...,п, з = \,...,т\
Так же, как и в одномерном случае, распределение двумерной дискретной случайной величины естественно описать с помощью перечисления всевозможных пар (Xi,Yj) значений случайного вектора (£, у) и соответствующих вероятностей, с которыми эти пары значений принимают случайные величины £ и у. Такое перечисление удобно реализовать таблицей (табл. 1) с двумя входами. В верхней строке этой таблицы перечислены все возможные значения Y\,...,Ym случайной величины у, а в левом столбце — значения Х\,...,Хп случайной величины £. На пересечении столбца «Yj» со строкой «Хр> приведена вероятность pij = Р{£ = Xi, у = У)} совместного осуществления событий {£ = Х^ и ^у = YjY К этой таблице обычно добавляют еще одну строку «Р^» и столбец «Р^». На пересечении столбца «Р^» со строкой «Хр> записывают число р^ = рп + ... + pim. Но р^ представляет собой не что иное, как вероятность случайной величине £ принять значение Xi, т. е. p^i = Р{£ = Х^. Таким образом, первый и последний столбцы таблицы дают нам ряд распределения случайной величины £. Аналогично в строке «Р^» p^j = p\j + ... Ypnj, а первая и последняя строки в совокупности задают ряд распределения случайной величины у. Для контроля правильности составления таблицы рекомендуется просуммировать элементы последней строки и последнего столбца. Если хотя бы одна из этих сумм не будет равна единице, то это означает, что при составлении таблицы была допущена ошибка.
Таблица 1
€
и
Ym
P;
Xi
Р11
Р12
Pim
Pei
х2
Р21
Р22
P2m
Pep
Хп
РпХ
Рп2
Prim
Pen
Р-7
Ртй
Рт]2
Pr)m
1
1
По табл. 1 нетрудно определить функцию распределения F^(x,y\ Ясно, что для этого необходимо просуммировать р^ по всем тем значениям г и j, для которых Хг < х, Yj < у. Иными словами,
^Цу) = Е ру-
MiМ20iPa-i0g2qpq1pqp2p^42qpiMiМ20iPa-i0g2qpq1pqp2p^42qpiТаблица 2Таблица 2элементов последнего столбцаэлементов последнего столбцаpFq = 1, последней строки р-V q = 1. Значит, есть надежда, что таблицаpFq = 1, последней строки р-V q = 1. Значит, есть надежда, что таблица
Mi
М2
0
i
Pa-i
0
g2
qp
q
1
pq
p2
p
^42
q
p
i
Mi
М2
0
i
Pa-i
0
g2
qp
q
1
pq
p2
p
^42
q
p
i
Таблица 2
Таблица 2
элементов последнего столбца
элементов последнего столбца
pFq = 1, последней строки р-V q = 1. Значит, есть надежда, что таблица
pFq = 1, последней строки р-V q = 1. Значит, есть надежда, что таблица
Пример 6. В схеме Бернулли производится 2 испытания с вероятностью успеха р и вероятностью неудачи q = 1 — р. Выпишем распределение двумерного случайного вектора (ух^рл), где pt (г = 1,2) — число успехов в г-м испытании (см. пример 2). Каждая из случайных величин /ц и /12 может принимать 2 значения: 0 или 1. Числа успехов в обоих испытаниях равны нулю тогда, когда произойдут две неудачи, а это в силу независимости испытаний происходит с вероятностью q • q. Поэтому Р{/ц = 0, /12 = 0} = q2 и на пересечении столбца «0» со строкой «0» нужно написать q2 (табл. 2). Далее, pi = 1 и р2 = 0,
если в первом испытании произошел успех, а во втором — неудача, и, значит, P{pi = 1, ^2 = 0}= pq. Аналогично заполняется второй столбец: Р{/ц = 0,/12 = 1} = qp, Р{щ = 1,Ц2 = 1} = р2- Наконец, на пересечении столбца «РМ1» и строки «0» должно стоять Р{щ = 0} = q2 + qp = q(q + р) = q, а на пересечении столбца «РМ1» и строки «1» — Р{щ = 1} = pq + р2 = p(q + р) = р. Таким же образом выписываем последнюю строку: Р{/12 = 0} = q2 + pq = q, Р{р2 = 1} = qp + р2 = Р- Проверяем пра-
вильность составления таблицы: сумма
составлена правильно.
Построим теперь совместную функцию распределения F(xi,X2) = = Р{/11 < Хх,Ц2 < ^2} случайных величин Цх И ^2- Поскольку При Хх < 0 или Х2 < 0 нет ни одного элементарного исхода ш, для которого /ц(ш) < хх или Р2^ < Х2, то событие {pi < Хх,У2 < £2} невозможно И, значит, Р(Ж1,Ж2) = 0
при хх < 0 или Х2 < 0. Далее, если 0 < хх < 1 и 0 < Х2 < 1, то событие
{pi < хх,Ц2 < яд} эквивалентно событию {pi = 0,р2 = 0}, которое, как
видно из табл. 2, происходит с вероятностью д2, и Р(ац,Ж2) = Q2- Если же О < хх < 1, а $2 > 1, то событие ^рд < хх, Р2 < $2^ совпадает с объединением
Рис. 3
непересекающихся событий {/ц = 0, р2 = 0} и {/ц = 0, р2 = 1}, тогда Р(ж1,Ж2) = q2 + qp = q- Аналогично, F(xx,X2) = q2 + pq = q при xx > 1 и 0 < X2 < 1. Наконец, если xx > 1 и яд > 1, то событие {px < xx,p2 < ^2} достоверно и, значит, ^(жьяд) = 1- Функция распределения ^(жьяд) представляет собой поверхность в трехмерном пространстве, и ее не очень удобно изображать графически. Тем не менее такая попытка предпринята на рис. 3. □
Пример 7. Игральная кость размечена таким образом, что сумма очков на противоположных гранях равна 7 (т. е. 1-6, 2-5, 3-4). Случайная величина £ — число очков, выпавших на верхней грани, случайная величина 77 — на нижней. И случайная величина £, и случайная величина у могут принимать любые целые значения от 1 до 6 с одинаковой вероятностью 1/6. Однако если случайная величина £ приняла значение 1 (на верхней грани выпало 1 очко), то единственным значением случайной величины у может быть только 6 (на нижней грани обязательно выпадет 6 очков). Значит, строка «1» табл. 3 будет состоять из нулей, за исключением пересечения со столбцом «6»: на этом месте обязана стоять вероятность 1/6. Аналогично, строка «2» будет иметь единственный отличный от нуля элемент на пересечении со столбцом «5»,
Таблица 3
€
у
1
2
3
4
5
6
Pi
1
0
0
0
0
0
1/6
1/6
2
0
0
0
0
1/6
0
1/6
3
0
0
0
1/6
0
0
1/6
4
0
0
1/6
0
0
0
1/6
5
0
1/6
0
0
0
0
1/6
6
1/6
0
0
0
0
0
1/6
р.
1/6
1/6
1/6
1/6
1/6
1/6
1
1
также равный 1/6 (на верхней грани выпало 2 очка, на нижней 5) и т. д. Столбец «Р^» и строку «Р^» находим, суммируя соответствующие строки и столбцы; как и должно было быть, мы получаем в них одинаковые значения 1/6, соответствующие принципу классической вероятности.
Предоставляем интересующемуся читателю самостоятельно построить совместную функцию распределения случайных величин £ и у. □
Непрерывные двумерные случайные величины
Непрерывной двумерной случайной величиной ^ у) называется такая двумерная случайная величина ^рУ функция распределения которой Е(х\,Х2) = Р{£ < х\, у < ж2} может быть представлена в виде
F(xi,x2) =Р(^ь^) Й1 dy2.
-ОО<7/1<ЖЬ
— (Х)<,у2<Х2
Здесь имеется в виду двукратный интеграл по области ^у\ < xi, У2 < ^2}; имеет место теорема Фубини, которая говорит, что этот двукратный интеграл можно представить в виде повторного, причем в любом порядке:
Х2Х2Х1
Т(ж1,ж2)= j dyt j p(yi,y2) dy2 = I dy2 | p(yi,y2) dyi.
Функция р(ж[,ж2) = рЩжьжг) называется совместной плотно- стъю распределения случайных величин и у.
Так же, как и в одномерном случае, будем предполагать, что р(х\,Х2) непрерывная (или «почти» непрерывная) функция по обоим аргументам. Тогда совместная плотность распределения представляет собой смешанную производную совместной функции распределения:
Нетрудно вывести следующие свойства совместной плотности распределения:
р(ж[,ж2) > 0.
Ъ\ ь2
P{ai < £ < 51, а2 < у < 52} = | dx\ j р(х\, ж2) dx2-
| | р(жь ^2) dx\ dx2 = 1.
Р{ж, < 5 < Ж1 + Д1, ж2 < р < ж2 + Д2} « р(ж1,ж2)Д[Д2.
Р{£ = жц р = ж2} = 0.
Кроме этих свойств, повторяющих свойства плотности распределения одномерной случайной величины, укажем дополнительные свойства совместной плотности распределения.
Пусть D — некоторая область на плоскости (рис. 4).
Тогда, как следует из свойства 4, вероятность попадания двумерной случайной величины (^,р) в малый прямоугольник {а < £1 <а + Дь b < Х2 < b + Д2} приближенно равна р(а, Ь)Д1Д2. Поскольку попадания в непе- ресекающиеся прямоугольники являются несовместными событиями, то, для того чтобы найти полную вероятность попадания двумерной случайной величины (£, р) в область D, нужно просуммировать вероятности попадания во все «малые» прямоугольники, входящие в область D. Переходя к пределу,
получаем для Р^^Л) ^ ^} — вероятности попадания (^,р) в область D — формулу
Р{Ы е D} = || Р(ХХ ’ ^2) dx\ dX2-
Далее, из свойства 7 совместной функции распределения и определения совместной плотности распределения имеем
откуда, дифференцируя по х, получаем выражения для одномерных плотностей распределения случайных величин $ иц
Пример 8. Предположим, что в соответствии с принципом геометрической вероятности мы бросаем точку случайным образом в круг радиусом R с центром в начале координат (см. пример 10 в гл. 2). Пусть случайная величина £ — абсцисса точки падения, а ц — ордината. Естественно, поскольку точка не может попасть за пределы круга, то р^ху^х^ = 0 при Ху + Х2 > R2. Для каждой области внутри круга (в частности, прямоугольника {а<£<а + Д1,6<ц<6 + Д2}) вероятность попадания пропорциональна площади этой области (равна ЛД1Д2, где Л — коэффициент пропорциональности). Поэтому из свойства 4 совместной плотности распределения имеем: р(ху, Х2) = А при Ху + Х2 ^ R2, т. е. плотность распределения постоянна внутри
круга. Для определения постоянной А воспользуемся свойством 3 совместной плотности распределения. Поскольку р^х\,х^ = 0 при х2 + Х2 > R2, то
A dxx dx2 = ttAR2 = 1
и, значит, А = 1/(тгД2). Итак,
если х2 + Х2 > R2,если х2 + Х2 > R2,если х2 + Х2 < R2.если х2 + Х2 < R2.Го, р(жЬЖ2)=< J
если х2 + Х2 > R2,
если х2 + Х2 > R2,
если х2 + Х2 < R2.
если х2 + Х2 < R2.
7V ’
Нетрудно найти плотность распределения случайной величины £:
если |ж| > R,если |ж| > R,если |ж| < R.если |ж| < R.К2-х2(
если |ж| > R,
если |ж| > R,
если |ж| < R.
если |ж| < R.
= [ pa. y)dy= -A dy = s 2
°°R2-x2I 77 R2
Аналогичное выражение получается и для Рт^у).
Для нахождения совместной функции распределения F(xx,X2) заметим, что в силу определения совместной плотности распределения
^(жьж2) =[[ dpi ^2,
ivR J J
где область D представляет собой пересечение квадранта {pi < жц у2 < ж2} и круга х2 + Х2 < R2, т. е. Р(ж1,ж2) с точностью до множителя 1/(тгД2) совпа
Рис. 5Рис. 5дает с площадью области D, имеющей двойную штриховку на рис. 5.
Рис. 5
Рис. 5
Мы думаем, читатель достаточно хорошо знаком с основами интегрального исчисления и может определить площадь области D для различных хх и ж2 самостоятельно.
Предложенный выше вариант определения совместной плотности распределения р(жьж2), которую естественно назвать равномерной плотностью распределения внутри круга х2 + Х2 < R2, реализует первое решение примера 10 в гл. 2. Во втором решении
вероятность попадания одна и та же для областей, имеющих одинаковые приращения полярных координат: радиуса Ар и угла Ар. Переходя к декартовым координатам, получаем, что совместная плотность распределения £ и р в этом
случае должна иметь вид
если х2 + Х2 > R2,если х2 + Ж2 < R2.
Предоставляем читателю определить нормировочную константу В, а также плотности распределения случайных величин £ и р и совместную функцию распределения F^T1(xx1X2\ □
4 П. П. Бочаров, А. В. Печинкин
В заключение этого параграфа рассмотрим наиболее часто встречающееся на практике распределение непрерывной n-мерной случайной величины.
Многомерное нормальное (гауссово) распределение. Пусть А = = (a^j) — положительно определенная симметрическая квадратная матрица порядка п (т. е. а^ = а^, а все собственные значения матрицы А положительны). Обозначим через А-1 матрицу, обратную матрице А, а через А-1(х, х) — квадратичную форму, порожденную матрицей А-1, т. е. А-1(х, х) = ^ ^^^г^ч где ft^1^ — элементы матрицы А-\ a Xi — г-я координата вектора х = ^х\,..., хп\ Пусть также задан n-мерный вектор m = (mi,..., mn).
Скажем, что n-мерный непрерывный случайный вектор = (£i,...,£n) распределен по (невырожденному) нормальному закону, если его совместная плотность распределения р(х\,..., хп) (определяется точно так же, как и совместная плотность распределения одномерной случайной величины:
рЦь...,жп) =
задается формулой
р(хь ...,Хп) = р(х) = iГ/Т А Чх-т^-т)7(2^)п/2|А|1/2
(Здесь |А| — определитель матрицы А.) Матрица А носит название ковариационной матрицы (матрицы ковариаций), а вектор m — вектора средних. Если матрица А (а значит, и матрица А-1) совпадает с единичной матрицей I, а вектор m = (0,..., 0), то
Такая плотность распределения по аналогии с одномерным случаем называется плотностью стандартного n-мерного нормального распределения (соответственно F(x\,..., хп) — функция стандартного п-мерного нормального распределения).
Пусть (£i,...,£n) — n-мерный случайный вектор, распределенный по (произвольному) нормальному закону. Тогда тг — 1-мерный случайный вектор (£i,..., £п-1) распределен также по нормальному закону с вектором средних (mi,..., mn_i) и ковариационной матрицей А', получаемой из матрицы А вычеркиванием последних строки и столбца (это можно показать непосредственно с помощью многомерного аналога свойства 7 совместной плотности распределения двумерной
случайной величины:
Р$,Ць-.., ж«-1) =Ж...,е„Ц1,...,а:пНа:п;
однако существенно проще для этой цели воспользоваться аппаратом характеристических функций, который частично будет рассмотрен нами в гл. 8). В частности, каждая из случайных величин ^ распределена по нормальному закону со средним mt и средним квадратичным отклонением at = л/сц"г •
Рассмотрим теперь уравнение р(жь ..., хп) = с, которое для плотности распределения n-мерного нормального распределения эквивалентно уравнению
Л-1(х m,x m) = щ = -2 In (с(2тг)п/2|Л|1/2).
Для всех щ > О это уравнение в силу положительной определенности матрицы А-1 представляет собой уравнение n-мерного эллипсоида,
Рис. 6Рис. 6называемого эллипсоидом рассеивания; его главные оси называются осями рассеивания (рис. 6).
Рис. 6
Рис. 6
Будем трактовать п-мерный случайный вектор (£i,...,£n) как координаты случайной точки в n-мерном пространстве. Тогда, если мы выберем в n-мерном пространстве новую ортонормирован- ную систему координат Хр...,^, связанную с главными осями, то
в этой системе новые координаты (Сы---,€п) случайной точки ^ снова будут описываться n-мерным нормальным законом, имеющим нулевой вектор средних т' и диагональную матрицу ковариаций А', причем диагональные элементы с^ матрицы А! будут пропорциональны квадратам коэффициентов растяжения kt эллипсоида рассеивания по
соответствующим осям рассеивания. Еще раз вводя новые координаты yt = а^, получаем, что в этой последней системе yi,...,yn координаты случайной точки будут распределены по стандартному нормальному закону. Таким образом, делая обратные преобразования, можно трактовать (невырожденный) нормально распределенный вектор с произвольными вектором средних m и матрицей ковариаций А
как координаты случайной точки ^, имеющей стандартное нормальное распределение, в некоторой (вообще говоря, не ортонормированной и даже не ортогональной) системе координат.
Разумеется, встречаются многомерные случайные величины, которые нельзя отнести ни к дискретному, ни к непрерывному типу. Так, у двумерной случайной величины (£, у) одна координата (допустим ту) может быть дискретной, а другая £ — непрерывной. Такую двумер-
ную случайную величину удобно характеризовать набором функций РгЦ) = ЭРЦ < Ж, р = Y?Hdx.
Пример 9. Придя в кассу «Аэрофлота», клиент застает очередь из у человек. Ясно, что у — дискретная случайная величина, принимающая значения 0, 1, 2,... Наряду с длиной очереди у естественно рассмотреть и непрерывную случайную величину £ — общее время, проведенное клиентом в кассе. Если интервалы времени между приходами клиентов независимы (см. параграф 6) и имеют одно и то же экспоненциальное распределение с параметром А, а длительность обслуживания каждого клиента кассиром также распределена экспоненциально с параметром ц, то, как показано в теории массового обслуживания, совместное распределение случайных величин £ и у в установившемся режиме работы задается функциями
РгЩ = ^РК < Ж, 7? = г} = (1 - Р) С
Охг!
ж > 0, г = 0,1,2,...;р=-<1, А,д>0.
Ряд распределения случайной величины у находим, проинтегрировав pi(x) по х:
Рщ = Р{ц = г} = [ pi(x) dx = (1 - р) рг [ ^ Х е~рх dx = (1 - р) рг
-оо0
(г = 0,1,2,...).
Итак, длина очереди у распределена по геометрическому закону. Аналогично, плотность распределения случайной величины £ получаем, суммируя pi(x) по г:
= Е(1 -= (1 - p)^1"^ С > 0),
г=0г"
т. е. время £ пребывания клиента в кассе имеет экспоненциальное распределение с параметром ц(1 — р).□
Еще более интересные явления возникают, если рассматривать случайные величины, имеющие явную функциональную зависимость.
Пример 10. Пусть £ — непрерывная случайная величина с функцией распределения F^ и плотностью распределения р(х). Рассмотрим двумерный случайный вектор (£, £) с одинаковыми координатами £ и совместной функцией распределения ^Дж1,ж2) = PR < ^i,£ < xsY Ясно, что вектор (£,£) не является дискретным. Покажем, что (£R) не может быть и непрерывной двумерной случайной величиной. Для этого заметим, что при xi < ж2 событие {£ < xiR < ж2} совпадает с событием {£ < xR и, значит, F^RxbxR = F(xi\ Но тогдал
Pi,^^^ = я я Л^^г) = 0
при х\ < х^. Аналогично, F^^xy.x^ = F^x^ и
рЩж1,ж2) = Т^ЦжьЖг) = 0
ОХ\ 0X2
ПрИ Х2 < Х\.
Таким образом, если бы у вектора (£, £) существовала плотность распределения, то она равнялась бы нулю всюду, кроме биссектрисы х\ = $2, и, значит,
j | p^(xi,X2) dxi dx2 = 0,
что противоречит свойству 3 совместной плотности распределения. Ясно, что причина этого явления кроется в том, что значения двумерного случайного вектора (С€) полностью сосредоточены на биссектрисе х\ = яд.□
Условные распределения 9
Рассмотрим двумерную случайную величину (£,7?) с совместной функцией распределения F^-^x, у). Пусть известно, что случайная величина у приняла значение у. Естественно задать вопрос: а что можно сказать при этом условии о распределении случайной величины £? Ответ на этот вопрос дает условная функция распределения случайной величины £ при условии у = у. Как видно из самой постановки задачи, понятие условного распределения весьма схоже с понятием условной вероятности, разобранным в параграфе 1 гл. 3. Именно исходя из понятия условной вероятности, мы введем понятие условного распределения.
Начнем с наиболее простого случая. Пусть случайная величина у является дискретной. Назовем условной функцией распределения F^x | у = У^) случайной величины £ при условии у = ¥г условную вероятность события {£ < х} при условии события ^у = У^}, т. е. в соответствии с определением условной вероятности,
f^x 17? = уд = рц < х н = уд = ^^у7^ ■
Условная функция распределения обладает всеми теми свойствами, которые присущи обычной (безусловной) функции распределения.
Пример 11. Найдем условное распределение времени пребывания ^ клиента в кассе «Аэрофлота» (пример 9) при условии, что в момент прихода он застает очередь у из г человек. В этом случае, как мы знаем,
Р{£ < ж, у = г} = (1 — р) рг — е dy, Р{ц = г} = (1 — р) рг.
J г! о
Таким образом,
F^x I 7? = а = —у- e-w d-уо
9 Результаты настоящего параграфа в дальнейшем нигде, кроме параграфа 5 гл. 7, использоваться не будут, и при первом прочтении его можно пропустить.
и, значит, условная функция распределения Е^х | у = г) имеет условную плотность распределения
р^х I р = г) = р(х I р = г) = Л
представляющую собой плотность гамма-распределения с параметрами р, г + 1 или, что то же самое, плотность распределения Эрланга порядка г + 1.□
Если £ — также дискретная случайная величина, причем Р{£ = Х^, у = Yi} = р^, то удобно рассматривать условную вероятность -к^ того, что случайная величина £ примет значение Х^ при условии у = Ур определяемую как условную вероятность события {£ = Х^} при условии события ^у = YjY т. е.
= PR = Xi I р = УД == PR = Xi I р = УД =P^ = Xi,p = Y3i = р^Р{»? = УД р™‘P^ = Xi,p = Y3i = р^Р{»? = УД р™‘
= PR = Xi I р = УД =
= PR = Xi I р = УД =
P^ = Xi,p = Y3i = р^
Р{»? = УД р™‘
P^ = Xi,p = Y3i = р^
Р{»? = УД р™‘
Обычно условное распределение дискретной случайной величины £ при условии дискретной случайной величины у описывает табл. 4. Ясно, что элементы тг^- табл. 4 получаются из элементов табл. 1 по формуле ТГу = РгрР-пз И, наоборот, Pij = TTyP^j.
уу2YmXi7ГЦТГ12х2ТГ217Г22p^ХпЛ"п1Л"п2TV-nmP^nр.Рл^Р^Prjm11уу2YmXi7ГЦТГ12х2ТГ217Г22p^ХпЛ"п1Л"п2TV-nmP^nр.Рл^Р^Prjm11Таблица 4Таблица 4yxМ201Pm.0qqq1pppqp11yxМ201Pm.0qqq1pppqp11Таблица 5Таблица 5
у
у2
Ym
Xi
7ГЦ
ТГ12
х2
ТГ21
7Г22
p^
Хп
Л"п1
Л"п2
TV-nm
P^n
р.
Рл^
Р^
Prjm
1
1
у
у2
Ym
Xi
7ГЦ
ТГ12
х2
ТГ21
7Г22
p^
Хп
Л"п1
Л"п2
TV-nm
P^n
р.
Рл^
Р^
Prjm
1
1
Таблица 4
Таблица 4
yx
М2
0
1
Pm.
0
q
q
q
1
p
p
p
q
p
1
1
yx
М2
0
1
Pm.
0
q
q
q
1
p
p
p
q
p
1
1
Таблица 5
Таблица 5
Пример 12. Условное распределение случайной величины рл (числа успехов в первом испытании) при условии /12 = j (j = 0,1) (числа успехов во втором испытании) из примера 6 задается табл. 5. □
Пример 13. Условное распределение случайной величины £ (числа очков, выпавших на верхней грани игральной кости) при условии у = j (j = 1,... ..., 6) (числа очков, выпавших на нижней грани игральной кости) из примера 7 представлено в табл. 6. □
В общем случае условную функцию распределения случайной ве
личины £ при условии у = у также естественно было бы определить
формулой
।Р{у = у}
Однако это не всегда возможно (например, событие ^у = у^ для непрерывной случайной величины имеет нулевую вероятность: Р^у = у} = = 0). Поэтому попытаемся воспользоваться предельным переходом,
Таблица 6
€
1
2
3
4
5
6
Ре
1
0
0
0
0
0
1
1/6
2
0
0
0
0
1
0
1/6
3
0
0
0
1
0
0
1/6
4
0
0
1
0
0
0
1/6
5
0
1
0
0
0
0
1/6
6
1
0
0
0
0
0
1/6
рч
1/6
1/6
1/6
1/6
1/6
1/6
1
1
рассматривая вместо события {ту = р^ событие ^р < р < р + А} и устремляя А к нулю. Итак, определим сначала условную вероятность
РЦ < ж I у < у < у + △} =
= РЦ < ж, у ^ у < у + А} = ЦЩ1^_АЩЦЦж1у) Р{у<у<у + А}F^y + А) - Щу)
и назовем условной функцией распределения Е^х | у = у) предел
Щж I у = у) = 2™0 PR <ж\у^'п<у +
Оказывается, такой предел всегда существует (правда, в определенном смысле: это производная Радона-Никодима одной меры по другой. Производная Радона-Никодима определяется не однозначно, а с точностью до множества точек на прямой, вероятность попадания в которое случайной величины р равна нулю. Впрочем, с неоднозначностью определения условной функции распределения мы фактически уже встречались в случае дискретной случайной величины р; действительно, условную функцию распределения F^(x \ р = р) мы определяли только для р = Уг, для остальных значений р мы могли бы задать F^(x | р = р) совершенно произвольным образом, поскольку все равно случайная величина р такие значения не принимает).
Если же случайная величина р непрерывна, то условную функцию распределения можно определить следующим выражением:
Fe(x \р = р)=( х
формально получаемым, если в выражении для Р{£ < х | р < р < < р + А} поделить числитель и знаменатель на А и устремить А к нулю.
Пример 14. Найдем условное распределение длины очереди р в кассу «Аэрофлота» в момент прихода клиента при условии, что общее время £, прове-
денное им в кассе, составило х (пример 9). Ответ дадим в терминах условного ряда распределения Р{ц = г | £ = ж}. Тогда в обозначениях примера 9
рr„ _ I f= гЧ < П _
г! е " г\ е '
Таким образом, условное распределение очереди у при условии £ = ж представляет собой распределение Пуассона с параметром Аж.□
В наиболее важных для приложений случаях вектор (£, у) представляет собой двумерную непрерывную случайную величину с совместной плотностью распределения р^Угу). Тогда
НЛХ'С) = dv и, значит,
] Р^л^р) du
FRx I у =.
Нетрудно видеть, что условная функция распределения F^(x\y = у) имеет производную по х, т. е. существует условная плотность распределения случайной величины ^ при условии у = у:
РеГ h = у) = ^Fdx Ц = у) = ^^р ■
Пример 15. Найдем условную плотность распределения случайной величины £ — абсциссы точки падения (из примера 8) при условии, что ордината у приняла значение у. Тогда, как мы знаем,
Р£,Щ,у)=< 17V R2 ’{о,tvR2 и при \у\ < R!0,12R2 - 7/2 ’Р£,Щ,у)=< 17V R2 ’{о,tvR2 и при \у\ < R!0,12R2 - 7/2 ’если |ж| > у/R2 — у2,
Р£,Щ,у)=< 1
7V R2 ’
{о,
tvR2 и при \у\ < R
!0,
1
2R2 - 7/2 ’
Р£,Щ,у)=< 1
7V R2 ’
{о,
tvR2 и при \у\ < R
!0,
1
2R2 - 7/2 ’
если |ж| < VR2 - у2,
если \у\ > R,
если \у\ < R,
если |ж| > у/R2 — у2,если |ж| < VR2 - у2.
Таким образом, случайная величина £ при условии у = у равномерно распределена на отрезке [-у/R2 — у2, у/R2 — у2У Если | у | > R, то условная плотность распределения р^(х\у = у) не определена; но это нас не должно волновать, поскольку случайная величина у не может принимать значение, по модулю большее R.
Рекомендуем читателю самостоятельно решить эту задачу для второго варианта определения плотности распределения из примера 8.□
Пример 16. Пусть (£, ц) — двумерный нормальный вектор с матрицей ковариаций
Л =Л =/7(71 (72/7(71 (72/7(71(7202/7(71(7202(<71, <72 > 0,-1 < р < 1)(<71, <72 > 0,-1 < р < 1)
Л =
Л =
/7(71 (72
/7(71 (72
/7(71(72
02
/7(71(72
02
(<71, <72 > 0,-1 < р < 1)
(<71, <72 > 0,-1 < р < 1)
и вектором средних (mi,m2). Найдем условную плотность распределения случайной величины £ при условии у = у. Для этого сначала определим |Д| и Д-1:
/ 1 "Р \
Ml = С?<72(1 - У),Ml = С?<72(1 - У),^('-Р2)<7!<72(1 -Р2)
Ml = С?<72(1 - У),
Ml = С?<72(1 - У),
-Р1
\<71<72(1 - /Д)<7^(1 - Д) /
2р(х-тх)(у-т2) , ^-т^Д<4^2+<т| J2р(х-тх)(у-т2) , ^-т^Д<4^2+<т| JТеперь мы можем выписать совместную плотность распределения случайных величин £ и у:
2р(х-тх)(у-т2) , ^-т^Д
<4^2+<т| J
2р(х-тх)(у-т2) , ^-т^Д
<4^2+<т| J
PC-7(®,y) =, е 2(1 р2)
2 7Г (71 (721/ 1 — р2
Далее, как нам известно,
рЛу) =7=е 2ст2
и, значит,
Р^ж I У = У) =Р^ж I У = У) =Р^тЩу)Р-7 (у)Р^тЩу)Р-7 (у)1<7^277(1 - Д)1<7^277(1 - Д)1 е 2<j2(l-p2)1 е 2<j2(l-p2)[Х_(т1 + £МИ))]2[Х_(т1 + £МИ))]2Таким образом, условное распределение £ при условии у = у снова является нормальным со средним значением тх + рах^у — m^fa^ и средним квадратичным отклонением сп у/1 — р2. □Таким образом, условное распределение £ при условии у = у снова является нормальным со средним значением тх + рах^у — m^fa^ и средним квадратичным отклонением сп у/1 — р2. □
Р^ж I У = У) =
Р^ж I У = У) =
Р^тЩу)Р-7 (у)
Р^тЩу)Р-7 (у)
1
<7^277(1 - Д)
1
<7^277(1 - Д)
1 е 2<j2(l-p2)
1 е 2<j2(l-p2)
[Х_(т1 + £МИ))]2
[Х_(т1 + £МИ))]2
Таким образом, условное распределение £ при условии у = у снова является нормальным со средним значением тх + рах^у — m^fa^ и средним квадратичным отклонением сп у/1 — р2. □
Таким образом, условное распределение £ при условии у = у снова является нормальным со средним значением тх + рах^у — m^fa^ и средним квадратичным отклонением сп у/1 — р2. □
Независимые случайные величины
Назовем случайные величины ^ и у независимыми, если совместная функция распределения F^^x,y) представляется в виде произведения одномерных функций распределения F^(x) и F^y):
Понятие независимости случайных величин представляет собой перенос понятия независимости событий на случайные величины и опять- таки отражает отсутствие связи между случайными величинами £ и у (хотя, повторяем еще раз, и £, и у заданы на одном и том же вероятностном пространстве (Q,25,P) и в совокупности определяют двумерный случайный вектор (£,//)). Иными словами, независимость случайных величин £ и у можно охарактеризовать следующим образом: зная значение, которое приняла случайная величина у, мы никакой новой информации о распределении случайной величины £ не получим. Отметим, что обычно независимость случайных величин вводится
несколько иначе; в этом случае приведенное здесь определение выступает в роли необходимого и достаточного условия независимости.
Совершенно аналогично определяется независимость произвольного числа случайных величин. Случайные величины ^ь... ,^п называются независимыми (в совокупности), если
Разумеется, так же, как и для событий, из попарной независимости не следует независимость случайных величин в совокупности.
Пример 17. Свяжем с бросанием правильного раскрашенного тетраэдра (пример 11 в гл. 3) три случайные величины: £i, £2 и £3, каждая из которых может принимать значения 0 или 1, причем ^1 = 1, если тетраэдр упал на грань, в раскраске которой присутствует синий цвет, и £ = 0 в противном случае. Аналогично, £2 характеризует наличие красного цвета, а £3 — зеленого. Нетрудно видеть, что случайные величины £1, £2 и £3 будут попарно независимы, но зависимы в совокупности.□
Пример 18. Рассмотрим широту £1, долготу £2 места падения метеорита на Землю и время £3 от начала наблюдений до момента его падения (см. пример 5). Предполагая, что каждый падающий метеорит имеет случайное направление, мы должны считать случайные величины £1, £2 и £3 независимыми. Однако если Земля проходит через метеоритный поток определенного направления, уже нельзя пользоваться моделью с независимыми £1, £2 и £3, поскольку долгота места падения связана с тем, какой стороной к потоку метеоритов обращена Земля, т. е. в конечном счете со временем. Тем не менее и в этом случае широта £1 не будет зависеть от времени £3, т. е. имеет место независимость случайных величин £1 и £3, хотя случайные величины £1, £2 и £3 зависимы в совокупности. Предоставляем читателю самостоятельно поразмышлять над вопросом: какое направление должен иметь поток метеоритов, чтобы были независимыми между собой случайная величина £1 и случайный вектор (£2,£з) (широта не зависит от долготы и времени падения).□
Пусть £ и у — независимые случайные величины. Рассмотрим событие {ац С £ < ^2}, связанное со случайной величиной £, и событие {?/1 ^ Л < y^V связанное со случайной величиной у. В силу независимости £ и у
Р{Ж1 < £ < ж2, У1 < л < у2} =
=- ^ЦьУг) - ^Ц2,У1) + ЕСьуС =
= ЦЩЛ-Щуг) - ЦЩЩЩг) - pyx^pyth) + ЦЩЩЩ]) =
=- Ц(ж1)]Щ(у2) -=
= РЩ < € < ж2}Р{у1 О/ < у2}.
Таким образом, для независимых случайных величин независимы между собой не только события, связанные с попаданием случайных величин £ и у на интервалы (—сю,х) и (—сю,?/), но и на любые интервалы [^1,^2) и [?/ь?/2) и, более того, в любые (измеримые) одномерные множества А и В.
Для проверки независимости компонент многомерных дискретных и непрерывных случайных векторов обычно бывают удобными другие эквивалентные определения независимости (доказательство эквивалентности приводимых ниже определений предоставляем читателю). Так, дискретные случайные величины X и у независимы, если для всех возможных значений Xi и Yj
Pij = ^{^ == Х; } = ^{^ = ^}Р{^ = Х; } = Р^гРнЗ*
Пример 19. В схеме Бернулли с двумя испытаниями (см. пример 6)Р{/И = 0, ц2 = 0} = q2 = Р{/ц = 0}P{/z2 = 0},Р{^1 = 0,ц2 = 1} = qp = Р{М1 = 0}Р{М2 = 1},Р{/Ц = 1,^2 = 0} = pq = Р{/ц = 1}Р{ц2 = 0},Р{М1 = 1^2 = 1} =Р2 = РЬ = 1}Р{М2 = 1}.
Таким образом, числа успехов р\ и ц2 в первом и втором испытаниях представляют собой независимые случайные величины. Впрочем, иного и нельзя было ожидать из самого определения схемы Бернулли. Читатель может самостоятельно убедиться в том, что независимы в совокупности случайные величины /и,..., Цп — числа успехов в первом,..., n-м испытаниях Бернулли. □
Непрерывные случайные величины X и у независимы, если для всех х и у
риХ^ = р^Р p^Y
Отметим здесь же, что если независимые случайные величины £ и у непрерывны, то и двумерная случайная величина (£, у) обязана быть непрерывной (ср. с примером 10).
Пример 20. Координаты двумерного нормального случайного вектора (см. пример 16) независимы тогда и только тогда, когда р = 0, т. е. матрицы Л-1 и Л — диагональные. В этом можно без труда убедиться, сравнивая выражения для р^т(х,у) с произведением p^x^p^yY Аналогично, случайные величины £i,..., Хт^ имеющие совместное n-мерное нормальное распределение, независимы (в совокупности) тогда и только тогда, когда матрица Л-1, а значит, и ковариационная матрица Л диагональны. Интересно отметить, что попарная независимость всех компонент ^ и ^ нормального вектора (^ь---^п) влечет за собой независимость случайных величин ^i,..., £п в совокупности (ср. с примером 17).□
Для читателя, ознакомившегося с понятием условного распределения (параграф 5), приведем еще один критерий независимости случайных величин X и у: случайные величины X и Л независимы тогда и только тогда, когда условное распределение (функция распределения F^(x \ у = yY плотность распределения р^(х | у = у)) случайной величины X при условии у = у совпадает с безусловным распределением (функцией распределения F^xY плотностью распределения р^(х^ случайной величины X при всех значениях х и у. В частности, дискретные величины X и у независимы тогда и только тогда, когда все условные вероятности тг^- = Р{£ = Xi | у = Y^ совпадают с безусловными вероятностями р^ = Р{£ = XYV т. е. все столбцы табл. 4 совпадают с последним.
Пример 21. В схеме Бернулли с двумя испытаниями (см. пример 6) числа успехов р\ и Ц2 в первом и втором испытаниях независимы, поскольку в табл. 5 все три столбца совпадают. Этот факт нами уже был установлен другим способом в примере 19. □
Пример 22. Число очков £, выпавших на верхней грани игральной кости, и число очков у на нижней грани (см. пример 7) — зависимые случайные величины, поскольку вообще ни один из первых шести столбцов табл. 6 не совпадает с последним. □
Пример 23. В примере 11 показано, что условное распределение времени пребывания £ клиента в кассе «Аэрофлота» (см. пример 9) при условии, что в момент прихода он застает очередь у из г человек, является распределением Эрланга порядка г+ 1, в то время как случайная величина £ распределена по экспоненциальному закону. Таким образом, £ и у — зависимые случайные величины. □
Пример 24. Условная плотность распределения случайной величины £ (абсциссы точки падения при равномерном бросании в круг, см. пример 8) при условии у = у (ординаты точки падения), как следует из примера 15, равномерна, в то время как безусловная плотность распределения случайной величины £ таковой не является. И в этом примере случайные величины £ и у зависимы между собой. □
Функции от многомерных случайных величин
Функция от многомерной случайной величины определяется точно так же, как и функция от одномерной. Рассмотрим это понятие на примере двумерной случайной величины. Пусть на вероятностном пространстве (Q,93,P) задана двумерная случайная величина (£ь£2)- Предположим, что у нас имеется (измеримая) числовая функция g(x\,xs) числовых аргументов х\ и х^. Случайную величину у = р(€ь€2) = ^(^i^), £2^)) назовем функцией от двумерной случайной величины (£i,£2).
Функция g(£i,£2) от двумерной дискретной случайной величины (£1, £2) снова является дискретной случайной величиной, принимающей значения g^X^Yj) с вероятностью ptj = P{£i = Х^,^ = ^jY где Х^ — значения случайной величины £1, a Yj — случайной величины £2. Разумеется, для того чтобы построить ряд распределения случайной величины у = ^(£1, £2)» необходимо, во-первых, исключить все те значения g^X^YjY которые принимаются с вероятностью, равной нулю, а, во-вторых, объединить в один столбец все одинаковые значения g^X^YjY приписав этому столбцу суммарную вероятность.
Пример 25. Рассмотрим случайную величину у — суммарное число успехов в двух испытаниях Бернулли. Тогда у = р\ + /12 (см. пример 2) и у(ж1,Ж2) = х\ + $2- Поскольку случайные величины рл и Ц2 принимают только два значения 0 или 1, то случайная величина у может принимать 4 значения: р(0,0) = 0 + 0 = 0, ^(1,0) = 1 + 0 = 1, #(0,1) = 0+1 = 1 ир(1,1) = 1 + 1 = 2с вероятностями (см. пример 6) q2, pq, qp и р2 соответственно (табл. 7). Осталось заметить, что двум средним столбцам соответству-
Таблица 7
д(0,0) = 0
fl(l.O) = 1
9(0,1) = 1
ЦЫ) = 2
Рм
q2
pq
qp
P2
ет одно и то же значение 1 случайной величины у и их необходимо объединить. Окончательно получаем ряд распределения случайной величины у, представленный в табл. 8.
Таблица 9Таблица 9Естественно, мы получили, что суммарное число успехов у в двух испытаниях имеет распределение Бернулли. □
Таблица 9
Таблица 9
Таблица 8
p
0
1
2
Pm
q2
2pq
p2
Пример 26. Пусть £ — число очков, выпавших на верхней грани игральной кости, а ц — на нижней (пример 7). Рассмотрим случайную величину С = ^ + ^ — суммарное число очков, выпавших на верхней и нижней гранях (д(х,у) = х + д\ Тогда ( может принять любое целочисленное значение от 2 до 12. Так, например, значению £ = 4 соответствует выпадение 1-3, 2-2 и 3-1 очков на верхней и нижней гранях. Однако нетрудно видеть из табл. 3, что все значения, кроме значения, равного семи, случайная величина ( принимает с вероятностью, равной нулю, и их необходимо изъять из ряда распределения, а значение 7 случайная величина ( принимает в 6 случаях (1-6, 2-5, 3-4, 4-3, 5-2 и 6-1), причем каждый из этих случаев реализуется с вероятностью 1/6. Поэтому случайная величина ( может принимать всего одно значение — 7 с вероятностью, равной единице, т. е. она имеет ряд распределения, представленный в табл. 9.
Собственно говоря, это было очевидно с самого начала, поскольку игральная кость размечена таким образом, что сумма очков на противоположных гранях равна семи. □
В том случае, когда (£1,^2) — двумерная непрерывная случайная величина с плотностью распределения р£ь£2(жь Ж2)> функция распределения случайной величины г/ = д(£ь£2) определяется формулой
F^x) = || р^^жь ^2) dx\ dx2-g(xi,x2)<x
Область интегрирования в последней формуле состоит из всех х\ и Х2, для которых д(х\,Х2) < х.
Пример 27. Пусть (£1, £2) — двумерный случайный вектор, распределенный по стандартному нормальному закону. Найдем распределение случайной величины у = J^ + ^ . В этом случае ^(^1,^2) = F х\ + х^. Очевидно, что
F^x) = О при ж < О, а при х > О
ГЛ(х) =||^- е- 2 (ж1+жг) уХ1 dx2.
Ж^Цж^ <ж
Последний интеграл удобно вычислить, переходя к полярным координатам р и р. Тогда ж2 + Ж2 = р2, dxx dx2 = pdpdp, а область интегрирования превращается в круг р < х;
ж 2тгж
F^^x) = | dp^ ^ 2Р Р dp = j ре~2р dp = 1 — е~х I2 (х > 0). ооо
Это уже известное нам распределение Рэлея.
Полученный результат допускает многочисленные физические трактовки. Приведем одну из них. Если движущаяся в плоскости частица имеет случайные составляющие скорости, распределенные по двумерному стандартному нормальному закону, то абсолютная величина скорости распределена по закону Рэлея. Трехмерным аналогом распределения Рэлея (абсолютная величина скорости частицы, движущейся в трехмерном пространстве, причем составляющие скорости распределены по трехмерному стандартному нормальному закону) является распределение Максвелла, представляющее собой распределение случайной величины у = лД, где £ — случайная величина, распределенная по закону %2 с тремя степенями свободы.□
Особо важным для теории вероятностей представляется случай, когда £i и £2 — независимые случайные величины, а у = £i + £2 — их сумма. Тогда g(xi,X2) = х\ + Х2 и в силу независимости £i и £2
Fn(x) = || р^^жь Ж2) dx\ dx2 = || р^ ДС)рДх2^ dx\ dx2 =
Ж1+Ж2<ЖЖ|+Ж2<Ж
ООх — Х\ОО
= | рРх\Ых\ | p^tejM = | ДДж-уЩЩ) dy.
Дифференцируя последнюю формулу под знаком интеграла, получаем выражение для плотности рДх) распределения суммы £i и £2
Р^= | р^х -y)ppy)dy.
Последнее выражение носит название формулы свертки и должно быть хорошо известно читателю, знакомому с элементами теории преобразований Фурье.
Пример 28. Случайные величины £i и £2 независимы и имеют гамма- распределения с параметрами А, 71 и А, 72 соответственно. Найдем плотность распределения суммы Ц = £1 + £2- Ясно, что поскольку £1 и £2 — положительные случайные величины, то случайная величина у также положительна
и рЛ(х) = 0 при х < 0. При х > О, учитывая, что р^ (у) = О при у < О и р^х - у) = Ь при у > ж, имеем по формуле свертки
РчЦ) = Т[ Л pz ее dy =
JJ 472)
-00о
dy,dy,_ Д71+72е-Лж f (Ж ^)72 ^71 1
dy,
dy,
J Г(72)Г(71)
О
Г(ж) введена в гл. 5, параграф 4. Делая замену у = xz, получаем
1
Р (Ж) = Л71+72ж71+72-1е-АЖ f (1 - гр-1^-1
w ’J Г(72)Г(7|)
О
Интеграл, стоящий в последнем выражении, представляет собой так называемый /3-интеграл, хорошо известный в теории специальных функций. Однако мы для его вычисления воспользуемся просто условием нормировки
| Рт](х) dx = 1, о
откуда
[ -^72"^71-1 dz _ 1
J Г(72)Г(71)Г(71+72)’
о
и получаем окончательно, что случайная величина у также имеет гамма- распределение с параметрами А, 71 + 72. Отсюда, в частности, следует: если независимые случайные величины имеют распределения Эрланга порядков кх и к2 соответственно (с одинаковым параметром А), то их сумма также распределена по закону Эрланга порядка кх + к^ (также с параметром А); если независимые случайные величины имеют распределения %2 с Ап и к^ степенями свободы, то их сумма также имеет распределение %2 с кх + к^ степенями свободы.□
Пусть теперь с двумерным случайным вектором (^1,^2) связана не одна, а две (можно рассматривать и большее количество) случайные величины ту = дх^х,^) и 772 = ^(^ь^)- Тогда мы можем определить совместную функцию распределения случайных величин ту и 772- Так, для непрерывного двумерного случайного вектора (^1,^2)
Ц^ЦьаД = ]] Р^ь^Ух^С) dyi dy2.
1(У1,У2)<Х1,92(У1,У2)<Х2
Если Р1(ж1,ж2) и #2(^1, ^2) задают взаимно однозначное преобразование плоскости саму в себя (или в некоторую область G), причем обратные преобразования hx^yx.g^ и Wyyx.g^ имеют непрерывные частные производные по ух и у^, то плотности распределения случай-
ных векторов (^1,^2) и (^1,^2) связаны между собой соотношениями =Р^.^ЧУЬУ2),ЫУ1,У2)) И,
где99
J =э^у^
^ЫуьуЛ !^Му\,уУ
— якобиан преобразования [/и (?/ь 3/2), ^2(3/1,3/2)]- Это свойство вытекает из того факта, что Р{?ц < ту < у\ + Ai, У2 < У2 < У2 + А2}, с одной стороны, приближенно равна р^^ух^^ДлД^ а с другой — приближенно равна р^^ (^1(рь У2У ^2(рь Р2)) S, где S — площадь прообраза прямоугольника со сторонами (рь pi + Ai) и (у2, У2 + А2), которая, как известно из курса математического анализа, в свою очередь приближенно равна \J\ А1А2.
В частности, пусть дДхцХг) = ^1^1 +^2^2 Г су, г = 1,2, т. е. преобразование линейное, причем матрица В = (^-) невырожденная. Тогда
Рч(у) =Ррв"‘(у-с)) p^j,
где В-1 — обратная к В матрица, а \\В || — модуль определителя матрицы В.
Пример 29. Пусть ^= (^ь---^п) — (невырожденный) n-мерный случайный вектор, распределенный по нормальному закону с матрицей ковариаций Л^ и вектором средних ггц = (0,..., 0) (этого всегда можно добиться, вводя случайный вектор £* = ^ — т). Введем новый случайный вектор д = (щ,...,Цп) = В^ где В — некоторая невырожденная квадратная матрица порядка п (в этом случае случайные величины ту = ^16 + • • • + Ь^п задаются линейными функциями Уг(хх, . . . , Хп) = ЬцХ1 + ... -V ЬгпХпУ Тогда случайный вектор д имеет плотность распределения
= !е-^ (В)"‘А-‘в-1 (у,у)
(2тг)"/2 |ВЛ6В|'/2’
т. е. также распределен по нормальному закону с нулевым вектором средних mn и матрицей ковариаций Лп = ВА^В, где В — матрица линейного преобразования (bij), а В — транспонированная к В матрица. Из курса линейной алгебры известно, что всегда можно подобрать невырожденное преобразование В таким образом, чтобы матрица Лп была единичной, т. е. вектор д имел бы стандартное нормальное распределение. Таким образом, мы нашли второй способ (ср. с результатом параграфа 4) задания n-мерного нормального случайного вектора £, имеющего произвольный вектор средних m и матрицу ковариаций Л, с помощью n-мерного стандартного нормального вектора д:
= В-1т\ + т. Отметим также, что если матрица В-1 вырождена, то мы получаем так называемый вырожденный нормальный закон.□
В дальнейшем нам понадобится следующее почти очевидное свойство функций от случайных величин. Пусть случайные величины £i и ^2 независимы, а функции ду^ху^х^ и ^(^1^2) таковы, что Р1(ж1,Ж2) = ду(ху) и #2(^1, ^2) = ^2(^2)- Тогда случайные величины т = 91(51-52) = 91(51) и % = 92(51.52) = 9г(5г) также независимы. Действительно (предполагая, например, что £1 и £2 — непрерывные случайные величины), имеем
=||^1,52(91.92)^91^92 =
1(?/1^2)<^1, ^2(1/Ы/2)<Ж2
=|| Р^Шй) dy{ dy2 =
1(?/1^2)<^1, 92(ух,92)<Ж2
= ( I Р^Ы <^9i)( I PbM dy-^ = -СЦЩЦЩг). дХ^Х^<ХХ92(92)<Ж2
Как и все остальные свойства, рассмотренные в настоящем параграфе, это свойство без всяких комментариев переносится на случай произвольной размерности п случайного вектора ^.
Пример 30. Пусть ^1,..., £п — независимые случайные величины, распределенные по стандартному нормальному закону. Тогда случайные величины £ь---> €п также независимы и распределены по закону %2 с одной степенью свободы (см. пример 12 в гл. 5) и, как следует из примера 28, случайная величина ц = £2 + ... + £2 имеет распределение %2 с п степенями свободы. Извлекая квадратный корень из ц, получаем при п = 2 и п = 3 распределения Рэлея и Максвелла (см. пример 27).□
Глава 7
ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИСЛУЧАЙНЫХ ВЕЛИЧИН
Мы теперь знаем, что каждая случайная величина характеризуется своей функцией распределения. С точки зрения наблюдателя, две случайные величины, имеющие одинаковые функции распределения, неразличимы, несмотря на то, что они могут быть заданы на различных вероятностных пространствах и описывать разные явления. Так, при игре в «орлянку» все равно, какая (симметричная) монета бросается, и, если кто из играющих и пытается сменить монету, то это скорее дань предрассудку, нежели возможность поправить свои дела. Однако в том случае, когда случайные величины имеют различные функции распределения и их необходимо сравнить, возникает определенная трудность. Иногда эта трудность легко преодолима. Например, если в схеме Бернулли нас интересует число успехов, то из двух схем Бернулли естественно выбрать ту, в которой больше вероятность успеха. В общем же случае непонятно, как сравнивать две функции распределения, а поэтому хотелось бы характеризовать каждую случайную величину некоторым (неслучайным) числом (возможно, несколькими числами), которое и позволило бы произвести упорядочение случайных величин в определенном смысле.
Такие числовые характеристики будут рассмотрены нами в этой главе. Отметим, что основную роль на практике играют математическое ожидание, характеризующее «центральное» значение случайной величины, и дисперсия, характеризующая «разброс» вокруг математического ожидания; их роль более подробно будет выяснена в следующей главе. Среди остальных характеристик можно выделить те, которые применяются в специальных вероятностных дисциплинах (например, квантили широко используются в математической статистике), и те, которые носят ярко выраженный теоретический характер (моменты высших порядков).
Математическое ожидание случайной величины
Математическим ожиданием (средним значением) М£ дискретной случайной величины называется сумма произведений значений Xt случайной величины на вероятности р^ = Р{£ = Х^, с которыми эти значения принимаются*.
г
При этом, если случайная величина £ принимает счетное число значений, то необходимо, чтобы
У < оо;
г=1
в противном случае говорят, что математическое ожидание случайной величины £ не существует.
Математическое ожидание дискретной случайной величины имеет аналог в теоретической механике. Пусть на прямой расположена система материальных точек с массами рг и пусть Хг — координата г-й точки. Тогда центр тяжести системы будет иметь координату
совпадающую с математическим ожиданием М^ случайной величины £.
Пример 1. Пусть £ — число угаданных номеров в «Спортлото 6 из 49» (см. пример 8 в гл. 5). В соответствии с рядом распределения в табл. 7 гл. 5 имеем
М£ = 0 • р0 + 1 • pi + 2 • р2 + 3 • р3 + 4 • р4 + 5 • р5 + 6 • р6 =
0 • 0,436 + 1 • 0,413 + 2 • 0,1324 + 3 • 0,0176 + 4 • 0,00097 +
+ 5-2- 10-5 + 6 • 7 - 10"8^ 0,735.
Таким образом, среднее число угаданных номеров равно 0,735.□
Пример 2. Найдем математическое ожидание случайной величины щ распределенной по биномиальному закону (число успехов в п испытаниях Бернулли с вероятностью успеха р):
ппП|
м^ = Е ^№ = Е O-r = ^i гННу = г=0г=0z=0 v v
n/1 мn-1 /1 \
E
(n — 1)!г-1 n_^/ n — 1 \ j n-l-j
np-—— -p q =np2^. W q -
г=1(^-1)Цп-г)!""о V /
n— 1
= np^ Pn-l(j) = Tip. □
3=0
Пример 3. Пусть £ имеет распределение Пуассона. Тогда
М( = Уе-^ = ху- е"х = Хехе"х = А.
Таким образом, параметр А пуассоновского распределения совпадает с математическим ожиданием.□
Пример 4. Математическое ожидание геометрически распределенной случайной величины £ имеет вид
м? = Е W = р»Е ^Т 1 = pqм? = Е W = р»Е ^Т 1 = pq= pq q= pq qpg =pq = q
м? = Е W = р»Е ^Т 1 = pq
м? = Е W = р»Е ^Т 1 = pq
= pq q
= pq q
(l-g)2 У P
□
Пример 5. Положительная целочисленная случайная величина £ имеет закон распределения pi = Р{£ = г} = 1 /\г (г + 1)] (г = 1,2,...). Тогда
У ipi = У 7 = У —-— = СЮ
У + 1+ 1
и, значит, математическое ожидание случайной величины £ не существует. □
Для определения математического ожидания непрерывной случайной величины £, имеющей плотность распределения р(х), заметим, допуская некоторую вольность изложения, что случайная величина £ принимает значение х с вероятностью р(х) dx. Заменяя сумму на интеграл, получаем: математическим ожиданием (средним значением) М£ непрерывной случайной величины £ называется интеграл
М£ = | хр(х) dx.
В этом случае условием существования математического ожидания является
| |х| р(х) dx < 00.
Так же, как и в дискретном случае, математическое ожидание непрерывной случайной величины можно интерпретировать как центр тяжести стержня, плотность массы которого в точке х равна р(х).
Пример 6. Найдем математическое ожидание равномерно распределенной на отрезке [а, Ь\ случайной величины £. Поскольку в этом случае р(х) = О при х < а и х > Ь, то
ооЬ
М£ = [ хр(х) dx = [ Ж dx = —1— • - (Ь2 — а2) =.
4 J 7 J b - а Ъ — а 2 V 72
Как и следовало ожидать, М£ совпадает с центром отрезка [а, Ь\.□
Пример 7. Математическое ожидание случайной величины £, распределенной по нормальному закону со средним т и средним квадратичным отклонением ст, определяется формулой
ОО00/ \2
ffX- (х-тр
М£ = х рт;(7(х) dx =—-= е2<т2 dx.
JJсгу2тг
Делая замену у = (х - т)^, получаем
М£ = Iе у / dy = I . е у ' dy + т I , е у ' dy =
J VzttJ VzttJ у2тг
=dy + т р(у) dy.
Нетрудно видеть, что первый интеграл равен нулю, а второй равен единице как интеграл от плотности стандартного нормального распределения. Таким образом, М£ = т, откуда и пошло название параметра т — среднее значение (второе название математического ожидания). □
Пример 8. Пусть £ — случайная величина, распределенная по закону
Вейбулла. Тогда, поскольку р(х) = 0 при х < 0, то
М£ = | хр(х) dx = | арх0 в ажР dx.-ооо
□□Делая замену у = ах0, получаем
□
□
М£ = | уе-уа ЗуЗ 1 dy = а 3 j ух^в?'9 dy = a ^F^ + l). оо
Пример 9. Математическое ожидание случайной величины £, имеющей гамма-распределение, задается выражением
= Т е-Лж dx.
J Г(7)
О
Делая замену у = Хх, получаем
М< = —Д 7dy = П1±Д = 2 .□
4 АГ 7 J УУ АГ 7А
О
Пример 10. Случайная величина £ имеет плотность распределения Коши р(х) = 1/[тг(1 Тж)2]. Тогда
и математическое ожидание £ не существует.□
В общем случае математическое ожидание случайной величины задается выражением
М£ = | х dF(x\
где интеграл понимается в так называемом смысле Стилтьеса. Поскольку мы рассматриваем только дискретные и непрерывные случайные величины, последнее выражение можно трактовать как обобщенную запись формул для математических ожиданий дискретной и непрерывной случайных величин.
Математическое ожидание функции от случайнойвеличины. Свойства математического ожидания
Прежде чем переходить к описанию свойств математического ожидания случайной величины, позволяющих, как будет видно из примеров, в ряде случаев существенно упростить его вычисление, определим математическое ожидание функции от случайной величины (случайно-
го вектора). Итак, пусть д = д^) — функция от случайной величины. Для определения Мд = Мр(^) можно было бы сначала по формулам параграфа 5 гл. 5 найти распределение случайной величины д и затем уже, воспользовавшись определениями предыдущего параграфа, вычислить Мд. Однако мы применим другой, более удобный подход. Рассмотрим сначала дискретную случайную величину £, принимающую значения Xi,...,Хп. Тогда случайная величина д = р(^), как мы знаем, принимает значения д(Х\),...,д(Хп) с теми же вероятностями pt = Р{£ = Х^, и ее математическое ожидание определяется формулой
Мт? = МЦ£) = ^д(Х^Р1.
г=1
Если случайная величина £ принимает счетное число значений, то математическое ожидание £ определяется формулой
м?? = мцо = Y,g(xi)pi,z=l
но при этом для существования математического ожидания необходимо выполнение условия
Е \д(х0\рг < г=1
Пример 11. Определим математическое ожидание выигрыша д в «Спортлото 6 из 49» (см. пример 9 в гл. 5). Поскольку д является функцией от случайной величины £ — числа угаданных номеров, то, воспользовавшись формулой для математического ожидания функции от случайной величины и рядом распределения в табл. 7 из гл. 5, имеем
Мт? = Мд(О = д(О)РЦ = 0} + g( 1 )PR = 1} + g(2)PK = 2} +
+ g(3)PK = 3} + g(4)PK = 4} + g(5)P{£ = 5} + g(6)PR = 6} -
-0,3 • (0,436 + 0,413 + 0,1324) + 2,7 • 0,0176 + 54,7 • 0,00097 +
+ 699,7 • 2 • 10"5 + 9999,7 • 7 • 10"8 ~ -0,179.
Таким образом, математическое ожидание выигрыша отрицательно и равно примерно 18 коп., а это значит, что играющий в среднем проигрывает больше половины стоимости билета (30 коп.). Естественно, мы получим то же значение Мц, если воспользуемся рядом распределения случайной величины ц, представленным в табл. 10 из гл. 5.□
Аналогично, для непрерывной случайной величины £, имеющей плотность распределения р(х), математическое ожидание случайной величины д = р(£) определяется выражением
Мд = Мр(£) = д(х)р(х) dx,
причем и здесь должно быть выполнено условие j |д(ж)| р(ж) dx < ос.
В дальнейшем, чтобы каждый раз не оговаривать условие существования математического ожидания, будем предполагать, что соответствующие сумма или интеграл сходятся абсолютно.
Математическое ожидание функции от многомерной случайной величины определяется точно так же. Так, математическое ожидание Мт? функции г/ = д(^ь^2) от дискретной и непрерывной двумерных случайных величин (^1,^2) задается выражениями
Мт? = МЦС1Д2) =
id
Мт? = My^i,^) = | | g(x,y)p^,^(x,y)dxdy.
Теперь мы в состоянии вывести свойства математического ожидания.
Если случайная величина £ принимает всего одно значение с с вероятностью, равной единице (т. е. по сути дела является неслучайной величиной), то
Мс = с • 1 = с.
Далее, найдем математическое ожидание случайной величины р = а^ + b (д(х) = ах + Ь\ Рассматривая, например, непрерывный случай, имеем
Мт? = М(а£ + Ь) = | (ахb) р^(х) dx = а^ хр^(х) dxb^ р^(х) dx, т. е.
VA(a^b) = аЩ + Ь.
Аналогично свойство 2 доказывается для дискретной случайной величины £.
Пусть теперь т? = ^1 + ^2 (д(^ь^2) = ^1 + х2). Тогда (теперь уже на примере дискретной случайной величины)
м?? = мй + &) = Е № + Ц) ру = ИХ4 ру + Е ¥з ру = ididid
= ^2^i^ Pij ^ГДзЕ Pij = 52 ^-iP^xi + 52 ^3
i 33 ii3
и, значит,
M«1+<2) = M<1 + M<2.
К свойству 3 можно сделать следующее замечание: математическое ожидание суммы случайных величин может существовать даже тогда,
когда математические ожидания обоих слагаемых не существуют. Так, М« - <) = МО = 0 несмотря на то, что М£ может и не существовать. Очевидно также, что свойство 3 обобщается на случай произвольного числа п слагаемых.
Наконец, если £i и ^2 независимы, то для математического ожидания их произведения у = £1^2 (р(^ь^2) = ^1^2) имеет место формула (снова обращаясь к непрерывному случаю)
Mt7 = M(£i£2) = j j Х\Х2Р^,^(Х^Х2) dxi dX2 =
Х\Х2Р^х(х\) р^(х2^ dx\ dX2 =
Поэтому
М«1<2) = М<1М<2 для независимых случайных величин £1 и £2.
И это свойство допускает обобщение на произведение любого числа независимых (в совокупности) сомножителей.
Пример 12. Математическое ожидание случайной величины £, распределенной по стандартному нормальному закону, имеет вид
М^ = | xp(x)dx = | х J_ ^2 dx = 0.
В примере 13 из гл. 5 показано, что случайная величина у = а^ + т распределена по нормальному закону с параметрами т и а. Таким образом, по свойству 2 математического ожидания Мц = аМ^ + т = т и соответственно параметр т нормального закона является математическим ожиданием. Этот же результат был нами получен прямыми вычислениями в примере 7.□
Пример 13. Представим число успехов у в схеме Бернулли из п испытаний в виде ц = /ц + ... + цп, где pt — число успехов в г-м испытании. Нетрудно видеть, что
Мцг = 0 • q + 1 -р = р.
Значит, по свойству 3, Мц = М/ц + ... + Мцп = пр, что совпадает с результатами примера 2, но получено с минимальными вычислениями.□
Дисперсия. Моменты высших порядков
Математическое ожидание не всегда является достаточно удовлетворительной характеристикой случайной величины. Например, играть в орлянку можно по копейке, по рублю и даже по 1000 руб. При любой (одинаковой) ставке игроков и симметричной монете математическое ожидание выигрыша каждого игрока равно нулю, однако далеко не каждый не только рискнет, но и просто сможет вверить «глупой»
монете 1000 руб. Поэтому наряду со средним значением нужно иметь и число, характеризующее «разброс» случайной величины вокруг своего среднего. Такой характеристикой обычно служит дисперсия. И дело тут не только в том, что дисперсия является единственной мерой степени разброса (существует бесконечно много таких характеристик, в частности, центральные моменты любого четного порядка, которые также будут определены в этом параграфе; кроме того, сама дисперсия не всегда является хорошим показателем степени разброса). Использование дисперсии и других характеристик второго порядка (ковариаций) позволяет применить в теории вероятностей сильно развитый аппарат гильбертовых пространств. Особо важную роль этот аппарат играет в теории так называемых стационарных в широком смысле случайных процессов, которые в свою очередь являются основной математической моделью в ряде практических приложений.
Вторым (начальным) моментом m2 случайной величины £ называется математическое ожидание квадрата £ (д(х) = ж2):
т2 = М£2 = ^ ptг
для дискретной величины £ и
m2 = М(2 = х2р(х) dx
— для непрерывной.
Дисперсия D£ дискретной и непрерывной случайных величин ^ определяется соответственно формулами (д(х) = (х — М£)2):
О5 = м(^-м^)2 = 52(хг-м^г
И
D£ = М(£ - М^)2 = (х - М^)2р(х) dx.
Дисперсия D£ представляет собой второй момент случайной величины £, из которой вычтено ее математическое ожидание М^, т. е. центрированной (имеющей нулевое математическое ожидание) случайной величины £ = £ — М^. Поэтому иногда дисперсию называют вторым центральным моментом.
Дисперсия также имеет аналог в теоретической механике — центральный (относительно центра тяжести) момент инерции, характеризующий разброс массы относительно центра тяжести.
Выведем некоторые свойства дисперсии.
Если случайная величина £ с вероятностью, равной единице, принимает всего одно значение с, то из свойства 1 математического ожидания (М^ = с) получаем
D£ = М(£-с)2 = (с-с)2 ■ 1 =0.
Можно показать, что справедливо и обратное: дисперсия случайной величины £ равна нулю тогда и только тогда, когда £ с вероятностью, равной единице, принимает всего одно значение.
Определим дисперсию случайной величины р = а^ + Ь. Используя свойство 2 математического ожидания, имеем
Dq = М(77 - Мт;)2 = М [«И b - М« + 6)]2 = М« + b - аМ^ - Ь)2 =
= М [а(С - М£)]2 = М [а2(£ - М^)2] = а2М(£ - М^)2.
Поэтому
D« + &) =a2DC
Далее из свойств 2 и 3 математического ожидания получаем
D£ = М(£ - М^)2 = М [£2 - 2£М£ + (М^)2] = М^2 - 2(М£)2 + (М£)2, т. е.
De = m2 - (Me)2
Свойство 3 дает весьма удобную формулу для расчета дисперсии дискретной случайной величины с помощью ЭВМ или микрокалькулятора. Действительно, если бы мы производили вычисления дисперсии по первоначальной формуле, нам пришлось бы два раза суммировать по г; первый раз при подсчете математического ожидания и второй — дисперсии. Свойство 3 позволяет обходиться одним циклом: мы можем одновременно суммировать с весами pt и сами значения случайной величины, и их квадраты.
Наконец, пусть £ и р — независимые случайные величины. Тогда, используя независимость случайных величин £ = £ — М^ и р = р — Мр, а также свойства 2-4 математического ожидания, получаем
d(£ + 77) = м[5 + 77 - М(е + л\2 = м[(с - МО + (т; - МО]2 =
= м(5 - мо2 + 2М[(5 - моо - мо] + мо - мо2 =
= D^ + 2(М£ • МО + Dq.
Значит,
D(£ + р) = D£ + Dp для независимых случайных величин и р.
Очевидно, что свойство 4 справедливо для суммы не только двух, но и любого числа п попарно независимых слагаемых.
Заметим, что дисперсия D£ имеет размерность квадрата размерности случайной величины £. Для практических же целей удобно иметь меру разброса, размерность которой совпадает с размерностью £. В качестве такой меры естественно использовать а = VD^, которую называют средним квадратичным отклонением случайной величины £ (иногда также стандартом или стандартным отклонением).
Пример 14. Найдем дисперсию случайной величины £, распределенной по закону Пуассона. Для этого воспользуемся свойством 3 дисперсии. Математическое ожидание М^ = А было найдено в примере 3. Определим второй момент:
М€2 = Ег^е- = А£г-^-е- = А£0-+1)^е- = г=0 г'г=1,=03'
7=07=0
Таким образом,
D< = А2 + А - А2 = А
и, значит, дисперсия £, так же, как и математическое ожидание, совпадает с параметром А.□
Пример 15. Пусть р — число успехов в п испытаниях Бернулли. Дисперсию р можно подсчитать так же, как в примере 2 было подсчитано математическое ожидание: воспользовавшись непосредственным определением дисперсии. Однако мы поступим другим образом. Для этого снова (см. пример 13) представим р в виде суммы р = р\ + ... + рп. Дисперсия каждого слагаемого равна
Dpi = (0 - Mpi)2q + (1 - Mpi)2p = (-p)2q + (1 - pfp =
= p2 q + q2p = pq(p^q) = pq-
Учитывая, что pt независимы, и воспользовавшись свойством 4 дисперсии, получаем
Dp = D/zi + ... + Dpn = ripq.□
Пример 16. Дисперсия равномерно распределенной на отрезке [а,Ъ\ случайной величины £ определяется формулой
-1[(ь -- (п - LL^Vl - Xxi^L -п
3(6 —а) 1\2 / V 2/112(6-a)12"
Пример 17. Дисперсия случайной величины £, распределенной по нормальному закону с параметрами т и сг, имеет вид
797 (х -
D£ = (ж — т) pmi(T(x)dx=-— е W dx.
J’J сгу2тг
Делая замену у = (ж — m)/a, получаем
D$ = СГ2 7 сД е"^32 dy.
Полагая с = у]\р2лх, du = ye у dy и интегрируя по частям, находим
D< = ст2 | (Лу) dy = ст2.
□□Таким образом, дисперсия нормально распределенной случайной величины совпадает с квадратом второго параметра. Этого и следовало ожидать, поскольку а
□
□
носит название среднего квадратичного отклонения.
Пример 18. Для определения дисперсии случайной величины £, имеющей гамма-распределение, воспользуемся свойством 3 дисперсии. Тогда
ме2 =
J Г(7)
О
или после замены у = Хх
М + - 1 7du ~ П+±Д - 7(7 + 1)
СЛТ(7)Р "А2Г(7) А2 •
Вспоминая (см. пример 9), что М£ = у/А, окончательно получаем
□□□е = ме2 - (ме)2 =- ^ = А ■
□
□
Пример 19. Пусть £ — случайная величина, имеющая дисперсию D£. Введем новую случайную величину у = £ — а. Найдем число а, доставляющее минимум М?72. Воспользовавшись свойствами 2 и 3 дисперсии, имеем
Мт,2 = Dt? + (Мт/f = D^ + (М£ - а)2 .
Первое слагаемое от а не зависит, а второе принимает минимальное значение, равное 0, при а = М£. Таким образом, в качестве а нужно взять М£, а само минимальное значение Мт/2 совпадает с дисперсией D£.□
В некоторых теоретических исследованиях встречаются моменты высших порядков.
Моментом тк порядка к (к-м моментом)) называется математическое ожидание к-й степени случайной величины £ ^д^ = хк\.
тк = метк = меРг,Рг,
тк = ме
тк = ме
Рг,
Рг,
если £ — дискретная случайная величина, и
тк
если £ непрерывна. Иногда к-й момент называют также начальным моментом к-ro порядка.
Центральным моментом тк порядка к Ц-м центральным моментом)) называется математическое ожидание к-й степени случайной величины £ = £ - М£ (g(x) = (х - M£)fc):
тк = М (е - M^f = Е № - ^Рг
И
mk = М (£ - М^)к = | (х - М^)к р(х) dx
соответственно для дискретной и непрерывной случайных величин б
Момент первого порядка совпадает с математическим ожиданием, центральный момент первого порядка равен нулю, центральный момент второго порядка является дисперсией. Отметим также, что в теоретических изысканиях рассматриваются моменты не обязательно целого порядка к.
Ковариация и корреляция случайных величин
Пусть (б>б) — двумерный случайный вектор. Будем называть ковариацией cov^y,^ случайных величин б и ^ математическое ожидание произведения центрированных случайных величин б = б " Мб и = Ь~ М<2:
соУ(Ы2) = mgg = м [(G - mg)(G - mg)].
Как обычно, выпишем последнее выражение для дискретного и непрерывного случайных векторов (б>б):
cov(G.G) = Е № - м6) Щ - MGW
cov(G,G)= | | Ц1 - MG) (ж2 - MG)^1,$2($i,a?2)^i dx^.
Ковариация обладает следующими свойствами:
cov(GG = М(^- MG2 = DG
Если G и G независимы (и имеют математические ожидания), то
cov(G.G) = M[(G - mg)(G - MG)] = № - MG)][M(G - mg)] и, значит,
cov(6,6) = 0 для независимых случайных величин б и б-
Как видно из свойства 2, ковариация независимых случайных величин равна нулю. Однако обратное, вообще говоря, неверно. Существуют зависимые случайные величины, ковариация которых также равна нулю.
Далее, пусть ту = «16 + 6, ту = «26 + б- Тогда
cov(t7i , 772) = М[(?71 - Мт?1)(% - М^)] =
= M(diG + £>1 — ti[MG — G)(o2G + G — «2MG — G) =
= M[a,a2(G -MG)(G-MG)].
Поэтому
cxnCix.V) = aia2cov(^i,^2).
Наконец, рассмотрим дисперсию случайной величины рж = хЕд — £2, где х — произвольное число. По свойствам дисперсии
D% = ж20^[ - 2жсоу(^,^2) + D£2.
Как функция от х дисперсия Dpx представляет собой квадратный трехчлен. Но дисперсия любой случайной величины не может быть меньше нуля, а это означает, что дискриминант [2 cov(^i, ^)]2 — 4D^iD^2 квадратного трехчлена Dpx неположителен, т. е.
-VD^D^ < cov^) < VD№ ■
Более того, если дискриминант равен нулю, то уравнение
ж2О^ - 2жсоу(^,^2) + 0^2 = О
имеет решение xq. Тогда DpXo = 0 и, значит, рЖо = с, ^2 = ^об — сВ этом случае нетрудно видеть из свойства 3, что если коэффициент пропорциональности х^ положителен, то cov(£i,£2) = VDfTD^, а если отрицателен, то cov(£i,£2) = — V^iD^ • Таким образом,
cov(^i,^2) = ^л/СбЩг тогда и только тогда, когда случайные величины ^i и ^2 линейно зависимы.
Наконец, раскрывая скобки в формуле, определяющей ковариацию, и используя свойства математического ожидания, получаем
cov(6,&) = М^2-М6М&.
Последнее свойство часто бывает полезным при численном подсчете ковариации.
Заметим теперь, что введение ковариации позволяет выписать выражение для дисперсии произвольных (а не только независимых) случайных величин и к четырем уже известным свойствам дисперсии (см. параграф 3) можно добавить еще одно:
D(£ + р) = D£ + Dp + 2 cov(£, р), справедливое для произвольных (а не только независимых) случайных величин Е и р.
В общем случае n-мерного случайного вектора (£i,...,£n) матрицей ковариаций (ковариационной матрицей) называется матрица А = (соу(ЕдЛзУь состоящая из ковариаций случайных величин Ед и
Пример 20. Рассмотрим двумерную случайную величину (£,р), распределенную по нормальному закону (см. пример 16 в гл. 6). Тогда
cov(£, р) =
3? 3? z х/ X 1Г(ж~т1)2 2р(х-тх)(у-т2) , ^у-т^Д
=(х-тх)(у-тАр 2(1-^) L ст2Ст1(72+^2\ dxdy_
-00 -00 27ГСГ1СГ2у/1 - ^2
Делая замену и = ^х — ту^) dy, v = (у — m2^d2, получаем
\Г Г 1W ~ 9л 1(^2-2p^W) , ,
cov(4, у) = (71(72 е 2v-p )dudu =
- оо - ос— Р"
7П2 7_ ^-Р^2
= (7i(72е~^~^ = е 2О-р2) dvdu.
-оо ^27Г-ОО V 27Г(* “
Внутренний интеграл равен ри. Поэтому
cov(£, 77) = pdyd2 | ^_ du = pdyd2.
Поскольку D£ = dy, Dy = d2, то матрица А представляет собой ковариационную матрицу (в данном случае название «ковариационная матрица» мы ввели раньше, нежели выяснили смысл этого понятия).
Аналогично, в общем случае n-мерного нормального случайного вектора (^ь---^п) элементы ац ковариационной матрицы А являются ковариациями случайных величин ^ и□
Пример 21. Пусть £i — число очков, выпавших на одной игральной кости, а ^2 — на другой. Рассмотрим случайные величины щ = £i + £2 (сумма очков на обеих костях) и 772 = £1 — £2 (разность очков). Тогда
соЛмУ = м [(б + б - Мб - мб)(б - б - Мб + Мб)] =
= м [(б - Мб)2 - (б - Мб)2] = D6 - D6- Случайные величины £1 и £2 одинаково распределены (и даже независимы), и, значит, D£i = D^2, соу(ц1,Ц2) = 0. Однако несмотря на это, уу и 772 зависимы, поскольку, например, из равенства 771 = 2 (такое может произойти только при выпадении по одному очку на каждой кости) обязательно следует равенство 772 = 0.□
Итак, ковариацию можно считать мерой независимости случайных величин (хотя и не очень хорошей, так как можно ввести другие, заведомо лучшие показатели независимости; оправданием повсеместного применения ковариации служит то, что она также относится к числу характеристик второго порядка). Существенным недостатком ковариации является то, что ее размерность совпадает с произведением размерностей случайных величин. Естественно, нужно иметь безразмерную характеристику независимости. Ее очень просто получить, для этого достаточно поделить ковариацию на произведение средних квадратичных отклонений.
Коэффициентом корреляции случайных величин ^ и у называется число р = р^лУ определяемое выражением
п = соДбЛ.
Р'
Коэффициент корреляции является уже безразмерной величиной.
Выпишем его свойства, аналогичные свойствам ковариации:
'■'м=?ет = |'
Если £ и р независимы (и существуют D£ > 0 и Dp > 0), то
р^ = 0.
Далее, пусть гр = ai£i + 6], % = «2^2 + Ч («1 + °. ti2 + °)- Тогда
р^,^) = aia2cov(^,^2)/ya? D^ -a2 D^ = ±Щь&)-
При этом знак плюс надо брать тогда, когда сц и а2 имеют одинаковые знаки, и минус — в противном случае.
Наконец,
-1 <р(Ср)< 1.
р(^р) = ±1 тогда и только тогда, когда случайные величины ^ и р линейно зависимы.
Можно сказать, что коэффициент корреляции р отражает степень линейной зависимости случайных величин £ и р. С возрастанием £ случайная величина р имеет тенденцию к увеличению при р > 0 и к уменьшению при р < 0. Поэтому при р > 0 говорят о положительной корреляционной зависимости £ и р, при р < 0 — об отрицательной. Например, рост и вес человека связаны положительной корреляционной зависимостью, а температура и время сохранности продукта — отрицательной. Если р = 0, то случайные величины £ и р называются некоррелированными.
Пример 22. Найдем коэффициент корреляции случайных величин £ — числа очков, выпавших на верхней грани игральной кости, и р — на нижней (пример 7 из гл. 6). Для этого сначала вычислим М£, Мц, D£, Dp и cov(£, р). Воспользовавшись табл. 3 из гл. 6, имеем:
ме=мг/=14+24+з4+44+54+б4 =3,5,
666666
D£ = Dp = (1 - 3,5)2 4 + (2 - 3-5)2 4 + (3 “ 3’5)2' +
ООО
+ (4 - 3,5)2.1 + (5 " 3,5)2 4 + (6 " ЗД)2 4 = П ’
cov^.T?) = (1 - 3,5)(1 - 3,5) • 0 + (2 — 3,5)(1 - 3,5) -0 ++
+ (6-3,5)(1 -3,5) 4 + (1 - 3,5)(2- 3,5) -0 + ... +
+ (5 - 3,5)(2 - 3,5) 4 + (6 - 3,5)(2 - 3,5) ■ 0 + ... +
+ (4 - 3,5)(3 - 3,5) 4 + • ■ • + О - 3,5)(4 - 3,5) 4 + • ■ • +
66
+ (2 - 3,5)(5 - 3,5) •+... + (!- 3,5)(6 - 3,5) • - =.
оbiz
Таким образом, р = (—35/12)/(35/12) = — 1. Впрочем, это мы могли бы установить и без всяких вычислений по свойству 5 коэффициента корреляции, если
бы вспомнили, что сумма чисел очков на противоположных гранях равна семи и, значит, £ = 7 — ц (£ и р связаны линейной зависимостью с отрицательным коэффициентом пропорциональности).□
Пример 23. (Задача о наилучшем линейном прогнозе). Пусть (£1,^2) — двумерная случайная величина. Рассмотрим новую случайную величину р = = 6 - Щ| + Л-
Попытаемся подобрать числа ж и а, доставляющие Мт,2 минимальное значение. Из свойств дисперсии и математического ожидания имеем
Мт,2 = От, + (Мт,)2 = [0^1 — 2ж cov^i,^) + ж2О^] + [М& - ЦМ& + а)]2-
Дифференцируя D77 по х и приравнивая производную нулю, получаем, что минимальное значение D77 достигается при xq = cov(£i, ^)/D^2 и равно
Полагая теперь ао = М^2 — жоМ^2, получаем минимальное значение второго слагаемого, равное нулю.
Окончательно имеем: минимальное значение Мц2, равное [1-У(6,6)]об, достигается при
х = хо =и а = aQ = М£2 - (жоМ£2).
Таким образом, коэффициент корреляции тесно связан с задачей наилучшего линейного приближения одной случайной величины другой, о чем говорилось выше.□
Замечание. Рассмотренная задача имеет очень простую трактовку в терминах наилучшего линейного прогноза. Действительно, пусть нам известно значение случайной величины £1 и мы хотим построить по этому значению наилучший в смысле среднего квадратичного отклонения линейный прогноз £2 случайной величины £2. Тогда этот прогноз определяется формулой р = жо£1 + ^о, где хо и ао определены выше и выражаются только через моменты случайных величин £1 и £2 первого и второго порядка. В частности, при р^\Л^ = 1 прогноз будет точным (М772 = 0), а при р^\Л^ = 0 — состоит только в указании среднего значения ао = М£2 (^о = 0). Это еще раз подтверждает тезис о том, что коэффициент корреляции является мерой линейной зависимости случайных величин £1 и £2.
Условное математическое ожидание. Регрессия
Пусть (£, р) — двумерная случайная величина. В соответствии с результатами параграфа 5 гл. 6 (так как мы рекомендовали при первом прочтении пропустить этот параграф, то необходимо вернуться к нему и изучить изложенный там материал) можно определить условную функцию распределения случайной величины £ при условии, что случайная величина р приняла определенное значение р. Поскольку условная функция распределения обладает всеми свойствами обычной (безусловной) функции распределения, то по ней можно определить
5 П. П. Бочаров, А. В. Печинкин
математическое ожидание, которое естественно назвать условным математическим ожиданием. Для простоты изложения ограничимся здесь только случаями дискретной и непрерывной двумерных случайных величин ^р).
Начнем со случая дискретной случайной величины ^р). Пусть случайная величина £ может принимать только значения Xi,...,Xn, а случайная величина р — только значения Y\,...,Ym. При каждом у рассмотрим условные вероятности к^ = Р{£ = Xi | р = Yj} = = Р{£ = Xi,p = Yj^/P^p = Yj} = Pij/Prjj случайной величине £ принять значение Xi при условии р = Yj (см. параграф 5 гл. 6). Назовем значением условного математического ожидания случайной величины £ при условии Р = Yj число
пw\4 = vy = Yx^3-г=1
По аналогии с (безусловным) математическим ожиданием значение условного математического ожидания при условии р = Yj описывает «среднее» значение случайной величины £, но только при условии, что случайная величина р приняла значение Yj.
Из приведенного определения видно, что значение М(£ | р = Yj) условного математического ожидания зависит только от значения Yj случайной величины р. Поэтому само условное математическое ожидание случайной величины относительно случайной величины р естественно определить как функцию М(£|т?) = д(р) от случайной величины, т. е. тоже как случайную величину. Область определения функции д(у) совпадает со значениями Y\ , • • •, Ym случайной величины р, а каждому значению Yj аргумента у ставится в соответствие число g(Yj) = М(£ | р = Yj).
Пример 24. Пусть /л и № - числа успехов в первом и втором испытаниях Бернулли с вероятностью успеха р. Найдем M(/ii | цг)- Воспользовавшись табл. 5 из гл. 6, имеем
М(/ц | ц2 = 0) = 0 • q + 1 • р = р,
М(/ц | ц2 = 1) = 0 • q + 1 • р = р.□
Пример 25. Найдем условное математическое ожидание М(£|ц) случайной величины £ — числа очков, выпавших на верхней грани игральной кости, относительно случайной величины р — числа очков, выпавших на нижней грани (см. пример 13 из гл. 6). В соответствии с приведенной там же табл. 6, получаем:
М(£ | ц = 1) = 1 • 0 + 2 • 0 + 3 • 0 + 4 • 0 + 5 • 0 + 6 • 1 = 6,
М(£ | ц = 2) = 1 • 0 + 2 • 0 + 3 • 0 + 4 • 0 + 5 • 1 + 6 • 0 = 5,
М(£ | ц = 6) = 1 • 1 + 2 • 0 + 3 • 0 + 4 • 0 + 5 • 0 + 6 • 0 = 1.□
Условное математическое ожидание М(£|т?) обладает следующими свойствами:
М(с | р) = с.
М(а£ + b | р) = аМ(£ | р) + Ь.
м(б + е2 ннм^ы + м^ы-
Они аналогичны свойствам безусловного математического ожидания (разумеется, арифметические действия понимаются теперь уже не как действия над числами, а как действия над функциями, определенными для всех значений случайной величины р\
Свойство
M(51.Gb) = M(6|??)M(G|7?)
также имеет место, но при этом требование независимости случайных величин ^i и ^2 нужно заменить требованием, которое называется условной независимостью случайных величин £i и ^ при условии случайной величины р.
Кроме того, справедливы дополнительные свойства:
М^ = М[М(еЦ)].
М[/(0 ■ h^) I 77] = Цт/МДО I 77], где /(£) и /1(77) - (произволь- ные^ функции от случайных величин ^ и р.
М(£ | р) = М^, если ^ и р независимы.
Докажем последние три свойства.
Действительно, из определений математического ожидания и условного математического ожидания имеем
ттп
М[М(£ 177)] = ^ М(^ | т? = Yj) р^ = £ р^ хг =
J=1J=1i=l
m nn m
= 52 р^з У2 Xi Y = У2 52 Xi Py =
j = l7=1P?"г=М=1
что доказывает свойство 5.
Далее, случайная величина /(£) • Цр) принимает значение /(Xi) х х h(Yj), когда ^ принимает значение Xi и р — значение Yj, и, следовательно, для каждого j
М[Ж) • Цп) I т? = У^ = £ КХг). h(Yj) 7TV- =
г=1
п
= ЦУ^ Y f^ ^i = Л(Ц)М[/Ю I 7] = Ц], г=1
откуда вытекает свойство 6.
Наконец, используя условие независимости случайных величин £ и у, выраженное в терминах условного распределения (см. параграф 6 гл. 6), находим
м(с ц = щ = ^хг Р4г = ме,г=1 г=1
откуда следует справедливость свойства 7.
Пример 26. Еще раз вычислим M(/ii|/i2) (см. пример 24), но теперь уже воспользуемся свойством 7 условного математического ожидания. Тогда, поскольку Ц1 и Ц2 независимы, то M(/ii | Ц2) = М/ц = р. □
Пример 27. Снова обратимся к примеру 25. Так как сумма очков на противоположных гранях игральной кости равна 7, то £ = 7 — у. Представим £ в виде £ = 1 • (7 — ц). Воспользовавшись теперь свойством 6, в котором положено /(ж) = 1, Цу) = 7 - у, получаем
М(^|77) = М[1 - (7 - Щ 17,] = (7 - 77)М(11Щ = 7 -
т. е. мы пришли к тому же результату, что и ранее, но практически без вычислений. □
В случае непрерывной двумерной случайной величины (£,у) значение условного математического ожидания случайной величины ^ при условии у = у определяется формулой
М(£ | у = у) = | хрЦх \у = у) dx,
где рЦх | у = у) = р(х, уЦрЦу) — условная плотность распределения случайной величины £ при условии у = у. Ив этом случае условное математическое ожидание М(£|т?) случайной величины £ относительно случайной величины у определяется как функция д(у) = М(£|т?) от случайной величины у, принимающая значение д(у) = М(£ | у = у) при у = у. Читателю советуем самостоятельно проверить, что свойства условного математического ожидания, выведенные для дискретного случая, остаются справедливыми и в непрерывном.
Пример 28. Пусть (£,у) — двумерная нормальная случайная величина (пример 16 из гл. 6). Найдем условное математическое ожидание М(£|ц). Тогда, как было показано в том же примере, условное распределение £ при условии у = у является нормальным со средним значением тх + рах^у — т^))^ и, согласно определению, М(£ | у) = тх + роЦу — т^))^. □
Резюмируя вышеизложенное, можно сказать, что зависимость поведения «в среднем» случайной величины £ от значения случайной величины у характеризуется функцией д(у) = М(£ | у = у). Функция д(у) называется также функцией регрессии или просто регрессией случайной величины ^ на случайную величину у, а ее график — линией регрессии (случайной величины) £ на (случайную величину) у. Линия регрессии дает наглядное изображение зависимости «в среднем» случайной величины £ от значения случайной величины у.
Пример 29. Регрессия д(у) = М(£ | у = у) случайной величины £ на случайную величину у для двумерной нормальной случайной величины (£, ц) (см. пример 28) является линейной функцией а + by, где а = mi - — т^рах/а^, а b = реи/си. Очевидно, линия регрессии £ на 77 представляет собой прямую. □
. Другие числовые характеристикислучайных величин
В этом параграфе мы дадим краткое описание некоторых других применяемых на практике числовых характеристик случайных величин. Отметим, что эти характеристики, как и все остальные, рассматриваемые в настоящей главе, по сути дела являются характеристиками распределений случайных величин.
Асимметрией 71 случайной величины £ называется отношение третьего центрального момента m3 к кубу среднего квадратичного отклонения а; 71 = m3/а3. Нетрудно видеть, что (при условии существования третьего момента) для симметрично распределенной относительно математического ожидания (Р{£ < М£ — ж} = рц > ме + ж} для любого ж) случайной величины £ асимметрия равна нулю.
Эксцессом 72 случайной величины £ называется отношение четвертого центрального момента тд к квадрату дисперсии за вычетом числа 3: 72 = т^/о^ — 3.
Ясно, что асимметрия и эксцесс являются безразмерными величинами.
Пример 30. Вычислим асимметрию и эксцесс нормального закона. По определению,
ч7
m3 = (ж — т) рт,сг(х) dx =-— е 2<т2 dx,
JJ сгу2тг
л7 Гт -(ж-т)2
ТП4 = (ж — т) рт,(т(ж) dx =-— е 2<т2 dx.
JJ сгу2тг
Делая замену у = х - т, имеем
тз = —-= I у е 2<т2 dy,
cry 2тг J
откуда в силу нечетности подынтегральной функции следует, что m3 = 0 и асимметрия 71 = 0.
Для того чтобы найти 7Д4, применим формулу интегрирования по частям. Полагая и = (х — т)3/х/2тт и dv = (х — тп)е_^-т^ ^dx/a, имеем
пи = Зег2 е ^2 dx.
J cry 2тг
Воспользовавшись теперь результатом примера 17, окончательно получаем, что Ш4 = Зег4 и, следовательно, эксцесс 72 = 0.
Таким образом, для нормального закона асимметрия и эксцесс равны нулю. В математической статистике асимметрия и эксцесс обычно служат для первой проверки распределения случайной величины на нормальность.□
а-квантилью Qa (0 < а < 1) случайной величины £ называется число, удовлетворяющее неравенствам Р{£ < Qa^ < а и Р{£ > Qa^ < 1 — а. Квантили находят самое широкое применение в математической статистике при построении доверительных интервалов и проверке статистических гипотез. 1/2-квантиль называется также медианой М случайной величины £.
Пример 31. Найдем «-квантиль экспоненциального распределения. В этом случае Qa представляет собой решение уравнения F(Qa) = а, т. е. уравнения 1 -= а (рис. 1). Поэтому Qa = -1п(1 - «)/А. Ясно, что
медиана экспоненциального распределения М = In 2/А. Если трактовать экспоненциальное распределение как распределение времени распада атома (см. параграф 4 гл. 5), то медиана представляет собой период полураспада.□
Рис. 1 Рис. 2
Пример 32. Пусть случайная величина у представляет собой число успехов в одном испытании Бернулли с вероятностью успеха р. Тогда (рис. 2) Qa = 0 при 0 < а < q, Qa = 1 при q < а < 1, а ^-квантилью является любое число от 0 до 1.
Этот пример показывает, что, во-первых, квантили могут совпадать для разных «, во-вторых, для некоторых а соответствующие квантили могут определяться неоднозначно. □
Модой непрерывной случайной величины называется точка (локального) максимума плотности распределения р(х\ Различают унимодальные (имеющие одну моду), бимодальные (имеющие две моды) и мультимодальные (имеющие несколько мод) распределения.
Для определения моды дискретной случайной величины предположим сначала, что ее значения Xi,...,Xn расположены в порядке возрастания. Тогда модой дискретной случайной величины называется такое значение Х^, что р^_\ < pi и р^х < рр И в дискретном случае распределения могут быть унимодальными, бимодальными и мультимодальными.
Наивероятнейшим значением называется мода, доставляющая глобальный максимум вероятности (дискретной случайной величины) или
плотности распределения (непрерывной случайной величины). Если распределение унимодально, то мода также будет наивероятнейшим значением.
Мода и наивероятнейшее значение введены скорее для наглядности, чем для каких-то практических целей.
Пример 33. Плотность нормального распределения имеет единственный максимум в точке т. Поэтому мода нормального закона совпадает с математическим ожиданием. Она же является наивероятнейшим значением и медианой.□
Пример 34. Найдем моду биномиального распределения. Для этого заметим, что
РДд = \iJPq = (^ +
Рп(^+1)( п \pW n-(W) (n - i)p '
Отсюда нетрудно вывести, что отношение Рп(г)/Рп(г+ 1) меньше 1 при г < пр — q и больше 1 при г > пр — q. Таким образом, если пр — q не является целым, то максимальное г, для которого г > пр — q, является модой и наивероятнейшим значением. Если же пр — q — целое, то биномиальный закон имеет две моды и два наивероятнейших значения: пр — q и пр — q + 1.□
Энтропия Н = Н^) дискретной случайной величины £ определяется формулой
н = я(0 = - у Pi in Pi-i=\
Отметим, что энтропия не зависит от значений Хг случайной величины £, а зависит только от вероятностей pt, с которыми эти значения принимаются. Энтропия является мерой априорной неопределенности случайной величины. Максимальное значение Hmax = Inn энтропия дискретной случайной величины достигает тогда, когда все п возможных значений случайная величина принимает с одной и той же вероятностью pt = Х/п, минимальное Ятш = 0 — когда случайная величина принимает единственное значение с вероятностью, равной единице.
Энтропия Н^, р) двумерной дискретной случайной величины р) определяется формулой
Н(Сп) = - 'EPijXnPij-
Поскольку для независимых случайных величин 1пр^- = 1пр^- + + 1пр^, то, как нетрудно видеть, энтропия случайной величины (|, р) с независимыми компонентами £ и р представляет собой сумму энтропий: Н^,р) = Н^) + Н(р); в случае зависимости £ и р энтропия Н(^,р) всегда меньше суммы Н(^) + Н(р).
Энтропия играет важную роль в теории информации, она в некотором смысле представляет собой минимальный объем памяти, необходимый для записи информации, содержащейся в случайной величине.
Поскольку информация записывается обычно в двоичной системе, то основанием логарифма берется число 2.
Энтропия Н = Н^) непрерывной случайной величины £ и энтропия Н^, р) двумерной непрерывной случайной величины ^, р) задаются выражениями
Н = Ж = -Н = Ж = -р^х) inp^x) dx,р^х) inp^x) dx,
Н = Ж = -
Н = Ж = -
р^х) inp^x) dx,
р^х) inp^x) dx,
Жч) = -Жч) = -р^пО* у) Ь^Дж, у) dx dy.р^пО* у) Ь^Дж, у) dx dy.
Жч) = -
Жч) = -
р^пО* у) Ь^Дж, у) dx dy.
р^пО* у) Ь^Дж, у) dx dy.
И в непрерывном случае энтропия Н(^, р) двумерной случайной величины совпадает с суммой Н^) + Н(р) энтропий компонент тогда и только тогда, когда £ и р независимы; иначе Н^,р) < Н^) + Н(р\ Однако в отличие, например, от математического ожидания энтропию непрерывной случайной величины нельзя получить предельным переходом от дискретного случая. Отметим также, что при заданной дисперсии а2 максимальную энтропию In л/2тгесг2 имеет нормально распределенная случайная величина.
Глава 8
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫТЕОРИИ ВЕРОЯТНОСТЕЙ
На практике довольно часто встречается ситуация, когда многократно наблюдается, как сказал бы не знакомый с теорией вероятностей человек, «одна и та же» случайная величина, а конечный результат представляет собой сумму наблюденных в каждом испытании значений этих величин. Наряду с уже упоминавшимися азартными играми сюда можно отнести: повторные замеры одного и того же параметра с последующим осреднением результатов с целью повышения точности измерений; многократное воздействие однородных причин на некоторый протекающий во времени физический процесс и т. д. Пройденный нами путь по теории вероятностей и приобретенный при этом опыт применения основных ее понятий позволяют подойти к описанию всех этих явлений с единых вероятностных позиций на основе следующей схемы: имеется последовательность независимых одинаково распределенных случайных величин и из нее образуется среднее арифметическое первых п членов. Спрашивается, как будет вести себя это среднее арифметическое, если п велико? Оказывается, при большом п оно теряет свойство случайности и приближается к математическому ожиданию каждого слагаемого (отсюда второе название математического ожидания — среднее значение). Этот факт носит название закона больших чисел. Собственно говоря, с частным случаем закона больших чисел мы уже встречались, когда рассматривали схему Бернулли (теорема Бернулли). Следуя исторической традиции, доказательство закона больших чисел мы сначала проведем, опираясь на неравенство Чебышева, которое является родоначальником многих других неравенств, широко применяемых в современной теории вероятностей.
Дальнейшее уточнение закона больших чисел происходило в двух направлениях. Первое связано с динамикой поведения средних арифметических. К основным результатам этого направления следует отнести усиленный закон больших чисел и закон повторного логарифма, полученные А. Н. Колмогоровым. Исходным пунктом второго направления, называемого иногда центральной предельной проблемой, являются теоремы Муавра-Лапласа. Решение центральной предельной проблемы позволило описать класс всех распределений, которые могут выступать в качестве предельных для функций распределения сумм независимых случайных величин в том случае, когда вкладом каждого слагаемого можно пренебречь, найти необходимые и достаточные условия сходимости к каждому распределению этого класса, оценить скорость сходимости. Простейшим примером результатов такого типа является центральная предельная теорема для одинаково распределенных слагаемых, имеющих дисперсию, которую мы докажем в параграфе 4. Основным математическим аппаратом при решении центральной предельной проблемы служит преобразование Фурье, носящее в теории вероятностей название характеристической функции, хотя в последнее время все чаще применяются другие методы.
Неравенство Чебышева. Закон больших чисел
Рассмотрим случайную величину £, имеющую дисперсию D£ = ст2. Мы уже говорили, что дисперсия является показателем разброса £ вокруг математического ожидания М^. Однако с точки зрения исследователя разброс естественнее характеризовать вероятностью Р{|£ — М£| > е} отклонения случайной величины £ от М^ на величину, большую некоторого заданного е. Следующее неравенство позволяет оценить эту вероятность через дисперсию ст2.
Неравенство Чебышева. Для каждой случайной величины £, имеющей дисперсию D£ = а2, при любом е > 0 справедливо неравенство
2
Р{|^ - м^| >.
Доказательство проведем для непрерывной случайной величины £ с плотностью распределения р(х\ По определению,
D£ = | (ж — М£)2р(ж) dx.
Поскольку подынтегральное выражение неотрицательно, то при уменьшении областиинтегрированияинтегралможеттолько уменьшиться,поэтому
М£-£ОО
D£ >| (ж— М£)2р(ж)dx+ | (ж— М£)2р(ж)dx j (ж — М£)2р(ж)dx.
-ООМ£+е|ж-М£|>£
Учитывая теперь, что (ж — М£)2 > s2, если |ж — М£| > е, получаем
| (ж — М£)2р(ж) dx е2 | р(ж) dx.
|ж — М£|>е|ж — М£|>£
Остается заметить, что последний интеграл представляет собой вероятность события |£ — М£| > е и, значит,
D^ > е2Р{|$ - М^| >£},
откуда и вытекает неравенство Чебышева.
Аналогично неравенство Чебышева доказывается и для дискретного случая, при этом нужно только заменить интеграл на сумму.□
Ясно, что применять неравенство Чебышева имеет смысл только тогда, когда £ > ст; в противном случае оно дает тривиальную оценку.
Пример 1. Пусть случайная величина £ имеет плотность распределения р(ж) = е“1ж1/2- Тогда М£ = 0, а2 = D£ = 2. Воспользовавшись неравенством Чебышева, оценим р£ = Р{|£| > s} для е = 2; 5; 10. В результате получим
р2 < 0,5, р5 < 0,08, рю < 0,02.
С другой стороны, поскольку р£ = 1 — F(s) + F(—s) = е-£, имеем
р2 = 4 =0,1353, р5 = 4 = 0,0067, рю = 4г = 0,000 045.
е2
Таким образом, в этом примере неравенство Чебышева дает очень грубую оценку вероятности р£. □
Пример 2. Пусть случайная величина £ принимает только два значения 1 и — 1 с одинаковыми вероятностями 1/2. Тогда М£ = 0, а2 = D£ = 1. Применяя неравенство Чебышева, получаем pi = Р{|£| > 1} < 1. С другой стороны, поскольку оба возможных значения £ равны по модулю единице, то pi = 1.
Этот пример показывает, что если не делать никаких дополнительных предположений относительно случайной величины £, то неравенство Чебышева дает неулучшаемую оценку ре. □
Рассмотрим теперь последовательность £ь £2,..., £п> • • • независимых одинаково распределенных случайных величин (так как случайные величины ^ одинаково распределены, то все их числовые характеристики, в частности математические ожидания и дисперсии, равны между собой). Скажем, что эта последовательность удовлетворяет (слабому") закону больших чисел, если для некоторого а и любого е > О
г= 1
Иными словами, выполнение закона больших чисел отражает предельную устойчивость средних арифметических случайных величин: при большом числе испытаний они практически перестают быть случайными и с большой степенью достоверности могут быть предсказаны.
Иногда вместо выражения «последовательность £ь £2, • • •, £п> • • • удовлетворяет закону больших чисел» говорят «среднее арифметическое случайных величин £ь £2,... Лт • • • сходится по вероятности к некоторой предельной постоянной а».
Теорема (закон больших чисел). Если последовательность £ь £2,..., £п> • • • независимых одинаково распределенных случайных величин такова, что существуют M£n = m и D£n = а2, то для любого е > 0 п
р{|;;1>-'“|>£}.—Л
г=1
Доказательство является элементарным следствием неравенства Чебышева. Действительно, по свойствам математического ожидания и дисперсии
Воспользовавшись теперь неравенством Чебышева, получаем, что для любого е > 0„2
Таким образом, мы показали, что для последовательности £1,£2, ••• ,£п, ••• выполняется закон больших чисел, причем постоянная а совпадает с математическим ожиданием M£n = т.
Пример 3. Пусть pt — число успехов в г-м испытании Бернулли (см. пример 2 в гл. 6). Тогда fn = ^2 Pi/n представляет собой частоту успехов г=1
в п испытаниях. Как мы знаем, M/z^ = Р и Dpt = pq. Таким образом, в силу доказанной теоремы
Р {l/гг "Pl £}П^Д0-
Но последнее соотношение есть не что иное, как теорема Бернулли (см. параграф 5 гл. 4).□
Замечание. Вообще говоря, существование дисперсии является достаточным, но не необходимым условием для выполнения закона больших чисел. В дальнейшем (пример 15) будет показано, что достаточным условием является просто существование математического ожидания, которое в этом случае выступает в качестве предельной постоянной а. Более того, существуют последовательности независимых одинаково распределенных случайных величин, даже не имеющих математического ожидания, но тем не менее удовлетворяющих закону больших чисел.
Усиленный закон больших чисел.Закон повторного логарифма
Пусть по-прежнему ^i,^2, • • •,^п, • • • — последовательность независимых одинаково распределенных случайных величин, к которой применим закон больших чисел, т. е. при больших п среднее арифметическое рп = 52 ^/п <<почти совпадает» с некоторой постоянной а. Од- г=1
нако если мы будем последовательно наблюдать случайные величины т?1, ^72» • • •, Лп» • • • , то закон больших чисел еъце не гарантирует, что уп будет стремиться к а для любого элементарного исхода ш.
Пример 4. Рассмотрим схему Бернулли с равными вероятностями успеха и неудачи р = q = 1/2, в которой производится бесконечное число испытаний. Тогда последовательность рх, р^,..., рп, • • • , где pt — число успехов в г-м испытании, будет представлять собой простейший вариант последовательности независимых одинаково распределенных случайных величин, для которой в соответствии с теоремой Бернулли выполнен закон больших чисел и при этом а = Мрг = р = 1/2.
Пространство элементарных исходов Q состоит из всевозможных (бесконечных) последовательностей УНН...УН... В отличие от случая конечного числа испытаний Q уже не будет дискретным (более того, Q «почти» эквивалентно отрезку [0, 1] с равномерной вероятностью на нем; для доказательства этого достаточно отождествить последовательность рх, р^,..., рп,... с двоичным представлением некоторого числа, заключенного между нулем и единицей), и каждый элементарный исход ш имеет вероятность Р(ш) = 1/2 ••• 1/2 х х ... = 0. Возьмем элементарный исход шо =УУ...У... Ясно, что для него ?71(шо) = 772(^0) = ... = 1, т. е. средние арифметические равны единице и не могут стремиться к а = 1/2. Читатель без труда может привести примеры и дру-
гих элементарных исходов, для которых последовательность щ, 772,..., рп, • • • либо будет сходиться к отличному от 1/2 числу, либо вообще не будет сходиться. □
Из приведенного выше примера видно, что могут существовать элементарные исходы, для которых рп(а;) не сходится к а. Выделим эти элементарные исходы в отдельное событие А. Хотелось бы, чтобы при выполнении закона больших чисел вероятность события А равнялась нулю; в этом случае говорят, что для последовательности Сь £2, • • • Лп, • • • выполнен усиленный закон больших чисел. Но это не всегда так. Если заранее не предполагать существование математического ожидания М^, то можно привести примеры последовательностей независимых одинаково распределенных случайных величин, для которых выполнен закон больших чисел, но не выполнен усиленный закон больших чисел (более подробно об этом см. ниже, пример 15). Условие выполнения усиленного закона больших чисел содержится в следующей теореме, доказанной А. Н. Колмогоровым.
Теорема (усиленный закон больших чисел). Существование математического ожидания является необходимым и достаточным условием выполнения усиленного закона больших чисел для последовательности независимых одинаково распределенных случайных величин ^ь^2, • • • ,^п, • • • Постоянная а в этом случае совпадает с математическим ожиданием М^.
Доказательство теоремы Колмогорова мы здесь не приводим.
Отметим, что выполнение усиленного закона больших чисел естественно влечет за собой выполнение закона больших чисел.
Если теперь перейти от средних арифметических к накопленным суммам Sn = £1 + ... + £п, то усиленный закон больших чисел гласит, что последовательность Sn — nm для почти всех элементарных исходов при любом о > О может находиться выше уровня не или ниже уровня —ns не более конечного числа раз. Зададим теперь вопрос: нельзя ли указать более точные границы изменения последовательности Sn — пт? Естественно, если мы хотим больше получить, то мы должны также больше потребовать от случайных величин ^. А именно, будем предполагать, что ^ имеют математическое ожидание М^ = т и дисперсию D^ = а2 Для простоты изложения предположим, что ст2 = 1 и т = 0. Более того, будем считать, что абсолютные значения случайных величин ^ ограничены, т. е. существует такое число X, что «^(щ) < X для всех элементарных исходов ш 9. Из последнего предположения, в частности следует, что случайные величины ^ имеют не только математическое ожидание и дисперсию, но и моменты всех порядков.
9 Можно потребовать выполнение менее ограничительных условий, однако они более сложно формулируются.
Для произвольного е обозначим через В'£, В^ и В£ события, состоящие соответственно из тех элементарных исходов со, для которых S^co) > (1 + s)V2nln Inn бесконечное число раз, Sn^ < -(1 + s)V2nln Inп бесконечное число раз и |$п(щ)| > > (1 + s)V2nln Inn бесконечное число раз.
Теорема (закон повторного логарифма). Р(В£) = Р(В') = Р(В£) = О ДЛЯ любых Е > О И Р(В£) = Р(В£) = Р(В£) = 1 ДЛЯ любых £ < 0.
Доказательство теоремы опирается на очень тонкие (так называемые показательные) вероятностные неравенства и также здесь не приводятся.
Смысл закона повторного логарифма заключается в следующем. Для любого сколь угодно малого £ > 0 накопленные суммы 8п, начиная с некоторого п, будут лежать в пределах от — (1 + s) V2n In In n до (1 + s) V2n In In n. В то же время суммы Sn будут бесконечное число раз выходить за границы области, находящейся между кривыми — (1 — е) V^n In In п и (1 - s) V2nIn Inn, причем как вверх, так и вниз (рис. 1).
Рис. 1
Для читателя, знакомого с понятием верхнего и нижнего пределов (limsup и lim inf) последовательности, можно предложить следующую формулировку закона повторного логарифма: для почти всех элементарных исходов со
lim sup= ]
V 2n In In n
и lim inf=]
v2nln Inn
Отметим, что само название «закон повторного логарифма» происходит от выражения In Inn.
Характеристическая функция
Для дальнейших исследований нам понадобится понятие характеристической функции. Характеристической функцией f(t) = f^(t) случайной величины £ называется математическое ожидание случайной величины е1^, где г =— мнимая единица, at — произвольное
(действительное) число. Здесь мы имеем дело с комплексной случайной величиной, которая определяется так же, как и действительная, с той лишь разницей, что каждому элементарному исходу ставится в соответствие комплексное число, а не действительное. Используя общее правило вычисления математического ожидания и формулу Эйлера, получаем
/С) = Мег‘€ = 52 ЛХзр.) = 52 Pj cos 0хУ +^Рз sin 3ХУ333
для дискретной величины £ и
/(t) = Мег^ = | ег1жр(х) dx = j cos (tx) p^ dx + i j sin (tx) p(x) dx
для непрерывной. Поскольку \ег1ж\ = 1, то характеристическая функция существует при всех (действительных) t для каждой случайной величины. Отметим, что характеристическая функция определяется не собственно случайной величиной, а ее функцией распределения, т. е. по существу характеризует именно распределение случайной величины. Читатель, знакомый с преобразованием Фурье, сразу же заметит, что характеристическая функция непрерывной случайной величины отличается от преобразования Фурье плотности распределения этой случайной величины только лишь отсутствием множителя 1/V2tt , что, как будет видно из дальнейшего, представляет определенное удобство при действиях над случайными величинами.
Пример 5. Найдем характеристическую функцию случайной величины ц, распределенной по биномиальному закону. Поскольку у — дискретная случайная величина, принимающая значения 0, 1,..., п, то
/(t) ^e^MpV"5 = £ M(peuyqn-j = Ц + р^Т □ 3=0 Х 73=0 Х 7
Пример 6. Характеристическая функция случайной величины ^, распределенной по экспоненциальному закону, имеет вид
/(t) = 7 eitxXe-Xxdx = А 7 dx =.□
JJЛ — it
ОО
Пример 7. Пусть случайная величина £ распределена по стандартному нормальному закону. Тогда
/(()= 7 еижфЫйж= Т e^-Le"^2^.
Делая замену у = x - it, получаем +oo — it+oo — it
f^= [ J=e-^+^/2dy=^=e-t2/2 [ e^^dy.
Из теории функций комплексного переменного известно, что
+оо — it
| е-у ^ dy = V2tt .
— оо — it
Поэтому окончательно получаем № = е’*2/2.□
Выведем некоторые почти очевидные свойства характеристических функций.
/(0) = 1, f(t) — непрерывная функция.
В самом деле (рассмотрим, например, дискретный случай)
/(0) = ^<^3 = EPj = L
33
Непрерывность /(t) следует из непрерывности функции ег1Хз и абсолютной сходимости ряда У^ pj.
з
Если у = а^ + Ь, то fn(t) = f^at^e^.
Действительно, из определения характеристической функции и свойств математического ожидания вытекает, что
^(t) = Ме^ = Ме^а^ = e^W^ = е^(<
Пусть £i и £2 — независимые случайные величины и ^ = £i + £2. Тогда
^$^ = f^H^Y
В самом деле, поскольку £i и £2 независимы, то независимы случайные величины е^1 и ег^2. Отсюда следует, что
Meit7? = Ме^1+^ = М (е^е^2) = Ме^1 Ме^2.
Именно свойство 3 является тем основным свойством, благодаря которому характеристические функции нашли такое широкое применение в теории вероятностей. При суммировании независимых случайных величин их плотности распределения преобразуются по формуле свертки.
Но формула свертки весьма неудобна для исследования, гораздо проще заменить ее простым перемножением характеристических функций.
Если случайная величина £ имеет момент n-го порядка mn, то характеристическая функция £ дифференцируема п раз, причем для к < п
/(fc\0) = гктк.
В самом деле, формальное дифференцирование характеристической функции к раз (к п) дает (например, в непрерывном случае)
j^kHt) = гк | хкеихр(х) dx.
Законность дифференцирования определяется тем фактом, что
| | хкеихр(х) dx^ < | \хк\р(х) dx,
и существованием момента n-го порядка. Заметим, что при четном п справедливо и обратное: если характеристическая функция имеет производную J^X^Y то существуют моменты т^ всех порядков к до п-го включительно и т^ = г-кф^к\О).
Пример 8. Как мы знаем, если случайная величина £ распределена по стандартному нормальному закону, то случайная величина у = а^ + т распределена по нормальному закону с параметрами т и а. Тогда характеристические функции fm,o^ и fW случайных величин ц и £ связаны по свойству 2 соотношением
= егт^И
или, если учесть результат примера 7,
□
Пример 9. Вычислим момент n-го порядка случайной величины £, распределенной по экспоненциальному закону. Воспользовавшись свойством 4 и результатом примера 6, получаем
Пример 10. Найдем еще раз характеристическую функцию числа успехов ц в п испытаниях, однако в отличие от примера 5 воспользуемся тем, что у = Ц1 + ... + цп, где yj — число успехов в j-м испытании. Тогда
/
/•х ИО । ИХ । И иД0=де + ре = q + pe
и, значит, по свойству 3
fnX == и+ре'Т •п
Важнейшей особенностью характеристической функции J(t) является тот факт, что она однозначно определяет функцию распределения F(x). А именно, справедлива следующая формула.
Формула обращения. Для любых точек непрерывности яд и л2 функции распределения F(x) приращение
e-itxe-itx—KtW-—KtW-т
e-itx
e-itx
—KtW-
—KtW-
РОД -Г(Щ =
-т
Отметим, что формула обращения справедлива и в точках разрыва F(x), если считать, что в этих точках F(x) = \F(x + 0) — F(x — - 0)]/2.
Не давая строгого математического доказательства, покажем, что по своей сути формула обращения представляет собой разновидность обратного преобразования Фурье. Действительно, формально применяя обратное преобразование Фурье к характеристической функции f(t), получаем следующее выражение для плотности распределения р(х);
РЦ) = ^F I е гнх>dt-
Далее, вспоминая соотношение между плотностью распределения р(х) и функцией распределения F(x), имеем
Ж2Ж2СЮ
F^x^ - F(x\) = [ р(х) dx =[ dx [ e~ztxf(t) dt.
JJJ
Ж1Ж1—СЮ
Еще раз производя формальную операцию — перестановку интегралов, получаем
^Щ) -^(Щ = 2-Z7T^Щ) -^(Щ = 2-Z7TЖ2f (t) dt e~ztx dx =J v 72тгЖ2f (t) dt e~ztx dx =J v 72тг-itxx _ — itx2-itxx _ — itx2
^Щ) -^(Щ = 2-
Z7T
^Щ) -^(Щ = 2-
Z7T
Ж2
f (t) dt e~ztx dx =
J v 72тг
Ж2
f (t) dt e~ztx dx =
J v 72тг
-itxx _ — itx2
-itxx _ — itx2
Хотя каждая из произведенных формальных операций, вообще говоря, математически необоснована (в частности, дискретные случайные величины вообще не имеют плотности распределения), как это часто бывает, конечный результат верен, если только понимать последний интеграл в том смысле, как написано в формуле обращения (в смысле главного значения).
Определение характеристической функции вместе с формулой обращения устанавливают взаимно однозначное соответствие между функцией распределения и характеристической функцией.
Пример 11. Пусть ^i и ^2 — независимые случайные величины, распределенные по нормальному закону с параметрами ту^ау и т^ст^ соответственно. Рассмотрим случайную величину Ц = 6 + G- Тогда, как было показано в примере 8, Д/t) = , Д2(£) = егт2^-^^2/2 и По свойству 3 характеристических функций получаем, что ^(t) = ег(т1+т2)^-(^1+^2)^ /2 Но ха-
рактеристическую функцию /^(t) имеет случайная величина, распределенная по нормальному закону с параметрами т\ + т^, усг? Тсг^- Поэтому в силу взаимно однозначного соответствия между функцией распределения и характеристической функцией случайная величина у также распределена нормально (с параметрами mi + m2, ^/^f + ^2) • □
Пример 12. Рассмотрим независимые случайные величины £1 и £2, распределенные по закону Пуассона с параметрами Ai и А2. Их характеристические функции задаются формулами
Л, (t) = £ еи" e"A‘ = е-Л1 £п=0 П' п=0 П'
Пусть у = £1 + £2- Тогда /^(t) = е^Л1+Л2^ег -1) и опять-таки в силу взаимно однозначного соответствия между функцией распределения и характеристической функцией случайная величина у распределена по закону Пуассона с параметром Ai + А2. □
Основную роль при решении центральной предельной проблемы играет теорема о связи сходимости последовательности функций распределения со сходимостью последовательности соответствующих характеристических функций, или теорема непрерывности. Однако прежде чем перейти к формулировке этой теоремы, скажем несколько слов вообще о сходимости функций распределения. Будем говорить, что последовательность функций распределения F\(x),..., Fn(x),... сходится к предельной функции распределения F^x\ если Fn(x) —> F(x) для любых х, являющихся точками непрерывности F(x). Такая сходимость называется слабой сходимостью функций распределения (обозначается Fn(x) =^> F(x)\ Слабая сходимость является наиболее естественной для функций распределения, и в дальнейшем мы будем рассматривать только ее.
К определению слабой сходимости можно сделать несколько замечаний.
Во-первых, из слабой сходимости последовательности функций распределения еще нельзя сделать вывод о какой-либо сходимости последовательности самих случайных величин, так как даже одинаково распределенные случайные величины могут быть заданы на совершенно разных вероятностных пространствах.
Во-вторых, требование сходимости в любой точке непрерывности F(x) нельзя заменить более сильным требованием сходимости во всех точках х. Это подтверждает следующий пример.
Пример 13. Пусть на одном и том же вероятностном пространстве (Q, 93, Р) задана последовательность случайных величин £1, £2, • • •, £п, • • • , причем каждая случайная величина £п принимает всего одно значение -Y/n. Тогда последовательность £1, £2, • • •, £п, • • • будет сходиться к случайной величине
£ = 0 для любого элементарного исхода ш (причем даже равномерно). Тем не менее, F^^ = 1 при всех п, но ^(0) = 0.□
Приведенный пример показывает, что F^O) не стремится к ^(0), хотя естественно было бы ожидать сходимости F^(x) к F^x) в любой точке х, поскольку £n(w) —> ^(^) при всех элементарных исходах ш.
Разгадка этого парадокса заключается в том, что 0 является точкой разрыва F^xY а при определении слабой сходимости функций распределения сходимости в таких точках мы не требовали.
Наконец, если последовательность функций распределения F\(xY F^xY ..., F^xY... сходится к некоторой функции F(x) в каждой точке непрерывности последней, то это не гарантирует слабой сходимости, поскольку F(x) может вообще не быть функцией распределения.
Пример 14. Пусть £п = п для всех ш. Тогда F^(x) —> F(x) = 0 при каждом х. Но F(x) не является функцией распределения, так как F(oc) = = 0^1.□
Значит, при определении слабой сходимости обязательно нужно требовать, чтобы предельная функция являлась функцией распределения.
Теперь мы можем привести (без доказательства) формулировку теоремы непрерывности.
Теорема непрерывности. Для того чтобы последовательность функций распределения F\ (х), F^xY ..., F^xY... слабо сходилась к функции распределения F(xY необходимо и достаточно, чтобы последовательность характеристических функций /i (tY f2^Y - • ’ fn(tY - • сходилась к характеристической функции J(t) равномерно на любом отрезке [-Т,Т].
Теорема непрерывности является тем краеугольным камнем, который позволяет свести задачу изучения предельного поведения распределений сумм независимых случайных величин к задаче изучения предельного поведения характеристических функций этих сумм. Отметим, что в разных учебниках приведены различные эквивалентные формулировки теоремы непрерывности; данная здесь формулировка наиболее естественна для наших дальнейших рассуждений.
Пример 15. Пусть £i, £2, • • •, £™> • • • — последовательность независимых одинаково распределенных случайных величин, имеющих характеристические функции ДД1) = fx(tY Рассмотрим последовательность средних арифметических цп = YL^fn и найдем в терминах характеристических функций необ- г=1
ходимое и достаточное условие для выполнения (слабого) закона больших чисел. Используя определение, можно показать, что закон больших чисел эквивалентен слабой сходимости последовательности функций распределения F^^xY F^xY • • •, Fq^xY • • • к предельной F^xY представляющей собой функцию распределения случайной величины ц, принимающей единственное значение а. Но ц имеет характеристическую функцию /(t) = Fat, и в силу
теоремы непрерывности необходимым и достаточным условием для выполнения закона больших чисел является сходимость /^(t) к f(t) равномерно на любом интервале [—Т, Т]. В свою очередь, используя свойства характеристических функций, имеем
г / f\ 1 п
= [О].
Логарифмируя /^(t) (это можно сделать, поскольку /^(t) —> f (Ф) равномерно на любом интервале [—Т,Т], a /(t) не обращается в нуль), получаем следующее необходимое и достаточное условие: riAn j\(t/Ti) —> tat равномерно на любом интервале [—Т, Т]. Последнее условие, в свою очередь, эквивалентно условию , . t
Ь/1 - «га-.\п/ п
Разлагая логарифм в ряд Маклорена до первого члена, получаем
ЧЧ1 ~С)1) =<) ~1 = 4
Наконец, полагая h = t/n, окончательно находим, что необходимым и достаточным условием для выполнения закона больших чисел является существование предела
1„„ „
n^OO h
или, иными словами, существование в нуле производной /1(0) характеристической функции /i(t), причем постоянная а, фигурирующая в определении закона больших чисел, вычисляется через эту производную по формуле а = — г/^О).
Таким образом, с использованием аппарата характеристических функций нам удалось чрезвычайно просто найти необходимое и достаточное условие выполнения (слабого) закона больших чисел для последовательности независимых одинаково распределенных случайных величин £i, ^..., £п,...
Скажем еще несколько слов о связи слабого и усиленного законов больших чисел. Из свойств характеристических функций следует, что если случайная величина £п имеет математическое ожидание М£п = а, то производная /1(0) существует и равна га. Значит, для последовательности ^ь ^2, • • •, ^п, • • • выполнен слабый закон больших чисел и не выполнен усиленный тогда и только тогда, когда М£п не существует, но тем не менее существует производная /((0) = га. □
В заключение этого параграфа отметим, что наряду с характеристическими функциями в теории вероятностей используются также преобразования Лапласа-Стилтьеса /(s) = Me-S^ (для неотрицательных случайных величин £) и производящие функции /*(^) = Мд^ (для неотрицательных целочисленных случайных величин £)• Ясно, что преобразование Лапласа-Стилтьеса /(s) и производящая функция /*(z) связаны с характеристической функцией той же самой случайной величины соотношениями: J(t) = J(—it\ J(t) = Р(ег1\ Преобразование Лапласа-Стилтьеса и производящая функция, по сути дела, имеют те же самые свойства, что и характеристическая функция, но с ними существенно проще обращаться уже хотя бы потому, что они являются действительными функциями.
4. Центральная предельная теорема
Рассмотрим последовательность независимых одинаково распределенных случайных величин ^i,^2, • • •,^п, • • •, имеющих математическое ожидание М£п = т. Предположим также, что существует дисперсия D^n = сг2- Закон больших чисел для этой последовательности можно представить в следующей форме:
^^>-МС) = ^(8п-пт) -^0,
как вкак всмысле сходимости по веро-смысле сходимости по веро-где сходимость можно понимать
как в
как в
смысле сходимости по веро-
смысле сходимости по веро-
ятности (слабый закон больших чисел), так и в смысле сходимости с вероятностью, равной единице (усиленный закон больших чисел).
Однако сразу же возникает вопрос: поскольку от случайных величин £п мы потребовали существования не только математического ожидания, но и дисперсии, то нельзя ли получить более «тонкую» предельную теорему, позволяющую точнее описать предельное поведение распределений центрированных сумм Sn — пт? Такая теорема имеется и носит название центральной предельной теоремы. При этом нормировка 8п — пт осуществляется величиной л/п, а не п, т. е. последовательностью постоянных, стремящейся к бесконечности медленнее, чем п.
попоЦентральная предельная теорема. Пусть СьСг, •
по
по
следовательность независимых одинаково распределенных случайных величин, M£n = т, D^n = а2. Тогда
Р Г Sn— пт < а ф(ж)
(напомним, что Ф(ж) — функция стандартного нормального распределения).
Доказательство. Прежде всего заметим, что поскольку функция стандартного нормального распределения Ф(ж) является непрерывной, то сходимость к ней последовательности функций распределения в каждой точке представляет собой слабую сходимость и, значит, для доказательства центральной предельной теоремы можно воспользоваться теоремой непрерывности. Обозначим через /i(t) характеристическую функцию случайных величин £п, а через pn(t) — характеристическую функцию случайной величины (5n — nm)/Vпо2. Воспользовавшись теперь свойствами 2 и 3 характеристических функций,
имеемимеем9n(t) = /i9n(t) = /itt
имеем
имеем
9n(t) = /i
9n(t) = /i
t
t
Поскольку /i(t) имеет производные первых двух порядков (свойство 4 характеристических функций), то In fi^t/Vncr2) можно равномерно на любом отрезке [—Т, Т] разложить в ряд Маклорена по степеням l/V^ Д° второго члена:
= In/1(0) += In/1(0) +/1(0) (Л (О))2/1(0) (Л (О))2Л'(0) , t2V П<7^ f 1 (0)2п<т2
= In/1(0) +
= In/1(0) +
/1(0) (Л (О))2
/1(0) (Л (О))2
imtcr2t2/ 1 \
= —/ — 9 + О I — )
и, значит,и, значит,V па22псг\ п /
и, значит,
и, значит,
lng„(i)
Но еГ^ есть не что иное, как характеристическая функция /(t) стандартного нормального распределения (см. пример 7). Тем самым завершается доказательство теоремы. □
Центральная предельная теорема выявляет ту роль, которую играет нормальное распределение. Оно обычно возникает в явлениях, подверженных большому количеству малых случайных воздействий. Уже само название «нормальный закон» объясняется тем широким распространением, которое он находит на практике в самых различных областях научных исследований.
Пример 16. Рассмотрим п испытаний по схеме Бернулли с вероятностью успеха р и вероятностью неудачи q = 1 — р в каждом. Пусть pj — число успехов в J-м испытании. Тогда Мр3 = р, Dp3 = pq. Обозначим через Sn = Mi + • • • + Рп суммарное число успехов в п испытаниях. В силу центральной предельной теоремы с ростом п распределения случайных величин (8п - пр)/у/npq сходятся к стандартному нормальному закону, т. е.
pf^np <ж| _ ф(ж)_
I Vnpq J
Это утверждение представляет собой не что иное, как интегральную теорему Муавра-Лапласа (см. параграф 3 гл. 4). □
171 + . . . + Vn - ПУ171 + . . . + Vn - ПУПример 17. Для определения скорости и движения объекта выполняется п измерений щ,... ,Vn, причем j-e измерение производится со случайной ошибкой ^ (т. е. Vj = u-V^j). Предполагая, что ошибки измерений ^ независимы и одинаково распределены с математическим ожиданием М^ = 0 (отсутствуют систематические ошибки наблюдений) и дисперсией D^ = ст2, оценим вероятность того, что средняя наблюденная скорость цср = (ц) + ... + е^/п будет отличаться от истинной скорости и не более чем на е. Тогда
171 + . . . + Vn - ПУ
171 + . . . + Vn - ПУ
Р{ЦСр - v| < е} = р| - е <
Считая теперь, что число п измерений велико, воспользуемся центральной предельной теоремой, по которой случайная величина (щ + ... + vn — nv)/Vn(r2 распределена приближенно по стандартному нормальному закону. Значит,
Р{К-У|<Ц«фОъ) -ф(_£ ЛД =2Ф0 ЦЦ\ У у ст / у у ст /у у ст /
где значение интеграла Лапласа Фо(ж) приведено в табл. 3 приложения. □
Список литературы
Гмурман В.Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 1972.
Вентцель Е.С. Теория вероятностей. — М.: Наука, 1969.
Пугачев В. С. Теория вероятностей и математическая статистика. — М.: Наука, 1979.
Розанов Ю.А. Лекции по теории вероятностей. — М.: Наука, 1986.
Башарин Г.П. Введение в теорию вероятностей. — М.: Изд-во УДН, 1990.
Чистяков В.П. Курс теории вероятностей. — М.: Наука, 1987.
Севастьянов Б. А. Курс теории вероятностей и математической статистики. — М.: Наука, 1982.
Гнеденко Б. В. Курс теории вероятностей. — М.: Наука, 1988.
Климов Г.П. Теория вероятностей и математическая статистика. — М.: Изд-во МГУ, 1983.
Боровков А. А. Курс теории вероятностей. — М.: Наука, 1976.
Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. — М.: Наука, 1985.
Феллер В. Введение в теорию вероятностей и ее приложения. Т. 1,2. — М.: Мир, 1984.
Лоэв М. Теория вероятностей. — М.: ИЛ, 1962.
Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике. — М.: Высшая школа, 1979.
Сборник задач по теории вероятностей, математической статистике и теории случайных функций / Под ред. А. А. Свешникова. — М.: Наука, 1970.
Агапов Г.П. Задачник по теории вероятностей. — М.: Высшая школа, 1986.
Мешалкин Л.Д. Сборник задач по теории вероятностей. — М.: Изд-во МГУ, 1963.
Часть II
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
Глава 1
ОБЩИЕ СВЕДЕНИЯ
Так же как и теория вероятностей, математическая статистика имеет свои ключевые понятия, к которым относятся: генеральная совокупность, теоретическая функция распределения, выборка, эмпирическая функция распределения, статистика. Именно с определения этих понятий, а также с установления связи между ними и объектами, изучаемыми в теории вероятностей, мы начнем изложение математической статистики, предварительно дав краткое описание задач, которые собираемся решать. Кроме того, в последнем параграфе главы остановимся на некоторых распределениях, наиболее часто встречающихся в математической статистике.
Задачи математической статистики
Математическая статистика, являясь частью общей прикладной математической дисциплины «Теория вероятностей и математическая статистика», изучает, как и теория вероятностей, случайные явления, использует одинаковые с ней определения, понятия и методы и основана на той же самой аксиоматике А. Н. Колмогорова.
Однако задачи, решаемые математической статистикой, носят специфический характер. Теория вероятностей исследует явления, заданные полностью их моделью, и выявляет еще до опыта те статистические закономерности, которые будут иметь место после его проведения. В математической статистике вероятностная модель явления определена с точностью до неизвестных параметров. Отсутствие сведений о параметрах компенсируется тем, что нам позволено проводить «пробные» испытания и на их основе восстанавливать недостающую информацию.
Попытаемся показать различие этих двух взаимосвязанных дисциплин на простейшем примере — последовательности независимых одинаковых испытаний, или схеме Бернулли (часть 1, гл. 4). Схему Бернулли можно трактовать как подбрасывание несимметричной монеты с вероятностью выпадения «герба» (успеха) р и «цифры» (неудачи) q = 1 — р. В теории вероятностей р и q задаются «извне» (например, для симметричной монеты р = q = 1/2). Методы теории вероятностей позволяют, зная р и q, определить вероятность выпадения т «гербов» при п подбрасываниях монеты (биномиальное распределение, часть 1, гл. 4, параграф 1), найти асимптотику этой вероятности при увеличении числа подбрасываний (теоремы Пуассона и Муавра-Лапласа,
часть 1, гл. 4, параграфы 2-4) и т. д. В математической статистике значения р и q неизвестны заранее, но мы можем произвести серию подбрасываний монеты. Цель проведения испытаний как раз и заключается либо в определении р и q, либо в проверке некоторых априорных суждений относительно их значений. Таким образом, судя уже по этому простейшему примеру, задачи математической статистики являются в некотором смысле обратными задачам теории вероятностей.
В математической статистике обычно принято выделять два основных направления исследований.
Первое направление связано с оценкой неизвестных параметров. Возвращаясь к нашему примеру, предположим, что мы произвели п подбрасываний монеты и установили, что в р из них выпал «герб». Тогда наиболее естественной оценкой вероятности р является наблюденная частота р* = р/п. Как известно из закона больших чисел Бернулли (часть 1, гл. 4, параграф 5), с увеличением числа испытаний частота р* стремится к вероятности р, т. е. р* является состоятельной оценкой вероятности р. Оказывается, наряду с простотой и естественностью оценка р* будет и наилучшей с многих точек зрения, т. е. она обладает свойством эффективности. Однако если нам заранее определено число п подбрасываний монеты, то сказать со 100%-й гарантией что- либо об истинном значении р мы не можем (за исключением разве что тривиальных суждений типа «если выпадет хотя бы один „герб“ то вероятность выпадения „герба“ не может равняться нулю»). Поэтому наряду с точечными оценками в математической статистике принято определять интервальные оценки или, иными словами, доверительные интервалы, опираясь при этом на «уровень доверия», или доверительную вероятность.
Второе направление в математической статистике связано с проверкой некоторых априорных предположений, или статистических гипотез. Так, до опыта мы можем предположить, что монета симметрична, т. е. высказать гипотезу о равенстве р = q = 1/2. Противоположное предположение, естественно, будет состоять в том, что р 7^ 1 /2, и тоже представляет собой гипотезу. Принято называть одну из этих гипотез (как правило, более важную с практической точки зрения) основной Но, а вторую — альтернативной или конкурирующей Н\. В приведенном выше примере нужно проверить основную гипотезу Ну. р = 1/2 против конкурирующей гипотезы Н\\ р ^ 1/2. Заметим, что в нашем случае основная гипотеза Но полностью определяет вероятностную модель подбрасывания монеты, т. е. является простой (состоит из одной точки), в отличие от конкурирующей гипотезы Н\, являющейся сложной (состоит из более чем одной точки). Задача проверки статистических гипотез состоит в выборе правила или критерия, позволяющего по результатам наблюдений проверить (по возможности, наилучшим образом) справедливость этих гипотез и принять одну из них. Так же, как и при оценке неизвестных параметров, мы не застрахованы от неверного решения; в математической статистике они подразделяются
на ошибки первого и второго рода. Ошибка первого рода состоит в том, что мы принимаем конкурирующую гипотезу Н\, в то время как справедлива основная гипотеза Яо; аналогично определяется ошибка второго рода. Возвращаясь к примеру с монетой, приведем следующий критерий проверки двух перечисленных гипотез: основную гипотезу Яо (р = 1/2) будем принимать в том случае, если наблюденная частота р* удовлетворяет неравенству |р* — 1/2| < е; в противном случае считаем верной конкурирующую гипотезу Н\. Вероятность ошибки первого рода (принять симметричную монету за несимметричную) в этом случае определяется как вероятность выполнения неравенства |р* — 1/2| ^ е в схеме Бернулли с равновероятными исходами. Вероятность ошибки второго рода (принять несимметричную монету за симметричную) также определяется из схемы Бернулли, но с неравновероятными исходами и будет зависеть от истинного значения р.
Далее мы увидим, что задача проверки статистических гипотез наиболее полно решается для случая двух простых гипотез. Можно поставить и задачу проверки нескольких гипотез (в примере с монетой можно взять, например, три гипотезы: Яо: р = 1/2, Н\\ р < 1/2, Я2: р > 1/2), однако мы такие задачи рассматривать не будем.
Условно математическую статистику можно подразделить на исследование байесовских и небайесовских моделей.
Байесовские модели возникают тогда, когда неизвестный параметр является случайной величиной и имеется априорная информация о его распределении. При байесовском подходе на основе опытных данных априорные вероятности пересчитываются в апостериорные. Применение байесовского подхода фактически сводится к использованию формулы Байеса (см. часть 1, гл. 3, параграф 5), откуда, собственно говоря, и пошло его название. Байесовский подход нами будет применяться только как вспомогательный аппарат при доказательстве некоторых теорем.
Небайесовские модели появляются тогда, когда неизвестный параметр нельзя считать случайной величиной и все статистические выводы приходится делать, опираясь только на результаты «пробных» испытаний. Именно такие модели мы будем рассматривать в дальнейшем изложении.
В заключение этого параграфа отметим, что в математической статистике употребляют также понятия параметрических и непараметрических моделей. Параметрические модели возникают тогда, когда нам известна с точностью до параметра (скалярного или векторного) функция распределения наблюдаемой характеристики и необходимо по результатам испытаний определить этот параметр (задача оценки неизвестного параметра) или проверить гипотезу о принадлежности его некоторому заранее выделенному множеству значений (задача проверки статистических гипотез). Все приведенные выше примеры с подбрасыванием монеты представляют собой параметрические модели. Примеры непараметрических моделей мы рассмотрим позже.
Основные понятия математической статистики
Основными понятиями математической статистики являются: генеральная совокупность, выборка, теоретическая функция распределения.
Генеральная совокупность. Будем предполагать, что у нас имеются N объектов, каждому из которых присуще определенное значение некоторой числовой характеристики X. Характеристика X, вообще говоря, может быть и векторной (например, линейные размеры объекта), однако для простоты изложения мы ограничимся только скалярным случаем, тем более что переход к векторному случаю никаких трудностей не вызывает. Совокупность этих N объектов назовем генеральной совокупностью.
Поскольку все наши статистические выводы мы будем делать, основываясь только на значениях числовой характеристики X, естественно абстрагироваться от физической природы самих объектов и отождествить каждый объект с присущей ему характеристикой X. Таким образом, с точки зрения математической статистики генеральная совокупность представляет собой N чисел, среди которых, конечно, могут быть и одинаковые.
Выборка. Для того чтобы установить параметры генеральной совокупности, нам позволено произвести некоторое число п испытаний. Каждое испытание состоит в том, что мы случайным образом выбираем один объект генеральной совокупности и определяем его значение X. Полученный таким образом ряд чисел Х\,... ,Хп будем называть (случайной) выборкой объема п, а число Хг — г-м элементом выборки.
Заметим, что сам процесс выбора можно осуществлять различными способами: выбрав объект и определив его значение, изымать этот объект и не допускать к последующим испытаниям (выборка без возвращения); после определения его значения объект возвращается в генеральную совокупность и может полноправно участвовать в дальнейших испытаниях (выборка с возвращением) и т. д.
Разумеется, если бы мы смогли провести сплошное обследование всех объектов генеральной совокупности, то не нужно было бы применять никакие статистические методы и саму математическую статистику можно было бы отнести к чисто теоретическим наукам. Однако такой полный контроль невозможен по следующим причинам. Во-первых, часто испытание сопровождается разрушением испытуемого объекта; в этом случае мы имеем выборку без возвращения. Во-вторых, обычно необходимо исследовать весьма большое количество объектов, что просто невозможно физически. Наконец, может возникнуть такое положение, когда многократно измеряется один и тот же объект, но каждый замер производится со случайной ошибкой, и цель последующей статистической обработки заключается именно в уточнении характеристик объекта на основе многократных наблюдений; при этом
результат каждого наблюдения надо считать новым объектом генеральной совокупности (простейшим примером такой ситуации является многократное подбрасывание монеты с целью определения вероятности выпадения «герба»). Следует помнить также, что выборка обязательно должна удовлетворять условию репрезентативности или, говоря более простым языком, давать обоснованное представление о генеральной совокупности.
С ростом объема N генеральной совокупности исчезает различие между выборками с возвращением и без возвращения. Мы, как обычно это делается в математической статистике, будем рассматривать случай бесконечно большого объема генеральной совокупности и поэтому, употребляя слово «выборка», не будем указывать, какая она — с возвращением или без него.
Теоретическая функция распределения. Пусть Х\ — выборка единичного объема из заданной генеральной совокупности. Поскольку сам процесс выбора производится случайным образом, то Х\ является случайной величиной и, как и всякая случайная величина, имеет функцию распределения F(x) = P{Xi < xY Нетрудно видеть, что если объем N генеральной совокупности конечен, то при случайном выборе объекта мы находимся в рамках схемы классической вероятности (часть 1, гл. 2, параграф 1) и значение функции распределения F(x) совпадает с отношением Nx/N, где Хж — число тех объектов генеральной совокупности, значения которых меньше х.
В случае выборки Х\,... ,Хп произвольного объема п каждый элемент Хг выборки также будет иметь функцию распределения F(x), причем для выборки с возвращением наблюдения Х\,...,Хп будут независимы между собой (чего нельзя сказать о выборке без возвращения). Поскольку, как уже говорилось, мы будем рассматривать выборки из генеральной совокупности бесконечно большого объема, а в этом случае исчезает различие между выборками разного типа, мы приходим к интерпретации (с точки зрения теории вероятностей) выборки Х\,...,Хп как п независимых одинаково распределенных с функцией распределения F(x) случайных величин или, допуская некоторую вольность речи, как п независимых реализаций наблюдаемой случайной величины X, имеющей функцию распределения F(x\ Функция распределения F(x) называется теоретической функцией распределения. Однако теоретическая функция распределения F(x) либо неизвестна, либо известна не полностью, и именно относительно F(x) мы будем делать наши статистические выводы. Заметим, что в соответствии с общими положениями теории вероятностей совместная функция распределения Fx{,...,xn (^ь ..., ^п) выборки Х\,...,Хп задается формулой
Гхь...,хп(ж1,... ,Жп) = Р{^1 < Ж|,... ,Хп < жп} = F(xi) ...Fan\
В дальнейшем, как правило, мы будем предполагать, что F(x) является функцией распределения либо дискретной, либо непрерывной наблюдаемой случайной величины X. В первом случае будем оперировать рядом распределения случайной величины X, записанным в виде табл. 1, а во втором — плотностью распределения р^ = F\x\
Таблица 1
X
bl
Ь2
bL
р
р^)
PIN
Простейшие статистические преобразования
Прежде чем переходить к детальному анализу наблюденных статистических данных, обычно проводят их предварительную обработку. Иногда результаты такой обработки уже сами по себе дают наглядную картину исследуемого явления, в большинстве же случаев они служат исходным материалом для получения более подробных статистических выводов.
Вариационный и статистический ряды. Часто бывает удобно пользоваться не самой выборкой Х\,... ,Хп, а некоторой ее модификацией, называемой вариационным рядом. Вариационный ряд Xf,..., X* представляет собой ту же самую выборку Xi,...,Xn, но расположенную в порядке возрастания элементов: Хх Х^ < ... < X*. Такое преобразование не приводит к потере информации относительно теоретической функции распределения F(x), поскольку, переставив элементы вариационного ряда Хх,...,Х* в случайном порядке, мы получим новый набор случайных величин Хх,..., Х^, совместная функция распределения Fx',...,x^(^\,..., хп) которых в точности совпадает с функцией распределения ...,хп) первоначальной выборки Xi,..., Хп.
Для Xf и X* употребляют название «крайние члены вариационного ряда».
Пример 1. Измерение проекции вектора скорости молекул водорода на одну из осей координат дало (с учетом направления вектора) результаты (х104 м/с), представленные в табл. 2.
Вариационный ряд этой выборки приведен в табл. 3. Крайними членами вариационного ряда Xf,..., X* являются X* = 2,33 и Х5*о = 3,47. □
Если среди элементов выборки Xi,...,Xn (а значит, и среди элементов вариационного ряда Хх,...,Х*) имеются одинаковые, что происходит при наблюдении дискретной случайной величины, а также довольно часто встречается при наблюдении непрерывной случайной величины с округлением значений, то наряду с вариационным рядом используют представление выборки в виде статистического
Таблица 2
X,
х2
Х3
х4
Х5
Хб
Х7
х8
Х9
Х10
-1,04
-1,06
1,06
-0,53
-1,58
0,01
0,41
-0,79
-0,18
-0,52
Хи
Х|2
х13
Х14
^15
^16
Xi?
Х18
^19
х20
-1,60
-1,29
-0,10
1,27
0,01
0,60
2,25
-0,88
0,01
0,30
^21
х22
^23
х24
^25
-^26
^27
х28
^29
Х30
-0,08
0,54
1,02
1,68
1,12
-0,01
2,15
0,96
-0,80
-0,50
х31
^32
Хзз
^34
^35
^36
^37
^38
-^39
х40
-2,33
-0,72
0,14
-0,98
0,74
-1,32
-1,46
0,35
0,32
0,35
х41
^42
^43
Х44
х45
^46
Х47
^48
^49
Хбо
-0,05
-0,27
0,65
3,47
2,19
0,40
0,52
-0,28
-1,57
1,92
Таблица 3
Х^
х;
Х3*
XI
х3
XI
Х^
х8
Х9*
^1*0
-2,33
-1,60
-1,58
-1,57
-1,46
-1,32
-1,29
-1,06
-1,04
-0,98
х^
Хх2
^Гз
Xf4
х;5
Хю
хг7
Хю
-^*9
Х2о
-0,90
-0,88
-0,80
-0,79
-0,72
-0,53
-0,52
-0,28
-0,27
-0,18
Х^
х;2
^2*3
х;4
Х2*5
х;6
х2*7
х;8
^2*9
Хзо
-0,10
-0,08
-0,05
-0,01
0,01
0,01
0,01
0,14
0,30
0,32
^31
Х32
^33
Х34
Х35
Хзз
^37
Х38
^3*9
Х4о
0,35
0,35
0,40
0,41
0,52
0,54
0,60
0,65
0,74
0,96
X4*i
Х*42
^4*3
Х*44
Х45
х;6
Х4*7
х;8
^4*9
Х5о
1,02
1,06
1,12
1,27
1,68
1,92
2,15
2,19
2,25
3,47
ряда (табл. 4), в котором Z\,...,Zm представляют собой расположенные в порядке возрастания различные значения элементов выборки Xi,..., Хп, а П1,..., пт — числа элементов выборки, значения которых равны соответственно Z\,, Zm.
Пример 2. В течение минуты каждую секунду регистрировалось число попавших в счетчик Гейгера частиц. Результаты наблюдений приведены в табл. 5.
Статистический ряд выборки представлен в табл. 6. □
6 П. П. Бочаров, А. В. Печинкин
Таблица 4
Z\
Z,
Zm
П\
n2
Tlm
Таблица 5
Xi
x^
X3
x4
X5
X6
X7
Xs
X9
Хю
1
4
3
5
3
5
0
5
0
4
Xu
Xi2
X13
Xu
X15
Xi6
X17
Xis
X19
X20
1
1
4
2
3
1
5
3
1
4
X21
X22
Х2з
X24
X25
x26
X27
x28
X29
X30
3
0
6
1
2
2
4
2
4
3
X31
Хз2
X33
X34
X35
X36
X37
X38
X39
X40
3
1
4
3
5
4
4
5
2
1
X41
X42
X43
X44
X45
X46
X47
X48
X49
X50
2
0
4
1
1
4
5
2
3
2
X51
X52
X53
X54
X55
X56
X57
X58
X59
Xgo
4
5
4
1
3
2
1
3
9
5
Таблица 6
0
1
2
3
4
5
6
9
4
12
9
11
13
9
1
1
Статистики. Для получения обоснованных статистических выводов необходимо проводить достаточно большое число испытаний, т. е. иметь выборку достаточно большого объема п. Ясно, что не только использование такой выборки, но и хранение ее весьма затруднительно. Чтобы избавиться от этих трудностей, а также для других целей, полезно ввести понятие статистики, общее определение которой формулируется следующим образом. Назовем статистикой S = (8\,..., Sk) произвольную (измеримую) /с-мерную функцию от выборки Xi,... ,Хп;
S] =S1(X1,...,Xn),
sk = s^X\,...,xuY
Как функция от случайного вектора (Xi,...,Xn) статистика S также будет случайным вектором (см. часть 1, гл. 6, параграф 7), и ее функция распределения
^,...,Sk (^i’ • • • ’ ^fc) P{*^i, Sk А xk^
определяется для дискретной наблюдаемой случайной величины X формулой
Fsb...,skЩ, ■ • ■, хО = £ РЫ ■ ■ ■ ^(Уп)
и для непрерывной — формулой
Fs1„.„sk(x\,,х0 = |...|р(у1) ...p(yn)dyi ...dyn, где суммирование или интегрирование производится по всем возможным значениям у\,..., уп (в дискретном случае каждое yt принадлежит множеству {&1,..., bLK для которых выполнена система неравенств
8\(уь.Уп) < ^1,Sk(yv,...,yX <хк.
Пример 3. Пусть выборка Xi,...,Xn произведена из генеральной совокупности с теоретической функцией распределения F(x) = Ф(х;т,сг2), являющейся нормальной с математическим ожиданием (средним значением) т и дисперсией а2. Рассмотрим двумерную статистику (5i, 82), где
S1 = Si(Xi,...,Xn) = 1(Х, + ... + х„),
S2 = S2(X,Х„) = № - S,)2 + ... + (X„ - Si)2.
Тогда
РзаХ.оХ) =|...j(27r(T2)-n/V^(y,-m)2+''-+(y"^ dy\...dyn.
Si=(?/i+...+?/H)/n<;ri,
S2=(lh —Sx YX-.-X^n — Sx )2<^2
Мы, однако, не будем вычислять записанный интеграл, а воспользуемся тем фактом (см. пример 29, часть 1, гл. 6, параграф 7), что любое линейное преобразование переводит нормально распределенный вектор в вектор, снова имеющий нормальное распределение, причем ортогональное преобразование переводит вектор с независимыми координатами, имеющими одинаковые дисперсии, в вектор с также независимыми и имеющими те же самые дисперсии координатами.
Из курса теории вероятностей известно, что статистика 8х имеет нормальное распределение со средним т и дисперсией а2(п. Положим
Х' = Хг-т, Si = - (Х{ + ... + Х„).
Очевидно, что
Si=m + Si, S2 = (Xi-Si)2 + ... + (X;-Si)2.
Пусть теперь А — линейное ортогональное преобразование пространства Яп, ставящее в соответствие каждому вектору х = (ял,... ,хп) вектор у = = (ух,..., уп) = Ах, где ух = (ал + ... + жп)/У^ (как известно из курса линейной алгебры, такое преобразование всегда существует). Тогда, если Xх = (Х{,..., Х^), то (У1,...,УП) = Y = АХ' будет нормально распреде-
ленным случайным вектором, имеющим независимые координаты Yt с нулевым средним и дисперсией о2. Кроме того, Yi = у/п S{. Далее, рассмотрим 52 = 52 (^)2 — квадрат длины вектора Xх. Простейшие преобразования пока- г=1 зывают, что
S2 =- Si)2 + n^f = S2 + пЩ)2.
г=1
С другой стороны, в силу ортогональности преобразования А
s2 = £П2 = п(Щ2 + Ц ++ у„2.
г=1
Отсюда, в частности, следует, что
s2 = y22 + ... + y^
т. е. S^ja1 представляет собой сумму квадратов п — 1 независимых случайных величин, распределенных по стандартному нормальному закону. Вспоминая теперь, что случайные величины У = у/п ^, Y^,..., Yn независимы, получаем окончательный ответ: статистики Si и S2 независимы (Fsbs2(xb ^2) = = Fgx(xi) Fs2(x2)\ статистика Si распределена по нормальному закону с параметрами m и a2In, а случайная величина S^/a2 (в том случае, когда дисперсия ст2 неизвестна, отношение S2/о2 не является статистикой, поскольку зависит от неизвестного параметра а2) — по закону ^ с п — 1 степенями свободы (см. также параграф 4).□
Отметим, что проведенные рассуждения будут нами постоянно использоваться в гл. 4, посвященной статистическим задачам, связанным с нормально распределенными наблюдениями.
Важный класс статистик составляют так называемые достаточные статистики. Не давая пока строгого математического определения, скажем, что статистика S является достаточной, если она содержит всю ту информацию относительно теоретической функции распределения F(x), что и исходная выборка Х\,..., Хп. В частности, вариационный ряд всегда представляет собой достаточную статистику. Более сложными примерами достаточных статистик являются число успехов в схеме Бернулли и двумерная статистика S из примера 3 для выборки из генеральной совокупности с нормальной теоретической функцией распределения. В современной математической статистике достаточные статистики играют очень важную роль.
Эмпирическая функция распределения. Пусть мы имеем выборку Х\,...,Хп объема п из генеральной совокупности с теоретической функцией распределения F(x\ Построим по выборке Х\,..., Хп аналог теоретической функции распределения F(x\ Положим
п
где рх — число элементов выборки, значения которых Хг меньше х. Поскольку каждое Хг меньше х с вероятностью рх = F(x), а сами Хг
независимы, то рж является целочисленной случайной величиной, распределенной по биномиальному закону:
Р{Мж = т} = Р„И = (”) [^)Г [1 - Г(хГ-т .
Функция F*(x) носит название эмпирической (выборочной) функции распределения. Ясно, что при каждом х значение эмпирической функции распределения F*(x) является случайной величиной, принимающей значения 0, 1/п,..., 1; если же рассматривать F*(x) как функцию от х, то F*(x) представляет собой случайный процесс.
Построение эмпирической функции распределения F*(x) удобно производить с помощью вариационного ряда Хр-.^Х*. Функция F*(x) постоянна на каждом интервале (Х*,Х*+1], а в точке X* увеличивается на 1/п.
Пример 4. График эмпирической функции распределения, построенной по вариационному ряду из табл. 3, приведен на рис. 1. □
Если выборка задана статистическим рядом (см. табл. 4), то эмпирическая функция распределения также постоянна на интервалах (Z^,Z^+i], но ее значение в точке Z^ увеличивается на тц/тц а не на 1/п.
Пример 5. График эмпирической функции распределения, построенной по статистическому ряду из табл. 6, приведен на рис. 2. □
Гистограмма, полигон. Для наглядности выборку иногда преобразуют следующим образом. Всю ось абсцисс делят на интервалы \xt,Xi^\) длиной Л^ = х^\ — xt и определяют функцию р*(х), постоянную на г-м интервале и принимающую на этом интервале значение р*(х) = Ui/(nXi), где Vi — число элементов выборки, попавших в интервал \xi,Xi^\). Функция р*(х) называется гистограммой.
При наблюдении дискретной случайной величины вместо гистограммы часто используют полигон частот. Для этого по оси абсцисс откладывают все возможные значения Ь\,...,Ьь наблюдаемой величины X, а по оси ординат, пользуясь статистическим рядом, либо числа
v\,...,vl элементов выборки, принявших значения Ъ\,...,Ъь (полигон частот), либо соответствующие наблюденные частоты
* и\Р'=п* и\Р'=п* VL* VL
* и\
Р'=п
* и\
Р'=п
* VL
* VL
(полигон относительных частот). Для большей наглядности соседние точки соединяются отрезками прямой.
Для непрерывной наблюдаемой случайной величины полигоном относительных частот иногда называют ломаную линию, соединяющую середины отрезков, составляющих гистограмму.
Пример 6. Построим гистограмму и полигон относительных частот выборки, представленной в табл. 2. Для этого выберем интервалы одинаковой длины А^ = 1,00. Числа щ и значения р*(ж) на каждом интервале приведены в табл. 7. Гистограмма выборки показана на рис. 3 сплошной линией, а полигон относительных частот — штриховой линией. □
Рис. 3 Рис. 4Рис. 3 Рис. 4
Рис. 3 Рис. 4
Рис. 3 Рис. 4
Таблица 7
-4,-3
-3,-2
-2,-1
-1,0
0,1
1,2
2,3
3,4
Vi
0
1
8
15
16
6
3
1
рЧ^
0
0,02
0,16
0,30
0,32
0,12
0,06
0,02
Пример 7. Построим полигон относительных частот выборки, приведенной в табл. 5. Возможные значения наблюдаемой случайной величины X (числа частиц, попавших в счетчик Гейгера) представляют собой неотрицательные целые числа. Воспользовавшись статистическим рядом из табл. 6, получаем полигон относительных частот, изображенный на рис. 4. □
Предельное поведение эмпирической функции распределения.
Предположим, что по выборке Х\,... ,Хп мы построили эмпирическую функцию распределения F*n^(x) (здесь и в дальнейшем в том случае, когда нам важна зависимость какой-то характеристики от объема выборки п, будем снабжать ее дополнительным нижним индексом (п)). Как мы уже говорили, число iux = nF*n^(x) элементов выборки, принявших значение, меньшее х, распределено по биномиальному закону с вероятностью успеха рх = F^x\ Тогда при п оо в силу усиленного закона больших чисел (часть 1, гл. 8, параграф 2) значения
эмпирических функций распределения F*n^(x) сходятся при каждом х к значению теоретической функции распределения F^x\ В. И. Гли- венко и Ф. П. Кантелли обобщили этот факт и доказали следующую теорему.
Теорема Гливенко-Кантелли. При п сю с вероятностью, равной единице,
8ир|Цп)(Ц -^0.
Смысл теоремы Гливенко-Кантелли заключается в том, что при увеличении объема выборки п у эмпирической функции распределения исчезают свойства случайности и она приближается к теоретической функции распределения.
Аналогично, если тг велико, то значение гистограммы р^^зс) в точке х приближенно равно
F(xw) - F(xt) Дг ’ где xt, х^\ — концы интервала, в котором находится х, а А^ = = х^\ — Xi есть длина этого интервала. Если теоретическая функция распределения имеет плотность распределения р(х) и при этом длины интервалов Аг малы, то гистограмма Р*^^) достаточно хорошо воспроизводит эту плотность.
Выборочные характеристики. Эмпирическая функция распределения F*(x), построенная по фиксированной выборке Ац,..., Хп, обладает всеми свойствами обычной функции распределения (дискретной случайной величины). В частности, по ней можно найти математическое ожидание (среднее)
m* = l(Xi + ... + ХД, тг
второй момент
т*2 = ^ + ... + Х2Ц, дисперсию
а2* = ^- [(Xi - т*)2 + ... + (Хп — m*)2] = т^ - (ж*)2 , момент k-ro порядка
п4 = ^хк + ... + хЦ центральный момент к-го порядка
/4 = 1[№-ш4Щ... + №^^^^^
и т. д. Соответствующие характеристики называются выборочными (выборочное среднее, выборочный второй момент, выборочная диспер-
сия и т.п.). Ясно, что выборочные характеристики как функции от случайных величин Xi,...,Xn сами являются случайными величинами, причем их распределения определяются в соответствии с общими положениями теории вероятностей (см. часть 1, гл. 6, параграф 7). Так, функция распределения выборочного среднего т* для случая дискретной наблюдаемой случайной величины определяется формулой
где суммирование ведется по всем х\,...,хп, принимающим значения ^Ь\,... ,Ьь^ и удовлетворяющим неравенству (xi + ... + Хп)/п < х, а функция распределения выборочного второго момента т^ для непрерывного случая — формулой
р(^1).. .р(хп) dxx ... dxn.
Наряду с выборочной дисперсией а2* часто используют и другую характеристику разброса выборки вокруг среднего:
=1_ т*)2 ++т«^ = П
п - 1 LJ п - 1
Характеристику s2* также будем называть выборочной дисперсией, а для того чтобы не путать а2* и s2*, каждый раз будем указывать, о какой именно выборочной дисперсии идет речь. Выборочная дисперсия s2* отличается от выборочной дисперсии а2* только лишь наличием множителя nf^n — 1), который с увеличением объема выборки п стремится к единице, и, казалось бы, нет смысла вводить две практически одинаковые величины. Однако, как мы увидим из дальнейшего, s2* является несмещенной оценкой теоретической дисперсии а2, чего нельзя сказать о выборочной дисперсии а2*, хотя стандартные методы приводят именно к а2*
Пример 8. Подсчитаем выборочное среднее и выборочные дисперсии для выборки, приведенной в табл. 2:
т* = Д (-1,04- 1,06+ 1,06- ... - 1,57+ 1,92) = 0,082,
а* = Д Г(—1,04 — 0.082)2 + (—1,06 — 0,082)2 + ... + (1,92 — 0,082)2] = 1,34,
2» = 50 2* = j 3?
49
Для подсчета выборочной дисперсии ст2* можно было бы воспользоваться также формулой ст2* = ш^ - (ш*)2.□
Основные распределенияматематической статистики
Наиболее часто в математической статистике используются: нормальное распределение, ^-распределение (распределение Пирсона), ^-распределение (распределение Стьюдента), F-распределение (распределение Фишера), распределение Колмогорова и ^-распределение. Все эти распределения связаны с нормальным. В свою очередь, широкое распространение нормального распределения обусловлено исключительно центральной предельной теоремой (см. часть 1, гл. 8, параграф 4). Ввиду их особой важности все названные распределения затабулированы и содержатся в различных статистических таблицах, а также, частично, в большинстве учебников по теории вероятностей и математической статистике. Наиболее полными из известных и доступных читателю в нашей стране являются таблицы Л. Н. Большева и Н. В. Смирнова [1], на которые мы и будем ссылаться в дальнейшем.
Нормальное распределение. Одномерное стандартное нормальное распределение {стандартный нормальный закон) задается своей плотностью распределения (см. часть 1, гл.5, параграф 4)
р{х) = Ф^ж) = -4= е~х /2.
а/2тг
Значения функции Ф(х) и плотности р{х) стандартного нормального распределения, а также квантилей ра (функции ра, обратной функции стандартного нормального распределения) приведены в [1], табл. 1.1-1.3 (см. также табл. 2 и 3 приложения).
Общее одномерное нормальное распределение характеризуется двумя параметрами: средним (математическим ожиданием) т и дисперсией а2. Его можно трактовать как распределение случайной величины
q = т + ^Vcr2 ,
где случайная величина £ подчинена стандартному нормальному закону. Плотность распределения и функцию распределения общего нормального закона будем обозначать через р{х;т,а2) и Ф{х;т,сг2).
Многомерное {k-мерное) нормальное распределение (часть 1, гл. 6, параграф 4) определяется вектором средних m = {т\,...,тк) и матрицей ковариаций А = {pij).
X2-распределение (см. часть 1, гл. 5, параграф 4, а также примеры 28 и 30, часть 1, гл. 6, параграф 7). Пусть £i,... ,£п — независимые случайные величины, распределенные по стандартному нормальному закону. Распределение случайной величины
хМ1+ -.. + £п
носит название ^ -распределения с п степенями свободы, ^-распределение имеет плотность распределения
Цх) = Н\х) = —хп^2-хе-ж^2 (х > 0),
V 7 V 72п/2Г(п/2)V 7
где Г(-) введено в параграфе 4 гл. 5.
Значения функции ^-распределения и ^-процентных точек ((^-процентная точка ^-распределения представляет собой (1 — а/100)-кван- тиль Xi—с^/юо) ^-распределения приведены в [1], табл. 2.1а и 2.2а.
В дальнейшем нам будет полезно следующее свойство. Пусть Сь---,€п — независимые случайные величины, распределенные по нормальному закону с одинаковыми параметрами т и а2. Положим
Тогда случайная величина
х2 = А [№ - ??)2 + • • • + Щ - ??)2]
имеет ^-распределение, но с п — 1 степенями свободы. Доказательство этого факта содержится в примере 3.
Еще одна схема, в которой появляется ^-распределение — полиномиальная схема (см. часть 1, гл. 4, параграф 7). Пусть производится п независимых одинаковых испытаний, в каждом из которых с вероятностью pi может произойти одно из событий А[ (I = 1,..., L). Обозначим через vi число появлений события Ai. Тогда из многомерного аналога интегральной теоремы Муавра-Лапласа следует, что случайная величина22
2 = (щ - W\^ ++ (^L - прь)
npi " ' ПрЬ
при п ос асимптотически распределена по закону у2 с L — 1 степенями свободы.
^-распределение. Пусть ^ и у2 — независимые случайные величины, причем £ распределена по стандартному нормальному закону, а х2 имеет ^-распределение с п степенями свободы. Распределение случайной величины
называется t-распределением с п степенями свободы, ^-распределение имеет плотность распределения
Значения функции ^-распределения и ^-процентных точек ((1 — а/ЮС^-квантилей ^i—с^/юо) ^-распределения приведены в [1], табл. 3.1а и 3.2.
Далее, пусть £i,...,£n — независимые одинаково распределенные случайные величины, подчиненные нормальному закону со средним т. Положим
ч = ^ (€i + • • • + U С = (6 -ч? + ■ ■ ■ + Щ - ч?-
Тогда случайные величины р и £ независимы, а случайная величина
V п — 1
имеет ^-распределение с п - 1 степенями свободы (доказательство этого см. в примере 3).
F-распределение. Пусть у2 и д^ — Две независимые случайные величины, имеющие ^-распределения с п\ и П2 степенями свободы. Распределение случайной величины
носит название F-распределения с параметрами ni и П2. F-распределение имеет плотность распределения
г Стц +п2\
чЩ) = Ф'Ц) =; 2; п^Щ^ж"1/2"1 (n2 +n^)-(”1+n2)/2
г(тМт)
(ж > 0).
Значения ^-процентных точек ((1 - а/100)-квантилей ^щ^/юо) F-распределения приведены в [1], табл. 3.5.
Распределение Колмогорова. Функция распределения Колмогорова имеет вид
К^ = £ (-ip'e-2^2 <х>0\
3 = -оо
Распределение Колмогорова является распределением случайной величины
Ч= sup |£(t)|,
где ^(t) — броуновский мостик, т. е. винеровский процесс с закрепленными концами £(0) = 0, ^(1) = 0 на отрезке 0 < t < 1 (см. [11]).
Значения функции распределения Колмогорова приведены в [1], табл. 6.1. Квантили распределения Колмогорова будем обозначать через ка.
^-распределение. Функция ш2 -распределения задается формулой
1 ~rp + -)V4j+l _№+i)l
А^ = Е /ие 16ж х
V2^j=0 г(-)г0'+1)
(ж > 0).(ж > 0).х [7iVW + i)2y
(ж > 0).
(ж > 0).
L — 4 \ 16® /4 \ 16® / J
Здесь Iy(z) — модифицированная функция Бесселя, ш2-распределение представляет собой распределение случайной величины
1
и? = | ^2(t) dt,о
где ^(t) — броуновский мостик.
Значения функции ш2-распределения приведены в [1], табл. 6.4а.
Квантили ^-распределения будем обозначать через аа.
Глава 2
ОЦЕНКИ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ
Как уже говорилось в гл. 1, одним из двух основных направлений в математической статистике является оценивание неизвестных параметров. В этой главе мы дадим определение оценки, опишем те свойства, которые желательно требовать от оценки, и приведем основные методы построения оценок. Завершается глава изложением метода построения доверительных интервалов для неизвестных параметров.
Статистические оценки и их свойства
Предположим, что в результате наблюдений мы получили выборку Xi,...,Xn из генеральной совокупности с теоретической функцией распределения F(x\ Относительно F(x) обычно бывает известно только, что она принадлежит определенному параметрическому семейству F^x;^, зависящему от числового или векторного параметра ^. Как правило, для простоты изложения будем рассматривать случай числового параметра ^ и лишь иногда обращаться к векторному параметру 0= (1Д,..., -д^; в векторном случае будем использовать запись F(x; тД,..., ^k). Для большей наглядности будем все неизвестные параметры (за исключением теоретических моментов ть сг2 и р^) обозначать буквой ^ (снабжая их при необходимости индексами), хотя в теории вероятностей для них обычно приняты другие обозначения. Наша цель состоит в том, чтобы, опираясь только на выборку Xi,..., Хп, оценить неизвестный параметр ^.
Оценкой неизвестного параметра ^, построенной по выборке Х\,... ,Хп, назовем произвольную функцию
зависящую только от выборки Х\,...,Хп. Ясно, что как функция от случайной величины (Х\,..., Хп) оценка ^* сама будет являться случайной величиной и, как всякая случайная величина, будет иметь функцию распределения F^*(x), определяемую в дискретном случае формулой
где суммирование ведется по всем переменным х\,...,хп, принимающим значения {^ь ...,^ь} из ряда распределения наблюдаемой случай-
ной величины X и удовлетворяющим неравенству т2*(х\,..., хп) < х, и в непрерывном случае — формулой
Fy* (х) = j.. .jр(ху 12) • • -р(хп; 12) dx\ • • • dxn,
где интегрирование ведется по области, выделяемой неравенством т2*(х\,..., хп) < х. Как уже говорилось, иногда для того, чтобы подчеркнуть зависимость оценки от объема выборки п, будем наряду с обозначением т2* употреблять обозначение т2*пу Нужно четко представлять себе, что зависимость оценки 12* от неизвестного параметра 12 осуществляется только через зависимость от 12 выборки Х\,..., Хп, что в свою очередь реализуется зависимостью от 12 функции распределения F^*(x) = F^*(x; 12). Приведенное выше определение отождествляет понятие оценки 12* (вектора оценок 0* = (12^,..., 12^)) с одномерной (/с-мерной) статистикой.
Пример 1. Предположим, что проведено п испытаний в схеме Бернулли с неизвестной вероятностью успеха d. В результате наблюдений получена выборка Ху,..., Хп, где Xi — число успехов в г-м испытании. Ряд распределения наблюдаемой величины X — числа успехов в одном испытании представлен в табл. 1.
Таблица 1
X
0
1
р
1 — d
d
В качестве оценки ^* рассмотрим наблюденную частоту успехов
а U *п = — = т ,тг
где
у = Ху + ... + Хп
представляет собой суммарное число успехов в п испытаниях Бернулли. Статистика у распределена по биномиальному закону с параметром т2, поэтому ряд распределения оценки 12* имеет вид, приведенный в табл. 2.□
Таблица 2
d*
0
г(п
1
Р
(1 -tf)n
ntf(l -I?)""1
□ ^(1 --бу1"1
dn
Пример 2. Выборка Ху,...,Хп произведена из генеральной совокупности с теоретической функцией распределения F^x) = Ф(х;т2, ст2), являющейся нормальной с неизвестным средним d. В качестве оценки d снова рассмотрим выборочное среднее
tf* = m* = l(Xi + ... + Xn).
тг
Функция распределения Р^*(ж) задается формулой
^^хх^.-.^х^Х^
Однако вместо непосредственного вычисления написанного n-мерного интеграла заметим, что статистика
5 = Xi + ...+ХПраспределена по нормальному закону с параметрами п^ (математической ожи-дание) и по2 (дисперсия). Значит, оценка ^* = S/n распределена также понормальному закону с параметрами и а21 ]п.□
Разумеется, на практике имеет смысл использовать далеко не любую оценку.
Пример 3. Как и в примере 1, рассмотрим испытания в схеме Бернулли. Однако теперь в качестве оценки неизвестной вероятности успеха ^ возьмем
Такая оценка будет хороша лишь в том случае, когда истинное значение = = 1/2; ее качество ухудшается с увеличением отклонения ^ от 1/2.□
Приведенный пример показывает, что желательно употреблять только те оценки, которые по возможности принимали бы значения, наиболее близкие к неизвестному параметру. Однако в силу случайности выборки в математической статистике мы, как правило, не застрахованы полностью от сколь угодно большой ошибки. Значит, гарантировать достаточную близость оценки ^* к оцениваемому параметру можно только с некоторой вероятностью и для того, чтобы увеличить эту вероятность, приходится приносить необходимую жертву — увеличивать объем выборки п.
Опишем теперь те свойства, которые мы хотели бы видеть у оценки.
Главное свойство любой оценки, оправдывающее само название «оценка», — возможность хотя бы ценой увеличения объема выборки до бесконечности получить точное значение неизвестного параметра ^. Оценка iF называется состоятельной, если с ростом объема выборки она сходится к оцениваемому параметру F Можно рассматривать сходимость различных типов: по вероятности, с вероятностью единица, в среднем квадратичном и т. д. Обычно рассматривается сходимость по вероятности, т. е. состоятельной называется такая оценка
которая для любого с > 0 при всех возможных значениях неизвестного параметра удовлетворяет соотношению
P{|^n)-^|>s} -^0.
Отметим, что правильнее было бы говорить о состоятельности последовательности оценок ^пу поскольку для каждого значения п объема выборки оценка может определяться по своему правилу. Однако в дальнейшем мы будем употреблять понятие состоятельности
только для оценок, построенных по определенным алгоритмам, поэтому будем говорить просто о состоятельности оценки.
Пример 4. Оценка ^* из примера 1 является состоятельной оценкой неизвестной вероятности успеха ^. Это является прямым следствием закона больших чисел Бернулли.□
Пример 5. Пусть выборка Xi,...,Xn произведена из генеральной совокупности с неизвестной теоретической функцией распределения F(x). Тогда в силу закона больших чисел выборочный момент
т*к = -{Х^ + ... + Хкп)п
сходится к теоретическому моменту тк = MXfc и, значит, представляет собой состоятельную оценку тк. Аналогично, выборочные дисперсии а2* и s2* и выборочные центральные моменты рк являются состоятельными оценками теоретической дисперсии ст2 и теоретических центральных моментов рь Отметим, что поскольку в этом примере не предполагается принадлежность теоретической функции распределения F(x) какому-либо параметрическому семейству, то мы имеем дело с задачей оценки неизвестных моментов теоретической функции распределения в непараметрической модели.□
Пример 6. Выборка Xi,...,Xn произведена из генеральной совокупности с теоретической функцией распределения F(x), имеющей плотность распределения Коши
с неизвестным параметром ^. Поскольку плотность распределения Коши симметрична относительно ^, то казалось бы естественным в качестве оценки параметра взять выборочное среднее
Г = т* = 1(Х1 + ... + Х„).
Однако 19* как и сама наблюдаемая случайная величина X, имеет распределение Коши с тем же параметром 19 (это легко установить с помощью характеристических функций, см. часть 1, гл. 8, параграф 3), т. е. не сближается с параметром 19, а значит, не является состоятельной оценкой параметра 19. □
Из курса теории вероятностей известно (см. часть 1, гл. 7, параграф 1), что мерой отклонения оценки 19* от параметра 19 служит разность М19* — 12. В математической статистике разность
МГ - 19 = 5(т2)
называется смещением оценки 19* Ясно, что
5(19) = ^ [^*(хь • ’- ^] ^(^ь ^) • • •^)
в дискретном случае и
5(12) = j.. .j [19*(ац,..., xn) - 12] р(х\*Л) • • -р(хп; 12) dx\ • • • dxn
в непрерывном, где суммирование или интегрирование ведется по всем возможным значениям х\,..., хп.
Оценка iF называется несмещенной, если
6^ = О
при всех $, т. е. ее среднее значение М^* совпадает с оцениваемым параметром F
Пример 7. Оценка ^* неизвестной вероятности успеха ^ из примера 1 является несмещенной. Действительно,
Mt?* = 1 М(Х, + ... + Х„) = - (MX, +... + МХ„) = MX = У. □ 7777
Пример 8. Выборочные моменты т^ являются несмещенными оценками теоретических моментов ink, поскольку
Mm^ = 1 MfX,'' + ... + X*) = 1 (MX? + ... + MX?) = MXfc = тк. пп
Вычислим теперь математическое ожидание выборочной дисперсии ст2*:
Мст2* = М (1 [(X, - т*)2 + ... + (Х„ - т*)2]) =
= ^ Ё МЕ “ | Ё М(т*Х<) + М(т*)2 =
= - 4 Ё Ё М(Х4ХЛ + 4 Ё Ё м№) =
П г=Щ = 1П г=Щ = 1
= т2 - 4 Ё МЕ - 4 Е М№Щ = — w - 4 Е м№) Mto) =
П2»2П
77 — 177 — 1277 — 12
= 7772ТП = О" .
777777
Таким образом, ст2* является смещенной (хотя и состоятельной, см. пример 5) оценкой дисперсии а2 Поскольку
2*772*
S = (7 ,
77 — 1
то2
Ms = ст
и s2* представляет собой уже несмещенную оценку а2 Можно показать также, что выборочные центральные моменты ц£ (к 3) являются смещенными оценками теоретических центральных моментов Цк-□
Пример 9. Пусть Хх,...,Хп — выборка из генеральной совокупности с теоретической функцией распределения F(x) = Ф(ж;^, ст2), являющейся нормальной с неизвестным средним ^. Поскольку MX = Д то оценка
Г = Г(ХЬ...,ХП) =Хх
является несмещенной. Очевидно, однако, что она не является состоятельной.□
Примеры 8 и 9 показывают, что состоятельная оценка может быть смещенной и, наоборот, несмещенная оценка не обязана быть состоятельной.
Рассматривая несколько оценок неизвестного параметра ^, мы, разумеется, хотели бы выбрать из них ту, которая имела бы наименьший разброс, причем при любом значении неизвестного параметра ^. Мерой разброса оценки ^*, как и всякой случайной величины, является дисперсия
D^* = M(tf* - М^*)2
(дисперсия, как и распределение оценки, зависит от неизвестного параметра ^). Однако для смещенной оценки iF дисперсия служит мерой близости не к оцениваемому параметру ^, а к математическому ожиданию М^* Поэтому естественно искать оценки с наименьшей дисперсией не среди всех оценок, а только среди несмещенных, что мы и будем делать в дальнейшем. Для несмещенных оценок дисперсия определяется также формулой
D^* = M(iT - ^)2.
Имеется несколько подходов к нахождению несмещенных оценок с минимальной дисперсией. Это связано с тем, что такие оценки существуют не всегда, а найти их бывает чрезвычайно сложно. Здесь мы изложим понятие эффективности оценки, основанное на неравенстве Рао-Крамера.
Теорема 1 (неравенство Рао-Крамера). Пусть й*^ — несмещенная оценка неизвестного параметра ^, построенная по выборке объема п. Тогда (при некоторых дополнительных условиях регулярности, наложенных на семейство Е(х\йур
где I = 1(й) — информация Фишера, определяемая в дискретном случае формулой
/ = M[(inFOC;t<]2 = у [^М]2рМ.
а в непрерывном — формулой
i=M[(lnp(X;^]2 = Т [^i^]2^;^)^
Прежде чем переходить к доказательству теоремы, заметим, что по неравенству Рао-Крамера дисперсия любой несмещенной оценки не может быть меньше 1/(п7"). Назовем эффективностью е = е(^) несмещенной оценки й* величину
в =в =пЮГ ’пЮГ ’1
в =
в =
пЮГ ’
пЮГ ’
Ясно, что эффективность любой оценки iF при каждом ^ заключена между нулем и единицей, причем чем она ближе к единице при каком- либо d, тем лучше оценка при этом значении неизвестного параметра.
Несмещенная оценка ^* называется эффективной (по Рао-Крамеру), если е^ = 1 при любом F
Доказательство теоремы 1. Доказательство этой и всех остальных теорем будем проводить (если не сделано специальной оговорки) для непрерывного случая. Это связано с тем, что непрерывный случай, как правило, более сложен, и читатель, усвоивший доказательство для непрерывного случая, легко проведет его для дискретного.
Как мы увидим из хода доказательства, условия регулярности семейства F(x*,d), упомянутые в формулировке теоремы, есть не что иное, как условия, гарантирующие законность дифференцирования под знаком интеграла в формулах (1) и (3). В разных книгах сформулированы различные достаточные условия. Мы упомянем одно из них, приведенное в [11]:
функция р(х; d) для всех (точнее, для почти всех) х непрерывно дифференцируема по d, информация Фишера 1(^) конечна, положительна и непрерывна по d.
Приступим теперь к собственно доказательству теоремы. Заметим прежде всего, что, дифференцируя тождество
р(х; d) dx = 1(1)
(в силу сформулированного условия это можно делать), получаем p(x;d)dx\ = Гр(х; d) dx = 0.(2)
Далее, в силу несмещенности оценки d*^ = d^^^ ••• ^п) имеем
M^(n) = | ... | d^(xx,...,xn)p(xx;d)---p(xn;d)dxx---dxn = d. (3)
Дифференцируя это равенство no d и учитывая очевидное тождество
dp(xx;d) • • -р^жц d) • • -p(xn; d) dxx • • • dxn = 0,
полученное из (1) и (2), находим
2 [^(п)(жь ..., жп) - ^] p(xx;d) • --p^x^d) • • • p(xn;dn dxx--- dxn = =i
^d^(xx,..., xn) -^][^2 ^(^^^^^'"P(xn',^)dxx --dxn = 1.
P(4)
Воспользовавшись неравенством Коши-Буняковского
| ... | a(xi,..., жп) b(xi,..., жп) р(ж1; ^) • • • р(хп; ^) dxi •• • dxn <
11/2
., Жп) р(ж1; d) • • • р(жп; d) dxv dxn
I 1/2
., жп) р(ж1; d) • • • р(жп; d) dxv-- dxn
при
а(хх,... ,хп) = ^(п) (ж1,..., жп) - d,а(хх,... ,хп) = ^(п) (ж1,..., жп) - d,P(xpd) ’P(xpd) ’
а(хх,... ,хп) = ^(п) (ж1,..., жп) - d,
а(хх,... ,хп) = ^(п) (ж1,..., жп) - d,
P(xpd) ’
P(xpd) ’
имеем
p(X1;d) - -p(xn;d)dxx •••dxA * .
Заметим теперь, что в силу тождества (2)Заметим теперь, что в силу тождества (2)(5)
Заметим теперь, что в силу тождества (2)
Заметим теперь, что в силу тождества (2)
р(жь^) ---p^x^d) dxi •••dx.P^i\d^ J
p(xp,d) dxt = nl. P^i;d) J
Тогда неравенство (5) можно переписать в виде 1 < nIDd^np откуда и следует неравенство Рао-Крамера.□
Замечание 1 к теореме 1. Для превращения используемого при доказательстве теоремы 1 неравенства Коши-Буняковского, в равенство необходимо и достаточно существование таких функций d*(x) аргумента ж и c(d) аргумента d, что,
(6)
При этом оценка d^^xx,... ,хп) должна иметь вид
^(п)(жь ,ЖП) = - [^*(Ж1) + .. . + ^*(жп)] .
Обозначая
Г (ж) = S(x), A(d) = jcWM В^ = -^dc(d)dd
и интегрируя уравнение (6), получаем, что необходимым условием существования эффективной оценки является возможность представления плотности распределения р(ж; d) в виде
p(®;i?) = h{x)es(-x'>AW+BW,(7)
где h(x) и S(x) — функции, зависящие только от ж, a A(d) и B(d) — функции, зависящие только от d.
Аналогичное представление для ряда распределения Р(ж; ^) должно иметь место и в дискретном случае. Семейство плотностей или рядов распределения такого вида носит название экспоненциального.
Экспоненциальные семейства играют в математической статистике важную роль. В частности, как мы показали, только для этих семейств могут существовать эффективные оценки, которые к тому же определяются формулой
^(п) = — [Ж1) + ... + (8) 7 дп
(появление множителя Х)д связано с неоднозначностью определения функций h(x), А^), В($) и 8(х) в представлении (7)). Однако следует помнить, что не для всякого экспоненциального семейства существует эффективная оценка (в принятом нами смысле), поскольку эффективная оценка по определению должна быть несмещенной, что, вообще говоря, нельзя сказать об оценке (8) в случае произвольного экспоненциального семейства. Впрочем, из тождества (1) вытекает весьма простой способ проверки несмещенности (8) непосредственно по А(^) и В^), заключающийся в выполнении равенства В'^ = -gW'V
Замечание 2 к теореме 1. Неравенство Рао-Крамера можно обобщить на случай смещенных оценок:
И в этом случае неравенство превращается в равенство только тогда, когда семейство распределений экспоненциально.
Пример 10. Рассмотрим оценку ^* неизвестной вероятности успеха ^ в схеме Бернулли из примера 1. Как показано в примере 7, эта оценка несмещенная. Дисперсия ^* имеет вид
D^* = D - (Xi + ... + Х„) = ф [D(Xi + ... + Х„)] = — = 17(1 5) . пJ ппп
Найдем информацию Фишера (напомним, что в данном случае наблюдаемая величина X принимает всего два значения 0 и 1 с вероятностями Р(0; ^) =
= 1 — -0 и Р(1; $) = -0 соответственно):
I =I =Р(0;^Р(0;^] Р(0;^) +] Р(0;^) +PUMР(\;^PUMР(\;^] Р(Ж =] Р(Ж == Ш2(1_^) + (П2^=^ + 1 == Ш2(1_^) + (П2^=^ + 1 =1р (1 — Р) ’1р (1 — Р) ’
I =
I =
Р(0;^
Р(0;^
] Р(0;^) +
] Р(0;^) +
PUMР(\;^
PUMР(\;^
] Р(Ж =
] Р(Ж =
= Ш2(1_^) + (П2^=^ + 1 =
= Ш2(1_^) + (П2^=^ + 1 =
1
р (1 — Р) ’
1
р (1 — Р) ’
□□
□
□
Таким образом, е(^) = 1 и, значит, оценка ^* эффективная.
Пример 11. Рассмотрим оценку ^* неизвестного среднего нормального закона из примера 2. Поскольку эта оценка представляет собой выборочное среднее, то в соответствии с результатами, полученными в примере 8, она является несмещенной. Найдем ее эффективность. Для этого прежде всего заметим, что2
DiT = о[1 № + Хп)1 = —= —.InInn
Далее, 2
1пр(Х;г?) = 1пу(Х;-У,сг2) = — In V2тгсг2 — ——,
I = М [(1пр(Х;<]2 = ^^ = Т^ = А= L
И в этом примере оценка ^* является эффективной.□
на при известном среднем т вимав видер(гдеS(x) = (х — т)2,на при известном среднем т вимав видер(гдеS(x) = (х — т)2,Пример 12. Оценим неизвестную дисперсию ^ = DX нормального зако- . Плотность нормального распределения предста-
на при известном среднем т вимав виде
р(
где
S(x) = (х — т)2,
на при известном среднем т вимав виде
р(
где
S(x) = (х — т)2,
х;^ = es^WHW\
AW = -^,B^) = -lnV2^,
е. по отношению к неизвестной дисперсии ^ принадлежит экспоненциальному семейству. Поэтому эффективная оценка ^* дисперсии ^ должна по формуле (8) иметь вид
= — №) + ... + S(X„)] = ± у № - т)2. дпдп
С другой стороны, нетрудно видеть, что ^А'^) = — В'^), откуда следует несмещенность оценки
Г = --Ч2
и, значит, ее эффективность. Впрочем, эффективность оценки легко установить и на основе неравенства Рао-Крамера.
Пусть теперь мы оцениваем не дисперсию, а среднее квадратичное отклонение = VDX. И в этом случае имеет место представление (7), только теперь AW = -^, BW = -\nV2^.
Поэтому равенство д^А'^) = — В'^) не превращается в тождество ни при каком выборе д, и, значит, эффективной (в смысле Рао-Крамера) оценки среднего квадратичного отклонения нормального закона не существует. Рассмотрим оценку
/— Г (—)/1 п
^* =—/ 1 i \ А /- ш)2 ’
у 2 г Р + V п
V 2 У V
равную корню квадратному из оценки дисперсии с точностью до постоянного множителя \pap2 Г(п/2)/Г((п + 1)/2). Читателю предлагается проверить, что оценка 1У* несмещенная. Кроме того, в следующем параграфе будет показано, что среди всех несмещенных оценок среднего квадратичного отклонения $ она имеет минимальную дисперсию (хотя и не является эффективной).□
Пример 13. Пусть выборка Хх,...,Хп произведена из генеральной совокупности с равномерным на интервале (0,1У) теоретическим распределением. Оценим неизвестный параметр Р. Обозначим через X* максимальный член вариационного ряда. В качестве оценки параметра $ возьмем
пп
п
п
Функция распределения Fx*(x) статистики X* задается формулой Fx* (ж) = Р{Х < ж} = P{Xi < х,..., Хп < ж} =
= Р{Х1 <$}■•• Р{Х„<Ц = (У"(0<®<tf).
Тогда
мгмгпх dx = d.пх dx = d.
мг
мг
пх dx = d.
пх dx = d.
п (п + 2) ’п (п + 2) ’Значит, оценка d* несмещенная. Далее,
п (п + 2) ’
п (п + 2) ’
М(^ ) = пх
\ п / J о
Dtf* = М(гГ)2 - (MtT)2 = ——
Мы видим, что дисперсия оценки d* при п —> сю убывает, как 1/п2. Такая оценка оказалась более эффективной, поскольку дисперсия эффективной оценки убывает только, как 1/п. Разгадка парадокса чрезвычайно проста: для данного семейства не выполнены условия регулярности, необходимые при доказательстве неравенства Рао-Крамера. Используя понятие достаточной статистики, в следующем параграфе мы докажем минимальность дисперсии данной оценки. □
В заключение этого параграфа отметим, что эффективные по Рао- Крамеру оценки существуют крайне редко. Правда, как мы увидим в параграфе 4, эффективность по Рао-Крамеру играет существенную роль в асимптотическом анализе оценок, получаемых методом максимального правдоподобия. Кроме того, существуют обобщения неравенства Рао-Крамера (например, неравенство Бхаттачария [7]), позволяющие доказывать оптимальность более широкого класса оценок.
В следующем параграфе мы рассмотрим другой подход к определению оценок с минимальной дисперсией, базирующийся на достаточных статистиках.
Наиболее распространенные методы нахождения оценок приводятся в параграфах 3-6.
Наконец, в параграфе 7 описан подход к построению доверительных интервалов для неизвестных параметров.
2. Достаточные оценки
Первый шаг в поисках другого (не основанного на неравенстве Рао-Крамера) принципа построения оценок с минимальной дисперсией состоит во введении понятия достаточной статистики (отметим, что достаточные статистики играют в современной математической статистике весьма важную роль, причем как при оценке неизвестных
параметров, так и при проверке статистических гипотез). Назовем /с-мерную статистику
достаточной для параметра д, если условное распределение Рхх,...,ХтЛжь ..., хп \ S = s) выборки Хь ..., Хп при условии S = s не зависит от параметра д.
Пример 14. Пусть Хг — число успехов в г-м испытании Бернулли (см. пример 1). Рассмотрим статистику
8 = ХХГ ...ГХ^
— общее число успехов в п испытаниях Бернулли. Покажем, что она является достаточной для вероятности успеха д. Для этого найдем условное распределение P{Xi = хх,...,Хп = хп | S = s}. Воспользовавшись определением условной вероятности, получаем
PPG = хх,...,Хп = Хп | 8 = s} = ——. (9)
Если хх + ... + Хп = s, то вероятность P{Xi = хх,..., Хп = хп, 8 = s} совпадает с вероятностью P{Xi = хх,..., Хп = хп}, т. е.
P{X1 =xx,...,Xn = Xn,S = s^ = P{Xx =xx,...,Xn = Xn^ = ^4i-^y-s (напомним еще раз, что каждое Хг может принимать здесь только значение О или 1, причем хх + ... + хп = s). Поскольку вероятность Р{5 = s} определяется формулой Бернулли
P{S = s} = QpSO
то из (9) получаем, что
Р 1^1 — Хх, . . . , Хп — Хп | 8 — б} — / п \\ ’
(J^s(l-yn~s
е. не зависит от ^. Если же хх + ... + хп У s, то
P^Xx=xx,...,Xn=Xn,S = s^ = O, откуда
P{Xi =хх,...,Хп = хп | 5 = 8} = О,
е. опять-таки не зависит от ^. Таким образом, 8 — достаточная статистика.□
Очевидно, что использовать приведенное выше определение для проверки достаточности конкретных статистик весьма сложно, особенно в непрерывном случае. Простой критерий достаточности задается следующей теоремой.
Теорема 2 (факторизационная теорема Неймана-Фишера). Для того чтобы статистика 8 = 8(Хх,..., Хп) была достаточной для параметра й, необходимо и достаточно, чтобы ряд распределения
Р(ж,,...,жп; 0) = РЩ РСп> ^)
в дискретном случае или плотность распределения
р(ж],..., жп; ^) = р(ж];■ р(ж„; ^)
в непрерывном случае выборки Хх,..., Хп были представимы в виде
(Ю)(Ю)Р(хх,...,хп*Л) = А(хх,... ,хп) В(8*Л),р(хх,... sxn\^ = А^хх,..., х^ B^S^Y
(Ю)
(Ю)
где функция А(хх,... ,хп) зависит только от хх,...,хп, а функция B(s; i2) — только от s и $.
Доказательство. Для простоты изложения ограничимся только дискретным случаем. По определению условной вероятности,
П Г V ™I Q Щ ^{^1 Хх , • • • , Хп Хп, S з} /1 1 \
Р{Л1 = Хх,...,Хп = хп | 8 = 8> = —- .(11)
Очевидно, что числитель в правой части (11) совпадает с вероятностью P{Xi = хх,..., Хп = хп^ в том случае, когда s = 8(хх,..., хп), и равен нулю в противном. Поскольку событиями нулевой вероятности можно пренебречь, то ограничимся случаем s = 8(хх,..., хп) и запишем (И) в виде
PXXi=xi,...,Xn=xn\S=sX=^^-^L^lО2)
Теперь, если 8 — достаточная статистика, то левая часть (12) не зависит от $. Обозначая ее через А(хх,..., жп), а Р{5 = s} — через B(s;^), приходим к (10), что доказывает необходимость (10).
И наоборот, пусть выполнено (10). Тогда
Р{5 = s} =^Р(хх,...,хп;^) =
®!,...,®H: 5(®1,...,®гг) —s
= B(s;t?) у ЛЦь.,жп).
Ху,...^: 8(х1,...,хтг) = з
Подставляя последнее равенство в (12), имеем
Р{ Ай = хх,..., Хп = хп | 8 = s} =
УХ,...,Уп : S(yv,...,yT1) = s
е. не зависит от ^, а значит, статистика 8 является достаточной.□
Замечание к теореме 2. Очевидно, что представление (10) справедливо с точностью до функции g = g^S\ зависящей только от 8 = 8(хх,... ,хп).
Пример 15. Пусть Хх,...,Хп — выборка из генеральной совокупности с теоретической функцией распределения, являющейся нормальной со средним Д и дисперсией ^2- Покажем, что (двумерная) статистика 8 = (8х, 8^, где
Si = - (Xi + ... + ХД S2 = (Xi - Si)2 + ... + (Xn - Si)2, п
является достаточной для (двумерного) параметра ^ = (^1,^2) (см. также пример 3 из гл. 1). Действительно, плотность распределения р(хх,..., Хп',^ выборки Хх,..., Хп представима в виде
_SyrTySx-yX_
р^хх,... ,Хп',^ = ^-к^^ ^е.,
е. имеет вид (10), где
_82+п(81-ЩД
Л(ж1,...,Жп) = 1,В(8;^) = (2тг^2)-п/е 2^.□
Пример 16. Пусть Xi,...,Xn — выборка из генеральной совокупности с равномерным на интервале (0, ^) теоретическим распределением (см. пример 13). Покажем, что максимальный член вариационного ряда
s = s(xx,...,xn) = x:
р(х1,...,хп-Л) =р(х1,...,хп-Л) =является (одномерной) достаточной статистикой для ^. Действительно, вспоминая, что плотность р^х;^ равномерно распределенной на интервале (0, ^) величины равна 1/^ при х Е (0, ^) и нулю в противном случае, получаем для плотности распределения выборки Хх,..., Хп выражение
р(х1,...,хп-Л) =
р(х1,...,хп-Л) =
если 0 < Xi < $ для всех г;
в противном случае.
В частности, область изменения каждого аргумента Хг при отличной от нуля плотности распределения зависит от параметра ^. Рассмотрим функцию
S = 8(хх,..., хп) = max Xi
если 0 < 5 < 1^;если 0 < 5 < 1^;в противном случае,если Хг > 0 для всех г;в противном случае.в противном случае,если Хг > 0 для всех г;в противном случае.И ПОЛОЖИМ, z
если 0 < 5 < 1^;
если 0 < 5 < 1^;
в противном случае,если Хг > 0 для всех г;
в противном случае.
в противном случае,если Хг > 0 для всех г;
в противном случае.
О
{1,
О
С учетом введенных функций
р(хх,..., жп;^) = А(хх,...,хп) B(S;t2).
Здесь уже при определении функции А(хх,... ,хп) на Хг сверху не наложено никаких ограничений, поскольку они автоматически ограничены своим максимальным значением S, которое в свою очередь не превосходит ^. Но это означает, что функция А(хх,..., хп) не зависит от параметра и в сответствии с теоремой 2 статистика
s = s(Xx,...,xn) = x:
□□является достаточной для параметра ^.
□
□
Пример 17. Покажем, что для экспоненциального семейства (7) существует одномерная достаточная статистика. Этот факт легко установить, если подставить выражение (7) в формулу для плотности распределения выборки Хх,...,Хп.
р(хх,... ,ХП;^) = р(хх*Л) - ’Р^Хп^) =
Полагая теперьПолагая теперь=. нал e№i)+...+s(*„)lAW+nBW
Полагая теперь
Полагая теперь
Л(Ж1,...,®„) = /г(®1)
В = В(жь , ж„) = S($i) + ... + S(®„),B(S;^) = eSAW+"BW,
видим, что одномерная статистика
S(Xi,..., Xn) = S(Xi) + ... + В(Х„)
является достаточной для параметра ^.□
Как уже говорилось в гл. 1, смысл достаточной статистики S заключается в том, что она включает в себя всю ту информацию о неизвестном параметре ^, которая содержится в исходной выборке Х\,..., Хп. Интуиция подсказывает нам: оценка с наименьшей дисперсией (если она существует) должна зависеть только от достаточной статистики S. И действительно, следующий наш шаг будет заключаться в переходе от произвольной оценки iF к оценке ^, зависящей только от достаточной статистики S, причем этот переход совершится таким образом, чтобы дисперсия оценки -Од не превосходила дисперсии исходной оценки
Начиная с этого момента и до конца параграфа будем для простоты предполагать, что неизвестный параметр является одномерным.
Пусть имеется некоторая оценка ^* этого параметра, а также (произвольная) статистика S. Рассмотрим условное математическое ожидание М(^* | S) случайной величины ^* при условии S (см. часть 1, гл. 7, параграф 5). Следующее утверждение, играющее основную роль в наших рассуждениях, было получено независимо Д. Блекуэлом, М.М. Рао и А.Н. Колмогоровым.
Теорема 3 (улучшение оценки по достаточной статистике). Пусть S — достаточная статистика, а $* — несмещенная оценка параметра ^. Тогда условное математическое ожидание -dg = М(^* | S) является несмещенной оценкой параметра Д зависящей только от достаточной статистики S и удовлетворяющей неравенству
(13)
при всех Д
Доказательство. В силу достаточности статистики S условное распределение, а значит, и условное математическое ожидание оценки й* при условии S не зависит от неизвестного параметра й (для произвольной статистики S функция ДД вообще говоря, может зависеть от Д, т. е. й*д представляет собой оценку параметра Д причем зависящую только от S.
Далее, из равенства
М^ = М [М(Г |5)] = МГ для условного математического ожидания немедленно следует несмещенность оценки Йд.
Наконец,
Di?* = M(i?* - t?)2 = M(i?* - i?g + i?g - i?)2 =
= M(t?g - t?)2 + 2M [(i?s - W - ^s)] + M(t?* - i?J)2.
Используя опять свойство условного математического ожидания, получаем
м V№ - W - tfs)] = М (М [« - i?)(i?* - 1?J) I S)]) =
= м(№-Лм[(1?*-^) |s]) = o.
ПоэтомуПоэтомуDi?* = Dt?g + M(t?* - i?s)2 Dt?sDi?* = Dt?g + M(t?* - i?s)2 Dt?s□□
Поэтому
Поэтому
Di?* = Dt?g + M(t?* - i?s)2 Dt?s
Di?* = Dt?g + M(t?* - i?s)2 Dt?s
□
□
Замечание 1 к теореме 3. Неравенство (13) превращается для некоторого в равенство тогда и только тогда, когда ^* = ^ (почти всюду по мере F(x; ^)).
Замечание 2 к теореме 3. Утверждение теоремы остается в силе и для смещенной оценки ^*. В частности, М^* = M^J.
Смысл теоремы 3 заключается в том, что взятие условного математического ожидания, т. е. переход к оценке ^, зависящей только от достаточной статистики 8, не ухудшает любую оценку iF при всех значениях неизвестного параметра ^.
Пример 18. Пусть Хх,...,Хп — выборка из нормально распределенной генеральной совокупности с неизвестным средним ^ и известной дисперсией ст2. В примере 9 было показано, что оценка ^* = Хх даже не является состоятельной оценкой ^, хотя она и несмещенная. Рассмотрим статистику
= Хх + ..лХп.
Нетрудно показать, что статистика 8 является достаточной для параметра ^. Поэтому мы можем определить новую оценку ^ = М(^* \ 8). Для ее вычисления заметим, что величины ^* = Хх и 8 = Хх + ... + Хп имеют двумерное нормальное распределение со средними М^* = ^ и М5 = nd, дисперсиями D^* = ст2 и D5 = пег2 и ковариацией cov(^*,5) = М[(^* — d)(S — nd)] = ст2. Но тогда, как известно из курса теории вероятностей, условное распределение 1F при условии 8 = s также является нормальным со средним значением + рл/а (s — п^) / Vпег2, как раз и представляющим собой значение М(^* | 8) при 8 = s. Поскольку коэффициент корреляции р = cov(^*, 5)/ VD^* D5 = = 1/д/п, то среднее значение условного распределения ^* совпадает с s/n и окончательно получаем
^ = - = !(%,+ ... + %„) =т*.п п
Иными словами, мы из совсем плохой оценки 1F = Хх получили эффективную (см. пример 11) оценку ^ = тп*.□
Рассмотренный пример приоткрывает нам те возможности, которые несет с собой теорема 3. Однако, прежде чем сделать последний шаг, введем еще одно определение. Назовем статистику 8 = 8(Хх,..., Хп) полной для семейства распределений F(x;d), если из того, что
Mg(S) = Mfl(S№,...,X„)) =
= | ••• | g(S(x\,... ,xn)) p(x\;d) • • • p(xn;d) dx\ • • • dxn = О
при всех d (мы для простоты предположили существование плотности распределения p(x;d)\ следует, что функция g(s) тождественно равна нулю. Теперь мы в состоянии сформулировать окончательный итог наших поисков.
Теорема 4 (минимальность дисперсии оценки, зависящей от полной достаточной статистики). Пусть S — полная достаточная статистика, ай* — несмещенная оценка неизвестного параметра ^. Тогда
rs = М(Г IS)
является единственной несмещенной оценкой с минимальной дисперсией.
Доказательство теоремы немедленно вытекает из предыдущих результатов. Действительно, в силу теоремы 3 оценка с минимальной дисперсией обязательно должна находиться среди оценок, зависящих только от достаточной статистики S; в противном случае ее можно было бы улучшить с помощью условного математического ожидания. Но среди оценок, зависящих только от S, может быть максимум одна несмещенная. В самом деле, если таких оценок две: й* = й*(8) и ^ = ^(S), то функция
= 9^ = ^ - ^
имеет при всех значениях й математическое ожидание
Mp(S) = M^t - М^2* = й - й = О,
что в силу полноты статистики 8 влечет за собой равенство g(s) нулю. Само же существование несмещенной оценки й*8 = М(^* | 8), зависящей только от 8, гарантируется существованием просто несмещенной оценки й*.□
Перейдем к обсуждению полученных результатов.
Условие полноты статистики 8, как мы видим, сводится к единственности несмещенной оценки й*, зависящей только от статистики 8. Нам не известно общих теорем, которые давали бы простые правила проверки полноты произвольной статистики 8. Однако, как мы увидим из примеров, в конкретных случаях кустарные способы обычно дают хорошие результаты.
Сравнение размерностей полной статистики 8 и оцениваемого параметра й дает право говорить, что, как правило, статистика 8 должна иметь ту же размерность, что и й, а поскольку мы ограничились одномерным параметром й, то 8 также должна быть одномерной. Это приводит к следующим полезным определениям. Оценка й* называется достаточной, если она является достаточной как одномерная статистика. Аналогично, назовем оценку й* полной, если она является полной статистикой.
Сформулируем очевидное следствие из теоремы 4, которое удобно применять во многих частных случаях.
Следствие из теоремы 4. Если оценка й* несмещенная и зависит только от полной достаточной статистики 8, то она имеет минимальную дисперсию.
Пример 19. Пусть Xi,...,Xn — выборка из генеральной совокупности, распределенной по нормальному закону с известным средним m и неизвестным средним квадратичным отклонением й (й > 0). Нетрудно показать, что статистика
8 = (Xi - т)2 + ... + (Хп - mf
является достаточной для параметра ^. Покажем, что она также полная. Для этого вспомним (см. параграф 4 гл. 1), что случайная величина %2 = S/^1 имеет ^-распределение с п степенями свободы, а значит, статистика S = ^х2 имеет плотность распределения
2п/2^пг ^
Пусть теперь д(х) — такая функция, что Мд(8) = 0 при всех ^. Положимо-п/2 n/2-l
rG)
Тогда
Mfl(S) = ^|ЫЩ"ж/(2’’2)^ = ^fli (^) = О, О
где pi(cj) — преобразование Лапласа функции дх(х\ Отсюда, в частности, следует, что pi(cj) = 0 для всех ш > 0. Но из теории преобразований Лапласа известно, что в этом случае оригинал gi(x), а значит, и функция д(х) также должны тождественно равняться нулю, что и доказывает полноту статистики 8.
Рассмотрим теперь оценку
(см. пример 12) неизвестного среднего квадратичного отклонения ^. Эта оценка несмещенная и зависит только от полной достаточной статистики 8. Поэтому по следствию из теоремы 4 она имеет минимальную дисперсию, хотя, как было показано в примере 12, и не является эффективной по Рао- Крамеру. □
Пример 20. Рассмотрим оценку
п
параметра равномерного на интервале (0, ^) распределения (см. пример 13). В примере 13 показано, что эта оценка несмещенная. Статистика X* является достаточной (см. пример 16). Покажем, наконец, что X* — полная статистика. Действительно, для любой функции д(х)
Mg(S) = | Щ) РХ* (ж) dx = Л |1 dx.
Оо
Отсюда, в частности, следует, что если Мд(8) = 0 при всех ^, то
жп"'да) = (|Цу)уп-1 dy^ =0о
при всех х. Поэтому д(х) = 0 и статистика X* полная.
Таким образом, в силу следствия из теоремы 4 и в этом примере оценкаимеет минимальную дисперсию.□
Метод моментов
Пусть мы имеем выборку Хх,...,Хп из генеральной совокупности с теоретической функцией распределения F(x), принадлежащей fc-na- раметрическому семейству Р(хЛь • • • Лк) с неизвестными параметрами 1Д,..., дк, которые нужно оценить. Поскольку нам известен вид теоретической функции распределения, мы можем вычислить первые к теоретических моментов. Эти моменты, разумеется, будут зависеть от к неизвестных параметров 1Д,..., дк:
т\ = MX = mi(^i,..., дк),
т2 = MX2 = m2(^i,,^fc),
тк = MXfc = тк^х,... ,^fc).
Суть метода моментов заключается в следующем: так как выборочные моменты являются состоятельными оценками теоретических моментов (см. пример 8), мы можем в написанной системе равенств при большом объеме выборки п теоретические моменты mi, ...,mk заменить на выборочные тх,... ,т^, а затем, решая эту систему относительно дх, ••• Ль найти оценки неизвестных параметров. Таким образом, в методе моментов оценки -дх,... Л^ неизвестных параметров д\,... Лк определяются из системы уравнений
т*х = тхХД,...,"дк\
т2 = тХЛ---Лк\
тк =тк(Гх,...,<).
Можно показать, что при условии непрерывной зависимости решения этой системы от начальных условий тх,...,т^ оценки, полученные методом моментов, будут состоятельными. Более того, справедлива следующая теорема.
Теорема 5 (асимптотическая нормальность оценок, полученных методом моментов). При некоторых условиях, наложенных на семейство F(x; дх,..., дк\ совместное распределение случайных величин
при п ею сходится к (многомерному") нормальному закону с нулевыми средними и матрицей ковариаций, зависящей от теоретических моментов m\,..., m2k и матрицы (dmtjddj).
Доказательство. Будем полагать, что выполнены следующие условия: а) параметры й\,...Лк однозначно определяются своими моментами тх,... ,ть
существует теоретический момент т^ порядка 2k (это эквивалентно существованию дисперсий у выборочных моментов mJ,..., ш^);
функция
m^) = (mi(^i,...,^),..., m^i,... ,^/с))
дифференцируема по 6 = (^i,..., ^/с) с отличным от нуля якобианом I ЭнН / д^з |.
Доказательство теоремы проведем для одномерного случая, предоставляя общий случай читателю. Оно является комбинацией следующих результатов: теоремы о дифференцируемости обратного отображения и центральной предельной теоремы. Действительно, поскольку существует дисперсия DAT, то при каждом истинном значении $ параметра ^ в силу центральной предельной теоремы выборочное среднее
т* = -рЧ + ... + ХДп
асимптотически при п —> сю распределено по нормальному закону с параметрами т = mi(^) и a2/n = [тг^) — (mi(^))2]/n. С другой стороны, сама оценка ^* записывается в виде
где т^-1\ж) — обратная к mi^) функция. В силу сделанных предположений обратное отображение тх-х\х) в окрестности точки т приближенно представляет собой линейную функцию
тх-Х\х) = а (х — т) +
причем а = l/m'^). Но тогда и случайная величина ^* как приближенно линейное преобразование приближенно нормальной случайной величины т* распределена приближенно по нормальному закону со средним $ и дисперсией а~сг )п. Это доказывает утверждение теоремы.□
Пример 21. Найдем методом моментов оценку неизвестной вероятности успеха в схеме Бернулли. Поскольку в схеме Бернулли только один неизвестный параметр, для его определения необходимо приравнять теоретическое математическое ожидание числа успехов в одном испытании т = ш^) = выборочному среднему т* = (Xi + ... + Х^п*.
нГ =
Итак, оценка ^*, полученная методом моментов, представляет собой наблюденную частоту успехов. Свойства этой оценки были нами достаточно полно исследованы в примерах 1, 4, 7 и 10.□
Пример 22. Выборка Хх,..., Хп произведена из генеральной совокупности с теоретической функцией распределения, имеющей гамма-плотность
рО = р(ж; t?i, ^ = ^2 ^(ж > 0)
с двумя неизвестными параметрами ^i и ^2. Первые два момента случайной величины X, имеющей гамма-распределение, задаются формулами:
т\ = МА = — , m2 = МА = —-—5- .
Отсюда для определения оценок $* получаем систему двух уравнений:Отсюда для определения оценок $* получаем систему двух уравнений:и $2 неизвестных параметров ^i и ^2и $2 неизвестных параметров ^i и ^2
Отсюда для определения оценок $* получаем систему двух уравнений:
Отсюда для определения оценок $* получаем систему двух уравнений:
и $2 неизвестных параметров ^i и ^2
и $2 неизвестных параметров ^i и ^2
№)2 ’
□□решение которой имеет вид
□
□
2*
Вообще говоря, в методе моментов не обязательно использовать первые к моментов. Более того, можно рассматривать моменты не обязательно целого порядка. Иногда для использования в методе моментов привлекают более или менее произвольные функции дх(ж),...,дк(х), сравнивая выборочные средние
ти — ” [Pi(^i) + ••• +Р1(^п)], • тпхк — - [<%№) + ... + дк(Хп)^ функций дх(Х),..., дк(Х) с теоретическими средними
тхх = Mpi(X), ..., тХк = ^дк^Х\
Пример 23. Пусть выборка Хх,..., Хп произведена из нормальной генеральной совокупности с известным средним т и неизвестной дисперсией ^. Попробуем для оценивания ^ применить метод моментов, взяв выборочное среднее т*. Но теоретическое среднее тх = т не зависит от параметра ^. Это означает, что использование выборочного среднего для оценивания неизвестной дисперсии неправомочно и нужно привлекать моменты других порядков. В частности, применяя второй выборочный момент ш^ и вспоминая, что m2 = ^ + ш2, получаем оценку
14* = т^ — т2. □
Следует отметить, что оценки, полученные методом моментов, обычно имеют эффективность существенно меньше единицы и даже являются смещенными. Иногда из-за своей простоты они используются в качестве начального приближения для нахождения более эффективных оценок.
Метод максимального правдоподобия
Метод максимального правдоподобия является наиболее распространенным методом нахождения оценок. Пусть по-прежнему выборка Хх,...,Хп произведена из генеральной совокупности с неизвестной теоретической функцией распределения F(x), принадлежащей известному однопараметрическому семейству Р^х\$\ Функция
ЦХх_._Х^ =ЦХх,...,ХпЛ) =Р(Хх-Л)---Р(ХпЛ)
в дискретном случае и
ЦХх,...,Х^ = ЦХх,...,Хп; ^) = р(хх;^---р(хп; ^)
7 П. П. Бочаров, А. В. Печинкин
в непрерывном называется функцией правдоподобия. Отметим, что в функции правдоподобия L(X\,..., Хп; д) элементы выборки Х\, ...,Хп являются фиксированными параметрами, а д — аргументом (а не истинным значением неизвестного параметра). Функция правдоподобия по своей сути представляет собой не что иное, как вероятность (в непрерывном случае плотность распределения) получить именно ту выборку Х\,..., Хп, которую мы реально имеем, если бы значение неизвестного параметра равнялось У. Естественно поэтому в качестве оценки неизвестного параметра д выбрать д*, доставляющее наибольшее значение функции правдоподобия L(X\,..., ХпЛ). Оценкой максимального правдоподобия называется такое значение д*, для которого
ЦХх _._ХиЛ^ = maxL^,,..., Хп; д).л
При практической реализации метода максимального правдоподобия удобно пользоваться не самой функцией правдоподобия, а ее логарифмом.
Уравнением правдоподобия называется уравнение ^L(Xx,...,Xn,^ = 0.
Если функция правдоподобия дифференцируема по д в каждой точке, то оценку максимального правдоподобия д* следует искать среди значений д, удовлетворяющих уравнению правдоподобия или принадлежащих границе области допустимых значений д. Для наиболее важных семейств F(x; д) уравнение правдоподобия имеет единственное решение д*, которое и является оценкой максимального правдоподобия.
Пример 24. Найдем оценку неизвестной вероятности успеха ^ в схеме Бернулли, но теперь уже в отличие от примера 21 методом максимального правдоподобия. Поскольку Р(ХЛ) = #, если X = 1, и Р(ХЛ) = 1 - ^, если X = 0, то функцию правдоподобия можно записать так:
L№,...,J6n;^) = Р№;^
где у = Xi + ... + Хп — суммарное число успехов в п испытаниях. Тогда уравнение правдоподобия принимает вид
= (Д1п1? + (п-м)М1= 0.
Решая это уравнение, имеем
а Д *v = - = т .
Поскольку
(ln№Хп;<м = -^ +> о,
то lnL(Xi,..., ХпЛ) представляет собой выпуклую вверх функцию ^. Значит, 1F доставляет максимум функции правдоподобия L(X\,..., ХпЛ), т-е- является оценкой максимального правдоподобия. Эта оценка представляет собой, как и в примере 21, наблюденную частоту успехов.□
Оказывается, имеется тесная связь между эффективными оценками и оценками, полученными методом максимального правдоподобия. А именно, справедлива следующая теорема.
Теорема 6 (совпадение эффективной оценки с оценкой максимального правдоподобия). Если (естественно, при условиях регулярности теоремы 1) существует эффективная оценка ^*ф, то она является оценкой максимального правдоподобия ^*р.
Доказательство теоремы 6 представляет собой дальнейшее уточнение доказательства теоремы 1. Действительно, как следует из замечания 1 к теореме 1, из существования эффективной оценки ^*ф вытекает (6) и (8) (с g = 1). Отсюда и из (4) следует равенство
= с^ МКф - ^)2 = ^ .
Поэтому из условия строгой положительности информации I вытекает строгая положительность с(й), которая в свою очередь влечет за собой единственность решения
Л = ^[ЛЛ + .-.+Л^Л]
уравнения правдоподобия
in хп,^ = у- ^] = о.
г=1
Это решение совпадает с эффективной оценкой ^*ф и задает единственный максимум функции правдоподобия L(X\,..., Хп; й\□
В общем случае оценка максимального правдоподобия может быть не только неэффективной, но и смещенной. Тем не менее она обладает свойством асимптотической эффективности в следующем смысле.
Теорема 7 (асимптотическая эффективность оценки максимального правдоподобия). При некоторых условиях на семейство Е(х;й) уравнение правдоподобия имеет решение, при п сю асимптотически распределенное по нормальному закону со средним й и дисперсией \/(п1), где I — информация Фишера.
Доказательство. Сначала сформулируем условия теоремы (см. [9]), которые, как мы увидим далее, гарантируют возможность дифференцируемости под знаком интеграла и разложения Э1пр(х;й)/Эй по ^ в ряд Тейлора до
первого члена:а) для (почти) всех х существуют производныепервого члена:а) для (почти) всех х существуют производныеЭ\пр(х;11Г) d2 kipfad) Эй ’ Эй2 б) при всех й справедливы неравенстваЭ\пр(х;11Г) d2 kipfad) Эй ’ Эй2 б) при всех й справедливы неравенстваI др(х; й)I ЭйI др(х; й)I Эй| ОДЛ| ОДЛд2р(х; й)дй2д2р(х; й)дй2< G2(x),< G2(x),д3 1пр(х; й).дй3 ’д3 1пр(ж; й)дй3д3 1пр(х; й).дй3 ’д3 1пр(ж; й)дй3< Н(х),< Н(х),
первого члена:
а) для (почти) всех х существуют производные
первого члена:
а) для (почти) всех х существуют производные
Э\пр(х;11Г) d2 kipfad) Эй ’ Эй2 б) при всех й справедливы неравенства
Э\пр(х;11Г) d2 kipfad) Эй ’ Эй2 б) при всех й справедливы неравенства
I др(х; й)
I Эй
I др(х; й)
I Эй
| ОДЛ
| ОДЛ
д2р(х; й)дй2
д2р(х; й)дй2
< G2(x),
< G2(x),
д3 1пр(х; й).
дй3 ’
д3 1пр(ж; й)дй3
д3 1пр(х; й).
дй3 ’
д3 1пр(ж; й)дй3
< Н(х),
< Н(х),
где функции Gx(x) и G2(x) интегрируемы на (-сю, сю) и J Н(х)р(х;й)йх < М, причем М не зависит от й;
в) информация I конечна и положительна для всех й.
Обозначим через 19 истинное значение неизвестного параметра 19. В силу условий теоремы справедливо следующее разложение (1пр(ж;^))^ в окрестности d:
^-1пр(ж; Л = ^lnp(®;i?)| ^(^-^^-Inp^tf)!- 5f Н(х),
dvdv1д=дov1д=д z
причем |у| < 1. Тогда после умножения на 1/п уравнение правдоподобия можно записать в виде
1Е1ПОД++(14)
где случайные величины £о, 6 и £2 определяются выражениями
& = 1Е ^1пр(У<
1 n а2।
6 = 1У^1пр№;1?)_
п ^ 8-9
е2 = -унш.
П г=1
Рассмотрим поведение £о, 6, €2 при больших п. Дифференцируя (1) по 19, получаем
Г Э( Э2
— р(х; d) dx =—к р(х; d) dx = 0.
J ddPV 5 J dd2
Поэтому
м[У1пр№1?)Ц= J y^.l_pix;d^
MH(X) = [ H(x)p(x;d)dx < M.
Вернемся к уравнению (14) и воспользуемся сначала тем фактом, что при п —> сю в силу закона больших чисел £о ~» 0, 6 — I и ^ МН(ж), причем, согласно условиям теоремы, I > 0. Тогда можно показать, что уравнение (14) будет в некоторой окрестности d иметь асимптотически единственное решение d*, которое к тому же определяется приближенной формулой
Величина ^о, по центральной предельной теореме, при п сю имеет асимптотически нормальное распределение с нулевым средним и дисперсией 1/п.
Поэтому оценка 1F также асимптотически распределена по нормальному закону с параметрами d и 1/(п/).□
Замечание к теореме 7. Доказанная теорема гарантирует, что среди всех решений уравнения правдоподобия существует по крайней мере одно ^*, обладающее свойством асимптотической эффективности в указанном смысле. Более того, такое решение асимптотически единственно в некоторой окрестности точки д (т. е. вероятность того, что в этой окрестности имеется другое решение уравнения правдоподобия, с ростом п стремится к нулю) и именно оно доставляет локальный максимум функции правдоподобия в этой окрестности. Но с самого начала мы назвали оценкой максимального правдоподобия оценку, доставляющую глобальный максимум функции правдоподобия. Такая оценка, вообще говоря, может не совпадать с и даже быть неединственной. Однако если семейство распределений F^;^) удовлетворяет естественному свойству разделимости, смысл которого сводится к тому, что для достаточно удаленных друг от друга ^ и ^ распределения F^;^) и F^;^) также достаточно хорошо отличаются друг от друга, то любая оценка максимального правдоподобия будет состоятельной, т. е. стремиться к оцениваемому параметру. Вкупе с доказанной теоремой это означает асимптотическую единственность оценки максимального правдоподобия и совпадение ее с ^*, что позволяет при асимптотическом анализе свойств оценки максимального правдоподобия говорить не об одном из решений уравнения правдоподобия или даже не об одной из оценок максимального правдоподобия, а просто об оценке максимального правдоподобия ^* Детальный разбор этого явления можно найти в [11]. Там же показано, что для оценки близости распределений удобно использовать расстояние Кульбака-Лейблера
/^F^^F^;??)) = | [in ^-j р(х; d) dx,
поскольку в силу закона больших чисел именно к расстоянию Кульбака- Лейблера при п —> сю сходится с точностью до знака, постоянной
J In \р(х; ^)] р(х; d) dx и множителя 1 (п логарифм функции правдоподобия
1пЛ(Х1,..., Хп, d) = lnp(Xi; d) + ... + Inр(Хп; d);
здесь d — аргумент функции правдоподобия, a d — истинное значение неизвестного параметра.
В случае, когда семейство F(x; dx,..., dk) зависит от нескольких неизвестных параметров dx,...,dk, при использовании метода максимального правдоподобия нужно искать максимум функции правдоподобия или ее логарифма по к аргументам dx,... ,dk. Уравнение правдоподобия превращается в систему уравнений
А.\пЦХ1,...,ХпЛ\,...ЛО =0,
=0.
odk х7
Пример 25. Выборка Xi,..., Хп произведена из нормальной генеральной совокупности с неизвестными параметрами ^i (среднее) и ^2 (дисперсия). Найдем их оценки ^ и ^2 методом максимального правдоподобия. Логарифм функции правдоподобия задается формулой
XnlAXx.-.-.X^x.-d^ = -^1п(2тп?2) - ^ [№ - ^)2 + ... + (Л;, - ^^^ .
Система уравнений правдоподобия имеет вид
(lnL(XiХ^-дх.-дЖ =-М) = О,
(In ЦХхJn;M))^ = - £ + ИЦ|
ИЛИ
Хх+... + Хп-п^=0, (1Хх-'дхУ + ... + (Хх-'д1У-п'д2 = О.
Таким образом,
п
^2 = 1 Ь|-т"Ц...-(Х„-т'г1 = <т2*.n LJ
Читателю предлагается самостоятельно показать, что ^ и ^ доставляют максимум функции правдоподобия L(Xi,..., Xn; ^i,^2)-
Оценки ^ и $2 параметров ^1 и ^2 совпадают с выборочным средним т* и выборочной дисперсией ст2*. Отметим, что оценка ^ неизвестного математического ожидания 1^1 является эффективной (см. пример 11), чего нельзя сказать об оценке ^ неизвестной дисперсии ^2, которая, как мы знаем, является даже смещенной.
Оказывается, однако, что если мы в качестве оценки параметра ^2 рассмотрим выборочную дисперсию s2*, то эта оценка будет уже не только несмещенной, но и иметь минимальную дисперсию среди всех несмещенных оценок параметра ^2- Последний факт вытекает из неравенства Бхаттачария [7], обобщающего неравенство Рао-Крамера, а также может быть установлен из свойств многомерных достаточных оценок [11].□
Метод минимального расстояния
Суть этого метода заключается в следующем. Предположим, что любым двум функциям распределения Fx(x) и F2^ поставлено в соответствие число
р = p(Fx(x),F2(x)) > О,
называемое расстоянием, причем p(F(x),F(x)) = 0. Пусть теперь, как обычно, задана выборка Хх,..., Хп из генеральной совокупности с теоретической функцией распределения F(x\ принадлежащей параметрическому семейству F^x^Y Вычислим расстояние между эмпирической функцией распределения F*(x) и функциями распределения F(x;d) из данного семейства. Оценкой, полученной методом минимального расстояния, называется такое значение д*, для которого
р (F*(xY F(x; д*)) = minp (F*(xY F(x; d)),
т. е. такое значение ^* которое определяет ближайшую к Е*(х) в смысле расстояния р функцию распределения из семейства Е(х*Л).
Приведем примеры некоторых наиболее часто встречающихся в математической статистике расстояний.
Равномерное расстояние (расстояние Колмогорова) определяется формулой
PR (ЩЦ-ЩЦ) = sup 1^1 (ж) -Щ<
Расстояние ш2 имеет вид
Рш'2 (Fi^Xi^ = | XvM - ЩЦ]2 dF2OY
Расстояние х2 употребляется для функций распределения Е\(х) и Е^(х) дискретных случайных величин £i и £2, принимающих одинаковые значения Ь\,... ,Ьь, и задается выражением
г=1
где вероятности Р\(Ь[) = P{£i = Ь^ и Ps(bi) = Pfe = М определяются рядами распределения случайных величин £i и £2.
Использование приведенных выше расстояний для получения оценок весьма сложно в вычислительном плане, и поэтому они употребляются крайне редко. Здесь мы упомянули об этих расстояниях только потому, что применение оценок, полученных с их помощью, позволяет упростить вычисление уровней значимости критериев при проверке сложных непараметрических статистических гипотез, поскольку такие оценки естественным образом связаны с соответствующими критериями (см. параграф 5 гл. 3).
Метод номограмм
Еще одним методом, позволяющим, пользуясь только номограммами (специальным образом разлинованными листами бумаги, которые в математической статистике носят название вероятностной бумаги), весьма просто и быстро оценить неизвестные параметры, является метод номограмм. Его сущность состоит в следующем. Е1усть мы имеем выборку Х\,... ,Хп из генеральной совокупности с неизвестной теоретической функцией распределения, принадлежащей двухпараметрическому семейству Е^х;^,^). Е1редположим теперь, что каким-то чрезвычайно простым способом удалось построить функцию распределения Е(ж;^*,^) из семейства Е(х; $х, ^2), достаточно хорошо приближающую эмпирическую функцию распределения Е*(х). Тогда ^ и 1^2 будут являться оценками неизвестных параметров i?i и ^2, при-
чем в силу теоремы Гливенко-Кантелли состоятельными при весьма слабых условиях, накладываемых на семейство F(x\ ^1, $2).
Казалось бы, мы пришли к не менее сложной задаче: найти «чрезвычайно простой» способ приближения эмпирической функции распределения функцией распределения из семейства F(x; ^1,^2)- Оказывается, однако, что графики функций распределения тех семейств F(x; ^1, ^2), в которых ?Д и ^2> по сути дела, связаны с параметрами «сдвига» и «масштаба» (к таким семействам относятся, например, нормальное, логнормальное и т. д.), можно с помощью некоторых нелинейных преобразований координат превратить в семейство прямых линий. Тогда, построив в этих новых координатах график эмпирической функции распределения F*(x), нетрудно визуально провести прямую, которая достаточно хорошо приближает F*(x), а затем уже по коэффициентам проведенной прямой найти оценки ^ и ^ неизвестных параметров 1Д и ^2-
Практическая реализация метода номограмм происходит следующим образом. Сначала выборку Хх,..., Хп преобразуют в вариационный ряд Х^,...,Х* и на номограмме для соответствующего семейства F(x; ^1, $2) откладывают точки At (г = 1,..., п) с координатами (Х*,(2г- 1)/(2п)), абсциссы которых X* представляют собой точки скачков эмпирической функции распределения F*(x), а ординаты (2г — 1)/(2п) — середины этих скачков. Затем «на глаз» проводят прямую линию, проходящую как можно ближе ко всем точкам А^. Наконец, с помощью пояснений к номограмме по коэффициентам прямой находят оценки ^ и ^ неизвестных параметров ?Д и ^2-
Пример 26. Предполагая в примере 1 из гл. 1, что проекция вектора скорости молекул водорода распределена по нормальному закону, оценим с помощью метода номограмм неизвестное математическое ожидание ^1 и дисперсию ^2- Воспользовавшись вариационным рядом выборки, найдем координаты точек Аг (табл. 3). Отложим точки Аг на номограмме для нормального распределения (на нормальной 0/39 1/. вероятностной бумаге) и прове-
i;<7./'дем «на глаз» прямую Л, зада/ :ваемую уравнением у = кх + а
'<РИС' Г-
н - ' ,y/zОценка ^ математического
и.!.-/‘ожидания ^i совпадает с точкой
_ пересечения прямой А с осью *абсцисс, т. е. ^ = а = 0,06. Для
X||того чтобы найти оценку ^2
/ндисперсии ^2, определим значе-
/ -ищние коэффициента к: к = 0,90.
рылТогда ^2 = V^2 = 1’23. Для
сравнения приведем значения
Рис. 1оценок этих же параметров, по
лученные методом максималь-
Таблица 3
Аг
А,
^2
Аз
44
А5
4б
47
4s
4g
4ю
Хг = X*
-2,33
-1,60
-1,58
-1,57
-1,36
-1,32
-1,29
-1,06
-1,04
-0,98
2г - 1
Ш = -ц; 2п
0,01
0,03
0,05
0,07
0,09
0,11
0,13
0,15
0,17
0,19
Аг
Ап
412
^13
4м
415
416
417
418
419
420
Хг = X*
-0,95
-0,88
-0,80
-0,79
-0,72
-0,53
-0,52
-0,28
-0,27
-0,18
2г - 1
ш = — 2п
0,21
0,23
1,25
0,27
0,29
0,31
0,33
0,35
0,37
0,39
Аг
421
422
423
424
425
426
427
428
429
4зо
хг = ч
-0,10
-0,08
-0,05
-0,01
0,01
0,01
0,01
0,14
0,30
0,32
2г - 1
0,41
0,43
0,45
0,47
0,49
0,51
0,53
0,55
0,57
0,59
Ai
4з1
4з2
А33
4з4
4з5
4зб
4з7
4з8
4з9
44о
Хг = X*
0,35
0,35
0,40
0,41
0,52
0,54
0,60
0,65
0,74
0,96
2г - 1
ш = — 2п
0,61
0,63
0,65
0,67
0,69
0,71
0,73
0,75
0,77
0,79
Аг
441
442
443
444
445
44б
447
448
449
450
Хг - X*
1,02
1,06
1,12
1,27
1,68
1,92
2,15
2,19
2,25
3,47
2г - 1
0,81
0,83
0,85
0,87
0,89
0,91
0,93
0,95
0,97
0,99
ного правдоподобия (см. пример 18, а также пример 8 из гл. 1): ^ = 0,082, 4^ = 1,34. Как видим, оценки весьма близки. □
Следует отметить, что с помощью метода номограмм можно судить также о правильности выбора семейства F^-dy,^. Действительно, по множеству точек At сразу видно, группируются они вокруг некоторой прямой или нет. Если нет, то возникают серьезные сомнения в принадлежности теоретического распределения F(x) семейству F(x; i?i, ^2)-
Доверительные интервалы
Полученные в предыдущих параграфах оценки неизвестных параметров естественно называть точечными, поскольку они оценивают неизвестный параметр одним числом или точкой. Однако, как мы знаем, точечная оценка не совпадает с оцениваемым параметром и более разумно было бы указывать те допустимые границы, в которых может находиться неизвестный параметр У при наблюденной выборке
Хх,..., Хп. К сожалению, в подавляющем большинстве важных для практики случаев при любой выборке Хх,...,Хп достоверная область, в которой может находиться неизвестный параметр ^, совпадает со всей возможной областью изменения этого параметра, поскольку такую выборку мы можем получить с ненулевой вероятностью (или плотностью распределения) при каждом значении ^. Поэтому приходится ограничиваться нахождением границ изменения неизвестного параметра с некоторой наперед заданной степенью доверия или доверительной вероятностью.
Доверительной вероятностью назовем такую вероятность а, что событие вероятности 1 — а можно считать невозможным. Разумеется, выбор доверительной вероятности полностью зависит от исследователя, причем во внимание принимаются не только его личные наклонности, но и физическая суть рассматриваемого явления. Так, степень доверия авиапассажира к надежности самолета, несомненно, должна быть выше степени доверия покупателя к надежности электрической лампочки. В математической статистике обычно используют значения доверительной вероятности 0,9, 0,95, 0,99, реже 0,999, 0,9999 и т. д.
Задавшись доверительной вероятностью а, мы уже можем по выборке Хх,...,Хп определить интервал [^ = дДХ\,..., ХДц д" = = ^"(Xi,..., Хп)], в котором будет находиться неизвестный параметр ^. Такой интервал называется доверительным интервалом (иногда также говорят «интервальная оценка») доверительной вероятности а для неизвестного параметра д. Отметим, что доверительная вероятность а ни в коей мере не является вероятностью неизвестному параметру д принадлежать доверительному интервалу [^/,^//], поскольку, как мы предположили с самого начала, априорные сведения о параметре д, в частности о его распределении, отсутствуют. Когда говорят, что неизвестный параметр д не может выйти за границу доверительного интервала [^/,^//], констатируют только, что если при любом истинном значении д в результате эксперимента получена выборка Хх,...,Хп, а затем по ней построен доверительный интервал [^/,^//], то этот интервал с вероятностью а накроет значение д.
Доверительные интервалы определим, следуя Ю. Нейману, опираясь на точечные оценки. По заданной оценке д* доверительные интервалы доверительной вероятности а можно построить различными способами. На практике обычно используют два типа доверительных интервалов: симметричные и односторонние. Ограничимся описанием процедуры построения симметричных доверительных интервалов. Односторонние доверительные интервалы находятся совершенно аналогично.
Итак, пусть у нас имеется выборка Хх,..., Хп из генеральной совокупности с неизвестной теоретической функцией распределения F(x), принадлежащей однопараметрическому семейству F(x;d). Предположим также, что нами выбрана некоторая оценка д*, по которой мы хотим построить симметричный доверительный интервал доверительной
вероятности а. Для этого возьмем произвольное значение ^ и найдем функцию распределения Е^х*^ оценки 7)*. Определим х\ = ац^) и Х2 = a^W из решения уравнений (см. рис. 2):
(напомним, что х\ и х^ носят название (1 + а)/2- и (1 — а)/2-кванти- лей функции распределения Е^Дрх;ЕУр Таким образом, при заданном оценка ^* будет с вероятностью а заключена в интервале [а?2,ац], причем вероятность попадания iF как влево, так и вправо от интервала [ж2,Ж1] имеет одно и то же значение (1 — а)/2 (отсюда происходит название «симметричный»). Откладывая теперь на графике рис. 3 по оси абсцисс значение параметра ^, а по оси ординат — соответствующие ему значения х\ и ^2, получим кривые xi(^) и x^Y В силу принципа невозможности события, происходящего с вероятностью 1 — а, заключаем, что все возможные пары (^,^*) могут находиться только внутри области G между кривыми ац(^) и x^^Y Для окончания построения доверительного интервала остается заметить, что, получив по выборке Х\,..., Хп оценку ^*, мы вправе сделать вывод: неизвестный параметр обязан лежать внутри интервала [^/,^//], где ^ и 1F определяются из решения уравнений
Г =xx(^Y Г =Х2^'У
Именно интервал [^z, 1F] и является симметричным доверительным интервалом доверительной вероятности а.
Рис. 2Рис. 2
Рис. 2
Рис. 2
Пример 27. Построим симметричный доверительный интервал доверительной вероятности а для неизвестной вероятности успеха ^ в схеме Бернулли. Естественно в качестве оценки взять наблюденную частоту
п
где р — суммарное наблюденное число успехов (см. пример 24).
При малом объеме выборки п процедура построения доверительных интервалов трудоемка, поскольку она практически сводится к перебору значений неизвестного параметра. Поэтому существуют специальные таблицы (см. [1], табл. 5.2), которые по наблюденным значениям числа успехов р и числа неудач п — р дают границы доверительного интервала доверительной вероятности а.
При больших объемах выборки п пользуются тем фактом, что в силу интегральной теоремы Муавра-Лапласа оценка 19* распределена приближенно по нормальному закону со средним 19 и дисперсией 19(1 — АА- Тогда решения уравнений
связаны с (1+сф/2- и (1 — сф/2-квантилями ^(i+Qi)/2 и р^-с^ (см. [1], табл. 1.3) стандартного нормального закона формулами
Х\ = Ж1(19)19 + р\^а А— , Ж2 = Х2^19 + р\_.
19(1 -19)19(1 -19)22Рис. 4Рис. 4имеет видимеет видУчитывая, что р^а^2 = -^(i-aO/2, уравнения кривых xi(^) и х^А можно записать в единой эквивалентной форме
19(1 -19)
19(1 -19)
2
2
Рис. 4
Рис. 4
имеет вид
имеет вид
Последнее уравнение, как нетрудно видеть, представляет собой уравнение эллипса (рис. 4) (физически непонятный выход эллипса за полосу 0 < ж < 1 связан с тем, что при А близких к нулю или единице, необходимо в соответствии с теоремой Пуассона использовать не нормальную, а пуассоновскую аппроксимацию оценки $*\ Уравнение для определения границ 19х и А' доверительного интервала
/q\2^(1 -19) 2
77
откуда окончательно получаем
Пример 28. Построим симметричный доверительный интервал доверительной вероятности а для неизвестного среднего 19 нормального закона при известной дисперсии А. Эффективной оценкой 19* параметра 19, как мы знаем (пример 18), является выборочное среднее
Г =т* =+ ... + %„).
Оценка 19* также распределена по нормальному закону с параметрами 19 и Aju. Поэтому
Xi = жф19) = 19 + рНа \, х2 = ж2(19) = 19 + рх-а \,
—2~” V 77V 77
т. е. Ж1(19) и Ж2(19) представляют собой уравнения / у двух параллельных прямых (рис. 5). Решая урав- ! А / нения
получаем границы доверительного интервала
V 7777 V 77
ИЛИ, учитывая, ЧТО ^(1+а)/2 = -^(1-q)/2,
—2~ V 77
Пример 29. Как и в предыдущем примере, предположим, что выборка Xi,...,Xn произведена из нормальной генеральной совокупности, но с неизвестной дисперсией т^, а среднее известно и равно т. В качестве оценки 7)* неизвестной дисперсии 7) возьмем выборочную дисперсию
tf* = 1 [(Х1 - т)2 + ... + (Х„ - т)2] .
Тогда случайная величина %2 = пТГ/7) будет иметь ^-распределение с п степенями свободы, а значит, решения уравнений
7®7 = ^
определяются формулами
Ж2 = — hj-a 7^, 77—Ж2 = — hj-a 7^, 77—= — П, 1+а 77,
Ж2 = — hj-a 7^, 77—
Ж2 = — hj-a 7^, 77—
77—
п степенями свободы (см. [1],п степенями свободы (см. [1],Рис. 6Рис. 6где ha — а-квантиль ^-распределения с табл. 2.26). Уравнения
п степенями свободы (см. [1],
п степенями свободы (см. [1],
Рис. 6
Рис. 6
Хх = Ж1(т^) = - Нх^аД
Х2 = Ж2(т^) = - hx-a^
II 2 представляют собой уравнения двух лучей, исходящих из начала координат (рис. 6), и, значит, границы симметричного доверительного интервала доверительной вероятности а для неизвестной дисперсии т^ задаются формулами
=^- = 77□
h l + ah 1-0
22
Пример 30. Рассмотрим, наконец, случай, когда в выборке из нормальной генеральной совокупности неизвестны оба параметра: среднее t^i и дисперсия т^2- В качестве их оценок воспользуемся выборочным средним
^* = m* = l(Xi +
77 и выборочной дисперсией
7^2 = s2* = ——- I"(Х1 - mf + ... + (Хп - т)21
77 — 1 LJ
(см. пример 25).
Построение доверительного интервала [t^i,^!7] для неизвестного среднего т^1 начнем с определения случайной величины
которая, как говорилось в параграфе 4 гл. 1, имеет t-распределение с п — 1 степенями свободы. Обозначим через t(i+Q,)/2 и t^-^^ (1 + сф/2- и (1 — — а)/2-квантили t-распределения (см. [1], табл. 3.2). Тогда значение оценки среднего ^ с вероятностью а будет лежать в пределах
/19*
от Ж2 = ^1 + tl-а \ — ДО Ж1 = 191 + ti+Q! \ — V ПV 71
Продолжая рассуждения, как и в случае известной дисперсии, и учитывая равенство t(i+Qi)/2 = — t(i_Qi)/2, получаем окончательные выражения для границ ^91 и 19/ симметричного доверительного интервала доверительной вероятности а: ,— ,—
Доверительный интервал [19^, 1^/] доверительной вероятности а для неизвестной дисперсии 192 строится точно так же, как и в примере 29:
При этом нужно учитывать, что квантили hp^c^ и hp-^^ берутся для ^-распределения с п — 1 степенями свободы, поскольку одна степень свободы
уходит на определение неизвестного среднего 19ь
В заключение отметим, что в современной математической статистике доверительные интервалы строят так же, основываясь на критериях значимости.
Глава 3
ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ
В этой главе мы обратимся ко второму направлению в математической статистике — проверке статистических гипотез. Сначала определим понятия статистической гипотезы и критерия, а затем рассмотрим некоторые наиболее часто встречающиеся на практике гипотезы и приведены критерии для их проверки.
Статистическая гипотеза. Критерий
Снова предположим, что в результате эксперимента мы получили выборку Xi,...,Xn из генеральной совокупности с неизвестной теоретической функцией распределения F(x\ Статистической гипотезой (в дальнейшем для краткости вместо «статистическая гипотеза» будем говорить просто «гипотеза») назовем любое предположение о виде теоретической функции распределения F(x). Так, в схеме Бернулли гипотезами будут являться следующие предположения: «вероятность успеха равна 1/2»; «вероятность успеха больше 1/3»; «вероятность успеха заключена между 0,4 и 0,7» и т. д. С нормальным распределением можно связать такие гипотезы: «теоретическая функция распределения нормальна со средним, равным нулю»; «теоретическая функция распределения нормальна с дисперсией, не превосходящей квадрата среднего значения», и т. д. Все перечисленные выше гипотезы являются параметрическими, поскольку в них предположения делаются относительно области изменения неизвестного параметра (или нескольких параметров) для заданных параметрических семейств функций распределения. Примерами непараметрических гипотез служат высказывания: «теоретическая функция распределения является нормальной»; «теоретическая функция распределения не является нормальной»; «теоретическая функция распределения имеет положительное математическое ожидание». Гипотезы будем обозначать буквой Н, снабжая при необходимости индексами.
Всюду в дальнейшем будем предполагать, что у нас имеются две непересекающиеся гипотезы: Но и Н\. Гипотезу Но будем называть основной, а гипотезу Н\ — конкурирующей или альтернативной. Выбор названия условен, но, как правило, удобно основной гипотезой Но называть более конкретное предположение о виде теоретической функции распределения или предположение, влекущее за собой более важные практические последствия. Задача проверки статисти-
ческих гипотез состоит в том, чтобы на основе выборки Xi,...,Xn принять (т. е. считать справедливой) либо основную гипотезу Яо, либо конкурирующую гипотезу Н\.
Различают простую и сложную гипотезы. Простая гипотеза полностью определяет теоретическую функцию распределения Е^х). Так, простыми будут гипотезы: «вероятность успеха в схеме Бернулли равна 1/2»; «теоретическая функция распределения является нормальной с нулевым средним и единичной дисперсией». Гипотеза, не являющаяся простой, носит название сложной. Примерами сложных гипотез будут: «вероятность успеха в схеме Бернулли заключена между 0,4 и 0,7»; «теоретическая функция распределения является нормальной с нулевым средним, но произвольной дисперсией»; «теоретическая функция распределения не является нормальной». Сложная гипотеза среди возможных функций распределения выделяет некоторое подмножество Тф, содержащее более одной функции распределения. При этом если мы имеем сложную параметрическую гипотезу, то заранее в силу каких-то уже проверенных соображений ограничиваемся рассмотрением некоторого параметрического семейства функций распределения Е(х; 13) с неизвестным параметром (или параметрами) 13, а сама гипотеза выделяет среди всех функций распределения данного семейства те, у которых ^ е ©о, где ©о в свою очередь — некоторое подмножество области © всех возможных значений неизвестного параметра 13.
Статистическим критерием (или просто критерием) называется правило, позволяющее, основываясь только на выборке Xi,..., Хп, принять либо основную гипотезу Яо, либо конкурирующую Н\. Каждый критерий характеризуется допустимой областью WA, т. е. областью в n-мерном пространстве Rn, попадание в которую выборки Х\,...,Хп влечет за собой принятие основной гипотезы Hq. Дополнительная область WK = Rn \ WA, попадание в которую выборки Х\,...,Хп приводит к принятию конкурирующей гипотезы Н\, носит название критической области.
Предположим теперь, что у нас имеется две гипотезы Яо и Н\, т. е. в множестве всех функций распределения выделены два непере- секающихся подмножества Тф и Хц при этом основная гипотеза Яо заключается в том, что выборка Х\,..., Хп произведена из генеральной совокупности с теоретической функцией распределения Е(х), принадлежащей подмножеству Eq, а конкурирующая гипотеза Н\ — с теоретической функцией распределения Е^х), принадлежащей подмножеству Е\. Пусть также задан критерий для проверки этих гипотез, т. е. разбиение n-мерного пространства Rn на две области: допустимую WA и критическую WK = Rn \ WA. В силу случайности выборки какой бы критерий мы не взяли, обязательно возможно появление ошибок двух родов.
Ошибка первого рода возникает тогда, когда имеет место основная гипотеза Яо, но выборка Х\,...,Хп попадает в критическую область WK и мы принимаем конкурирующую гипотезу Н\. Вероят-
ность а ошибки первого рода называется уровнем значимости критерия и определяется формулой
а = Р{№ _.ДТ1^Р=£' Р^
в дискретном случае и
а = Р{(ХЬ ... ,ХП) е WK} = |...|p(xi) •••p(xn)dxx -dxn
в непрерывном, где Р(х) или р^ — ряд распределения или плотность распределения наблюдаемой случайной величины X при условии справедливости основной гипотезы Но, а суммирование или интегрирование, как обычно, ведется по всем точкам (хх,..., хп) Е WK (в дискретном случае каждое х^ может принимать только значения Ьх,... ,ЬД. В случае, когда гипотеза Но сложная, уровень значимости а = a^F^Y естественно, будет зависеть от реальной теоретической функции распределения F(x) из подмножества Fq. Кроме того, если гипотеза Но параметрическая, т. е. подмножество Fo представляет собой параметрическое семейство функций распределения F(x;dY зависящее от неизвестного параметра д с областью изменения ©о, являющейся подобластью области © всех возможных значений параметра д, то будем вместо записи a(F(x)) употреблять запись a^d), предполагая при этом, что d Е ©о-
Пусть теперь справедлива конкурирующая гипотеза Нх, но выборка Хх,...,Хп попала в допустимую область Wд и мы приняли основную гипотезу Hq. Тогда мы имеем дело с ошибкой второго рода. Вероятность ошибки второго рода Р' носит название оперативной характеристики критерия. Однако обычно в статистике предпочитают иметь дело с мощностью критерия Р = 1 — Р' (т. е. вероятностью того, что при справедливой конкурирующей гипотезе Нх мы ее примем), задаваемой формулой
Р = Р{№,..., хл € wK} = Е PCX ■ ■ ■ РЩ)
в дискретном случае и
Р = Р{№,.,Хп) е WK} = J..-JpOi) ■■■p(xn)dxi
в непрерывном, где так же, как и при определении уровня значимости, суммирование или интегрирование ведется по всем (xi,..., хп) Е WK, однако ряд распределения Р(х) или плотность распределения р(х) берутся при условии справедливости конкурирующей гипотезы Нх. Разумеется, в случае сложной гипотезы Нх мощность /3 = P(F(x)) будет зависеть от реального теоретического распределения F(x) из подмножества Fx- Если конкурирующая гипотеза Но параметрическая, то вместо P(F(x)) будем писать Ррй\ считая при этом, что d Е ©ь где ©1 — область изменения неизвестного параметра d при условии справедливости гипотезы Нх-
Таким образом, и уровень значимости, и мощность критерия задаются одной и той же формулой и их различие состоит в том, что уровень значимости о^ЕрЕр определяется только для теоретических функций распределения Е(х), принадлежащих подмножеству Eq, а мощность Р(Е(х)) — подмножеству Ех- Впрочем, иногда эти два понятия объединяют в одно, называя функцией мощности критерия Р = Р(Е(х)) величину, равную уровню значимости а(Е(х)) при F(x) е Eq и мощности Р(Е(х)) при F(x) Е Ех- Отметим, что уровень значимости и оперативная характеристика критерия могут иметь совершенно разную физическую природу. Так, пропуск партии бракованных изделий влечет за собой, как правило, более тяжелые последствия, чем выбраковка партии годных изделий.
Естественное желание каждого исследователя состоит в предоставлении ему такого критерия, который позволил бы как можно реже делать ошибки и первого и второго рода (в идеале — совсем не ошибаться!), т. е. минимизировал бы и уровень значимости а, и оперативную характеристику Р'. Но такое желание невыполнимо, поскольку требование делать реже ошибку первого рода влечет за собой увеличение допустимой области WA, в то время как требование реже делать ошибку второго рода предписывает увеличить критическую область WK. Поэтому обычно поступают следующим образом: фиксируют уровень значимости (как более важный с практической точки зрения) и среди нескольких критериев, имеющих заданный уровень значимости, предпочтение отдают более мощному.
Остановимся на этом несколько подробнее. Назовем размером критерия Qo максимальное значение вероятности ошибки первого рода при использовании данного критерия, т. е.
Qo = sup арЕрсУ).
Отметим, что в дальнейшем нам довольно часто будут встречаться критерии, уровень значимости OLpEpE^ которых не зависит от конкретной функции распределения Ерс) (из подмножества 7^) и, естественно, совпадает с размером критерия qq. В таких случаях мы будем говорить просто об уровне значимости, не связывая его с конкретным распределением Epp, а в скобках писать «размер».
Равномерно наиболее мощным критерием заданного размера aQ будем называть критерий, имеющий среди всех критериев размера Qo наибольшую мощность /3 = РрЕрр) при любом распределении Epp Е Е\. Равномерно наиболее мощные критерии существуют в крайне редких случаях, наиболее известными из которых являются случай простых гипотез Hq и Нх и случай односторонней и двусторонней параметрических гипотез для некоторых однопараметрических семейств Ерс;Е) (см. параграфы 2 и 3 данной главы).
В ряде задач, хотя и не существует равномерно наиболее мощный критерий, можно построить равномерно наиболее мощный несме-
щенный критерий. Критерий называется несмещенным, если его уровень значимости ни в коем случае не превосходит мощности, т. е. P(F(x)) ^ сц) для любых F(x) е Тх (невыполнение требования несмещенности ведет к парадоксальной ситуации: в некоторых случаях мы будем чаще браковать партии годных изделий, чем негодных). Критерий, имеющий при любом F(x) Е Тх наибольшую мощность среди всех несмещенных критериев размера qq, носит название равномерно наиболее мощного несмещенного критерия размера ао- Естественно, равномерно наиболее мощный критерий является также равномерно наиболее мощным несмещенным, что вытекает из сравнения его с тривиальным рандомизированным критерием (о понятии рандомизированного критерия см. ниже), который независимо от выборки Хх,..., Хп предписывает случайным образом с вероятностью qq принять конкурирующую гипотезу Щ; очевидно, и мощность, и уровень значимости такого критерия тождественно равны qq.
Наконец, еще один класс критериев представляют так называемые инвариантные критерии. Критерий называется инвариантным относительно группы преобразований G выборки Хх,..., Хп, если он не зависит от преобразований из этой группы. В частности, от любых критериев, проверяющих гипотезы о теоретической функции распределения F(x), разумно потребовать инвариантность относительно всех перестановок элементов выборки Хх,..., Хп, иначе сам критерий зависел бы от того, в каком порядке проводились наблюдения. Обычно группа преобразований G естественным образом определяется рассматриваемыми гипотезами Hq и Нх, и поэтому говорят просто об инвариантных критериях. Критерий, имеющий при заданном размере qq наибольшую мощность среди всех инвариантных критериев, называется равномерно наиболее мощным инвариантным критерием. Поскольку понятие инвариантного критерия является сложным, мы в дальнейшем в основном тексте не будем его использовать, отсылая читателя к специальной литературе (например, [11, 12]), хотя это понятие и прояснило бы смысл построения некоторых критериев.
В общем случае, когда не существует ни равномерно наиболее мощного, ни даже равномерно наиболее мощного несмещенного или равномерно наиболее мощного инвариантного критерия, критерии обычно строят, опираясь на интуитивные соображения разумности. К таким соображениям относятся: простота и наглядность критерия, независимость уровня значимости критерия от вида теоретической функции распределения, асимптотическая эффективность критерия и т. д.
Как правило, критерии строят, основываясь на статистике критерия. Пусть 5 = 5(Xi,..., Хп) — произвольная (одномерная) статистика. Тогда неравенство S > С определяет критерий, критическая область которого WK состоит из всех точек (хх,...,хп) п-мерного пространства Rn, для которых
5Ц1,...,яп) > С.
Заставляя критическое значение пробегать все числа от —ос до ос, получим семейство критериев, имеющих различные уровни значимости и мощности. Теперь, если, например, мы хотим получить критерий заданного размера qq, то должны выбрать такое значение С, которое давало бы нам критерий требуемого размера qq. Обычно критерии строят таким образом, чтобы статистика 8 при условии справедливости основной гипотезы Но имела (хотя бы асимптотически при п —> ос) одно из распределений, описанных в параграфе 4 гл. 1. Тогда критическое значение С определяется как (1 — с^о)-квантиль соответствующего распределения. Разумеется, как уже говорилось ранее, статистика 8 должна по возможности обеспечивать меньший уровень значимости и большую мощность построенного на ее основе критерия.
В заключение этого параграфа скажем несколько слов о рандомизированных критериях. Рандомизированные критерии возникают (обычно в случае дискретной наблюдаемой случайной величины X) тогда, когда критерий, определяемый неравенством
имеет размер больше требуемого, а неравенством
8^Хх,...,Х^>С
— уже меньше требуемого. В этом случае наряду с критической WK и допустимой WA областями вводят область рандомизации Wp; при попадании выборки Х\,...,Хп в область Wp производят дополнительное испытание типа подбрасывания несимметричной монеты и по его исходу принимают либо основную гипотезу Но, либо конкурирующую Н\. Здесь в основном тексте мы не будем рассматривать рандомизированные критерии.
Простые гипотезы
Изучение статистических критериев начнем со случая двух простых гипотез. Пусть выборка Ху,..., Хп произведена из генеральной совокупности с теоретической функцией распределения F(x), относительно которой имеются две простые гипотезы: основная Hq: F(x) = Fq(x) и конкурирующая Н\\ F(x) = Fx(x\ где Fq(x) и Fx(x) — известные функции распределения. Поскольку гипотезы Но и Н\ простые, уровень значимости и мощность каждого критерия для проверки этих гипотез будут представлять собой два числа: а и /3. Оказывается, в данном случае существует наиболее мощный критерий (при двух простых гипотезах вместо «равномерно наиболее мощный критерий» говорят просто «наиболее мощный критерий»), т. е. критерий, имеющий при заданном уровне значимости а наибольшую мощность /3. Этот критерий называется критерием отношения правдоподобия и описывается следующим образом.
Введем статистику
где
До№,...,Х^ = Ро№)...Ро№
в случае дискретной наблюдаемой величины X и
£о№>..., Хп) = ро(Ху) • ••р0(Хп)
в случае непрерывной X представляет собой функцию правдоподобия при условии справедливости гипотезы Яо, а
в дискретном случае и
в непрерывном — ту же самую функцию правдоподобия, но при условии справедливости гипотезы Н\. Статистика Л носит название отношения правдоподобия и является отношением вероятностей (или плотностей распределения) получить выборку Хх,... ,Хп при условиях справедливости гипотез Щ и Hq. Естественно предположить (и это подтверждается леммой Неймана-Пирсона, которую мы докажем ниже), что чем больше отношение правдоподобия, тем большее предпочтение мы должны оказать гипотезе Щ. Таким образом, критическая область Ж критерия отношения правдоподобия состоит из всех тех точек (хх,..., хп), для которых Л(хь ..., хп) больше критического значения С. Критерий отношения правдоподобия подобен рачительной хозяйке, которая всегда на имеющиеся деньги старается купить как можно больше товаров.
Теорема 1 (лемма Неймана-Пирсона). Среди всех критериев заданного уровня значимости а, проверяющих две простые гипотезы Но и Нх, критерий отношения правдоподобия является наиболее мощным.
Доказательство. Пусть критерий отношения правдоподобия уровня
задается критической областью WK.задается критической областью WK.значимости а для проверки Но и Нх
задается критической областью WK.
задается критической областью WK.
Рис. 1Рис. 1Рассмотрим любой другой критерий того же уровня значимости для проверки тех же гипотез и обозначим через Ж его критическую область. Тогда при попадании выборки Хх,..., Хп в область V = WK \ Ж мы должны принять гипотезу Нх по критерию отношения правдоподобия, но отвергнуть в соответствии со вторым критерием, а при попадании в область V' = Ж \ Ж — наоборот, отвергнуть по критерию отношения правдоподобия, но принять в соответствии со вторым критерием
Рис. 1
Рис. 1
(рис. 1). Тогда, поскольку оба критерия имеют одинаковый уровень значимости,
то вероятности попадания выборки АЗ,...,ХП в области V и V' при условии справедливости основной гипотезы Но равны, т. е.
P{(Xi,...,Xn) е V | Но} = |...|р0(ж1) ...poVVdxx ...dxn =
v
= P{(X1,... ,Хп) eV I Но} = |...|p0(^i) ...poVV dx\ ...dxn = T (1) v
Далее, мощность /3 критерия отношения правдоподобия задается как суммарная вероятность попадания выборки в пересечение областей WK и W^ и область V при условии справедливости конкурирующей гипотезы Нх*.
Р = Р^Хх,...,Хп) е W.rWL I Ki} + |...|pi(xi)...pi(xn^(2)
v
Аналогично определяется мощность второго критерия:
/3' = Р{(Хь...Л)еЖПИ;' I HxH^-^PxVxV-Px(xn)dxx...dxn. (3) v
Вспоминая теперь, что по построению критерия отношения правдоподобия отношение правдоподобия
Л = щрПЖММ
Ро№)...ро(Хп)
в области V больше Дав области V' не превосходит С, получаем из (1)-(3):/з > Р{Х1,..., хп е Ж nw; I Нх} + с^ > 9'.
Значит, мощность второго критерия не больше мощности критерия отношения правдоподобия.□
Замечание 1 к теореме 1. Нетрудно видеть, что мощности критерия отношения правдоподобия и второго критерия совпадают тогда и только тогда, когда у = 0, т. е. вероятности попадания в области V и V' при условии справедливости как основной, так и конкурирующей гипотез равны нулю. Поэтому критерий отношения правдоподобия единственен (с точностью до множества, вероятность попадания в которое равна нулю).
Замечание 2 к теореме 1. Мы рассмотрели критерий отношения правдоподобия, критическая область которого задается неравенством Л > С. Аналогично можно было бы ввести критерий отношения правдоподобия с критической областью Л > С, имеющий то же самое свойство оптимальности.
Пусть нам теперь нужно построить наиболее мощный критерий заданного уровня значимости а. Может случиться так, что, определив критическое значение С, мы придем к следующей ситуации: критерий, задаваемый неравенством Л > С, будет иметь уровень значимости а меньше а V' < °0, а задаваемый неравенством Л > С — уровень значимости а" уже больше а V" > Ж
Возможный способ устранить возникшее затруднение — добавить к критической области Ж, задаваемой неравенством Л > С, некоторую «лишнюю» подобласть Ж области Ж’ определяемой равенством Л = С, с таким расчетом, чтобы вероятность попадания в Ж при справедливой Но равнялась а — а'. Нетрудно видеть, что если это удастся сделать, то построенный критерий будет наиболее мощным критерием уровня значимости а.
Но, с одной стороны, подобласть Ж, вообще говоря, можно выбрать не единственным способом, поэтому могут появляться различные наиболее мощ-
ные критерии, отличающиеся друг от друга только при попадании в область Wp. С другой стороны, в дискретном случае этого, как правило, вообще нельзя сделать, поскольку область Wp состоит из конечного числа точек. Поэтому обычно идут более простым путем: при попадании выборки Xi,...,Xn в область Wp, которую называют областью рандомизации, проводят дополнительный независимый эксперимент с двумя исходами типа подбрасывания несимметричной монеты с вероятностью выпадения «цифры» (а — а')/{а" — а'). При этом если выпадает «герб», то принимают гипотезу Но, «цифра» — гипотезу Нх. Такой критерий называется рандомизированным. В соответствии с формулой полной вероятности уровень значимости рандомизированного критерия равен а' + ^а" — a'^ot — а'Жос" — а') = а. Очевидно также, что рандомизированный критерий отношения правдоподобия будет наиболее мощным. Естественно, в наше время при дополнительном эксперименте не бросают монету, а моделируют на ЭВМ псевдослучайное число.
В дальнейшем, как уже говорилось, мы не будем рассматривать рандомизированные критерии, хотя это и вызовет у нас определенные трудности при формулировке и доказательстве некоторых результатов.
При практической реализации критерия отношения правдоподобия обычно удобно пользоваться не отношением правдоподобия Л, а его логарифмом А = In Л. В этом случае мы должны принять гипотезу Яо, если А = A(Xi,... ,Хп) < с = In С, и отвергнуть ее (принять гипотезу Н\), если А > с. В соответствии с общим правилом уровень значимости а и мощность /3 критерия отношения правдоподобия в зависимости от критического значения с определяются формулами
а = а(с) = Р{А№,... ,ХП) > с | Яо} = £ Я0Ц1) • ■ ■ ЦЩ),
0 = 0(O = pX4X\,...,xo>c\hxx = Y,P\^\V--pM
в дискретном случае, где сумма берется по всем значениям х\,..., хп, принадлежащим множеству {bi, ... ,Ьь^ и удовлетворяющим условию A(xi,..., хп) > с, и
а = с^с) = Р{А№,...,Хп)>с | Н^ =
=j...| РоЩ) ■■■po(xn)dx\ •••dxn,
Х(хх,...,хп)>с
3 = 3(0 = Р{А№,...,Х„) >с\НхХ =
=j...|Р1Ц1) ■■■p\(xn)dxi •••dxn
X(xi,...,x^>c
в непрерывном. В этих формулах запись Р{5(Х|,..., Хп) > С | Н^ (г = 0,1) обозначает вероятность статистике S(Xx,..., Хп) принять значение больше С при условии справедливости гипотезы Щ.
Если задан уровень значимости а, то критическое значение с определяется из решения относительно с уравнения а = а^с).
Аналогично поступают и в том случае, когда задана мощность /3.
Наконец, встречаются задачи, в которых одновременно заданы и уровень значимости а, и мощность /3, а требуется определить минимальный объем выборки п, при котором можно разделить гипотезы Но и Я, с такими значениями а и /3. В этом случае заметим, что функции а^ = а(с, п) и /3(с) = /3(с, п) зависят, разумеется, и от объема выборки п. Необходимый объем выборки определяется как минимальное значение п, при котором существуют решения неравенств а ^ а^с, п) и /3 < /3(с, п).
Пример 1. Пусть выборка Xi,...,Xn произведена из нормальной генеральной совокупности с известной дисперсией а2 и неизвестным средним Я, относительно которого имеются две гипотезы: основная Hq: Я = Яо и конкурирующая Нх: Я = Я1 (для определенности пусть Я1 > Яо).
Построим критерий отношения правдоподобия для проверки гипотез Но и Нх. Для этого выпишем функции правдоподобия Lo(Xx,..., Хп) иЯ1(Х1,...,Хп):
L0(XiХ„) = ( J) e-^t^i-^+.-.+W-yo)2],
Li(Xb...,Xn) = ( J) g-^fW-^.^+.-.+W-^i)2]
и определим логарифм отношения правдоподобия
А(ХЬ ..., Хп) = In= Д [рР - V + • ■ • + (Х„ - ^о)2 -
ь0(Хх,..., Хп) 2cr L
- (Xi-tfi)2-...-(xn-tf,)2] =
Таким образом, мы должны принять гипотезу Но, если Я1 — Яо / уу Яо + Я1 \
2—+ ... + Хп — п —- j < с, или, вводя обозначение
* _ ССГ2 77 (Яр + Я})
С2’
если Хх + ... + Хп < с* и отвергнуть в противном случае.
Для того чтобы при заданном с* найти уровень значимости критерия а, заметим, что при условии справедливости гипотезы Но статистика Хх + ... + Хп распределена по нормальному закону с параметрами пЯр и ткт2. Поэтому
а = P{Xi + ... + Х„ > с | Но} = 1 -ФИРш^/Щ =
= 1 -= 1 -с* - пЯр А = фА пЯр - с*V Т1(У2 /\ V ТКУ2
= 1 -
= 1 -
где, как обычно, Ф(ж) — функция стандартного нормального распределения. Аналогично определяется мощность критерия /3
/3 = Р{Х1 + ... + Х„>с* |Hi}= 1-Ф^М.пст2) =
( с* — ПЯ1 \_ / П-бх — С*
= 1 — ф —= ф —
\ V ТКУ2 /\ V ТКУ2
Если задан уровень значимости а, то критическое значение с* определяется формулой
С* = Tl^o —,
где ра — а-квантиль стандартного нормального закона.
Наконец, если заданы уровень значимости а и мощность /3 и требуется найти минимальный объем выборки п, позволяющий разделить гипотезы Но и Нх с такими а и /3, то с* должно удовлетворять двум равенствам:
с* = nA) — рол/тмН , с* = п^х — ^р^па^ .
Вычитая второе равенство из первого, получаем
п(г?1 - ^о) = (w - yQ) Vn<72 или п =
№ - 1?о)
Разумеется, реальный объем выборки должен быть ближайшим к п сверху целым числом.□
Зададим вопрос: а можно ли для проверки двух простых гипотез Hq и Ну построить критерий с заданным уровнем значимости а и мощностью /3, который потребовал бы меньшего объема выборки, чем критерий отношения правдоподобия? Очевидно, среди критериев с фиксированным объемом выборки такого нет. Однако можно рассматривать последовательные критерии, в которых испытания проводятся последовательно, и после каждого испытания мы вправе либо прекратить испытания и принять одну из гипотез Но или Нх, либо продолжить наблюдения. При последовательном проведении испытаний после первого же испытания могут появиться столь серьезные основания в пользу той или иной гипотезы, что дальнейшие наблюдения становятся просто бессмысленными. Так, хороший врач по одному ярко выраженному признаку может поставить точный диагноз пациенту. Ясно, что у последовательного критерия число наблюдений случайно и поэтому вместо объема выборки следует оперировать средним числом наблюдений, которое, естественно, будет различным при условиях справедливости гипотез Но и Нх- Оказывается, среди последовательных критериев также существует наилучший, который мы сейчас и опишем.
Последовательный критерий отношения правдоподобия (критерий Вальда) строят, опираясь на логарифм отношения правдоподобия (и это естественно, поскольку отношение правдоподобия — наиболее объективная мера различия гипотез). Сама процедура принятия решения реализуется следующим образом. Задаются критические значения со и сх (со < сх). Проводят первое испытание и по его результату Хх определяют логарифм отношения правдоподобия
А(Х1) = 1п^|^
в дискретном случае или
в непрерывном. Если A(Xi) > щ, то принимают гипотезу Н\, если A(Xi) < со — гипотезу Яо, если же со < A(Xi) < щ, то проводят второе испытание. Снова определяют логарифм отношения правдоподобия
ЛОИ2) = А№) + А(Х2)
и сравнивают его с q и со- Если A(Xi,X2) ^ щ, то принимают гипотезу Яь если A(Xi,X2) < со — гипотезу Яо, если со < A(Xi,X2) < щ, то переходят к третьему испытанию, по результатам которого определяют
А(ХьХ2,Хз) = А№) + А(Х2) + А(Х3)
и т. д. Графическая схема проведения испытаний приведена на рис. 2. Нахождение уровня значимости а и мощности /3 последовательного
<) ЛI к w т ь принятия г и: и I > т < :з ы II ।
Помп» испытания
< и ,,,,
Области Ирина гпя ишотглы /С,
Рис. 2
критерия отношения правдоподобия представляет собой весьма сложную задачу (задача выхода случайного блуждания из полосы), все имеющиеся решения которой (за исключением некоторых частных случаев) нужно признать неудовлетворительными в смысле методов вычисления. Обычно используют следующие приближенные оценки:
1 — ес°Q ~ eci _ ес°1 — ес°Q ~ eci _ ес°РРеС1 - ес°еС1 - ес°
1 — ес°
Q ~ eci _ ес°
1 — ес°
Q ~ eci _ ес°
Р
Р
еС1 - ес°
еС1 - ес°
точность которых, как правило, увеличивается с ростом с\ и уменьшением cq. Из этих оценок можно при заданных а и /3 найти приближенные выражения для критических значений со и сц
Со ^ InСо ^ In1-/31 — а ’1-/31 — а ’ciciIn — .аIn — .а
Со ^ In
Со ^ In
1-/3
1 — а ’
1-/3
1 — а ’
ci
ci
In — .
а
In — .
а
Другими важными характеристиками последовательного критерия отношения правдоподобия являются средние числа наблюдений No и TVi при условиях справедливости гипотез Но и Щ, которые можно приближенно вычислить по формулам
аа + (1 — орсоМ[А(Х)|Н0]аа + (1 — орсоМ[А(Х)|Н0]Ра + (1 - р^соМ[А(Х)|Я1]Ра + (1 - р^соМ[А(Х)|Я1]
аа + (1 — орсоМ[А(Х)|Н0]
аа + (1 — орсоМ[А(Х)|Н0]
Ра + (1 - р^соМ[А(Х)|Я1]
Ра + (1 - р^соМ[А(Х)|Я1]
гдегдеM[A(X)|Ho] = f>|^PoMz=i WU
где
где
М[А(Х)|Я0] =М[А(Х)|Я0] =In , Ро(ж)ро(ж)In , Ро(ж)ро(ж)в дискретном случае и
М[А(Х)|Я0] =
М[А(Х)|Я0] =
In , Ро(ж)ро(ж)
In , Ро(ж)ро(ж)
M[A(X)|^] =
Inpi(x) dx
ро(х) v 7
в непрерывном.
Оптимальные свойства последовательного критерия отношения правдоподобия задаются следующей теоремой.
Теорема 2 (Вальда). Среди всех критериев (последовательных или нет) с заданными уровнем значимости а и мощностью Р и конечными средними числами наблюдений No при условии справедливости гипотезы Но и N\ при условии справедливости гипотезы Н\ последовательный критерий отношения правдоподобия минимизирует как No, так и N\.
Доказательство теоремы наиболее просто получается с использованием байесовского подхода. Пусть гипотезы Но и Hi появляются случайным образом с известными вероятностями тг появления гипотезы Но и 1 — тг гипотезы Н\. Пусть также задана стоимость d каждого наблюдения и при неправильном отклонении гипотезы Hq (Hi) мы несем потери wo (wi). Тогда для любого (в том числе последовательного) критерия К общий байесовский риск (общие средние потери) Я(тг, К) определяются формулой
Д(тг, К) = 7f(qoW + dNo) + (1 — тг)(ацШ1 + dNi), (4) где do (ап) — вероятность неправильного отклонения гипотезы Но (Hi), a No (Ni) — среднее число наблюдений при условии справедливости гипотезы Яо (Hi).
Доказательство состоит из двух основных частей. Первая часть, представленная леммой 2.1, определяет байесовскую процедуру, минимизирующую (4). Отметим, что интерпретация (4) как байесовского риска помогает лучше понять доказательство и приводит к задачам, представляющим самостоятельный интерес.
Прежде чем сформулировать лемму 2.1, произведем некоторые дополнительные рассмотрения. Обозначим через р(тг) минимальный байесовский риск для всех критериев, требующих хотя бы одного наблюдения (класс таких
критериев обозначим через /С). Тогда в силу линейности байесовского риска R{k,K) по тг для К Е KL и любого у (0 < 7 < 1) справедливо соотношение р(утп + (1 — у)^) = ^in^ R(^kx + (1 — у)тг2, К) =
=+ (1 - 7)Д(тг2,Ю] >
> у inf R^kx, К) + (1 — у) inf R(^2, К) = ур(тп) + (1 — ^р^к^.
Следовательно, р(тг) — выпуклая (вверх) функция (рис. 3).
Рис. 3
Рассмотрим критерий Ко (Кх), отвергающий Но (Нх) без проведения испытаний. Имеем
R(k, Ко) = TTWo
^R(k, Кх) = (1 — тг)ш1).
Еслиz х
/ Wx \ < WqWi
У WQ + W1 ) WQ + Wx ’
то определим к' и к" из решения следующих уравнений (см. рис. 3):
R^\Ko) = p^'Y R^'^Kx) = p^'Y(5)
в противном случае положим
///W1
ТГ = ТГ = .
Wo + Wx
В силу свойств выпуклости и положительности функции р^к) числа тг' и к", удовлетворяющие уравнениям (5) или (6), определяются единственным образом.
Лемма 2.1. Если Q <Н <л" < 1, то при всех к (Н < к < к") байесовский риск (4) минимизирует последовательный критерий отношения правдоподобия с критическими значениями
Со = \пСо = \п(у—.Ш^1\ с, =1пС, =1п(ШШ.Ц^)- (7)
Доказательство леммы 2.1. Заметим прежде всего, что если тг < тг' или тг > л", то вообще не имеет смысла проводить испытания. Поэтому оптимальный критерий состоит в следующем поведении на первом шаге: мы принимаем гипотезу Но, если тг < Н, отвергаем, если тг > л", и производим первое наблюдение, если тг' < тг < тг".
Доказательство леммы 2.1 завершается теперь по индукции. Действительно, если уже сделано п наблюдений Xi,..., Хп, то мы попадаем в ту же ситуацию, что и перед первым наблюдением: либо не производить дополнительные наблюдения и принять Но или Нх с потерями шо или wx в случае неправильного решения, либо произвести (п + 1)-е наблюдение. Наличие предыдущих наблюдений в силу аддитивности потерь никак не влияет на решение задачи, поскольку их вклад в общие потери последующими испытаниями уже нельзя ни увеличить, ни уменьшить. Итак, процедура принятия решения прежняя: если тг < л' или тг > л", то испытания прекращаются и принимается Но или Нх, а если тг' < тг < тг", то производится дополнительное наблюдение. Однако при этом мы должны оперировать уже не априорной вероятностью тг, а апостериорной вероятностью тг(Х1,..., Хп) справедливости гипотезы Но при условии выборки Хх,..., Хп, определяемой формулой Байеса
тгГХ X ) = лро(Хху--ро(Хп)
Ь ’ П ^PoW) •••Ро(Хп) + (1 - л)рх(Хх) •••рх(Хп) ’
Оптимальный байесовский критерий, таким образом, требует продолжения наблюдений только в случае тг' < тг(Х1,..., Хп) < тг" или после проведения элементарных преобразований в случае
С = • 1 - 71-/7 < Р1(Х1) ‘“Р1(Хп) < 7Г . 1 - ТГ' =
° 1 - тг тг" PoW) • • -Po(Xn) 1 - ТГ тг' 1
Вторая часть доказательства теоремы 2 устанавливает связь между параметрами основной и байесовской задач и состоит в доказательстве следующей леммы.
Лемма 2.2. Для любых тг' и л" (0 < тг' < тг" < 1) найдутся числа w (0 < w < 1) и d > 0, такие, что решение байесовской задачи с потерями wq = 1 — w, wx = w, стоимостью одного испытания d и априорной вероятностью л появления гипотезы Но задается последовательным критерием отношения правдоподобия с границами
тг 1 тгтг 1 тг
Оо ~’77,.
— тг тг1 — тг тг
Доказательство леммы 2.2 представляет, по сути дела, доказательство существования обратного отображения для двумерного вектора (тг',тг") как функции от w и d. Оно носит чисто аналитический характер и основывается на таких почти очевидных свойствах тг' и тг", как монотонность, непрерывность и т. д. Поэтому мы его здесь не приводим, отправляя заинтересованного читателя к [12]. Отметим, что требование леммы wq + wx = 1 нисколько не ограничивает общности задачи, поскольку этого всегда можно добиться линейной заменой «масштаба цен» («денежной реформой»). □
Для окончания доказательства теоремы 2 рассмотрим последовательный критерий отношения правдоподобия с границами Со и Сх (Со < 1 < Сх). Для любого числа тг положим
/ _ ТГ // _ тг
Сх (1 - тг) + тг ’ Со (1 - тг) + тг
Эти значения удовлетворяют равенствам (7) и неравенствам 0 < тг' < тг" < 1. Поэтому, по леммам 2.1 и 2.2, найдутся такие w (0 < w < 1) и d > О, что рассматриваемый критерий будет являться решением байесовской задачи с априорной вероятностью тг, потерями wq = 1 — w и wx = w и стоимостью одного наблюдения d. Обозначим через «о, сц, No и Ай вероятности ошибок
и средние числа наблюдений данного последовательного критерия отношения правдоподобия. Кроме того, рассмотрим любой другой критерий для проверки гипотез Но и Hi с вероятностями ошибок а?о < с^ и ап < од и средними числами наблюдений No и 2Уь Поскольку последовательный критерий отношения правдоподобия минимизирует байесовский риск, то применяя к байесовской задаче и второй критерий, имеем
тг[( 1 — w)ao + dNo\ + (1 — тг) (шоп + dNi) <
< тг[(1 — w)ao + dNo\ + (1 — тг)(шац + dNi), откуда получаем
tvNq + (1 — N)Ni < tvNq + (1 — N)Ni.
Из справедливости последнего неравенства при всех тг (0 < тг < 1) вытекают, в частности, соотношения No < No и № < М, что и доказывает теорему. □
Замечание к теореме 2. Анализируя доказательство леммы 2.1, нетрудно заметить, что если на первом шаге тг = тг' (тг = тг"), то у нас имеются две (а с учетом рандомизации и больше) идентичные с точки зрения байесовского риска возможности: принять Но (Н^ или продолжить испытания; такая же ситуация может возникнуть и после любого наблюдения. В том случае, когда отношение правдоподобия
( и) роСхО-.-роСХп)
может равняться Со (Ci) только с нулевой вероятностью, последнее обстоятельство не влияет на последовательный критерий отношения правдоподобия. Если же эта вероятность не равна нулю, то можно предложить, по крайней мере, две модификации критерия, одна из которых будет предписывать прекращение испытаний при равенстве отношения правдоподобия соответствующей константе, а другая, наоборот, продолжение наблюдений. Обе эти модификации, как уже говорилось, имеют одинаковый байесовский риск. Однако другие характеристики для них будут различными; в частности, вторая модификация требует большего числа наблюдений. Впрочем, никакого противоречия с изложенной теорией здесь нет, поскольку увеличение количества наблюдений компенсируется уменьшением уровня значимости и увеличением мощности. Поэтому для построения последовательного критерия отношения правдоподобия, имеющего заданные уровень значимости и мощность, необходимо, вообще говоря, привлекать рандомизацию. Подробнее на этом мы останавливаться не будем.
Пример 2. Пусть наблюдается нормально распределенная случайная величина X с известной дисперсией с? и неизвестным средним d, относительно которого имеются две простые гипотезы: Hq: d = do и Hr. d = ^i (do < ^i). Как показано в примере 1, отношение правдоподобия имеет вид
А(хь...,хп) =[х1 + ... + хп-
При применении последовательного критерия отношения правдоподобия наблюдения продолжаются, пока со < A(Xi,...,Xn) < сц в противном случае принимается либо гипотеза Но (если A(Xi,...,Xn) < со), либо гипотеза Hi (если A(Xi,..., Хп) > щ).
Вычислим М[А(Х)|Яо] и М[А(Х)|Я1]. Поскольку М(Х|Яо) = ^о, а М(Х|Я1) = то
М[А(Х) | Яо] = М [^^ (^ " М =
= #1 - ^0 /^ _ ^1 + ^оА =(^1 - ^о)2
ст"2/2сг^
М[Ар0 | Я,] = М [^^ (* " ^4^) |Я1] =
_ ^1 - ^0 Ло ^1 + Л)А _ (^1 - ^о)2
Г 2/2<т2'
Предположим теперь, что заданы конкретные значения: а = 0,05, 0 = = 0,9, ст2 = 1, ^о = —0,5 и i^i = 0,5. Тогда со = —2,25, с\ = 2,89, М[А(Х)|Яо] = -0,5, М[А(Х)|Я1] =0,5, откуда определяем средние числа наблюдений Яо ~ 4 и Х\ ^ 4,75. Для сравнения, подставив в примере 1 значения <^о,9 = 1,281 552 и ^о,о5 = —1,644 854 ([1, с. 136]), находим, что при использовании обычного критерия отношения правдоподобия для разделения гипотез Яо и Я1 с уровнем значимости а = 0,05 и мощностью 0 = 0,9 необходимо иметь выборку объема п = 9. Значит, применение последовательного критерия отношения правдоподобия в случае справедливости гипотезы Яо позволяет в среднем сократить число наблюдений более чем в 2 раза, а в случае справедливости гипотезы Н\ — почти в 2 раза.□
У последовательного критерия отношения правдоподобия можно отметить два основных недостатка.
Первым является невозможность одновременного проведения нескольких испытаний.
Второй связан с тем, что если произошла ошибка в определении гипотез Яо и Я1 и истинная теоретическая функция распределения F(x) заключена между гипотетическими Fq(x) и Fx(x), то потребуется очень большое число наблюдений, поскольку логарифм отношения правдоподобия будет колебаться вокруг нуля, не выходя ни на одну из границ со или щ. Для того чтобы компенсировать этот второй недостаток, на практике часто принудительно ограничивают число наблюдений.
Однопараметрические гипотезы.Равномерно наилучшие критерии
Пусть выборка Хх,...,Хп извлечена из генеральной совокупности с теоретической функцией распределения F(x\ принадлежащей однопараметрическому семейству F^X;^ с неизвестным параметром ^, область возможных значений которого будем обозначать через 0 (обычно 0 представляет собой либо всю прямую (—сю, сю), либо полупрямую (а, сю) или (—сю, а), либо отрезок [а, 5]). Предположим, что в 0 выделено некоторое подмножество 0о; дополнение к нему в 0 обозначим через 01 = 0 \ 0о- Относительно неизвестного параметра имеются две гипотезы: основная Яд: ^ Е 0о и конкурирующая Яц ^ Е 0ц Зада-
ча состоит в построении критерия для проверки двух (вообще говоря, сложных) однопараметрических гипотез Но и Н\. Отметим, что если подмножество ©о состоит всего из одной точки ^о, то критерии для проверки гипотез Но и Н\ называют обычно критериями значимости. В этом параграфе мы рассмотрим те случаи, в которых существуют равномерно наиболее мощные несмещенные критерии. Построение критериев в остальных случаях можно проводить по общему рецепту, приведенному для (много) параметрических гипотез в следующем параграфе.
Односторонние гипотезы. Пусть подмножество ©о состоит из всех ^о? соответственно подмножество ©i будет содержать все ^ > ^о- Таким образом, мы имеем две односторонние гипотезы: основную Но*.
< тЗо и конкурирующую Щ: $ > ^о- Возьмем произвольные ^ < i?" и составим отношение правдоподобия
Л(Х1 ,...,хпл', ^") =
где
ЦХ\,...,ХпЛ) = P(XV Р(Хп,
в дискретном случае и
ЦХх,...,Хп;Й)=р(ХрЛ)---р(Х^
в непрерывном — функция правдоподобия.
Теорема 3 (односторонние гипотезы). Предположим, что существует (одномерная) статистика 8 = 8(Х\, ...,Хп), такая, что для любых pf < рм отношение правдоподобия можно представить в виде
ЦХ. ,...,Хп,й', Г) = Л(5№,..., Хп), < Г),
причем A(S ,13' ,13") — неубывающая функция от 8. Тогда существует равномерно наиболее мощный критерий для проверки гипотез Но иНу критическая область WK которого состоит из всех точек (х\,... ,хп), удовлетворяющих неравенству 8(х\,..., хп) > С, а уровень значимости a = a(13) и мощность (3 = [3(13) являются неубывающими функциями от 13 и, как обычно, определяются формулами
а(й) = РДО1,...,Хп) > С М} =£Р(хх*Л>-- Р(хп; й)
S(xi,...,xn)>C
Р0У = ?№ь...,хт0>с\ д =£ рщлц.рщ^
S(x\,...,xn)>C
д > Д)
Л < ^о),Л < ^о),в дискретном случае и
Л < ^о),
Л < ^о),
p(xyid) • • • р(жп;^) dxv * dxn
S(xr,...,xn)>C
До) = рда,...д>ф} =
= j...| p(x\;i3) • ■ ■ р(хп;*д) dx\ • • • dxn (У > So) S(xi,.. .,xn)>C
в непрерывном. Здесь Р{5 > С | ^} — вероятность статистике 8 = = 8(Хх,..., Хп) принять значение больше С при условии, что истинное значение неизвестного параметра равно ^.
Доказательство. Используем тот факт, что предложенный критерий является наиболее мощным для проверки простых гипотез Нр id = $' и Нр id = Г при всех id' < id". Действительно, для гипотез Н^ и Н{ критерий отношения правдоподобия определяется неравенством
МХх,...,Хп,^,Г)>С0
или, что в силу предположений теоремы то же самое, неравенством
где Л<-Ду) — обратная к Л(5) = A^i/.tf") функция, причем поскольку критерий отношения правдоподобия является несмещенным, то уровень значимости а' и мощность Р' для этого критерия удовлетворяют неравенству а' = РрОр < Р' = РрО"Р где Р^ — функция мощности (т. е. обобщенная запись cpid) и РрОР см. параграф 1). Таким образом, мы доказали, что cpid) и P(id) являются неубывающими функциями от id, откуда, в частности, следует: do = оф^о).
Далее, из сказанного также вытекает, что рассматриваемый критерий является наиболее мощным уровня значимости «о для проверки простых гипотез Яо: = $о и Яц id = тУ, где id' — любое число, большее ^о- Но тогда он является равномерно наиболее мощным критерием размера «о для проверки изначальных гипотез Яо: id < ^о и Яц id > ^о- Действительно, любой другой критерий размера «о должен в точке ^о (как и в любой другой точке id < ^о) иметь уровень значимости 0/(^0) С «о- Значит, и мощность P'(id) этого другого критерия при любом id' > $о не должна превосходить мощности наиболее мощного критерия уровня значимости «о для проверки простых гипотез Яо: id = id0 и Яц id = id', т. е. должна удовлетворять неравенству Ppid) < РрУр Последнее неравенство и доказывает теорему. □
Замечание 1 к теореме 3. Как обычно, чтобы соблюсти необходимую строгость приведенного доказательства, нужно привлекать рандомизацию. Кроме того, если потребовать, чтобы функции распределения F(x;i/) и F(x;id") были различными для разных id' и id", то утверждение теоремы о монотонности функций Opld) И P(ld) можно усилить до строгой монотонности. Наконец, заметим, что семейство распределений Fpr;^ с указанным в услови-
8 П. П. Бочаров, А. В. Печинкин
ях теоремы свойством называют обычно семейством с монотонным отношением правдоподобия.
Замечание 2 к теореме 3. Нетрудно видеть, что при заданном размере do = «(^о) рассматриваемый критерий наряду с максимизацией мощности /З(^) при каждом -З > -Зо минимизирует также уровень значимости а^ при любом < ^о- Поэтому обращенный критерий 5(Xi,..., Хп) < С, используемый для проверки основной гипотезы Но: 3 ^ Зо против конкурирующей гипотезы Нх: 3 < Зо, будет также равномерно наиболее мощным.
Пример 3. Пусть выборка Хх,...,Хп произведена из нормальной генеральной совокупности с известной дисперсией а2 и неизвестным средним Д относительно которого имеются две гипотезы: основная Hq: ^ < ьф и конкурирующая Нх: 3 > ^о- Определим отношение правдоподобия
+ ^(Я)2-^")2]
Вводя статистику
8 = 8(Хх,...,Хп)=ХхГ...ГХп,
видим, что
А(Хх,..., Хп;3,3 ) = е <т22^= Ц8,3\3"),
причем при 3' < 3" функция A(S, 3', 3") является неубывающей по S. Значит, существует равномерно наиболее мощный критерий для проверки гипотез Hq и Нх, критическая область которого WK задается неравенством Хх + ... + хп > С.
Для того чтобы определить уровень значимости а = а(3) и мощность Р = 0(3) этого критерия, заметим, что статистика S = Хх + ... + Хп распределена по нормальному закону с параметрами пЗ и по2. Тогда
= P{Xi + ... + Х„ > С | ^Х = 1 - ФЩМпсг2) =
= 1 -Ф= 1 -ФС — п/3V па2С — п/3V па2ni3 — С V тку2ni3 — С V тку2(3 < М(3 < М
= 1 -Ф
= 1 -Ф
С — п/3
V па2
С — п/3
V па2
ni3 — С V тку2
ni3 — С V тку2
(3 < М
(3 < М
0(3) = Р{Х1 + ... + хп > С И} = 1 - Ф(С;М™т2) =
= 1 -= 1 -С - пЗ V ТКУ2С - пЗ V ТКУ2= ф= фпЗ-СV ТКУ2пЗ-СV ТКУ2
= 1 -
= 1 -
С - пЗ V ТКУ2
С - пЗ V ТКУ2
= ф
= ф
пЗ-СV ТКУ2
пЗ-СV ТКУ2
Поскольку а(3) — возрастающая функция от 3, то размер критерия
/ о \ ж f п3о — А
«о = «№ = Ф —, •
\ Vncr2 /
Теперь, если, наоборот, нужно построить критерий заданного размера «о, то критическое значение С определяется выражением
С = тг^о — р«0по2,
□□где ра — а-квантиль стандартного нормального закона.
□
□
Двусторонняя основная гипотеза. Рассмотрим двустороннюю основную гипотезу Яо: 3 < ^о или 13 ^ тЗ\ (^о < ^1)- Соответственно конкурирующая гипотеза Но имеет вид: ^о < ^ < ^ь Пусть существуют возрастающая функция А(Р) и функции h(x), В(Р) и S(x), такие,
что плотность распределения р(х; й) любой функции распределения из семейства F(x; й) (чтобы не рассматривать рандомизированные критерии, мы ограничимся здесь только непрерывным случаем) представима
р(х; й) = Цх) еА^ SCHBW
(принадлежит экспоненциальному семейству, см. гл. 2, параграф 1). Введем статистику
S = 8(Хх,..., Xn) = S(Xx) + ... + S(Xn).
Определим для любых двух чисел Ci и С2 (Ci < С2) вероятности
qo = q^Cx,C2) = P^Cx < S(Xx,..., Хп) < С2 \ ^ =
=|...| р(ххЛо) •••р^хщЛо) dxx ---dx^,
C\<S(x\,...,xn)<C2
qx=qx(Cx,C2) = P{Cx < S(Xx,..., Xn) < C2 W =
=|...| р(ххЛх) •••р^Лх) dxx ---dx^.
Ci<S(xi,...,xn)<C2
Теорема 4 (двусторонняя основная гипотеза). При сделанных предположениях существует равномерно наиболее мощный критерий размера сщ для проверки гипотез Но и Щ, критическая область WK которого задается неравенствами
Сх <S(xx,._xn) <С2,
где Сх и С2 определяются из уравнения
qo(Cx,C2)=qx(Cx,C2)=ao.(8)
Уровень значимости a = а(й) и мощность (3 = /З(^) задаются формулами:
а(й) = P{Ci < S(Xx, ...,ХП)<С2 | ^} =
=|...| р(ххЛ) • • • р(хпЛ) dxx • • • dxn (й < йо или й ^ йх),
Ci<S(xi,...,xn)<C2
р(й) = P{Ci < S(Xx ,...,ХП)<С2\Й} =
=|...| р(хх;й) • • • р(хп;й) dxx • • • dxn (йо<й<йх).
Ci<S(xi,...,xn)<C2
Доказательство. Для доказательства теоремы нам понадобится следующая лемма.
Лемма 4.1. Система уравнений (8) при любом ао (0 < «о < 1) имеет решение.
Доказательство леммы 4.1, как и доказательство леммы 2.2, носит аналитический характер, и мы его здесь не приводим (см. [И]).
Представим функцию правдоподобия в виде
ЦХх,...,Хп;^ =р^Хх;^...р^Хп,^ = c^VW ShXXx,... ,Хп\ (9)
где
S = 5(Xi,..., Xn) = 5(Xi) + ... + S^Y
Рассмотрим теперь следующую байесовскую постановку задачи. Пусть основная «смешанная» гипотеза Н^ состоит в том, что выборка Xi,..., Хп произведена из генеральной совокупности с теоретической плотностью распределения р(ж;^о), появившейся с вероятностью q, или с теоретической плотностью распределения р(ж;^1), появившейся с вероятностью 1 — q, а конкурирующая гипотеза Н{ — из генеральной совокупности с теоретической плотностью распределения p^d'Y где d' — произвольное, но фиксированное число, ^о < ^ < Соответственно гипотезы Н^ и Н{ имеют априорные вероятности тг и 1 — тг. Нетрудно видеть, что мы фактически имеем дело с двумя простыми гипотезами, причем по формуле полной вероятности гипотеза Н^ приписывает выборке Xi,..., Хп плотность распределения
Ро(жц ... ,хп) = ^(жц^о) •••р(хпЛо) + (1 - q)p(xx;dx) •••p(xn;dxY
а гипотеза Н{ — плотность распределения
рх(хх,..., жп) = р(жь^) • • ^p(xn;^Y
Байесовский риск R (вероятность принятия неправильной гипотезы) имеет вид
R = тг j.. J ро(хх,..., жп) dxx • • • dxn + (1 — тг) j.. J р1(жц ..., жп) dxx • • • dxni W'w'
где W^ и W^ — критическая и допустимая области принятия Н^. Можно показать, что по аналогии с критерием отношения правдоподобия оптимальный байесовский критерий предписывает принять Н^ при
^(Хх,...^^ =^(Хх,...^^ =тг(1 -7Г)тг(1 -7Г)Рх(Хх,...,Хп)
^(Хх,...^^ =
^(Хх,...^^ =
тг
(1 -7Г)
тг
(1 -7Г)
pQ(Xx,...,Xn)
и отвергнуть в противном случае. В силу (9) неравенство для попадания выборки в критическую область можно переписать в виде
п c(tfp) lA^-ACOS , /1 - CW „И(У1)-А(<>,)]81 - ТГ
4’ Ф')ТГ "
Нетрудно видеть, что из-за монотонности A(d) левая часть этого неравенства — выпуклая вниз функция, неограниченно возрастающая при S —> ±ос. Поэтому его можно переписать в виде сх < S < с^, где
сх = cx(q, тг), с2 = c2(q, тг),
□□причем при сх < с2 существует обратное преобразование
□
□
q = q^cx^Y тг = тг(щ,с2).
В соответствии с леммой 4.1 для любого «о существует решение уравнения (8), а значит, найдутся такие q = q(ao) и тг = тг(«о), при которых оптимальный байесовский критерий для проверки гипотез Н^ и Н{ имеет при do и dx равные вероятности ошибки (уровни значимости) a(do) = q(^i) = «о-
Но этот же критерий можно применить и в небайесовской модели для проверки основной сложной гипотезы Hq: ^ = 1^0 или ^ = ^1 против простой гипотезы Нх : тЗ = 13'. Ясно, что полученный критерий представляет собой именно тот критерий, о котором говорится в утверждении теоремы. Покажем, что он является равномерно наиболее мощным размера «о для проверки гипотез Hq и Нх. Для этого рассмотрим любой^другой критерий размера не больше «о и обозначим через й^о), й(^1) и Р(тЗ') его уровни значимости в точках ^о и ^i и мощность соответственно. Тогда
й(^о) < «о = a(So), 5(#i) < а0 = a(#i).(10)
Снова считая, что оба критерия (основной и только что введенный) являются байесовскими, вычислим для них байесовские риски R и R:
R = к [qq(^o) + (1 - q) a(^i)] + (1 - тг) [1 - ДС#')] =
= 7Г«о + (1 - 7Г) [1 - /3(^)],(11)
R = ТГ [qq(^o) + (1 - q)5(^i)] + (1 - тг) [1 - Я^)]-(12)
Вспоминая теперь, что при q = q(otoY tv = тг(«о) первый из этих критериев является оптимальным байесовским, получаем неравенство R < R, или с учетом (10)-(12) р^'^р^'у
В силу произвольности выбора -О' (тЗо < -О' < ^i) предложенный критерий является ^равномерно наиболее мощным размера «о для проверки сложных гипотез Но: тЭ = тЭо или ^ = ^i и Нх: ^о < $ < ^ь
Совершенно аналогично показывается, что построенный критерий является при -О' < -до (тЗ' > ^i) наиболее мощным для проверки гипотезы Н^: 13 = 13' против гипотезы Н'х': 13 = i3q или 13 = тЗх среди всех критериев, для которых
Р"УМ = а(^о) > «о,Р"^\^ = ct(^i) < «о
ЦЗ"^ = а(^о) < «о,P"W = сртЗх) > «о),
откуда, в частности, следует, что а(тЗ) < «о для любого 13 < i3q {13 > i3xY Значит, размер построенного критерия в точности равен «о-
Для окончания доказательства теоремы осталось заметить, что поскольку построенный критерий имеет размер «о при проверке изначальных гипотез Hq: 13 ^ i3q или 13 ^ 13х и Нх: 13о < 13 < 13х и является равномерно наиболее мощным размера «о при замене основной гипотезы Но на «упрощенную» Но: 13 = тЗо или 13 = тЗх, то он (см. окончание доказательства теоремы 3) является также равномерно наиболее мощным для проверки гипотез Но и Нх.□
Замечание 1 к теореме 4. Вообще говоря, уравнение (8) имеет решение только в тех случаях, когда вероятности событий
{5 = 5(Xi) + ... + 5(Xn) = G}
И{5 = 5(Xi) + ... + 5(Xn) = C2}
при истинных значениях тЗо и тД параметра 13 равны нулю. В общем случае (в частности, при дискретных наблюдениях), как обычно, нужно использовать рандомизацию, т. е. выбирать наряду с Сх и С2 вероятности рх и р2 принятия гипотезы Нх при условиях S = Сх и S = С^.
Замечание 2 к теореме 4. Фактически при доказательстве теоремы было показано больше, чем требовалось. А именно, рассматриваемый критерий
минимизирует уровень значимости а^ среди всех критериев, удовлетворяющих соотношениям
= «(^1) = «о-
Это замечание нам понадобится при рассмотрении двусторонней конкурирующей гипотезы.
Замечание 3 к теореме 4. Можно показать, что (при некотором несущественном условии, которое мы не приводим) функция мощности /3(Н (т. е. мощность /3(Н и уровень значимости а^О^ построенного^ критерия будет иметь вид кривой 1 на рис. 4: существует такое значение ^, что при ^ < ^
Рис. 4
функция мощности строго возрастает, а при ^ > ^, наоборот, строго убывает. В силу утверждения теоремы 4 любой другой критерий для проверки Но и Hi, удовлетворяющий условию
а^о) = с/И) = do,
будет иметь функцию мощности, задаваемую кривой типа 2, т. е. лежащей не ниже кривой 1 при ^ < ^о и ^ > ^i и не выше кривой 1 при ^о < ^ < ^ь Наконец, если потребовать, чтобы просто размер критерия равнялся «о, то для некоторых уровень значимости может оказаться меньше а(^) (кривая 3).
Пример 4. Выборка Xi,...,Xn произведена из нормальной генеральной совокупности с известной дисперсией а2 и неизвестным средним ^, относительно которого имеются две гипотезы: двусторонняя основная гипотеза Но: ^ < ^о или ^ ^ ^i (i^o < ^1) и конкурирующая гипотеза Яц ^о < ^ < ^ь Полагая
1 ж2Ц
h^ = ^==e 2стС А(^ = ^, S(x) = x, BW = --^,
V 2тГ(Т2°"
видим, что плотность нормального распределения представима в виде рЦ; tf) = ст2) = Цх) eAW s^+b№ ,
причем Л(Н — возрастающая функция от ^. Поскольку статистика
S(Xi,...,Xn) = S(Xi)r...rS(Xn)=Xir...rXn распределена по нормальному закону с параметрами ni3 и пст2, то вероятности qo^C^C^ и qi^Ci,C^ определяются выражениями:
Qo^bG) = P{Ci < Хх + ... + ХП < С2 Ио} =
= ФЩ; пст2) - Ф(Сц nt?o, пст2) = Ф (Л=^Ф _ ф (Ci , \ Спа2 /\ Vncr2 /
qi(CbC2) = Р{С1 <Х, + ... + %„< С2 I тЩ =
= Ф(С2;ти?1,п<т2) - Ф(С1;^1,п<72) = Ф ( с2_ ф ( Ч .
Рассмотрим уравнение
/п^-^ + сА/nW-»o)/2-C\
Ф I -= 1 — Ф I -= I = «о
\ V пег2 /\ V пег2 /
относительно неизвестного С. Это уравнение численно можно решить, например, методом последовательных приближений. Полагая теперь
= п^дх +^о) _= п^дх +^0) с
12’22
и вспоминая тождество Ф(ж) = 1 — Ф(—ж), убеждаемся, что Сх и С^ удовлетворяют равенствам
Qo(G,C2) = щ(С1,С2) = а0.
Таким образом, равномерно наиболее мощный критерий размера «о предписывает нам отвергнуть гипотезу Но, если Сх < Хх + ... + Хп < С2, и принять ее в противном случае. Уровень значимости а($) и мощность /З(^) критерия задаются формулами
= p{Ci <Xi +С2 | V>} = Ф б^ЩД'7 ) -Ф — П
(^ < $0 или ^ > 1^1),
ДО) = Р{С1 < Х1 + + Xn < С2 М} = Ф CzCA -НСулА(^о<^<г?1).□
Двусторонняя конкурирующая гипотеза. Пусть теперь двусторонней является конкурирующая гипотеза Щ: id < ido или id > id\ (i?o < ^1), а основная гипотеза имеет вид Ну ido ^ id ^ idi. Предположим также, что все допущения относительно семейства функций распределения F(x;id), принятые при рассмотрении двусторонней основной гипотезы, остаются в силе. Таким образом, мы только поменяли местами основную и конкурирующую гипотезы. Казалось бы, от такой замены ничего не должно измениться и равномерно наиболее мощный критерий для проверки основной двусторонней гипотезы будет таковым и для проверки двусторонней конкурирующей гипотезы. Однако это не так. Более того, для двусторонней конкурирующей гипотезы вообще не существует равномерно наиболее мощного критерия. Причина такого «неравноправия» кроется в том, что в определение равномерно наиболее мощного критерия уровень значимости и мощность входят несимметрично: от уровня значимости требуется только, чтобы он при каждом id е ©о не превосходил размера ао, в то время как мощность при каждом id е ©1 должна быть максимальна. Тем не менее, имеет место следующая теорема.
Теорема 5 (двусторонняя конкурирующая гипотеза). Пусть дополнительно к условиям теоремы 4 функция A(id) является непрерывной.
Тогда для проверки гипотез Но и Нх существует равномерно наиболее мощный несмещенный критерий, который в точности совпадает с равномерно наиболее мощным критерием для проверки двусторонней основной гипотезы, за исключением того, что меняются местами критическая и допустимая области.
Доказательство. Можно показать, что из условия непрерывности А(й) следует непрерывность функции мощности любого критерия, которая в свою очередь для несмещенного критерия влечет за собой равенство уровня значимости в точках йо и ^i размеру «о- Таким образом, равномерно наиболее мощный несмещенный критерий можно искать только среди критериев, для которых
a(t?o) = a(t?i) = а0. (13)
С другой стороны, как вытекает из замечания 2 к теореме 4, «обращенный» критерий теоремы 5 является наиболее мощным для проверки основной гипотезы Но: й = йо или й = йх против конкурирующей гипотезы Нх: й < йо или й > йх среди всех критериев, удовлетворяющих (13). Но из самого утверждения теоремы 4 следует, что рассматриваемый критерий при каждом й (йо < й < йх) имеет уровень значимости а(й) < ао, т. е. является несмещенным, а значит, он будет также равномерно наиболее мощным и среди всех несмещенных критериев для проверки гипотез Но и Нх, поскольку, как уже показывалось при доказательстве теорем 3 и 4, наличие дополнительных ограничений может привести только к уменьшению мощности критерия. □
На рис. 5 (кривая 1) приведен типичный график функции мощности равномерно наиболее мощного несмещенного критерия размера do для
Рис. 5
проверки двусторонней конкурирующей гипотезы. Кривая 2 изображает функцию мощности другого критерия, имеющего тот же размер сщ, а при й > й\ — мощность, большую, чем равномерно наиболее мощный несмещенный критерий. Однако этот другой критерий является смещенным, поскольку при й < йо его мощность меньше размера сщ.
Многопараметрические гипотезы
Пусть выборка Хх,..., Хп произведена из генеральной совокупности с теоретической функцией распределения F(x), принадлежащей параметрическому семейству F(x;9) = F(x; йх,..., й^), зависящему от
неизвестного векторного параметра 0 = (^i,...,^). Множество возможных значений параметра 0 будем обозначать через 0. Не вдаваясь в подробное описание 0, скажем только, что 0 представляет собой либо все /с-мерное пространство Rk, либо достаточно «большую» его часть (например, в случае двух неизвестных параметров 191 и $2 множество 0 может быть полуплоскостью, полосой, прямоугольником и т. д.). Предположим теперь, что в множестве 0 выделено некоторое подмножество 0q. Как обычно, дополнение к 0о в 0 будем обозначать через 01 = 0 \ 0о. Нам нужно проверить две сложные параметрические гипотезы: основную Hq: 0 Е 0q против конкурирующей Нх\ 0 Е 0ь
Основным методом для проверки таких гипотез является метод отношения правдоподобия, представляющий естественное обобщение критерия отношения правдоподобия (см. параграф 2). Этот метод заключается в следующем. Рассмотрим функцию правдоподобия
ЦХь..., ХпЫ1,...^0 = Р(Х1Ы1,...^кУ--Р(Х;^1,...Ы0
в дискретном случае или
ЦХх,...,ХпЛь...Лк) = р(ХхЛь...ЛкУ*-р(ХпЛь...Лк)
в непрерывном и определим два ее максимальных значения как функции от аргументов дх,... Лк:
L№,...,X^ = ^рЦХх,...,Хи,К...Лк^ ее ©о
и
L*(Xi,...,Xn) = supL(Xi,...,Xn;^i,...,^) ее©
(очевидно, что Lq(Xi, ..., Хп) не превосходит L*(Xx,..., Хп)).
Так же, как и в методе максимального правдоподобия (см. параграф 4 гл. 2), для нахождения значений 0q = (^^°\ ..., д^) и 0* = ЛЛ--Лк), доставляющих максимум функции правдоподобия L(Xx,..., ХпЛь ... Лк) в подмножестве 0q и множестве 0, обычно используют систему уравнений правдоподобия
А-^цхх,...,хпых,...ык)) = о
с соблюдением соответствующих ограничений.
Определим теперь отношение правдоподобия
Интуитивно ясно, что если Л мало отличается от единицы, то это говорит в пользу основной гипотезы Hq. Полагая А = 2 In Л, получим следующий критерий для проверки двух сложных параметрических гипотез: мы должны принять гипотезу Но, если А = A(Xi,..., Хп) < С, и отвергнуть в противном случае, где С — критическое значение критерия.
Хотя уровень значимости а и мощность /3 полученного критерия и определяются, как обычно, формулами
а = а^ь...Лк) = P{A№,...,JCn) >Ср1,...ЛД((г^ь...,^) е 60),
их нахождение для конкретных семейств F(x; ^i,..., йк) представляет, как правило, сложную в вычислительном плане задачу. Поэтому ограничимся выписыванием приближенного значения уровня значимости а, справедливого при большом объеме выборки п.
Теорема 6 (асимптотическое свойство метода отношения правдоподобия). Пусть ©о есть m-мерное (не обязательно линейное) подпространство Rk (m < к). Тогда (при некоторых дополнительных предположениях относительно семейства F(X; й\,..., йк)) статистика А(Х1,..., Хк) при условии, что истинное значение параметра 0 = (1Д,..., йк) 6 ©о, асимптотически при п сю имеет у2-распределение с k — m степенями свободы.
Доказательство теоремы 6, которое мы здесь не приводим, в идейном плане состоит из двух частей. Первая часть устанавливает асимптотическую нормальность оценок в* и 0g и является многомерным аналогом теоремы 7 гл. 2. Вторая часть заключается в подстановке полученных в первой части асимптотически нормальных оценок в квадратичную форму, приближенно описывающую отношение правдоподобия вблизи истинного значения параметра 6.□
Таким образом, уровень значимости критерия определяется приближенной формулой a = Р{у2 > С}, где у2 — случайная величина, имеющая %2-распределение с к — m степенями свободы (см. [1, табл. 2.1а]), и, что следует отметить особо, уровень значимости при большом объеме выборки практически не зависит от истинного значения параметра 0. Если же, наоборот, задан уровень значимости а, то критическое значение С приближенно совпадает с h\_a — (1 — а)-квантилью ^-распределения с к — m степенями свободы [1, табл. 2.2а].
Пример 5. Выборка Хх,...,Хп произведена из нормальной генеральной совокупности с неизвестными средним ^i и дисперсией ^2- Требуется построить критерий уровня значимости а для проверки сложной основной гипотезы Hq: ^i = mo против сложной конкурирующей гипотезы Hi: йх ^ то. В этом примере множество всех возможных значений параметров йх и ^2 представляет полуплоскость й2 > 0, а гипотеза Но выделяет в этой полуплоскости полупрямую йх = то. Функция правдоподобия имеет вид
\ Ц2тп)2 /
Для определения значения 6* = (й*,й2), доставляющего максимум функции правдоподобия в множестве ©, обратимся к примеру 25 из гл. 2. Тогда
2*
Vx = т , v2 = сг ,
где т* и ст2* — выборочные среднее и дисперсия, и, значит, само максимальное значение
ЬЧХх,...,Х^ =
J+= / J У-п/2
V2тг<т2* '' V2тгсг2* '
Найдем теперь t?g = ('У^Щг^)’ максимизирующее функцию правдоподобия в подмножестве во. Для этого заметим, что поскольку ^i = то, то система уравнений правдоподобия превращается в одно уравнение
(lnL(Xi,...,Xn;m0^2))^ =
= f - In (2тп?2) - ^- [№ - т0)2 + • ■ ■ + (хп - то)21 )' =\2Zv2 LJ / Щ
-+ 2^f [(%1” т0)2] - О,
решая которое, получаем
^/0) = т0,Л'°’ = ^ [(X, - т0)2 + ... + (Х„ - т0)2] = ст2*.
Таким образом,
тхх,...,хо =
1 А П у=2Т [(Х1 -m0)2 + ... + (Xn-m0)2] _ А 1 А ne-™/2
V2тга2* 2V2тга2* 2
Отношение правдоподобия имеет вид
Ц(Хх,...,Хп)Ц(Хх,...,Хп)
Ц(Хх,...,Хп)
Ц(Хх,...,Хп)
а сам критерий предписывает нам принять гипотезу Но, если А = 2 In Л < С, и отвергнуть ее, если А > С. Поскольку множество в имеет размерность к = 2, а подмножество во — размерность т = 1, то критическое значение С ~ h\_a, где ha — а-квантиль ^-распределения с одной степенью свободы.
Полученный критерий удобно записать в несколько ином виде. Действительно, производя элементарные преобразования, имеем
—2* 2* . / *\2
ст = а +— то) .
Используя теперь монотонность функции /(ж) = In ж, видим, что неравенство 2А = nln (а2*/сг2*) < С эквивалентно неравенству п(т* — то)2 < C2s2*, где С2 = (п — Y)(ec^n — 1), или, что то же самое, неравенству л/ri \т* — то\ < <
и отвергнуть в противном случае.и отвергнуть в противном случае.Иными словами, мы пришли к естественному критерию: принять гипотем\т* - т0|
и отвергнуть в противном случае.
и отвергнуть в противном случае.
зу Яо, если J—1
Поскольку статистикаПоскольку статистикаt =t =- т0)- т0)
Поскольку статистика
Поскольку статистика
t =
t =
- т0)
- т0)
имеет t-распределение (см. гл. 1, параграф 4), то критическое значение С\ при размере критерия «о представляет собой tx_ao/2 — (1 — «о/2)-квантиль t-распределения с п — 1 степенями свободы.
□□Отметим [12], что построенный критерий является равномерно наиболее
□
□
мощным несмещенным для проверки гипотез Hq и Нх.
Пример 6. Предположим, мы произвели опыт, состоящий из п испытаний, а результат каждого испытания характеризуется двумя случайными факторами (показателями), причем первый фактор может принимать значения (уровни действия фактора) 1,2, ...,mi, а второй — 1,2,..., т2. Результаты опыта можно представить в виде табл. 1, где иц — число испытаний, в которых первый фактор подействовал на уровне г, а второй — на уровне j. Наша задача — проверить, действуют ли эти факторы независимо (гипотеза Hq) или между ними существует зависимость (гипотеза Нх\
Таблица 1
Уровень первого фактора
Уровень второго фактора
1
г
тх
1
^71
l^my 1
j
^13
Vmyi
т2
V\m2
^гт2
^ту m2
Здесь мы имеем дело с так называемой двухфакторной (mi, т2)-уровневой моделью. Опишем эту модель. Прежде всего, если не делать предположения о независимости факторов, то имеется т\т2 неизвестных параметров \)гз — вероятностей того, что первый фактор подействует на уровне г, а второй — на уровне j. Значит, множество в представляет собой (mi m2 — 1)-мерное подпространство пространства Rmxm2, выделяемое соотношениями ^tj > О, ту m2
У^ У^ i3ij = 1 (в силу последнего равенства размерность пространства в равна
тхт2 — i, а не mi m2). В свою очередь, в силу независимости факторов подмножество во является [(mi — 1) + (m2 — 1)]-мерным подпространством пространства R7^™^ задаваемым ограничениями
ту777-2
= -»PR,1?Д>о,^2)>о,y'i?T =i,v^2) =L
7=1j=X
Выпишем логарифм функции правдоподобия
ту m2г=13=1ту m2г=13=1/ ту m2
ту m2
г=13=1
ту m2
г=13=1
7 = lnL = ln ПП<7
\ г=Х з = Х
ту m2
Поскольку ^ij удовлетворяют уравнению СВЯЗИ '^'^^гз = 1, ТО для вычис- г=1 3 = 1
ления максимального значения L* определим лагранжиан
и в соответствии с общими правилами нахождения максимума будем искать i}*j из системы уравнений
Несложные подсчеты показывают, что ^ = v^jn. Таким образом,
г=13=1г=13=1
г=13=1
г=13=1
Аналогично поступим, если 0 = (^) Е во- Тогда
ту m2ту m2/ ту m2
ту m2
ту m2
l = lnL = ln( ПП
\ г=1 з = 1
где v^ = У^ Vij — суммарное число наблюдений, в которых первый фактор
7 = 1т
подействовал на уровне г, a v^ = ^ vpj — суммарное число наблюдений,г=1
в которых второй фактор подействовал на уровне j.
Выписывая отношение правдоподобия
получаем окончательно, что мы должны принять гипотезу Hq, если А = = 2 In А < С, и отвергнуть в противном случае. Критическое значение С приближенно совпадает с (1 - сф-квантилью hi_a ^-распределения cmim2- - mi - m2 + 1 = (mi - 1)(ш2 - 1) степенями свободы, где а — уровень значимости.
Отметим, что при практической реализации описанного критерия число наблюдений п должно быть существенно больше mim2 и, более того, достаточно большими должны быть все vtj (обычно рекомендуется не менее 5). □
Критерии согласия
Предположим, что выборка Xi,...,Xn произведена из генеральной совокупности с неизвестной теоретической функцией распределения, относительно которой имеются две непараметрические гипотезы: простая основная Hq: F(x) = Fq(x) и сложная конкурирующая Н\\ F(x) 7^ Fq(x), где Fq(x) — известная функция распределения. Иными словами, мы хотим проверить, согласуются эмпирические данные с нашим гипотетическим предположением относительно теоретической функции распределения или нет. Поэтому критерии для проверки гипотез Яо и Н\ носят название критериев согласия. Приведем три наиболее часто употребляемых критерия согласия.
Критерий Колмогорова. Уже говорилось (параграф 3 гл. 1), что в силу теоремы Гливенко-Кантелли эмпирическая функция распределения F*(x) представляет собой состоятельную оценку теоретической функции распределения F(x\ Поэтому можно сравнить эмпирическую функцию распределения F*(x) с гипотетической Fq(x) и, если мера расхождения между ними мала, то считать справедливой гипотезу Hq.
Наиболее естественной и простой из таких мер (будем предполагать, что Яо(х) — непрерывная функция) является равномерное расстояние
PR = pR^CYM^ =
= sup |_Р*(ж) - — оо<ж<оо
(рис. 6 и параграф 5 гл. 2). Од
нако при построении критерия Колмогорова более удобно пользоваться нормированным расстоянием Р = V^ PR-
Итак, рассмотрим статистику
р = р^Хх,... ,Хп) = Vr sup \F*(x) - F0(x)\.
Критерий Колмогорова предписывает принять гипотезу Яо, если р < С, и отвергнуть в противном случае, где С — критическое значение критерия.
Если гипотеза Яо справедлива, то распределение статистики р не зависит от гипотетической функции распределения Яо (х) (доказательство этого факта следует из инвариантности статистики критерия Колмогорова относительно монотонных преобразований, в частности преобразования д(х) = Яд-1\х), где Fq-X\x) — обратная к Яо (ж) функция; преобразование д(х) приводит выборку Хх,...,Хп к равномерно распределенной на отрезке (0,1)). Поэтому можно рассчитать таблицы,
которые по заданному объему выборки п и критическому значению С позволяют определить уровень значимости критерия а. Поскольку на практике обычно, наоборот, считают известными уровень значимости а и объем выборки п, а затем по ним определяют критическое значение С, то именно такая таблица приведена в [1, табл. 6.2].
При п ос распределение статистики р сходится к распределению Колмогорова [1, табл. 6.1], и критическое значение С при большом объеме выборки практически совпадает с (1 — а)-квантилью к\_а распределения Колмогорова.
При практической реализации критерия Колмогорова сначала по выборке Xi,...,Xn составляют вариационный ряд Х^,..., X*. Затем находят Fq(X*) и определяют значения статистики р по формуле
Наконец, сравнивают полученное значение р с критическим значением С для заданного уровня значимости а и принимают или отвергают гипотезу Яд.
Критерий w2. Пусть F\(x) — некоторая функция распределения, не совпадающая с Fq(x). Критерий Колмогорова хорошо разделяет выборки (имеет большую мощность) из генеральных совокупностей с теоретическими функциями распределения Fo(x) и F\(x\ если |Fo(x) — ^1(^)1 достаточно велико хотя бы на малом интервале изменения х. Встречается и обратная ситуация, когда ^(ж) — F\ (х)| мало, но постоянно на достаточно большом интервале изменения х. В этом случае для разделения гипотез Но и Н\ естественно пользоваться каким-либо интегральным расстоянием, например расстоянием из2 (см. параграф 5 гл. 2).
Статистика ш2 критерия ш2 задается выражением
ш2 = cc2(Xi,..., Хп) = п | \_F*(х) — Fo(x)^\2 ро(х) dx
(мы предполагаем, что гипотетическая функция распределения Fq(x) имеет плотность распределения ро(х)\ а критическая область WK состоит из всех тех точек (xi,..., хп), для которых ш2 > С, где С — критическое значение критерия. Используя вариационный ряд Х^,..., X*, статистику ш2 можно записать в более удобном для практических расчетов виде
Распределение статистики из2 при условии справедливости гипотезы Но также не зависит от гипотетической функции распределения Fq(x) (это доказывается точно так же, как и инвариантность распре-
деления статистики критерия Колмогорова) и при увеличении объема выборки сходится к и2-распределению. Поэтому уровень значимости критерия а определяется по критическому значению С приближенной формулой
а^з 1 - Л(С),
где А^ — функция ^-распределения [1, табл. 6.4а]. Если же задан уровень значимости а критерия, то критическое значение С практически совпадает с (1 — а)-квантилью а\_а и2-распределения.
Практическая реализация критерия и2 происходит в той же последовательности, что и критерия Колмогорова: сначала по выборке Xi,..., Хп определяется вариационный ряд Х^,..., X*, затем находятся Fq(X*) и вычисляется значение статистики ш2 и, наконец, полученное значение ш2 сравнивается с критическим значением С и либо принимается, либо отвергается гипотеза Hq.
В литературе иногда критериями ш2 называют целое семейство критериев, основанных на интегральных расстояниях с различными весовыми функциями.
Критерий у2 (Пирсона). Критерий у2 является аналогом критерия и2 для дискретной наблюдаемой величины X, хотя и применяется как в дискретном, так и в непрерывном случае.
Начнем с дискретного случая. Пусть наблюдаемая случайная величина X может принимать только значения {^i,...,^} с неизвестными вероятностями ^i,...,^£. Основная гипотеза Но выделяет среди всех распределений случайных величин, принимающих значения {61,..., ^ь}, одно фиксированное распределение, для которого значения вероятностей ^/ известны и равны Р^ Обозначим через ^ (I = 1,..., L) число тех элементов выборки Х\,...,Хп, которые приняли значение Ь[. Поскольку в силу закона больших чисел наблюденная частота ^ = щ/п с ростом объема выборки п стремится к вероятности ^, мы должны признать гипотезу Но справедливой, если все ^ мало отличаются от Pi. Введем теперь статистику
х - х •
С одной стороны, эта статистика является мерой равномерной близости всех ^ к Рь с другой стороны, как говорилось в параграфе 4 гл. 1, она асимптотически при п ею независимо от гипотетических вероятностей Pi имеет ^-распределение с L — 1 степенями свободы. Таким образом, критерий х2 предписывает принять гипотезу Но, если х2 < С, и отвергнуть, если х2 ^ С, где С — критическое значение критерия.
Из сказанного выше следует, что при заданном С уровень значимости а критерия х2 определяется приближенной формулой
а^з 1 -Н(С\
где Н(х) — функция ^-распределения с L — 1 степенями свободы [1, табл. 2.1а]. Наоборот, если задан уровень значимости а, то критическое значение С примерно совпадает с (1 — а)-квантилью h\_a ^-распределения [1, табл. 2.2а].
При практической реализации критерия у2 нужно следить за тем, чтобы объем выборки был велик, иначе неправомочна аппроксимация ^-распределением распределения статистики у2. Обычно считается, что достаточным условием для этого является выполнение неравенств ^ ^ 5 при всех I; в противном случае маловероятные значения bi объединяются в одно или присоединяются к другим значениям, причем объединенному значению приписывается суммарная вероятность (разумеется, уменьшается число степеней свободы при определении уровня значимости или критического значения С).
Следует отметить, что при п ею критерий у2 асимптотически совпадает с параметрическим критерием для проверки основной гипотезы Яд: 0 = Р (0 = (i?i,..., dL\ Р = (Рь ..., Pl)) против сложной конкурирующей гипотезы Н\\ 6 ^ Р, построенным по методу отношения правдоподобия, хотя эти критерии и основаны на совершенно различных идеях.
В общем случае (не обязательно дискретной наблюдаемой величины X) поступают следующим образом. Сначала всю прямую разбивают на L непересекающихся интервалов (—oo,di), [di, (/2),..., [dL-ьсю). Затем определяют гипотетические вероятности Pi = Fo(di) — Fo(di-x) попадания в интервал [d/~i,d/) и числа vi элементов выборки, попавших в эти интервалы. Наконец, вычисляют значение статистики
v2 _ (^ — ^PQ
и сравнивают его с критическим значением С. Как и в дискретном случае, маловероятные интервалы объединяют. Разумеется, для того чтобы улучшить качество критерия у2 (увеличить его мощность), необходимо уменьшать интервалы разбиения, однако этому препятствует ограничение на числа попавших в каждый интервал наблюдений.
При применении критерия у2 удобно пользоваться полигоном частот или гистограммой (см. параграф 3 гл. 1).
Часто требуется проверить не совпадение теоретической функции распределения F^ с известной функцией распределения Fq(x\ а принадлежность F(x) заданному параметрическому семейству F(x;6) = F(x; д\,..., д^) функций распределения, зависящему от /с-мерного неизвестного параметра 6= (di,..., д^), т. е. разделить сложные непараметрические гипотезы Hq; F(x) Е {Х(х;0)} и Нр. F(x) ^ {Х(ж;0)}. Для того чтобы воспользоваться вышеописанными критериями, нужно из семейства F(x;6) выделить ту функцию распределения Fq(x) = F(x;0o), с которой уже и будет производиться сравнение эмпирической функции распределения F(x) выборки Хх,..., Хп.
Поэтому сначала, предполагая, что верна основная гипотеза Яо, находят оценку 0* = (^, ..., ^) неизвестного векторного параметра 6, а затем, полагая 9о = 9*, с помощью выбранного критерия согласия проверяют простую основную гипотезу Ну. F(x) = Fq(x) = F(x;6*) против сложной конкурирующей гипотезы Н\\ F(x) ^ ^оМ = F(x;6*). Ясно, что в качестве оценки 9* лучше всего брать такое значение параметра 9, которое доставляло бы минимальное значение статистике соответствующего критерия (см. параграф 5 гл. 2). Однако эти естественные оценки, как правило, весьма сложны в вычислительном плане, и поэтому обычно пользуются более простыми оценками (полученными методами моментов или максимального правдоподобия).
Скажем еще несколько слов об уровне значимости критериев согласия при проверке сложной гипотезы Ну F(x) Е {Я(ж;9)}. Вообще говоря, даже асимптотически при п сю уровень значимости критерия будет зависеть и от семейства F(x; 9), и от выбранной оценки 9*, и даже от истинного значения неизвестного параметра 9. Обычно на практике для критериев Колмогорова и и2 считают уровень значимости таким же, как и в случае простой гипотезы Hq. При использовании достаточно «хороших» оценок (например, оценки максимального правдоподобия) истинный уровень значимости, как правило, будет даже меньше подсчитанного таким образом. Что касается критерия %2, то Для него при определении уровня значимости просто уменьшают число степеней свободы ^-распределения на число неизвестных параметров к. Здесь мы делаем обратную ошибку: объявляем уровень значимости меньшим, чем он есть на самом деле, правда, обычно несущественно.
Отметим, что в последнее время в специальной литературе появились работы, в которых выводятся асимптотические разложения уровней значимости (и даже мощностей при «близких» гипотезах) критериев по степеням 1 /л/ri, причем для некоторых критериев и типов распределений вычисляются также значения первых коэффициентов этих разложений.
Пример 7. Проверим с помощью критерия Колмогорова гипотезу Яо о том, что проекция X вектора скорости молекулы водорода на ось координат (см. пример 1 из гл. 1) распределена по нормальному закону. Проверку произведем для уровня значимости a = 0,05. Параметры нормального закона не заданы, значит, мы имеем дело со сложной гипотезой Яо и сначала должны оценить среднее Th и дисперсию ^2- Поскольку мы будем пользоваться критерием Колмогорова, хотелось бы оценки ^ и ^2 неизвестных параметров Th и Th выбрать таким образом, чтобы они доставляли минимальное значение статистики критерия Колмогорова
Р = Vn [ max |ф(Х*;^ы?2) - ^—^1 +
где Х*,...,Х* — вариационный ряд выборки Xi,...,Xn, приведенный в табл. 3 гл. 1, а Ф(ж;т,сг2) = Ф((ж — m)/cr) — функция распределения нормального закона с параметрами т, а1. Однако искать минимум р как функции от ^i и ^2 — весьма сложная в вычислительном плане задача, так как Ф(ж) даже не выражается в элементарных функциях. Поэтому в качестве оценок ^* и Т)^ используем оценки максимального
правдоподобия ^ = т* = 0,082 и ^ = °-2* = 1,34 (см. примеры 8 из гл. 1 и 15 из гл. 2). Теперь с помощью критерия Колмогорова будем проверять простую гипотезу Но : F(x) = Fo^ = Ф(ж;^*,^2) = Ф(ж; 0,082, 1,34). Вычислив сначала У* = (X* — ^)/л/^1 и воспользовавшись равенством Ф^*;^*,^) = Ф((^* — ^r)/V^2 X последовательно находим затем значения Ф^*) [1, с. 112-117], F* = (2г — 1)/(2п) и ^ = |Ф(У^) - F*\ (табл. 2). Наконец, определяя значение статистики критерия Колмогорова
р=СУ max |ф(Х*;1?1,1М - + — 1 = 0,07^50 =0,49 L 1<г<п I 2п I 2пJ
(максимальное значение St равно 0,06) и сравнивая его с 0,95-квантилью распределения Колмогорова ко,95 = 1,36 ([1], с. 346), видим, что р < ко,95- Значит, мы должны принять гипотезу Но и считать распределение проекции вектора скорости молекулы водорода нормальным. □
Пример 8. Проверим ту же гипотезу Но о нормальности проекции вектора скорости молекулы водорода с тем же уровнем значимости а = 0,05, но теперь для проверки Но воспользуемся критерием ш2. Поскольку и в этом случае мы будем пользоваться оценками максимального правдоподобия неизвестных среднего ^1 и дисперсии ^2 нормального закона, то все этапы вычислений, вплоть до нахождения Si, для критериев Колмогорова и ш2 полностью совпадают. Остается только определить значение статистики ш2 (см. табл. 2):
= Е 8» + X = °’012 + °’042 + • ■ • + °’012 + i = °’05, L OUU
и сравнить найденное значение ш2 = 0,05 с 0,95-квантилью ^-распределения «о,95 = 0,46 [1, с. 348]. Таким образом, критерий ш2 также подтверждает справедливость гипотезы Hq. □
Пример 9. Воспользовавшись выборкой из примера 2 гл. 1, проверим с уровнем значимости а = 0,1 гипотезу Но о том, что число X регистрируемых ежесекундно счетчиком Гейгера частиц имеет распределение Пуассона. Случайная величина X, распределенная по закону Пуассона, принимает значения Z = 0, 1,... с вероятностями
Р1 = Р(1;д') = Р{Х = 1\^ = ^е-<),
где ^ — математическое ожидание X (см. часть 1, гл. 5, параграф 3). Ввиду дискретности случайной величины X для проверки гипотезы Но следует использовать критерий %2 Поскольку значение параметра ^ неизвестно, мы имеем дело со сложной гипотезой Но и должны сначала оценить $. Воспользовавшись методом моментов, получаем оценку
Г =m* = 1 № + ... +Х„) = 1(1 +4 +... + 5) = 2,92
(читателю предоставляется возможность убедиться, что оценка максимального правдоподобия также будет совпадать с выборочным средним). В табл. 3 выписаны гипотетические вероятности
Pt = Р(1; 1?) = 1121 е"2'92 (/ = 0,1,...),
а также числа ^ элементов выборки, принявших значение I, взятые из статистического ряда выборки (табл. 6 гл. 1). Из табл. 3 видно, что числа элементов выборки, принявших значения 0, 6, 7, 8 и т. д., меньше 5. Поэтому объединим
Таблица 2
X*
-2,33
-1,60
-1,58
-1,57
-1,46
-1,32
-1,29
-1,06
-1,04
-0,98
У-*
-2,08
-1,45
-1,43
-1,43
-1,33
-1,21
-1,18
-0,98
-0,97
-0,92
ФЩ)
0,02
0,07
0,08
0,08
0,09
0,11
0,12
0,16
0,17
0,18
р*
0,01
0,03
0,05
0,07
0,09
0,11
0,13
0,15
0,17
0,19
St
0,01
0,04
0,03
0,01
0,00
0,00
0,01
0,01
0,00
0,01
X*
-0,90
-0,88
-0,80
-0,79
-0,72
-0,53
-0,52
-0,28
-0,27
-0,18
-0,85
-0,83
-0,76
-0,75
-0,69
-0,53
-0,52
-0,31
-0,30
-0,22
Ф(Ц)
0,20
0,20
0,22
0,23
0,25
0,30
0,30
0,38
0,38
0,41
F*
0,21
0,23
0,25
0,27
0,29
0,31
0,33
0,35
0,37
0,39
Si
0,01
0,03
0,03
0,04
0,04
0,01
0,03
0,05
0,01
0,02
X*
-0,10
-0,08
-0,05
-0,01
0,01
0,01
0,01
0,14
0,30
0,32
-0,16
-0,14
-0,11
-0,08
-0,06
-0,06
-0,06
0,05
0,19
0,21
Ф(Ц)
0,44
0,44
0,46
0,47
0,48
0,48
0,48
0,52
0,58
0,58
F*
0,41
0,43
0,45
0,47
0,49
0,51
0,53
0,55
0,57
0,59
Si
0,03
0,01
0,01
0,00
0,01
0,03
0,05
0,03
0,01
0,01
Xi
0,35
0,35
0,40
0,41
0,52
0,54
0,60
0,65
0,74
0,96
Y*
0,23
0,23
0,28
0,29
0,38
0,40
0,45
0,49
0,57
0,76
ФЩ)
0,59
0,59
0,61
0,61
0,65
0,66
0,67
0,69
0,72
0,78
p*
0,61
0,63
0,65
0,67
0,69
0,71
0,73
0,75
0,77
0,79
Si
0,02
0,04
0,04
0,06
0,04
0,05
0,06
0,06
0,05
0,01
X*
1,02
1,06
1,12
1,27
1,68
1,92
2,15
2,19
2,25
3,47
Y*
0,81
0,85
0,90
1,03
1,38
1,59
1,79
1,82
1,87
2,93
ФЩ)
0,79
0,80
0,82
0,85
0,92
0,94
0,96
0,97
0,97
1,00
p*
0,81
0,83
0,85
0,87
0,89
0,91
0,93
0,95
0,97
0,99
Si
0,02
0,03
0,03
0,02
0,03
0,03
0,03
0,02
0,00
0,01
нулевой и первый столбцы, а шестой и последующие столбцы присоединим к пятому (табл. 4). Производя последовательно вычисления, представленные в табл. 4, определяем значение статистики
2 = у (^ - nF,)2 =0 Ю6 0 4 = 4
пР1
Так как число столбцов L = 5, а число неизвестных параметров к = 1, то ^-распределение, используемое для приближенного нахождения критического значения С, имеет L — к — 1 = 3 степени свободы. В [1, с. 167] находим 0,9-квантиль ^-распределения с тремя степенями свободы ho,9 = 6,251. Сравнивая значение %2 = 4,09 с Но,д = 6,251, констатируем, что следует признать справедливость гипотезы Но о пуассоновости распределения регистрируемых счетчиком Гейгера частиц. □
Таблица 3
1
0
1
2
3
4
5
6
7
8
9
10
11
VI
4
12
9
11
13
9
1
0
0
1
0
0
Pl
0,054
0,157
0,230
0,224
0,163
0,095
0,046
0,019
0,007
0,0023
0,0007
0,0002
Таблица 4
1
< 1
2
3
4
> 5
Pl
0,211
0,230
0,224
0,163
0,172
Vl
16
9
11
13
11
TlPl
12,66
13,8
13,44
9,78
10,32
Сч - прд2
11,16
23,04
5,95
10,37
0,46
(ri - про2/^прд
0,88
1,67
0,44
1,06
0,04
Пример 10. Еще раз обратимся к проверке гипотезы Но о нормальности проекции X вектора скорости молекулы водорода (см. примеры 7 и 8). Воспользуемся критерием %2 Для этого разобьем всю прямую на 8 интервалов: (-оо,-3), (-3,-2), (-2,-1), (-1,0), (0,1), (1,2), (2,3) и (3,оо). Однако поскольку в первые два интервала попало всего одно наблюдение (см. табл. 7 гл. 1), объединим их с третьим интервалом. Аналогично седьмой и восьмой интервалы присоединим к шестому. Окончательно получим 4 интервала с числами vi попавших в них наблюдений, приведенными в табл. 5. Поскольку оценки ^ = 0,082 и ^ = 1,34 неизвестных среднего ^1 и дисперсии $2 нами уже получены, найдем, воспользовавшись [1, с. 112-113], гипотетические вероятности Pi попадания наблюдаемой величины X в рассматриваемые интервалы:
Р = Ф(-1;^,#2*) = ф(~‘ Д*) = ф(~’ Д2^) = Ф(-0,935) = 0,175,V 7 V 71,34 ;
Р2 = Ф(0;О) - ФЦ!;^,^) =
= Ф(—0,071) - Ф(—0,935) = 0,472 - 0,175 = 0,297, Рз = Ф(1;О) - Ф(0;7,7*) =
= Ф(0,793) - Ф(-0,071) = 0,786 - 0,472 = 0,314,
Р4 = 1 -Ф(1;^,^) = 1 — Ф(0,793) = 1 -0,786 = 0,214.
Таблица 5
Интервал
(-00,-1)
(-1-0)
(0,1)
(1,<Х>)
Pl
0,175
0,297
0,314
0,214
VI
9
15
16
10
TlPl
8,7
14,8
15,7
10,7
Ci - TiPO2
0,09
0,04
0,09
0,49
Ci - nPX/^nPO
0,001
0,003
0,006
0,046
Теперь определим значение статистики
2 = у= 0 0010 0()30 0060 046 = 0 056
Число степеней свободы ^-распределения равно единице (число интервалов наблюдения L = 4, число неизвестных параметров к = 2). Сравнивая полученное значение %2 = 0,056 с 0,95-квантилью ^-распределения с одной степенью свободы 7^0,95 = 3,841 [1, с. 167], видим, что и критерий %2 подтверждает гипотезу Hq.□
Критерии однородности двух выборок
В этом параграфе мы обратимся к постановке задачи, несколько отличной от изучавшихся ранее. А именно, будем рассматривать две выборки и проверять гипотезу о том, что эти выборки извлечены из одной и той же генеральной совокупности. Итак, пусть мы имеем независимые выборки: Xi,..., Хп, произведенную из генеральной совокупности с неизвестной теоретической функцией распределения Е\^х\ и У1,...,УШ, произведенную из генеральной совокупности с неизвестной теоретической функцией распределения Е^хУ Проверяются две сложные непараметрические гипотезы: основная Но'. Е\(х) = Е^х^ и конкурирующая Щ; Е\(х) ^ Е2^х\ Будем предполагать, что функции Е\(х) и F2(х) непрерывны. Поскольку справедливость гипотезы Но, по сути дела, означает, что выборки Х\,, Хп и Уц ..., Ут произведены из одной и той же генеральной совокупности, критерии для проверки гипотез Яо и Н\ называются критериями однородности двух выборок. Приведем два таких критерия.
Критерий Смирнова. Критерий Смирнова использует ту же идею, что и критерий Колмогорова, но только если в критерии Колмогорова эмпирическая функция распределения сравнивается с гипотетической, то в критерии Смирнова между собой сравниваются две эмпирические функции распределения. Статистика критерия Смирнова задается выражением
р = \Г^ sup
V it | lit ОС < х < ОО
где F^(x) и F^(х) — эмпирические функции распределения, построенные по выборкам Xi,..., Хп и ¥\,...,¥т соответственно. Критерий Смирнова предписывает принять гипотезу Но, если р < С, и отвергнуть в противном случае.
При условии справедливости гипотезы Но распределение статистики р (а значит, и уровень значимости а) не зависит от распределения F\ (х) = F^ (х) (доказательство этого факта слово в слово повторяет доказательство инвариантности статистики критерия Колмогорова). При малых объемах выборок (n, m < 20) критические значения С для заданных уровней значимости (размеров) критерия а приведены в табл. 6.5а [1]. При п,т сю распределение статистики р сходится к распределению Колмогорова K^xY что позволяет приближенно вычислять уровень значимости критерия Смирнова по формуле а = 1 - К (С) (распределение Колмогорова К^ приведено в табл. 6.1 [1]) и, наоборот, определять критическое значение С при заданном уровне значимости а как (1 — а)-квантиль распределения Колмогорова K(xY
Пример 11. На двух реакторах были проведены сходные эксперименты, в результате которых возникли новые частицы. Для анализа экспериментальных данных были замерены энергии п = 631 частицы, полученной на первом реакторе, и т = 839 частиц, полученных на втором реакторе, и построены эмпирические функции распределения энергии частиц F*(x) и F^xY Когда F*(x) и F^x) сравнили, оказалось, что sup \F*(x) - F^xY = 0,042.
Проверим с помощью критерия Смирнова уровня значимости (размера) а = 0,2 гипотезу Но о том, что на обоих реакторах возникали одни и те же частицы. Для этого вычислим значение статистики критерия
/ ПТП I т-f* / \ \ I / 631 • 839 „ A QA
Р = \ sup IF1 Vе) - f2 (ж)I = а/ 0,042 = 0,80 у u Щ тп —оо<ж<оо V Щ 839
и сравним полученное значение р с 0,8-квантилью распределения Колмогорова ко,8 = 1,07 [1, с. 346]. Поскольку р < ко,%, то у нас есть основания считать гипотезу Но справедливой. □
Критерий Вилкоксона. Образуем из выборок Х\,...,ХП и ¥\,...,¥т один общий вариационный ряд (табл. 6) и отметим последовательные порядковые номера (ранги) т\,Т2,... ,тт элементов выборки ¥\,...,¥т в общем вариационном ряду (в табл. 6 рангами гь г2,..., rm будут 2, 3,..., n + т — 1).
Таблица 6
Х^
¥^
^2
х:
¥т
Xn
1
2
3
4
5
6
nF m-Y
nFm
S1
«2
S3
S4
S5
S6
8тъ-\-т-\
Sn+m
Критерии, позволяющие только на основе рангов Тх,...,тт принимать или отвергать гипотезу Но, называются ранговыми критериями. Их достоинством является чрезвычайная простота.
Поскольку при условии справедливости гипотезы Но все возможные комбинации рангов тх,...,тт равновероятны (всего таких комбинаций ^"^т^у то уровень значимости (размер) рангового критерия не зависит от распределения Fx(x) = F2^x\
Обычно в качестве статистики рангового критерия используют сумму KTt) Г ...-\-f (тт), где /(г) — некоторая функция, определенная для всех г = 1, 2,... ,п У т. Мы рассмотрим один тип ранговых критериев — критерий Вилкоксона.
Пусть (si, S2,..., sn+m) — одна из (п + т)! возможных перестановок чисел 1,2,..., п + т (т. е. расположенные в произвольном порядке числа 1,2,..., п + mY Положим f(r) = sr (см. табл. 6). Статистика критерия Вилкоксона задается формулой
w = sn + ... + srm.
Односторонний критерий Вилкоксона предписывает принять гипотезу Но, если ш > С, и отвергнуть, если ш < С, где С — критическое значение одностороннего критерия Вилкоксона.
При использовании двустороннего критерия Вилкоксона мы должны принять гипотезу Но, если Сх < w < С^ (Ci < С2), и отвергнуть ее, если либо w ^ С2, либо w ^ Сь Нижнее Сх и верхнее С2 критические значения двустороннего критерия Вилкоксона связаны между собой соотношением Сх + С2 = N, где N = т^т + п + 1).
Выбор перестановки (si, §2,..., sn+m) осуществляется до опыта таким образом, чтобы по возможности наилучшим образом разделить выборки Хх,...,Хп и Ух,...,Ут при наименее благоприятном соотношении между теоретическими функциями Fx(x) и F2^ или, иными словами, чтобы при заданном соотношении между Fx(x) и F2^ мощность критерия была бы максимальна. Так, если к наиболее опасным последствиям ведет отождествление наблюдаемых величин X и У в случае, когда У систематически меньше X (т. е. ^(ж) < F2^x) при всех х), то естественно положить sr = г и воспользоваться односторонним критерием Вилкоксона. Если же одинаково пагубными представляются и случай X систематически меньше У, и случай У систематически меньше X (т. е. одновременно для всех х либо Fx(x) < F2^x), либо F2(x) < Fx(x)), то опять-таки нужно взять sT = г, но использовать двусторонний критерий Вилкоксона. Или еще пример: из каких-то соображений стало известно, что наблюдаемые величины X и У в среднем приблизительно одинаковы (MX = МУ), и нужно проверить основную гипотезу Но*, разброс случайных величин X и У одинаков против конкурирующей гипотезы Нх*. разброс У больше разброса X. При выполнении гипотезы Нх наблюдаемые значения величины У (выборка Ух,...,Ут) будут в основном сосредоточиваться в начале и в конце
общего вариационного ряда и весьма разумным представляется выбор перестановки si = 1, sn^m = 2, sn^m_x = 3, s2 = 4, s3 = 5, sn+m_2 = 6 и т. д.
Если верна основная гипотеза Н^; F\(x) = ^(ж), то распределение статистики критерия Вилкоксона зависит лишь от объемов выборок п и т и не зависит от конкретно используемой перестановки (si, 82,..., sn+m). Поэтому в соответствии с принципом классической вероятности уровень значимости (размер) а одностороннего критерия Вилкоксона для критического значения С определяется как число тех сочетаний (n,...,rm) из п + т элементов по т, для которых П + ... + гт < С, отнесенного к общему числу сочетаний fn~^m\
Поскольку обычно, наоборот, по уровню значимости а определяют критическое значение С, то именно такая таблица приведена в [1] (табл. 6.8).
Уровень значимости двустороннего критерия Вилкоксона находится как удвоенный уровень значимости одностороннего критерия с С = Ci. Для вычисления критических значений Q и С2 двустороннего критерия с уровнем значимости а мы должны по табл. 6.8 определить критическое значение С одностороннего критерия с уровнем значимости а/2, а затем положить С\ = С и С2 = N - С\ (N = т(п + m + 1)).
Наконец, если объем хотя бы одной из выборок Х\,...,Хп или Y\,...,Ym велик, можно воспользоваться асимптотической нормальностью статистики Вилкоксона ш со средним 7V/2 и дисперсией тп(т + п + 1)/12; в этом случае при заданном уровне значимости а следует положить для одностороннего критерия
N тп^т + п + 1)N тп^т + п + 1)
N тп^т + п + 1)
N тп^т + п + 1)
а для двустороннего —
где сра — cv-квантиль стандартного нормального закона ([1], табл. 1.3).
Пример 12. Для сравнительного анализа надежности крепежных болтов, выпускаемых двумя заводами, были проверены на разрыв п = 24 изделия первого завода и т = 20 изделий второго. Силы натяжения (xlO5 Н), при которых произошли разрывы изделий первого и второго заводов, приведены в табл.7 и 8.
Таблица 7
ХхХ2Х3х4Х5Хб2,492,813,092,502,202,90Х13Х|4х15-УшXi?х181,012,604,601,183,123,58ХхХ2Х3х4Х5Хб2,492,813,092,502,202,90Х13Х|4х15-УшXi?х181,012,604,601,183,123,58х7Х&Х9Х10ХпХ|22,892,172,631,722,453,31У20-У21х22У23Х244,481,261,171,713,753,23х7Х&Х9Х10ХпХ|22,892,172,631,722,453,31У20-У21х22У23Х244,481,261,171,713,753,23
Хх
Х2
Х3
х4
Х5
Хб
2,49
2,81
3,09
2,50
2,20
2,90
Х13
Х|4
х15
-Уш
Xi?
х18
1,01
2,60
4,60
1,18
3,12
3,58
Хх
Х2
Х3
х4
Х5
Хб
2,49
2,81
3,09
2,50
2,20
2,90
Х13
Х|4
х15
-Уш
Xi?
х18
1,01
2,60
4,60
1,18
3,12
3,58
х7
Х&
Х9
Х10
Хп
Х|2
2,89
2,17
2,63
1,72
2,45
3,31
У20
-У21
х22
У23
Х24
4,48
1,26
1,17
1,71
3,75
3,23
х7
Х&
Х9
Х10
Хп
Х|2
2,89
2,17
2,63
1,72
2,45
3,31
У20
-У21
х22
У23
Х24
4,48
1,26
1,17
1,71
3,75
3,23
Таблица 8
Уз
У4
У
Уб
У
У
У
Уо
3,37
3,08
4,79
3,71
3,06
3,86
3,77
2,80
3,70
4,83
41
У2
Уз
У4
У5
Уе
У 7
Уз
У9
Уо
2,12
3,57
1,60
5,48
5,76
4,43
4,59
4,11
2,36
2,33
Проверим с помощью критерия Вилкоксона уровня значимости (размера) а = 0,01 гипотезу Но о том, что надежность изделий обоих заводов одинакова. Для того чтобы воспользоваться критерием Вилкоксона, нужно сначала задать перестановку (si,..., sn+m). Анализируя условия задачи, видим, что наименее благоприятным будет случай, когда надежность болтов, выпускаемых одним заводом, систематически меньше надежности аналогичных изделий другого завода, и, значит, в качестве перестановки (si,...,S44) естественно выбрать перестановку (1,2,..., 44), причем из-за отсутствия априорных предпосылок предпочесть изделия какого-либо завода мы должны воспользоваться двусторонним критерием Вилкоксона. Образуем теперь общий вариационный ряд выборок Ад,..., Х24 и У, ..., У20 (табл. 9) и определим значение статистики w критерия Вилкоксона
w = 5 + 8+ll + ... + 43 + 44 = 571.
Так как мы используем двусторонний критерий Вилкоксона, то нижнее критическое значение Сх при уровне значимости а = 0,01 совпадает с критическим значением С = 341 одностороннего критерия Вилкоксона, имеющего уровень
Таблица 9
Адз
^21
^16
АД)
Уз
^22
Адо
Ун
Х8
Х5
Уо
1,01
1, 17
1,18
1,26
1,60
1,71
1,72
2, 12
2, 17
2,20
2,33
1
2
3
4
5
6
7
8
9
10
11
У9
X,
х4
Ад4
Хо
У
х2
%7
Х6
Х5
2,36
2,45
2,49
2,50
2,60
2,63
2,80
2,81
2,89
2,90
3,06
12
13
14
15
16
17
18
19
20
21
22
х2
Х3
У|7
Х24
Х12
У
Ад2
Адв
У
Адз
У
3,08
3,09
3,12
3,23
3,31
3,37
3,57
3,58
3,71
3,75
3,76
23
24
25
26
27
28
29
30
31
32
33
У
У
У8
У16
Адд
У 7
Ад5
Уз
Уо
У4
Ую
3,77
3,86
4, 11
4,43
4,48
4,59
4,60
4,79
4,83
5,48
5,76
34
35
36
37
38
39
40
41
42
43
44
значимости 0,005 [1, с. 360], а верхнее критическое значение С^ определяется формулой
С2 = N - Су = 20 (24 + 20 + 1) - 341 = 900 - 341 = 559.
Сравнивая значение статистики w = 571 с критическими значениями Су и С2, видим, что w > С^. Таким образом, гипотезу Но об одинаковой надежности крепежных болтов, выпускаемых обоими заводами, нужно признать не соответствующей результатам проверки, а для практических потребностей рекомендовать изделия второго завода как более надежные.□
Глава 4
НЕКОТОРЫЕ ЗАДАЧИ,
СВЯЗАННЫЕ С НОРМАЛЬНЫМИ ВЫБОРКАМИ
Мы уже не раз указывали на ту важную роль, которую играет в теории вероятностей и ее приложениях нормальный закон. Естественным отражением этой роли в математической статистике является наличие специальных методов, ориентированных на нормально распределенные выборки. Некоторые из этих методов и будут рассмотрены в настоящей главе. Однако сразу же условимся, что сюда не будут включены такие задачи, как оценка неизвестных параметров нормального закона и построение для них доверительных интервалов, проверка гипотез о параметрах нормального закона и т.п., поскольку они решаются общими методами, изложенными в предыдущих главах.
Общая характеристика задач
Прежде чем приступить к описанию задач, рассматриваемых в данной главе, заметим, что хотя всюду в этой главе и будет предполагаться нормальность всех выборок, предлагаемые методы с разной степенью обоснованности можно применить и к выборкам, отличающимся от нормальных. В частности, полученные по методу наименьших квадратов оценки параметров линейной и регрессионной моделей, для нормального случая являющиеся эффективными, в случае произвольно распределенной выборки также будут иметь минимальные дисперсии, но в классе линейных (т. е. выражаемых линейно через элементы выборки) оценок. Однако применение t- и %2-распределений для построения доверительных интервалов и проверки гипотез в тех же моделях ведет к существенным ошибкам в выводах, причем при отклонениях теоретического распределения от нормального использование ^-распределения, как правило, приводит к меньшим ошибкам, чем использование %2-распределения. Здесь мы сталкиваемся с важной проблемой чувствительности (или, как сейчас модно говорить, роба- стости) статистических процедур к воздействиям определенного типа. Интерес к этой тематике усиливает еще и то, что в реальной жизни вряд ли можно встретить «100%-чистое» нормальное распределение. Саму проблему робастости мы здесь не рассматриваем, отсылая заинтересованного читателя к специальной литературе.
Материалы настоящей главы можно условно разбить на две части.
В первой части (параграфы 2-4) рассматриваются некоторые специальные критерии согласия (параграф 2), критерии равенства дисперсий нескольких выборок (параграф 3) и задачи, связанные с выборочным
коэффициентом корреляции (параграф 4). Изложенные здесь результаты можно применять как вспомогательные при анализе моделей второй части, но они представляют и самостоятельный интерес.
Вторая часть главы (параграфы 5-8) предназначена для первоначального знакомства читателя с общей линейной моделью (иногда говорят «гипотезой», однако мы предпочитаем употреблять слово «гипотеза» только в первоначальном смысле), регрессионной моделью и задачами дисперсионного анализа. По сути дела, эти три раздела столь близки между собой, что задачи, формулируемые в одном из них, легко переформулировать в терминах другого; кроме того, объединяющим их стержнем является метод наименьших квадратов. Собственно говоря, параграфы 5-7 дают тройной пересказ практически одинакового материала. Однако мы сознательно позволяем себе такую роскошь, поскольку, во-первых, читатель должен научиться ориентироваться в проблемах математической статистики и ему нужно дать хотя бы минимальные сведения о всех наиболее важных возможных подходах, а во-вторых, каждый подход обладает своей «изюминкой». В частности, общая линейная модель позволяет геометрически наглядно выяснить причину появления метода наименьших квадратов, регрессионная модель обладает простым физическим смыслом, а дисперсионный анализ проясняет ту роль, которую играет правильная группировка составляющих выборочной дисперсии при проверке гипотез об отсутствии действия различных факторов. Наконец, последний параграф главы дает некоторое представление о планировании эксперимента в дисперсионном анализе, т. е. о методах, позволяющих при минимальном числе наблюдений получить по возможности наиболее обоснованный ответ на вопрос о существовании воздействия факторов на рассматриваемое явление. В этой связи отметим важную роль, которую играет в планировании эксперимента теория Галуа. Однако поскольку не предполагается знакомство читателя с этой теорией, мы ограничились здесь общей постановкой задачи и выписыванием простейших планов.
Последнее замечание касается принятых в этой главе обозначений. Мы вернемся к использованным нами в курсе теории вероятностей обозначениям тиа2 параметров нормального закона, поскольку из постановки задачи всегда будет видно, значение какого из этих параметров известно, а какого — нет.
Критерии согласия
Рассматриваемые в этом параграфе критерии согласия проверяют сложную основную гипотезу Ну. теоретическая функция распределения F(x) является нормальной (т. е. выборка Xi,..., Хп произведена из нормальной генеральной совокупности с неизвестными параметрами т и ст2) против сложной альтернативной гипотезы Ну. теоретическая функция распределения не является нормальной. Разумеется, приведенные в гл. 3 критерии согласия (Колмогорова, и? и у2) применимы
и в этом случае, однако на практике проверку на нормальность часто начинают с использования более простых, хотя, вообще говоря, менее мощных критериев, основанных (кроме критерия исключения резко выделяющихся наблюдений) на сравнении эмпирических и теоретических моментов выборки. Естественно, поскольку мы не интересуемся 9
конкретными значениями среднего т и дисперсии а , а они являются определяющими параметрами нормального закона, во всех предложенных ниже критериях будут использоваться их оценки: выборочное среднее т* = ^ и выборочная дисперсия s2* = ^ -—г-—
7=17=1
Выборочный момент первого порядка (выборочное среднее) т* = т\ для построения критерия согласия мы использовать не можем, поскольку он уже применен в качестве оценки среднего нормального закона (по аналогичной причине не используется выборочный второй момент), однако мы можем обратиться к выборочному абсолютному центральному моменту первого порядка. Рассмотрим статистику
nv s2* г=1
Нетрудно показать, что при условии справедливости гипотезы Но распределение статистики р* зависит только от объема выборки п и не зависит от параметров т и а нормального закона, а в силу закона больших чисел и состоятельности Vs2* как оценки среднего квадратичного отклонения сама статистика р* при п оо сходится к первому абсолютному моменту р стандартного нормального распределения (равному примерно 0,8). Естественно, если значение статистики р* сильно отличается от р, следует отклонить гипотезу Но- Значит, гипотеза Но принимается, если Ci < р* < С^. Е1ри заданном уровне значимости (размере) а обычно для симметрии полагают С\ = ра^ и С% = Рх-а/2» гДе Ца ~ ск-квантиль статистики р*, построенной по выборке объема п при условии справедливости гипотезы Hq. Значения ра для некоторых п и а можно найти в табл. 4.7а из [1].
Следующий критерий согласия основан на выборочном коэффициенте асимметрии
1 п
Е1оскольку нормальный закон имеет симметричную относительно среднего т плотность распределения, то при условии справедливости гипотезы Но плотность распределения выборочного коэффициента асимметрии симметрична относительно нуля, и, значит, естественно использовать критерий, инвариантный относительно замены знака а* на противоположный. Кроме того, при условии справедливости гипотезы Но распределение выборочного коэффициента асимметрии зависит только
от объема выборки п и не зависит от т и а2 Сравнивая выборочный коэффициент асимметрии а* с нулем, получаем с учетом вышесказанного следующий критерий: принимаем гипотезу Но, если —С < а* < С, где при уровне значимости (размере) а нужно положить С = «1-^/2, а аа — а-квантиль статистики а* при условии, что выборка объема п произведена из нормальной генеральной совокупности. Значения аа для некоторых п и а приведены в табл. 4.76 из [1].
Еще один критерий согласия проверяет близость выборочного эксцесса
W ) -=1
к теоретическому эксцессу 7 = М(Х — MX)4/(DX)2, равному 3 для нормального закона. По-прежнему, критерий уровня значимости а предписывает принять Яо, если 7^/2 < 7* < 7i-q/2, гДе 7а — ct-квантиль статистики 7*, построенной по нормальной выборке объема п. Значения 7^ для некоторых п и а содержатся в табл. 4.7в из [1].
Наконец, последний приводимый здесь критерий согласия основан на минимальном и максимальном значениях элементов выборки (крайних членах вариационного ряда). Часто этот критерий называют критерием исключения резко выделяющихся наблюдений, поскольку он обычно применяется, когда в выборке наряду с элементами нормальной генеральной совокупности присутствуют отдельные «засоряющие» элементы, не принадлежащие этой генеральной совокупности, и их необходимо исключить по результатам анализа выборки. Критерий основан на том, что плотность нормального распределения весьма быстро стремится к нулю при удалении от среднего. Следовательно, наличие очень больших или очень маленьких значений наблюдений в выборке говорит о том, что эта выборка не может принадлежать нормальной генеральной совокупности. Статистика критерия имеет вид
х* = max |Х^ — ш*|.
у §2* 1 ^г^п
Гипотеза Но принимается с уровнем значимости а, если х* < х\_а, где ха — cv-квантиль статистики х* при условии нормальности выборки; значения ха для некоторых п и а приведены в табл. 4.8в из [1].
Пример 1. В примерах 7, 8 и 10 гл. 3 мы уже проверяли гипотезу Но о нормальности проекции X вектора скорости молекулы водорода (выборка Х\,, Х^о приведена в табл. 2 гл. 1). Вновь вернемся к этой гипотезе и проверим ее при уровне значимости а = 0,02 с помощью описанных выше критериев. Вычисления дают следующие значения соответствующих статистик (значения т* и s2* найдены в примере 8 гл. 1): ц* = 0,79, а* = 0,57, 7* = 3,14, х* = 2,90. Сравнивая эти значения с критическими значениями /10,01 = 0,7291, цо,99 = 0,8648, ао,99 = 0,787 ([1, с. 258]; значения цо,ох и цо,99 взяты для объема выборки п = 51 как ближайшего к 5 0), 70,01 = 1,9 5, 70,9 9 = 4,9 2 (там же, с. 259), жо,98 = 3,370 (там же, с. 262), убеждаемся, что и проверка по этим четырем критериям подтверждает гипотезу Но. □
Предостережение. Итак, гипотезу о нормальности проекции вектора скорости молекулы водорода мы проверили с помощью семи (!) критериев. Собственно говоря, мы действовали как сверхосторожный исследователь, придерживающийся принципа «семь раз отмерь, один раз отрежь». Такой исследователь, испытав все известные ему критерии (допустим для определенности, что их к\ принимает основную гипотезу Но только тогда, когда все они дают положительный результат, или, по сути дела, использует некий «обобщенный» критерий. Предполагая, что уровни значимости отдельных критериев равны ац,..., а^, вычислим уровень значимости а «обобщенного» критерия. Если статистики отдельных критериев независимы, то по формуле умножения вероятностей
а = 1 - (1 - ац) ••• (1 - akY
В том случае, когда статистики зависимы, общий уровень значимости может достигать даже величины ai + ... + ак- Это нужно учитывать при использовании «обобщенного» критерия и задавать для каждого отдельного критерия уровень значимости, меньший, чем при использовании только одного критерия. Разумеется, это предостережение относится не только к критериям проверки выборки на нормальность, но и к критериям, проверяющим любую статистическую гипотезу.
У читателя, ознакомившегося с материалами настоящего параграфа, может возникнуть естественное желание использовать подобного вида критерии согласия, основанные на простейших статистиках типа выборочных моментов, для проверки гипотез о принадлежности теоретической функции распределения другим параметрическим семействам, например, семейству гамма-распределений. Следует сразу же предупредить читателя о возможных трудностях, которые могут встретиться на этом пути. Во-первых, для большинства семейств распределения простейших статистик зависят от истинных значений неизвестных параметров, что делает невозможным построение универсальных для всего семейства критических областей. Во-вторых, хотя мы и говорим о «простейших» статистиках, нахождение их распределений представляет собой, как правило, весьма сложную в вычислительном плане задачу. Наконец, для физического обоснования принадлежности теоретического распределения определенному семейству исследователю обычно приходится затратить такие усилия, что экономия на статистической проверке правильности выбранной модели и использование маломощных критериев просто бессмысленны.
Критерии равенства дисперсий
В моделях, исследуемых в дальнейшем в этой главе, предполагается, что имеется несколько нормальных выборок с возможно различными средними, но одинаковыми дисперсиями. Естественно, факт равенства дисперсий необходимо обосновать. Для этой цели обычно используют критерии Бартлетта, Кокрена и Фишера.
Итак, пусть имеется т независимых выборок Хп,,Х1П1,
Xmi,..., ХтПт
объемов п\,...,пт, произведенных из различных нормальных генеральных совокупностей с неизвестными средними т\,... ,тт и также неизвестными дисперсиями сг^,..., а^. Основная гипотеза Но состоит в том, что дисперсии во всех генеральных совокупностях равны: 0*1 = ... = сг^р естественно, конкурирующая гипотеза Н\\ некоторые дисперсии могут быть различными.
Статистика критерия Бартлетта задается выражением
Ь =^ ^ - 1) 8^ - £(пг - 1) lnS2*,
\г=1/г=1
где
т1 пг1 пг
г=1г=1г=1
(смысл введения статистики b заключается в том, что она позволяет привести задачу проверки гипотезы о равенстве дисперсий нормальных выборок к задаче проверки гипотезы о равенстве средних приближенно нормальных выборок; для строго нормальных выборок эта задача будет решена в параграфе 7). Если гипотеза Но верна и все гц ^ 6, то отношение
В = b 1 + 3(m — 1) ( Е - NLх7 \г=1
распределено приближенно по закону у2 с m — 1 степенями свободы. Поэтому критерий Бартлетта, имеющий уровень значимости (размер), примерно равный а, предписывает принять гипотезу Но, если В < Х^-а’ и отклонить в противном случае. Здесь, как обычно, через Ха обозначена ск-квантиль %2-распределения с т — 1 степенями свободы (см. [1, табл. 2.2а]).
Уточнение критерия Бартлетта на случай, когда хотя бы одно из гц может быть меньше 6, можно найти в [1]. Там же содержатся таблицы (табл. 4.3), необходимые для использования уточненного критерия.
Если все выборки имеют одинаковый объем (тг\ = ... = пт = п), то для проверки гипотезы Но против гипотезы Н\ можно воспользоваться, вообще говоря, менее мощным, но зато более простым критерием Кокрена. Статистика критерия Кокрена задается формулой
s2*
£ чпах
I I 2* ’
9 П. П. Бочаров, А. В. Печинкин
где s^ax = max s2*. Критерий Кокрена предписывает принять Яо с уровнем значимости а, если G < Ga, где Ga — а-квантиль распределения статистики G при условии справедливости основной гипотезы Яо; приближенные значения Ga для некоторых а, т и и = п — 1 приведены в [1, табл. 4.36].
Наконец, если т = 2 (%i и П2 могут быть различными), то для проверки гипотезы Яо о равенстве дисперсий двух выборок лучше всего использовать критерий Фишера. Статистика критерия Фишера определяется формулой
где s2* и ,s|* — выборочные дисперсии первой и второй выборок. Поскольку при условии справедливости Яо статистики (%i — l)s2* И (П2 — 1)^2* с ТОЧНОСТЬЮ ДО ОДНОГО И ТОГО же сомножителя а2 = а^ = = а2 имеют %2-распределения с п\ — 1 и П2 — 1 степенями свободы, то статистика х имеет Я-распределение с параметрами П2 — 1 и ni — 1.
Односторонний критерий Фишера проверяет основную гипотезу Яо: а2 = а2 против конкурирующей гипотезы Яц ст2 < сг^; критическая область одностороннего критерия Фишера при уровне значимости а задается неравенством х > р\_а.
Двусторонний критерий Фишера проверяет основную гипотезу Яо: а2 = а^ против конкурирующей гипотезы Яь а2 ^ т-^; его допустимая область определяется двумя неравенствами: р^ < х < ру-а^- Здесь ра — а-квантиль Я-распределения с параметрами П2 — 1 и пх — 1.
Можно показать, что односторонний критерий Фишера является равномерно наиболее мощным несмещенным критерием. Двусторонний критерий Фишера также будет обладать этим свойством, если критическую область выбирать в виде Сх < и < С^ где Сх и С^ — определяемые специальным образом постоянные (см. [12]). Правда, сложность подбора постоянных Сх и С2 обычно не оправдывает незначительного увеличения мощности критерия от замены р^ и рх-а/2 на Сх и С^.
Заметим также, что с помощью распределения Фишера нетрудно определить и мощности одностороннего и двустороннего критериев Фишера; эти мощности зависят только от отношения дисперсий al и a^.
В дальнейшем (параграфы 5-8) односторонний критерий Фишера станет нашим основным рабочим инструментом, хотя использоваться он будет для проверки несколько иных гипотез.
Пример 2. Прибор, измеряющий скорость элементарной частицы, был опробован на пучке летящих с одинаковой (но неизвестной) скоростью электронов и на пучке летящих с одинаковой (но также неизвестной) скоростью протонов. Результаты измерения скорости 11 электронов Ххщ..., Х1,ц и 11 протонов X2J,..., Х2,ц (х107м/с) приведены в табл. 1 и 2. Проверим при уровне значимости a = 0,05 гипотезу Яо о том, что абсолютные точности измерения скоростей как электрона, так и протона совпадают. Естественно, мы предполагаем, что ошибки измерения скоростей как электронов, так и протонов
независимы, распределены по нормальному закону с нулевым средним, но, вообще говоря, разными дисперсиями erf и erf. Гипотеза Но как раз и состоит в том, что эти дисперсии совпадают: erf = erf. □
Таблица 1
^1,1
^1,2
^1,3
^1,4
-^1,5
^1,6
^1,7
^1,8
^1,9
Хи0
^1,н
7,554
7,550
7,557
7,601
7,595
7,587
7,591
7,592
7,599
7,570
7,609
Таблица 2
х2Д
^2,2
^2,3
^2,4
^2,5
^2,6
^2,7
^2,8
-^2,10
^2,11
0,820
0,802
0,821
0,805
0,843
0,818
0,842
0,830
0,786
0,828
0,799
Воспользуемся сначала критерием Бартлетта. Вычислим выборочные дисперсии sf* И 8^
m* =-L (7,554 + ... + 8,609) = 7,582,
т*2 =^ (0,820 + ... + 0,799) = 0,818,
sf*= ±[(7,554 -7,582)2 + ...+ (7,609 - 7,582)2]=0,000 433,
s2*= 1[(0,820 -0,818)2 + ...+ (0,799 - 0,818)2]=0,000 327
и значения статистик b и В
Ь= 20In (^(10 -0,000 433+ 10 -0,000 327)) -
- (10In0,000 433+ 101n0,000 327) = 101n 1,01984 = 0,196,
В = 0,196 [1 + -f— + — - —= 0,187.
L 3 V101020/J
Сравнивая значение статистики В = 0,187 со значением %о,95 = 3,841 0,95-квантили ^-распределения с одной степенью свободы [1, с. 167], делаем вывод, что гипотеза Во должна быть принята.
Применим для этой же цели критерий Кокрена (это можно сделать, поскольку объемы выборок одинаковы). Значение статистики критерия Кокрена
= 0,000 433 =
0,000 433 + 0,000 327
Сравнение статистики G с 0,95-квантилью распределения статистики Кокрена Go,95 = 0,7880 ([1], с. 243) показывает, что критерий Кокрена также предписывает принять гипотезу Bq.
Наконец, мы имеем дело с двумя выборками и, значит, можем использовать критерий Фишера, причем, поскольку не известно заранее, какая из дисперсий erf или erf больше, то мы должны проверять двустороннюю конкурирующую гипотезу Вц erf ф crj. Вычислив значение статистики
0,000 433 =
0,000 327’
и сравнив его с 0,025- и 0,975-квантилями распределения Фишера с параметрами (10,10) ^о,о25 = 0,2690 и ^о,975 = 3,7168 ([1], с. 207), мы опять-таки приходим к необходимости принять гипотезу Hq.
Интересно отметить, что в данном случае (две выборки одинакового объема) все три критерия (Бартлетта, Кокрена и Фишера) совпадают и нам достаточно было воспользоваться только одним из них.
Выборочная корреляция
В этом параграфе мы обратимся к постановке задачи, несколько отличной от рассматривавшихся ранее. Будем считать, что выборка Xi,...,Xn является двумерной, причем элементы выборки Хг = (XibXi2) представляют собой двумерные случайные величины, имеющие совместное нормальное распределение со средними т\ и m2, дисперсиями а^ и а^ и коэффициентом корреляции р. Как известно из курса теории вероятностей, коэффициент корреляции изменяется в пределах от — 1 до +1, причем в случае нормального распределения равенство коэффициента корреляции нулю эквивалентно независимости компонент выборки Xi\ и Х^.
Довольно часто встречаются задачи, в которых необходимо либо проверить гипотезу о независимости компонент Х^) и Х^ наблюдаемого вектора X (т. е. равенстве нулю коэффициента корреляции), либо найти оценку и построить доверительный интервал для коэффициента корреляции. Именно эти задачи мы рассмотрим в настоящем параграфе. Отметим, что корреляционный статистический анализ, о котором пойдет сейчас речь, обычно предшествует рассмотрению задач регрессионного и дисперсионного анализа (см. далее), а иногда даже полностью заменяет регрессионный анализ. Очевидно, что наиболее естественной оценкой коэффициента корреляции р является выборочный коэффициент корреляции
£(ХЯ
^Хп-т^Х^-т^
т^-^Хц, т2 = -^Х^'
ТЪП
г=1г=1
Можно показать, что распределение статистики р* зависит только от объема выборки п и коэффициента корреляции р и не зависит от остальных параметров нормального вектора Х = (Х(р,Х(2)), а сама статистика р* является состоятельной асимптотически эффективной (в смысле теоремы 7 из гл. 2) оценкой коэффициента корреляции р.
Разумным представляется и критерий проверки гипотезы Но*, р = 0 о независимости Х^) и Х^ против гипотезы Н\\ р О (компоненты Х^ и Хр^ зависимы), предписывающий принять гипотезу Но в том случае, когда ра^ < р* < рх-а/^- Здесь ра — а-кван- тиль выборочного коэффициента корреляции при условии справедливости гипотезы Но (р = 0); в силу симметрии имеет место тождество Ра = — Рх—а* Значения а-квантилей выборочного коэффициента корреляции приведены в табл. 4.5а из [1].
Можно показать [12], что приведенный критерий является равномерно наиболее мощным несмещенным критерием.
Пример 3. В табл. 3 приведены значения роста (см) Ххд,..., X50,i и веса (кг) Xi;2,..., Хбо,2 50 выбранных случайным образом мужчин. Считая, что рост и вес мужчины подчинен двумерному нормальному закону и используя выборочный коэффициент корреляции, проверим гипотезу Но о независимости роста и веса. Уровень значимости (размер) критерия a = 0,05. □
Таблица 3
г
1
2
3
4
5
6
7
8
9
10
Хи
168,1
159,1
171,3
179,6
166,9
162,9
182,8
166,3
174,4
177,8
хй
77,24
64,48
77,93
72,51
72,08
70,02
79,91
67,22
68,42
76,20
г
11
12
13
14
15
16
17
18
19
20
хгХ
171,1
170,6
153,9
175,3
170,6
173,8
181,4
174,2
170,4
163,0
Хй
68,41
69,92
58,18
79,16
73,34
71,66
84,04
77,41
73,36
72,94
г
21
22
23
24
25
26
27
28
29
30
Хи
173,8
175,5
179,8
167,8
163,7
177,4
176,4
178,1
170,2
179,2
хй
81,85
71,01
76,69
68,97
65,41
75,28
83,33
75,73
70,43
73,01
г
31
32
33
34
35
36
37
38
39
40
Хи
171,8
171,7
169,2
166,2
161,7
162,7
167,7
170,5
171,7
184,5
Хй
72,00
73,03
73,98
73,70
69,90
72,33
78,63
83,05
80,46
82,73
г
41
42
43
44
45
46
47
48
49
50
Хи
165,8
175,7
176,0
170,5
163,0
170,4
172,1
181,0
180,2
157,4
ХЙ
69,80
71,46
82,41
77,08
63,77
66,78
88,15
73,60
77,54
56,84
Вычислим значение выборочного коэффициента корреляции р*; m* = Р (168,1 + ... + 157,4) = 171,3,
т2 = ^ (77,24 + ... + 56,84) = 73,66,
50
- т*)2 = (168,1 - 171,3)2 + ... + (157,4 - 171,3)2 = 2266,5,
50
^(ХЙ - т^2 = (77,24 - 73,66)2 + ... + (56,84 - 73,66)2 = 1991,0,
50
-т\^Х^-т^ = 1391,2, р* = 0,655.
г=1
Сравнивая р* с 0,975-квантилью выборочного коэффициента корреляции Ро,975 = 0,273 [1, с. 248], видим, что гипотеза Но о независимости роста и веса должна быть отвергнута.
Что касается построения доверительных интервалов для коэффи- циета корреляции р, то Р. Фишер предложил преобразование
д = arcth р* = In J—L£.г 21 - р
которое при п > 20 приводит к статистике д с близким к нормальному распределением. При этом
» 1т 1 + PМд = - In -—-21 - р» 1т 1 + PМд = - In -—-21 - ррfi _+
» 1т 1 + P
Мд = - In -—-
21 - р
» 1т 1 + P
Мд = - In -—-
21 - р
2 (п — 3) \4 (п - 3)
1 Л _ р2 _ 2 - 6/>2 + 3/>4п-3 \2(п —3)6(п —З)2
Таким образом, величина (г — МД/ЦоГ распределена практически по стандартному нормальному закону и при построении доверительного интервала для коэффициента корреляции можно воспользоваться стандартным методом, изложенным в параграфе 6 гл. 2. Значения самого преобразования Фишера содержатся в табл. 4.56 из [1]. Кроме того, в табл. 4.5в [1] приведены графики квантилей выборочного коэффициента корреляции р* в зависимости от р и п. Эти графики позволяют определить доверительные границы для коэффициента корреляции без всяких вычислений.
□□Пример 4. В условиях предыдущего примера определим границы двустороннего симметричного доверительного интервала доверительной вероятности а = 0,95 для коэффициента корреляции роста и веса мужчины. Как мы вычислили ранее, значение выборочного коэффициента корреляции р* = 0,655. Воспользуемся графиком, приведенным в [1, с. 250]. Проводя вертикаль через точку р* = 0,655 и вычисляя ординаты ее пересечения с кривыми для п = 50, получаем
□
□
р = 0,45, р" = 0,79.
Общая линейная модель,метод наименьших квадратов
Пусть имеется последовательность наблюдений Х\,..., Хп, однако в отличие от ранее использовавшегося понятия выборки будем полагать, что хотя наблюдения Х\,...,Хп независимы, они не обладают свойством одинаковой распределенности. А именно, Xt распределены нормально с одинаковой (неизвестной) дисперсией а2, но с различными (неизвестными) средними. Вектор средних (т\,...,тп) будем обозначать через т. Общая линейная модель заключается в априорном предположении, что вектор m лежит в некотором линейном подпространстве L размерности I < п пространства Rn. Именно относительно вектора m мы будем делать наши статистические выводы.
Следует отметить, что использование общей линейной модели позволяет в случаях, когда имеется нормальность или даже асимптотическая нормальность определенных характеристик, получить многие результаты предыдущих глав [12]. Однако цель этого параграфа гораздо скромнее: выяснить, какое место в исследовании линейной модели занимает метод наименьших квадратов.
Как и раньше, статистические задачи, возникающие при анализе общей линейной модели, можно отнести к двум типам: оценка неизвестных параметров и проверка статистических гипотез.
Задачу оценки неизвестных параметров можно поставить следующим образом. Из курса линейной алгебры известно, что любой вектор m из линейного подпространства L можно представить в виде линейной комбинации
Im = Мг=1
линейно независимых (базисных) векторов di,...,d/. Необходимо по наблюдениям Х\,...,Хп оценить коэффициенты dt разложения вектора m по базисным векторам dz и построить для dt доверительные интервалы.
Пример 5. Пусть зависимость некоторой переменной ж от времени описывается линейной функцией ж = ж(£) = ^i + ^t, причем параметры ^i и ^2 неизвестны. Для их определения в моменты ti,...,tn производятся наблюдения, однако в силу случайных ошибок вместо ж(^) результатами наблюдений являются величины
Xi = ж(^) + £г,
где ошибки Ei независимы и распределены по нормальному закону с нулевым средним и неизвестной дисперсией о2 (здесь мы имеем дело с простой линейной регрессией; общее понятие регрессии будет введено в следующем параграфе). Требуется найти оценки ^ и ^2 неизвестных параметров $i и ^2 и построить для ^i и 1^2 доверительные интервалы.
Опишем поставленную задачу в терминах общей линейной модели. Для этого заметим, что m= (?т,...,тп) представляет собой вектор средних значений m наблюдений Х^ т. е. в силу сделанных предположений
= МА\ = ж(^) = ^1 +
Но тогда, полагая
di = (1,..., 1), d2 = (й,...Яп),получаем, что все допустимые значения вектора m описываются векторамиi^idi +^d2, т. е. представляют собой двумерное линейное подпространство L,натянутое на векторы di и d2. Итак, мы привели рассматриваемую задачук задаче оценки неизвестных параметров в линейной модели.□
Задача проверки статистических гипотез предполагает, что в линейном подпространстве L содержится некоторое линейное подпространство U, имеющее размерность V < I. Проверяемая гипотеза Но заключается в том, что вектор m лежит не только в подпространстве L, но и в подпространстве U.
Пример 6. Для проверки гипотезы Но о том, что результат некоторого эксперимента не зависит от определенного фактора, была проведена серия из п = п\ + П2 наблюдений, причем сам фактор действовал только в последних П2 наблюдениях. Считается, что результаты наблюдений Х\,..., ХПх, ХП1+Ь..., Хп представляют собой независимые случайные величины, распределенные по нормальному закону с одинаковой (неизвестной) дисперсией а2 и (неизвестными) средними т' при отсутствии и т" при наличии действия фактора. Таким образом,
МХ1 = ... = МХП1 = т, МХП1+1 = ... = МХП = т", и гипотеза Но состоит в равенстве средних т' и т" (это так называемая однофакторная двухуровневая модель дисперсионного анализа; общее определение многофакторной многоуровневой модели будет дано в параграфе 7).
В терминах общей линейной модели вектор
m = (mi,..., т^ = (т ,..., т , т",..., т") априори лежит в двумерном подпространстве L, порожденном векторами di = (1,..., 1,0,..., 0) и d2 = (0,..., 0, 1,..., 1), а проверяемая гипотеза Яо состоит в том, что m лежит также в одномерном подпространстве L', порожденном вектором d'= (!,...,!).□
Начнем с задачи проверки статистических гипотез. Выберем в пространстве Rn новый ортонормированный базис вр...,е^, такой, что первые V базисных векторов ер..., е/, порождают подпространство U, следующие I — V векторов е/,+р..., е/ дополняют подпространство U до L и, наконец, оставшиеся п — I векторов е/+р...,е^ дополняют L до Rn. Линейное преобразование, переводящее стандартный базис ei = (1,0,..., 0), ..., еп = (0,..., 0, 1) в базис ер..., е^, является ортогональным. Поэтому вектор Xх = (Хх,..., Х^), представляющий собой вектор Х = (Xi,..., Хп), записанный в новом базисе ер ...,е^, будет также состоять из независимых координат Хх,... ,Х'п, распределенных по нормальному закону с одинаковой дисперсией а и вектором средних тх = (т'р ..., т^). Однако в силу априорного предположения
о принадлежности вектора m подпространству L справедливо соотношение mz'+1 = ... = т'п = 0, а проверяемая гипотеза Яо ° принадлежности U заключается в том, что равны нулю также координаты вектора т' с номерами V + 1,..., I, т. е. т^х = ... = т[ = 0.
Определим теперь статистики
1 Z 2*
•Г -Ле # -Г7 Е (Е)2. х %.
П;=1Щ г=1Ч1 S°
Статистики Sq* и s2* являются независимыми, и, как говорилось в параграфе 4 гл. 1, случайная величина (п — 1)sq*/ct2 имеет ^-распределение с п — I степенями свободы.
Кроме того, если справедлива основная гипотеза Яо, то величина (I — F)s2*/ст2 также распределена по закону х2 с I — V степенями свободы; статистики Sq* и s2* представляют в этом случае две независимые несмещенные оценки неизвестной дисперсии ст2.
Однако если справедлива конкурирующая гипотеза Яь то несмещенной оценкой ст2 будет только статистика Sq*, а статистика s2* будет систематически больше ст2 (ее распределение представляет собой так называемое нецентральное %2-распределение), т. е. иметь положительное смещение 5 = Ms2* — ст2, тем большее, чем больше отклонение вектора m от линейного подпространства L'. Поэтому для проверки гипотезы Яо естественно применить односторонний критерий Фишера, предписывающий принять Яо, если ж < С, и отвергнуть в противном случае. При заданном уровне значимости критерия а критическое значение С совпадает с (1 — а)-квантилью р\_а ^-распределения с параметрами I - V и п - I [1, табл. 3.5].
Построенный критерий является равномерно наиболее мощным инвариантным для проверки гипотез Но и Нх.
Заметим, что нецентральное F-распределение [1, табл. 4.12] можно использовать для вычисления мощности построенного критерия; это же замечание справедливо для всех решаемых далее задач настоящей главы, в которых применяется критерий Фишера.
Однако предложенный подход обладает существенным недостатком. Обычно линейные подпространства L и U задаются неортонормиро- ванными системами базисных векторов. Поэтому, чтобы применить полученный критерий, необходимо сначала выбрать ортонормированный базис и произвести линейное преобразование вектора наблюдений X, что, как правило, представляет собой весьма трудоемкую в вычислительном плане задачу. И здесь на помощь приходит метод наименьших квадратов, позволяющий при определении Sq и sf заменить задачу нахождения линейного преобразования существенно более простой задачей поиска минимума квадратичного функционала.
Для теоретического обоснования метода наименьших квадратов полезна простейшая геометрическая интерпретация статистики (n — Z)sq* как квадрата расстояния от точки (Xi,... ,ХП) до подпро-
странства L, а статистики (I — V)s2* — как квадрата проекции вектора X на ортогональное дополнение U до L.
Сам метод наименьших квадратов заключается в следующем. Пусть (mi,...,mn) — произвольная точка в Rn. Рассмотрим квадрат расстояния S2 = £№ — ТП^2 ОТ ТОЧКИ (Х\,...,Хп) до точки г=1
(т\,..., т^ и найдем минимальное значение S2 для всех (mi,..., тп\ принадлежащих подпространству L, которое и будет совпадать с квадратом расстояния от точки (Xi, ..., Хп) до подпространства L, т. е.
Sn* = —min S2.
Т1 — I (mi,.. ^m^EL
Аналогично, статистика
= min S2
(mi,...,m^EL'
представляет собой квадрат расстояния от точки (Xi,...,Xn) до подпространства U, а значит,
2* _ S2 - (n - Z)sq*
51 " ГЛ ■
Теперь для применения критерия Фишера, проверяющего гипотезу Hq, осталось составить отношение
и сравнить его с критическим значением С = р\_а-
Как уже говорилось, при практической реализации критерия подпространства L и L' задаются системой базисных векторов
di = (du, • • •, din), • ••, d/ = (d/i, ..., din)
d( = (dp,..., d\n),..., d// = (d^,..., d^).
Тогда задача нахождения Sq* сводится к задаче нахождения минимума квадратичного функционала*.
(n-Z)sg* = min V^Xt - iMii - ... - -дЛи^ = min S2(^i,..., -д^.
Значение Sq* достигается при подстановке в S2(d\,..., ф) коэффициентов dp ..., df, определяемых из системы линейных уравнений, которые получаются дифференцированием ^(di,..., d/) по d^ и приравниванием производных нулю:
пп
^) (di dij + ... + d^ d^-)d^-= ^) d^-Xj.(1)
j=ij=i
Аналогично вычисляется значение статистики S^. Для этого сначала решается система (1), в которой вместо ^* и d^ подставлены ^'* и dd, а затем полагается S^ = S2(d\*,... Лр\
Пример 7. Обратимся к решению поставленной в примере 6 задачи.
Как мы уже говорили, подпространство L задается двумя базисными векторами:
di = (1,...,1,0,...,0), d2 = (0,... ,0, 1,..., 1).
Система уравнений (1) в данном случае имеет вид
щ^ = ^Х),^ = L^Xj = m'\
П^ = ^ Хь^2* = — 52 Х3 = т"*-
j=m+i712 j=ni+i
Поэтому
11 Г П1п
So* = —— min S2(t?i,^2) = —52 № - m'*f + 52 № m"*)2
l7=ij=m+i■
Аналогично, подпространство Id порождается вектором d'= (1,..., 1),
а система (1) состоит из единственного уравнения
(п, + п2)С = 52 Хт С = -^Xj =т*.
7 = 1П 7 = 1
Отсюда
2*
Si = mmS (^1) = Х№ - т ) , Si ==——j.
7 = 1
Простейшие подсчеты показывают, что статистику s2* можно записать также в виде:...
Si = гц\т —т ) ^ тг^т —т).
□□Сам критерий уровня значимости а заключается в следующем: мы должны принять гипотезу Hq, если х = s2*)s2^ < р\_а, где ра — «-квантиль F-pac- пределения с параметрами 1 и п — 2 [1, табл. 3.5], и отвергнуть в противном
□
□
случае.
Перейдем к задаче оценки неизвестных параметров. Напомним ее постановку. Пусть вектор m представим в виде суммы
m = 52
г= 1
где di — известные базисные векторы подпространства L, а ^ — неизвестные параметры. Задача заключается в оценке тд^ и построении для них доверительных интервалов.
И эта задача решается наиболее просто в случае, когда d^ представляют собой ортонормированную (или хотя бы ортогональную) систему
векторов. Действительно, выбирая новый ортонормированный базис
«Г = di,..., е/ = d(, е/+1,..., е,'
и вводя в рассмотрение новый вектор Xх = (Х^,..., Х^), состоящий из координат вектора X в новом базисе е^, ...,е^, получаем, что величины Xх являются независимыми и нормально распределенными с неизвестной одинаковой дисперсией а2 и средними
мх{ = ^1,..., мх; = ^, мх;+1 == мх; = о.
Как известно (см. пример 25 в гл. 2), эффективные оценки ^* параметров д^ задаются простейшей формулой ^* = Х^. Однако для построения доверительных интервалов для ^ необходимо знать дисперсию ст2 нормального закона или хотя бы ее оценку. Но такая оценка Sq*, не зависящая от ^р...,^* и с точностью до множителя (n —Z)/a2 распределенная по закону у2 с n — Z степенями свободы, легко находится из рассмотрения координат Xzx+1,..., Х^:
Таким образом, величина
t _ С -
имеет ^-распределение с п — I степенями свободы, а симметричный доверительный интервал доверительной вероятности а для ^ задается (см. пример 30 в гл. 2) границами:
где ta — а-квантиль ^-распределения с п — I степенями свободы.
Как и при проверке статистических гипотез, трудности возникают тогда, когда векторы di,...,d/ не являются ортогональными, и эти трудности также легко обходятся с помощью метода наименьших квадратов. По-прежнему, рассмотрим квадратичный функционал
S2^!,... ЛЬ = ^№ -0Д - ... -iMuTг=1
зависящий от некоторых (абстрактных) аргументов ^i,...,^. Оценки д^,... ,д^ по методу наименьших квадратов параметров д\,... ,д^ получаются как значения аргументов ^i,...,^, доставляющих минимум квадратичному функционалу S2^, ..., д^, т. е. определяются из системы линейных уравнений (1).
Перечислим основные свойства оценок, полученных по методу наименьших квадратов.
Оценки У* являются линейными, т. е. выражаются в виде линейной комбинации
= 52
от наблюдений Xi,...,Xn, и нормально распределенными как линейные комбинации нормально распределенных наблюдений Xi,..., Хп.
Оценки д* являются эффективными, в частности, несмещенными и имеющими минимальную дисперсию среди всех возможных оценок.
Свойство 2 показывает, что оценки ^* могут быть получены методом максимального правдоподобия, что нетрудно выявить и прямыми вычислениями; впрочем, это мы фактически и делали в случае орто- нормированных векторов di,..., d/.
Следует отметить также, что если векторы di,... ,d/ неортогональны, то оценки д^,..., $1 зависимы.
Одномерные доверительные интервалы для неизвестных параметров i^i,... ,^ строятся следующим образом. Как было показано, статистика
«0* = —С min 82(д1,...Л0 =
представляет собой несмещенную оценку неизвестной дисперсии а2, не зависящую от ^р ... ,^z* и с точностью до множителя (п — 1Уа2 имеющую %2-распределение с п — I степенями свободы. Далее, поскольку
= 52
3 = '
то дисперсия оценки д* задается формулой
Ж=а2^=а2с2.(2)
j=i
Значит, величина
t = < -
л / q2 *
имеет ^-распределение с n — Z степенями свободы, а границы симметричного доверительного интервала доверительной вероятности а для dt имеют вид
C = C + ^v^*’(3)
где, как обычно, ta — су-квантиль ^-распределения с п-1 степенями свободы.
Пример 8. Решим сформулированную в примере 5 задачу. Найдем сначала оценки ^i и 1^2 неизвестных параметров ^i и ^2. Система уравнений (1) принимает в данном случае вид
n^+^^t, =^У>+^УЩ2 = У>Р^
3 = 1j=Xз = Хз = Хз = Х
откуда
3 = 13=1
где для краткости введены обозначения:
С1з =С1з =k=Xk=Xk=Xk=XTltjt^
С1з =
С1з =
k=Xk=X
k=Xk=X
z. . —k = l
nn 2
n 52 4k - ( 52 tfc)
k=Xk=X
Отметим, что вычисления оценок $* и ^ существенно упрощаются, если в качестве начала отсчета выбрано время to = У^ ^(п.
з=1
Приступим теперь к построению доверительных интервалов доверительной вероятности а для неизвестных параметров $х и ^2- Статистика Sq* (называемая также остаточной дисперсией) с точностью до множителя (п — 2)/а2 имеет ^-распределение с п — 2 степенями свободы и задается формулой
1 п
3 = 1
Значения коэффициентов с2 и С2 определяются из общей формулы (2):
22
С2 = L ^3 1
а нижняя и верхняя границы симметричного доверительного интервала доверительной вероятности а для параметра ^ задаются формулой (3), в которой ta — а-квантиль распределения Стьюдента с п — 2 степенями свободы. □
Несомненным достоинством метода наименьших квадратов является то, что он применим для оценки неизвестных параметров и в том случае, когда наблюдения Хх,...,Хп распределены не обязательно по нормальному закону. Более того, наблюдения Ху,..., Хп могут быть разнораспределенными и даже зависимыми. Необходимо только, чтобы Xt имели одинаковую дисперсию а2 и были некоррелированными. Естественно, процедура построения оценок остается неизменной. Свойства 1 и 2 оценок ^p...,^z*, полученных по методу наименьших квадратов, заменяются в этом случае на следующие:
1'. Оценки являются линейными.
2 С Оценки $* являются несмещенными и имеют минимальную дисперсию в классе всех линейных оценок.
Разумеется, в случае наблюдений Хх,..., Хп, распределенных не по нормальному закону, использование F-распределения и t-распределения для проверки гипотез и построения доверительных интервалов неправомочно.
Регрессионный анализ
Прежде чем переходить к рассмотрению простейших статистических задач регрессионного анализа, попробуем разобраться в самом понятии «регрессия». Для этого возвратимся к терминам теории вероятностей и рассмотрим двумерную случайную величину (£,??). Пусть случайная величина р приняла значение р. Что в этом случае можно сказать о значении случайной величины £? Из курса теории вероятностей известно (см. часть 1, гл. 6, параграф 4), что при этом условии случайная величина £ имеет условную плотность распределения
РИ И = у) = ^Х^
(для простоты предположим, что существует совместная плотность распределения р^(зс,р)). Изменение этой плотности распределения как функции от аргумента р характеризует зависимость £ от р. Однако если мы хотим указать зависимость £ от р «в целом», то мы должны обратиться к какой-либо числовой характеристике случайной величины £ и рассматривать зависимость этой числовой характеристики от значения р случайной величины р. Такая зависимость носит название регрессии £ на р. Поскольку наиболее важной числовой характеристикой случайной величины является математическое ожидание, то для этой цели обычно используют именно его и под простой (т. е. зависящей от одного параметра) регрессией ^ на р подразумевают зависимость условного математического ожидания
т(у) = ^\Р = У) = j жрЩ | г] = у) dx
от значения р случайной величины р. Для простоты изложения мы под регрессией будем понимать не только факт зависимости т(р) от р, но и саму функцию т(р) (иногда функцию т(р) называют функцией регрессии). График регрессии т(р) носит название линии регрессии (см. также часть 1, гл. 7, параграф 5).
Пример 9. Пусть (£, ц) — двумерная случайная величина, распределенная по нормальному закону с параметрами т\ = М^, т^ = Мц, erf = D^, erf = Оц и p = p^p) = соу(^,ц)/д/О^Вц . Определим регрессию т(р) величины £ на р. Из курса теории вероятностей известно, что условное распределение £ при условии р = р является нормальным со средним значением тх + р(р — m2) erf /сг| . Таким образом, регрессия т^р) является линейной:
т(р) = ^i + ^Р,
Отметим также, что условное распределение случайной величины £ — т^ при условии р = у нормально с нулевым средним (поскольку мы из £ вычли ее математическое ожидание т(у)) и постоянной (не зависящей от у) дисперсией
Заметим теперь, что случайную величину р обычно можно трактовать как независимый параметр, значение которого у нам известно и которым в ряде случаев мы даже можем управлять. Тогда регрессия представляет собой функцию, описывающую зависимость среднего значения случайной величины £ от независимой переменной у.
Понятие регрессии часто возникает и из следующих соображений. Пусть некоторое физическое явление описывается двумя параметрами: (неслучайным) независимым параметром у и связанным с ним функциональной зависимостью х = х(у) (также неслучайным) зависимым параметром х. Однако если мы наблюдаем за поведением зависимого параметра х, то в результате действия различных случайных причин (влияние неконтролируемых параметров, ошибки измерений и т. д.) мы получаем функцию х(у) со случайными ошибками. Обычно считают, что эти ошибки имеют нулевое среднее, или, как говорят, отсутствуют систематические ошибки наблюдений. Тогда функцию х(у) также естественно назвать регрессией. Примером такой модели может служить определение радиолокатором координат движущейся цели (самолета, корабля и т. п.).
Все сказанное выше можно отнести и к случаю нескольких независимых переменных (тогда говорят о множественной регрессии), и к случаю векторного зависимого параметра (многомерная регрессия). Мы, однако, ограничимся случаем простой регрессии, причем для удобства будем отождествлять независимую переменную со временем.
Итак, приступим к описанию той регрессионной модели, которую мы будем рассматривать далее. Предположим, что некоторое физическое явление проистекает во времени и описывается параметром х = x(t), изменяющимся по закону
Щ) = МхХ) + ... + ^ifi4Y
причем Ji (t\ fi(t) — известные функции, a 4h,...,$i — неизвестные параметры. Пусть в моменты t\,...,tn производятся измерения параметра x(t) с ошибками е\,...,еп, относительно которых известно, что они независимы и распределены по нормальному закону с нулевым средним и одинаковой неизвестной дисперсией а2. Таким образом, результаты измерений можно представить в виде
Xi = ^1/1 (tt) + . . . + dlfl(ti) + £t.
Рассмотрим следующие задачи.
Оценка неизвестных параметров ^i,...,^ и построение для них (одномерных) доверительных интервалов.
Проверка гипотезы о равенстве некоторых ^ нулю.
Нахождение оценки x*(t) регрессии х^ в произвольный момент t и построение для x(t) доверительных интервалов.
Прежде чем переходить к решению задач 1-3, наложим на параметры регрессии некоторые естественные ограничения.
Во-первых, будем считать, что число наблюдений тг больше числа I неизвестных параметров. Действительно, если тг < I, то число определяемых параметров больше числа наблюдений; случай же тг = I не дает возможности учесть элементы случайности в рассматриваемой модели.
Во-вторых, векторы
=
должны быть линейно независимыми, иначе одинаковые траектории ж(П),...,x(tn) можно было бы получить при разных значениях параметров i?i,..., ^.
Решения поставленных задач используют метод наименьших квадратов. Поскольку решения задач 1 и 2 полностью повторяют решения соответствующих задач для общей линейной модели, дадим только их краткое описание со ссылкой на предыдущий параграф.
Задача 1. Рассмотрим сумму квадратов
S2 = 52(#i,... лд = Е№ - ^i/i(^) - ... - -diMti)?.
г=1
Оценки д^,..., д^ неизвестных параметров д\,... ,di находятся из условия минимальности функции S2 Дифференцируя S2 по 1Д,..., di и приравнивая производные нулю, получаем для определения д* следующую систему линейных уравнений:
TLTL
Е №Л ш + • • • + W Е №Р ш = Е ХМЧТ (4) J=1J=1J=1
Оценки д^,...,^ удовлетворяют свойствам 1 и 2, приведенным в параграфе 5.
Если отказаться от требования нормальности ошибок е^ и считать только, что они некоррелированы, имеют нулевое среднее и одинаковую дисперсию а2, то оценки д^,..., df будут удовлетворять свойствам 1' и 2', приведенным в параграфе 5.
Симметричные доверительные интервалы доверительной вероятности а для неизвестных параметров ^i,...,^ определяются своими границами (3), где
и п-/щ,...А v7п-1г гз
ctj — коэффициенты в представлении
= 52
3 = ^
a ta — СЕ-квантиль ^-распределения с п — I степенями свободы.
Система уравнений (4) наиболее просто решается в том случае, когда векторы
fl = (/1 (с/1(0),
ортогональны, т. е.
52 ЛЛЛ fk(tj) = О з=^
при к ^ г. Тогда (4) распадается на отдельные уравнения
Л 52 [Л(^')1 = 52 ^-зЛЛзУз=^з=^
В этом случае дополнительно к свойствам 1 и 2 оценки ^* будут также независимыми (если не предполагать нормальности е^ то дополнительно к 1' и 2' оценки ^* будут некоррелированными).
Задача 2. Сформулируем задачу следующим образом. Пусть 0 < < V < I. Проверяемая гипотеза Яо состоит в том, что ^c+i = ... = ^ = = 0. Физически это означает, что мы перестраховались и ввели в модель лишние воздействия, задаваемые функциями jp+ХЧЗ,...,МР которые на самом деле на исследуемое явление не влияют. Для решения задачи 2 определим, как и раньше,
So* = Л 9 min S2(tfi,...,M S2 = min S2(tf,,,0).
Положим9
Гипотезу Яо следует принять с уровнем значимости (размером) а, если и < p\_as где ра — ct-квантиль Я-распределения с параметрами I — Г и п — I.
Задача 3. Очевидно, что оценку x*(t) регресии х^ проще всего получить, подставляя в х^ вместо dt их оценки:
Ясно, что x*(t) является линейной, нормально распределенной и несмещенной оценкой регрессии x(t\ Можно показать также, что она эффективна.
Для построения доверительного интервала для x(t) вспомним, что д* представляются в виде
з='
Значит, дисперсия Dx*(t) оценки регрессии х^ задается формулой
Dx*(t) = °"2 Е [Е cvM)1 = ^сЩ)j=l г=1
и случайная величина
х (t) — X^t)
распределена по стандартному нормальному закону. Поскольку статистика Sq* не зависит от x*(t) и ее дисперсия равна а2, то случайная величина _ х — х
Sq*
имеет ^-распределение, а симметричный доверительный интервал доверительной вероятности а для регрессии х^ задается границами
х'(^ = X*(t) - tx^^K* ,Xм (t) = X*(t) + tx±a ^^(t}^ ,
где ta — cv-квантиль ^-распределения с тг — I степенями свободы.
Пример 10. Рассмотрим простую линейную регрессию x(t) = ^1 + ^t
Собственно говоря, исследование этой модели уже началось в примерах 5 и 8, в которых она представлялась в виде частного случая общей линейной модели. Поскольку там мы оценили неизвестные параметры ^i и ^2 и построили для них доверительные интервалы, а решение этой же задачи в терминах регрессионной модели, очевидно, полностью совпадает с ее решением в терминах общей линейной модели, то здесь остановимся только на решениях задач 2 и 3.
1°. Задачу 2 сформулируем в следующем виде. Будем проверять независимость x(t) от времени, т. е. гипотезу Нх ^2 = 0. Значение статистики Sg*, необходимой для применения критерия Фишера, уже было вычислено в примере 8. Определим S^. В соответствии с общими принципами мы в выражении S'2 = aS2^,^) должны положить 1^2 = 0 и искать минимум S'2 = З^^ьО) как
функции от одной переменной ^Д. Уравнение (4) для определения значения ^*, доставляющего минимум S'2, имеет вид
а значение S2 задается формулой
12—1’
и, значит, мы должны принять гипотезу Но, если х = s2*/sq* < pi-a, где ра — «-квантиль F-распределения с параметрами 1 и п — 2.
2°. Обратимся к решению задачи 3. Оценка x*(t) регрессии x(t) имеет вид x*(t) = rx Гr2t.
Далее, коэффициент c2(t) определяется формулой
С (t) = У^ (сц- + C2jt) = У^ CXj + 2t ^^ CljC2j + t У^ C2j = bo + bxt + b2t , J = 13 = 13 = 13 = 1
где cij и c2j найдены в примере 8. Таким образом, границы симметричного доверительного интервала доверительной вероятности а для линейной регрессии задаются выражениями:
х'^ = < + ^21 - ti^Js^*(bo + bit + b2t2) ,
2 V
x"(t) = ^ + ^2^ + t Ща J So*(fy) + bit + b2t2) ,
2 V
где ta — «-квантиль t-распределения c n — 2 степенями свободы. Отметим еще один факт, который нетрудно установить простейшими вычислениями: минимальная ширина доверительного интервала (т. е. наиболее точная оценка регрессии x(t)) получается при t, равном среднему арифметическому ^ tj/n всех моментов наблюдений.г-1
3°. Применим полученные результаты к анализу регрессии веса Х2 на рост Xi мужчины (см. пример 3). Как следует из примера 9, в силу совместной нормальности Xi и Х2 в данном случае можно использовать линейную регрессионную модель. В качестве независимой переменной выберем рост.
Начнем с задачи оценки неизвестных параметров ^i и ^2 линейной регрессии и построения для них доверительных интервалов. Используя результаты примера 8, находим
Гх = -31,48,< = 0,6138.
Доверительные интервалы для ^i и ^2 будем строить при доверительной вероятности а = 0,9. В [1] на с. 178 находим значение to,95 = 1,6772 0,95-квантили t-распределения с 48 степенями свободы. Вычисления значений статистики Sq* и коэффициентов с2 и с2 (см. пример 8) дают:
Sg* = 23,69, с? = 12,97,4 = 0,000 441 2.
Поэтому доверительные границы для $i и $2 имеют вид
< = -60,88,-д" = -2,08,< = 0,4423,< = 0,7853.
Проверим гипотезу Но о независимости веса от роста, которую в рамках регрессионной модели сформулируем как гипотезу о равенстве нулю параметра ^2- Уровень значимости (размер) критерия а положим равным 0,05. Используя известное из примера 3 значение среднего веса т* = 73,66, находим значения статистик оо
$1=1991,0, s^ = 853,9
и вычисляем отношение
Сравнивая полученное значение и с 0,95-квантилью 770,95 = 4,05 ([1, с. 208]; поскольку значения 770,95 для П2 = 48 в таблице нет, воспользуемся линейной интерполяцией) F-распределения с параметрами 1 и 48, убеждаемся, что гипотеза Но должна быть отвергнута.
Наконец, найдем оценку x*(t) веса x(t) при известном росте t и построим симметричный доверительный интервал для х(Р) доверительной вероятности а = 0,9. Оценка x*(t) имеет вид
x*(t) = —31,48 + 0,61381.
Вычисления дают следующие значения коэффициентов:
Ьо= 12,9606,51 = -0,1511,52 = 0,01045.
В [1] на с. 178 находим 0,95-квантиль to,95 = 1,6772 t-распределения с 48 степенями свободы. Поэтому доверительные границы задаются формулами:
жД) = -31,48 + 0,61381 — 1,6772^307,04 - 3,5796i + 0,0104512 ,ж"(0 = -31,48 + 0,6138 £ + 1,6772^307,04 - 3,5796 £ + 0,01045£2 .
Графики кривых »*(£), ж'Х) и х"0) приведены на рис. 1.
ISOШП17UISOTJ1I
Рис. 1
4°. Интересно сравнить результаты корреляционного (см. пример 3) и регрессионного анализа. Оба метода отвергают гипотезу Но о независимости веса от роста. Однако в споре, какой из двух критериев лучше: критерий, основанный на выборочном коэффициенте корреляции, или критерий, основанный на регрессионной модели, — пальму первенства нужно отдать первому, как равномерно наиболее мощному; это естественно, поскольку он использует дополнительную информацию о нормальности независимой переменной Хх — роста индивидуума. Далее, воспользовавшись результатом примера 9 о функциональной зависимости ^2 = P\j^Х!^^ коэффициента ^2 линейной регрессии от коэффициента корреляции р и дисперсий ах и о^ и подставляя вместо р,
а2 и <72 их оценки р* = 0,655, s2* = 40,63 и s2^ = 46,26 (см. пример 3), получаем оценку ^2 = 0,614 параметра ^2, которая, как мы видим, совпадает с оценкой ^2» полученной в регрессионной модели (это можно установить и прямыми вычислениями). Однако с доверительными границами для ^2 и р такая манипуляция не проходит; этому опять-таки мешает дополнительная информация о нормальности независимой переменной в регрессионной модели.□
В заключение этого параграфа вкратце остановимся на проблеме выбора функций ft(t). Разумеется, их выбор целиком лежит на совести исследователя и определяется физическим анализом изучаемого явления. Обычно хороший результат дает линейная регрессия
Х^ = ^1 +
рассматривавшаяся в примерах. Реже используется квадратичная регрессия
Х^ = ^1 + $2^ + ^3t2,
еще реже — полиномиальная регрессия более высоких степеней. В ряде явлений, таких, как рост популяций, радиоактивный распад веществ и т.п., имеет смысл применять экспоненциальную регрессию вида
x(t) = ^1 + ^2е7'
Часто в этом случае считают, что и дисперсия ошибок измерения e(t) зависит от времени: Ds(t) = а2Ъ^Ь\ где b(t) — известная функция, и применяют модифицированный метод наименьших квадратов, в котором сумма квадратов берется с весовыми коэффициентами. Наконец, при исследовании закономерностей, носящих ярко выраженный периодический характер (изменчивость в течение суток, недели, года), естественно обратиться к периодической регрессии, в которой используются разложения в ряд Фурье. Впрочем, как уже знает читатель, решение задачи проверки статистических гипотез (задачи 2) в регрессионном анализе позволяет подобрать адекватную модель и избавиться от «лишних» факторов.
Дисперсионный анализ
Задачи, которые рассматриваются в этом и следующем параграфах, дают некоторое представление о разделе математической статистики, называемом дисперсионным анализом и основанном на сравнении выборочных дисперсий.
Начнем с простейшей задачи. Пусть имеется I независимых выборок
Хп,... ,Xini;
произведенных из нормальных генеральных совокупностей с неизвестными средними mi,...,m/ и также неизвестными, но одинаковыми дисперсиями а2 Проверяются две сложные параметрические гипотезы: основная Но*. тп\ = ... = т^ состоящая в том, что все теоретические средние тг равны между собой, и конкурирующая Н\\ некоторые теоретические средние mt могут быть различными.
Построение критерия для проверки гипотез Но и Н\ начнем с рассмотрения отдельных внутригрупповых выборочных дисперсий
11где
1
1
Как известно (см. пара-Как известно (см. пара-— выборочное среднее выборки Хп,.
Как известно (см. пара-
Как известно (см. пара-
граф 4 гл. 1), случайная величина (п* — 1)з^/а2 имеет ^-распределение с п^ — 1 степенями свободы. Определим статистику
6о
называемую (общей) внутригрупповой или остаточной (выборочной) дисперсией. Поскольку выборки независимы, случайная величина I
Sg* 5Z ^ — О/0"2 также распределена по закону у2, но с числом сте
пеней свободы ^(п^ — 1), а статистика Sq* представляет собой несме- г=1
щенную оценку неизвестной дисперсии а2 Обозначая через
общее выборочное среднее обобщенной выборки, образуем новую статистику
2* _1
8х -
которая представляет собой межгрупповую выборочную дисперсию и не зависит от Sq*. Кроме того, при условии справедливости гипотезы Но случайная величина s^*(l — Х)/сг2 имеет ^-распределение с I — 1
степенями свободы, а статистика s2* является еще одной несмещенной оценкой дисперсии а2 Однако если гипотеза Яо не верна, то s2* будет иметь положительное смещение 5 = Ms2* — а2 (т. е. иметь нецентральное ^-распределение), тем большее, чем больше расхождение между теоретическими средними mi,... ,ть Поэтому естественно применить для проверки гипотезы Яо односторонний критерий Фишера, предписывающий принять гипотезу Яо, если х = s2*/Sq* < С. Статистика и при условии справедливости гипотезы Яо, как уже не раз говорилось, имеет Я-распределение, а значит, при заданном уровне значимости а критическое значение С совпадает с (1 — а)-квантилью ф\_а Я-рас-
I
пределения с параметрами I — 1 и ^(п^ — 1) [1, табл. 3.5].
г=1
Можно показать, что критерий Фишера является равномерно наиболее мощным несмещенным критерием для проверки гипотез Но и Н\.
Практическая реализация критерия происходит следующим образом. Сначала вычисляют внутригрупповые выборочные средние т* и общее выборочное среднее т*. Затем находят внутригрупповую и межгрупповую выборочные дисперсии Sg* и s2*. Наконец, определяют значение статистики х и сравнивают его с соответствующей квантилью Я-распределения; в зависимости от результатов сравнения либо принимают гипотезу Яо, либо отвергают ее. Иногда полезно бывает ввести еще одну статистику
г пг
являющуюся выборочной дисперсией объединенной выборки. Тогда справедливо соотношение
s2*f 52 _ О = so*52(n«- Г + si*C - Ц
г=1г=1
Пример 11. Для определения процентного содержания вредных примесей в минерале были взяты образцы одинаковой массы из трех различных месторождений: 3 образца из первого месторождения, 2 из второго и 4 из третьего. Результаты химического анализа (процент содержания вредных примесей) приведены в табл. 4-6. Считая процентное содержание примесей в каждом образце распределенным по нормальному закону с одинаковой дисперсией, проверим при уровне значимости a = 0,05 гипотезу Яо о том, что среднее содержание примесей во всех трех месторождениях одинаково.
ХиХ|2Х1з8,355,407,16ХиХ|2Х1з8,355,407,16Таблица 4Таблица 4Х21^224,526,24Х21^224,526,24Таблица 5Таблица 5^31^32^33^348,917,479,089,94^31^32^33^348,917,479,089,94Таблица 6Таблица 6
Хи
Х|2
Х1з
8,35
5,40
7,16
Хи
Х|2
Х1з
8,35
5,40
7,16
Таблица 4
Таблица 4
Х21
^22
4,52
6,24
Х21
^22
4,52
6,24
Таблица 5
Таблица 5
^31
^32
^33
^34
8,91
7,47
9,08
9,94
^31
^32
^33
^34
8,91
7,47
9,08
9,94
Таблица 6
Таблица 6
Воспользуемся критерием Фишера. Вычислим внутригрупповые выборочные средние
mt = I (8,35 + 5,40 + 7,16) = 6,97,т*2 = | (4,52 + 6,24) = 5,38,т3* = ^ (8,91 + 7,47 + 9,08 + 9,94) = 8,85
и общее выборочное среднее
т*='- (8,35 + 5,40 + ... + 9,94) = 7,45.
Найдем внутригрупповую выборочную дисперсию
s^ = 2+ * +3 [((8,35 - 6,97)2 + (5,40 - 6,97)2 + (7,16 - 6,97)2) +
+ ((4,52 - 5,38)2 + (6,24 - 5,38)2) +
+ ((8,91 - 8,85)2 + (7,47 - 8,85)2 + (9,08 - 8,85)2 + (9,94 - 8,85)2)] = 1,50 и межгрупповую выборочную дисперсию
s2* = ^-у [з(6,97 - 7,45)2 + 2(5,38 - 7,45)2 + 4(8,85 - 7,45)2] = 8,54.
Значение статистики и = 8,54/1,50 = 5,69. Параметры F-распределения, используемого для нахождения критического значения С, равны 3—1 = 2 и (3 — 1) + (2 — 1) + (4 — 1) = 6. В [1, с. 208] отыскиваем 0,95-квантиль ^о,95 = 5,1433 F-распределения с параметрами 2 и 6, совпадающую с критическим значением С критерия Фишера. Поскольку и > ^0,95, есть серьезные основания отвергнуть гипотезу Яо о равенстве среднего содержания примесей в минералах всех трех месторождений.□
Прежде чем переходить к дальнейшему изложению, придадим рассмотренной задаче несколько иную формулировку. Будем считать, что имеется некоторый фактор, который может действовать на I уровнях. При этом действие на анализируемое явление фактора на г-м уровне определяется математическим ожиданием mt. Такая модель в дисперсионном анализе называется однофакторной Z-уровневой (предостережение: не надо путать с факторной моделью, расмотренной в параграфе 4 гл. 3, где сам фактор являлся случайным и мог появляться с определенной вероятностью в каждом наблюдении на каком-то одном из уровней). Задача заключалась в том, чтобы проверить гипотезу Hq об одинаковом действии фактора на всех уровнях или, по-другому, об отсутствии влияния на результат эксперимента уровня действия фактора.
Рассмотрим теперь случай действия двух факторов, причем первый фактор может действовать на 1\ уровнях, а второй — на Z2 уровнях (двухфакторная (Zi, ^-уровневая модель дисперсионного анализа).
Предположим, что произведено тг^ наблюдений, в которых первый фактор подействовал на г-м уровне, а второй — на j-м. Результаты наблюдений Х^к представляют собой независимые нормально распределенные случайные величины с одинаковой (неизвестной) дисперсией ст2 и, вообще говоря, с различными (также неизвестными) средними т^. Будем опять-таки проверять гипотезу Но об отсутствии влияния (уровней действия) первого и второго факторов на результаты наблюдений, т. е. о равенстве всех ш^-.
Поскольку действие двух факторов на уровнях 1\ и 1^ соответственно можно отождествить с действием одного фактора на Z1Z2 уровнях, то для проверки гипотезы Но воспользуемся однофакторной ZiZ2-ypoB- невой моделью и в соответствии с построенным для нее критерием вычислим значения статистик Sq* и s2*:
С ^2 Пгэ52 52 52— тгз)С ^2 Пгэ52 52 52— тгз)г=1 j = lг=1 j = l
С ^2 Пгэ
52 52 52— тгз)
С ^2 Пгэ
52 52 52— тгз)
г=1 j = l
г=1 j = l
= ггтт Е Е МЧ -
г=\ j = \
где
m*d = — 52 Xijk
среднее по наблюдениям, в которых первый и второй факторы подействовали на уровнях г и j,
С Ц ^гзС Ц ^гзXij кXij к
С Ц ^гз
С Ц ^гз
Xij к
Xij к
общее среднее всех наблюдений. Теперь, если и = s2*/Sq* < ^i-a, где ра — а-квантиль F-распределения с параметрами ^ 52 (nv — О i=lJ=1
и Z1Z2 — 1, то мы должны с уровнем значимости а принять гипотезу Но о полном отсутствии влияния уровней действия обоих факторов.
Однако можно произвести более детальный анализ модели. Будем предполагать, что выполнено условие тг^ = п (общий случай различных тг^ исследуется несколько более сложным образом). Введем
статистикистатистики1 й пг=1 fc=l1 й пг=1 fc=l
статистики
статистики
1 й п
г=1 fc=l
1 й п
г=1 fc=l
8№ = Т—[^тг№-ТП ) ,S(2) = ТЕК(2)-т ) ,
i=l3=v
Z2
S( 12) = (Z1 _ 1)(, _ П Е Е (mv " mi№ -+ m ) ■
Эти статистики имеют весьма простой смысл: т*^ (тп*^ — выборочное среднее при условии, что первый (второй) фактор подействовал на уровне г (j); s2^(s2^) — выборочная дисперсия, связанная
с действием первого (второго) фактора; s^ — выборочная дисперсия взаимодействия факторов. Статистики s2^, s2^ и s2^ являются независимыми.
Следующая гипотеза, которую мы рассмотрим, — гипотеза Н^ о линейности действия факторов, т. е. о возможности представления (О ।(2)(1) / (2)\
теоретического среднего в виде т^ =’ + т^ , где т- 7 vmj ) —
неизвестное среднее значение, вносимое первым (вторым) фактором при действии на уровне г (j\ Естественно, гипотеза Яо верна далеко не всегда, поскольку довольно часто существенное влияние на результат эксперимента факторы оказывают только при совместном их действии на определенных уровнях (например, урожайность сельскохозяйственной культуры высока только при внесении необходимых удобрений в предписанных количествах; при любых отклонениях от агротехнических норм эффект от внесения удобрений существенно уменьшается). Оказывается, при условии справедливости линейной гипотезы Н^ дисперсия взаимодействия s2^ также является несмещенной оценкой а2, с точностью до множителя (Zi — 1)(Z2 — l)/^2 распределенной по закону у2 с (Zi — 1)(^2 — 1) степенями свободы; в противном случае эта оценка имеет положительное смещение. Поэтому критерий принятия линейной гипотезы Н^ при заданном уровне значимости а заключается в выполнении неравенства х = S/^/sq* < ^i-^, где ра — ск-квантиль ^-распределения с параметрами \l\ — 1)^2 — 1) и lyl^ii — 1).
Если линейная гипотеза считается выполненной (по результатам проверки или в силу априорных предположений), то можно проверять гипотезы Н^ и Н^ об отсутствии действия первого или второго факторов. В частности, если справедлива гипотеза
= ... = т^, то статистика опять-таки будет являться несмещенной оценкой ст2, с точностью до множителя (Zi — 1)/ст2 имеющей %2-распределение с Zi — 1 степенями свободы. Значит, мы можем срав-
1 \ 2*Uf(12)1 \ 2*Uf(12)нить ее или с остаточной дисперсией Sq*, или с дисперсией взаимодействия s^12p или, еще лучше, с объединенной дисперсией
1 \ 2*
Uf(12)
1 \ 2*
Uf(12)
2* _ 1М 5об —2* _ 1М 5об —n- l)s^ + (/i - 1)(/2-UUn — lx — U + 1
2* _ 1М 5об —
2* _ 1М 5об —
образованной остаточной дисперсией и дисперсией взаимодействия, и воспользоваться критерием Фишера. В частности, если мы пользуемся объединенной дисперсией s^, то должны принять гипотезу Н^ при выполнении неравенства х = s^fs^ < рх-а, где, как обычно, ра — а-квантиль F-распределения с параметрами Zi — 1 и Ix^n — l\ — Is + 1. Аналогично проверяется гипотеза Н^: т^ = ... = т^У
Отметим, что проверку гипотезы Но о (полном) отсутствии действия обоих факторов можно производить только в том случае, когда хотя бы одно тг^ больше единицы; в противном случае мы не смогли бы определить остаточную дисперсию Sq* и не имели бы «эталонной» оценки дисперсии а2 Если же все п^ равны единице, то возможны два пути: либо потребовать, чтобы была известна теоретическая дисперсия ст2 наблюдений Х^, либо априори считать справедливой линейную гипотезу, тогда «эталонной» оценкой дисперсии а2 будет дисперсия взаимодействия s2^.
Совершенно аналогично рассматривается случай действия трех и более факторов. Однако здесь появляется новое осложнение: если имеется к факторов, причем г-й фактор действует на It уровнях, то для того, чтобы произвести хотя бы по одному наблюдению со всевозможными комбинациями уровней действия факторов, необходимо в общей сложности 1\...1к наблюдений. В частности, при четырех факторах и пяти уровнях действия каждого из них необходимо 625 наблюдений. Ясно, что на практике такое количество наблюдений обычно нереально. Поэтому следует так спланировать эксперимент, чтобы, с одной стороны, число наблюдений было разумным, а с другой стороны, мы бы получили достаточно аргументированные статистические выводы. Возможные методы решения этой задачи мы рассмотрим в следующем параграфе, сейчас же еще раз заметим, что в общей модели нельзя уменьшить число наблюдений с сохранением достаточной мощности критерия, поскольку влияние факторов может проявиться только при определенной комбинации уровней их действия, а так как эта комбинация нам заранее не известна, необходимо испробовать все возможные комбинации. Значит, нужно отказаться от общей постановки задачи. В дальнейшем мы будем рассматривать только линейную модель, т. е. модель, в которой + ... + т^У
Планирование эксперимента
Прежде чем переходить к рассмотрению задач планирования эксперимента, сделаем замечание по поводу использования самого термина «планирование эксперимента». Дело в том, что разные специалисты под ним понимают различные проблемы вплоть до того, что некоторые авторы называют «планированием эксперимента» фактически всю прикладную математику, усердно сдобренную практическими рекомендациями по применению того или иного математического метода. Мы будем придерживаться традиционного определения «планирования эксперимента» как части дисперсионного анализа.
Напомним общую постановку задачи. Пусть имеется I факторов, причем г-й фактор может действовать на любом из п^ уровней, а выбор уровня действия фактора находится целиком в руках экспериментатора. Действие всех I факторов на уровнях Д,...,щ приводит к тому, что результат наблюдения является нормально распределенной случайной величиной с неизвестным средним т^...^ и неизвестной дисперсией а2, не зависящей от уровней действия факторов. Всюду далее будем предполагать, что факторы действуют линейно (часто говорят независимо), т. е.
(О । । Н
Требуется так спланировать эксперимент, т. е. указать все возможные комбинации (Д,... ,Д) уровней действия факторов, для которых нужно произвести наблюдения, чтобы, с одной стороны, количество наблюдений не было бы большим, а, с другой стороны, результаты эксперимента достаточно хорошо проверяли бы гипотезы об отсутствии действия каждого фактора, т. е. гипотезы Н^: т^ = ... = т^. Естественно, планом эксперимента будем называть сам перечень всех наборов (Д,..., ji) уровней действия факторов, для которых необходимо произвести наблюдения. При этом будем предполагать, что для каждого набора (Д,...,Д), входящего в план эксперимента, производится только одно наблюдение Xjv Отметим, что план эксперимента, состоящий из всех возможных комбинаций (Д,...,Д) уровней действия факторов и рассмотренный в параграфе 7, называют (полным) факторным планом. Однако, как уже говорилось, факторный план требует слишком большого количества наблюдений.
Разумным представляется потребовать от плана эксперимента, чтобы результаты эксперимента можно было бы достаточно просто обработать. С этим мы уже столкнулись в параграфе 7, когда в двухфакторную модель пришлось ввести условие одинакового числа наблюдений при каждом наборе уровней действия обоих факторов. Ортогональность планов или сбалансированность блоков, которые будут использоваться далее, не только упрощают расчеты, но и приводят к независимости статистик, служащих для проверки отсутствия действия
286 Гл. 4. Некоторые задачи, связанные с нормальными выборками отдельных факторов, что в свою очередь избавляет от неприятной ситуации, когда принятие или отклонение гипотезы об отсутствии действия одного фактора зависит от аналогичного решения относительно остальных факторов. Кроме того, такие планы обладают некоторыми специальными свойствами оптимальности, которых мы здесь касаться не будем.
Рассмотрим способы построения планов эксперимента. Начнем со случая, когда число уровней действия факторов одинаково для всех факторов, т. е. пх = ... = ni = п. Потребуем, чтобы для любых факторов zi и /2 и уровней их действия j^ и з^ в план эксперимента входил, по крайней мере, один набор, содержащий пару фх и т. е. хотя бы в одном наблюдении фактор %х подействовал на уровне j^, а фактор /2 — на уровне 3^. С другой стороны, для минимизации числа наблюдений резонно ограничиться только планами, в которых каждая пара (jtx,ji2) уровней действия факторов %\ и /2 встречается не более одного раза. Суммируя эти два требования, получаем, что каждая пара (jixJi2) уровней действия факторов zi и /2 должна входить в план эксперимента ровно один раз. Такие планы назовем ортогональными. Нетрудно видеть, что любой ортогональный план содержит ровно п2 наблюдений и его можно представить в виде квадратной таблицы (табл. 7), в которой(г = 3,..., Z) — числа от 1 до п. Этот
план заключается в следующем. В первом наблюдении первый и второй факторы действуют на уровне 1, третий — на уровне j^,..., Ги — на уровне з^ в n-м наблюдении первый фактор действует на уровне п, второй — на уровне 1, третий — на уровне j^nX\..., Ги — на уровне ^п1\..., в п2-м наблюдении первый и второй факторы действуют на уровне п, третий — на уровне з^ ,..., Z-и — на уровне j^rm\ В силу требования ортогональности плана в каждой строке и в каждом столбце табл. 7 на любом месте каждое из чисел !,...,% должно встречаться ровно один раз; для любых чисел кх и к^ от 1 до п и zi и 22 от 3 до Z ровно один раз должны встречаться клетки, в которых на гщм месте стоит кх, а на /2-м — к^. Пример ортогонального плана при числе действующих факторов Z = 6 и числе уровней действия каждого фактора п = 5 приведен в табл. 8 (в этой и во всех дальнейших таблицах для сокращения записи первый столбец и первая строка опущены).
Обратимся к конкретным значениям числа факторов I.
При Z = 2 ортогональный план представляет собой не что иное, как факторный план, рассмотренный в параграфе 7, в котором мы должны произвести по одному наблюдению с каждой комбинацией (jx,32) уровней действия первого и второго факторов.
При Z = 3 любой ортогональный план задается так называемым латинским квадратом n-го порядка, т. е. квадратной таблицей размера
Таблица 7
Уровень действия второго фактора
Уровень действия первого фактора
1
п
1
УИ) УИ)
.(nl)Цп1)
Зз --Hi
Т1
AM.(In)
V3 -Mi
AN М)
Зз -Mi
Таблица 8
1111
2222
3333
4444
5555
2345
3451
4512
5123
1234
3524
4135
5241
1352
2413
4253
5314
1425
2531
3142
5432
1543
2154
3215
4321
п х п, в которую вписаны числа от 1 до п таким образом, чтобы в каждой строке и каждом столбце любое из этих чисел встречалось ровно один раз. Пример латинского квадрата, полученного циклическим сдвигом первой строки на единицу, приведен в табл. 9.
Критерий для проверки отсутствия действия факторов строится следующим образом. Пусть в результате эксперимента по предложенному плану мы получили наблюдения
Хп,..., ХпЬ
^ы,..., Хпп.
Обозначим
1 п пп п
= У £ £ Xijt S2 = £ £- т^.
^ i=lj=lг=1j=l
Статистика S2 представляет собой сумму квадратов отклонений наблюдений от общего выборочного среднего т*. Используя свойство латинского квадрата, ее можно переписать в виде
= 'Г'Г №.v - mi№ - т*з^ - mk^ + 2m*)2 +
i=U = l
+ E n(m*(i) - m*)2 + E <т*з^ - тГ + E n(mfc<3) - m*)2 = z=lj = lk=\
= (n2 - 3n + 2)s^23) + Ы - l)s^ + (n - 1)8(2) + (n - l)s^},
где
Статистики m*^ и тп*^ являются выборочными средними при условии действия первого или второго фактора на уровне г или j. Такой же смысл имеет и статистика тпцзу поэтому при определении т^^ суммирование должно производиться только по тем наблюдениям, в которых третий фактор действовал на k-м уровне или, в терминах латинского квадрата, по тем клеткам, в которых стоит цифра к. Заметим теперь, что в силу линейности действия факторов (которую мы предположили с самого начала) статистики s^23p s2^, s2^ и s^ независимы, a Sp23) является несмещенной оценкой дисперсии а , с точностью до множителя (п2 — Зп + 2)(а2 имеющей %2-распределение с п2 — Зп + 2 степенями свободы. Теперь, если отсутствует влияние первого фактора, то статистика s2^ с точностью до множителя (п — 1)/сг2 также распределена по закону у2 с п — 1 степенями свободы и, значит, для проверки гипотезы об отсутствии влияния первого фактора можно применить критерий Фишера, предписывающий принять эту гипотезу, если х^ = s^q/s2^) < С. Аналогично, по статистикам х^ = 5(2)/^(ш) и х^ = s^/s2^^ проверяются гипотезы об отсутствии действия второго и третьего факторов.
Пусть теперь I = 4. Назовем два латинских квадрата ортогональными, если при наложении их друг на друга каждый набор (ij) встретится ровно один раз. Пример наложения двух латинских квадратов пятого порядка приведен в табл.10. Таким образом, задача
построения ортогонального плана сводится к задаче нахождения двух ортогональных латинских квадратов. Однако ортогональные латинские квадраты существуют не для всех п. В частности, они, как известно, не существуют при п = 6 (задача Эйлера о 36 офицерах). Если же ортогональные латинские квадраты существуют, то ортогональный план задается их наложением. Сама процедура проверки гипотез об отсутствии действия факторов остается той же, что и в случае I = 3, и опирается на представление статистики S2 в виде
S2 = (п2 - 4n + 3)s^234) + (п - 1)8^) +
Нетрудно теперь понять, что возможность построения ортогонального плана эксперимента при I > 4 сводится к возможности построения I — 2 ортогональных латинских квадратов. Оказывается, в любом случае нельзя построить более п — 1 ортогональных латинских квадратов. Система, содержащая максимальное для заданного п число ортогональных латинских квадратов, называется полной. Ясно, что любая система из п — 1 ортогональных латинских квадратов является полной.
Покажем, как можно построить полную систему в случае простого п. Первая строка всех п — 1 латинских квадратов состоит из записанных подряд чисел 1,...,п. Вторая строка первого латинского квадрата получается циклическим сдвигом первой строки на единицу влево, третья — циклическим сдвигом второй строки на единицу влево и т. д. Вторая строка второго латинского квадрата получается циклическим сдвигом первой строки влево на два, третья — циклическим
сдвигом второй строки влево на два и т. д. Полная система из четырех
латинских квадратов пятого порядка приведена в табл. 11.
12345345125123423451451231234534512512342345145123
1
2
3
4
5
3
4
5
1
2
5
1
2
3
4
2
3
4
5
1
4
5
1
2
3
1
2
3
4
5
3
4
5
1
2
5
1
2
3
4
2
3
4
5
1
4
5
1
2
3
Для читателя, знакомого с комплексными числами, опишем рассмотренный выше метод построения ортогональных латинских квадратов в терминах корней n-й степени из единицы. Пусть zi = \/Т — какой-либо (отличный от 1) корень n-й степени из 1. Положим 22 = ^р . ., zn = ^р = 1. Отождествим число г с Тогда первая строка любого квадрата отождествима с zi,...,zn. Каждая последующая строка первого латинского квадрата получается из предыдущей
10 П. П. Бочаров, А. В. Печинкин
умножением на ^ь второго — умножением на 22 и Т-Д- Таким образом, существует тесная связь приведенной процедуры с корнями n-й степени из единицы, которые в свою очередь являются одним из основополагающих понятий теории Галуа. Оказывается, использование теории Галуа позволяет построить полную систему из п — 1 латинских квадратов и в том случае, когда п = р1, где р — простое число. Кроме того, с ее помощью можно построить к ортогональных латинских квадратов в общем случае п = р[{ ... plq , причем к представляет собой минимальное из чисел р-г — 1. С соответствующей процедурой читатель может ознакомиться в специальной литературе [15, 16].
Вернемся к случаю, когда факторы могут действовать на разных числах уровней щ. Рассмотрим двухфакторную модель. Если мы продолжаем настаивать на том условии, чтобы каждый уровень г\ первого фактора обязательно хотя бы в одном наблюдении подействовал с любым уровнем /2 второго фактора, то, как мы знаем, минимальный план эксперимента представляет собой факторный план, содержащий пуп^, наблюдений. Однако можно уменьшить число наблюдений, если отказаться от этого требования и заменить его на более слабое условие: уровни действия %у и /2 первого и второго факторов встречаются не более одного раза. Потребуем также, чтобы каждый уровень действия первого фактора встречался во всех экспериментах 1у раз, а второго — ?2 раз. Естественно, числа пу, п%, 1у и 1^ должны быть связаны соотношением nyly = П2^2 = ^, где тг — общее число наблюдений. План такого эксперимента можно записать в виде таблицы (табл. 12), элементы которой представляют собой числа 1,...,П2, расставленные таким образом, чтобы в каждом столбце любое из них встречалось не более одного раза, а во всей таблице — ровно 1^ раз. Отметим, что столбцы таблицы, представляющие собой те уровни, на которых в планируемом эксперименте должен подействовать второй фактор при условии, что на соответствующем уровне действует первый фактор, носят названия блоков.
Таблица 12
Номера наблюдений
Уровень действия первого фактора
1
Tlx
1 Л- пу
ЛИ)
(Z1 - l)ni + 1 4- lynx
Д™1й)
Потребовав также, чтобы каждая пара zi,Z2, встречающаяся хотя бы в одном блоке, встречалась во всех блоках ровно к раз, получаем неполный сбалансированный блок. Нетрудно подсчитать, что
для неполного сбалансированного блока Z2G1 — 1) = ^(^1 — !)• Если П1 = П2, то неполный сбалансированный блок называется симметричным неполным сбалансированным блоком. В табл. 13 приведен пример симметричного неполного сбалансированного блока для п\ = п^ = 15, h = 12 = 7, к = 3.
Таблица 13
1
1
1
1
1
1
1
2
2
2
2
3
3
4
5
2
2
2
3
3
8
7
6
6
7
8
4
5
5
6
5
5
5
6
6
11
4
11
11
12
3
10
11
12
7
3
7
10
4
9
9
8
4
7
3
4
5
7
6
8
8
9
15
13
12
10
11
9
10
8
9
11
9
8
9
6
12
13
10
14
12
15
13
12
13
10
12
13
13
10
11
4
14
7
15
13
14
15
14
15
14
15
14
14
15
При построении неполных сбалансированных блоков также используется теория Галуа. Описание самого метода их построения и процедуры применения плана для проверки гипотез об отсутствии действия факторов читатель может найти в [15, 16].
Случай трех и более факторов можно исследовать методом смешивания экспериментов [15, 16].
Мы рассмотрели здесь возможность применения задач планирования эксперимента к дисперсионному анализу. Однако в последнее время эти задачи находят широкое применение в множественном и многомерном регрессионном анализе для получения наилучших в некотором классе оценок параметров регрессии и для проверки гипотез о значимости отличия этих параметров от нуля. Обычно планы экспериментов выбирают таким образом, чтобы оценки или статистики критериев были независимыми, что приводит к необходимости рассматривать ортогональные планы или их обобщения. Характерной особенностью применения методов планирования эксперимента к регрессионному анализу является также тот факт, что наибольшую информацию несут наблюдения, в которых аргументы регрессии принимают крайние (минимальное и максимальное) значения. Поэтому в задачах регрессионного анализа очень часто все факторы действуют только на двух уровнях, которые для симметрии обозначаются —1 и +1, что, однако, не сильно упрощает сами планы из-за большого числа действующих факторов. Задачи планирования эксперимента в регрессионном анализе мы здесь не рассматриваем, а отсылаем заинтересованного читателя к специальной литературе.
ю*
Список литературы
Большее Л.Н., Смирнов Н.В. Таблицы математической статистики. — М.: Наука, 1983.
Гмурман В.Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 1972.
Пугачев В. С. Теория вероятностей и математическая статистика. — М.: Наука, 1979.
Худсон Д. Статистика для физиков. — М.: Мир, 1967.
Севастьянов Б. А. Курс теории вероятностей и математической статистики. — М.: Наука, 1982.
Климов Г.П. Теория вероятностей и математическая статистика. — М.: Изд-во МГУ, 1983.
Ивченко Г.И., Медведев Ю.И. Математическая статистика. — М.: Высшая школа, 1984.
Ван дер Варден. Математическая статистика. — М.: Мир, 1975.
Крамер Г. Математические методы статистики. — М.: Мир, 1975.
Уилкс С. Математическая статистика. — М.: Наука, 1967.
Боровков А. А. Математическая статистика. — М.: Наука, 1984.
Леман Э. Проверка статистических гипотез. — М.: Наука, 1979.
Вальд А. Последовательный анализ. — М.: Физматгиз, 1960.
Шеффе Г. Дисперсионный анализ. — М.: Физматгиз, 1963.
Дюге Д. Теоретическая и прикладная статистика. — М.: Наука, 1972.
Ермаков С.М., Жиглявский А. А. Математическая теория оптимального эксперимента. — М.: Наука, 1987.
Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике. — М.: Высшая школа, 1979.
Сборник задач по теории вероятностей, математической статистике и теории случайных функций / Под ред. А. А. Свешникова. — М.: Наука, 1970.
Агапов Г. И. Задачник по теории вероятностей. — М.: Высшая школа, 1986.
Емельянов Г. В., Скитович В.И. Задачник по теории вероятностей и математической статистике. — Л.: Изд-во ЛГУ, 1967.
Севастьянов Б. А., Чистяков В.И., Зубков А.М. Сборник задач по теории вероятностей. — М.: Наука, 1980.
Мешалкин Л.Д. Сборник задач по теории вероятностей. — М.: Изд-во МГУ, 1963.
Приложение
Таблица 1. Значения функции F(m; А) = -—е А
т
А
од
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
0
0,90484
81873
74082
67032
60653
54881
49659
44933
40657
36788
1
09048
16375
22225
26813
30327
32929
34761
35946
36591
36788
2
00452
01637
03334
05363
07582
09879
12166
14379
16466
18394
3
00015
00109
00333
00715
01264
01976
02839
03834
04940
06131
4
00005
00025
00072
00158
00296
00497
00767
01111
01533
5
00002
00006
00016
00036
00070
00123
00200
00307
6
00001
00004
00008
00016
00030
00051
7
00001
00002
00004
00007
8
00001
т
А
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
5,5
6,0
0
0,22313
13534
08208
04979
03020
01832
01111
00674
00409
00248
1
33470
27067
20521
14936
10569
07326
04999
03369
02248
01487
2
25102
27067
25652
22404
18496
14653
11248
08422
06181
04462
3
12551
18045
21376
22404
21579
19537
16872
14037
11332
08924
4
04707
09022
13360
16803
18881
19537
18981
17547
15582
13385
5
01412
03609
06680
10082
13217
15629
17083
17547
17140
16062
6
00353
01203
02783
05041
07710
10420
12812
14622
15712
16062
7
00076
00344
00994
02160
03855
05954
08236
10444
12345
13768
8
00014
00086
00311
00810
01687
02977
04633
06528
08487
10326
9
00002
00019
00086
00270
00656
01323
02316
03627
05187
06884
10
00004
00022
00081
00230
00529
01042
01813
02853
04130
11
00001
00005
00022
00073
00192
00426
00824
01426
02253
12
00001
00006
00021
00064
00160
00343
00654
01126
13
00001
00006
00020
00055
00132
00277
00520
14
00001
00006
00018
00047
00109
00223
15
00002
00005
00016
00040
00089
16
00002
00005
00014
00033
17
00001
00004
00012
18
00001
00004
19
00001
Таблица 2. Значения функции <р(ж) = J_ е Н
Сотые доли ж
0
1
2
3
4
5
6
7
8
9
0,0
0,39894
39892
39886
39876
39862
39844
39822
39797
39767
39733
од
39695
39654
39608
39559
39505
39448
39387
39322
39253
39181
0,2
39104
39024
38940
38853
38762
38667
38568
38466
38361
38251
0,3
38139
38023
37903
37780
37654
37524
37391
37255
37115
36973
0,4
36827
36678
36526
36371
36213
36053
35889
35723
35553
35381
0,5
35207
35029
34849
34667
34482
34294
34105
33912
33718
33521
0,6
33322
33121
32918
32713
32506
32297
32086
31874
31659
31443
0,7
31225
31006
30785
30563
30339
30114
29887
29659
29431
29200
0,8
28969
28737
28504
28269
28034
27798
27562
27324
27086
26848
0,9
26609
26369
26129
25888
25647
25406
25164
24923
24681
24439
1,0
24197
23955
23713
23471
23230
22988
22747
22506
22265
22025
1Д
21785
21546
21307
21069
20831
20594
20357
20121
19886
19652
1,2
19419
19186
18954
18724
18494
18265
18037
17810
17585
17360
1,3
17137
16915
16694
16474
16256
16038
15822
15608
15395
15183
1,4
14973
14764
14556
14350
14146
13943
13742
13542
13344
13147
1,5
12952
12758
12566
12376
12188
12001
11816
11632
11450
11270
1,6
11092
10915
10741
10567
10396
10226
10059
09893
09728
09566
1,7
09405
09246
09089
08933
08780
08628
08478
08329
08183
08038
1,8
07895
07754
07614
07477
07341
07206
07074
06943
06814
06687
1,9
06562
06438
06316
06195
06077
05959
05844
05730
05618
05508
2,0
05399
05292
05186
05082
04980
04879
04780
04682
04586
04491
2,1
04398
04307
04217
04128
04041
03955
03871
03788
03706
03626
2,2
03547
03470
03394
03319
03246
03174
03103
03034
02965
02898
2,3
02833
02768
02705
02643
02582
02522
02463
02406
02349
02294
2,4
02239
02186
02134
02083
02033
01984
01936
01888
01842
01797
2,5
01753
01709
01667
01625
01585
01545
01506
01468
01431
01394
2,6
01358
01323
01289
01256
01223
01191
01160
01130
01100
01071
2,7
01042
01014
00987
00961
00935
00909
00885
00861
00837
00814
2,8
00792
00770
00748
00727
00707
00687
00668
00649
00631
00613
2,9
00595
00578
00562
00545
00530
00514
00499
00485
00470
00457
3,0
00443
00430
00417
00405
00393
00381
00370
00358
00348
00337
3,1
00327
00317
00307
00298
00288
00279
00271
00262
00254
00246
3,2
00238
00231
00224
00216
00210
00203
00196
00190
00184
00178
3,3
00172
00167
00161
00156
00151
00146
00141
00136
00132
00127
3,4
00123
00119
00115
00111
00107
00104
00100
00097
00094
00090
3,5
00087
00084
00081
00079
00076
00073
00071
00068
00066
00063
3,6
00061
00059
00057
00055
00053
00051
00049
00047
00046
00044
3,7
00042
00041
00039
00038
00037
00035
00034
00033
00031
00030
3,8
00029
00028
00027
00026
00025
00024
00023
00022
00021
00021
3,9
00020
00019
00018
00018
00017
00016
00016
00015
00014
00014
Десятые
доли ж
0
2
4
6
8
4,
0,000 133 8
0 000 589
0 000 249
0000101
0 000 040
5,
0000015
Таблица 3. Значения интеграла Лапласа Фо(ж) — J— | 6 dt о
X
Сотые доли х
0
1
2
3
4
5
6
7
8
9
0,0
0,00000
00399
00798
01197
01595
01994
02392
02790
03188
03586
0,1
03983
04380
04776
05172
05567
05962
06356
06749
07142
07535
0,2
07926
08317
08706
09095
09483
09871
10257
10642
11026
11409
0,3
11791
12172
12552
12930
13307
13683
14058
14431
14803
15173
0,4
15542
15910
16276
16640
17003
17364
17724
18082
18439
18793
0,5
19146
19497
19847
20194
20540
20884
21226
21566
21904
22240
0,6
22575
22907
23237
23565
23891
24215
24537
24857
25175
25490
0,7
25804
26115
26424
26730
27035
27337
27637
27935
28230
28524
0,8
28814
29103
29389
29673
29955
30234
30511
30785
31057
31327
0,9
31594
31859
32121
32381
32639
32894
33147
33398
33646
33891
1,0
34134
34375
34614
34850
35083
35314
35543
35769
35993
36214
1,1
36433
36650
36864
37076
37286
37493
37698
37900
38100
38298
1,2
38493
38686
38877
39065
39251
39435
39617
39796
39973
40147
1,3
40320
40490
40658
40824
40988
41149
41308
41466
41621
41774
1,4
41924
42073
42220
42364
42507
42647
42786
42922
43056
43189
1,5
43319
43448
43574
43699
43822
43943
44062
44179
44295
44408
1,6
44520
44630
44738
44845
44950
45053
45154
45254
45352
45449
1,7
45543
45637
45728
45818
45907
45994
46080
46164
46246
46327
1,8
46407
46485
46562
46638
46712
46784
46856
46926
46995
47062
1,9
47128
47193
47257
47320
47381
47441
47500
47558
47615
47670
2,0
47725
47778
47831
47882
47932
47982
48030
48077
48124
48169
2,1
48214
48257
48300
48341
48382
48422
48461
48500
48537
48574
2,2
48610
48645
48679
48713
48745
48778
48809
48840
48870
48899
2,3
48928
48956
48983
49010
49036
49061
49086
49111
49134
49158
2,4
49180
49202
49224
49245
49266
49286
49305
49324
49343
49361
2,5
49379
49396
49413
49430
49446
49461
49477
49492
49506
49520
2,6
49534
49547
49560
49573
49585
49598
49609
49621
49632
49643
2,7
49653
49664
49674
49683
49693
49702
49711
49720
49728
49736
2,8
49744
49752
49760
49767
49774
49781
49788
49795
49801
49807
2,9
49813
49819
49825
49831
49836
49841
49846
49851
49856
49861
3,0
49865
49869
49874
49878
49882
49886
49889
49893
49897
49900
3,1
49903
49906
49910
49913
49916
49918
49921
49924
49926
49929
3,2
49931
49934
49936
49938
49940
49942
49944
49946
49948
49950
3,3
49952
49953
49955
49957
49958
49960
49961
49962
49964
49965
3,4
49966
49968
49969
49970
49971
49972
49973
49974
49975
49976
3,5
49977
49978
49978
49979
49980
49981
49981
49982
49983
49983
3,6
49984
49985
49985
49986
49986
49987
49987
49988
49988
49989
3,7
49989
49990
49990
49990
49991
49991
49992
49992
49992
49992
3,8
49993
49993
49993
49994
49994
49994
49994
49995
49995
49995
3,9
49995
49995
49996
49996
49996
49996
49996
49996
49997
49997
Десятые
ДОЛИ X
0
2
4
6
8
4,
0,499 968 3
4 999 867
4 999 946
4 999 979
4 999 992
5,
4 999 997
Учебное издание
БОЧАРОВ Павел ПетровичПЕЧИНКИН Александр Владимирович
ТЕОРИЯ ВЕРОЯТНОСТЕЙ. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
Оригинал-макет: В.В. ХудяковОформление переплета: А.Ю. Алехина
ЛР №071930 от 06.07.99. Подписано в печать 11.07.05.
Формат 60x90/16. Бумага офсетная. Печать офсетная.
Усл. печ. л. 18,5. Уч.-изд. л. 22,6. Заказ №
Издательская фирма «Физико-математическая литература»МАИК «Наука/Интерпериодика»
117997, Москва, ул. Профсоюзная, 90
E-mail: fizmat@maik.ru, fmlsale@maik.ru;
http://www.fml.ru
Отпечатано с готовых диапозитивовв ОАО «Чебоксарская типография № 1»428019, г. Чебоксары, пр. И. Яковлева, 15
ISBN 5-9221-0633-3
УДК 519.2(078.5)
ББК 22.171+22.172
Б 86
Бочаров П. П., Печинкин А. В. Теория вероятностей. Математическая статистика. — 2-е изд. — М.: ФИЗМАТЛИТ, 2005. — 296 с. — ISBN 5-9221-0633-3.
В первой части рассматриваются основные понятия теории вероятностей, при этом используются относительно простые математические конструкции, но, тем не менее, изложение ведется на основе аксиоматического построения, предложенного академиком А. Н. Колмогоровым. Во второй части излагаются основные понятия математической статистики. Рассматриваются наиболее часто встречающиеся задачи оценивания неизвестных параметров и проверки статистических гипотез и описываются основные методы их решения. Каждое приведенное положение иллюстрируется примерами. Излагаемый материал в целом соответствует государственному образовательному стандарту.
Студентам, аспирантам и преподавателям вузов, научным работникам различных специальностей и желающим получить первое представление о теории вероятностей и математической статистике.
© ФИЗМАТЛИТ, 2005
ISBN 5-9221-0633-3ISBN 5-9221-0633-3© П.П. Бочаров, А. В. Печинкин, 2005
ISBN 5-9221-0633-3
ISBN 5-9221-0633-3
ОГЛАВЛЕНИЕ
Предисловие 6
Введение 8
Теория вероятностей
Глава 1. Вероятностное пространство 15
Пространство элементарных исходов 15
События, действиянадними 16
сг-алгебра событий 21
Вероятность 25
Глава 2. Классическая и геометрическая вероятности 29
Классическая вероятность 29
Элементы комбинаторики в теории вероятностей 30
Геометрическая вероятность 36
Глава 3. Условная вероятность. Независимость событий. Формулы полной вероятности и Байеса 40
Условная вероятность 40
Формула умножения вероятностей 42
Независимость событий 44
Формулаполной вероятности 47
ФормулаБайеса 48
Глава 4. Схема Бернулли 52
ФормулаБернулли 52
ФормулаПуассона 53
Формулы Муавра-Лапласа 54
Применение приближенных формул Пуассона и Муавра-Лапласа 57
Теорема Бернулли 62
Вычисление определенных интегралов методом Монте-Карло . . . .63
Полиномиальная схема 67
Глава 5. Случайные величины и их распределения 69
Случайная величина 69
Функция распределения случайной величины 71
Дискретные случайные величины 74
Непрерывные случайные величины 77
Функции от случайной величины 84
Глава 6. Многомерные случайные величины и их свойства89
Многомерная случайная величина 89
Совместная функция распределения 90
Дискретные двумерные случайные величины 92
Непрерывные двумерные случайные величины 95
Условные распределения 101
Независимые случайные величины 105
Функции от многомерных случайных величин 108
Глава 7. Числовые характеристики случайных величин 114
Математическое ожидание случайной величины 114
Математическое ожидание функции от случайной величины. Свойства математического ожидания 117
Дисперсия. Моменты высших порядков 120
Ковариация и корреляция случайных величин 125
Условное математическое ожидание. Регрессия 129
Другие числовые характеристики случайных величин 133
Глава 8. Предельные теоремы теории вероятностей 137
Неравенство Чебышева. Закон больших чисел 138
Усиленный закон больших чисел. Закон повторного логарифма . . . 140
Характеристическая функция 143
Центральная предельная теорема 150
Список литературы 152
Математическая статистика
Глава 1. Общие сведения 155
Задачи математической статистики 155
Основные понятия математической статистики 158
Простейшие статистические преобразования 160
Основные распределения математической статистики 169
Глава 2. Оценки неизвестных параметров 173
Статистические оценки и их свойства 173
Достаточные оценки 183
Метод моментов 191
Метод максимальногоправдоподобия 193
Метод минимальногорасстояния 198
Метод номограмм 199
Доверительные интервалы 201
Глава 3. Проверка статистических гипотез 207
Статистическая гипотеза. Критерий 207
Простые гипотезы 212
Однопараметрические гипотезы. Равномерно наилучшие критерии 223
Многопараметрические гипотезы 232
Критерии согласия 238
Критерии однородности двух выборок 246
Глава 4. Некоторые задачи, связанные с нормальными выборками 252
Общая характеристика задач 252
Критерии согласия 253
Критерии равенства дисперсий 256
Выборочная корреляция 260
Общая линейная модель, метод наименьших квадратов 263
Регрессионный анализ 271
Дисперсионный анализ 278
Планирование эксперимента 285
Список литературы 292
Приложение 293
Предисловие
Предлагаемое учебное пособие написано на основе курсов по теории вероятностей и математической статистике, читаемых авторами в течение ряда лет студентам самых различных специальностей, начиная от инженерных и кончая прикладной математикой. Для его изучения достаточно знание математики в объеме стандартного курса высшей математики для втузов.
Следует обратить внимание читателя на то, что хотя теория вероятностей и математическая статистика выступают в роли единой математической дисциплины, ее первая часть — теория вероятностей — существенно более проста для понимания. Гораздо сложнее вторая часть — математическая статистика, причем необходимым условием для ее изучения является хорошее знание теории вероятностей. Этим объясняется определенное различие в стиле изложения первой и второй частей. Материал первой части, ориентированный на детальную проработку основных понятий теории вероятностей, достаточно однороден, в то время как во второй части применен «многоуровневый» подход к изложению: доказательства и более глубокие сведения, которые можно опустить при первом знакомстве с математической статистикой, выделены более мелким шрифтом.
В пособие включено большое количество примеров, иллюстрирующих приведенные положения.
В книге принята раздельная нумерация параграфов, примеров, формул, рисунков и таблиц по главам. При ссылке на объект из другой главы добавляется номер главы (например, «см. пример 3 из гл. 2»). В части 2 («Математическая статистика») имеются ссылки на часть 1 («Теория вероятностей»), и тогда добавляется «часть 1» (например, «см. часть 1, гл. 2, параграф 3»).
В книге приняты следующие соглашения об использовании математических знаков равенства и приближенного равенства. Соотношение f = д означает тождественное равенство функций / и д при всех значениях аргумента. Запись а ~ b означает асимптотическое равенство а и b при использовании предельных формул и эквивалентна математическому соотношению а = b + о(1). Наконец, запись а = b означает равенство а и b с точностью до ошибок округления.
В книге приводятся отдельные списки литературы для первой и второй частей. При этом принят следующий порядок: сначала по возрастанию сложности идут учебники, затем — дополнительная литература для тех читателей, кто желает более глубоко ознакомиться с тем
или иным разделом, и, наконец, также по возрастанию сложности приводятся задачники.
При написании настоящей книги были использованы материалы учебника Б. В. Гнеденко и задачника Л.Д. Мешалкина (см. [8] и [17], литература к части 1). Кроме того, хотя в приложении и приводятся таблицы значений распределения Пуассона, плотности нормального распределения и интеграла Лапласа, для решения примеров по математической статистике необходимо иметь статистические таблицы Л.Н. Большева и Н.В. Смирнова ([1], литература к части 2).
Авторы благодарны всем лицам, оказавшим помощь при подготовке настоящего издания.
Бочаров П.П., Печинкин А. В.
2005 г.
Введение
Теория вероятностей и математическая статистика относится к числу прикладных математических дисциплин, поскольку она направлена на решение прикладных задач и возникла из чисто практических потребностей, а использует математические методы. В свою очередь двойное название дисциплины говорит о том, что в ней можно выделить два направления: теорию вероятностей и математическую статистику. Если попытаться кратко объяснить, чем занимаются каждое из направлений, то это будет выглядеть так: теория вероятностей производит пересчет заданных вероятностей «простых» событий в вероятности «сложных» событий, а математическая статистика по наблюденным данным восстанавливает вероятности событий или проверяет, правы ли мы в своих предположениях относительно этих вероятностей.
Постараемся подробнее остановиться на том, какие закономерности изучает теория вероятностей и математическая статистика и какое отношение это имеет к практике.
Начнем с первого направления — теории вероятностей. Уже само название наводит на мысль, что основная задача теории вероятностей — изучение численных закономерностей в опытах, результаты которых не могут быть предсказаны однозначно до проведения испытаний.
Для того чтобы лучше понять существо дела, выясним подробнее тот смысл, который вкладывается в понятия «вероятно», «маловероятно», «весьма вероятно».
Первое необходимое условие употребления этих понятий заключается, как уже говорилось, в невозможности предсказания исхода некоторого действия. Так, мы не можем предсказать, какой стороной упадет подброшенная монета, сколько очков выпадет на игральной кости, сколько времени проработает электрическая лампочка, какое вещество образуется в результате определенной химической реакции (если, конечно, результат не предопределен известной нам теорией), сколько частиц будет зарегистрировано счетчиком Гейгера-Мюллера за заданный промежуток времени, какой номер телефона у знакомого, какая будет погода 1 июня 2010 г. и т. д.
Однако погоду 1 июня 2010 г. мы не будем знать до этого дня, а после наступления 1 июня 2010 г. она будет полностью определена. Поэтому применение слов «маловероятно», «весьма вероятно» к погоде именно 1 июня 2010 г. некорректно из-за невозможности повторения испытания и погодой 1 июня 2010 г. до этого дня занимается метеорология, а после — история, но никак не теория вероятностей. Итак, второе необходимое условие — возможность повторения испытания
с первоначальным комплексом исходных данных, причем, хотя бы теоретически, бесконечное число раз.
Далее, выяснив номер телефона знакомого, мы сколько бы раз его ни спрашивали, новых цифр не добьемся. Аналогично, определив исход химической реакции, а затем проведя ее снова при тех же условиях, мы, естественно, нового вещества не получим. Отсюда вытекает третье необходимое условие — невозможность точного предсказания результатов не только первого испытания, но и каждого последующего.
Таким образом, в приведенных выше примерах высказывания «маловероятно», «весьма вероятно» в наиболее точном их смысле можно отнести только к подбрасыванию монеты, бросанию игральной кости, испытанию электрической лампочки и регистрации частиц счетчиком Гейгера.
Попробуем теперь формализовать понятие «вероятного», связывая с ним числовую характеристику. Очевидно, эпитет «маловероятно» мы приписываем событиям, доля появления которых в общем числе испытаний мала, и, наоборот, «весьма вероятно» — событиям, происходящим практически во всех испытаниях. Введем количественную оценку понятия «вероятного». Для этого рассмотрим частоту Ja = Na/N появления некоторого события А, где Na — число появлений этого события, a N — общее число испытаний. Оказывается, как было установлено опытным путем, с ростом числа испытаний N для довольно широкого класса явлений частота ^а стабилизируется, т.е. стремится к некоторому предельному значению Ра, которое естественно принять в качестве вероятности события А. К явлениям подобного рода относятся события, связанные с выпадением «герба» или «цифры» при подбрасывании монеты, с выпадением определенного числа очков при бросании игральной кости, с работой электрической лампочки в определенных границах времени, регистрацией частиц счетчиком и многие, многие другие. Такие события разумно назвать случайными. Поскольку в настоящем курсе другие события встречаться не будут, то прилагательное «случайное» мы будем для краткости опускать.
Эмпирический закон предельного постоянства частоты является той основной физической предпосылкой, которая необходима для практического применения методов теории вероятностей. Более того, хотя современная теория вероятностей и строится на аксиоматическом определении вероятности (см. ниже), при осмыслении полученных результатов мы рекомендуем всегда пользоваться частотной интерпретацией. Так, если после вычислений Вы получили, что вероятность некоторого события А равна 0,15, то это нужно трактовать следующим образом: при многократном повторении соответствующего опыта на каждые 100 испытаний приходится 15 появлений события А.
Однако попытка отождествить вероятность с частотой не выдерживает никакой более или менее существенной критики. Частота меняется от испытания к испытанию, а бесконечного числа испытаний, как известно, никто не проводил и вряд ли проведет в обозримом будущем.
Математика же привыкла иметь дело с точными, логически безупречными понятиями, и частотное определение ее никак не устраивает. Поэтому выдающимся математиком прошлого века Андреем Николаевичем Колмогоровым было предложено аксиоматическое определение вероятности, основанное на общем понятии меры. При этом аксиомы Колмогорова отражают три основных свойства частоты, перенесенных им на вероятность.
Частота появления случайного события неотрицательна — аксиома неотрицательности вероятности.
Частота появления достоверного события, т. е. события, происходящего в каждом испытании, равна единице — аксиома норми- рованности.
Если два события не могут одновременно произойти в одном и том же испытании (несовместны), то частота появления хотя бы одного из них совпадает с суммой частот появления каждого — аксиома сложения вероятностей.
Если теперь сопоставить каждому событию вероятность, т. е. число, удовлетворяющее трем вышеперечисленным аксиомам, то, оказывается, можно построить весьма содержательную теорию. При этом единственное добавление, необходимое для обеспечения математической строгости, заключается в замене аксиомы сложения вероятностей 3 расширенной аксиомой сложения вероятностей:
. Вероятность суммы равна сумме вероятностей не только для двух, но и для произвольного счетного (т. е. такого, которое можно пересчитать с помощью чисел натурального ряда) числа несовместных событий.
Аксиоматический подход позволяет не только описать хорошо известные явления, но и найти закономерности более общего типа. Так, вспомним пример с подбрасыванием монеты. Естественно предположить (и это подтверждается неоднократными опытами), что частоты выпадения «герба» и «цифры» одинаковы, и приписать каждому из этих двух событий одинаковую вероятность 1/2. Однако при аксиоматическом построении теории вероятностей мы вправе приписать выпадению «герба» любую вероятность р, заключенную между нулем и единицей, а тогда выпадению «цифры» мы обязаны сопоставить вероятность q = 1 — р. Такое определение вероятности описывает случай несимметричной монеты. В свою очередь, последовательное подбрасывание несимметричной монеты (или аналогичный опыт) носит в теории вероятностей название последовательности независимых одинаковых испытаний или схемы Бернулли и является одной из наиболее часто применяемых на практике «базовых» моделей, позволяющих наглядно представить себе основные задачи этой теории.
Теперь мы можем привести примеры простейших задач, которые решает теория вероятностей. Так, считая, что при бросании игральной
кости падение ее на любую грань одинаково вероятно, нужно найти вероятность того, что выпадет четное число очков. Или, зная вероятность р выпадения «герба» при одном подбрасывании несимметричной монеты, необходимо определить вероятность выпадения ровно одного «герба» при двух подбрасываниях этой же монеты.
Вернемся к примерам, рассмотренным в самом начале введения. При первом прочтении мы отбросили высказывания о погоде, результате химической реакции, номере телефона знакомого. При более детальном рассмотрении оказывается, однако, что и к ним можно применить методы теории вероятностей. Заменяя, например, высказывание «погода 1 июня 2010 г. будет солнечная» высказыванием «погода 1 июня будет солнечная» (не указывая, какого именно года), мы уже вправе использовать вероятностные соображения. Аналогично, в результате химической реакции могут появиться побочные продукты, объем которых может оказаться случайным. Предоставим читателю самому придумать постановку задачи о номере телефона знакомого, для решения которой также можно было бы применить вероятностные методы.
Перейдем ко второму направлению — математической статистике. В теории вероятностей игнорируется вопрос: откуда берутся исходные вероятности? Они считаются заданными «извне» или определенными какой-либо теорией. Однако в реальной жизни при применении методов теории вероятностей постоянно приходится сталкиваться с ситуациями, когда эти вероятности нам неизвестны. Конечно, при отсутствии всякой информации давать какие-либо прогнозы — вещь весьма опасная. Поэтому подумаем, как можно выйти из создавшейся ситуации.
Обратимся к примеру. Пусть нам предлагают играть в «орлянку» неизвестной монетой, о которой мы не знаем, как часто выпадает «герб» и как часто — «цифра». Осторожный человек, прежде чем «бросаться головой в омут», всегда посмотрит, как это делают другие. Поэтому он сначала понаблюдает за ходом игры и только потом, оценив для себя шансы, будет ставить на тот или иной исход.
Именно задачами восстановления на основе предварительных наблюдений данных, недостающих для расчетов методами теории вероятностей, и занимается математическая статистика. Очевидно, что в силу случайности результатов наблюдений сделать достоверные выводы о параметрах того явления, которое мы далее собираемся исследовать, невозможно. Тем не менее у нас есть определенная зацепка: это тот же самый эмпирический закон предельного постоянства частоты (однако, если мы работаем в рамках аксиоматического подхода, мы должны этот закон доказать строго математически!). В соответствии с ним: чем дольше производить наблюдения, тем более точные выводы можно получить. Математическая статистика как раз и учит тому, как нужно обрабатывать наблюдения, чтобы «выжать» из них наиболее полную
информацию, и как оценить степень достоверности полученных выводов.
Вернемся к игре в «орлянку». Понаблюдав за игрой, мы можем задать себе такой вопрос: что можно сказать на основе полученных данных о вероятности выпадения «герба»? Или спросить себя: а действительно ли вероятности выпадения «герба» и «цифры» одинаковы, как это нам обещают? Именно эти два вопроса и определяют два основных направления в математической статистике. Первое направление связано с оценкой неизвестного параметра (в частности, вероятности выпадения «герба»), а второе — с проверкой определенных предположений, или гипотез (в нашем примере — гипотезы о равновероятности выпадения «герба» и «цифры»).
Правильность исходных предпосылок теории вероятностей и математической статистики, как и всякой другой прикладной теории, проверяется практикой. На сегодняшний день трудно найти такую область человеческих знаний, где в той или иной мере не применялись бы методы теории вероятностей и математической статистики. Сюда, наряду с естественными отраслями науки и техники, такими, как физика, химия, инженерия, можно отнести и, казалось бы, далекие от математики области: историю, медицину, генетику, социологию, лингвистику и т. д.
На базе теории вероятностей и математической статистики сформировались и выросли такие разделы, как теория случайных процессов, теория массового обслуживания, математическая теория надежности и т. д. В свою очередь теория вероятностей и математическая статистика опираются на другие математические дисциплины: функциональный анализ, алгебру, аналитическую геометрию, теорию функций комплексного переменного, дифференциальные уравнения и др.
В заключение скажем несколько слов об истории развития теории вероятностей и математической статистики. Возникновение теории вероятностей обычно относят к XVII в. и связывают с комбинаторными задачами азартных игр. Хотя азартные игры и нельзя рассматривать как серьезный объект для изучения, именно они привели к решению задач, не укладывавшихся в рамки существовавших тогда математических моделей, и способствовали появлению новых понятий и идей. Эти новые элементы можно встретить уже у Я. Бернулли, П.С. Лапласа, К. Ф. Гаусса и целого ряда других видных математиков того времени. Как самостоятельный раздел математики дисциплина «Теория вероятностей и математическая статистика» сложилась в конце XIX — начале XX веков, причем если говорить о математической статистике как об отдельном направлении, то ее бурное развитие началось лишь в прошлом столетии. Окончательное становление теории вероятностей и математической статистики, как уже говорилось, связано с именем А. Н. Колмогорова.
Часть I