Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Структура книги
'одержание минп дели н я па грн части. Первая часть (сланы 1 7) содержит радишнинн.in мак-риал по к-ории вероятностей. Изложение не ненользует тсо- ““ иииштся/io< taio4iio ciponiM. Вторая часть (главы 8 и 9) дает
ся только процессами с дискретным пространством состояний. Последняя часть книги (главы 10-14) излагает основы математической статистики.
Главы делятся на разделы. Некоторые из них помечены звездочкой, говорящей о том, что раздел содержит дополнительный материал и может быть при желании пропущен.
В конце глав имеются компьютерные практикумы, задания для самостоятельной работы (на компьютере) и раздел «Задачи».
Компьютерный практикум ставит своей целью реализацию и иллюстрацию на компьютере соответствующих теоретических положений, а также получение практических навыков в решении задач. Можно добавить, что попутно студенты приобретают навыки работы на компьютере, алгоритмизации и программирования задач. В практикумах используется два компьютерных пакета программ: Mathcad и STATISTICA. Первый представляет собой язык программирования, ориентированный на математические вычисления. Запись программы на этом языке и принятая в математике запись формул и алгоритмов фактически совпадают. Пакет STATISTICA представляет собой мощную интегрированную систему статистического анализа и обработки данных. Для этих целей в состав пакета включены разнообразные статистические модули. В процессе решения конкретной задачи в пакете STATISTICA необходимо вызвать требуемый модуль, ввести исходные данные, установить необходимые параметры и выбрать выходную форму с полученными результатами.
Практикум начинается с изложения необходимого справочного материала, далее следует описание реализации и выполнения заданий. Основной составляющей практикума, проводимого на базе системы Mathcad, является компьютерная программа (или пользовательская функция). Обычно приводится ее текст, содержащий необходимые пояснения. Слабо подготовленный по программированию студент может просто набрать этот текст, а затем провести соответствующие расчеты. Хорошо подготовленному студенту рекомендуется разобраться в логике работы программы и постараться улучшить ее. При разработке программ авторы в первую очередь стремились сделать их простыми для понимания, так что здесь имеется большой простор для совершенствования. Авторы будут рады получить от читателей соответствующие модификации, предложения и замечания.
Задания для самостоятельной работы содержат разного рода задания (от составления новых программ до проведения расчетов по имеющимся программам), которые студенты должны выполнить на компьютере.
Предлагаемые задачи позволяют закрепить пройденный материал, а также сделать на его основе дальнейшие обобщения.
Стиль, нумерация и выделения в тексте
Главы имеют сквозную нумерацию, от первой до четырнадцатой. Разделы имеют двойную нумерацию, состоящую из номера главы и номера раздела внутри гла вы, например, второй раздел седьмой главы имеет номер 7.2. Аналогичным обра зом нумеруются формулы, теоремы, примеры, таблицы и рисунки. Если один
смотрении к его номеру приписывается очередная буква русского алфавита, рпмер, пример 1.2а.
ределепия имеют ординарную нумерацию внутри главы. Имеющиеся доказа- ьства выделяются словом Доказательство. Окончание доказательства или смотрения серии примеров указывается символом □.
скс гс широко используются выделения с помощью курсива — для вводимых «•делений, формулировки теорем, привлечения внимания к определенной гп текста.
oilin’ книги имеется алфавитный указатель, к которому следует обращаться, да встречается незнакомый термин.
1агодарности
орыражают глубокую благодарность Ирине Геннадьевне Михневич и Ната- Львовне Савельевой за прекрасную работу по подготовке книги к изданию.
■ издательства
пи замечания, предложения и вопросы отправляйте по адресу электронной пы comp@piter.com (издательство «Питер», компьютерная редакция).
। будем рады узнать ваше мнение!
ссты приведенных в книге заданий вы можете найти по адресу:
http://www.piter.com/download.
дробную информацию о наших книгах вы найдете на веб-сайте издательства >://www. piter. com.
Пространство элементарных событий
События и операции над ними
Теория вероятностей, как и любая другая математическая дисциплина, начинает с неопределяемых понятий. В теории вероятностей это понятия испытания (унотребимыми синонимами также являются опыт, эксперимент, наблюдение и пр.) и элементарного события (элементарный исход).
Под испытанием понимается реализация определенного комплекса условий, в результате которой наступает ровно одно элементарное событие из общей их совокупности, называемой пространством элементарных событий. Пространство элементарных событий мы будем обозначать заглавной буквой греческого ал<|>а- nu raQ. Входящие в него элементарные события обозначаются строчными буквами греческого алфавита, при необходимости — с индексами: со, со,, со2, со,,... Пространство элементарных событий описывается, как и любое множество — фигурными скобками, в которых перечисляются входящие в него элементарные события, например, Q = {со,, со2, со3, ...}.
В зависимости от числа элементарных событий в пространстве, мы будем различать конечное, счетное и несчетное пространство элементарных событий. Конечное пространство содержит конечное число элементарных событий, счетное — бесконечное число, однако такое, которое можно перенумеровать (говорят также — пересчитать). Наконец, несчетное пространство содержит бесконечное число элементарных событий, не поддающихся нумерации (пересчету).
Па базе введенных понятий даются другие определения теории вероятностей. При их формулировке мы будем давать два определения: теоретико-множественное, использующее язык теории множеств, и вероятностное, основанное па содержательном смысле вводимого определения.
Определение 1. Событием (иначе составным событием) называется некоторое подмножество пространства элементарных событий. Говорят, что событие наступило в результате испытания, если наступило одно из элементарных событий, входящих в данное событие.
События мы будем обозначать заглавными буквами латинского алфавита А, В. С, ... Как и ранее для пространства Q, событие А описывается с помощью с|>игур пых скобок, внутри которых указываются элементарные события, составляющие эго собы тие, например, А - (<о;,, <о4, <o(i, <он}.
з приведенного определения естественно вытекает следующее определение.
цюделение 2. События называются эквивалентными (символ эквивалентности =), ■ли они состоят из одних и тех же элементарных событий. Эквивалентные со- •пия наступают или не наступают одновременно.
з всевозможных событий два события занимают особое положение — это не- ыможиое и достоверное события.
пределение 3. Событие называется невозможным, если оно не содержит ни (пою элементарного события, иначе — это пустое подмножество Q. Невозмож- >е событие никогда не происходит, оно обозначается 0. Событие называется ктоверным, если оно содержит все элементарные события пространства Q, паче — если оно совпадает с самим пространством. Достоверное событие проходит при каждом испытании, оно обозначается U (или просто Q, хотя это формально некорректно: U — это подмножество Q).
римеры
ример 1.1. Однократное бросание игральной кости. Игральная кость представ- нет собой правильной формы кубик, на шести гранях которого точками изобра- <-мы числа 1, 2, 3, 4, 5, 6, на каждой грани по одному числу. После бросания кос- । фиксируют число, записанное на верхней грани кубика. О нем говорят как о ыпаншем числе очков.
данном случае элементарным событием является число выпавших очков. Если ышию г очков, г = 1, ..., 6, то будем говорить, что произошло событие со,. Следова- •лыю, Q = (соь со2, со3, со4, со5, со6}, пространство содержит шесть элементарных со- 1.ПИЙ и является конечным. Событие «число выпавших очков равно 9» является (■возможным, а событие «число выпавших очков не более 7» является достоверным, ели Л.,^, обозначает событие «выпало четное число очков», то Ачст = {со 2, ®ь ®е}- <з = {<о |, о)2, (в3, <о4} представляет собой событие «число выпавших очков менее пяти», ример 1.2. Двукратное бросание игральной кости. Пусть игральная кость броса- гся дважды. Эти два бросания образуют одно испытание. Если при первом бро- шпи выпало г очков, а при второму очков, то будем этот результат записывать в идс ij и считать это элементарным событием. Следовательно, пространство эле- к'итарпых событий Q = (И, 12, 13, 14, 15, 16, 21, 22, 23, 24, 25, 26, 31, 32, 33, 34, 5, 36, 41, 42, 43, 44, 45, 46, 51, 52, 53, 54, 55, 56, 61, 62, 63, 64, 65, 66}. Более ком- актпая запись следующая: Q = (гу: i, j е{1, 2, 3, 4, 5, 6}}. Она означает, что рас- матриваются все пары ij, где i и у пробегают всевозможные значения от 1 до 6. д ли А_ - событие «при обоих бросаниях выпало одинаковое число очков», то L ■ {11, 22, 33, 44, 55, 66}. Событие Ах=ю «сумма выпавших очков равна 10», за- н< ынается гак: А^=ю = (46, 55, 64}.
1ример 1.3. Бросание монеты. В соответствии со старинной русской традицией, удсм одну сторону монеты (вне зависимости от ее достоинства и страны) назы- ать «гербом», а вторую — «решеткой». Пусть монета подбрасывается до первого >.| падей ия герба. Вся последовательность таких подбрасываний составляет одно к пытайне. Если результат выпадения герба при одном подбрасывании обозиа- ап, Г, а решетки Р, то пространство элементарных событий записывается в виде
11 = {Г, РГ, РРГ, РРРГ, РРРРГ, ...}. Мы видим, что число элементарных собы тий пространства бесконечно. Это — пример «счетного» пространства элемен тарных событии.
Событие А3 — «первый герб выпал при пятом бросании» есть А3 = {РРРРГ}. ()но состоит только из одного элементарного события РРРРГ. Событие А54 «потребовалось не более четырех бросаний» записывается так: А^ = {Г, РГ, РРГ, РРРГ}. Событие В «герб выпал до седьмого подбрасывания, но при подбрасывании с четным номером» может быть представлено так: В = {РГ, РРРГ, РРРРРГ). Чтобы записать событие Ачст «герб выпал при подбрасывании с четным номером», мы введем следующее обозначение, принятое в формальных языках и грамматиках: i-я степень символа означает, что этот символ в записи повторяется г раз. Например, Г5 означает ГГГГГ. Теперь можно записать Ачи = {/,2' 1 /’,: 1=1,2,...}.
Пример 1.4. Задача о встрече. Два приятеля договорились встретиться между двенадцатью и часом дня в условленном месте. Сконструируем пространство элементарных событий, соответствующее данной ситуации. Будем рассматриваемый интервал времени обозначать (0, 1), момент прихода первого приятеля х, а второго приятеля у. Фиксация этих моментов времени будет соответс твова ть элементарному событию (рс,уУ На числовой плоскости оно обозначается точкой. Вее пространство элементарных событий геометрически представляет собой квадрат с единичной длиной сторон, расположенный в начале положительного квадранта плоскости. Аналитически это можно записать в виде И = (0, 1 )х((), 1) = ^(х, уУ х, у е(0, 1)}. Отметим, что это — несчетное пространство элементарных событий: число его элементарных событий нельзя пересчитать или перенумеровать.
Событие А «оба приятеля пришли до половины первого» записывается в виде А = {(х, уУ х, у е(0, 0.5)}. Предположим, что пришедший первым ждет приятеля четверть часа и уходит, если тот не придет до этого. Тогда событие В «прия тели встретятся» есть В = {(х, у): х, у е (0, 1), | х - у | < 0.25}.
Пример 1.5. Случайное блуждание на плоскости. Представим себе шахматную доску и некоторую гипотетическую фигуру на ней, которая может ходить только на одну клетку или направо по горизонтали, или вверх по вертикали. Вначале <|>п гура стоит в нижнем левом углу доски. Это соответствует клетке (полю, на шахматном языке) al, если вертикальные ряды клеток обозначать a, b, с, d, с, f, g, h, а горизонтальные ряды 1, 2, 3, 4, 5, 6, 7, 8. Опишем перемещение фигуры за пя ть ходов.
В данном случае будем понимать под одним испытанием все пять ходов фигуры. Элементарным событием является отдельная траектория, описывающая движе пне фигуры в течение этих пяти ходов. Удобно его записывать в виде пятимерного булевого вектора, компоненты которого принимают значения 0 и 1. /-я ком нонента вектора соответствует z-му ходу фигуры, 0 — перемещению фигуры направо, al — перемещению вверх. Так, элементарное событие 00000 означает, ч то фигура все время двигалась направо по горизонтали, 11111 — ч то двигалась вверх но вертикали, 11100 — что первые три шага сделала вверх, а два послед них направо. Бели обозначить В {(), 1 } множество из двух булевых значении
) и 1, а В5 множество всевозможных булевых векторов с пятью компонентами, то |ространство элементарных событий Q = В5.
Событие Ас4 «после пятого шага фигура находится на клетке с4» записывается и’рез элементарные события так: At4 = {00111, 01011,01101, OHIO, 10011, 10101, 10110, 11001, 11010, 11100}. Этот пример интересен тем, что элементарному со- >ы гию здесь соответствует некоторая траектория движения фигуры. Данная си- уация характерна для теории случайных процессов, которая будет рассматри- >аться далее.□
Теперь мы рассмотрим операции над событиями, важнейшими из которых явля- отся сумма, произведение и разность.
)пределение 4. Сумма событий А, ,А2,..., Ак — это событие кГ 1
(J А; =А, + А2 + ... + Ак = j ш:3 г = 1,4 гое А, >,(11)
!=1IJ
юстоящее из элементарных событий, входящих в события-слагаемые. Оно на- тупает тогда, когда наступает хотя бы одно из событий-слагаемых: или А( или 12 и т. д. — принцип «или»-«или».
)пределение 5. Произведение событий А1,А2,...,Ак — это событие
ПА =А -А2 - ....At = j со: V i = 1, /г шеАД,(1.2)
i=lIJ
юстоящее из элементарных событий, входящих во все события-сомножители. )ш> наступает, когда наступают все события-слагаемые: и Аь и А2, и т. д. — ■рипцип «и»-«и».
Рис. 1.1. Диаграммы ВеннаРис. 1.1. Диаграммы Венна
Рис. 1.1. Диаграммы Венна
Рис. 1.1. Диаграммы Венна
)пределение 6. Разность событий А и В — это собы тие
А - В =Дт: те А, те ВА - В =Дт: те А, те В(13)(13)
А - В =Дт: те А, те В
А - В =Дт: те А, те В
(13)
(13)
состоящее из элементарных событий, входящих в А, но не входящих в В. Оно наступает, когда событие А наступает, а событие В не наступает.
Введенные выше понятия могут быть проиллюстрированы геометрически с помощью диаграмм Венна (рис. 1.1). На этом рисунке поясняемые понятия вынесены на полочку. Соответствующие им события заштрихованы.
Примеры
Пример 1.1а. Однократное бросание игральной кости. Как и раньше, пусть А,,,., — событие «число выпавших очков четное», а А<3 — событие «выпало менее пяти очков». Тогда сумма этих событий происходит, когда выпало или четное число очков, или когда это число менее пяти: Ачет + А<5 = {№,, со2, со3, со4, со6}. Иными словами, она происходит всегда, когда число выпавших очков не равно пяти. Произведение этих событий наступает при двух элементарных исходах: число выпавших очков должно равняться двум или четырем: АчетА<3 = {со2, со4}. Разность А<3 - Ачет означает событие «число выпавших очков меньше пяти и нечетное» : А<3 -Ачет = {со„ со3}.
Пример 1.2а. Двукратное бросание игральной кости. Произведение двух событий А. «число выпавших очков на обоих гранях совпадает» и Az=10 «сумма выпавших очков равна десяти» есть событие, состоящее из одного элементарного события. Их разность А. - Az=10 ={11,22, 33, 44, 66}.
Пример 1.3а. Бросание монеты. Событие «герб выпал до пятого бросания, причем это было бросание с четным номером» можно представить в виде произведения АчетА54 событий Ачет и As4. Разность А<4 -Ачет ={Г, РРГ} означает событие «герб выпал до пятого бросания, причем это было событие с нечетным номером».
Пример 1.4а. Задача о встрече. Произведение АВ означает событие «оба приятеля пришли до половины первого и встретились», в то время как разность А В, что «они пришли до половины первого, но не встретились». □
Между событиями существуют различные отношения. С одним из них мы уже познакомились, это отношение эквивалентности событий =. Рассмотрим другие важные отношения.
Определение 7. События называются противоположными, если каждое из них содержит те элементарные события, которые не содержит другое событие. Если А — некоторое событие, то противоположное ему событие обозначается А, при чем это противоположное для А событие единственно. Если некоторое событие произошло, то противоположное ему событие не произошло, и наоборот.
Противоположное для А событие можно формально определить так: А = {со е Q: со е А}. Поскольку одновременное наступление события А и противоположного ему события А невозможно, то А-А =0. Из определения следует также, что одно из этих событий происходит обязательно, поэтому А + А = 17.
Понятие противоположного события позволяет выразить разность событий и виде произведения: А -В = АВ.
Определение 8. События А и В называются несовместными, если они не содержат общих элементарных событий, то есть одновременно наступить не могут,
16
Следовательно, их upon нкагипе < < i ъ невозможное событие; АВ = 0. О событиях Аи А.,,... гопорш, hiо попарно несовместны, если никакие два из них не совместны
Онридинпнии и I пиорн ।, что событие А влечет событие В, и записывают это как I ■ Н. ci мн ммит .ик'ментарпое событие из А входит в событие В. Наступление
•бы ши Л 1О1ГЧС1 наступление события В. Очевидно, А В = А, А + В = В.
ородишити К) События А], А2,.... Ак образуют полную группу событий (инам разбиение пространства Я), если они; попарно несовместны; не невозможны, в сумме дают все пространство элементарных событий, то есть достоверное событие Q. События полной группы называют гипотезами.
Рисунок 1.2 дает графическое представление полной группы событий.
■ Рис. 1.2. Полная группа событий
Примеры
Пример 1.1b. Однократное бросание игральной кости. Противоположным событию Ачст является событие Ачет ={«>t, ш3, <о5} — «число выпавших £чков нечетно». Если В = {ш2, <о4} — событие «выпало два или четыре очка», то Ачег и В — несовместные события. Ясно также, что событие В влечет событие Ачст. События В, Л и (oG образуют полную группу событий.
Пример 1.2b. Двукратное бросание игральной кости. События А,^: «сумма выпавших очков не больше пяти», А6_э: «сумма выпавших очков составляет от шести до девяти» и А10_12: «сумма выпавших очков больше девяти» образуют полную группу событий. □
Компьютерный практикум № 1.
Операции над событиями в пакете Mathcad
Общие положения
I [астоящий практикум открывает цикл работ, выполняемых на персональном компьютере (ПК). В первой части книги при решении задач теории вероятностей будем использовать пакет Mathcad, во второй части при решении задач математической статистики — пакет STATISTICA. Выбор данного программного обеспечения не случаен. Оба пакета представляют собой интегрированные многофункциональные системы, предназначенные для проведения разнообразных вычислений. Они получили широкое распространение и достаточно хорошо
описаны и отечественiioii ./inrepaiуре (см. список литерагуры в конце киши) При изложении материала практикумов авторы не ставили < поей целый полное изучение данных пакетов, а стремились показать, каким образом задачи теории вероятностей и математической статистики могут быть решены па ПК. Для уг neiimoro прохождения компьютерных практикумов не требуется нредваритсль пая подготовка по пакетам программ или программированию для ,')ВМ. 11собхо дпмые для работы сведения будут излагаться по мере изучения практикумов Дополнительный справочный материал по пакетам Mathcad и STATISTKA можно найти в литературе [1, 6]. Читатель, прошедший все практикумы, не голь ко закрепит теоретический материал курса и решит разнообразные практические примеры, но и приобретет умение работать с пакетами Mathcad и STATISTIC'А, а говоря более обобщенно — умение программировать. Отметим также, ч то мало подготовленный читатель может пользоваться представленными программами, не особенно разбираясь в логике их работы. Для более подготовленного читателя представляются широкие возможности усовершенствования и развития этих программ.
Цель и задачи практикума
Целью практикума является компьютерная реализация основных операций над событиями в среде Mathcad.
Задачами данного практикума являются:
задание пространства элементарных событий и отдельных событий;
проверка принадлежности данного элементарного события составному собы тию;
выполнение операций суммы, произведения и разности событий.
Необходимый справочный материал
В процессе работы в пакете Mathcad создаются документы, которые могут содержать формулы, программы, комментарии, результаты вычислений и графики. 11ростые вычисления реализуются посредством ввода соответствующих формул, для организации сложных вычислительных процессов составляются программы. Формулы могут иметь вид арифметического выражения, которое необходимо вычислить, или вид определяемой функции. Достоинством пакета является про с гота представления формул, которые имеют естественную запись. Программы на Mathcad оформляются в виде программных блоков (см. ниже). При вводе конструкций Mathcad рекомендуется использовать вызываемые на экран палит ры инструментов, содержащие множество математических символов, ключевые слова и др. Рядом с выражениями рекомендуется вводить комментарии, которые поясняют их назначения. Результаты расчетов также необходимо сопровождаз ь комментариями. Ввод формул, программ и текста производится в любом меезе рабочего окна. При этом для каждого выражения и фрагмента текста создается своя рабочая область, ограниченная обычно невидимым прямоугольником (этот прямоугольник становится видимым при вводе в него курсора и нажатии па левую кнопку мыши).
Документ в Mathcad образуется из совокупности всех рабочих областей, создан пых пользователем, при сохранении он получает расширение .med.
В системе Mathcad использую гея три средства для ввода и редактирования элементов документа, одно из которых обязательно присутствует на экране. Рассмотрим подробнее эти средства.
Крестообразный курсор или визир (красный плюс) используется для размещения новых выражений, графиков и текстовых областей. Отмечает место в рабочем документе, где должна появиться новая область.
Маркер ввода (вертикальная черта) подобен аналогичному средству в текстовом редакторе. Он используется для удаления и вставки отдельных символов и эле- мептов.
выделяющая рамка, по сути, является двумерным маркером ввода (имеет синий цвет) и предназначена для работы в математической и графической областях. Выделяющая рамка широко используется при вводе и редактировании матема- । пческих выражений. При этом действует следующее важное правило-, то, что заключено в выделяющую рамку, становится операндом следующего вводимого оператора. Правильное использование выделяющей рамки позволяет избежать многих ошибок, связанных с неправильным порядком выполнения математиче- । кнх операций. Имеется несколько способов заключить часть выражения в выделяющую рамку. Один из них — поставить маркер ввода на требуемое место и нажать клавишу «пробел» нужное число раз. Другой способ — отметить мышью нужное выражение, и используя клавиши, обозначенные стрелками, перемещать курсор ввода в нужном направлении.
Вид окна Mathcad 2001, содержащего примеры различных объектов языка и результаты вычислений, показан на рис. 1.3. Все примеры снабжены текстовыми комментариями. Окно имеет стандартную для окна приложения MS Windows езруктуру. Верхняя строка окна содержит имя приложения Mathcad Professional (альтернативным является использование Mathcad 6+, Mathcad 7 и др.), имя файла, в котором сохраняются результаты работы, (в нашем случае это имя examples) и справа — размерные кнопки для работы с окном. Вторая строка окна содержит команды прикладного меню. Это меню имеет набор стандартных для приложений MS Windows групп команд: File, Edit, View, Format, Windows, Help, а также две специфичные группы Math (Математика — операции управления вычислениями) и Symbolics (Символьные вычисления — операции символьной математики). Следующие три строки содержат панели инструментов. Многие инструменты должны быть известны читателю, так как они имеются в большин- < гне приложений MS Windows. Среди инструментов, специфичных для Mathcad, следует- указать кнопку f(x), которая открывает список встроенных функций, а также инструменты панели математических операций, которая в нашем случае расположена в пятой строке окна. Эта панель содержит кнопки запуска девяти палитр инструментов, предоставляющих пользователю множество математических символов, ключевые слова, шаблоны и многие другие символы, которые облегчают набор базовых конструкций Mathcad. Для того чтобы узнать название отдельных палитр, достаточно навести на соответствующую кнопку (иконку) курсор мыши. Следуя слева направо по группе кнопок, поясним назначение каждой из палитр:
U Calculator Toolbar — панель калькулятора, содержит общие арифметические операторы; л
V 1\
U Graph Toolbar — панель графиков, содержит набор двух- и трехмерных графиков;
Vector and Matrix Toolbar — панель матричных и векторных onepaiuiii;
Evaluation Toolbar — панель вычислений, содержит набор знаков, исно-ньлуг мых в математических выражениях (равенство, тождество и др.);
Calculus Toolbar — панель операций математического анализа (производные, интегралы, пределы, произведение и др.);
Boolean Toolbar — панель отношений, содержит знаки операций сравнения;
Programming Toolbar — панель программирования, содержит набор базовых операторов языка Mathcad;
Greek Symbol Toolbar — панель греческих букв;
Symbolic Keyword Toolbar — панель ключевых слов языка Mathcad.
Отметим, что в отдельных версиях пакета Mathcad часть из перечисленных на литр вызывается с использованием команды прикладного меню View-Toolbars.
^Mathcad Professional < [examples)
0» £d^Y*w h$«*H^p _
^Namal~' jJ^O 5? ® * И !® Ж Я 5= $5
[в-H «to?', i»*t
Примеры использования различных конструкций языка MATHCAD Пример 1. Вычисление арифметического выражения Пример 4. Программа вычисления факториала числа п
for I« 1.. лfor I« 1.. лПример 2. Вычисление алгебраического выражения а > 3 Ь := 4-{а1 + Ь2 - 5Пример 3. Вычисление таблицы значений функцииПример 2. Вычисление алгебраического выражения а > 3 Ь := 4-{а1 + Ь2 - 5Пример 3. Вычисление таблицы значений функциих-1,2.8 у(х) - а х2 + b х + 1Пример 5. Пострвение графика функции у(х)5х-1,2.8 у(х) - а х2 + b х + 1Пример 5. Пострвение графика функции у(х)5Фактвриал числа 6 равен: Fact(6) - 720Фактвриал числа 6 равен: Fact(6) - 720Рис. 1.3. Окно Mathcad с примерами вычисленийРис. 1.3. Окно Mathcad с примерами вычислений12 53 - ^/SJ = 1498 х 103
for I« 1.. л
for I« 1.. л
Пример 2. Вычисление алгебраического выражения а > 3 Ь := 4-{а1 + Ь2 - 5
Пример 3. Вычисление таблицы значений функции
Пример 2. Вычисление алгебраического выражения а > 3 Ь := 4-{а1 + Ь2 - 5
Пример 3. Вычисление таблицы значений функции
х-1,2.8 у(х) - а х2 + b х + 1Пример 5. Пострвение графика функции у(х)5
х-1,2.8 у(х) - а х2 + b х + 1Пример 5. Пострвение графика функции у(х)5
Фактвриал числа 6 равен: Fact(6) - 720
Фактвриал числа 6 равен: Fact(6) - 720
Рис. 1.3. Окно Mathcad с примерами вычислений
Рис. 1.3. Окно Mathcad с примерами вычислений
Под строками инструментов находится окно рабочего документа, в котором рас полагаются все введенные выражения, операторы и результаты расчетов, ('одер жимое окна документа можно редактировать, форматировать, сохранять и выно дпть на печать. Под текстом «пример 4» можно увидеть крестообразный курсор, который отмечает место в рабочем документе для ввода нового объекта.
11пжпяя строка окна приложения называется строкой состояния. Она содержи i рекомендацию пользователю (Press Ft for help — для получения справки иалшм
ic./iaBiiniy F1); информацию о режиме работы (п пашем случае Auto соответствует режиму автоматических вычислений); помер текущей страницы рабочего документа (в нашем случае Раде 1 -■ первая страница).
Для выполнения операций над событиями в пакете Mathcad читатель должен уметь работать со скалярами, векторами и матрицами, которые могут быть по- стояпными или переменными; использовать функции от одной или нескольких переменных; составлять программы, реализующие в среде Mathcad типовые вычислительные процедуры.
Задание скаляров, векторов и матриц в пакете Mathcad осуществляется с помо- щыо оператора «присвоить», обозначаемого :=. Слева от этого оператора стоит идентификатор (имя, обозначение) объекта, а справа — определяющее его выра- женпе. Например, п: = 5 означает, что п является постоянной величиной, равной пяти.
В программах на Mathcad довольно часто используется оператор внутреннего локального присваивания, действующий внутри программы и обозначаемый символом <—. В этом случае присвоенное значение сохраняется только в теле про- |раммы. Например, выражение х <— 15 присваивает переменной х значение 15 внутри программы; за пределами тела программы значение переменной х либо является неопределенным, либо равно значению, которое задано вне программного блока.
Часто необходимо указать множество значений, которые может принимать скалярная переменная. Если речь идет о переменной г, которая пробегает целые значения от 0 до п, то это записывается в виде 1 := 0 .. п. Как правило, такое выражение используется для описания области действия целочисленных аргументов функции, а также индексов векторов, матриц и циклов.
Рассмотренные выше символы := и .. набираются путем нажатия на клавишу «Ж» и «ж», соответственно. При этом заглавные буквы, как обычно, получаются пажа гнем па клавишу «Shift». Альтернативным способом является использование vкалькулятора».
Для задания вектора или матрицы следует выполнить команду прикладного меню Insert Matrix... или активизировать соответствующую кнопку (иконку) на палитре инструментов Vector and Matrix Palette. В результате этих действий появляется окошко Insert Matrix, в котором пользователь должен задать требуемое число строк п столбцов матрицы. Для вектора-строки указывается одна строка, а для вектора-столбца — один столбец. После ввода размеров матрицы следует нажать на кнопку Insert, и в окне редактирования на экране появится шаблон вектора пли матрицы заказанных размеров с пустыми клеточками.
Следует обратить внимание на то, что нумерация строк и столбцов начинается <■ пулевого элемента, так что при размерности вектора, равной п, его последняя компонента имеет номер п-1. Важно также помнить, что Mathcad оперирует <■ некторами-столбцами. Он выдаст ошибку, если мы попытаемся обратиться к конкретному элементу вектора-строки. Поэтому перед началом работы с век- тор-с трокой ее следует транспонировать в вектор-столбец. Эта операция осуществляется или вручную (приписыванием буквы Т сверху справа над вектором
или матрицей) или автоматически (вызовом этой буквы с панели иш груменгоп Vector and Matrix Palette).
В пакете Mathcad используется сотни встроенных функций, причем их количсс! во в новых версиях пакета становится все больше. Функция имеет аргументы. записываемые в круглых скобках после имени функции. Опи могут бы ть число выми константами, переменными с буквенными обозначениями или магемаш ческими выражениями, вычисляющими численные значения. Вызов наиболее известных элементарных функций может осуществляться непосредственно путем ввода соответствующих обозначений, например, sm(0.4), cav(.r), evp(a), 1п(2.3) и т. д. Для облегчения процедуры ввода встроенных функций рекомепду ется использовать кнопку Дх) палитры инструментов или команду прикладного меню Insert—Function... После ввода данной команды открывается окно, сидер жащее список имеющихся функций, из которого необходимо выбрать нужную. В последних версиях пакета эти функции разбиты на тематические разделы Выбор отмеченной курсором функции фиксируется щелчком на кнопке Insoil диалогового окна, после этого функция переносится в окно текущею докумен ia.
В настоящем практикуме используются встроенные функции if, rows и cols.
Функция if имеет следующий формат: if(condition, а, Ь). Здесь condition - логическое условие. Это условие может представлять собой булево выражение пли записываться с помощью символов «меньше» <, «меньше или равно» <., «боль ше» >, «больше или равно» >, «равно» =, «не равно» * (все эти символы берутся с панели инструментов Evaluation and boolean Palette). Слева и справа от символов записываются сравниваемые скаляры (в виде постоянных или уже определен пых к этому моменту значений переменных или функций). Далее, а — вы раже ние, определяющее значение функции в случае, если условие condition выполнено; b — выражение, определяющее значение функции в случае, если условие condition не выполнено.
При работе с векторами разной длины используются функции cols(M) и rows(M), значения которых равны соответственно числу столбцов и строк матрицы М. Например, если cols(M) = 6, то это значит, что матрица М имеет шесть столбцов.
В настоящем практикуме используется несколько функций пользователя для ра боты с событиями, с этой целью были разработаны соответствующие програм мы. Следует отметить, что Mathcad является постоянно развивающимся пакетом программ. Каждая новая версия пакета предоставляет пользователю все новые возможности. Так, в последних версиях (например, Mathcad 2002) имеются встроенные функции для работы с множествами, а, следовательно, и с собы гни ми, поскольку последние являются множествами. Ввиду учебного характера дан ной книги мы рассмотрим ситуацию, когда такая возможность отсутствует и пользователю необходимо самому создать соответствующие функции и опера го ры; при этом для реализации большинства рассматриваемых в книге примеров достаточно иметь версию пакета не ниже Mathcad 6+.
Программирование в пакете Mathcad заключается в создании программных мп дулей — блоков, выделенных слева отрезками жирных вертикальных прямых Доступные элементы языка программирования (операторы) содержатся в панели Programming, которая открывается при нажатии кнопки (иконки) Programnunq
, , , I^rwipvnwiw олилгопгарППА WVDHHI1
Ioolbat (см. рис. 1.4). Для набора в окне редактирования любого из данных онера горок необходимо щелкнута левой кнопкой мыши по соответствующей кнопке на панели Programming. В результате откроется окошко, содержащее ключевое слово и шаблон для ввода требуемых параметров (операнд).
.^ Mathcad Professional - [Untitled: 1 ].^ Mathcad Professional - [Untitled: 1 ]^te Edit tfew Insert Fermat Math Symbol^te Edit tfew Insert Fermat Math Symbol
.^ Mathcad Professional - [Untitled: 1 ]
.^ Mathcad Professional - [Untitled: 1 ]
^te Edit tfew Insert Fermat Math Symbol
^te Edit tfew Insert Fermat Math Symbol
ifotherwise
for while
breakcontinue
returnon error
Рис. 1.4. Панель программирования Programming в окне Mathcad
Создание программных модулей предполагает знакомство читателя с основами программирования, так как любой программный блок сначала необходимо запрограммировать. Создаваемый блок может иметь имя или не иметь такового. В нервом случае нужно набрать имя и в круглых скобках — формальные параметры, если таковые есть. После этого необходимо записать символ присваивания :=. Дальнейшие действия совпадают с действиями для случая, когда имя программы не задается. Для ввода программного блока необходимо щелкнуть левой кнопкой мыши по кнопке Add Line на панели Programming. В результате этого действия в окне редактирования появляется вертикальная черта, справа от псе высвечивается окошечко, в котором надо начать записывать текст программы. Повторное нажатие на клавишу Add Line создает дополнительные окошечки. За первой вертикальной чертой могут следовать другие вертикальные черты, в этом случае говорят о ступенчатой записи программы. Такая запись делает прозрачной структуру вычислений.
Отметим, что набор базовых операторов пакета Mathcad ограничен и включает всего восемь операторов (см. рис. 1.4), из которых мы будем использовать следующие:
<оператор локального присваивания;
while — оператор цикла типа «пока»;
for — оператор цикла с фиксированным числом повторений;
if — условный оператор;
otherwise — оператор альтернативного продолжения (работает с оператором z/).
В рассматриваемых в данном практикуме примерах программ кроме операюра локального присваивания <-- широко используется оператор цикла /от. Для лада пня цикла for необходимо указа ть индекс цикла, диапазон изменения mi значс ннн, а также описать выражение, многократно вычисляемое в цикле для разных значений индекса цикла. Если индексом цикла является 1, а диапазон плм< hi-ibbi ст значений 0, 1, 2,..., п, то цикл начинается с выражения for z е О../z, за которым следует вычисляемое в цикле выражение.
Для повышения наглядности вводимых выражений и программ и пакте Mathcad мы будем использовать соответствующие комментарии. Наличие ком мептариев существенно упрощает работу пользователя с ранее набранными к к стами, а также помогает при работе с полученными резулматами.
Реализация задания
Наша задача заключается в формировании нескольких составных событий и вы полнении над ними типовых операций. Будем представлять элемен тарные собы ига вещественными числами, а состоящие из них множества (в том числе проетрап ство элементарных событий и составные события) — в виде векторов-с трок. Раз мерность вектора совпадает с числом элементов множества, а значение компа пент вектора — суть элементы множества, то есть вещественные числа. В пашем примере рассматривается три составных события С, G и D, записанных в виде: С = {1, 2, 3, 4, 5, 6, 7}, D = {4, 5, 6, 7, 8, 9, 10, 11} и G = {1, 8, 11, 9}. 11ад этими с<. бытиями необходимо выполнит^ основные операции.
Для реализации типовых операций над составными событиями использую ня программные модули, тексты которых представлены на рис. 1.5. Каждый модуль определяет пользовательскую функцию, имя которой вместе со списком фор мальных аргументов указано в заголовке программы. Если мы хотим п< польза вать данные функции для проведения операций над событиями, то вмес то фор мальных аргументов следует подставить конкретные события, над коюрыми проводятся операции. Функции пользователя имеют следующее назначение:
ProdNum(A, В) вычисляет число элементарных событий, общих для еобьпий А и В, то есть число |Д S| элементарных событий произведения А В;
SumNum(A, В) вычисляет общее число различных элементарных собй к составных событиях А и В, то есть число элементарных событий суммы A । Л,
DifNum(A, В) вычисляет число элементарных событий, которые входя ! в со бытие Л и не входят в событие В, то есть число элементарных событий разно сти А - В;
Sum(A, В) определяет сумму событий А и В;
Prod(A, В) определяет произведение событий А и В;
Dif(A, В) определяет разность событий А и В;
Arise(i, А) указывает, произойдет (возвращает значение 1) или нет (возврата ет значение 0) событие А, если произошло элементарное событие I.
Напомним, что по умолчанию в Mathcad вектор понимается как столбец. Дли перехода от строки к столбцу нужно транспонировать вектор-строку. С друюй стороны, при выводе результатов мы также пользуемся операцией граш пони
рования, поскольку наши функции дают результаты в виде векторов-столбцов, которые занимают много места.
При разработке модулей были использованы встроенные функции г/, rows и cols, операторы присваивания := и <—, а также оператор цикла for, рассмотренные выше. В программах используются вложенные циклы, организуемые по двум индексам i wj. Наличие в текстах программ соответствующих отступов и вертикальных линий позволяет определить тело каждого цикла.
Результаты вычислений
Полученные результаты представлены на рис. 1.6. Вычисления проведены для трех событий С = (1 2 3 4 5 6 7)т, D = (4 5 6 7 8 9 10 11)т и G = (1 8 11 9)т. Все результаты снабжены комментариями и не требуют дополнительных пояснений.
Заметим, что наряду с разработанными пользовательскими функциями в вычислениях используется встроенная функция rows, определяющая число элементарных событий соответствующего составного события.
Сумма событий А и ВСумма событий А и ВРазность событий А и ВРазность событий А и В
Сумма событий А и В
Сумма событий А и В
Разность событий А и В
Разность событий А и В
Sum(A.B) ••Sum(A.B) ••for ieO.. rows(A) - 1 Ск-Afп #- rows(A)for ieO.. rows(B) - 1f*-0for JeO.. rows(A) - 1f t-f + if(A| e Bj,1.0)If f.O^«-Bifor ieO.. rows(A) - 1 Ск-Afп #- rows(A)for ieO.. rows(B) - 1f*-0for JeO.. rows(A) - 1f t-f + if(A| e Bj,1.0)If f.O^«-BiDif(A.B) - for I e 0 . DifNum(A.B) - 1Dif(A.B) - for I e 0 . DifNum(A.B) - 1Q^OQ^One-Qfor IeO.. rows(A) - 1 f^0for JeO.. rows(B) - 1Г«^+1Г(Д| = В|.1.0) if f«0ne-Qfor IeO.. rows(A) - 1 f^0for JeO.. rows(B) - 1Г«^+1Г(Д| = В|.1.0) if f«0
Sum(A.B) ••
Sum(A.B) ••
for ieO.. rows(A) - 1 Ск-Af
п #- rows(A)
for ieO.. rows(B) - 1
f*-0
for JeO.. rows(A) - 1
f t-f + if(A| e Bj,1.0)
If f.O
^«-Bi
for ieO.. rows(A) - 1 Ск-Af
п #- rows(A)
for ieO.. rows(B) - 1
f*-0
for JeO.. rows(A) - 1
f t-f + if(A| e Bj,1.0)
If f.O
^«-Bi
Dif(A.B) - for I e 0 . DifNum(A.B) - 1
Dif(A.B) - for I e 0 . DifNum(A.B) - 1
Q^O
Q^O
ne-Q
for IeO.. rows(A) - 1 f^0
for JeO.. rows(B) - 1
Г«^+1Г(Д| = В|.1.0) if f«0
ne-Q
for IeO.. rows(A) - 1 f^0
for JeO.. rows(B) - 1
Г«^+1Г(Д| = В|.1.0) if f«0
Практикум Nt 1. Операции над событиями
Пользовательские функции
Число элементарных событий произведения событий А и В
Произведение событий А и В
ProdNum(A.B) :=
Число элементарных
SumNum(A, В) :=
fo
0
1 е 0rows(A) - 1
f*-0
for JeO.. rows(B) - 1
f*-f*If(Aj=Bj,1,0)
s <-s + if(f > 0.1,0)
ытий суммы событий А и В
s(A) + rows(B) - ProdNum(A.B)
Prod(A.B).-
for
С
fo
С
I e 0. ProdNum(A,B) - 4^-0 -0
IeO.. rows(A) - 1 f*-0 for j e 0. rows(B) - 1
f «-f * lf(A| - Bj .1.0)
If f>0
| n n + 1
Число элементарных событий разности событий А и В DifNum(A,B) := rows(A) - ProdNum(A.B)
Arise (i, A) :=Arise (i, A) :=Проверка наступления события A
Arise (i, A) :=
Arise (i, A) :=
f^O for j e 0.. rows(A) - 1
f <-f + W[i-Wj.1.0]g #-lf(f > 0,1.0)
g
Рис. 1.5. Реализация типовых операций над событиями
I.Z. Комоинации спишии
Число элементарных событий
а) в составных событиях: rows(Q ■ i
Г rows(D) - Вrows(G) - 4
cols((1 2 4 3 D))~3
б) в произведении деух событий:
ProdNum(C, D) * 4
ProdN«m(G,Q - 1
в) в сумме деух событий:
SumNum(C.D) - 11
SumNum(C,G) - 10
г) в разности двух событий
DifNum(D,Q - 4
DlfNum(D.G) - 5
2. Проверка принадлежности
Arise (4. Q - 1
элементарного события
Arise(1t.Q-0Alhelzi.ll 34
07 21 22)’) . 1
3, Операции над событиями а) произведение:
Prod(C.G)’
-(1)Prod(c.(1 5 7
11)’)’ - (1 5 7)
б) сумма:
Sum(c.(1
7 11 )’) -(1 2 3 4 5 6 7 11)
в) разность;
Dlf(D.QT -
(0 9 10 11)
4, Комбинация событий
F - Dif(D,Sum(C,G))
FT -(10)
Arlse(1,F) - 0Arise(1,Dif(D,Sum(C,G))) - 0Arise(10,F) - 1
Arlse(10,Dlf(D ,Sum(C,G))) •
Гашлыны ■опииншии
Исходные события:
С - (1 2 3 4 !> II 7)10 - (4 5 6 7 в 9 10 11)'
G -(1 II 11 II)'
Рис. 1.6. Результаты выполнения операций над событиями
Задания для самостоятельной работы
Апробировать приведенные на рис. 1.5 программы для различных питанных события А, В, ...
Описать логику работы программных модулей ProdNum^A, В) и РпиЦА. В)
Составить программу, вычисляющую симметрическую разность событий /I и В, определяемую как (А - В) + (В - А).
Комбинации событий
Введенные выше операции отрицания, суммы, произведения и разности собы । ий позволяют образовывать новые события из уже имеющихся, то есть ocymccni лять комбинации событий. Комбинации событий записываются в виде формул, содержащих исходные события, а также символы “,+,-,- — операций отри цания, суммы, произведения и разности. Последовательность выполнения one раций в формулах обычно определяется скобками. Количество скобок можно сократить, если договориться о приоритете (порядке выполнения) операций Общепринятой договоренностью является приоритет произведения над суммой, аналогичный приоритету умножения над сложением в арифметике и алгебре. 'Гак, А + В ■ С является сокращенной записью А + (В ■ С). Оно представляет собой событие, которое наступает только тогда, когда наступает или событие А или оби события В и С. Далее, F = В ■ (А + С) представляет собой событие, которое па< ту нает, когда не наступает событие В и наступает или А или С. '
Формулы, описывающие комбинации событий, можно преобразовывать, шпиль зуя следующие свойства операций суммы и произведения событий:
□ коммутативность-.
А + В = В + А, АВ = В-А;
ч< < оцнашнашн пи>;
(Л + В) + С = Д+(В + С) = Л + В + С, (AB) С = А(ВС) = А В С;
дистрибутивность-.
А(В + С) = АВ + АС,'
(А-В)+С = (А +С)(В + С);
идемпотентность;■
А + А = А,
АА = А;
поглощение-.
если А с В, то А + В = В, А - В = А.
Справедливость этих свойств следует непосредственно из определений суммы и произведения событий.
(h метим, что отрицание А также можно рассматривать как унарную операцию, применяемому к одному событию А. Для него справедливы следующие свойства:
^ =А, А = В А = В, А = В^А=В.
С отрицанием также связаны свойства, называемые законами де Моргана;
А +В = АВ, А^В = А+В.(1.4)
11а э тих формулах мы сейчас проиллюстрируем общий метод доказательства эквивалентности двух событий G и Н, то есть того, что G - Н. Доказательство состоит из двух этапов. Вначале доказывается, что из того, что юеС, следует, что о> с Н. Следовательно, G с Н, то есть событие G влечет событие Н. Потом рас- ематривается обратное утверждение: из условия те Н следует, что to eG. Следовательно, Н <z 6, то есть в действительности G = Н.
Итак, докажем первое равенство (1.4). Для этого необходимо убедиться в том, что А + В с: А В, и наоборот, АВ с А + В. Пусть те А + В. Тогда со g А + В. Но это значит, что одновременно го g А и го g В. Отсюда следует, что одновременно оеЛ и св е В, то есть го е А В. Итак, доказано, что из юеА + В следует те А В, иначе А + Вс А В.
Для доказательства того, что А В cl А + В, достаточно посмотреть предыдущую цепочку формул в обратном порядке. Следовательно, первое из равенств (1.4) доказано.,
Для доказательства второго равенства (1.4) подставим в первое равенство А вместо Л и В вместо В. Тогда
А+В =АБ =АВ, А+В =АВ.
Доказательство формул (1.4) закончено.□
Итак, комбинация событий также является событием. Как и любое событие, это событие наступает, если наступает некоторое элементарное событие, входящее в него. Например, если А = {©р ю3, ю4, ю7}, В = {©р ю2, ю4}, Н = {ю3, ю5, ю6, ю7},
то комбинация событии G All i В (io,, <i>?, co,, <o4, <oz} наступает, если nai ly наст любое на элементарных событии ю,, <о2, «п,, <о4, <о7.
Однако в формулах, описывающих комбинации событий, элементарные собы iпи обычно явно нс фигурируют. В этом случае наступила или нет комбинация со бытии определяется тем, наступили или нет входящие в комбинацию cociannbn- события. Как определить факт наступления комбинации событий на основе ни формации о том, какие из входящих в него событий наступили, а какие не нас i у пили? Для этого следует использовать понятия теории булевых функций (иначе функций алгебры логики или логических функций). Это осуществляется следую щим образом.
Пусть комбинация включает события Д,, А2, ..., Ап. Событию А; поставим и сот ветствие булеву переменную хь принимающую только два значения: х,= 1, если событие А, наступило, и X; = 0, если событие А; не наступило, то ес ть наступило событие А;. Комбинации событий G поставим в соответствие булеву лерс мс п пую у, равную 1, если комбинация наступила, и равную 0 в противоположном случае. Переменная у выражается через переменные х, с помощью операций конъюнкции, дизъюнкции и отрицания. Конъюнкция соответствует пропэнеде пию событий и описывает логическую связку «и-и». Дизъюнкция соответсiвусi сумме событий и описывает логическую связку «или-или». Отрицание cootuci ствует противоположному событию и описывает логическое «не». Разность со бытий А - В может быть вычислена как ДД. Обычно операция конъюнкции изо бражается символом &, операция дизъюнкции v, отрицания —. Таблица I 1 содержит значения этих операций. Мы видим, что значения конъюнкции равны минимуму из аргументов (может быть, нескольких), а значения дизъюнкции максимуму. Принято, что конъюнкция имеем приоритет в очередности вы полис ния перед дизъюнкцией.
Таблица 1.1. Операции конъюнкции, дизъюнкции и отрицания
*1
х2
х,& х2
хг V х2
0
0
0
0
1
0
1
0
1
1
1
0
0
1
0
1
1
1
1
0
Теперь значение у можно вычислить как значение булевой функции g(xhx2,г„), которая получается, если в выражении для комбинации G заменить Д, на х„ сим вол произведения_на конъюнкцию, символ суммы на дизъюнкцию. Например, если G = Д, • Д2 + Д, (Д3 + Д4 X то g(xv ,х2,х3,х4 ) = xt&x2 v х, &(х3 v х4). Так. если события Д, и Д3 не наступили, а остальные наступили, тот, = 0, х2 = Пт, О, х4 = 1 и мы имеем g(0, 1, 0, 1) = 0 & 1 v 0 & (0 v 1) = 1, что соответствует действа тельности.
Поскольку мы работаем только со значениями 0 и 1, то операции конъюнкции и произведения тождественны, в связи с чем можно вместо символа конъюнкции
& использовать символ умножения • или вообще опускать его. В этом смысле дизъюнкцию v с суммированием отождествлять нельзя, однако все-таки можно использовать суммирование, но результат заменять на единицу, если он больше нуля. Отрицание х вычисляется как х = 1 - х. В результате вместо булевой функции g(xb х2xf) мы получаем арифметизированную функцию gA(x, х2х„у Если последняя больше нуля, то булева функция gfXjX,, ■■•> хп) равна единице:
g<xvx2, х„) = if (gA(xbx2, ...,^)>0, 1,0).
В частности,
xv v хг v ... v хп = if (Д + х2 + ... + хп > 0,1, 0).
Здесь используется оператор Mathcad if, в записи которого первой фигурирует логическое условие, за которым после запятой следует значение, выдаваемое, если условие выполняется, далее — значение, выдаваемое, если условие не выполняется.
В случае когда элементарные события явно не фигурируют в комбинации событий, можно поступать и другим способом. Сейчас мы покажем, как можно построить искусственное пространство элементарных событий на базе событий, фигурирующих в комбинации. Это позволит нам в дальнейшем рассчитывать вероятности наступления комбинации событий.
Снова рассмотрим комбинацию G, включающую п событий Аь А2, ..., Ап. Как и ранее, пусть 1 означает наступление события, а 0 — ненаступление события. Тогда конкретная реализация событий в данном испытании описывается «-мерным булевым вектором (аь а2, ..., ап). г-я компонента этого вектора а,- относится к событию А,. Иными словами, вектор (аь а2, ..., af) описывает наступление или ненаступление всех событий в рассматриваемом испытании. Подчеркнем, что в отличие от переменной х„ которая может принимать оба значения 0 и 1, значение а, фиксировано. Мы будем рассматривать вектор (аь а2, ..., af) как элементарное событие со, то есть со = (аь а2, ..., а„): в рассматриваемом «испытании» мы имеем такие исходы для событий.
С помощью булевого вектора (аь а2,..., а„), или просто ах а2... ап, можно описать элементарное событие и другим способом, а именно, как А”1 А"2 ... А“", где
А? =А? =А,, если а, =0,
А? =
А? =
Д, если а, =1.I
Например, 0101 означает реализацию события Д А2 А3 А4, в которой события А2 и А4 наступили, а события Д и Л3 — нет.
Очевидно, элементарных событий столько, сколько различных «-мерных булевых векторов. Обычно множество таких векторов обозначается В", где В = {0, 1}: В” = {(аь а2,..., ап\ V а; е{0, 1}}. Следовательно, наше пространство элементарных событий Q =В". Легко видеть, что число различных «-мерных булевых векторов равно 2", следовательно, число элементарных событий |Q| = 2”.
Теперь можно выразить исходные события Аь А2, ..., А„ через эти элементарные события: а именно, событие А, состоит из тех элементарных событий <о= (аь а2,..., а„), в записи которых на месте буквы а, стоит 1:
А, = {ол = (а^ а2ап) е Q: а, = 1).
Пык, каждое элементарное событие описывается «-мерным булевым вектором •и - (п,, а2, ..., а„). Оперировать с такими векторами неудобно. Лучше все их перс нумеровать и присвоить им имена, совпадающие с соответствующими номерами >ю пудст п точности совпадать с обозначениями элементарных событий, кого рыми мы пользовались в программах, разработанных ранее для Mathcad.
Дан десятеричной нумерации булевых (иначе — двоичных) векторов исполину ин III)(' код (Binary Decimal Code). Этот код хорошо знаком из начальных кур inn информатики. Булев вектор 010 означает число 2, 0101 — число 5, 1110 чш но М и т. д. Справа располагаются младшие разряды, а слева — старшие, II । амом младшем (самом правом) разряде указывается число единиц. Во втором । нрава разряде — число двоек, потом число четверок, восьмерок и последующих । и цепей числа 2. z-й справа разряд (z = 1, 2, ..., и) содержит количество чисел, ранных двум в степени г-1. Следовательно, для булева вектора а = (аь а2, ..., «,,) HIX* код есть
BDC(a) = ^Ф2""'-(15)
;=1
Примпр 1.6. Пусть имеются три исходных события Аь А2, А3 и две комбинации и* I' - А, • А2 + А:| и G = А2 •'Аз- Итак, событие Fпроисходит, если наступает или । Щпа । пс Л, или событие Аь но не А2. Событие G наступает, если наступают и А,. и Л, В данном случае п = 3, а пространство элементарных событий выглядит mi' О {ООО, 001, 010, 011, 100, 101, 110, 111}. В частности, элементарное
■' на । пс о 11 означает, что событие Ах не наступило (ах = 0), событие А2 пас тупи in (п? рашю I), событие А3 также наступило (а3 = 1). Десятичный код этого эле Mrniapnoro события равен 3.
lb мыные события теперь представляются так:
.1, {001, 011, 101, 111}, А2 = {010, 011, ПО, 111}, А, = {100, 101, ПО 111}.
I*ni । м,п рппаемые комбинации выражаются через элементарные собы тия сле- луюшим образом: G = {011, 111}, F= {001, 011, 100, 101, 111}.□
Мы Пу лгм использовать эту систему представления событий и их комбинаций и । и i\ юшем разделе при описании структур логических систем, а также при со •1ми и ннн компьютерных программ.
1.3. Структурная надежность систем
В пприи надежности рассматриваются системы, состоящие из элементов. Каж паи 1|емент может находиться в одном из двух возможных состояний: рабою I uni истом (исправном) и неработоспособном (состоянии отказа). Система зак • г им< ri юлько дна состояния: работоспособное и состояние отказа. Состояние • и. о мы выражается в виде некоторой комбинации состояний составляющих
" мгц к m ()бозпачнм п число элементов системы. Пусть А,- означает собы тис "■Mi n । находится в работоспособном состоянии», А, означает иерабогоспо ннпше < <к 1ОЯППС этого элемента. Для системы аналогичными собы тиями будут II раОики шиобпос состояние, Л неработоспособное состояние.
Прпигаем (ццоиныс шпы систем, рассматриваемые в теории падежноеiи.
Последовательной называется система, в которой отказ любого элемента приводит к отказу системы (см. рис. 1.7, а). Иначе говоря, система будет работоспособна, если работоспособны и первый, и второй, и все другие элементы. Это соответствует операции умножения событий. Следовательно, условие работоспособности последовательной системы записывается в виде
в = А-а2....-а„.(1.6)
Соответствующая булева функция имеет вид:
gXxl) ~Х1 &х2&...&х„.(1.7)
Параллельной называется система, которая остается работоспособной, пока работоспособен хотя бы один ее элемент (см. рис. 1.7, б). Иначе говоря, система будет работоспособна, если работоспособен или первый, или второй, или какой либо па последующих ее элементов. Это соответствует операции сложения событий. Следовательно, условие работоспособности параллельной системы записывается в виде
B = At + А2 +... + А„.(1.8)
Соответствующая булева функция имеет вид:
g,,(x1,x2,..„x„) = xl v х2 v...vx„.(1.9)
аб
Рис. 1.7. а — последовательная и б — параллельная системы
В общем случае говорят о последовательно-параллельной системе, если ее можно разбит ь па последовательные или параллельные подсистемы, которые соединены между собой также последовательно или параллельно. Условие работоспособности таких систем представляет собой комбинацию вышеприведенных условий для последовательных и параллельных систем.
Принятая графическая схема последовательно-параллельной системы приведена па рис. 1.8. Элементы системы изображаются на схеме прямоугольничками. Система считается работоспособной, если существует хотя бы один путь, ведущий от левого конца схемы к правому ее концу и проходящий только через исправные элементы. Для последовательно-параллельной системы, изображенной на рис 1.8, событие «система работоспособна» записывается так:
В=(Д + А2) А, (А4 -А5+Лк).
Соогвек твующая булева функция записывается в виде:
g (а ।, л"2, а"з, л 4, х 5, л:ц) = (Х| v х2) & л 3 & ((л4 & Xj) v х u).
Рис. 1.8. Последовательно-параллельная система
Пример 1.7. Система «два-из-трех». Так называется система из трех элементов, которая является работоспособной, когда работоспособны хотя бы два элемеша Следовательно, условие работоспособности системы имеет вид:
В =ДД2+ДА, + А,Д3.(1.10)
Соответствующая булева функция
g(Xj, х2, х3) = (Xj &х2 )v (Xj &х3 )v (х2&х3).
Применим технику, изложенную в конце предыдущего раздела, для этого при мера. В данном случае число исходных событий равно 3. Следовательно, имеем 23 = 8 элементарных событий и следующее пространство элементарных событий: Q = {ООО, 001, 010, 011, Юб? 101, 110, 111}. Исходные события представляются теперь так: Д3 = {001, 011, 101, 111}, А, = {010, 011, 110, 111}, At = {100, 101, 110, 111} Следовательно, В = {111, 110, 101, 011}.□
Компьютерный практикум № 2.
Комбинации событий в пакете Mathcad
Цель и задачи практикума
Целью практикума является приобретение практических навыков в описании различных комбинаций событий и определении факта их наступления или псп л ступления в зависимости от наступления других составных и элементарных со бытий.
Основной задачей данного практикума является построение искусственного пространства элементарных событий на базе событий, фигурирующих в комби нации. В качестве иллюстрации рассматривается исправность системы «дна-из трех».
Необходимый справочный материал
В настоящем практикуме кроме конструкций пакета Mathcad, описанных выше, используется оператор цикла while. Оператор while служит для организации цик ла типа «пока», повторяемого до тех пор, пока выполняется заданное условие condition. Оператор имеет следующий формат: while condition, где condition ло гическое условие. Это условие может представлять собой булево выражение пли записываться с помощью символов «меньше» с, «меньше или равно» <, «боль ше» >, «больше или равно» >, «равно» =, «не равно» *, слева и справа от епмво лов записываются сравниваемые скаляры (в виде постоянных или уже опреде ленных к этому моменту значений переменных или функций).
Реализация задания
Для проведения вычислений нам понадобятся две программы из Иракiикума N" I. которые реализую! пользовательские функции Sum(A, В) и Prod(A, В) и определи
ют соответственно сумму событий Л и В и их произведение. Дополнительно определим новые функции пользователя, которые позволяют выражать комбинацию событий через элементарные события, а также определять факт наступления или ненаступления комбинации событий, если известно наступившее элементарное событие. Программные модули, реализующие функции пользователя, представлены на рис. 1.9. Функции имеют следующее назначение.
BDC(a) переводит двоичную запись а = (сц, а2, .... а^ в десятеричное число согласно формуле (1.5), a DBC(n, N) производит обратную операцию: десятеричное число N записывается как и-разрядное двоичное число.
Event^n, г) формирует для события А, вектор-столбец входящих в него элементарных событий искусственного пространства, построенного для п событий Аь А2, ..., А„. Сами эти элементарные события представляются в виде BDC кода (см. формулу 1.15). Например, Eoent(3, 1) = (4, 5, 6, 7)т. Earnin') формирует все такие вектор-столбцы для всех событий Ль А2, ..., А„.
Ранее рассмотренная функция Anse^i, А) выдает значение 1, если элементарное событие i (представленное целым десятеричным числом) входит в событие А. Новая функция Avaliab(a, Л) выполняет те же действия для случая, когда элементарное событие записано в виде бинарного вектора а = (at, а2,..., а„), соответствующего искусственному базису.
Практикум Nt 2. Комбинации событийПользовательские Функции
Перевод двоичного числа в десятиричноеПеревод двоичного числа в десятиричноеBDC(a) :-BDC(a) :-cols(a^cols(a^Формирование вектора элементарных событий в BDC-кодах для события Д1Формирование вектора элементарных событий в BDC-кодах для события Д1
Перевод двоичного числа в десятиричное
Перевод двоичного числа в десятиричное
BDC(a) :-
BDC(a) :-
cols(a^
cols(a^
Формирование вектора элементарных событий в BDC-кодах для события Д1
Формирование вектора элементарных событий в BDC-кодах для события Д1
Н<-0for JeO- п - 1N <- N + a; 2n-1-iNПеревод десятиричного числа в двоичноеН<-0for JeO- п - 1N <- N + a; 2n-1-iNПеревод десятиричного числа в двоичноеEvent(n.l) >Event(n.l) >DBC(n,N) -DBC(n,N) -k<- N for t € 0 . n - 1ifч<-1k<-k-2n-^aj <- 0 otherwisek<- N for t € 0 . n - 1ifч<-1k<-k-2n-^aj <- 0 otherwiseФормирование вокгоров элементарных событий для всех составных событий набораФормирование вокгоров элементарных событий для всех составных событий набораFam(n).»Fam(n).»for i € 0 . n - 1A^ ♦- Event(n, i + 1)for i € 0 . n - 1A^ ♦- Event(n, i + 1)t^-2nik<-0for J e 0 . t - 1|bj^t+J|k<- k+ 1m <- i - 1kk<- k- 1h <-0while m> 0for J e 0.. kk bit t + b j kt- k+ 1kkt-k-1 bt^-2nik<-0for J e 0 . t - 1|bj^t+J|k<- k+ 1m <- i - 1kk<- k- 1h <-0while m> 0for J e 0.. kk bit t + b j kt- k+ 1kkt-k-1 b
Н<-0
for JeO- п - 1
N <- N + a; 2n-1-i
N
Перевод десятиричного числа в двоичное
Н<-0
for JeO- п - 1
N <- N + a; 2n-1-i
N
Перевод десятиричного числа в двоичное
Event(n.l) >
Event(n.l) >
DBC(n,N) -
DBC(n,N) -
k<- N for t € 0 . n - 1
if
ч<-1
k<-k-2n-^
aj <- 0 otherwise
k<- N for t € 0 . n - 1
if
ч<-1
k<-k-2n-^
aj <- 0 otherwise
Формирование вокгоров элементарных событий для всех составных событий набора
Формирование вокгоров элементарных событий для всех составных событий набора
Fam(n).»
Fam(n).»
for i € 0 . n - 1
A^ ♦- Event(n, i + 1)
for i € 0 . n - 1
A^ ♦- Event(n, i + 1)
t^-2ni
k<-0
for J e 0 . t - 1
|bj^t+J
|k<- k+ 1
m <- i - 1
kk<- k- 1
h <-0
while m> 0
for J e 0.. kk bit t + b j kt- k+ 1
kkt-k-1 b
t^-2ni
k<-0
for J e 0 . t - 1
|bj^t+J
|k<- k+ 1
m <- i - 1
kk<- k- 1
h <-0
while m> 0
for J e 0.. kk bit t + b j kt- k+ 1
kkt-k-1 b
Проверка наступления события A
Avaliab(a.A) := if(Arlse(BDC(a) .A) ,1.0)
Определение состояния системы "два из трех"
YTwoThree(x,y,z) := if(x у+ xz + у z > 0,1,0)
Формирование вектора элементарных событий в BDC-кодах для исправной системы "два из трех" TwoThree(A1 ,А2,АЗ) * Sum(Prod(A1 ,А2) ,Sum(Prod(Al ,АЗ) ,Prod(A2.AJ)))
Рис. 1.9. Программные модули, реализующие пользовательские функции
YTwoThree(x, у, z) определяет исправность системы «два-из-трех» (1 — да, 0 — нет) как значение соответствующей булевой функции трех переменных х, у, г.
TwoThree{A\, А2, А3), получая описание составных событий Аь А2, А3 в виде векторов-столбцов элементарных событий, в качестве результата дает вектор-стол бец элементарных событий, составляющих событие А, Аг + А1А3 + А2А3.
Отметим, что при рассмотрении другой комбинации событий следует замени и, две последние функции.
Результаты вычислений
Результаты проведенных расчетов представлены на рис. 1.10. В первой части распечатки иллюстрируется работа функций BDC и DBC. Первая функция переводит булев вектор 110 в десятеричное число 6. Вторая реализует обратную операцию. Далее иллюстрируется работа функции Euent(3, 3), которая формирует для события А3 вектор-столбец входящих в него элементарных событий искусст венного пространства, построенного для Аь А2, А3, то есть (1, 3, 5, 7).
Во второй части задания рассматривается система надежности «два-из-трех» (см. формулу 1.10). Функция YTwoThreeCk, 0, 1) возвращает 1, то есть система «два-из-трех» исправна при исправных 1-ми 3-м элементах. События А ь А2 и А, означают безотказную работу первого, второго и третьего элемента соотвстст венно. Они представляются как множества некоторых элементарных собы тий, описываемых натуральными десятеричными числами с помощью функции Рат^Зу Выдаваемый ею г-й вектор-столбец и следует подставить в качестве ар гумента А, при обращении к функции TwoThree(Ab А2, А3). В результате получим вектор элементарных событий, для исправной системы «два-из-трех», представ ленный десятеричными числами 6, 7, 5, 3.
Наконец, для конкретного набора 0101, описывающего факты наступления (значение 1) или ненаступления (значение 0) событий Аь А2, А3, функция Avaliab определяет, что система «два-из-трех» исправна, возвращая результат 1.
BDc((1 1 0)Т)-6DBC(3.6)T -(1 1 0)BDc((1 1 0)Т)-6DBC(3.6)T -(1 1 0)YTwoThree(1.0,1) - 1YTwoThree(1.0,1) - 1Результаты вычислений
BDc((1 1 0)Т)-6
DBC(3.6)T -(1 1 0)
BDc((1 1 0)Т)-6
DBC(3.6)T -(1 1 0)
YTwoThree(1.0,1) - 1
YTwoThree(1.0,1) - 1
Преобразование двоичного числа 110 в десятеричное:
Преобразование десятеричного числа 6 в 3-разрядное двоичное:
Формирование вектора элеменУарных событий для события A3 (исправлен 3-й) в виде BDC-кода:
Проверка исправности системы "два из трех” для (1,0,1):
Определение вектора элементарных событий для исправной системы "два из трех"
Fam(3) -Fam(3) -<4 2 1^1
Fam(3) -
Fam(3) -
TwoThree(Fam(3/°\Fam(3/1\Fam(3)^) -(6 7 5 3)
V 7 7 J
Проверка исправности системы “два из трех" для набора 0101
AvaH»l>((l) 1 II 1 )Т ,lw<>riiiao(ram(3)<0>,Г»тГЭ)<1>.Гаш(3)<2>)) - 1
Рис. 1.10. Резулыаты иыполнония задания по работе с комбинациями соГилий
Задания для самостоятельной работы
Испытать составленные программы для различных событий.
Экспериментально проверить справедливость сформулированных выше свойств операций суммы, произведения и разности событий.
Экспериментально проверить справедливость законов де Моргана (1.4).
Описать логику работы программы Event(n, i), представленную на рис. 1.9.
Составить программу, описывающую состояние «последовательной 2-из-и-сис- темы» (см. ниже задачу 1.16).
Вероятности на дискретном пространстве элементарных событий
Рассматриваемые нами события являются случайными. Последнее означает, что в одних испытаниях наступают одни события, в других — другие, причем заранее невозможно предсказать, какое событие наступит. Количественной мерой возможности наступления конкретного события в одном испытании является вероятность этого события. Мы не рассматриваем философских аспектов этого понятия, то есть вопросов о том, является ли вероятность объективным свойством внешнего мира, или же это мера нашей информированности об этом мире. Мы даем математическое определение вероятности, ограничиваясь в данной главе дискретным пространством элементарных событий — пространством, элементарные события которого могут быть пересчитаны.
Определение 11. ПустьQ = (о)], w2,...} — дискретное пространство элементарных событий. Говорят, что на этом пространстве определены вероятности, если каждому элементарному событию о), е 12 поставлено в соответствие число р, = Р{<о,}, называемое вероятностью элементарного события о)^ Эти числа удовлетворяют следующим условиям-.
□ неотрицательности: Vo) е 12 Р{<о} > 0;
□ нормировки-. Р{о),} + Р{о)2} + ...= 1.
О । сюда следует, что вероятность каждого элементарного события не превосходит единицы. Вероятность является количественной мерой возможности наступления данного элементарного события (исхода) при однократном опыте.
Определение 12. Вероятность составного события Л с 12 определяется как сумма вероятностей элементарных событий, входящих в А:
Р{А}=^Р{^}.(tH)
Очевидно, 0 < Р^ < 1 для всех Лей. Р{Л} характеризует количественную меру возможности наступления события А при однократном опыте.
Из определения 12 вытекают следующие свойства вероятностей:
Р{Л) = 1 - РИУ(1 12)
Р10\=О. /4111 = 1;(1.13)
I >=! J 1=1
Приведенные свойства вытекают из определения вероятности составного собы тия. Комментарии требуются, быть может, к свойству (1.14): вероятность суммы событий не больше суммы вероятностей событий. Это действительно так, но скольку любое элементарное событие представляется в левой части неравенства (1.14) не более одного раза, в то время как в правой части оно представляем я столько раз, сколько раз оно входит в разные события Л^ Л2, .... Л/,.
Примеры '
Пример 1.1с. Однократное бросание игральной кости. Если игральная кость нра пильной формы, то выпадение всех граней равновероятно. Поскольку всего пме ется шесть элементарных событий, то из условия нормировки для вероятное reii следует, что р, = Р{о),} =1/6 для всех i = 1, 2, 3, 4, 5, 6. Вероятность выпадения четного числа очков Р{Лчет) = Р{Л2} + Р{Л4} + Р{Л6} = 3/6 = 0.5. Вероятность того, что выпадет менее пяти очков, Р{Л<5} = Р{Л]} + Р(Л2} + Р{Л3} + Р{Л4} = 4/6.
Пример 1.2с. Двукратное бросание игральной кости. Как и в предыдущем при мере, здесь все элементарные события равновероятны. Поскольку элементарных (Ч)бытий 36, то вероятность каждого из них 1/36. Следовательно, вероятность выпадения на обеих гранях одного и того же числа очков Р{Л.} = 6/36 = 1/6. а не роятность того, что сумма выпавших очков будет равна 10 — Р{Л2=10} = 3/36 = 1/12.
Пример 1.3b. Бросание монеты. Каждое бросание с одинаковой вероятностью 0.5 заканчивается или выпадением решетки Р пли герба Г. Интуитивно ясно, чю Р(Г} = 0.5, Р{РГ} = 0.52, Р{РРГ} = 0.53и т. д. Вероятность того, что для выпадения герба потребуется i бросаний Р{Р'”'Г} = 0.5'. Это — частный случай так называв мого геометрического распределения, которое будет рассмотрено в главе 3.□
Вероятность является основным понятием теории вероятностей. Сейчас мы рассматриваем вероятность событий, в главах 3 и 4 будем рассматривать вероя тно сгн, связанные со случайными величинами, далее вероятности для случаСтык процессов, а вторая часть настоящей книги в основном посвящена проблемам оценивания вероятностей на основе имеющихся статистических данных. Принс дем основные теоремы и понятия, связанные с вероятностями событий.
Теорема 1.1 (Сложения вероятностей событий). Вероятность суммы двух событии раина сумме вероятности этих событий минус вероятность произведения собы 1 iiii:
Р{Л + В} =Р{Л}+Р{В}-Р{ЛВ}.(1.15)
II час тнос ти, вероятность суммы двух несовместных событий равна сумме их ш- роя | НОС ген:
Р{Л + В} = Р^ + Р{В}.(1.16)
Вероятность разности событий равна вероятности события-уменьшаемого мп нх < верой гное ть произведения э тих событчи-!:
Р(Л В^ Р{А}-Р{ЛН}.(117)
В частности, если событие В влечет событие А, то вероятность разности событий Л и В равна разности их вероятностей:
Р{Л-В} =Р{Л}-Р{В}.(1.18)
Если Аь Л2, .... Л^ — попарно несовместные события, то есть Л,- Aj = 0 при i *j, то вероятность их суммы равна сумме вероятностей событий:
РН +Л2+... + Ла= РИН Р{А2} + - + P{Ak}, (1.19)
где число слагаемых к может быть конечным (к = 1, 2,...) или бесконечным (к = со).
Доказател ьство
Начнем с доказательства формулы (1.16) для несовместных событий А и В. Она непосредственно следует из определения вероятностей событии:
ри+в}= х ри = X л®} + X ри = ри + pw.
теА + ВсоеЛ<оеВ
Формула (1.17) следует из того, что любое событие А представимо в виде: А = (Л — В) + А- В, причем события А-В и А-В несовместны (см. рис. 1.1). Поэтому согласно только что доказанному равенству (1.16)
РН = Р^А-В) + А- В} = Р^А-ВНВ},
что эквивалентно формуле (1.17).
Если событие В влечет событие А, то есть ВсА, то Л • В = В, и из формулы (1.17) вытекает формула (1.18).
Для доказательства формулы (1.15) представим сумму Л + В в виде суммы двух несовместных событий В и Л - В: А + В = В + (Л - В). Для несовместных событий по формуле (1.16)
Р^А + В} = Р^В + (Л - В)} = Р{В} + Р^А - В}.
Использование теперь формулы (1.17) приводит к формуле (1.15).
Для конечного числа слагаемых к формула (1.19) доказывается по индукции. Для двух слагаемых (к = 2) она справедлива, поскольку совпадает с уже доказанной формулой (1.16). Если она верна для к >2, то справедливость ее для к + 1 следует из равенств
РН + - + Ак + Л,+1} = РН +... + А^+ Р{АН= РН} + ... + РМ + РИИ
Пусть теперь число слагаемых бесконечно. Нам надо доказать, что
1рН}^р\1а\.
Вероятность суммы бесконечного числа слагаемых с = Р^ + А2 + ...} понимается как предел неубывающей последовательности частичных сумм с, = Р{Л]}, с2 = Р{Л, + A2Y ..., с„ = Р{Л] + А2 + ... + Л,,}. Согласно свойству сходящейся числовой последовательности, для любого как угодно малого положительного числа £ > 0 найдется такой номер члена последовательности п(г\ что
I с - c„(EJ < £.
' „’пользовалось уже доказанное соотношение (1.17) для конечного числа сла- . ых. Поскольку величина s может быть произвольно малой, отсюда следует, " действительно ^Р^АД имеет пределом Р< Д к□
1=111=1 J
~оимеры
".'ер 1.1d. Однократное бросание игральной кости. Найдем вероятности ком- ший событий, рассмотренных в примере 1.1а: Дет + А<5, Лчсг А<5 и Л<5 - Лчст.
.-родственное применение определения вероятности составного события по " муле (1.11) использует явное выражение этих комбинаций через элементар- - лбытия:
Р{ЛЧСТ + Л<5} = Р^йь со2, со3, со4, со6} =
= P^+PW+PWrPV^V-PWi = 5/6,
Р^АЧСТ Л<5} = Р{со2, схц} = Р{со2} + Р{со4} = 2/6 = 1/3,
Р{Л<5 - Лчст} = Р{Ю1, №;}= PW + Р{со3} = 2/6 = 1/3.
-:тности для суммы и разности событий можно получить иначе, путем ис- шания теоремы сложения (1.15) и формулы (1.17) для разности вероятно- .обытий:
Р{Дет + Л<5} = Р{Л„СТ} + Р{Л<5} - Р(ЛЧСТ Л<5} = 1/2 + 2/3 - 1/3 = 5/6,Р{Л<5 - Лчет} = Р{Л<5} - Р{Л<5 Лчсг} = 2/3 - 1/3 = 1/3.
": -.'ер 1.2d. Двукратное бросание игральной кости. Для вычисления вероятно- произведения и разности событий можно применить исходную формулу
Р{Л. ■ Л1=10} = Р{55} = 1/36,
- ЛЕ=10} = Р{11, 22, 33, 44, 66} = Р{11} + Р{22} + Р{33}+Р{44} + Р{66} = 5/36.
2 мула (1.17) позволяет найти вероятность разности событий, не прибегая ■ .ментарным событиям:
Р{Л_- ЛЕ=10} = Р{Л.} - Р{Л. ЛЕ=|0} = 6/36 - 1/36 = 5/36.
-.'ер 1.3с. Бросание монеты. Найдем вероятность Р{ЛЧСТ} того, что потребное " бросаний является четным числом. Очевидно, Лчет = {РГ, Р3Г, Р5Г, РТ,...},
Р{ЛЧСТ} = Р{РГ} + Р{Р3Г} + Р{Р5Г} + Р{Р7Г} + ... == 0.52 + 0.54 + 0.56 + о.58 + ... =
= £0.52' = £0.25' =0.25^0.25' =1=11=0
= 0.25 ■ 1/(1 - 0.25) = 0.25/0.75 - 1/3.
Здесь мы применили формулу для суммы геометрической прогрессии: если абсолютное значение числа q меньше единицы: \q\ < 1, то
ТЛ= 1/(1 -q\ i=0
Вероятность Р{Л||СЧСТ} получения первого герба при бросании с нечетным номером вычисляется как вероятность противоположного события по формуле (1.12):
Р{Л,,чст} = 1 - Р{Лче1} = 1 - 1/3 = 2/3.
Пример 1,4b. Задача о встрече. Пространство элементарных событий в этой задаче не является дискретными, так что применить изложенные выше подходы нельзя. Это пространство представляет собой единичный квадрат, изображенный на рис 1,11. Заштрихованная часть его соответствует элементарным событиям, при которых наступает событие «приятели встретились». Интуитивно ясно, что вероятность последнего события равна отношению заштрихованной площади ко всей. В этом случае говорят о «геометрических вероятностях*. Мы продолжим рассмотрение этого примера в главе 4.
Рис. 1.11. Пространство элементарных событий в задаче о встрече
Пример 1.5а. Случайное блуждание на плоскости. Будем считать, что перемещения фигуры в различных ходах осуществляются взаимно независимо, причем фигура перемещается вверх с одной и той же вероятностью р для всех ходов и перемещается вправо по горизонтали с противоположной вероятностью q = 1 - р. Какова вероятность того, что после пятого хода фигура окажется на поле с4, то есть сделает два хода вправо и три хода вверх?
Оказывается, что рассматриваемая задача — это другая формулировка испытаний Бернулли, которые будут рассматриваться в следующей главе. Там будет показано, что искомая вероятность рассчитывается по формуле биномиального распределения. □ Рассмотрим некоторое событие А. Часто возникает ситуация, когда поступает информация о том, что некоторое другое событие В наступило, в то время как о событии А ничего не известно. Как в этом случае изменится вероятность наступления события А? Такие вероятности называются условными вероятностями, в отличие от ранее рассматриваемых безусловных вероятностей Р{Л}. Естественный ход рассуждений следующий. Если наступило событие В, то это означает, что наступило одно из элементарных событий, входящих в событие В. Следова-
тельно, событие Л может наступить только за счет событий, которые являются общими для обоих событий, то есть за счет произведения событий А • В. Это при водит нас к следующему определению.
Определение 13. Пусть В — событие, имеющее ненулевую вероятность: Р{В} v О Условная вероятность события А при условии, что событие В произошло, определяется как
Р(Л|В}-^.(1.20)
Условные вероятности, рассматриваемые при одном и том же условии В, облада ют всеми свойствами обычных вероятностей (1.12)-(1.17). В частности, для не совместных событий Л1 и Л2 Р{Л( + Л21 В} = Р{Л ( | В} + Р(Л21 В} и т. д.
Из определения условной вероятности (1.20) следует формула умножения веро ятиостей; если Р{В} * 0, то
Р(ЛВ} = Р(В}Р(Л | В}.(1.21)
По индукции доказывается следующая формула, справедливая, если ниже выпи санные условные вероятности существуют (то есть вероятности условий не ран ны пулю):
Р{Лt Л2 ... Л,} = Р(Л,} Р(Л21 Л,} Р(Л31 Л( Л2} ... Р^А,| Л!... А^.(1.22)
Часто вероятность события А легче рассчитать, рассматривая наряду с ним другие события (гипотезы), с которыми событие А может наступить. Это приводи! к следующему результату.
Пусть Яь Я2,..., Нк — полная группа событий, отдельные события которой пазыва ются гипотезами (см. Определение 10). Имеет место формула полной вероятности
Р(Л} = £р(Я/)Р{Л|Я,},(1.23)
!=1
то есть вероятность события А равна сумме вероятностей гипотез, умноженных на условные вероятности события А при условии, что соответствующие гиноте лы произошли.
Доказательство формулы (1.23) простое. Поскольку
A = О• А = (Я, + Я2 + ... + Я,.)-Л = Я1 • А + Я2 • А + ... + Нк • А и из несовместности Н, следует несовместность А-Н,, то, согласно формулам (1.19) и (1.21),'
Р{Л} = р( £ Я, - л! = £ Р(Я, • Л} = £ Р{Я,} - Р(Л | Я,}.
I i=i J i=i1=1
В формуле подпой вероятности мы вычисляем вероятность события Л на остин- вероятностей различных гипотез. Обратная ситуация возникает, когда нам era попптся известно, что событие А произошло, но мы не знаем, с какой
гипотез. В атом случае используется формула Байеса.
Условная вероятность гипотезы //,, вычисленная при условии, что собыiне Л произошло, находится по формуле Байеса ^формуле проверки вероятти теп гипотез):
Р№,Л)=ЩМ^'Р{Д}Р№,Л)=ЩМ^'Р{Д}(1.24)(1.24)
Р№,Л)=ЩМ^
'Р{Д}
Р№,Л)=ЩМ^
'Р{Д}
(1.24)
(1.24)
Эта формула вытекает из свойства коммутативности умножения: А- Н, = Щ -А:Р{А-НЛ= Р{А} ■ Р(Н,\А) = Р{Я,} • Р{Д| HjY
Исходные вероятности гипотез Р{Я,} называются априорными, а пересчитанные условные вероятности Р{Я,|Л} — апостериорными, поскольку учитывают информацию, поступившую после испытания.
Определение 14. События Л и В называются независимыми, если
Р{ЛВ} = Р{Л}Р{В}.(1.25)
Если события Л и В имеют ненулевые вероятности, то условие независимости (1.25) равносильно любому из двух эквивалентных условий:
Р{Л|В} = Р{Л}, Р{В|Л} = Р{В}.(1.26)
Иными словами, события независимы тогда и только тогда, когда их условные и безусловные вероятности совпадают. Тем не менее определение (1.25) предпочтительней, поскольку не требует отдельного рассмотрения случая, когда одно из событий является невозможным: из формулы (1.25) следует, что невозможное событие и любое другое событие независимы.
Обсудим степени зависимости между случайными событиями. Крайнюю степень зависимости имеют эквивалентные и противоположные события. Эквивалентные события наступают и не наступают одновременно, а для противоположных событий наступление или ненаступление одного события влечет ненаступление или наступление другого события. Более слабую степень зависимости дают несовместные события. В этом случае наступление одного события исключает наступление другого события, однако ненаступление одного события не гарантирует наступление другого события, хотя при этом вероятность наступления второго события увеличивается. Формально это доказывается так. Поскольку для двух несовместных событий А и В наступление А влечет наступление не В, то есть А с В, то АВ = А и поэтому
Р(А\В} = 5±Д => р^_
Р{В} Р{В} 1
Для независимых событий какая-либо зависимость отсутствует, так что факт наступления одного события никак не влияет на наступление другого события.
Если события А и В независимы, то формула (1.15) для вероятности их суммы уточняется так:
Р{Л + В} = Р{Л} + Р{В} - Р{Л}Р{В}.(1.27)
Определение 15. Пусть Аь А-ь .... Ак — некоторые события. Говорят, что эти события попарно независимы, если любые два из них независимы. Эти события независимы в совокупности (или взаимно независимы'), если для любого подмножества этих собы тий А, ,А: , ...,А, , I < /г
Р{А,^.i..AlWHllV4Al.2V.J4Al,Y(1-28)
В частности, если Аь Л2, -, Лк независимы в совокупности, то вероятность их произведения равна произведению вероятностей (так называемая Теорема умно ■ жения вероятностей событий-):
P{At А2... Ак) = P^WA2V„ Р{Ак}.(L2*>;
Следующий пример, принадлежащий С. Н. Бернштейну, показывает, что собы тия могут быть попарно независимыми, но зависимыми в совокупности. Нус и О ={сор со2, со3, со J и все элементарные события равновероятны: Р{ со,} = h/A, i • ! .4 Рассмотрим события А ={сор со2}, В ={сор со3}, С = {сор coj. Тогда
Р{Л} = Р{В}=Р{0=1
Р{Л.В}=Р{со,}=1 = РИ}.Р{В},4
4
P{C.B} = P{co,}=l = P{Q.P{B},4
то есть события А, В и С попарно независимы.
В то же время
РИ.В.С}=Р{со,}=1^Р{Л}.Р{В}.Р{С}=1.1.1 = 1.42 2 2 о
Итак, эти события попарно независимы, но не независимы в совокупности.
Примеры
Пример 1.2d. Двукратное бросание игральной кости. Найдем вероятности собы гни А. иЛЫ0, используя формулу полной вероятности. Рассмотрим следующп гипотезы: Я, — на первой игральной кости выпало г очков, г = 1, ..., 6. Очевидш Р№ = 1/6, г = 1,..., 6. Далее, Р^А.\Н,) = 1/6; P^10\Ht) = Р{ЛЕ=|0|Я2} = PVU Я,} ( /'Hwo^} = Р{ЛЕ=10| Я5} = Р{Л1=|0 Я6} = 1/6. Следовательно,
РИ-} =£р{Я,}.Р{Л.|я,.}=6.2.2=2,i=i6 b 6
Р^^ = £ Р{Я,}.Р^хо\;=166 12
го есть получены прежние результаты.
11ример 1.8. Урновая схема. Имеется к урн, содержащих, соответственно, н^, п2,. нк шаров, среди которых белых шаров тх, т2,..., тк. С вероятностью р, выбирав! ся /-я урна (р, + р2 + ... + рк = 1) и из лее выбирается наудачу шар. Какова всроя i ши гь того, что выбранный шар — белый? Если выбран белый шар, то каковы в, роя гностн его выбора из различных урн?
Пусть /1 означает интересующее нас событие — выбор белого шара, а II, сен, с< (н.п ис гипотеза ■ выбрана урна номер/. 11о условиям задачи Р{Н,} - р,, /’{/1|//,) - Hit/iif. Следопагелыю,
'Р{А}=р^т^щ+р2т2/п2 +...+рктк/пк.
Если выбран белый шар, то вероятность его выбора из г-й урны составит
Р{Я,|А} = Р{Я,|А}=^М =—, ( = 1(1.30)
Р^ ьр,тп;v ’
Пример 1.9. Последовательная проверка гипотез. Рассмотрим две урны, содержащие белые и красные шары. Доля красных шаров в первой урне равна р,, а во второй урне р 2. Вначале наудачу выбирается урна. Вероятность выбора первой урны равна р, а второй урны 1 - р. Затем из выбранной урны последовательно выбирается п шаров с возвращением, так что каждый выбранный шар после фиксации его цвета возвращается в урну. Пусть все выбранные шары оказались красными. Какова вероятность того, что они были извлечены из первой урны? Как эта вероятность зависит от числа извлечений п>
В данном случае имеется две гипотезы: Я1 —• первоначально была выбрана первая урна, Н2 — была выбрана вторая урна. Рассматриваемое нами событие А — «все п извлечений дали красные шары». Условные вероятности А составляют:
PM|^}=p”,PM|^}=p".
Теперь вероятность события А подсчитывается по формуле полной вероятности (1.23):
Р{Л} = Р{Я,}РИ I Н^ + Р{Я2}Р{Л I Я2) = р р” + (1 - р) р".
Искомую условную вероятность гипотезы Я, подсчитаем по формуле Байеса (1.24). Вероятность того, что выбрана первая урна и что все шары красные, составляет:
P{^}PHI^}=pp".
()кончательно получаем формулу
РР"
Р-Р" +(1-P)-P2
Пусть р =0.5, pt =0.6, р2 =0.4. В табл. 1.2 приведена зависимость условной вероятности Р^Н\\ А} того, что была выбрана первая урна, от числа извлечений п, в течение которых все время извлекались красные шары. Мы видим, как растет наша уверенность в том, что мы имеем дело с первой урной.□
Таблица 1.2. Условная вероятность Р{Ц| Д} как функция числа извлечений п
N
1
2
3
4
5
6
7
10
15
20
РП^Л}
0.556
0.610
0.661
0.709
0.753
0.792
0.827
0.903
0.966
0.989
1.5. Вероятность наступления комбинации событий*
Формулы (1.19) и (1.29) позволяют найти вероятности простейших комбинаций собы тий суммы несовместных событий и произведения взаимно независимых событий. В атом разделе мы покажем, как пахо ипь вероятность произвольной
комбинации событий. Проведем наше изложение в контексте структурной на дежности систем (см. раздел 1.3).
Состояние каждого элемента системы, фиксируемое в некоторый момент времени (например, начала работы или обслуживания), является случайным. Предположим, что различные элементы сменяют свои состояния независимо друг от друга. Иными словами, если А, это событие «г-й элемент находится в рабою способном состоянии», то события Аь А2, ..., А„ являются взаимно независимы ми. Будем обозначать вероятности этих событий (иначе — надежности элементов) pv р2, ..., рп.
Определение 16. Надежностью системы R называется вероятность ее работоспособности: R = Р{В}, где В — событие «система работоспособна».
Наша задача заключается в том, чтобы выразить надежность системы через надежность ее элементов.
Для последовательной системы (см. формулу (1.6)) из условия взаимной независимости {А;} и формулы (1.29) сразу вытекает, что ее надежность системы
Rs = PiP2-Pn-(1-Я>
Итак, надежность последовательной системы равна произведению надежностей ее элементов.
Чтобы получить аналогичный результат для параллельной системы, следует и формуле (1.8) перейти к противоположному событию В. По закону де Моргана (1.4) получаем
В = А] + А2 +... + Ап = А, • А2 •... • Ап.
Следовательно,
_Р{5} = р{адр{а2} ...р{а„}.
Поскольку Р{А,} = 1 - Р{А,} = 1 - рь а надежность параллельной системы Rp ■ = 1 - Р{5}, то
R» = 1-(1-Р1)(1-р2)-.(1-ри).(1.32)
I Ггак, надежность параллельной системы равна единице минус произведение верп ятностей ненадежностей элементов.
Практически так же легко выразить надежность последовательно-параллельной системы. Например, для системы, изображенной на рис. 1.7, имеем:
Rsp = Р^ = Р{(А, + А2) - А3 - (А4 - А3 + А6)}.
Используя формулы (1.15) и (1.29), находим:
Р{А, + А2} = Р^} + Р{А2} - Р(А, }Р{А2},
Р^ - А5 + Ао} = Р^А, }Р{А5} + Р{АС} - Р{А4 }P(A5}P{Ag }.
('лсдователыю,
^;, =<Р| +Р2 -Р1Р2)Рз(РгР5 +Ро -PaPsPgY
I loc.iuvuniii пример показывает, как вычислять надежность последовательно на раа цельной системы, в записи которой отсутствует повторение одних и тех ли- событий: следует последовательно применять формулы (1.31) н (1 .32) лня па дежиосги последовательной и параллельной систем.
В том случае, когда в указанной записи некоторые события повторяются, возникают осложнения, как это можно видеть на примере системы «два-из-трех» (1.10). Здесь мы имеем сумму трех совместных событий At • А,, Д ■ А3 и А2 • А3: В = Ах • А2 + Av • А3 + А2 • Л3. Мы можем представить ее как сумму несовместных событий, используя свойство идемпотентности Д • А, • А3 + Д ■ А2 • А3 = At • А2 • А3 и тождества ■
А, ■ А2 = А, • Л2 • Q = Л, • А2 • (Д3 + Д ) = Д • А2 • А3 + Д • А2 • А3.
Итак,
В = Д • Л2 - Л3 + Д • Л2 • А3 + Д • А, • А3 + Д • Л2 • Л3.(1.33)
Слагаемые правой части равенства являются несовместными событиями, поэтому надежность рассматриваемой системы
^ = Р(Р2Рз +В(Р2(1-Рз)+ Р^~Р^Рз + ^-Р1)Р2Рз-(1-34)
Отметим, что булева функция, соответствующая выражению (1.33), есть
g(xv ,х2,х3) = хх &х2&х3 v х, &х2&х3 v xt&x2&x3 v х, &х2&х3. (1.35) Такое представление булевой функции называется ее дизъюнктивной совершенной нормальной формой.
Теперь мы видим, что представление события В «система работоспособна» в виде (1.33) и (1.35) в точности совпадает с представлением этого события с помощью искусственного пространства элементарных событий, рассмотренных выше в примере 1.7 раздела 1.3: В = {111, 110, 101, 011}. Здесь 1 соответствует наступлению события Л, а 0 — событию А. Теперь мы можем сформулировать алгоритм решения поставленной задачи в общем виде.
Алгоритм вычисления вероятности наступления комбинации независимых событий
Вход : некоторая комбинация независимых событий В; вероятности р, наступления событий Л,, входящих в комбинацию В.
Выход: вероятность Р{В} наступления комбинации В.
Алгоритм
Шаг 1. Выразить комбинацию В через элементарные события искусственного базиса, как это описано в разделе 1.2.
Шаг 2. Подсчитать вероятности элементарных событий, входящих в В, как веро- ягности (1.29) произведения взаимно независимых событий. При этом элементарному событию Л"1 Л22 ... А"" приписывается вероятность
рг (1 -Р, )*-"' р? (i-Pz у-"2 - р:,- (1 - Ри г- -
где
(1.36)(1.36)Л,-, если а, =1, Л,, если а, =0.
(1.36)
(1.36)
Шаг 3. Суммировать полученные вероятности, что дает искомую вероятность события В.
Программное обеспечение этого алгоритма составляют Программы Ртг1, Sum, Arise, BDC, Event, Avaliabl, Prob, ProbProd, ProbSum.
В заключение отметим изменения, которые необходимо внести в алгоритм в случае зависимости исходных событий {А,}, то есть когда отказы элементов системы — взаимнозависимые. Для этого случая в Шаге 2 алгоритма подсчет вероятности элементарных событий производЬится не по формуле (1.29) для независимых и совокупности событий, а по формуле (1.22) для зависимых событий. Соответ < i вующие условные вероятности должны быть заданы в качестве исходных дан ных.
Компьютерный практикум № 3.
Вероятности событий в пакете Mathcad
Цель и задачи практикума
Целью практикума является вычисление вероятностей составных событий них комбинаций в пакете Mathcad.
Задачами данного практикума являются:
задание вероятностей элементарных событий;
описание составных событий;
вычисление вероятностей составных событий и их комбинаций;
нахождение условных вероятностей событий;
вычисление апостериорных вероятностей гипотез;
применение алгоритма вычисления вероятностей наступления комбинаций независимых событий для расчета надежности системы «два-из-трсх».
Необходимый справочный материал
В настоящем практикуме рассматриваются дискретные пространства элементар ных событий. Подсчет вероятностей составных событий такого пространства сводится к суммированию вероятностей элементарных событий, входящих в него. Поэтому основным используемым оператором будет операция суммпрова пня. В пакете Mathcad имеется два варианта этой операции, доступ к которым предоставляется после открытия окна Calculus Palette. В первом случае (см. рис. 1.12) вызывается операция суммирования S, в которой указаны как нижние, гак и верхние пределы суммирования. Необходимо указать эти пределы и ни деке суммирования. Пределы должны быть целыми числами, причем верхний предел не меньше нижнего. Индексом суммирования может быть какая-либо бу ква или слово. В процессе суммирования индекс пробегает все целочисленные значения, начиная с нижнего и кончая верхним. Справа за знаком суммы лани сывается выражение для общего члена суммы. Обычно оно содержит индекс суммирования, что позволяет суммировать различные слагаемые. Во втором случае иод символом суммирования указывается только индекс суммирования. Интервал изменения его значений задается ранее путем применения оператора присвоить :=, например, 1 := 2 .. 10.
Аналогичную структуру в Mathcad имеет и операция произведения II, которая подобно операции суммирования, используется также в двух вариантах: с указа пнем верхнего и нижнего пределов индекса п без них. Данная операция ш поль дуется в практикуме при вычислении вероятностей произведения событий.
Суммирование и произведение могут быть осуществлены также путем использования оператора цикла for, что также имеет место в одной из программ, представленных ниже.
Реализация задания
/[ля проведения вычислений нам понадобятся три функции пользователя из компьютерного практикума № 1: Sum(A, В), Prod(A, В) и Arise(i, А), и три — из практикума №2: Fam(n), DBC(n, N) и TwoThree(Av А2, А3). Назначение данных функций описано ранее в соответствующих практикумах. Дополнительно определим новые функции пользователя, которые позволяют вычислять вероятности исходных событий и комбинаций. Программные модули, реализующие функции пользователя, представлены на рис. 1.12. Функции имеют следующее назначение.
Практикум №3. Вероятности событийПользовательские функции
Вероятность составного событияВероятность составного событияProb(A.Pr) >Prob(A.Pr) >S<-0for i 11 coIs(ptT ) - 1S<-S + if(Arise(i.A),Pq,O)S<-0for i 11 coIs(ptT ) - 1S<-S + if(Arise(i.A),Pq,O)Вероятности всех элементарных событий искуственного пространстваВероятности всех элементарных событий искуственного пространстваEIEvPr(Pr) .-EIEvPr(Pr) .-п <- cols(pJ) - 1п <- cols(pJ) - 1for i«0 2п-1 nel DBC(n.i)for i«0 2п-1 nel DBC(n.i)
Вероятность составного события
Вероятность составного события
Prob(A.Pr) >
Prob(A.Pr) >
S<-0
for i 11 coIs(ptT ) - 1
S<-S + if(Arise(i.A),Pq,O)
S<-0
for i 11 coIs(ptT ) - 1
S<-S + if(Arise(i.A),Pq,O)
Вероятности всех элементарных событий искуственного пространства
Вероятности всех элементарных событий искуственного пространства
EIEvPr(Pr) .-
EIEvPr(Pr) .-
п <- cols(pJ) - 1
п <- cols(pJ) - 1
for i«0 2п-1 nel DBC(n.i)
for i«0 2п-1 nel DBC(n.i)
Вероятность произведения событий А и В
ProbProd(A,B,Pr) .= Prob(Prod(A,B),Pr)
Вероятность суммы событий А и В
ProbSum(A.B .Рг) - (Prob(A.Pr) + Prob(B ,Рг)) - Prob(Prod(A,B), Pr)
Условная вероятность P(A/B)
CondProb(A,B,Pr):- |ffprob(B,Pr) -0
I ''prob(B.Pr) ;
Формула полной вероятности
cote(H)-1
Формула Байеса:Формула Байеса:ApostProb(H.A.Pr) :=ApostProb(H.A.Pr) :=TolalProb(A.H.Pr) -£ ProbtlT1 ,Pr) CondProblA.H ,Pr)
Формула Байеса:
Формула Байеса:
ApostProb(H.A.Pr) :=
ApostProb(H.A.Pr) :=
for I « 1cols(H) - 1
, ProbProd(A.H(l>.Pr)
bi <
TotalProb(A,H,Pr) b
Рис. 1.12. Программные модули, вычисляющие вероятности событий
Основной является функция РгоЬ(А, Рг), вычисляющая по формуле (1.11) веро- Я1 ность составного события А. Событие А описывается вектором-столбцом, компоненты которого — элементарные события, составляющие событие А. Вероятности элементарных событий задаются вектором-столбцом Рг, причем z-я компонента этого вектора Рц есть вероятность z'-ro элементарного события со,. Обычно элементарное событие со() отсутствует, в этом случае необходимо положить Prvx = 0.
Функции ProbSum^A, В, Рг) и ProbProd^A, В, Рг) вычисляют вероятности суммы /'(/1 t /1) и произведения Р^А В^ событий А и В. Условная вероятность /*(/1| В} события А при условии, что событие В произошло, вычисляется функцией
CondProb(A, В, Рг\ Формула полной вероятности (1.23) реализуется функцией TotalProb(A, Н, Pry а формула Байеса (1.24) — функцией ApostProb^H, А, Рг). При этом отдельные гипотезы Я,, Н2, ... задаются как столбцы матрицы Я (нулевой столбец Яо содержит нулевые значения и не используется). Как и ранее, вероя i ности элементарных событий задаются вектором-столбцом Рг.
Функция ElEvPr(Pf) вычисляет по формулам (1.29) и (1.36) вероятности всех элементарных событий искусственного пространства, соответствующие заданным вероятностям взаимно независимых событий рх = РИ,}, р2 = РИ2}, ..., рп = /'И J
Результаты вычислений
Полученные результаты представлены на рис. 1.13. Вычисления осуществляю! ся на основе одиннадцати вероятностей элементарных событий 1, 2, ..., 11. Din вероятности содержатся в векторе Prll. При этом нулевая компонента этого век тора не используется, поскольку мы начинаем нумерацию элементарных собы тий с единицы, а компоненты векторов в Mathcad нумеруются с нуля.
Результаты вычислений
Вероятности 11 элементарных событий
Рг11 = (0 02 0.1 0.3 0.05 0.05 0.14 ОМ 0.02 0.03 0.06 0.01 )Т
Составные события:С-(1 2 3 4 5 6 7)ТG:-(1 0 11 9)Т
Вероятности составных событий
Prob((2 5 1 9 4 11)Т .Prill-0.44 Prob(Sum(C,G), Рг11) - 0.94 Prob(C,Pr11) - 0.88
ProbSum(C,G,Pr11) - 0.94ProbSum(C,G,Pr11) - 0.94ProbProd(C,G,Pr11) - 02ProbProd(C,G,Pr11) - 02Вероятность суммы событий С и G:
ProbSum(C,G,Pr11) - 0.94
ProbSum(C,G,Pr11) - 0.94
ProbProd(C,G,Pr11) - 02
ProbProd(C,G,Pr11) - 02
Вероятность произведения событий С и G:
Условная вероятность P(G/Q:Условная вероятность P(G/Q:CondProb(G.C,Pr11) - 0.227CondProb(G.C,Pr11) - 0.227
Условная вероятность P(G/Q:
Условная вероятность P(G/Q:
CondProb(G.C,Pr11) - 0.227
CondProb(G.C,Pr11) - 0.227
Н<1>:-(1 2 3 4 5)ТН<1>:-(1 2 3 4 5)Т0 16 9 0 2 7 10Н- 0 3 0 11 0 4 0 0 .0 5 0 0 ,0 16 9 0 2 7 10Н- 0 3 0 11 0 4 0 0 .0 5 0 0 ,
Н<1>:-(1 2 3 4 5)Т
Н<1>:-(1 2 3 4 5)Т
0 16 9 0 2 7 10
Н- 0 3 0 11 0 4 0 0 .0 5 0 0 ,
0 16 9 0 2 7 10
Н- 0 3 0 11 0 4 0 0 .0 5 0 0 ,
Ргоь(н<'*>.Рг11) - 0.7Составное событие АР:Вероятность составного события АР:Условные вероятности события АР):СопОРгоьГдр, Н<2>. Prll) - 0.1Вероятность составного события АР: Апостериорные вероятности гипотезРгоь(н<'*>.Рг11) - 0.7Составное событие АР:Вероятность составного события АР:Условные вероятности события АР):СопОРгоьГдр, Н<2>. Prll) - 0.1Вероятность составного события АР: Апостериорные вероятности гипотезВероятности гипотезРгоь(н<2>,Ргн)-0.2Вероятности гипотезРгоь(н<2>,Ргн)-0.2Prob(H<3>,Pr1l)-0.1Prob(H<3>,Pr1l)-0.1АР - (4 5 0 9)ТАР - (4 5 0 9)ТProb(AP,Pr11) - 0.15CondProb(др,Н^^Ргн) -0.143СопОРгоь(дР. Н<3>. Prll) - 0.3TotalProb(AP,H,Pr11) - 0.15ApostProb(H,AP,Pr11)T - (0 0.667 0.133 0.2)Prob(AP,Pr11) - 0.15CondProb(др,Н^^Ргн) -0.143СопОРгоь(дР. Н<3>. Prll) - 0.3TotalProb(AP,H,Pr11) - 0.15ApostProb(H,AP,Pr11)T - (0 0.667 0.133 0.2)
Ргоь(н<'*>.Рг11) - 0.7
Составное событие АР:
Вероятность составного события АР:
Условные вероятности события АР):
СопОРгоьГдр, Н<2>. Prll) - 0.1
Вероятность составного события АР: Апостериорные вероятности гипотез
Ргоь(н<'*>.Рг11) - 0.7
Составное событие АР:
Вероятность составного события АР:
Условные вероятности события АР):
СопОРгоьГдр, Н<2>. Prll) - 0.1
Вероятность составного события АР: Апостериорные вероятности гипотез
Вероятности гипотез
Ргоь(н<2>,Ргн)-0.2
Вероятности гипотез
Ргоь(н<2>,Ргн)-0.2
Prob(H<3>,Pr1l)-0.1
Prob(H<3>,Pr1l)-0.1
АР - (4 5 0 9)Т
АР - (4 5 0 9)Т
Prob(AP,Pr11) - 0.15
CondProb(др,Н^^Ргн) -0.143
СопОРгоь(дР. Н<3>. Prll) - 0.3
TotalProb(AP,H,Pr11) - 0.15
ApostProb(H,AP,Pr11)T - (0 0.667 0.133 0.2)
Prob(AP,Pr11) - 0.15
CondProb(др,Н^^Ргн) -0.143
СопОРгоь(дР. Н<3>. Prll) - 0.3
TotalProb(AP,H,Pr11) - 0.15
ApostProb(H,AP,Pr11)T - (0 0.667 0.133 0.2)
Расчет надежности для системы “два из трех"
Надежность эпеиентов системы:Надежность эпеиентов системы:RialEI - (0 0.4 0.0 0.5)Т
Надежность эпеиентов системы:
Надежность эпеиентов системы:
Вероятности всех элементарных событий для системы “два из трех"
EIEvPr(RlalEI)7 - (0.06 0.06 0.24 0.24 0.04 0.04 0.16 0.16)
Вероятность исправности системы “два из трех”
Piob(lwolhm»(( атп(з/°> .Гато/1* .1 атп(З)^).EIFvPr(RialEI)) - 0.6
Рис. 1.13. Ризулыщы расчета вероятностей событий
Вначале вычисления проводятся для различных способов заданий составных событий: путем непосредственного указания множества составных событий, путем использования имен событий, путем комбинаций событий. Выполняется расчет вероятностей суммы и произведения событий; условных вероятностей событий. Далее рассматриваются гипотезы Hw , Н^ , Н^ , а также событие АР. Определяется вероятность события АР непосредственно и с помощью формулы полной вероятности на базе функции TotalProb. Оба варианта дают одинаковый результат 0.15. Затем находятся апостериорные вероятности гипотез (функция ApostProb). В заключительной части работы рассчитывается надежность системы «два-из-трех» путем непосредственного использования приведенного в конце раздела 1.5 алгоритма. Надежности элементов системы были приняты следующими: рх = 0.4, р2 = 0.8, р3 = 0.5. Полученное значение надежности 0.6 (см. рис. 1.13) совпадает со значением, которое дает формула (1.34).
Задания для самостоятельной работы
Апробировать представленные функции пользователя путем расчета вероятностей различных событий.
Экспериментально проверить правильность вычисления вероятностей по формулам (1.16), (1.17) и (1.23).
Использовать представленные программы для вычислений при решении нижеприведенных задач 1.11-1.14.
Описать логику работы программы Е1ЕиРт(Рф, приведенной на рис. 1.9.
Разработать программу, производящую необходимые вычисления в задаче 1.13.
Разработать программу, вычисляющую вероятность безотказной работы последовательной «два-из-и» системы (см. задачу 1.16).
Задачи
Задача 1.1. Доказать следующие свойства:
= А.А=В^ = В,А=В^А=В.
Задача 1.2. Доказать формулы:
А-В = АВ, А(В-С) = АВ - АС,A-В = (А->т В)-В = А-АВ.
Задача 1.3. Показать на примере, что разность свойством ассоциативности не обладает:
(А-В)-С* А-(В-С),
в связи с чем выражение А - В - С не определено.
Задача 1.4. Упростить следующие выражения:
А + АВ, (А - С)(В - С), (А + В)(В + С),(А + В)(А + В), (А + В)(А + В)(А + В).
Задача 1.5. Доказать тождества:
(А + В) - В = А - В = АВ, (А - АВ) + В = А + В.
(Л I В) АВ г- АВ \ЛВ.
Задача 1.6. Пусть А, В, С — три произвольных события. Найти выражения для событий, состоящих в том, что из А, В, С:
□ произошло А;
произошли Я и В, в то время как С не произошло;
произошло по крайней мере одно событие;
произошло ровно одно событие;
произошло ровно два события;
ни одно событие не произошло;
произошло не более двух событий.
Задача 1.7. Покажите, что если события А и В независимы, то независимы и события всех пар Л и В, Л и В, Л и В.
Задача 1.8. Обобщите предыдущий результат для случая взаимнонезависимых событий At, А2,.... А,,.
Задача 1.9. Два стрелка независимо друг от друга делают по одному выстрелу в цель. Вероятность поражения цели первым стрелком составляет рь вторым стрелком — р2. Найти вероятность того, что цель будет поражена.
Задача 1.10. Среди 25 экзаменационных билетов 5 «хороших» для некоторого студента. Найти вероятность следующих событий: А — «студент, идя на экзамен первым, вытащит “хороший” билет» ; В — «студент, идя на экзамен вторым, вы тащит “хороший” билет, если до него был вытащен также “хороший" билет»; С «студент, идя на экзамен вторым, вытащит “хороший” билет».
Задача 1.11. В первой урне имеется 1 белый и 9 черных шаров, во второй у pi в 1 черный и 5 белых шаров. Наудачу выбирается урна и из нее извлекается пы|> Какова вероятность того, что извлеченный шар — черный? Если извлечен чср ный шар, то какова вероятность того, что он был извлечен из первой урны?
Задача 1.12. В первой урне имеется 1 белый и 9 черных шаров, во второй урне 1 черный и 5 белых шаров. Из каждой урны случайным образом удалили но од ному шару. Оставшиеся шары ссыпали в одну урну, после чего из нее извлекли наудачу шар. Какова вероятность того, что извлеченный шар — белый?
Задача 1.13. Поиск неисправности. На изделии может возникнуть три ненспрап пости. За определенный промежуток времени вероятности возникновения шан правпостей соответственно составляют 0.2, 0.15, 0.1. После возникновения первой неисправности изделие отказывает с вероятностью 0.8, второй — с вероятностью 0.5 и третьей — с вероятностью 0.9. Найти вероятность отказа изделия, вредно лагая возникновение неисправностей несовместными событиями. В какой по следовательности следует искать неисправность, явившуюся причиной отказа? Задача 1.14. Имеется 5 ури. В первых трех урнах находится по два белых и i ри красных шара, в четвертой и пятой — по одному белому и одному красному шару. Случайно выбирается урна и из нее извлекается шар. Какова условная не роятиость того, что выбрана четвертая или пятая урны, если извлеченный пир оказался белым?
Задача 1.15. I loc.'K'doeaiiK'.'imKiM «два-нз-п» система. Система состои т из п зн шпион, отказывающих пезапш имо друг от друга. Элементы системы пропумсро
ваны числами от 1 до и. Система отказывает, если отказывают не менее двух рядом расположенных элементов, то есть первый и второй, или второй и третий, или третий и четвертый, и т. д. Написать выражение для события В «система работоспособна». С помощью приведенного программного обеспечения рассчитать надежность системы для выбранных значений числа элементов п и вероятности безотказной работы элементов {р, }.
2 Классическое определение вероятностей и повторные испытания
Различные определения вероятностей
При задании вероятностей элементарных событий мы не обсуждали, как эти вс роятности определяются. Теперь мы рассмотрим этот вопрос. Существую! слс дующие основные принципы задания вероятностей: классический, геометрический и статистический.
В ряде практических ситуаций все элементарные события являются раиновое ложными, равновероятными. Если общее число равновероятных событий про странстваО равно т, то из условий нормировки и неотрицательности следую, чш
Р{со,} = 1/т, г = 1,т.(2 1)
Отсюда и из определения (1.11) вероятности составного события Л находим, ч го вероятность события А равна отношению числа тЛ = | Л | элементарных собы t nii, входящих в А (иногда их называют благоприятствующими событиями), к обще му числу элементарных событий пространства т = |Q|:
Р{Л} = тЛ/т, Лей.(2.2)
Описанный принцип назначения вероятностей элементарных событий пазыва сгся классическим. Из формул (2.1) и (2.2) следует, что он сводится к определи нию т = |Q| — общего числа элементарных событий пространства Q и тл |/1| числа элементарных событий, входящих в событие А, вероятностью которого мы интересуемся. Подсчет этих чисел производится обычно комбинаторными мето бами. В связи с этим ниже излагаются основы комбинаторики.
Мы видим, что классический принцип применим, если число элементарных со бытии пространства конечно. Если же пространство элементарных собыt nit несчетно, то иногда может быть применен принцип, основанный па геометрической трактовке пространства элементарных событий и составных <ч>бы rnii В двумерном случае каждое элементарное событие отмечается па плоское in тчкой. 'Тогда все пространство элементарных событий Q изображается па пни кости некоторой областью, площадь которой обозначим 5и. Интересующее ii.ii составное собы тие /1 также отмечается на плоскости областью с площадью 5,
Тогда вероятность событий Л определяется как отношение соответствующих площадей:
P^ = SA/Sn. (2.3)
Так назначаемые вероятности называются геометрическими вероятностями. Ясно, что этот подход применим для любой размерности представления пространства элементарных событий. Важно только, чтобы события, которым соответствуют равные площади или объемы (в многомерном случае), были бы равновероятны. Оба изложенных подхода базируются на принципе равновозможиости, примененном для случаев конечного и бесконечного числа элементарных событий пространства. Это весьма редко встречающаяся на практике ситуация.
Если элементарные события неравновсроятны, то их вероятности оцениваются пгт основе статистических данных. В этом случае проводится последовательность испытаний, число которых обозначим п. Если пю и пА есть число испытаний, в которых было зарегистрировано элементарное событие то и составное событие А, соответственно, то вероятности этих событий определяются как
Это — статистическое определение вероятностей. Обоснование такого подхода дастся в законе больших чисел и теории точечных оценок (см. разделы 7.5 и 1.11). Сейчас только отметим, что точность так назначаемых вероятностей растет с ростом числа испытаний п.
Элементы комбинаторики
Вернемся к классическому определению вероятностей событий. Уже говорилось, что при назначении вероятностей по формулам (2.1) и (2.2) используются элементы комбинаторики.
В комбинаторике рассматривается некоторая генеральная совокупность W, содержащая конечное число элементов п; п = |W|. Основополагающим является понятие выборки. Выборкой объема г, или r-выборкой, называется совокупность из г элементов, каждый из которых — элемент из W. Выборки классифицируются по двум принципам: возможностью повторения элементов и упорядоченностью элементов. Если допускается повторение одних и тех же элементов W в выборке, то говорят о выборке с повторениями, иначе — выборке без повторений. Если две выборки с одними и теми же элементами считают различными, коль скоро они отличаются лишь порядком элементов в выборке, то говорят об упорядоченных выборках. Если же порядок элементов в выборке считается несущественным, то говорят о неупорядоченных выборках.
Понятие выборки можно интерпретировать следующим образом. Из генеральной совокупности W последовательно извлекается г элементов. При выборке с повторением каждый извлеченный элемент возвращается в генеральную совокупное ть до того, как будет извлекаться очередной элемент выборки (что и делает возможным повторение одних и тех же элементов в выборке). В связи с. этим выборки с повторением называют также выборками с возвращением. При выборке без повторений извлеченные элементы в генеральную совокупность не возвращаются. Такие выборки называют также выборками без возвращения.
Упорядоченные выборки соответствуют ситуации, когда учитывается очередность извлечения элементов из генеральной совокупности; неупорядоченные выбор ки — когда очередность не учитывается. Упорядоченные выборки называются перестановками, неупорядоченные — сочетаниями. Выборка объема гназывас! ся r-перестановкой или r-сочетанием, судя по тому, является она упорядоченной или неупорядоченной.
Описанная нами классификация выборок представлена в табл. 2.1.
Таблица 2.1. Классификация выборок
Возможность повторения элементов в выборке
Учет порядка элементов в выборке
Упорядоченные выборки
Неупорядоченные выборки
Без повторения
Перестановки без повторения
Сочетания без повторения
С повторением
Перестановки с повторением
Сочетания с повторением
Формулы для числа различных r-выборок из генеральной совокупности с п эле ментами приведены в табл. 2.2. В этой таблице Сгп — это биномиальные коэффи циенты, определяемые формулой
(2.1)
Таблица 2.2. Число различных r-выборок из генеральной совокупности объема п
Возможность повторения элементов в выборке
Учет порядка элементов в выборке
Упорядоченные выборки
Неупорядоченные выборки
Без повторения
п (п - 1)...(и - г + 1)
с;
С повторением
п’
сгп^
Докажем формулы, приведенные в табл. 2.2. Вначале рассмотрим упорядочен пые выборки. Если объем такой выборки г, то выборка имеет г мест, коюрыг должны быть заполнены элементами генеральной совокупности W. Число таких элементов п. В случае выборки с возвращением каждое очередное место может быть заполнено п способами, так что общее число вариантов равно пг. Если выборки без возвращения, то первое место может быть заполнено п способом второе п-1 способом (элемента, извлеченного первым, уже нет в генеральной со вокупности), третье и - 2 способами и т. д„ последнее r-е место и - (г - 1) сиосо бами. Итак, общее число вариантов есть и (и - 1) (и - 2) ... (п - г + 1).
Теперь рассмотрим неупорядоченные выборки. Для выборок без возвращения применимы следующие рассуждения. Из каждой неупорядоченной выборки бей возвращения Можно образовать г! упорядоченных выборок без возвращении ('ледовательно, вторых в г! раз больше, чем первых. Поскольку вторых выборок и (// 1) ... (н - г + 1), то первых — и (п - 1) ... (п - г + 1)/г! = С'п.
Нам осталось доказать формулу для числа неупорядоченных выборок (со-нча iniii) с повторениями, будем трактовать /-сочетание как неупорядоченную вы (юрку с возвращением объема / из генеральной совокупности, содержащей и эле
ментов. Каждая такая выборка полностью описывается указанием того, сколько раз попал в выборку первый элемент генеральной совокупности, второй элемент и т. д. Схематически это может быть изображено следующим образом. Будем количеством звездочек указывать число попаданий данного элемента в выборку. Черточки будут использоваться для различения одних элементов от других. Количество звездочек между первой и второй черточками — это количество извлечений первого элемента, между второй и третьей — количество извлечений второго элемента и т. д. Например, при г = 8 и п = 6 запись /“*/*////**“/ означает, что первый элемент попал в выборку три раза, второй элемент — один раз, третий, четвертый и пятый — не попали, тестой элемент — попал четыре раза. 'Такие записи содержат /'звездочек и п + 1 черточек и всегда начинаются и кончаются черточками, но остальные /г - 1 черточек и г звездочек располагаются произвольным образом, причем каждому расположению соответствует своя выборка. Следовательно, число различных рассматриваемых выборок — это число способов выбора г мест для звездочек из п + г - 1 мест, то есть С^+г-1.□
Фигурирующие в табл. 2.2 биномиальные коэффициенты Стп известны из формулы разложения бинома Ньютона:.
<а + ЬУ =^СгпагЬ"-г.(2.5)
г-0
В частности, полагая здесь а = b = 1, находим, что
£^=2".(2.6)
1=0
Общая схема применения изложенных результатов для определения вероятностей событий заключается в следующем. Процедура выбора /'элементов генеральной совокупности трактуется как опыт (испытание, наблюдение, экспери- мепт). Мыслимо нерасчленимым исходом этого опыта является выборка. Иначе говоря, каждой выборке соответствует элементарное событие пространства Q. Число таких элементарных событий т равно числу различных выборок и задается табл. 2.2. На основе этого по формуле (2.1) определяется вероятность каждого элементарного события пространства Q. Отметим, что из условия задачи должно следовать, какие выборки необходимо рассматривать (упорядоченные или нет, с возвращением или нет), с тем чтобы все они были равновозможными, и можно было применить классический принцип назначения вероятностей. Аналогичным образом реализуется формула (2.2): подсчитывается число тА выборок, удовлетворяющим условиям, описывающим событие А, и производится деление его па т.
Примеры
Пример 2.1. Гипергеометрическое распределение. В урне имеется п шаров, пронумерованных числами 1, 2, ..., п. Из п шаров nt имеют красный цвет, а остальные п гц шаров — белый. Из урны наудачу извлекается без возвращения г шаров, г <, п. Какова вероятность того, что среди них г, шаров красного цвета?
Решение
В рассматриваемом случае порядок шаров в выборке значения не имеет, следо- ван-льпо, рассматриваются неупорядоченные выборки без повторения. Число
таких выборок, согласно табл. 2.2, составляет С',. Следовательно, число элемеп тарных событий пространства т = |Q| = С'„. По условию задачи все такие выборки равновероятны, поэтому согласно формуле (2.1) Р{со} = 1/С'.
(2.7)(2.7)Каждое элементарное событие пространстваQ описывается набором (гф ф, .... /,), где все ij принимают значения от 1 до п, причем порядок роли не играет. Остано вимся на интересующем нас событии, которое обозначим через А. В собы тие .1 входят те элементарные события, которые содержат ровно /^ номеров шаров, имеющих красный цвет, и г- г, номеров шаров, имеющих белый цвет. Из общею числа п, красных шаров г, шаров можно выбрать С'1 способами (как и ран без учета порядка выбора шаров). Из общего числа п - П) белых шаров г /। шаров можно выбрать С^' способами. Следовательно, общее число элемеп тар пых событий, содержащих ровно rt красных и г - г, белых шаров, тЛ = С'^ ('^ Окончательно по формуле (2.2) получим
(2.7)
(2.7)
РИ} =
Это — так называемое гипергеометрическое распределение. Оно широко применяется в выборочном контроле качества продукции. Роль белых шаров здесь играют годные изделия и, роль красных — бракованные. Известны: общее чпсно изделий п, объем выборки г и число негодных изделий в выборке г,. На основе этих данных необходимо оценить число бракованных изделий в партии nv ()цен кой максимального правдоподобия числа бракованных изделий является закое значение nv при котором достигается максимум вероятности (2.7) при данны значениях п, г и г^
Пусть п = 12, т= 5 и rt = 2. Вероятности R = Р {Л} как значения функции (2.7) от аргумента л, представлены в табл. 2.3. Из таблицы видно, что наиболее асромш ное (максимально правдоподобное) число бракованных изделий в партии //,5
Отметим, что приведенные в таблице вероятности не составляют распределение вероятностей (их сумма не равна единице), поскольку соответствуют' разным пространствам элементарных событий.
Таблица 2.3. Вероятность /?„ = Р {4} как функция л,
«1
0
1
2
3
4
5
6
7
8
9
0
0
0.152
0.318
0.424
0.442
0.379
0.265
0.141
0.045
Пример 2.2. Выборка с повторением. Из генеральной совокупности, содгржащеп и элементов, извлекается с возвращением г элементов. Какова вероятное ть тою, ч то все элементы выборки различны? Отметим, что к этой задаче сводя тся мни гпе другие задачи.
Решение
Выборку здесь образуют номера извлеченных с возвращением элемитов Дш того чтобы выборки были равновероятны, необходимо учитывать поря,чок гп ментов в выборке. Чш-ю 1акцх выборок равно н*. Выборки, в которых все он
менты различны, соответствуют извлечениям без возвращения. Число таких упорядоченных выборок равно и(и - 1)... (и - г + 1). Следовательно, искомая вероятность составляет
(и -l)(zz -2)... (п -(г - l))/n' = 1 — 1 — ... 1 V и д п) V и
Последовательности испытаний
Простейшей схемой последовательности испытаний являются испытания Бернулли. Словесно они описываются следующим образом. Проводится п независимых испытаний. Каждое испытание может закончиться двумя исходами, которые условно называют «успех» и «неудача» и обозначают соответственно У и /7. Вероятность успеха не меняется от испытания к испытанию и равна р, а вероятность неудачи q = 1 - р, причем р, q > 0. В этих условиях обычно интересуются вероятностью того, что в п испытаниях успех наступил ровно г раз, z = 0, и.
Математическая формулировка испытаний Бернулли следующая. Имеется пространство, состоящее из двух элементарных событий: Q = {У, Н\ Вероятности элементарных событий составляют Р{У} = р и Р{Я} = q = 1 - р. Образуем новое пространство Q", элементарными событиями которого являются последовательности из п символов, каждый из которых — один из символов элементарного события из Q: Q" = {св | с» = («>| ,со2, ...,«>„)}, где Vco, е {У, 7/}.
Элементарному событию с» = (coj ,со2,...,со„) из нового пространства Q" припишем вероятность, равную произведению, получающемуся в результате замены компоненты У нового элементарного события св на вероятность р, а компоненты II - па вероятность q:
Р{((В,, (В2,..., (В„)} = Р{(В, }Р{(В2}... 1>п}.(2.8)
В результате этого элементарное событие, содержащее г символов У и, следова- |елыю, п - г символов Н, наделяется вероятностьюр'q"-1. Так определенная вероятность на новом пространстве Q" удовлетворяет условию неотрицательности. Проверку условия нормировки мы проведем одновременно с аналогичной проверкой для формулы (2.9).
Обозначим X число появлений успехов в п испытаниях Бернулли. Вероятность события {X = г} = «успех наступил г раз» определяется формулой биномиального распределения
Р{Х =i} =С‘,р^”-‘, г=0л,(2.9)
где С' =—биномиальные коэффициенты,
i !(п - г)!
/(окажем эту формулу. Интересующее нас событие {X = г} = «успех наступил ровно z раз» состоит из тех элементарных событий, которым соответствуют (в любом порядке) ровно г успехов и и - г неудач. Как уже отмечалось, вероятность каждого такого элементарного события равна/Лу"-', следовательно, веро- я । ность собы гия (X - I} равняется произведению числа входящих в iкто элемен- ।шинах событий на о1 а" '.
Для вычисления указанного числа элементарных событий заметим, что элемен тарные события, составляющие событие {X = i}, отличаются друг от друга только порядком расположения символов У и Н, в то время как количество символов А и //остается неизменным и равным, соответственно, г и п - г. Поскольку выбор / мест для символа У однозначно определяет места для символа Н, то необходимо найти число различных способов выбора i мест из п для символа У. Будем эту процедуру трактовать как выбор без возвращения из генеральной совокупноеiи чисел 1, 2,..., п. Выборка имеет объем г, порядок элементов в выборке не сущее г венен. Следовательно, имеет место /-сочетание без возвращения, число которых С'. Это и доказывает формулу (2.9).□
Проверим выполнение условия нормировки для биномиального распределения (2.9). Поскольку р + /?=!, то па основании формулы (2.5)
=(р+дУ =1.
'i=0
Вероятность появления не более г успехов вычисляется по формуле
Р{Х </} = 2С’„р'q"-', i=Q~n.(2.10)
r=0
Примеры
Пример 2.3. Возвратимся к примеру 1.5 из разделов 1.1 и 1.4. Какова вероятное ! ь того, что после пяти ходов фигура окажется на поле с4 шахматной доски?
Решение
Будем трактовать испытание как один ход фигуры, успех — как перемещение вверх, неудачу — как перемещение вправо. Фигура оказывается на поле с4, сели из пяти ходов три будут сделаны вверх, а два — направо, следовательно, искомая вероятность равна вероятности трех успехов в пяти испытаниях Бернулли. По скольку по условию задачи вероятность успеха (хода вверх) в одном пены гании равна р, то ответ дается формулой (2.9) при п = 5 и / = 3. В частности, для р Oli вероятность оказаться на поле с4 составит 0.346. Вероятности других повиииН фигуры после пяти ходов представлены в табл. 2.4. Здесь же даны накопленные вероятности, рассчитанные по формуле (2.10).
Таблица 2.4. Вероятности различных позиций после пяти ходов
Позиция
Л
е2
</3
с4
65
аб
Число успехов
0
1
2
3
4
5
Вероятность
0.010
0.077
0.230
0.346
0.259
0.078
Накой, вероят.
0.010
0.087
0.317
0.663
0.922
1.000
Пример 2.4. Найдем вероятность того, что в последовательности испытаний Бер нулли а успехов встретятся раньше, чем b неудач.
Решение
Зафиксируем свое внимание па результатах, полученных после испытания с по мером п - а । Ь 1,| 1н тересующее нас собы тие происходит тогда и только ня ;ы
когда в этот момент число зарегистрированных успехов X не менее а. Это событие противоположно событию «число успехов X не более а - 1». Вероятность последнего события Р^Х < а - 1} находится по формуле (2.10) при i = а - 1 и п = а + b - 1. Следовательно, искомая вероятность Р^Х > а} = 1 - Р\Х < а - 1}.
В частности, в условиях предыдущей задачи вероятность того, что фигура достигнет четвертой горизонтали раньше, чем четвертой вертикали, получается отсюда, если положить здесь а = Ь = 3. Нужные нам численные значения содержатся в табл. 2.2: Р{Х< 2} = 0.317, Р(Х> 3} = 1 - Р(Х < 2} = 1 - 0.317 = 0.683. □ Часто испытания Бернулли рассматриваются в другом контексте. Пусть число испытаний ие фиксировано, и испытания проводятся до получения первого успеха. В этом случае пространство элементарных событий имеет вид
Q = {У, НУ, ННУ, НИНУ, ...}.
Вели вероятность успеха в одном испытании р, а неудачи q = 1 - р, причем р, q > 0, то элементарному событию НН...НУ, описываемому i символами (из которых i - 1 первых символов равны Н, а последний символ — У), естественно приписать вероятность q'"vp. Так определенные вероятности удовлетворяют условиям нормировки, поскольку
^ч^р = рУ<Гх =p—v-та /=i 1~ ч
Обозначим У число испытаний, необходимых для получения первого успеха. Событие {У = /} соответствует одному элементарному событию НН...НУ из г символов п имеет вероятность
Р(У = ;} = pq-x, г = 1,2,... (2.11) Это — так называемое геометрическое распределение.
Событие {У < ;} — «необходимое число испытаний не превосходит И является противоположным событию {У > /} — «все первые г испытаний закончились неудачами». Поскольку вероятность последнего события равна q’, то
Р!У<^ = 1-д', z = l,2,... (2.12)
|','( гествепное обобщение испытаний Бернулли заключается в том, что каждое испытание может закончиться не двумя, а большим числом исходов. Иными словами, исходное пространство состоит из конечного числа элементарных событий: Q = {®|, со.,,..., со,,,}. Элементарному событию ер этого пространства приписана вероятность р, = Р(т;), причем Ур, > 0,р\ + р2 + ... + р„ = 1.
Элементарное событие пространства Q”, отвечающего п независимым испытаниям, описывается последовательностью п символов, каждый из которых — символ элементарного события из Q:
со = (сол coJ2со; ) е Q", Vco;eQ. (2.13) Элементарному событию <о = (со;| со2,... ю;; ) нового пространства припишем вероятность, ранную произведению, получающемуся в результате замены компоненты ар элемен тарного собы тия со па вероя тность р j :
В результате этого элементарное событие, содержащее г, символов со , 7 = 1, т, будет наделено вероятностью р1^ р1^... р'”.-
Пусть Xj — число появлений исхода оу в и испытаниях. Тогда вероятность собы тия «первый исход появился it раз, второй исход — г2 раз,..., т-й исход — im раз»
PVXj = i j = \,Tn^=——^-——p^ р^-р1” ,it + z2 + ... + im = n. (2.11)
Это так называемое полиномиальное распределение.
В рассмотренных выше схемах последовательности испытаний предполагалась независимость результатов отдельных испытаний. Отказ от этого предположи ния приводит к следующей схеме. Исходным является пространство элементар ных событий Q, содержащее т элементарных событий: Q = {о>1, <в2> - > «>„,}• **" вым пространством элементарных событий является Q".
Элементарному событию нового пространства приписывается вероятность про изведения событий по формуле для вероятности произведения зависимых собы тий (1.22):
Р^л aj2... <»jn )} = Р^ №>21 со„ }... Р{со,„ | Ю>| ... ^^ },(2.15)
где P{<oV2| <0^ },..., P^tojt | to, ... co, ] } — заданные числа, трактуемые как условные вероятности (1.20) и удовлетворяющие условиям
P{m,.Jсо,, ...со,, ,}>(), Vco^.co^,..,,^. eQ,
У,Р{со, Iсо, со, ...со- } = 1, Vco, ,...,<о, eQ.
Случайные блуждания*
Задачи, связанные со случайными блужданиями, часто возникают при рассмотри нии вопросов управления запасами, страхования, рисков, разорения и т. п. Мы рассмотрим только случай симметричных блужданий, поддающийся анализу комбинаторными методами раздела 2.2. Излагаемый ниже материал требует но вышенного внимания, поэтому его можно опустить. Однако освоивший его чта тель приобретет навыки в решении некоторых задач теории страхования, разоре ния и управления запасами.
Рассмотрим блуждание частицы по целочисленным точкам прямой. Па каждом шаге с номерами 0, 1, 2, ... частица перемещается или в левую или в правую со седине точки. Траектории такого блуждания удобно изображать на плоскости, и которой ось абсцисс является осью времени, а ось ординат показывае т положе вне частицы на прямой в соответствующий момент времени. Каждая такая тра ектория изображается путем, представляющим собой ломаную с. вершинами, которым соответствуют абсциссы 0, 1, 2,..., а ординаты у0, уь уъ ... удовлетворяю ! условию у, - у,_} = ± 1, z = 1, 2, ... Путем из начала координат в целочисленную точку с неотрицательными координатами (х, у) называется путь, для которою у0 - 0, у, = у. Длиной пути называется число шагов х.
Точка с целочисленными неотрицательными координатами ( г, //) может бы и. со еднпсна путем с началом координат в том и только том случае, если г и у имею! вид а = а । Ь, у а Ь, где а и b - целые положительные. Чтобы убедшься в
лом, достаточно трактовать а как число шагов вправо, а b — как число шагов плево, так что х = а + b — общее число шагов, у = а - b — заключительное положение частицы. Если координата у должна быть положительной, то накладывается дополнительное условие а> Ь.
Многие важные заключения могут быть получены на основании следующих простых лемм.
Лемма 2.1. Число различных путей из начала координат в точку (х = а + Ь, у = а - Ь) равно Ся+6 = Сх ' .
Доказательство следует из того, что пути этой совокупности отличаются один от другого только а номерами шагов, которые делались направо. Поэтому число различных путей совпадает с числом сочетаний из а + b по а. □ Лемма 2.2. Принцип отражения. Пусть Л - (Лр Л2) и В = (В<, В,) — две точки с целочисленными координатами, причем ВА > At > 0, Л2 > 0, В2 > 0. Число путей из Л в В, которые касаются или пересекают ось абсцисс, равно числу всех путей из Л1 в В, где Л1 = (Лр -Л2).
Доказательство
Рассмотрим произвольный путь из Л в В, одна или несколько вершин которого лежат на оси абсцисс (рис. 2.1). Пусть С — первая вершина, лежащая на оси абсцисс. Если отразить участок АС симметрично относительно оси абсцисс, то получим путь AVCB, ведущий из Л1 в В и впервые пересекающий ось абсцисс в точке С. Таким образом установлено взаимно однозначное соответствие между всеми путями из Л1 в В и путями из А в В, имеющими точки на оси абсцисс. □
Рис. 2.1. Иллюстрация принципа отражения
Лемма 2.3. Число путей из начала координат в точку (х, у), где х = а + b > 0, у = а - b > 0, которые не касаются оси абсцисс, равно — Cjr+i,)/2 = ——-С“+ь. Чис'ха + Ь
ло путей, не пересекающих ось абсцисс (т. е. не касающихся плюс касающихся),
Доказательство
Докажем первое утверждение для некасающихся оси абсцисс путей. Каждый из рассматриваемых путей начинается со скачка вверх, в результате чего он оказывается в точке (1, 1). Теперь остается х - 1 шаг и необходимо сдвинуться еще па у 1 позиций вверх. Поэтому общее число путей из точки (1, 1) в точку (.г, у) равно числу сочетаний по (.г - 1 + у- 1)/2 пал - 1, то есть С1(",,"2)/2. Искомое число путей равно разности двух чисел: этого и числа путей из точки (1, 1) в гоч-
ку (х, у), касающихся или пересекающих ось абсцисс или, что то же самое, на точки (0, 1) в точку (х - 1, у). Согласно Лемме 2.2, это число равно числу всех путей из точки (0, -1) в точку (х - 1, у), иначе — из точки (0, 0) в точку (х - 1, у + 1). Следовательно, это число равно CY^^2.
Окончательно находим, что искомое число путей
^(л+у-2)/2 _£(л + у)/2 (^ "" 1) 1_
Л-11-1 Гх + у-2 Y (х - у Y (х + у ) Гх-у-2 Y
I 2Д 2 М 2 Д2 /
=(ГУ -1)!2 _ 2= (х -1)! г/= у_ с<„,,ш
(х + у -2Y (х-у— 2Y х-у х + у ^x + yY^x-yY х Л ( 2 J' ( 2 J( 2™ J" ( 2 J'
Теперь докажем утверждение для путей, непересекающих (некасающихся и касающихся) оси абсцисс. Число путей из точки (0, 0) в точку (х, z/), некасающихся оси абсцисс, равно числу путей из точки (1, 1) в точку (х, у), пепересекающих го ризонталь, проходящую через точку 1 оси ординат. Последнее число путей сов падает с числом путей из точки (0, 0) до точки (х - 1, у - 1), непересекающих осп абсцисс. Следовательно, число путей из точки (0, 0) в точку (х, у) непересекаю щих оси абсцисс, равно числу путей из точки (0, 0) в точку (х + 1, у + 1) иска сающихся оси абсцисс. Согласно первому утверждению доказываемой леммы оно равно□
Последняя лемма позволяет достаточно просто находить вероятности некоторых событий, связанных со случайными блужданиями. Элементарным событием здесь будет определенный путь блуждания, пространством — вся совокупноеи> возможных путей. Все пути считаются равновероятными, так что имеет мест классическое определение вероятностей (2.2). Следовательно, для нахождения вероятности некоторого события А необходимо вычислить общее число путей ш и число путей тА, соответствующих событию А. Последнее осуществляется час то с помощью леммы 23.
Примеры
Пример 2.5. Задача о баллотировке. Два кандидата на выборах набрали coornei ственноа»Ь голосов причем, а> Ь. Используя результаты предыдущей леммы, покажем, что вероятность того, что первый кандидат был все время впереди, ран на (а - b)/(a + 6). Вероятность того, что первый кандидат не отставал от второ го, составляет (а - b +1)/(а + 1).
Решение
Ход голосования можно описать путем, начинающимся в начале коордишп (О, (I) и заканчивающимся в точке (а + Ь, а - Ь). Общее число таких ну ген ранни in = C"tll. Пуги, не касающиеся осп абсцисс, составляют событие «первый khii,iи дат был все время впереди». Согласно лемме 2.3 число их тА = С"+/,(а />)/(а 1 1>) ()i ношение тА/т дает первую вероятвость.
Событию «первый кандидат не октавал от второго» соответствуют нуги, не ш иссекающие оси абсцисс. Их число, согласно лемме 23, равно
c^L.^ + i-^Afl + ^ + i).
11осле деления его на т получаем вторую вероятность.
Пример 2.6. Показать, что среди С^,, путей, соединяющих начало координат с точкой (2/7, 0) на оси абсцисс, существует ровно С2""12/п путей, для которых все вершины, кроме первой и последней, лежат выше оси абсцисс.
Решение
У всех рассматриваемых путей общим является то, что первый шаг был вверх и приводил в точку (1, 1), а последний шаг был вниз из точки (2и - 1, 1). Отдель- н1ис пути отличаются друг от друга только поведением в течение 2и - 2 шагов. Можно считать исходную точку (1.1) за начало координат и рассматривать пути, ведущие из нес и не пересекающие оси абсцисс. Тогда последней точкой будет (2// -- 2, 0), а предпоследней (2/7 - 3, 1). Согласно лемме 2.3 число путей длины 2// - 3 из начала координат в точку (2/7 - 3,1), которые не пересекают оси абсцисс, составит С^|,, + 2)/2(у + 1)/(х + 1) = С2„_22/(2/7-2) = С’^/п. Это и есть искомое число.□
Будем называть d-горизонталью горизонталь, проходящую через точку d на оси ординат.
Лемма 2.4. Число путей из точки (0, с) в точку (а + Ь, с + а - Ь), которые сверху касаются или пересекают //-горизонталь, c-b <d < min{c, с + а - Ь}, равно C“^"rf. Число аналогичных путей, которые сверху пересекают //-горизонталь, равно - c-b+l<d<l+ min (с, с + а- Ь}.
Доказательство
Рассмотрим вначале случай d = 0. Из условий, наложенных на d, следует, что с > 0, с + а - b > 0, b > с. Лемма 2.2 утверждает, что число путей из точки (0, с) в точку (а + Ь, а + с - 6), которые касаются или пересекают ось абсцисс, равно числу всех путей из точки (0, -с) в точку (а + Ь, а + с - 6). Последнее же число равно числу всех путей из начала координат в точку (а + Ь, а + 2с - Ь) и согласно юмме 2.1 составляет С"^. Итак, случай d = 0 доказан.
Случай d > 0 сводится к рассмотренному, если заменить с на с - d, то есть просто принять за новую ось абсцисс //-горизонталь, проходящую через точку d на оси ординат.
/(ля доказательства второй части леммы заметим, что число путей, сверху пересекающих //-горизонталь, равно числу путей, которые касаются или пересекают (d - 1 )-горизонталь.□
Лемма 2.4 описывает поведения минимумов случайных блужданий. Поведение максимумов может быть получено путем использования принципа симметрии-. каждому пути из точки (0, с) в точку (а + Ь, с + а - /)) однозначно соответствует путь, симметричный относительно с-горнзонтали. Последний ведет из точки (0, с) в точку (а + Ь, с + b - а) и получается заменой на противоположные направления скачков частицы на отдельных шагах.
Лемма 2.5. Число путей из точки (0, с) в точку (а + Ь, с + а - Ь), которые снизу касаются или пересекают //-горизонталь, шах{с,с + а - /)} <h <с + а, равно 6','"*"'. Число аналогичных ыучеи, которые ciin.iy пересекают //-горизонталь, равно ( t'.’. л ’ ‘1. шах (с, с I а - //} -1 < h S с + а 1.
Доказательство
На оси ординат для точки h симметричной относительно точки с является точка (2с - /г). Поэтому согласно принципу симметрии искомое число путей равно числу путей из точки (0, с) в точку (а + b, с + b - а), которые сверху касаются или пересекают (2с - А)-горизонталь, следовательно, согласно лемме 2.4 это чш ло составляет С^~<2с~А) = С*^ь"с-
Вторая часть леммы следует из того, что пересечь снизу /г-горизонталь это снизу коснуться или пересечь (/z + 1 )-горизонталь.□
Теорема 2.1. Условные экстремумы случайных блужданий. Рассмотрим пути, па пинающиеся в точке (0, с) и оканчивающиеся в точке (а + Ь, с + а - Ь). Вера ятность того, что путь сверху коснется или опустится ниже ^-горизонтали, c-b <d < min{c,с + а - Ь}, вычисляется по формуле
Fmin(ti') =- c-b^d <т\Цс,с + а-Ь\ (2.17)
(а + с -d)! (b-c + dy.
Вероятность того, что путь опустится ниже d-горизонтали, равна Fmin (d -1).
Вероятность того, что путь снизу коснется или поднимется выше й-горизоп гали, шах {с, с + а - 6} < h < с + а, вычисляется по формуле
а. b. щах{с,с + а - < h < с + а. (2.18) ‘ (b + h - с)! (а+ с-h)!
Вероятность того, что путь поднимется выше /z-горизонтали, равна Fmax (// i I).
Доказательство
Для доказательства формулы (2.17) достаточно применить результаты лемм 2.I и 2.4. Для доказательства формулы (2.18) следует воспользоваться леммами 2.1 и 2.5.□
Пример 2.7. Задача о дефиците. В некоторой авиакомпании планируется попан ка а и расход b авиадвигателей. Поступление и расходование авиадвпгаищсп осуществляется независимо друг от друга и по одному. Какова вероятность от сутствия дефицита авиадвигателей, если первоначальный запас их с, с < b < а • с?
Решение
Процесс поступления а и расходования b авиадвигателей описывается путем, па чальной точкой которого является (0, с), а заключительной (а + Ь, а + с - /,). Де фицит имеет место, если путь пересечет ось абсцисс. Следовательно, необходимо подсчитать вероятность такого пути.
Согласно теореме 2.1 вероятность того, что путь опустится ниже оси абсцисс (с/ = 0), составляет Fmin (-1). Итак, вероятность отсутствия дефицита
0,
КУЗ = У-F,(-1) =
а! b!
(п + с + 1)!(/>-с-1)!’
b > а + с,
с <Ь <, а I с,
с £ Ь.
(2 I1))
Рассмотрим следующие численные данные. Пусть расход авиадвигателей в два раза превышает поступление: b = 2а. Вероятности отсутствия дефицита для различных значений а и первоначального запаса с представлены в табл. 2.5. Из нее, например, видно, что при а = 4, с = 4 эта вероятность составит 0.556. Если первоначальный запас с увеличить до шести, то вероятность отсутствия дефицита возрастет до 0.976. ' □
Таблица 2.5. Вероятность отсутствия дефицита /?(с)
с = 1
с = 2
с = 3
с = 4
с = 5
с = 6
с = 7
с = 8
с = 9
а = 1
0.667
1.000
1.000
1.000
1.000
1.000
1.000
1.000
1.000
а = 2
0
0.600
0.933
1.000
1.000
1.000
1.000
1.000
1.000
а = 3
0
0
0.571
0.893
0.988
1.000
1.000
1.000
1.000
а = 4
0
0
0
0.556
0.867
0.976
0.998
1.000
1.000
а = 5
0
0
0
0
0.545
0.848
0.965
0.995
1.000
Весьма полезным является следующий принцип двойственности. Для каждого пути с ординатами z/0, уъ уг, ..., ук определим обращенный путь с ординатами у о = у о, у 'i = yk ~ Ук-ь i=l,k -1, у\ = у к, получающийся изменением порядка вершин на обратный и совмещением крайних вершин прямого пути с крайними вершинами обратного пути. Тогда каждому утверждению о путях соответствует утверждение об обращенных путях.
В частности, из леммы 2.3 сразу следует следующая лемма.
Лемма 2.6. Число путей из начала координат (0, 0) в точку А = (а + Ь, а - Ь),
таких что точка А единственная самая высокая, равна ——-С"+ь. Число путей, а + b
..а - b +1
в которых нет точек выше, чем точка А, составляетС L,.
а + b+ 1
Приведенные леммы позволяют находить вероятности различных событий в схеме случайного блуждания, в которой частица на каждом шаге перемещается вправо или влево с одинаковой вероятностью 0.5. Отметим, что это — другая формулировка испытаний Бернулли с равными вероятностями успеха и неудачи в каждом испытании. Основным здесь является следующий факт: вероятность любого пути, соответствующего х шагам (испытаниям) равна 2"‘. Следовательно, дело сводится к подсчету числа различных путей. Это число подсчитывается с помощью вышеприведенных лемм.
Примеры
Пример 2.8. Пусть на каждом шаге частица, первоначально находящаяся в начале координат, перемещается вправо и влево с одинаковой вероятностью 1/2. Покажем, что вероятность того, что ордината у > 0 будет достигнута впервые в момент 2// у, равна —-—С^ 2"~2", п > у > 0.
2п-у ' '
Решение
Рассмотрим момент времени х = 2п - у. Обозначим А событие «ордината точки в этот момент равна у, причем это самая высокая ордината траектории». Для подсчета числа таких траекторий применим первое утверждение леммы 2.6. Используя представления х = а + Ь,у = а - Ь, получаем а = (х + z/)/2, b = (х - z/)/2 и число траекторий равно С\х+у}/1у / х. Вероятность каждой траектории длины л равна 2~Л = 2Ч2''~‘, что и доказывает утверждение.
Пример 2.9. В условиях предыдущего примера покажем, что вероятность того, что первое возвращение частицы в начало координат произойдет в момент 2г/, равна
-С"-'22-2", ?2 = 1, 2, ...и
Решение
Во-первых, вероятность каждого пути длины 2и равна 2'2". Во вторых, число соответствующих путей, лежащих выше оси абсцисс, подсчитано в примере 2.6. Таково же число путей, лежащих ниже оси абсцисс, так что общее число путей в два раза больше.
Пример 2.10. Продолжим рассмотрение предыдущего примера. Покажем, что следующие вероятности одинаковы и равны С^*2”: а) в момент 2и частица возвращается в начало координат; б) до момента 2и включительно частица пн разу не возвратилась в начало координат.
Из а) и из результатов предыдущего примера выведем тождество
^,«=1, 2, ... t=i «
Решение . ,, .
Рассмотрим пути фиксированной длины 2и, то есть пути, последние точки которых соответствуют абсциссе 2и. По условию все такие пути равноверояшы. Поскольку общее число путей длины 2и равно 22", то согласно классическому принципу каждому пути приписывается вероятность Тгп. Для нахождения вероятности пути, обладающего заданным свойством, необходимо найти число путей с этим свойством и умножить его на 2“2".
I 1айдем число путей длины 2щ оканчивающихся на оси абсцисс. Каждый такой пун, имеет ровно и единичных скачков вверх и столько же скачков вниз (сот век тпующих перемещениям частицы вправо и влево). Следовательно, число ia кпх ну гей равно числу сочетаний из 2и по и, то есть С^. Итак, вероятность того, что частица в момент 2и возвратится в начало координат, равна С^ ,п. Зтпм и доказывается часть а) примера.
Для доказательства части б) примера рассмотрим событие Агк\ «первое возвра щенне частицы в начало координат произойдет в момент 2/г». Вероятность этого собы । ня найдена в предыдущем примере. Иптересующее нас событие «до мо меша ?.п включи гелию частица нс возврати гея в начало координат» обозпа чим В
Очевидно, Л2(ж) с В2к и B2(t+1) = В2к - А2^+Ху В предыдущем примере было показано, что Р{Л24} = — C2^l22~2,', 6=1,2,... Покажем по индукции, что Р{В2Д = C2kTlfe, к■
к = 1,2,... Для к = 1 это очевидно:
р/д = 11 = С*2'2.
1212
Пусть это справедливо для к > 1. Тогда
^{^2(6+1)} ~ ^{^2А^2(А+1>) ” ^{^2^}^{^2(^+1) } ”
— Q-2Aрк n-2(A+l) _ рк <х-2к иI рк <х
~^2кД "I Г^гА^ ~ь2кд 1 7313\-Ь2к^
26 + 12(6 +1)26 + 12(6 +1)-2 А-2 АW-y^-v 2к + 1к', к'. к + 1W-y^-v 2к + 1к', к'. к + 1(2(6 + 1))! 12.2.м(6 + 1)1(6 + 1)! 2(2(6 + 1))! 12.2.м(6 + 1)1(6 + 1)! 2_ рк*\" °2(А+1)_ рк*\" °2(А+1)2-2(1+1)2-2(1+1)к + 1С 2(& +1) J
26 + 12(6 +1)
26 + 12(6 +1)
-2 А
-2 А
W-y^-v 2к + 1
к', к'. к + 1
W-y^-v 2к + 1
к', к'. к + 1
(2(6 + 1))! 12.2.м
(6 + 1)1(6 + 1)! 2
(2(6 + 1))! 12.2.м
(6 + 1)1(6 + 1)! 2
_ рк*\
" °2(А+1)
_ рк*\
" °2(А+1)
2-2(1+1)
2-2(1+1)
Следовательно, утверждение справедливо для к + 1, а поэтому и для всех к.
Последнее утверждение леммы обосновывается так. Во-первых, из утверждения а) рассматриваемой леммы следует, что число путей, возвращающих частицу в начало координат в момент 2п, равно С2п. Во-вторых, это же число можно получить следующими рассуждениями. Пусть первое возвращение частицы в начало координат произошло в момент 26. Число таких путей равно 2 С^2 Д, поскольку оно в два раза больше найденного в примере 2.6 (пути могут находиться как выше, так и ниже оси абсцисс). После этого, спустя 2(п - 6) шагов, частица очередной раз оказывается в начале координат. Число таких путей длины 2(л - к) определяется утверждением а) рассматриваемой леммы. Значение к может быть любым от 1 до и, так что общее число путей получается суммированием. Это и дает доказываемое тождество.
Компьютерный практикум № 4. Анализ повторных испытаний и случайных блужданий в пакете Mathcad
Цель и задачи практикума
Целью практикума является приобретение практических навыков в программировании и решение задач, связанных с повторными испытаниями и случайными блужданиями.
В данном практикуме нами решаются: задача выборочного контроля качества изделий, задача последовательных испытаний и задача о дефиците.
Необходимый справочный материал
Вначале мы познакомимся с особенностями просмотра в Mathcad векторов и матриц, имеющих большое число элементов. Если для просмотра всех элементов массива размера рабочего окошка недостаточно, в нем показывается только часть массива. Для просмотра всего множества элементов применяется так называемая линейка прокрутки. Для получения линейки прокрутки необходимо щелкнуть в площади окошка, содержащего часть элементов матрицы (вектора). Далее, перемещая появившийся ползунок линейки, можно просмотреть вс-сь
Наряду с конструкциями Mathcad, рассмотренными в главе 1, в настоящем практикуме широко используется операция вычисления факториала целого положительного числа, обозначаемая знаком !, например, п! является факториалом числа п.
При вычислении сумм применяется способ, когда в операции суммирования X указывается только индекс. Этот индекс суммирования необходимо предварительно определить как целочисленный аргумент. Интервал изменения его значений задается путем применения оператора присвоить :=, например, г:=0. .5, при этом суммирование выполняется для каждого значения целочисленного аргумента от 0 до 5.
В последних версиях Mathcad среди встроенных статистических функций имеются функции, которые можно использовать в представленных ниже вычислениях. Перечислим эти функции-.
сотЫп(г, п) вычисляет значение биномиальных коэффициентов С' по формуле (2.4);
dbinom(i, п, р) дает значение вероятности (2.9) для биномиального распределения при значении аргумента z и значениях параметров пир;
рЫпот(г, п,р) дает аналогичное значение для функции распределения (2.10);
dgeom(i,p) дает значение вероятности (2.11) для геометрического распределения при значении аргумента г и значении параметра/?; аналогичное значение для функции распределения (2.12) дается функцией pgeom(i, р).
Ввиду учебного характера данной книги мы рассмотрим ситуацию, когда эти функции требуется запрограммировать пользователю. В этом случае читатель может, как и в предшествующих практикумах, использовать ранние версии пакета, но не ниже Mathcad 6+.
Реализация задания
Для проведения вычислений будем использовать функцию сотЫп(п, г), которая описана выше и фигурирует в списке стандартных функций ряда версии Mathcad, а также функции пользователя dHyperGeom(n, zzl, г, rl), dPolin(n, р. i) в 1\(а, Ь, с). Программные модули, реализующие эти функции, представлены на рис. 2.2. Новые функции имеют следующее назначение:
dllyperGeom(n, и1, г, rl) вычисляет вероятность (2.7) для гипергеометрпче- । кого распределения с параметрами п, nt = zzl, г, ri = rl;
U dPolin(n, р, i) вычисляет вероятность (2.14) для полиномиального распределе пня, параметрами функции являются: число испытаний п и вектор-столбец р (Ро, Pt, Р2РтУ вероятностей наступления отдельных исходов; аргумеп ты функции задаются в виде вектора-столбца числа различных исходов г = (хф, Ф '2irn)’;
U R(a, b, с) вычисляет вероятность отсутствия дефицита (2.19), рассматривав шуюся в примере 2.7.
I ’и iy/п.нпы вычислений
Приученные результаты представлены па рис. 2.3. В пункте 1 решается задача выборочного контроля качества иэлслип. Вычищения пнокопятеп лип iiiiiimhi-o
метрического распределения, рассмотренного в примере 2.1. Объем партии п = 12, объем выборки г = 5, в выборке оказалось 2 бракованных изделия (rt = 2). Если в партии пх = nl бракованных изделий, то вероятность получения двух бракованных изделий в выборке равна значению dHyperGeom(12, nl, 5, 2). Мы обозначили ее defecting, с тем чтобы проанализировать изменение этой вероятности в зависимости от значения nl. Результаты содержатся в векторе-столбце Рг. После его транспонирования получается вектор-строка Ргт. Последняя выведена среди результатов: первая строка содержит значения и1, а вторая — соответствующие вероятности. Эти же вероятности были приведены в табл. 2.3. Отметим, что они не составляют распределение вероятностей — это видно из того, что сумма их не равна единице. Распределение вероятностей будет, если при фиксированных п, и! иг варьировать значение гх, как это должно быть для гипергеометрического распределения (2.7). В этом случае суммирование вероятностей по гх действительно дает единицу, как это видно на распечатке.
Практикум №4. Повторные испытания и случайные блужданияПользовательские Функции
Биномиальные коэффициенты
combln(n.r):- Iff г S n,—,0 |
(Г1(П- ^1 )
Вероятности гипергеометрического распределения
_.. <х «Г ,,, L * Л^ combin(n1,r1) combln(n-n1,r-r1) Л
dHyperGeom(n,n1 ,r,r1) * if г* n1 - n 5 ri 5 т!пцп1 r) ),,0
combin(n.r))
Вероятности полиномиального распределения
dPolin(n,p,l) :• ifdPolin(n,p,l) :• ifrows(p)-1rows(p)-1rows(p)~1 ."П ^w J °rows(p)~1 ."П ^w J °
dPolin(n,p,l) :• if
dPolin(n,p,l) :• if
rows(p)-1
rows(p)-1
rows(p)~1 ."
П ^w J °
rows(p)~1 ."
П ^w J °
Вероятность отсутствия дефицита
R(a.b.c):- if bic.l.if bi a + c
Рис. 2.2. Программные модули, реализующие пользовательские функции
В пункте 2 рассматриваются последовательные испытания. Вычисления проводятся для полиномиального распределения (2.14). Предполагается, что возможны три исхода, вероятности которых рх = 0.5, р2 = 0.3 ир3 = 0.2 содержатся в векторе-столбце Prez (нулевой исход игнорируется, и его вероятность принимается равной нулю). Число испытаний п полагается равным 5. Далее определяются вероятности различных исходов i = (i0, ix, i2, i3)T. Например, вероятность того, что первый и второй исходы появятся по два раза, а третий — один раз, равна 0.135. В заключение проверяется, что сумма таких вероятностей, подсчитанная по всем возможным исходам в пяти испытаниях, равна 1.
Вычисления, проведенные в пункте 3, связаны с задачей о дефиците (см. пример 2.7\ Приводятся результаты расчета вероятностей отсутствия дефицита (2.19) с использованием функции R(a, b, с) для случая, когда число расходуемых изделий b и два раза больше, чем число поступающих изделий а, то есть b = 2». Число расходуемых изделий а варьирует в диапазоне от 1 до 5, а первоначальный запас
"‘ "•—""<' ix'ivHi.rrmii Ц|,|||„Г№-
ний используется матрица MR, строки которой соответствуют значениям а, а столбцы — значениям с. Иными словами, MRlhC = R(a, 2а, с). Эта матрица распечатана. Ранее эта матрица была представлена в табл. 2.5.
Отметим, что в окне вывода может быть показана только часть матрицы MR, имеющей 9 столбцов. Аналогичная ситуация может наблюдаться и при выводе вектора-строки Ргт, содержащего 9 элементов. Тогда для просмотра этих масси вов целиком следует использовать линейку прокрутки.
Результаты вычислений
Выборочный контроль качества для партии из 12 изделий
Вероятность получения 2-х бракованных изделий в выборке обьеиа 5 при п1 бракованных изделий в партии
n1-0 12n1-0 12defect(nl),- dHyperGeom(l2,n1,5,2)
n1-0 12
n1-0 12
г1.-О 5г1.-О 5Проверка на нормировку вероятностей получения г1 бракованных изделий в выборке обьеиа 5 при 5-ти бракованных изделий в партии
г1.-О 5
г1.-О 5
^dHyperGeom(12,5,5,r1) • 1
Вероятность получения 2-х бракованных изделий в выборке обьеиа 5 в зависимости от количества бракованных изделий в партии п1
Рт -Рт -for n1 eO 9
Рт -
Рт -
Rn1<- lf(n1 < 2,0 ,defect(n1))
R
Последовательные испытания
Вероятности исходов в испытаниях:Prez - (0 0.5 0.3 02 )Т
Вероятности заданного числа исходов в 5-ти испыганмиях
dPolinis.Pret.lO 2 2 1)Т )-0.135 dPollnts, Prez. (0 Э 1 1 )Т) - 0.15dPolinis.Pret.lO 2 2 1)Т )-0.135 dPollnts, Prez. (0 Э 1 1 )Т) - 0.15Проверка распределения вероятностей на нормировку:Проверка распределения вероятностей на нормировку:dPolints,Prez,(0 : dPolin(5,Prez,(0 :55-11^ S ^Ро!'"'11 - 0 12 - 0dPolints,Prez,(0 : dPolin(5,Prez,(0 :55-11^ S ^Ро!'"'11 - 0 12 - 03 2 0)Т) .0.1133 2 0)Т) .0.1131(5,Prez,(0 И i2 5 - И - I2)T) - 11(5,Prez,(0 И i2 5 - И - I2)T) - 1
dPolinis.Pret.lO 2 2 1)Т )-0.135 dPollnts, Prez. (0 Э 1 1 )Т) - 0.15
dPolinis.Pret.lO 2 2 1)Т )-0.135 dPollnts, Prez. (0 Э 1 1 )Т) - 0.15
Проверка распределения вероятностей на нормировку:
Проверка распределения вероятностей на нормировку:
dPolints,Prez,(0 : dPolin(5,Prez,(0 :
55-11
^ S ^Ро!'"'
11 - 0 12 - 0
dPolints,Prez,(0 : dPolin(5,Prez,(0 :
55-11
^ S ^Ро!'"'
11 - 0 12 - 0
3 2 0)Т) .0.113
3 2 0)Т) .0.113
1(5,Prez,(0 И i2 5 - И - I2)T) - 1
1(5,Prez,(0 И i2 5 - И - I2)T) - 1
Задача о дефиците
Вероятности отсутствия дефицита
MR -MR -for а е 1. 5for с е 1 9MRa,c <- R(a .2 а ,с)MRfor а е 1. 5for с е 1 9MRa,c <- R(a .2 а ,с)MR> W1>У^“W->13 ,900000000(I00.657111111100060 933111110000 5710,6930 988111ш00000 5560.8670.9780 99811000000 5450 8480 9650 9951> W1>У^“W->13 ,900000000(I00.657111111100060 933111110000 5710,6930 988111ш00000 5560.8670.9780 99811000000 5450 8480 9650 9951
MR -
MR -
for а е 1. 5
for с е 1 9
MRa,c <- R(a .2 а ,с)
MR
for а е 1. 5
for с е 1 9
MRa,c <- R(a .2 а ,с)
MR
> W
1
>
У^
“W
->
1
3 ,
9
0
0
0
0
0
0
0
0
(I
0
0.657
1
1
1
1
1
1
1
0
0
06
0 933
1
1
1
1
1
0
0
0
0 571
0,693
0 988
1
1
1
ш
0
0
0
0
0 556
0.867
0.978
0 998
1
1
0
0
0
0
0
0 545
0 848
0 965
0 995
1
> W
1
>
У^
“W
->
1
3 ,
9
0
0
0
0
0
0
0
0
(I
0
0.657
1
1
1
1
1
1
1
0
0
06
0 933
1
1
1
1
1
0
0
0
0 571
0,693
0 988
1
1
1
ш
0
0
0
0
0 556
0.867
0.978
0 998
1
1
0
0
0
0
0
0 545
0 848
0 965
0 995
1
Рис. 2.3. Результаты решения задач, связанных с повторными испытаниямии случайными блужданиями
Задания для самостоятельной работы
I ( 'ос1авпгь программу, вычисляющую вероятности для многомерного гннергео метрического распределения, рассматривающегося в задаче 2.2.
' Экспериментально проанализируйте описанную в задаче 2.1 сходпмос и. hi нергеомегрн ческого распределения к биномиальному распределению.
1м нернмен la.H.no нроаналнзпрона 1 ь описанную п задаче 2.27 сходим!» 11.
onnoMii.i iuioi о распределения ь пуассоновскому.
Задачи
Задача 2.1. Предельная теорема для гипергеометрического распределения. Пусть п и пх неограниченно возрастают, причем так, что пх/ п=р,а объем выборки г остается постоянным. Показать, что вероятность (2.7) стремится к биномиальному распределению: ■
Р^ = Ср pr’ (1 - рУ"4 , гх = 0Гг.
Задача 2.2. Многомерное гипергеометрическое распределение. В урне имеется п шаров, из которых пх шаров первого типа, пг шаров второго типа,.... пк шаров k-ro типа, пх + ... + пк = п. Из урны наудачу без возвращения извлекается г шаров. Используя результаты примера 2.1 и метод математической индукции, показать, что вероятность того, что из г извлеченных шаров г, шаров i-ro типа, г, < пь равняется
С'1 Сп - С /СпИ + ^2 + - + Гк = Г.
Задача 2.3. На полке в случайном порядке расставлены 40 книг, среди них трехтомник А. С. Пушкина. Найти вероятность того, что эти тома стоят в порядке возрастания номеров слева направо (но не обязательно рядом).
Задача 2.4. У человека имеется п ключей, из которых только один подходит к его двери. Когда ему необходимо открыть эту дверь, он последовательно, без повторения, испытывает ключи. Этот процесс может окончиться при 1, 2,..., п испытаниях. Показать, что каждый из этих исходов имеет вероятность 1/ п.
Задача 2.5. п шаров случайным образом размещаются по п ящикам. Найти вероятность того, что все ящики будут заняты. Обсудить связь с примером 2.2.
Задача 2.6. Лифт. Лифт отправляется с г = 7 пассажирами и останавливается на п = 10 этажах. Чему равна вероятность того, что никакие два пассажира не выйдут на одном и том же этаже? (Предполагается, что способы распределения пассажиров по этажам равновероятны.) Обсудить связь с примером 2.2.
Задача 2.7. Дни рождения. Какова вероятность того, что у г наудачу взятых людей дни рождения окажутся различными? (Предполагается, что распределение дней рождения по дням года равновероятно.) Обсудить связь с примером 2.2.
Задача 2.8. Бросаются шесть симметричных игральных костей. Какова вероятность того, что выпадут все грани? Обсудить связь с примером 2.2.
Задача 2.9. В городе в течение недели произошло семь пожаров. Какова вероятность того, что все пожары приходились на разные дни недели? Обсудить связь с примером 2.2.
Задача 2.10. г шаров случайным образом размещаются по п ящикам. Какова вероятность того, что заданный ящик содержит г шаров, г = 0,г?
Задача 2.11. Один профессор Корнельского университета двенадцать раз штрафовался за незаконную ночную стоянку автомашины, причем все двенадцать раз эго происходило или во вторник или в четверг. Найти вероятность этого события и предположении, что распределение проверок по дням недели равновероятно. Задача 2.12. Группа из 2к мальчиков и 2к девочек делится на две равные части. I Lui гм вероятность того, что в каждой части депочек и мальчиков одинаковое ко-
Задача 2.13. Найти вероятность того, что случайно взятое натуральное число пл множества 1, 2,..., п делится на фиксированное натуральное число. Найти предел этой вероятности при и —> со.
Задача 2.14. Из чисел 1, 2,..., п случайно выбирается число а. Найти вероятность того, что: а) число а не делится ни на аь ни на а2, где ах и а2 — фиксированные натуральные взаимно простые числа; б) число а не делится ни на какое из фиксированных взаимно простых чисел ах, а2, ..., ак. Найти при и -> со пределы вероятностей в случаях а) и б).
Задача 2.15. Из тридцати чисел {1, 2, ..., 30} случайно отбираются 10 различных чисел. Найти вероятности событий: Л — «все числа — нечетные»; В — «ровно 5 чисел делится на 3»; С — «5 чисел нечетных и 5 чисел четных, причем ровно одно делится на 10».
Задача 2.16. Из множества чисел {1, 2, ..„ и} по схеме выбора без возвращения выбираются два числа. Найти вероятность того, что первое из выбранных чисел больше второго. При выборе трех чисел найти вероятность того, что второе число лежит между первым и третьим.
Задача 2.17. В первом ряду кинотеатра, состоящем из п кресел, сидят г человек. Найти вероятность того, что а) никакие два человека не сидят рядом; б) каждый из г человек имеет ровно одного соседа; в) из любых двух кресел, расположенных симметрично относительно середины ряда, хотя бы одно свободное, если число кресел четно.
Задача 2.18. При передаче сообщения по каналу связи вероятность искажения одного знака равна 1/10. Какова вероятность того, что сообщение из 10 знаков: а) не будет искажено; б) содержит ровно 3 искажения; в) содержит не более трех искажений?
Задача 2.19. Система состоит из п идентичных элементов. Каждый элемент независимо от других за рассматриваемый период времени отказывает с вероятно стью р. Система является работоспособной, если не отказали к элементов пли более. Какова вероятность того, что система будет работоспособна? Найти минимальное и, при котором эта вероятность будет не ниже 0,9, если р = 0,8, к = 4.
Задача 2.20. Найти вероятность того, что в 2и испытаниях Бернулли с вероятпо- сгыо успеха в одном испытании р появится п + т успехов и все испытания с нечетными номерами закончатся успехом.
Задача 2.21. По каналу связи передаются сообщения из нулей и единиц. Ил за помех вероятность передачи правильного сообщения равна 0,55. Для повышения вероятности правильной передачи каждый знак сообщения повторяется п рал. За передаваемый принимают знак, повторяющийся в полученном сообщеппн пан (юльшее число раз. Найти вероятность правильной передачи одного знака при в кратном повторении, если п = 5. Подобрать кратность передачи знака п так, чтобы эта вероятность была не ниже 0,99.
Задача 2.22. Задача о движении городского транспорта. Для описания движения iрапс порта через уличный переход предположим, что каждую секунду hmcci мс > |о одно нсныганне Бернулли. Ус пехом будем называть проезд автомобиля че рел переход, /(опустим, что псчвсход может перейти улицу только при условии,
что в последующие три секунды переход будет свободным. Найти вероятность того, что пешеходу придется ждать г = О, 1, 2, 3, 4 секунд.
Задача 2.23. Используя связь биномиальных коэффициентов с испытаниями Бернулли, доказать следующее тождество:
ZС' =т, £ С/С'^=С', Vi = 0,H,/ = 1,и-1. /=о;=о
Задача 2.24. Из множества {1, 2,..., и} случайно и независимо друг от друга выбираются два подмножества А( и Л2. При этом каждый элемент независимо от других включается в подмножества At и Л2 с вероятностью р. Найти вероятность того, что эти подмножества не содержат одинаковых элементов.
Задача 2.25. Задача Банаха о спичечных коробках. Некий математик всегда носит с собой две коробки спичек. Каждый раз, когда ему нужна спичка, он выбирает наугад одну из коробок. Найти вероятность того, что в момент; когда он впервые вынет пустую коробку, в другой коробке будет г спичек, г = 0, и, где и — первоначальное число спичек в каждой коробке.
Задача 2.26. В условиях предыдущей задачи найти вероятность того, что в момент, когда впервые одна из коробок окажется пустой, другая коробка содержит г спичек, г = 0,п (Отметим, что указанный момент не совпадает с моментом, когда вынута пустая коробка.)
Задача 2.27. Пусть в испытаниях Бернулли вероятность успеха в одном испытании зависит от числа проводимых испытаний п: р = рп, qn = 1 - рп. Предположим, что п —> оо, рп —» 0, причем прп = А, где А — положительная константа. Показать, что в этом случае биномиальное распределение (2.9) стремится к распределению Пуассона:
P{X = i}=Ci„pt„q”„-i2* = 0,1,2,...
Задача 2.28. По каналу связи передается 1000 знаков. Каждый знак может быть искажен независимо от других с вероятностью 0,005. Найти приближенное значение вероятности того, что будет искажено не более трех знаков.
Задача 2.29. В таблице случайных чисел цифры сгруппированы по две. Найти приближенное значение вероятности того, что среди 100 пар пара 09 встретится не менее двух раз.
Задача 2.30. Используя формулу (2.9) и принцип математической индукции, доказать формулу (2.14) для полиномиального распределения.
Задача 2.31. Найти вероятность P^Xj = г,} того, что в полиномиальной схеме (2.13), (2.14) исход ог; наступит ровно г) раз.
Задача 2.32. В условиях предыдущей задачи найти условную вероятность
ЦХ2 = i2, ...,Х„ = im/Xt =2,}, i, + i2+... + im = n.
Задача 2.33. Имеется n ящиков, по которым случайным образом размещаются шары до тех пор, пока какой-нибудь шар не попадет в уже занятый ящик. Какова кио .оо nor ппоцесс закончи гея на z-м шаге, г = 2,п + 1?
Задача 2.34. По каналу связи передается одна из последовательностей буки АААА, ББББ, ВВВВ с вероятностями р{, р^ и р3 (jp + Р2+ р3 = 1). Каждая переда ваемая буква принимается правильно с вероятностью а и с одинаковой вероятностью (1-а)/2 принимается за две другие буквы. Предполагается, что буквы искажаются независимо друг от друга. Какова вероятность того, что передана по следовательность АААА, если принята АВБА?
Задача 2.35. Два игрока последовательно извлекают шары из урны, содержащей 2 белых и 4 черных шара. Выигрывает игрок, первым вытащивший белый шар Какова вероятность выигрыша у игроков, начавших игру первым и вторым? Если право начать игру разыгрывается вначале путем подбрасывания монеты, io какова вероятность выигрыша данного игрока?
Задача 2.36. Движение частицы по целочисленным точкам прямой описывается схемой Бернулли. Если происходит успех, то частица перемещается в правую соседнюю точку, а если неудача, то в левую. Найти вероятность того, что за м шагов частица переместится вправо на k точек.
Задача 2.37. Движение частицы по целочисленным точкам плоскости описыва ется полиномиальной схемой с т = 4. Каждому из четырех возможных исходов соответствует движение частицы в соседнюю точку, расположенную левее, пра нее, ниже или выше данной, причем все они равновероятны. Найти вероятность того, что за п шагов частица, отправляясь из начала координат, окажется в точке A, kzY
Задача 2.38. Показать, что среди С^ путей, соединяющих начало координат с точкой (2м, 0) на оси абсцисс, существует ровно С'2„/(п + 1) путей, у которых все промежуточные вершины лежат не ниже оси абсцисс.
33ретные случайныеретные случайные
3
3
ретные случайные
ретные случайные
величины
Дискретные случайные величины и их распределения
Фактически с дискретными случайными величинами мы уже имели дело. Ранее рассмотренные примеры их — это число выпавших очков при однократном и двукратном бросании игральной кости, число успехбв в испытаниях Бернулли, необходимое число испытаний до получения первого успеха и т. п. Формальное определение выглядит так.
Определение 1. Пусть П — дискретное (конечное или счетное) пространство элементарных событий: Q = {^, ю2,..., юга}, где m = оо для счетного пространства П. Дискретной случайной величиной называется действительная функция Х(ю), определенная на П: Х:П -> Rv где Rx = [0,оо) — одномерное вещественное пространство. Каждому элементарному событию со е П она ставит в соответствие некоторое действительное число Х(со). В результате испытания (наблюдения, эксперимента, опыта) наступает какое-то одно элементарное событие со из П. Функцией Х(со) оно трансформируется в вещественное число Х(со), которое и воспринимается как «случайная величина X» (обозначение со при этом обычно опускается).
Образ пространства О, соответствующий функции Х(ю), называется множеством возможных значений случайной величины X, а отдельный элемент этого множества — возможным значением. Обозначим к число элементов этого множества (k = оо для счетного случая), а сами элементы, то есть возможные значения случайной величины X, хх, хг,..., хк. Пусть (X = х^ означает составное событие «случайная величина X приняла значение х". Это событие состоит из тех элементарных событий пространства О, которые функцией X отображаются в значение х\
(X = х^ = {ю: X(to) = Xj, юбй).
В соответствии с определением (2.2) вероятность события (X = х^ подсчитывается по формуле
Р{Х=х,}= ^Р^.(3.1)
В практических приложениях часто работают не с исходным пространством але- ментарных событий П, а с множеством возможных значений {х,} и вероятностями {р,}, с которыми эти значения принимаются случайной величиной X:
Р^Х=хД = р„ i = lj. (3.2)
Определение 2. Система равенств (3.2), для которой {р,} удовлетворяют условиям неотрицательности и нормировки, называется распределением вероятностей дискретной случайной величины X.
Отметим, что говорят о конечнозначной случайной величине, если множество возможных значений случайной величины — конечное, то есть если к < оо.
Распределение вероятностей (3.2) для конечнозначной случайной величины может задаваться таблично или графически — с помощью полигона вероятностей (табл. 3.1 и рис. 3.1). Более общим способом задания, пригодным и для случайных величин со счетным множеством возможных значений, является аналитический — с помощью формул.
Таблица 3.1. Распределение вероятностей конечнозначной случайной величины
1
1
2
3
4
5
6
7
8
X,
1
3
5
6
7
9
10
11
Pi
0.10
0.15
0.25
0.20
0.10
0.05
0.05
0.10
F(xf)
0.10
0.25
0.50
0.70
0.80
0.85
0.90
1.00
р. *
0.3 -
0.2 -
0.1 -
0 1 2 3 4 5 6 7 8 9 10 И 12 *(
Рис. 3.1. Полигон вероятностей
Определение 3. Вид (или тип) распределения соответствует виду функции, описывающей данное распределение. В рамках одного вида распределения отличаются друг от друга своими параметрами.
Приведем основные виды распределений дискретных случайных величин.
Биномиальное распределение задается формулой
Р^Х = i) = С'пр'q"-i, i=57n,(3.3)
где п,р и q — параметры распределения, причем 0<р, q< 1;р + q = 1; п* 1, 2,... — целое положительное число; С* = ——биномиальные коэффициенты.
Л(л —/)1
Условие нормировки для биномиального распределения было проверено в разделе 2.3. Случайную величину X, имеющую это распределение, можно трактовать как число успехов в п испытаниях Бернулли с вероятностью успеха в каждом испытании р, а неудачи q.
Геометрическое распределение определяется выражением
Р{Х = i} = p-qw, z = l,2(3.4)
где р и q — параметры распределения, причем 0 < р, q < V, р + q = V
Это распределение уже рассматривалось в разделе 2.3 — оно является распределением числа испытаний в схеме Бернулли, необходимых для получения первого успеха.
Гипергеометрическое распределение'.
С* С"1
Р{Х = г}= ——^-, max{0, г + пх -и} < i < min(nlt г),(3.5)
где п, пх и г — параметры распределения, являющиеся неотрицательными целыми числами, причем nv<n, г <п, max{0, г + пх - и} < z < min(r, и,}.
Как было показано «-примере 2.1, оно является распределением числа шаров определенного цвета X в выборке объема г из совокупности п шаров, среди которых пх шаров данного цвета.
Распределение Пуассона:
P{X = i} = — e'\ z = 0, 1, 2, ... ,(3.6)
г!
где X > 0 — параметр распределения.
Согласно определению экспоненциальной функции
(3.7)
так что условие нормировки для распределения Пуассона выполняется: ZPIX-il-t^-1 =е-^ = е-‘е‘ ,1.(3.8)
i=0/=0 I 'i=0 I 1
Наряду с заданием распределения дискретной случайной величины системой равенств (3.2) для этой цели можно также использовать функцию распределения. Определение 4. Функцией распределения случайной величины X называется функция Г(х) вещественной переменной х, равная в точке х вероятности того, что случайная величина X не превзойдет значения х:
Г(х) = Р{ X < х}, -оо < х < оо.(3.9)
Итак, значение функции распределения в точке х равно вероятности события {X < х}. Отметим, что определение 4 справедливо как для дискретных, так и для непрерывных случайных величин, которые будут рассматриваться далее. Однако вычисление функций распределения будет осуществляться по-разному.
Для дискретной случайной величины распределение вероятностей (3.2) устанавливает вероятность принятия случайной величиной конкретного значения, то
есть вероятность для точки числовой оси. В связи с этим часто говорят о дифф<* ренциалъном законе распределения случайной величины. Функция распределения устанавливает вероятность принятия значений из интервала, в связи с чем о ней часто говорят как об интегральном законе распределения. ,
Для дискретной случайной величины X, принимающей возможные значения х^ с вероятностями рь значение функции распределения в точке х вычисляется по формуле
F(x)= ^P{X=xt}=^Pi. (3.10)
Можно также использовать рекуррентные вычисления: F(xq) = 0,
Р^ = Р^*рь 1 = 1,2,... (3.11)
График функции распределения представляет собой ступенчатообразную линию, имеющую вертикальные скачки величины р, в точках возможных значений х^ (см. рис. 3.2 и табл. 3.1).
FW
01234567891011 хРис. 3.2. График функции распределения01234567891011 хРис. 3.2. График функции распределения
01234567891011 х
Рис. 3.2. График функции распределения
01234567891011 х
Рис. 3.2. График функции распределения
Для биномиального и геометрического распределений функции распределения были уже получены в формулах (2.10) и (2.12):
(3.13)(3.13)F(i) = 1 - д' , z = 1, 2,...
(3.13)
(3.13)
Сформулируем основные свойства функции распределения, вытекающие из ее определения:
Функция распределения является неубываюгцей функцией своего аргументе:
-F^x^^F^x") прих^х'.
Значения функции распределения заключены в замкнутом интервале [0, 1], причем Цх) -> 0 при х -> -оо, F(x) -> 1 при х -> оо.
Функция распределения непрерывна справа, то есть ее значения в точках разрыва (скачках) равны значениям функции немного правей точек разрыва:
F(x) = lim F(x + е).
t-»0. siO
Отметим, что непрерывность справа вытекает из определения функции распределения: ее значение в точке х включает вероятность принятия этого значения х. Функцию распределения удобно использовать для вычисления вероятностей попадания случайной величины в те или иные интервалы. Действительно, поскольку для а < b выполняется равенство {X < 6} = {X < а} + {а < X < 6} и события правой части равенства несовместны, то
Р{Х < 6} = Р{Х < а} + Р{а <Х < Ь}
и, переходя к функциям распределения, окончательно получаем
Р^а<Х <b} = F(b)-F(a), a<b.(3.14)
При использовании этой формулы необходимо проявлять осторожность в точках разрыва функции распределения. Например, если возможными значениями случайной величины являются только целые числа и а и b являются такими числами, то
Р^а<Х <b} = F(b-l)-F(a),
Р^а<Х <b}=F(b-l)-F(a-l), Р{а<Х <b} = F(b)-F(a-l).
Примеры
Пример 3.1. Пусть X — случайная величина, распределение которой приведено в табл. 3.1. Вычислим вероятности попадания этой случайной величины в некоторые интервалы:
Р{6 < X < 10} = Р(10)-Р(6) = 0.90-0.70 = 0.20,
Р{6 < X < 10} = F(9)-F(6) = 0.85 -0.70 = 0.15,
Р{6 < X < 10} = F(9) - F(5) = 0.85 -0.50 = 0.35,
P{6 < X < 10} = F(10) - F(5) = 0.90 - 0.50 = 0.40.'
Пример 3.2. Расход изделий некоторого типа за рассматриваемый период имеет распределение Пуассона с параметром X = 9. Первоначальный запас составляет с = 10 изделий. Какова вероятность того, что этот запас будет достаточным? Каким должен быть первоначальный запас, чтобы он был достаточным с вероятностью р = 0.95?
Решение
В табл. 3.2 приведены значения функции распределения Пуассона (3.12) для X = 9.
Таблица 3.2. Функция распределение Пуассона Р(х) = У — е'* с параметром X >9
X
0
1
2
3
4
5
6
7
8
9
10
FW
0
0
0
0.251
0.055
0.116
0.207
0.324
0.456
0.587
0.706
X
и
12
13
14
15
16
17
18
19
20
FW
0.803
0.876
0.926
0.959
0.978
0.989
0.995
0.998
0.999
1
Из таблицы видно, что Р(Ю) = 0.706, то есть десять изделий будет достаточно с вероятностью 0.706. Минимальное значение х, при котором F(х) > 0.95, составляет 14, поскольку Р(13) = 0.926, F(14) = 0.959. Итак, 14 изделий будет достаточно с вероятностью 0.959.
Пример 3.3. Задача о дефиците. Продолжим рассмотрение задачи 2.7. Предположим, что число -расходуемых авиадвигателей является случайным и имеет распределение Пуассона с параметром X. Какова в этом случае вероятность отсутствия дефицита?
Решение
В примере 2.7 была получена вероятность отсутствия дефицита Я(с), как функция первоначального запаса с, запланированного числа поступлений авиадвигателей а и числа расходуемых авиадвигателей b (см. формулу (2.19)). В данном примере b является случайной величиной. Если b < с, то дефицит возникнуть не может и R(,c) = 1. Если b > с + а, то дефицит обязательно имеет место и R^c') "(X Если значение b больше с, но не превосходит с + а, то вероятность Р(с) вычисляется согласно выражению (2.19).
Пусть А есть событие «отсутствие дефицита», а Нь — гипотеза «расход составил b авиадвигателей». Тогда, согласно формуле полной вероятности (1.23)
Р{Л}=£р{Я6}РМ/Н6}-
В этой формуле вероятность Р^Н^ расходования b авиадвигателей вычисляется по формуле Пуассона (3.6), а условная вероятность Р^А/Н^ отсутствия дефицита при условии, что расход составил Ь, есть ранее рассмотренная вероятность R^c). Следовательно, безусловная вероятность отсутствия дефицита
РИ} =+ % ч e-xR(c) = ^e-^ +
м t I ,=с+1 1 !z I
i^iz! х (а + с + 1)!(г-с-1)!
= ^1н- У X-е-\
м^(a + c + l)!(z-c-l)l
В табл. 3.3 приведены вероятности отсутствия дефицита РА для X = 2а при разных значениях вис, вычисленные функцией Р{Л}(а, X, с) (рис. 3.4). Интересно их сравнить с соответствующими вероятностями из табл. 2.5, когда расход постоянен и равен 2а.
Таблица 3.3. Вероятность отсутствия дефицита при случайном расходовании авиадвигателей
с = 0
с = 1
с = 2
с = 3
с = 4
с = 5
с = 6
с = 7
с = 8
с = 9
а = 0
1
1
1
1
1
1
1
1
1
1
а = 1
0.271
0.586
0.812
0.929
0.977
0.994
0.998
1
1
1
а = 2
0.116
0.311
0.531
0.720
0.852
0.930
0.970
0.989
0.996
0.999
а = 3
0.058
0.174
0.334
0.511
0.672
0.799
0.887
0.942
0.972
0.988
а = 4
0.032
0.101
0.210
0.350
0.501
0.643
0.762
0.852
0.914
0.953
а = 5
0.018
0.060
0.133
0.236
0.361
0.495
0.623
0.735
0.824
0.890
Пример 3.4. Метод Монте-Карло. Этот метод заключается в имитации рассматриваемых случайных величин и процессов. Метод базируется на выработке случайных величин с заданным распределением. Выработка осуществляется так называемыми «генераторами или датчиками случайных чисел», которые реализуют определенные численные алгоритмы. Фактически получаются не случайные, а «псевдослучайные» величины, поскольку при запуске датчиков при одних и тех же начальных условиях будут вырабатываться одни и те же последовательности чисел. Однако основные статистические свойства сохраняются: заданное распределение вероятностей и независимость.
Покажем, как вырабатываются дискретные случайные величины с заданной функцией распределения F(xy Исходными являются случайные величины R, имеющие равномерное распределение в интервале (0, 1). Такие величины являются непрерывными и будут рассматриваться в следующем разделе. Сейчас же можно рассматривать их задание с помощью использования геометрических вероятностей: вероятность попадания случайной величины R в интервал (а, Ь), принадлежащий интервалу (0, 1), равна длине интервала b - а:
P{Re (a,b)} = b -a, Q<a<b<V
Итак, пусть R — равномерно распределенное в интервале (0, 1) число, выработанное датчиком. Отложим его значение на оси ординат графика функции распределения F(jx) дискретной случайной величины X (см. рис. 3.3). Проведем из этой точки на оси ординат горизонтальную прямую до пересечения с графиком и опустим из точки пересечения вертикаль на ось абсцисс. Полученная точка на оси абсцисс и даст нужную реализацию дискретной случайной величины X.
Покажем, что случайная величина X действительно имеет заданную функцию распределения F(x). Для этого достаточно показать, что случайная величина X принимает возможное значение х,с вероятностью р, = F^x^ - F^Xj^y Но это следует из равномерности распределения случайной величины R;
Р{Х = хА = P^R е ^хи yF^ )]} = F(xi )-F(x,_> У
где (о, 6] означает интервал, открытый слева (левая граница которого а нс входит в интервал) и замкнутый справа (правая граница b входит в интервал).
1 -1 -RRООРис. 3.3. Генерация дискретной случайной величиныРис. 3.3. Генерация дискретной случайной величиныX
1 -
1 -
R
R
О
О
Рис. 3.3. Генерация дискретной случайной величины
Рис. 3.3. Генерация дискретной случайной величины
Проведем небольшой имитационный эксперимент. Согласно описанной методике выработаем п случайных величин, имеющих представленное в табл. 3.1 и на рис. 3.2 распределение. Зафиксируем число случаев пь когда наблюдалось значение хь и подсчитаем соответствующую частоту п^п. В табл. 3.4 показано, как с ростом числа экспериментов п эти частоты стремятся к истинным вероятностям р^ представленным в табл. 3.1. В табл. 3.4 вероятности р, записаны в строке для и = ОО.
Таблица 3.4. Сходимость частот к вероятностям
Число экспериментов, п
Частота п,/п
х, = 1
хг = 3
х3 = 5
х4 = 6
х5 = 7
х6 = 9
х7 = 10
х,- 11
10
0
0.100
0.200
0.200
0.100
0.200
0
0.200
20
0
0.300
0.200
0.200
0.100
0.150
0
0.050
40
0.100
0.175
0.200
0.325
0.025
0.100
0.050
0.025
80
0.088
0.200
0.188
0.250
0.113
0.050
0.063
0.050
200
0.125
0.110
0.220
0.235
0.130
0.035
0.065
0.080
500
0.091
0.150
0.255
0.196
0.108
0.045
0.048
0.107
1000
0.106
0.149
0.267
0.191
0.081
0.053
0.055
0.098
00
0.10
0.15
0.25
0.20
0.10
0.05
0.05
0.10
Математическое ожидание дискретных случайных величин
Распределение вероятностей дает полную информацию о случайной величине. Иногда достаточной является более компактная информация, содержащая основные сведения о случайной величине. Таковыми, в частности, являются числовые характеристики случайной величины: математическое ожидание, моменты, дисперсия и др.
Определение 5. Математическое ожидание (среднее значение) конечнозначной случайной величины X обозначается ц или Е(Х) и определяется формулой
р =£{X}=X^(“)W(3.15)
шей
Если в правой части выписанного равенства привести подобные члены, или если непосредственно исходить из задания случайной величины распределением вероятностей (3.2), то эквивалентным будет такое определение математического ожидания:
ц =Е^ =fJxiP{X = xi} ^х^^(3.16)
Для дискретной случайной величины со счетным множеством значений требуется дополнительное условие существования математического ожидания — абсолютная сходимость суммы:
$№,}|Р{о);} = 2>ар, <«).(3.17)
1=11=1
Если абсолютной сходимости нет, то говорят, что математического ожидания не существует. Отметим, что если все возможные значения счетнозначной случайной величины имеют один знак, то проверка сводится к установлению конечности суммы, то есть конечности математического ожидания. Абсолютная сходимость нужна, чтобы произвольно переставлять и группировать слагаемые бесконечных сумм.
В табл. 3.5 приведены выражения для математических ожидания основных распределений дискретных случайных величин.
Таблица 3.5. Числовые характеристики основных распределений дискретных случайных величин
Наименование распределения
Параметры
Математическое ожидание, ц=Е(Х)
Дисперсия, а2 = D(X)
Сред. кв. отклонение, а
Биномиальное
n,p,q
пр
npq
4^q
Геометрическое
p.q
j, Р
q Р2
-Jq р
Пуассона
X
X
X
■Л
Гипергеометрическое
п, np г
Г ”1- п
г Л Ап-щ
"i 14
nV nJ и - 1
1 /п - п.
^^(п Т) .
nNи -1
Ниже приведены примеры вывода формул для математических ожиданий случайных величин, имеющих геометрическое распределение и распределение Пуассона. Аналогичные формулы для биномиального и гипергеометрического рас-
пределений проще получить с помощью индикаторных функций, так что этот вывод будет отложен до пятой главы.
Примеры
Пример 3.5. Распределение Пуассона. Согласно формулам (3.6) и (3.16)
pd=EVX\d^x№=xi = ^i~eОО *~1 = Х У—еШ1-ЛУpd=EVX\d^x№=xi = ^i~eОО *~1 = Х У—еШ1-ЛУX .= УвX .= Ув= > г— ем Н= > г— ем Н= X-1 = X,= X-1 = X,
pd=EVX\d^x№=xi = ^i~e
ОО *~1 = Х У—е
Ш1-ЛУ
pd=EVX\d^x№=xi = ^i~e
ОО *~1 = Х У—е
Ш1-ЛУ
X .
= Ув
X .
= Ув
= > г— ем Н
= > г— ем Н
= X-1 = X,
= X-1 = X,
где использовалось условие нормировки (3.8) для распределения Пуассона.
Пример 3.6. Геометрическое распределение. В данном случае нужный результат проще получить не прямым применением формулы (3.16), а путем составления уравнения относительно неизвестного математического ожидания ц:
н=£^Р; =£wi-1 ^(G-O+iW =£(j-OwM *lLpqiA =i»lf=li=l/=1i=i
= ^(i - V)pqM + 1 = q^i - V^pq1"1 + 1 = q^ jpq^ +1 = ^ + 1,i=21=2;=1
где использовалось условие нормировки £ pq'-x = 1 для геометрического распределения.
Итак, имеем следующее уравнение относительно неизвестного математического ожидания ц:
ц = W + 1.
Отсюда находим, что ц = 1/( 1 - q) = 1/р.□
Функции дискретных случайных величин
Определение 6. Пусть у(х) — вещественнозначная функция вещественного аргумента х, а X — дискретная случайная величина с распределением (3.2). Новая случайная величина Y = у (Д') называется функцией случайной величины X. Она может рассматриваться как дискретная случайная величина Y = \|/(Х(со)), непосредственно заданная на исходном пространстве элементарных событий О с помощью функции ^(JC^)).
Основная задача заключается в нахождении распределения случайной величины Y на основе распределения вероятностей случайной величины X. Ясно, что если величина X дискретна (в частности, конечнозначна), то и У дискретна (конечно- значна). Далее, если Vx есть множество возможных значений X, то множеством У, возможных значений Y является образ Vx при отображении у:
V, = {у/3х, eVv, у5 =\|/(х,)}.
Событие (У = yv} является составным: оно состоит из тех событий {X = х^, для которых значение х, отображается функцией у в г/,-. Поэтому на основании определения вероятности составного события (2.2)
Рф=у^ = УЛХ = х^ = YPi.j=Y^-.(3.18)
i:vU',) = 9 j1:4><x,) = yj
Зная распределение вероятностей (3.18) случайной величины У, можно вычислить ее математическое ожидание по формуле (3.16). Это математическое ожидание может быть вычислено также по формуле (3.15), если рассматривать У = у(Х)как новую случайную величину У = \|/(Х(го)), заданную непосредственно на исходном пространстве элементарных событий Q:
f{vW} = SvW“)№}-(319)
Для случайной величины со счетным множеством возможных значений для существования математического ожидания требуется выполнение условия абсолютной сходимости1.
2 I v№,l)i pW = Ё IvCQlP. <°°-(3.20)
i=i1-1
При вычислении математического ожидания случайной величины У по формуле (3.16) необходимо знать распределение вероятностей У, а по формуле (3.19) — вероятности элементарных событий го е Q. Следующая полезная теорема позволяет вычислять математическое ожидание функции случайной величины непосредственно на основании распределения вероятностей этой случайной величины.
Теорема 3.1. Пусть дискретная случайная величина X принимает значение х, с вероятностями рь Если математическое ожидание случайной величины У=у (X) существует, то оно может быть вычислено по формуле
EW = f V(x, № = хД = ^(Xj )Pi.(3.21)
i=ii=i
Доказательство
Идея перехода от формулы (3.19) к формуле (3.21) может быть объяснена так. Предположим, вам необходимо пересчитать горсть монет разного достоинства. Один способ — пересчитать монеты одну за другой, с учетом их достоинства, последовательно прибавляя к прежней сумме новое значение. Это соответствует формуле (3.19). Другой способ пересчета — когда вы предварительно группируете монеты по достоинству и затем нужную сумму получаете умножением числа монет каждого достоинства на их номинал. Математически эти соображения оформляются так:
£№» = £>(Х(го»Р{го} = J Lv(W{«>} =
шбПt=l <о:Х(<о)=.Г|
= Zv(^i) £Лю} = ]£у(г,)^{Х=^,} = ]£\и(^)^^□
/•Iur.XW-xtfl/-1
Важнейшими являются линейная и показательная функции. Рассмотрение показательной функции \|/(х) = xr, r = 1, 2,... приводит к понятию момента случайной величины.
Определение 7. Момент r-го порядка, г = 1, 2определяется формулами
№П(3.22)
р^Е{Хг}=£<Р,-
i=i
Для счетнозначной случайной величины для существования момента r-го порядка требуется абсолютная сходимость суммы, то есть чтобы
2 |хг{а>,.}|Р{а>,} = £ kflp, <°°- 1=11=1
Момент первого порядка р, — это математическое ожиданиер (индекс 1 принято не писать). Из других моментов наибольшее значение имеет момент второго порядка р 2. С помощью его определяется дисперсия случайной величины.
Определение 8. Дисперсия случайной величины X определяется по формуле
Е(Х)^Е((Х-р)2) = р2 -р2.(3.23)
Для дискретной случайной величины X с распределением вероятностей (3.2) дисперсия может быть подчитана также по формуле
D<X) = t,^i-^Pi.(3.24)
Действительно, кккк
-ц)2л =+ н2)л = ЦзаР1+
Z=1Z=1Z=11=1
к
+ P2SPi =Р2 -2р-р+р2 =р2 -р = D(X\
Положительное значение корня квадратного из дисперсии а = yjD(X) называется средним квадратическим отклонением случайной величины.
В то время как математическое ожидание представляет собой среднее значение случайной величины, дисперсия представляет меру разброса случайной величины относительно математического ожидания. Размерность дисперсии случайной величины равна квадрату размерности этой величины, в то время как размерности математического ожидания и среднего квадратического отклонения совпадают с ней.
Рассмотрение линейной функции у(х) = а + Ьх позволяет установить важные свойства математического ожидания и дисперсии.
Теорема 3.2 (Свойства математического ожидания и дисперсии). Если а и Ь — константы, то
Е(а + ЬХ) = а + ЬЕ(Ху D(a + ЬХ) = b2D(X),(3.25)
В частности: математическое ожидание постоянной величины равно самой постоянной, а постоянный сомножитель можно вынести за символ математического ожидания:
Е(а) = а, Е(ЬХ) = ЬЕ(Ху(3.26)
дисперсия постоянной величины равна нулю, а постоянный сомножитель выносится за символ дисперсии в квадрате:
1\а) = О, 1\ЬХ) = Ь2о<ху(3.27)
Доказательство. Применим формулу (3.21) для функции \|/(х) = а + Ьх:
Е^а+ ЬХ) = ^(а + bx,)p, = a^Pj + Ь^х(р, = а + ЬЕ(Х).1-1i-ii-i.
Для вычисления дисперсии используем формулу (3.23), заменяя в ней X на а + ЬХ, а р — на Е^а+ ЬХУ
D(a + ЬХ) = Е^а+ЬХ-Е^а + ЬХ))2) = Е({а + ЬХ-а-Ьр)2) =
= EQ№-p))2) = Ь2ЕЦХ -p)2 ) = b2D<X).
Отметим, что при выводе мы использовали перестановку членов суммы, которая допустима в случае абсолютной сходимости.□
Компьютерный практикум № 5.
Распределения дискретных случайных величин
в пакете Mathcad
Цель и задачи практикума
Целью практикума является приобретение практических навыков по работе с дискретными случайными величинами в пакете Mathcad.
В настоящем практикуме требуется'.
рассчитать значения функции распределения для распределения Пуассона с заданным параметром А;
определить вероятности отсутствия дефицита для разных значений первоначального уровня запаса с и количества планируемых поступлений а (см. задачу о дефиците из примера 3.3);
для конечнозначной случайной величины с заданным распределением вероятностей определить: функцию распределения, математическое ожидание, второй начальный момент и дисперсию, выработать 200 случайных чисел и подсчитать частоты различных значений;
вычислить распределения вероятностей для функции дискретной случайной величины \|/(Х), где X — дискретная случайная величина с заданным распределением вероятностей.
Необходимый справочный материал
Среди встроенных функций пакета Mathcad имеются функции, соответствующие основным распределениям дискретных случайных величин. При этом можно пользоваться как распределением вероятностей (3.2), так и функцией распределения (3.9). В первом случае название функции начинается с буквы d, а ВО втором — ср. При обращении к функции задаются параметры распределения и значения аргументов. Возвращаемое значение функции — это или вероятность принятия случайной величиной этого значения или вероятность того, что случайная величина не превысит его. Рассмотренным выше дискретным распределениям соответствуют следующие функции:
dbinom^i, п, р) и pbinom(j, п, р) — значения биномиального распределения (3.3) и (3.12) с параметрами п и р в точке i;
dgeom(i, р) и pgeom(i, р) — значения геометрического распределения (3.4) и (3.13) с параметром р в точке г;
ppois(i, X) и dpois(i, X) — значения распределения Пуассона (3.6) с параметром X в точке i.■
Ряд функций Mathcad предназначен для выработки случайных величин с заданными законами распределения. Наименование этих функций начинается с буквы г. При обращении к соответствующей функции указываются число вырабатываемых случайных величин т и параметры распределения. Функция возвращает вектор-столбец, содержащий заданное число выработанных случайных величин. Следующие функции соответствуют вышерассмотренным распределениям: rbinom^m, п, р) — биномиальному, rgeom(m, р) — геометрическому, rpois(m, X) — Пуассона.
Если необходимо получить случайные величины, распределения которых отсутствуют в списке, предлагаемом Mathcad, необходимо реализовать методику, изложенную в примере 33. При этом для выработки равномерно распределенных в интервале (0,1) случайных величин R используется функция rnd^a), дающая случайную величину, равномерно распределенную в интервале (0, а).
Реализация задания
Для проведения вычислений определим девять функций пользователя. Программные модули, реализующие эти функции, представлены на рис. 3.4 и 3.5. Функции имеют следующее назначение.
FPois(k, а, Ь) для распределения Пуассона с параметром X вычисляет значения функции распределения в интервале от а до Ь.
pr(Dist, г) по формуле (3.22) вычисляет r-й момент для распределения Dist. Последнее задается матрицей из двух столбцов: в первом содержатся возможные значения {х,} случайной величины, а во втором — соответствующие вероятности <РЛ
РЛ(Х, а, с) по формуле из примера 3.3 вычисляет вероятность отсутствия дефицита авиадвигателей, если расход их имеет распределение Пуассона с параметром X.
Следующие две функции связаны с выработкой п случайных величин, имеющих заданную функцию распределения F. При этом реализуется процедура, описан-
88______?.3. Распределение F задается двумя столбцами аналогично выше- данию распределения Dist.
ная в ирг^мерфабатывает и случайных величин, имеющих распределение F. описанному ВЫраб0ТКИ СЛуЧайных величин (как и в функции RandV) подсчи- RandV(F> н) j принятия различных возможных значений для распределения F.
функция ции ч>(Х)функция ции ч>(Х)Fr(F, н) кро1ПрИведенных функций позволяют находить распределение функ- тывает част(айной величины X. В качестве примера рассматривается функция Последние использовавшаяся ранее в практикуме № 1 функция Arise(i, А) опции v(X) с.адлежит (значение 1), или нет (значение 0) число i вектору-столб- = х2- ^ncRi, А) включает число i в вектор-столбец А. Функция Dom^Dist) т п:тор-столбец возможных значений функции \|/, если аргументом ее РеДд фуп^йная величина X с распределением вероятностей Dist. Обратите минует использование здесь рекурсии при формировании вектора А. Ф 1 я (Dist) вычисляет искомое распределение вероятностей для функ- имание1 распределение задается аналогично распределению Dist.
функция ции ч>(Х)
функция ции ч>(Х)
г-й момент для распределения Dietг-й момент для распределения DietПрактикум Ne 5. Дискретные случайные величиныПользовательские Функции
г-й момент для распределения Diet
г-й момент для распределения Diet
юнил функции распределения для ределения Пуассона в интервале от а до b
FPois(K ,a,b) -FPois(K ,a,b) -while I < bwhile I < bil-a.l«- PPois(I.K) l|-8,««-l If- it 1il-a.l«- PPois(I.K) l|-8,««-l If- it 1дг(01еМ) :-дг(01еМ) :-kt- rows(Dist) -1 s^o , ■■for j e 1 kS<- S+ (Dtetj^/ Dlstj i Skt- rows(Dist) -1 s^o , ■■for j e 1 kS<- S+ (Dtetj^/ Dlstj i S
FPois(K ,a,b) -
FPois(K ,a,b) -
while I < b
while I < b
il-a.l«- PPois(I.K) l|-8,««-l If- it 1
il-a.l«- PPois(I.K) l|-8,««-l If- it 1
дг(01еМ) :-
дг(01еМ) :-
kt- rows(Dist) -1 s^o , ■■
for j e 1 k
S<- S+ (Dtetj^/ Dlstj i S
kt- rows(Dist) -1 s^o , ■■
for j e 1 k
S<- S+ (Dtetj^/ Dlstj i S
- If aS 0.0.- If aS 0.0.sI - c+1sI - c+1ерацил п случайных величин, нощих распределение Fерацил п случайных величин, нощих распределение F
- If aS 0.0.
- If aS 0.0.
s
I - c+1
s
I - c+1
ерацил п случайных величин, нощих распределение F
ерацил п случайных величин, нощих распределение F
>оятность отсутствия дефицита авиадвигателей
РД(аА,с) - £
I -1
RandV(F.n) .-RandV(F.n) .-for I« 1.. nR«- rnd(l)for I« 1.. nR«- rnd(l)Fr(F.n),.Fr(F.n),.k«- rows(F) - 1 for j е 1.. кk«- rows(F) - 1 for j е 1.. кwhile f ■ 1If R$FL1while f ■ 1If R$FL1товерха наступления события AArise (i, A).- f <- 0товерха наступления события AArise (i, A).- f <- 0for j е 0 rows(A) - 1 f«~ f + if(l ■ Aj,l ,0) g«-if(f> 0,1,0) flfor j е 0 rows(A) - 1 f«~ f + if(l ■ Aj,l ,0) g«-if(f> 0,1,0) flfor I e 1 . nR<- rnd(l)for I e 1 . nR<- rnd(l)while f ■ 1If RSFjjwhile f ■ 1If RSFjjfor j e 1.. kfor j e 1.. kSj.lt- Sj.l n SSj.lt- Sj.l n S.4. Программные модули, реализующие пользовательские функции.4. Программные модули, реализующие пользовательские функцииГенерация л случайных величин, имеющих распределение F, и расчет чатот их появления
RandV(F.n) .-
RandV(F.n) .-
for I« 1.. nR«- rnd(l)
for I« 1.. nR«- rnd(l)
Fr(F.n),.
Fr(F.n),.
k«- rows(F) - 1 for j е 1.. к
k«- rows(F) - 1 for j е 1.. к
while f ■ 1
If R$FL1
while f ■ 1
If R$FL1
товерха наступления события A
Arise (i, A).- f <- 0
товерха наступления события A
Arise (i, A).- f <- 0
for j е 0 rows(A) - 1 f«~ f + if(l ■ Aj,l ,0) g«-if(f> 0,1,0) fl
for j е 0 rows(A) - 1 f«~ f + if(l ■ Aj,l ,0) g«-if(f> 0,1,0) fl
for I e 1 . nR<- rnd(l)
for I e 1 . nR<- rnd(l)
while f ■ 1
If RSFjj
while f ■ 1
If RSFjj
for j e 1.. k
for j e 1.. k
Sj.lt- Sj.l n S
Sj.lt- Sj.l n S
.4. Программные модули, реализующие пользовательские функции
.4. Программные модули, реализующие пользовательские функции
Включение I в вектор АВключение I в вектор АЗаданная функции ^(х)Заданная функции ^(х)Incl(I.A):.Incl(I.A):.В t-A If Arbe(I.A) olherwbe kt- rowe(A) for JeO . k-1В t-A If Arbe(I.A) olherwbe kt- rowe(A) for JeO . k-1*(*):- *". Формирование вектора значений функции * (х)*(*):- *". Формирование вектора значений функции * (х)Dom(Dlst) ;•Dom(Dlst) ;•ВВm t- rowe(Dbt)for J < 1 . m - 1At- |ncl(^ (D|s4j ^ ,A)Am t- rowe(Dbt)for J < 1 . m - 1At- |ncl(^ (D|s4j ^ ,A)A
Включение I в вектор А
Включение I в вектор А
Заданная функции ^(х)
Заданная функции ^(х)
Incl(I.A):.
Incl(I.A):.
В t-A If Arbe(I.A) olherwbe kt- rowe(A) for JeO . k-1
В t-A If Arbe(I.A) olherwbe kt- rowe(A) for JeO . k-1
*(*):- *"
. Формирование вектора значений функции * (х)
*(*):- *"
. Формирование вектора значений функции * (х)
Dom(Dlst) ;•
Dom(Dlst) ;•
В
В
m t- rowe(Dbt)
for J < 1 . m - 1
At- |ncl(^ (D|s4j ^ ,A)
A
m t- rowe(Dbt)
for J < 1 . m - 1
At- |ncl(^ (D|s4j ^ ,A)
A
YD(Dls) :-YD(Dls) :-Распределение вероятностей для функции f (X)
YD(Dls) :-
YD(Dls) :-
m t- rows(Dls)
k *- rows(Dom(Dle)) for 1« 0 . k - 1
|A,I ♦" Dom(Db)|
for Ie О . k- 1
for JeO . m - 1
Aj, i *- Aj, i + lf(y (Disj j) ■ Dom(Db)| .Dbj, 1,0) A
Рис. 3.5. Программные модули, реализующие пользовательские функции (продолжение)
Вероятности отсутствия дефицитаВероятности отсутствия дефицита
Вероятности отсутствия дефицита
Вероятности отсутствия дефицита
МА:-МА:-for аеО. 5for с е 0. 9МАд с *- РА(а,2 а,с)МАfor аеО. 5for с е 0. 9МАд с *- РА(а,2 а,с)МАМАМАФункция распределения FФункция распределения FРаспределение вероятностей DietРаспределение вероятностей Diet
МА:-
МА:-
for аеО. 5
for с е 0. 9
МАд с *- РА(а,2 а,с)
МА
for аеО. 5
for с е 0. 9
МАд с *- РА(а,2 а,с)
МА
МА
МА
Функция распределения F
Функция распределения F
Распределение вероятностей Diet
Распределение вероятностей Diet
ОО3535Dbt:-^0 0.1 0.15 025 02 0.1 0X15Dbt:-^0 0.1 0.15 025 02 0.1 0X1510 1110 11045 0.1045 0.10 1 3 5 6 7 9 10 11 .0 0.1 025 05 0.7 ОД 045 OS 10 1 3 5 6 7 9 10 11 .0 0.1 025 05 0.7 ОД 045 OS 1
О
О
35
35
Dbt:-
^0 0.1 0.15 025 02 0.1 0X15
Dbt:-
^0 0.1 0.15 025 02 0.1 0X15
10 11
10 11
045 0.1
045 0.1
0 1 3 5 6 7 9 10 11 .0 0.1 025 05 0.7 ОД 045 OS 1
0 1 3 5 6 7 9 10 11 .0 0.1 025 05 0.7 ОД 045 OS 1
Генерация 200 случайных чисел, имеющих функцию распределения F, и частоты их появления
т /0 135 б 791011 Л
Fr(F,200) - ^0 049 0.195 0.195 025 0.1 048 0445 0455)
Математическое ожидание, второй начальный момент и дисперсия для распределения Ohl
Mr(DIK.l)-5.75дг(С1М,2) ■ 4055 ОХ --дг(ОЫ.З)-дг(В1и,1)2 DX - ТЛИ
Расчет распределения вероятностей функции у(Х)
Распределение вероятностей случайнойDl«t2 f"31 ° 1 ^® У
величины X;," (од 045 02 02 02 04 045)
Значения функции у(х):Dom(Dbt2)T ■ (9 4 1 0)
Т f 9410 >
Распределение вероятностей функциим(Х):VDfOletZ) •
^0.1 0.15 05 025 у
Рио. 3.6. Результаты решения задач
Результаты вычислений
Результаты расчетов представлены на рис. 3.6. Вначале вычисляются значения функции распределения для распределения Пуассона с параметром X = 9 для возможных значений случайной величины от 8 до 20. Аналогичные результаты приведены также в табл. 3.2.
Матрица МА содержит вероятности отсутствия дефицита (см. пример 33) для разных значений первоначального уровня запаса с и количества планируемых поступлений а. Они рассчитываются с помощью функции РА. Перебор рассматриваемых значений с и а осуществляется с помощью вложенных операторов цикла for.
Далее определяются распределение вероятностей Dist и функция распределения F, соответствующие табл. 3.1. С помощью функции Fr(F, 200) выработаны 200 случайных чисел, имеющих функцию распределения F, и подсчитаны частоты различных значений. Значения частот для других количеств вырабатываемых случайных величин были приведены выше в табл. 3.4.
Математическое ожидание и второй начальный момент для распределения Dist вычисляются с использованием функций pr^Dist, 1) и pr^Dist, 2), данные характеристики используются для вычисления соответствующей дисперсии DX.
В заключение приводятся результаты вычисления распределения вероятностей для функции \|/(Х) = X2, где X имеет распределение вероятностей Dist2. Вначале с использованием функции Dom(Dist2) определяется множество возможных значений, а затем по функции YD(Dist2) — само распределение.
Задания для самостоятельной работы
Проведите имитационной эксперимент, наподобие рассмотренного в примере 3.4, для биномиального распределения с параметрами п = 9 и р = 0.6.
Вычислите математическое ожидание функции у(Х) для распределения вероятностей Dist2 случайной величины X двумя способами: путем использования формулы (3.16) и распределения вероятностей YD(Dist2) этой функции; путем использования формулы (3.21) и распределения вероятностей Dist2 случайной величины X.
Проверьте экспериментально на распределениях вероятностей Dist и Dist2 правильность формул (3.25) и (3.26).
Задачи
Задача 3.1. Двое игроков бросают симметричную игральную кость. При выпадении нечетного числа очков выигрывает первый игрок, а четного числа — второй. Найти распределение вероятностей, математическое ожидание и дисперсию выигрыша первого игрока, если ставка игры 1 рубль.
Задача 3.2. В лотерее 100 билетов, из которых выигрышных 30. Стоимость одного билета 30 рублей, выигрыш по одному билету составляет 1000 рублей. Найти математическое ожидание и дисперсию денежного эффекта от участия в лотерее. Задача 3.3. В условиях примера 3.2 предположите, что каждое изделие, приобретаемое для первоначального запаса, обходится в 200 руб., а дефицит каждого из-
делия приводит к убытку 400 руб. Каким должен быть первоначальный запас с, при котором математическое ожидание суммарного убытка минимально?
Задача 3.4. Обобщите задачу о дефиците (см. пример 3.3) для случая, когда число поступающих авиадвигателей а является случайной величиной, имеющей распределение Пуассона с параметром и.
4 Непрерывные случайные величины
Распределения непрерывных случайных величин
Рассматривавшиеся в предыдущей главе дискретные случайные величины характеризовались тем, что их отдельные возможные значения можно было перечислить и выписать в ряд хь х2, ... Это, грубо говоря, означает, что возможные значения «отделимы» друг от друга, то есть любые два из них находятся на некотором расстоянии друг от друга. В противоположность этому существуют случайные величины, возможные значения которых занимают «сплошь» некоторый интервал. Такие случайные величины называются непрерывными. При задании распределения этих величин возникает трудность, заключающаяся в том, что вероятность принятия непрерывной случайной величиной наперед заданного значения равна нулю. Тем не менее вероятность принятия этой величиной значения из заданного интервала (даже как угодно малого, только не нулевой длины) будет положительной.
Здесь уместно провести аналогию с двумя видами нагрузок в механике — сосредоточенной и распределенной нагрузками. Представим себе балку (опору), на которую воздействует нагрузка. В случае сосредоточенной нагрузки масса (вес) приложена в некоторых точках хь х2, ... , причем величина массы в этих точках составляет рь ръ ... Это соответствует дискретной случайной величине (рис. 4.1, аУ В случае распределенной нагрузки на балку насыпано некоторое сыпучее вещество, например, песок. Пусть в двумерном изображении на плоскости (см. рис. 4.1, б) балке соответствует ось абсцисс Ох, а верхняя граница песка описывается некоторой кривой Дху Пусть удельная масса песка (приходящаяся на единицу площади) равна единице. Ясно, что на точку х воздействует нулевая масса (поскольку площадь над ней равна нулю). На часть балки, соответствующей ненулевому интервалу (а, 6), воздействует масса, равная площади криволинейной трапеции, простирающейся от этого интервала до кривой /(х). Как бы мал этот интервал не был, эта площадь будет положительной, если только положительна функция /(х) на этом интервале. В частности, если в точке х функция /(х) непрерывна и положительна, то для бесконечно малого (элементарного) интервала (х, х + Дх) длины Дх>0 эта площадь составит приблизительно f(x^x > 0.
Рис. 4.1. Сосредоточенная а и распределенная б нагрузки
Распределение вероятностей для непрерывных случайных величин конструируется аналогично рассмотренному случаю распределенной нагрузки в механике. Фигурирующее здесь понятие массы в нашем случае будет трактоваться как понятие «вероятностной массы». При этом основополагающую роль играет функция /(ху
Определение 1. Плотностью распределения называется функция вещественной переменной /(х), которая:
определена на всей числовой прямой: -со < х < оо;
неотрицательна: / (х) > 0, Vx;
интегрируема и удовлетворяет условию нормировки:
J/(x)& = l.(4.1)
Определение 2. Говорят, что задана непрерывная случайная величина X, если эа- дана плотность распределения / (х), с помощью которой вероятность попадания случайной величины X в вещественный интервал (a, by где а < Ь, выражается формулой
ь
Р{а<Х <Ь\ = J/(x)^.(4.2)
Поскольку определенный интеграл численно равен соответствующей площади под кривой /(х), то из формулы (4.2) следует, что вероятность принятия случайной величиной значения из интервала (а, Ь) равно площади криволинейной трапеции, заключенной между вертикалями, проходящими через точки а и b оси абсцисс, кривой f(x) и осью абсцисс (рис. 4.2).
Рис. 4.2. Кривая плотности распределения
Рис. 4.3. Кривая функции распределения
Если в качестве интервала в формуле (4.2) взять (-оо, х), то получим формулу, выражающую функцию распределения непрерывной случайной величины X через ее плотность:
Л*) == ^ - ^<413>
Физический смысл функции распределения непрерывной случайной величины тот же, что и для дискретной случайной величины (см. определение 4 главы 2): значение этой функции F(x) в точке х есть вероятность того, что случайная величина X не превзойдет данное значение х. Сохраняются все свойства, приведенные в разделе 3.1 для функции распределения дискретных случайных величин, однако для непрерывных случайных величин функция распределения является непрерывной функцией. Типичный график функции распределения приведен на рис. 4.3. Он представляет собой непрерывную кривую, монотонно возрастающую от нуля до единицы.
Из формулы (4.3) следует, что
Р{а < X < 6} = Е(6) - Е(а).(4.4)
Обратим внимание на следующее обстоятельство. Для дискретной случайной величины вероятность ее попадания в тот или иной интервал зависела (в общем случае) от того, включены или нет границы в интервал (см. пример 3.1У В непрерывном случае это роли не играет — для всех разновидностей интервалов (открытых и замкнутых с одной стороны или с обеих сторон) эти вероятности совпадают. Данное обстоятельство следует как из свойств интегралов, так и из отмеченного выше факта: вероятность принятия непрерывной случайной величиной наперед заданного значения (в данном случае — соответствующего границе интервала) равна нулю.
Наряду с функцией распределения F(x) часто используется дополнительная функция распределения Р(х) = 1 -F^x). Ее значение в точке х равно вероятности того, что случайная величина X превзойдет х:
F^ = PKX>x\ = \-F<xy(4.5)
В теории надежности случайная величина X трактуется как длительность безот- уяяилй na&VTU ИР1СЛТЛПЛГЛ ИЯПРПИИ Тлгля события /X > г) ЛЯНЯЧЯАТ бАЯЛТКЯЯНУЮ
Таблица 4.2. Основные функции распределения непрерывных случайных величин
Наименование распределения
Функция распределения F(x)
Примечание
Выражение
Область определения*
Равномерное
X - «
Ь — а
1
а < х < b х>Ь
Экспоненциальное
х>й
Нормальное
_ (х
Ф —
V Ст 7
-оо < х < оо
Ф(г) — ф. р. стандартного нормального распределения с параметрами ц = 0, а = 1
Эрланга
i=o i ।
х> 0
Наглядное представление о типе распределения дает график соответствующей плотности. Для названных распределений графики приведены на рис. 4.4. Вид графика плотности распределения позволяет выдвинуть предположение о конкретном типе распределения. В отличие от этого график функции распределения не столь наглядно представляет тип распределения (см. рис. 4.3).
ввРис. 4.4. Графики кривых плотностей основных распределений: а — равномерного, б — экспоненциального, в — нормального, г — ЭрлангаРис. 4.4. Графики кривых плотностей основных распределений: а — равномерного, б — экспоненциального, в — нормального, г — Эрланга
в
в
Рис. 4.4. Графики кривых плотностей основных распределений: а — равномерного, б — экспоненциального, в — нормального, г — Эрланга
Рис. 4.4. Графики кривых плотностей основных распределений: а — равномерного, б — экспоненциального, в — нормального, г — Эрланга
работу изделия в течение времени х. Вероятность этого события равна значению дополнительной функции распределения Г(х) в точке х и называется надежностью изделия за время х.
Из математического анализа известно, что если плотность Дх) непрерывна в точке х, то ее значение в этой точке равно производной от интеграла (4.3): /(х) = FXxy Отсюда также следует, что при этом же условии вероятность попадания непрерывной случайной величины X в элементарный (бесконечно малый) интервал (х, х + Дх)
Р{х < X <х + Дх} = /(х)Дх + о(Дх), (4,6)
где о(Дх)есть величина бесконечно малая по сравнению с Дх: о(Дх)/Дх -> 0 при Дх -> 0.
Последняя формула позволяет следующим образом определить физический смысл плотности распределения f(x): значение плотности распределения f(x) в точке х, умноженное на бесконечно малое приращение Дх, приблизительно равно вероятности попадания непрерывной случайной величины X в элементарный интервал (х, х + Дх).
В инженерной практике выражение (4.5) записывают в виде
Р^а < X <х + Дх} «/(х)Дх.
В аналитическом выражении для плотности /(х) обычно присутствуют некоторые постоянные, называемые параметрами распределения. Говорят (см. определение 3 главы 3), что распределение принадлежит одному типу, если плотности распределения отличаются друг от друга только параметрами.
Ппи остальных значениях псосменной х значение плотности распределения равно нулю.Ппи остальных значениях псосменной х значение плотности распределения равно нулю.Основными типами распределений непрерывных случайных величин являются: равномерное, экспоненциальное, нормальное, Эрланга, логарифмически нормальное и др. Соответствующие плотности распределения приведены в табл. 4.1, а функции распределения — в табл. 4.2.
Ппи остальных значениях псосменной х значение плотности распределения равно нулю.
Ппи остальных значениях псосменной х значение плотности распределения равно нулю.
Наименование распределения
Плотность распределения /(х)
Параметры
Область значений параметров
Выражение
Область определения1
Равномерное
1 Ь-а
а <х<Ь
а, b
а< b
Экспоненциальное.
Хе"^
х > 0
X
Х>0
Нормальное
1 4<^>2
-ОО <Х<00
р,о
о>0, -оо <р < ОО
Эрланга
—— (Хг)ме-^ («-1)1'
х> 0
Х,1
X >0. /-1,2,... - целое
Таблица 4.1. Основные плотности распределения
i
Равномерное распределение задается плотностью
/СО = ■/СО = ■1 b-а О,1 b-а О,х е (а,Ь), х й (а,Ь),х е (а,Ь), х й (а,Ь),(47)(47)
/СО = ■
/СО = ■
1 b-а О,
1 b-а О,
х е (а,Ь), х й (а,Ь),
х е (а,Ь), х й (а,Ь),
(47)
(47)
где а и b — параметры распределения, причем а < Ь.
График плотности равномерного в интервале (a, ft) распределения представляет собой прямоугольник (рис. 4.4, а).
Функция распределения (4.3) имеет вид:
F(x) =F(x) =О, х-а Ь-а’ 1,О, х-а Ь-а’ 1,х е(а,Ьух е(а,Ьух > b.х > b.(4.8)(4.8)
F(x) =
F(x) =
О, х-а Ь-а’ 1,
О, х-а Ь-а’ 1,
х е(а,Ьу
х е(а,Ьу
х > b.
х > b.
(4.8)
(4.8)
Равномерное распределение возникает как распределение ошибок при округлениях чисел. Например, если мы проводим вычисления с точностью до первого знака после запятой, то ошибка такого округления имеет равномерное распределение в интервале (-0.05, 0.05). Следовательно, если после вычислений мы получаем число 4.6, то фактическое значение лежит в интервале (4.55, 4.65).
Экспоненциальное распределение имеет плотность и функцию распределения, задаваемые формулами:
/(х) = ■
|0,х<0,,
х(49)
[Хе^',х>0,
ГО,х <0,
W = J
»(4.Ю)
1-е'и,х>0,
где X > 0 — параметр распределения.
Условие нормировки для плотности (4.9) выполняется, поскольку интеграл (4.10) равен 1 при х = оо. График экспоненциальной зависимости (рис. 4.4, 6) описывается кривой, монотонно убывающей от X при х = 0 до 0 при х = со.
Экспоненциальное распределение возникает как распределение времени ожидания совершенно случайного события. Например, по статистике установлено, что интервалы времени между падениями метеоритов на Землю, рождениями тройни, отказами радиоэлектронной аппаратуры и т. п. имеют экспоненциальное распределение. В связи с этим экспоненциальное распределение играет большую роль в теории случайных процессов (см. главу 9).
Отметим, что экспоненциальное распределение является непрерывным аналогом геометрического распределения (2.12). Как мы уже знаем, последнее является распределением числа испытаний Бернулли У, необходимых для получения первого успеха:
Р{У >z) =(!-/?)', г = 1,2,...
Пусть испытания проводятся через равноотстоящие промежутки времени длины t/n. Рассмотрим ситуацию, когда скорость проведения испытаний неограничен-
ио возрастает (и —> со), однако вероятность успеха в одном испытании убывает по закону р = Х/п, где X > 0. Отметим, что среднее число успехов в единицу времени будет при этом постоянным и равным пр = пХ/п = X.
Покажем, что при сформулированных условиях время до первого успеха X = Y/n стремится к экспоненциальному распределению:
PyX>t\ >е'и, t>0.
Для этого воспользуемся следующим замечательным пределом:
Имеем:
Р^Х >t} = Ру/п > t} = Ру > пЦ = (1 -рУ = (1 - X/nyl =
= ((1 - Х/пУ )'>(е"х У =
Нормальное распределение имеет следующие плотность и функцию распределения:
f(x) =f(x) =^^ J7r-exp^^ J7r-exp2l a J2l a J- со < х < со,- со < х < со,- 00 < X <00,- 00 < X <00,(4.11)(4.11)(4.12)(4.12)
f(x) =
f(x) =
^^ J7r-exp
^^ J7r-exp
2l a J
2l a J
- со < х < со,
- со < х < со,
- 00 < X <00,
- 00 < X <00,
(4.11)
(4.11)
(4.12)
(4.12)
где ц и □ — параметры распределения, причем □ > 0.
График плотности нормального распределения (рис. 4.4, г) является колоколообразной кривой, симметричной относительно вертикали х = ц и убывающей до нуля при х —> ±оо. Влияние параметров ц и о на форму кривых /(х) и f(x) рассматривается в компьютерном практикуме № 6.
Интеграл (4.12) через элементарные функции не выражается, поэтому для его вычисления используют так называемое стандартное нормальное распределение, имеющее следующие значения параметров: ц = 0, а = 1. Плотность и функция распределения для стандартного нормального распределения определяется фор
мулами:
(4-13)
O(z)=J-— exp —у1 \dy, -co<z<co.(4.14)
Д,д/2л)
Значения <р(х) и Ф(х) табулированы и выдаются соответствующими функциями, имеющимися во всех языках программирования. С помощью их проводятся необходимые вычисления для нормального распределения с произвольными значениями параметров ц и <т
(4.15)
F(x) = Ф .(4.16)
V ° У
Проверка условия нормировки (4.1) для нормальной плотности (4.11) основывается на интеграле Пуассона
j exp[--z2 Adz = 72л.(4.17)
Используя этот интеграл и подстановку z - (у -р)/о, находим:
х Г 1(7 1 Г 1,
f(co)= I-—-exp -- -—Уdy = I —=ехр --z dz = 1.
( 21 a ) J2 J
Нормальное распределение возникает как распределение суммы большого числа случайных величин. Поскольку такая ситуация встречается часто, нормальное распределение имеет большое распространение. Подробнее об этом будет сказано в главе 7.
Распределение Эрланга задается формулами:
0,
х < 0,
/(х) = -
л<418>
х > 0,
(/-1)! ’
0,
х < 0,
_ у (Хх) а
п(4.19)
х > 0,
где Хи 1 — параметры распределения, причем X > 0, а / — целое положительное число 1, 2, ...
Частным случаем распределения Эрланга при / = 1 является экспоненциальное распределение (4.9). С ростом значения параметра I плотность распределении Эрланга стремится к плотности нормального распределения (см. главу 7).
Кривая плотности распределения Эрланга представлена па рис. 4.4, г.
Условие нормировки для плотности распределения Эрланга (4.18) можно проверить, применяя метод математической индукции. При / = 1 мы имеем дело с экспоненциальным распределением, для которого условие нормировки выполняется. Предположим теперь, что это условие выполняется для значения параметра /2 1. Тогда для значения параметра / + 1 имеем, используя правило интегрирования ио частям и предположение индукции:
F(co) = j ХУ——е dx = -j У—— de u =---е+
о / •()^о
+ fx/<^e^.o+fx^le-^ = i,
1 /1! </-1)|
где неопределенность была раскрыта но правилу Лопиталя:
hm(Xx) е= hm ——— = hm-^= hm/-— =
ЛЛ -*» g^3->ТС Д ^Л-,Х>g^X
dx
= / hm = / (/ -1) limV < ■ =,.. = /! hm = 0.
Л->сс d ^л -»оо g^'Л‘->оо ^
Итак, условие нормировки выполняется для / + 1, а, следовательно, и для всех /.
Распределение Эрланга возникает как распределение суммы I независимых случайных величин, имеющих одно и то же экспоненциальное распределение с параметром X (см. главу 7). Такая ситуация часто возникает при рассмотрении задач резервирования в теории надежности, управления запасами и пр.
Примеры
Пример 4.1. Длительность X безотказной работы некоторого изделия имеет экспоненциальное распределение с параметром X = 0.1. Найти вероятность того, что изделие не откажет в течение установленного ресурса г, равного 5.
Решение
Используя формулы (4.5) и (4.10), находим:
Р^Х >r} = l-F(r) = l-(l-e'Zr) = e^'.
Для наших численных данных эта вероятность составит ехр(-0.1 • 5) = 0.607.
Пример 4.2. Рассмотрим стрельбу по цели, представляющей собой отрезок длины а на оси абсцисс. Пусть отклонение снаряда от центра цели X имеет нормальное распределение с параметрами ц и с. Найти вероятность поражения цели при одном выстреле. Какова будет эта вероятность при двух выстрелах?
Решение
Обозначим Л, событие «поражение цели при первом выстреле». Очевидно, Л, = {-<?/2 < Х< а/2}. Следовательно, согласно формулам (4.4) и (4.16) вероятность поражения цели при одном выстреле
Р^ = Р{-а/2 <Х< a/2} = F(a/2)-F(-a/2) = <b№^^
Обозначим Л2 событие «поражение цели при втором выстреле». Очевидно, событие «поражение цели при двух выстрелах» есть сумма событий At и Л2. Если считать эти события независимыми, а их вероятности одинаковыми, то для вероятности суммы этих событий по формуле (1.27) находим:
Р{Л, + Л2} = Р{Л1}+Р{Л2}-Р{Л1}Р{Л2}=2Р{Л1}-Р{Л1}2.□
Выше приводились примеры плотностей распределений, так сказать, «в чистом виде». На их основе возникает множество других, производных от них, плотностей распределений. Остановимся на двух модификациях: усеченных распределениях и смеси распределений.
Усеченные распределения. В некоторых случаях к имеющейся информации О плотности распределения случайной величины поступает дополнительная, состоящая в том, что возможные значения случайной величины принадлежат некоторому заданному интервалу. Например, если установлен общетехнический срок службы изделия, то момент его отказа не может превышать этот срок. Такая ситуация приводит к усеченным справа распределениям.
Второй важный пример дает нам теория и практика страхования жизни по возрасту. Длительность жизни людей некоторого региона имеет определенное распределение, обычно хорошо известное из статистики. Но когда в страховую компанию приходит клиент, возраст которого, например, шестьдесят лет, его страхование осуществляется на основе распределения «остаточной длительности жизни», рассчитанного при условии, что человек дожил до теперешнего своего возраста. Тут имеет место усечение исходного распределения слева.
Итак, пусть X — непрерывная случайная величина с плотностью распределения /(х) и функцией распределения Е(х). Предположим, что поступила дополнительная информация о том, что возможные значения X принадлежат интервалу (а, 6), где а < b. С учетом этого плотность и функция распределения X будут:
fY(х) = f(x)/P{a < X < b}, а<х<Ь,Fy(х) = F(хуР^а <Х <Ь\ а<х <Ь.
Соответствующий численный пример будет рассмотрен в разделе 4.4.
Определение 3. Смесь распределений. Пусть рх, р2, .... Pi — набор вероятностей, удовлетворяющих условию нормировки:pt + р2 + ... =р/ = 1, а/1(х),/2(х), ...,//(х) — набор плотностей распределений. Тогда смесь распределений задается плотностью
/(х) = р, /, (х) + p.J2 (х) +... + р^ (х).
Вероятностная интерпретация смеси распределений следующая. Из имеющихся I распределений наудачу выбирается одно, причем г-е распределение с вероятностью pi. Если выбрано г-е распределение, то наблюдают случайную величину Х(, имеющую именно это распределение.
Функция распределения смеси выражается через исходные функции распределения {Е;(х)} аналогичным образом:
Е(х) = р, Е, (х) + p2F2 (х) + ... + р^^ху
Пример 4.3. В цехе один из работающих станков (дающий ЮОр % всей продукции) разладился. После обработки нормально работающим станком некоторый размер детали имеет нормальное распределение с параметрами ц и ст. У разладившегося станка при том же значении параметра ц второй параметр ст, > ст.
Деталь бракуется, если ее замеренный размер отклоняется по абсолютной величине от значения ц более чем на 5 > 0. Какова доля бракуемых деталей? Какой бы она была, если бы разладка не произошла? Далее, пусть деталь оказалась бракованной. Какова вероятность того, что она была обработана на нормально работающем станке?
Решение
Обозначим «у вероятность брака, Л' - (фактический размер детали. По условию .шдпчи
<7 = Р{|Х-ц| >8} =Р{Х-ц >8} + Р{Х-ц <-8} = Р{Х >ц + 8} + Р{Х <ц-8) =
= 1 - Р{Х < ц + 8) + Р{Х < ц - 8}.
Если бы разладки станка не было, то имело бы место нормальное распределение (4.16) для вероятности брака q0, поэтому
q0 = 1 - ф til + ф til = 1 _ ф _ + ф _ I ( ст 7( ст 7 (ст7 k. ст 7
В случае разладки станка мы имеем смесь двух нормальных распределений с параметрами: цист (доля 1-р); ц и ст, (доляр). Поэтому вероятность брака qx;
qx = l-(l-p^f-)-of—iVp фГ-А)-ф(^1 .
V \<Т7\ ст(CTj J VCTi 7,
Пусть Но означает гипотезу «деталь изготовлена на нормально работающем станке», Нх — противоположную гипотезу, Л — событие «деталь бракованная». По формуле полной вероятности (1.23) находим:
Р^ = Р{Н0}Р{Л| Яо} + Р{Я, }Р{ЛI Нх} = (1 -p)qQ + pqx.
Теперь по формуле Байеса (1.24) имеем следующее выражение для вероятности того, что бракованная деталь изготовлена па нормально работающем станке:
Р{Н0|Л) = Р{Н0А}/Р{А} =(1-р)9о/((1-Р)9о +РЧх )•
В табл. 4.3. приведены численные значения рассмотренных показателей в зависимости от значения ст,. Остальные параметры были приняты следующими: р = 0.2, ст = 0.4, 8 = 1. Вероятность отбраковки детали, обработанной на нормально работающем станке, q0 = 0.012. Отметим, что эти данные были рассчитаны программами q0, ql и PHA, которые будут описаны ниже в компьютерном практикуме.
Таблица 4.3. Вероятности q, и Р{Н0 | Д} в задаче отбраковки детали
«1
0.400
0.480
0.576
0.691
0.829
0.995
1.433
1.720
2.064
0.012
0.017
0.025
0.034
0.043
0.052
0.061
0.069
0.077
Р№\А\
0.800
0.572
0.401
0.296
0.232
0.190
0.163
0.143
0.129
Математическое ожидание непрерывных случайных величин
Плотность (или функция) распределения представляет полную информацию о непрерывной случайной величине. Часто можно обойтись и менее полной информацией, содержащейся в числовых характеристиках. Как и для дискретного случая, важнейшим из них являегся математическое ожидание.
Определение 4. Пусть интеграл отл/(х) в полных пределах сходится абсолютно, то есть
j| х\ ЦхНЬс < оо.(4.20)
Тогда говорят, что существует математическое ожидание непрерывной случайной величины. Оно обозначается р = £(А')и вычисляется по формуле
(4.21)(4.21)Я = Е(Х) = J xj^x )dx.
(4.21)
(4.21)
Если абсолютной сходимости нет, то есть интеграл (4.20) принимает бесконечное значение, то говорят, что математического ожидания не существует.
Если математическое ожидание случайной величины существует, то оно обычно просто выражается через параметры распределения. В табл. 4.4 приведены соответствующие выражения для рассматривавшихся типов распределений. В частности, из нее следует, что для нормального распределения параметр р есть математическое ожидание, а для экспоненциального распределения параметр X есть величина, обратная математическому ожиданию. Приведем выводы соответствующих формул.
Примеры
Пример 4.4. Математическое ожидание для равномерного распределения (4.7) находится совсем просто:
Е(Х) = ^xf^dx = jx-A-dx = -r2 —-—- = (b2 -a2)^—- -Ua + by
,, b-a 2(b-a)u2(b-a) 2
Пример 4.5. Для экспоненциального распределения (4.9) применение формулы (4.21) и использование интегрирования по частям дает:
£(А") = ^xf{x)dx = |хХе'ъ dx = - jxde u =-хе ъ | + je kv dx =ооо
= 0 - — J еd^-Xx") = -1J de'Xx
оо
где имевшаяся неопределенность была раскрыта по правилу Лопиталя, как это было сделано выше при проверке условия нормировки для плотности распределения Эрланга.
Таблица 4.4. Числовые характеристики основных непрерывных распределений
Наименование распределения
Математическое ожидание, Я = Е(Х)
Дисперсия, о2 = Е^Х)
Среднее кв. отклонение, с
Момент г-го порядка, нг
Равномерное
а + b
(b-af 12
b - а "712"
1 У+1-«н|
г + 1 Ь-и
Эксионсицн- влыюс
J,
X
1
X2
X
Н
X
Нормальное
Я
а2
а
Формула (4.33)
Эрланга
с
X
X2"
77
X
(/ + г-1)1 Г(Г-1)1
Пример 4.6. При вычислении математического ожидания для нормального распределения (4.11) используются замены переменных интегрирования z = -——, dz = dx/a, о = -z, do = - dz, свойство нормировки для плотности стана
дартного нормального распределения и следующее свойство определенного интеграла: если нижний и верхний пределы интегрирования меняются местами, то знак интеграла меняется на противоположный. Имеем:
Е(Х) = ^xf(x) = рЕ(Х) = ^xf(x) = рIf X -ц2k оIf X -ц2k оо= Ц +^[о= Ц +^[-22-22оо2 idz =2 idz =о fa-о fa-1111ехр —2Jo V2^ I 2ехр —2Jo V2^ I 22 \dz =2 \dz =
Е(Х) = ^xf(x) = р
Е(Х) = ^xf(x) = р
If X -ц
2k о
If X -ц
2k о
о
= Ц +^[
о
= Ц +^[
-2
2
-2
2
о
о
2 idz =
2 idz =
о fa-
о fa-
1
1
1
1
ехр —2
Jo V2^ I 2
ехр —2
Jo V2^ I 2
2 \dz =
2 \dz =
601(1Л
= 9 -°J . о= 9 -°J . о— О"— О"Г1(12 I J
= 9 -°J . о
= 9 -°J . о
— О"
— О"
2—=ехр—z а2=ц.
оnZkV/
Пример 4.7. При рассмотрении распределения Эрланга (4.18) воспользуемся тем, что (как это было доказано выше) для него при любом значении параметра / выполняется условие нормировки для плотности. Итак,
£(А) = J xf^x) =е u dx = - J е dx = - • 1 =
Д Q (Z-l)!Хд /!X л
Функции и моменты непрерывных случайных величин
Определение 5. Пусть X — непрерывная случайная величина с плотностью распределения /(х), v(x) — вещественнозначная функция, определенная на всей действительной прямой и являющаяся непрерывной за исключением, быть может, конечного числа точек разрыва. Под функцией случайной величины X понимают случайную величину Y = у(Х), получающуюся подстановкой в функцию \|/(х) вместо аргументах случайной величины X.
Это определение не является математически строгим, которое будет дано ниже в разделе 4.4 для определенного класса функции у(х). Этому мы предпошлем ряд общих результатов.
Математическое ожидание функции непрерывной случайной величины определяется аналогично формуле (3.19) для дискретного случая. Пусть выполняются сформулированные выше условия и, кроме того, произведение ч'СО/Сг) ибсо- нютпо П1П11ег11нг>цел10 в бесконечных пределах, то есть
/Ма')|/Ст)<со.(4.22)
Тогда говорят, что математическое ожидание функции непрерывной случайной величины Y = \у(Х) существует и вычисляется по формуле
Е№ = ]xvW(xW(4.23)
Если абсолютной интегрируемости нет, то математическое ожидание функции не существует.
Важными частными случаями функции \у(х) являются линейная функции у~ а + Ьх, модульная функция у = |х| и показательная функция у = xr, r= 1, 2, ...
Если математическое ожидание непрерывной случайной величины существует то оно обладает всеми теми свойствами, которые были сформулированы в теО' реме 3.2 для дискретной случайной величины. Доказательство этих свойств ана логично приведенным в теореме 3.2 с заменой сумм на интегралы. Например используя формулу (4.23), мы имеем для линейной функции следующие свойст ва математического ожидания: если X — случайная величина, имеющая конвч ное математическое ожидание Е(Х), а и b — константы, то
Е(а + ЬХ) = а + ЬЕ(Х),(4.24)
в частности, математическое ожидание постоянной равно самой постоянной Е(а) = а; постоянный множитель выносится за символ математического ожида пня: Е(ЬХ) = ЬЕ(Х). Кроме того, Е(\Х\) > |£(Х)|.
Определение 6. Пусть X — непрерывная случайная величина с плотностью /(г) г = 1, 2, ... — натуральное число и произведение x'f^x^ абсолютно интегрируем! в бесконечных пределах:
||х'|/(х)Дг < со.(4.25
Тогда говорят, что момент r-го порядка непрерывной случайной величины X суще ствует. Он определяется как математическое ожидание r-й степени случайно! величины:
цг = E(Xr) = Jx'/(x) dx.(4.26
Juvui абсолютной интегрируемости нет, то момент г-го порядка не существует. Как н для дискретного случая, момент первого порядка р, — это просто матеми нисское ожидание ц = Е(Х) случайной величины X. 13 связи с этим индекс у момента р, опускается.
Следующая лемма справедлива как для непрерывных, так и для дискретных слу чайных величин.
Ломма 4.1. Если момент /-го порядка р,. существует, г = 2, 3, ..., то существую п нес моменты ц,. низших порядков, г' < г. При этом имеет место перавенстио:
EdA'I'T' <(Е(|А? ))'".(4.27
Доказательство этой леммы будет проведено в разделе 4.6.
Как и в дискретном случае, математическое ожидание является средним значением случайной величины. Мерой разброса случайной величины вокруг этого среднего служит дисперсия и среднее квадратическое отклонение.
Определение 7. Пусть произведение (х-д)2/(.т) интегрируемо в бесконечных пределах:
j(.г - д )2/(.v) Де < со.(4.28)
Тогда говорят, что существует дисперсия случайной величины, равная математическому ожиданию квадрата отклонения случайной величины от ее математического ожидания, и определяемая формулой
о2 =П(Х) = £((Х-р)2)= ^x-pfKxVlx.(4.29)
При вычислении дисперсии часто предпочитают пользоваться не формулой (4.29), а следующей формулой, связывающей дисперсию и момент второго порядка д 2:
о2 = д2 -д2.(4.30)
Эта формула показывает также, что дисперсия и второй момент существуют или нет одновременно.■
Размерность дисперсии (и второго момента) есть квадрат размерности случайной величины. Это представляет некоторое неудобство, в связи с чем часто вместо дисперсии используется положительное значение квадратного корня из нее, называемое средним квадратическим отклонением а, которое имеет размерность случайной величины:
а = тТо7 = +4ЩХ).
Для наиболее важных распределений непрерывных случайных величин выражения для моментов и дисперсий приведены в табл. 4.4. Докажем некоторые из выражений для моментов. Напомним, что с помощью момента второго порядка дисперсия вычисляется по формуле (4.30).
Примеры
Пример 4.8. Момент r-го порядка для равномерного распределения (4.7) находится следующим образом:
д= Е^Х* ) = ^.Vf^dx = Jdx = - = Ь- "
i«b-а (X + lXb-a^ (r + l\b-a)
Пример 4.9. Момент r-го порядка для экспоненциального распределения (4.9) можно вычислить просто, если воспользоваться условием нормировки для плотности распределения Эрланга с параметрами X и I = г + 1:
д r = Е(Х’) = ^x'/Wx = J.trXe^' dx т-.Ц J e-kl dx Ц-.
Аналогичным образом вычисляется момент r-го порядка для распределения Эр* ланга с параметрами Хи/: эту проблему решаем, используя свойство нормировки для плотности распределения Эрланга с параметрами X и I = I + г.
цг = £(X^=j^V(^)^=j^'X^~j-
= (г + /-1)! Jх& _(г + /-1)! t = (г + /-1)!
(/-1)!Х „ (г + /-1)!(/-1)!ХГ(/-1)!ХГ
Свойства дисперсии. Если дисперсия непрерывной случайной величины X существует, то она имеет свойства, приведенные в теореме 3.2 для дискретной случайной величины: если а и b — конс!анты, то
(4.31)(4.31)D<a + bX> = b2D<X>,
(4.31)
(4.31)
в частности, дисперсия постоянной равна нулю: D(a) = 0; постоянный сомножитель выносится за символ дисперсии в квадрате: D^bX) = ^D^X).
Определение 8. Пусть X — случайная величина, имеющая математическое ожидание р и дисперсию о2. Нормированной случайной величиной называется случайная величина Z =QC. -рУ<з.
Лемма 4.2. Нормированная случайная величина Z = (X - р)/а имеет нулевое математическое ожидание и единичную дисперсию. Момент r-го порядка р, случайной величины X выражается через моменты {о, = £(Z')} соответствующей нормированной случайной величины Z по формуле (в которой положено оо ~ О
цг =Е(Х-) = ^С^У;Ц-,(4.32)
в частности,
Ц) = Ц + ОУ, ,ц2 -Ц2 + 20?’, р + о2у2,р3 = р3 +3ayjp2 + 3a2y2p + а3У3.
Доказательство
Используя свойства математического ожидания (4.24) и дисперсии (4.31), получаем:
E(Z) == — (£(Х)-р) = А(р -р) = 0.
D(Z) = d(2LzE) = JL D(X) == i.
V о ) aa2
Далее используется разложение бинома Ньютона (2.5):
£(Х' ) = £((aZ + рУ ) = £(£ С,' (oZ)' р') =/=()
= XC'a'£(Z')p’-'О
1-01-0
Пример 4.10. Моменты нормального распределения. В следующем разделе будет показано, что случайную величину X, имеющую нормальное распределение (4.11) с параметрами рис, можно представить в виде X = ц + cZ, где Z имеет стандартное нормальное распределение (4.13) с нулевым средним и единичной дисперсией, то есть является нормированной случайной величиной для X. Поэтому достаточно найти моменты для нормированной величины Z, поскольку моменты для X будут определяться по формуле (4.32).
Моменты {г/г} случайной величины Z, имеющей стандартное нормальное распределение, выражаются рекуррентно друг через друга, как это показывают следующие выкладки:
001-—2^001-—2^1
dz = - z'-'^e^ d(--z^ =
= 0 + (r-l)yr_2 = (r-l)yr_2, где неопределенность была раскрыта по правилу Лопиталя. Итак,
уг = (г-1)у,._2, г = 2,3, ...
Эго рекуррентное соотношение позволяет выразить моменты любого порядка через моменты наименьшего порядка о0 и t)t] причем той же четности: четные моменты и2г через и0, а нечетные моменты о2г+1 через щ. Значения этих моментов нам известны: у0 = 1, поскольку это есть интеграл по плотности в полных пределах, равный единице по условию нормировки (4.1); vt = 0, так как это есть математическое ожидание стандартного нормального распределения, равное нулю, как это уже было установлено в примере 4.6.
Моменты нечетного порядка равны нулю, поскольку наименьший из них щ равен нулю:
у3 =(3-1)у, =0, уд=(5-1)у3 =0, ...
Для моментов четного порядка имеет место соотношение:
у2, = (2г-1)у2(г_п = (2г - 1)(2(г -1) - 1)у2(г. 2) =... = П(2: - 1)-у0 = П(2/-1). Мi-l
Окончательно имеем следующие формулы для моментов стандартного нормального распределения:
у2г-| =0,=П(2г’-1)- г = 1,2,...
В частности, моменты второго и четвертого порядка составляют: у2 = (2-1) = 1,
у =(2-1-1)(2 2-1) = 3.
Моменты нормального распределения (4.15) с параметрами цист вычисляются п/t /Ь/тмило (Л *У)\*
В 2г = Е(Х2г) = ц2г + £ С2; о2ф П (2; -1), г = 1,2,...,
'=’'=’(4.33)
ц2г+1 ^Е^'^р2^ +£c^V(r~')+,№ г = 0,1,2
<=1) =1
где сумма без слагаемых (когда верхний предел суммирования меньше нижнего) равна нулю.
В частности,
р2 = ц2 + а2,ц;) = р3 + За2ц,ц,, = ц4 +6р2о2 + 3ст3.
Итак, согласно формуле (4.30) о2 является дисперсией нормально распределенной случайной величины X.
Распределения функций непрерывных случайных величин*
Выше мы интересовались только числовыми характеристиками функций непрерывных случайных величин. Теперь будет рассмотрена более трудная задача нахождения распределения этих функций. Вначале ограничимся только классом монотонных функций \|/(х): или строго возрастающих, когда ^(Xj) < \р (ги) при л-! < хг, или строго убывающих, когда приведенное неравенство для функций меняется па противоположное.
Пусть ф(х) — строго возрастающая функция, X — непрерывная случайная величина с плотностью распределения f(x). Рассмотрим случайную величину Y = у(Х). Очевидны следующие тождества для множеств: для любого вещественного у {У < г/} = {^(А-) < г/} = {X < v 1 0/)}> ГДе V ' G/) ~ функция, обратная к функции у = v(x).
Следовательно,
P{Y <у} = Р{Х < у-'(г/)}, -ю<у<ю.(4.34)
Последнее соотношение является основным для выражения распределения строго возрастающей функции случайной величины через распределение этой случайной величины. Сама формула (4.34) выражает функцию распределения случайной величины У, которую мы обозначим FY{y), через функцию распределения F(,x) случайной величины X;
F^ ty) = F(y~'(у)), -со<у<х.(4.35)
Для существования в точке у плотности распределения /^(.у) случайной величины У необходимо п достаточно существование производной пот/ от правой части формулы (4.35). В свою очередь для этого необходимо и достаточно существование производной функции у/Сг), поскольку, как известно из математического анализа
Э\У *4?/) = j/Г ^(£)1^ Лг Л
Поскольку функция Изъявляется строго возрастающей, то эта производная нигде не обращается в нуль, так что последнее выражение всегда определено. Аналогичным образом рассматривается случай монотонного убывания функции И-^)- Результаты могут быть сформулированы в следующем виде.
Теорема 4.3. Пусть X — непрерывная случайная величина с плотностью распределения / (х), И^)- строго монотонная (убывающая или возрастающая) функция. Тогда У = И^) является непрерывной случайной величиной с плотностью
(4.36)(4.36)распределения
(4.36)
(4.36)
V ox
Если а и Ь — постоянные и У = а + ЬХ, то
(4-37)(4.38)(4-37)(4.38)
(4-37)
(4.38)
(4-37)
(4.38)
Линейное преобразование У = а + ЬХ является важнейшим преобразованием случайной величины X. Формулы (4.37), (4.38) позволяют находить функцию и плотность распределения этого преобразования. Ниже будут приведены наиболее важные примеры.
Утверждение 1. Пусть X — случайная величина, имеющая равномерное распределение в интервале (а, Ь), где а < Ь. Тогда ее линейное преобразование У = с + dX, где d * 0, имеет равномерное распределение в интервале (с + ad, с + bd).
Утверждение 2. Пусть X — случайная величина, имеющая нормальное распределение с параметрами Е(А) = р и £)(А) = а2. Тогда ее линейное преобразование У = а + ЬХ, где Ь * 0, также имеет нормальное распределение с параметрами ЕДУ^а + Ьр, П<У) = <Ь<з)2.
В частности, если рассмотреть нормированную случайную величину Z = (А -ц)/а, то в этом случае а = -ц/с, Ъ = 1/о. Следовательно, £(Z) = 0, -D(Z) = 1 и Z имеет стандартное нормальное распределение (4.13). '
Обратное соотношение Х=ц+о2 обычно используется при выработке нормально распределенной случайной величины X с произвольными параметрами ц и о на основании случайной величины Z, имеющей стандартное нормальное распределение (4.13).
Утверждение 3. Пусть X — случайная величина, имеющая распределение Эрланга с параметрами / и X. Тогда У = ЬХ, где 6*0, имеет распределение Эрланга с параметрами / и Х/Ь.
Утверждение 4. Пусть X — случайная величина, имеющая экспоненциальное распределение с параметром X. Тогда У = ЬХ, где 6*0, имеет экспоненциальное распределение с. параметром Х/Ь.
Выше было наложено ограничительное условие, касающееся строгой монотонности функции \|/(х)' От него легко избавиться, если разбить всю числовую ОСЬ (-со, со) на интервалы, внутри которых функция \|/(х)или строго монотонна ИЛИ постоянна. Теперь каждый такой интервал следует рассматривать по отдельности. Если на интервале I функция у(х) принимает постоянное значение с, причем Р^Х е 1} = р * 0, то это дает вклад в вероятность P^Y = с) принятия значения с, равный р. Ясно, что в этом случае случайная величина Y уже не будет непрерывной. Если на интервале / функция у(х) строго монотонная, то для нес МОЖНО вычислить плотность по формуле (4.46). Полученные таким образом плотности могут перекрываться. Окончательно выражение для плотности Y в точке у получается суммированием значений в этой точке тех плотностей, которые не равны нулю.
Примеры
Пример 4.11. Логарифмически нормальное распределение. Говорят, что случайная величина Y имеет логарифмически нормальное распределение, если ее натуральный логарифм 1пУ имеет нормальное распределение. Показать, что соответствующие плотность и функция распределения имеют вид
/г <У) =ехр 1■ к у > 0,(4.39)
y2nsy (J
£г(гу) = Ф((1п(у)-а)/х),(4.40)
где 5 > 0 и а — параметры распределения, Ф(г) — функция стандартного нормального распределения (4.14).
Показать, что момент r-го порядка, математическое ожидание и дисперсия для этого распределения вычисляются по формулам:
ц,. = E(Yr) = ехр| га + -r2s2
V 27(4.41)
E(Y) = expfa + ^s2 1 D(Y) = (e'~ - 1)ехр(2а + s2 ).
Решение
Пусть X — случайная величина, имеющая нормальное распределение с параметрами а и s. Тогда рассматриваемую случайную величину можно представить в виде Y = ехр(Х). Очевидно, что У — строго положительная случайная величина. Найдем ее плотность распределения, следуя вышеизложенной методике. В качестве функции х|/ мы имеем хр(л ) = ехр(х), причем эго — строго монотонно возрастающая функция. Обратная ей функция у"1 (у) = 1п(у), а производная от нее дц/(х)/дх = схр(х). При значении аргумента х = 1п(г/) значение этой производной равно у. Подставляя все это в формулу (4.36), мы получаем формулу (4,39). Формула (4.40) следует из формулы (4.35).
Математическое ожидание £(У) можно найти двумя способами. Во-нсрпых, по формуле (4.21) как математическое ожидание непрерывной случайной величины У с плотностью распределения (4.39). Во-вторых, но формуле (4.23) как ма-
тематическое ожидание функции Y = у(Х) = ехр(Х) нормально распределенной случайной величины X с параметрами ц = а и о = s. Выберем второй путь, как более простой. Более того, он позволяет сразу найти момент r-го порядка этой функции. Для него имеем:
E(Y4 = E((ex )’) = J(er)r-^
If x-a | exp — 2( s JIf x-a | exp — 2( s Jdx =dx =1V2ns1V2nsexp xr--exp xr--V х-аV х-аdx.dx.ss-Jiris
If x-a | exp —
2( s J
If x-a | exp —
2( s J
dx =
dx =
1
V2ns
1
V2ns
exp xr--
exp xr--
V х-а
V х-а
dx.
dx.
s
s
Преобразуем показатель экспоненты, так чтобы использовать условие нормировки для плотности нормального распределения:
„гг-1^—~^ = ^s~2(2xrs2 -х2 +2ax-a2) = "S"2(x2 -2x(rs2 + a) + a2) =
= ~s"2(x -(rs2 + a))2 -^"Ча2 -(rs2 + a)2) =
_ _ 1 ( х -(rs2 + а)_ _ 1 ( х -(rs2 + а)VV22ss+ ^r(2a + rs2).+ ^r(2a + rs2).
_ _ 1 ( х -(rs2 + а)
_ _ 1 ( х -(rs2 + а)
V
V
2
2
s
s
+ ^r(2a + rs2).
+ ^r(2a + rs2).
Подставляя это в интеграл, имеем:
= ехр= ехр” 1£(Vr)=_„V2tis” 1£(Vr)=_„V2tisifx -(rs2 + a) exp ~ ifx -(rs2 + a) exp ~ ss+ -r(2a + rs2) dx =+ -r(2a + rs2) dx =1-Jiris1-Jiris1 x-(rs + a) exp -1 x-(rs + a) exp -ssdx = expf | г (2a + rs2 )dx = expf | г (2a + rs2 )
= ехр
= ехр
” 1£(Vr)=_„V2tis
” 1£(Vr)=_„V2tis
ifx -(rs2 + a) exp ~
ifx -(rs2 + a) exp ~
s
s
+ -r(2a + rs2) dx =
+ -r(2a + rs2) dx =
1
-Jiris
1
-Jiris
1 x-(rs + a) exp -
1 x-(rs + a) exp -
s
s
dx = expf | г (2a + rs2 )
dx = expf | г (2a + rs2 )
где использовалось условие нормировки для нормальной плотности с параметрами ц = rs 2 + а и □ = s.
Математическое ожидание находится теперь как момент первого порядка щ, а дисперсия — через момент второго порядка ц2 по формуле (4.30).
Пример 4.12. Пусть X — случайная величина, имеющая экспоненциальное распределение с параметром X. Предположим, что функция у(х) имеет вид
0 < х < а,а <х < 2a,0 < х < а,а <х < 2a,с
0 < х < а,
а <х < 2a,
0 < х < а,
а <х < 2a,
V(A") =V(A") =— X, а
V(A") =
V(A") =
2с -—х,а
график которой представляет собой равнобедренный треугольник с основанием на отрезке (0, 2a) вещественной оси. Найдем распределение случайной величины У = \|/(Х).
Решение
P;vio6iicm вещественную ось (-оо, оо) на несколько интервалов. Первый интервал f-ai m можно не читывать, поскольку вепоятность попадания в него равна
нулю. На интервале (0, а) функция \р(х) равна сх)а и монотонно возрастает. Поэтому составляющая плотности Y, вносимая этим интервалом, согласно (4.38), будет —е-аХ«/с для 0 < у < с. На интервале (а, 2а) функция \р(х) равна 2с-—X
са
и монотонно убывает. Поэтому составляющая плотности Y, вносимая ЭПф интервалом, будет — е""^2^8 Vc для 0 5 у < с. На интервале (2а, оо) функции с
у(х) равна нулю. Вероятность попадания случайной величины в этот интервал равна е’2Л.
Следовательно, окончательное выражение для функции распределения Y имеОТ вид:
О,у <0,'
У =0,
Fy^ = \Fy^ = \e-2"x+^f с оe-2"x+^f с о' -а\у*-йакс+аХу ~аХу
Fy^ = \
Fy^ = \
e-2"x+^f с о
e-2"x+^f с о
е с + е с dy = 1 + е с -е с , 0 < у < с,
.1,У^с. П
Возвратимся к формуле (4.35). Важным применением этой формулы является случай, когда в качестве X берется равномерно распределенная в интервале (0; 1) случайная величина, а в качестве функции у(х) — функция, обратная некоторой функции распределения G(„r): \|/(Х) = G"1 (X).
Тогда в формуле (4.35) F(x) = х, 0 < х < 1,
и функция распределения случайной величины Y = \|/(Х) = G"1 (X) есть
FY(y) = F(<4y)) = F(G<y)) = G(y), -сс<у&сс.(4.42;
Последнее равенство широко используется при имитационном моделировании Для того чтобы выработать случайную величину, имеющую заданную функции распределения G(x), достаточно выработать равномерно распределенную в ММ' тервале (0; 1) случайную величину X и вычислить Y по формуле
Y = G1 (X).(4.43'
В частности, экспоненциально распределенная с параметром X случайная вели чина Y имеет функцию распределения G(z/) = 1 - exp (-Ху). Обратная этой фунК ции распределения есть функция
G1 (х) = —^ In (1 - х).
Следовательно, случайная величина Y вырабатывается по формуле
У="1п(1-Х).(4.44
Поскольку X и 1 - X имеют одно и то же равномерное распределение в интервя лс (0, 1), то предпочтительнее пользоваться формулой
У-"1п(Х).(4.45
Неравенства для моментов и вероятностей*
В настоящем разделе мы собрали важные неравенства для моментов и вероятностей, широко применяемые при установлении факта существования моментов, вычислении оценок для нижних и верхних границ вероятностей событий, доказательстве предельных теорем теории вероятностей (см. главу 7). Начнем с неравенств для моментов. Вначале докажем утверждения леммы 4.1.
Доказательство леммы 4.1
Покажем вначале, чтЬ если существует момент г-го порядка р г, то существует и любой момент меньшего порядка ц,., г' <г. Напомним, что существование момента означает выполнение условия (4.25), то есть абсолютную сходимость соответствующего интеграла. Рассмотрим следующее разбиение вещественной оси: (-со, оо) = (-оо, -1) U [-1, 1] (J (1, оо). Вне интервала (-1, 1)|х|г < |х|г, так что если здесь интеграл от|х|г сходится, то сходится интеграл и от}х|г. Интеграл от | jrl^ по интервалу (-1, 1) не превышает 1. Отсюда следует конечность интеграла (4.25) при г = г'.
(Е w|X| 2 +|Х|~(Е w|X| 2 +|Х|~Докажем теперь неравенство (4.27), означающее, что (£(|Х|Г ))|/г является неубывающей функцией от г > 0. Квадратичная функция от переменной и
(
Е w|X| 2 +|Х|~
(
Е w|X| 2 +|Х|~
= и2 £(| Х| "-1 ) + 2м£(| Х|" ) + £([ Х|
очевидно, положительна. Следовательно, эта функция с осью абсцисс не пересекается, то есть не имеёт корней. Поэтому ее дискриминант отрицателен:
£(|ХГ* ^(W* )>(£(|%Г))2,
то есть
(£(|ХГ"‘ ))Ч£(1^Г+* )У >(£(№'))2".
Полагая р = 1, 2, .... г и перемножая полученные неравенства, находим:
П(£(|Х|[-‘ )У(Е(|ХГ ))Р =
Р=1
Г*№ПГГ*№ПГ£(И)£(|ХГ)£(|ХГ )£(И)£(|ХГ)£(|ХГ )= £(|Х|)П(£|Х|")2"(£|ХГ+
Г*№ПГ
Г*№ПГ
£(И)
£(|ХГ)£(|ХГ )
£(И)
£(|ХГ)£(|ХГ )
1*2
= П(£(| ХГ ))2С^®™Г ГШ^Г ))2с.„-1(£(|А| )) r»i
Итак,
(£(|Х|Г)Г' <№Г ))'.
Лемма 4.3. (Неравенство Шварца.') Если фигурирующие ниже математические ожидания существуют, то для любых функций 1|/(х) и р(.г)
(4.46)(4.46)(£(V(X)p(X)))2 ^E(W2(X))E(p'4X)).
(4.46)
(4.46)
Доказательство
Поскольку при замене ц/ if р в (4.46) на ссхр и рр, где аир— любые постоянные, получается равносильное неравенство, то достаточно рассмотреть случай £(\р2(Х)) ■ = £(р2(Х)) = 1. Теперь для получения (4.46) достаточно взять математическое ожидание от обеих частей неравенства
2| V(^)P(^)I V2(A-) + p2(X). □
Следующее неравенство касается выпуклых функций. Напомним, что функция ц/(х), заданная на вещественном замкнутом интервале I, называется выпуклой, если для каждой точки а этого интервала существует так называемая опорная прямая L, проходящая через точку (а, ц/(а)) плоскости и целиком лежащая под графиком функции ц/(х)на I. Аналитическая запись условия выпуклости такая: при всех хе 1;
^(х) > т|/(а) + Х(х - а),
где X — тангенс угла наклона прямой L. >
Лемма 4.4. (Неравенство Йенсена.} Пусть X — случайная величина, сосредоточенная на интервале I, то есть Р^Х е 7} = 1, и имеющая математическое ожидание Е(Х). Тогда для выпуклой функции ц/(т)
E(W(X}}>W(E(X}}. (4.47)
Доказательство
Используя условие выпуклости для точки а = Е(Х) = ц и свойства математического ожидания (4.24), имеем:
£(v(X)) > £(vp(ц) + Х(Х -ц)) = £(ц/(ц )) + Х(£(Х)-ц) = у(ц) + 0 = y(p). О Математическое ожидание, моменты высших порядков, дисперсия и среднее квадратическое отклонение являются числовыми характеристиками случайной величины. Каждая из них характеризует распределение случайной величины одним числом. Разумеется, такая характеристика не будет полной. Однако она весьма лаконична и в ряде случаев вполне достаточна.
Моменты позволяют также оценивать вероятности попадания случайной величины в те или иные интервалы. Речь здесь идет об оценивании, поскольку указанные вероятности оцениваются посредством неравенств, выраженных только через моменты случайных величин и границы интервалов.
Чем больше моментов случайной величины известно, тем большей информацией о распределении случайной величины мы располагаем, тем более точными будут неравенства для вероятностей. Ниже мы покажем, как даже при минимальной информации, заключающейся в знании одного или двух первых моментов, можно оцепить распределение вероятностей. Приводимые леммы справедливы как для непрерывных, так п для дискретных случайных величии. Доказательства будут проведены только для непрерывного случая.
Лемма 4.5. Пусть X — неотрицательная случайная величина (то есть Р^Х i 0} - 1), математическое ожидание ц которой существует. Тогда для любого положительного х
(4.48)(4.48)Р{Х Z х } 5 ц/х.
(4.48)
(4.48)
Доказательство
Согласно определению математического ожидания
ц = ^xf(x)dx.о
Фиксируем некоторое х и разобьем область интегрирования в правой части последней формулы на интервалы (0, х') и [х, со). Тогда в силу неотрицательности подынтегрального выражения
И Jyf(y)dy > xj f(y)dy = хР(Х > xY□
В формуле (4.48) задействован только один момент — математическое ожидание. Следующий результат предполагает использование двух моментов.
Лемма 4.6. (Неравенство Чебышева?) Если дисперсия ст2 случайной величины X существует, то для любого положительного х
.'Р{|Х-р|>х} <о7х2.(4.49)
Доказательство
Запишем неравенство (4.48) для случайной величины У и переменной х2 в виде: /’{У > х2} < £(У)/х2. Если теперь положить У = (Х -ц)2, то согласно определению дисперсии (4.29) £(У) = Е((Х-ц)2) = ст2. Теперь неравенство (4.48) имеет вид
Р{(Х-ц)2 >х2} <^/х\
который эквивалентен неравенству (4.49).□
Неравенство Чебышева, названное так по имени впервые получившего его выдающегося русского математика Пафнутия Львовича Чебышева (1821-1894), играет большую роль в теории вероятностей. Следующее неравенство не столь известно, однако дает большую информацию о распределении случайной величины.
Лемма 4.7. (Обобщенное неравенство Чебышева?) Пусть функция с|/(х) неотрицательна, монотонно возрастает при х > 0 и существует математическое ожидание £(\|/(|Х])) = т. Тогда при х > О
Р{|Х| > х} < m/\j/(x).(4.50)
Доказательство
Повторяя доказательство неравенства (4.48), получаем для х > 0:
m = /4(1 у\ )f(y)dy sj Ч(Ы Жу^у + |ч/(Ы }f(y}dy >
ч(хУ^ Ду)бу Ц J(y>iy) = <x)P^^ > x\
что эквивалентно неравенству (4.50).□
доказанное неравенство позволяет получить много других полезных неравенств. В частности, если момент четного порядка ц2г существует, то для х > 0:
Р{|Х| 'гх^ц^/х2'.(4.51)
Если момент четвертого порядка ц 4 случайной величины X существует, то для к > 1
Р{|Х-И|>М5ггт^тгт-«М)
ц4 + к ст -2k а
Пример 4.13. В настоящем примере анализируется точность неравенства Чебышева. С этой целью рассматривается несколько распределений, для которых подсчитываются точные вероятности. Эти вероятности сравниваются с оценкой, даваемой неравенством Чебышева.
Фиксируем значения математического ожидания ц и дисперсии о2 для рассматриваемых распределений. Используя табл. 4.4, будем параметры распределений подбирать так, чтобы получались заданные значения цист2. Остановимся на четырех распределениях: равномерном, Эрланга, нормальном и логарифмически нормальном.
Для равномерного распределения (4.7) для значений параметров а и b имеем систему из двух уравнений:
(« + 6)/2 = ц,(Ь -а)2/12 = ст2.
Решая эту систему, находим, а = ц - 2 V3 ст, b = ц + 2V3 О.
Для распределения Эрланга (4.18 ) ц = //X, ст2 = //X2. Отсюда сразу получаем X = ц / ст2,I = ц2 / ст2. Значения цист следует подобрать так, чтобы параметр / получался целым.
Для нормального распределения цист совпадают со значениями соответствующих параметров.
Для логарифмически нормального распределения (4.39), подставляя в формулы (4.41) вместо математического ожидания Е(У) и дисперсии О(У) значения ц и ст2, получаем систему уравнений
ц = ехр(а + s2/2), ст2 = ехр(2а + s2 )(exp(s2) -1).
Отсюда находим:
ст2/ц2 =exp(s2)-l,5 = 71п((ц2 +ст2)/ц2), а = 1п.
VP + °
Мы интересуемся вероятностью события {| А" — ц | > лс} для некоторого положителЬг ного значения аргумента х. Оценку сверху этой вероятности дает неравенство Чебышева (4.49). Мы хотим сравнить эту оценку с истинными вероятностями для различных распределений, подсчитываемыми по их функциям распределений F(x\
Р{|Х-ц| >.г} = 1-Р{|Х-ц| <х} = 1-Р{-х<Х-ц<х} =(4М)
= 1-(Г(ц + х)-Г(ц-х)).
Рассматриваемые нами функции распределения даются формулами (4.8), (4.19), (4.12) и (4.40). Вычисленные значения вероятностей для ц = 1, а = 0.5 и разных * приведены в табл. 4.5. Они позволяют сравнить истинные вероятности с оценкой, даваемой неравенством Чебышева. Из таблицы видно, что неравенство Чебышева дает верхнюю оценку рассматриваемой вероятности. Обычно эта оценка
оказывается очень грубой. Например, при х = 0.467 в случае логарифмически нормального распределения истинная вероятность составляет 0.128, в то время как неравенство Чебышева дает значение 0.51. Далее, при х = 0.667 эта вероятность для равномерного распределения будет нулевой, а неравенство Чебышева дает 0.250. Однако следует иметь в виду, что неравенство Чебышева является универсальным: оно пригодно как для дискретных, так и для непрерывных величин, положительных и отрицательных, имеющих и не имеющих моменты порядка выше второго и пр.
Кроме того, следующий пример показывает, что неравенство Чебышева не может быть улучшено, если только не использовать дополнительную информацию о распределении случайной величины. Этот пример касается дискретной случайной величины, возможные значения которой есть -1, 0, 1, а соответствующие вероятности их принятия 1/18, 8/9, 1/18: Р\Х = -1} = 1/18, Р^Х = 0} = 8/9, Р\Х = 1} = 1/18. Легко подсчитать, что для этого распределения ц =0, ст2 = 1/9, ст = 1/3.
Рассмотрим событие {|Х| > 1}. Его точная вероятность
Р{|Х|> 1} = Р{Х = -1} + Р{Х= 1} = 1/18+ 1/18 = 1/9.
Это же значение дает и неравенство Чебышева:
Р{|Х| >1}=Р{|Х-р| >1}<ст2/12 = 1/9 = 0.111.
Итак, для данного примера неравенство Чебышева дает точное значение вероятности и поэтому в общем случае не может быть улучшено. Можно сделать также следующий важный вывод, называемый «правилом трех сигм»: вероятность того, что случайная величина отклоняется по абсолютному значению от своего математического ожидания более, чем на три о, не превосходит 1/9. Отметим, что для нормального распределения эта вероятность составляет 0.003.
Таблица 4.5. Анализ точности неравенства Чебышева
Распределения
х = 0.467
л: = 0.533
х = 0.600
х = 0.667
х = 0.733
х = 0.800
х = 0.867
Равномерное
0.192
0.076
0
0
0
0
0
Эрланга
0.147
0.096
0.063
0.041
0.028
0.020
0.014
Нормальное
0.162
0.110
0.072
0.046
0.028
0.016
0.009
Логарифм, нормальное
0.128
0.084
0.058
0.042
0.032
0.024
0.019
Неравенство Чебышева
0.510
0.391
0.309
0.250
0.207
0.174
0.148
Компьютерный практикум № 6. Распределения непрерывных случайных величин в пакете Mathcad
Цель и задачи практикума
Целью практикума является приобретение практических навыков по работе с непрерывными случайными величинами в пакете Mathcad.
Задачами данного практикума являются:
построение графиков кривых плотностей для рассмотренных в данной главе распределений: равномерного, экспоненциального, нормального и Эрланга И комбинации двух нормальных распределений;
вычисление вероятности отбраковки детали (см. пример 4.3);
расчет значения функции распределения и графика математического ожидания оставшегося времени жизни для индивида, дожившего до возраста х (см. пример 4.11);
анализ точности неравенства Чебышева (см. пример 4.13).
Необходимый справочный материал
Как и для дискретных случайных величин, в пакете Mathcad имеются встроенные функции для работы с распределениями непрерывных случайных величин. Функции, имена которых начинаются с букв d ир, вычисляют значения плотности и функции распределения в заданной точке, а с буквы г — вырабатывают заданное число соответствующих случайных величин. Перечислим их для рассмотренных выше распределений:
dunif^x, а, Ь) и punif^x, а, Ь) выдают значения (4.7) и (4.8) для равномерного в (о, Ь) распределения;
dexp^x, X) и рехр(х, X) выдают значения (4.9) и (4.10) для экспоненциального распределения с параметром X;
dnorm(x, р, а) и рпогт(х, ц, а) выдают значения (4.11) и (4.12) для нормального распределения с параметрами ц и а;
dgamma(x, I) и pgamma(x, I) выдают значения (4.18) и (4.19) для распределения Эрланга с параметрами X = 1 и /;
dlnorm(x, a, s) и plnorm^x, a, s) выдают значения (4.39) и (4.40) для логарифмически нормального распределения с параметрами а и s;
Фрикции rexp(n, X), пгогт(п, ц, a), rgamma(n, I) и rlnorm(n, a, s) вырабатывают п случайных величин с вышерассмотренными распределениями.
Для выработки непрерывных случайных величин с распределениями, которых нет п Mathcad, следует использовать формулу (4.45). Фигурирующая в ней равномерно распределенная в интервале (0; 1) случайная величина У вырабатывается фрикцией mdQt, х), если положить х = 1 (верхняя граница интервала равна 1) и и - 1 (если вырабатывается только одна случайная величина).
Согласно обшей формуле (4.3) функция распределения непрерывной случайной величины выражается через плотность распределения путем интегрирования последней. В пакете Mathcad имеется оператор, вычисляющий значения определен" тих интегралов. Для использования его необходимо вызвать шаблон интеграла и.। палитры математических символов (Calculus Toolbar) или нажать клавишу &. Шаблон содержит четыре места ввода: для подынтегральной функции (в пашем случае это — плотность распределения); для нижнего предела интегрирования (наименьшее возможное значение рассматриваемой случайной величины); для верхнего предела интсгриропапия (переменная функции распределения ИЛИ се числовое значение); для переменной пптегриропаппя. Отметим, что интегралы
(как и суммы и другие операторы) могут входить в сложные математические формулы. Достигаемая при этом визуализация аналитических выражений — важнейшее достоинство системы Mathcad.
Другим важным достоинством Mathcad является возможность графического представления функций. Это особенно важно для плотностей распределений, поскольку их графики более наглядны, чем графики функций распределения. Для создания графиков используются шаблоны, перечень которых представлен в подменю Graph (График) меню Insert (Вставка). Для построения графиков кривых плотностей или функций распределения используется двумерный декартов график, вызываемый командой X-Y Plot из подменю Graph. По оси абсцисс откладываются значения переменной, а по оси ординат — значения плотности или функции распределения. После ввода команды на экране появляется пустой прямоугольник с местами ввода данных в виде маленьких темных прямоугольничков. В прямоугольничек, расположенный на оси абсцисс, следует ввести имя переменной (например, х, у и т. п.), а в прямоугольничек на оси ординат — имя функции. В одном окне можно построить несколько графиков функций. Список данных функций следует вводить через запятые. Диапазоны изменения значений переменных и функций (масштаб графика) по умолчанию задаются автоматически. При необходимости можно прибегнуть к форматированию. Команда форматирования позволяет изменять параметры графика и предоставляет пользователю разнообразные возможности по оформлению графиков.
Для вызова окна форматирования текущего графика следует его выделить, щелкнув мышью на графике. Далее необходимо выполнить команду прикладного мелю Format—Graph—X-Y Plot... или дважды щелкнуть мышью по выделенному графику. В результате откроется окно, представленное на рис. 4.5.
Рис. 4.5. Вид окна форматирования текущего графика
Окно содержит четыре закладки. Первая закладка X-Y Axes предназначена для оформления осей координат и их масштабирования. Вторая закладка Traces используется для изменения свойств графиков (вида линии, цвета, толщины, тина и др.). Третья закладка Labels предназначена для оформления графиков (ввода
заголовка, надписей на осях, имен кривых и отображаемых переменных). Последняя закладка Defaults обеспечивает возврат установок, назначенных по умолчанию. Здесь же можно изменить установки, назначаемые по умолчанию.
График можно перемещать по выделенному полю экрана. Для этого необходимо выделить график, щелкнув по нему мышью. Далее следует подвести указатель мыши к выделенной границе, так чтобы вместо маленького красного крестика появился вид ладони руки. Теперь, оставляя нажатой левую кнопку мыши, необходимо перемещать мышь до нужного места. После отпускания кнопки мыши новое место графика будет зафиксировано. Перемещение графика можно осуществить и по-другому. Если при выделенном графике нажать на клавишу F3, то график пропадет — он окажется в буфере обмена данных. Переместив курсор в новое место и нажав на клавишу F4, мы размещаем график на этом месте.
Для изменения размера графика следует подвести указатель мыши к маркерам изменения размера (черным маленьким прямоугольничкам на осях). При этом указатель приобретет форму двусторонней стрелки. Нажав левую кнопку мыши и захватив сторону или угол шаблона графика, не опуская кнопки, можно растягивать или сжимать график в горизонтальном, вертикальном или диагональном направлениях. После отпускания кнопки размер графика изменится.
Реализация задания
Для проведения вычислений нам понадобятся одиннадцать функций пользователя. Программные модули, реализующие эти функции, представлены на рис. 4.6 и рис. 4.7.
Практикуй Ne 6. Непрерывный случайные величиныПользовательские Функции
Усеченное экспоненциальное распределение
т1 -хх ( -ха -хьГ1 п
TrunkExp(x .X , a ,b) = ifLa < х < Ь,Х е Де -е /.0J
Смесь двух нормальных распределений
MixN(x, р ,д1, о i, д2, о2):- р dnorm(x ,д1 ,о1) + (1 - р) dnorm(x,/t2.o2)
Вероятности отбраковки детали
q0(6 .о) - 1 - pnormf — ,0,1 j + pnorm|-— ,0,1
(ГбДГ бДДГ(бДГб'
q1(6,p.o ,<Н)1 - (1 - р) pnorm — .0,1 - pnorm -—,0.1 - р pnorm — ,0,1 - pnorm —-,0.1
\\ р)\ °))\\ff1/\ о1 ,
рна(6.р.„,„1),<Н±Н!?ДдД
1 '*q1(6 ,p.o »o1)
Логарифмически нормальное распределение( -i
1i—
0ogn(y,a,s) - - dnorm(ln(y) ,a ,s) Flogn(y.a.s):-pnorm(ln(y) ,a,s) Evlogn(a.s) ■ o'* ^.
У1(-150
V^.s) J^HAlJ ReSUd(X'a'S) ” i-Fiogn(x,a,s) Jx <У ^-(У.-.») *
Рис. 4.6. Функции пользователя для работы с непрерывными случайными величинами
Функции имеют следующее назначение.
ТпиФЕхрГх, X, а, Ь) вычисляет значение в точке х плотности экспоненциального распределения (4.9) с параметром X, усеченного интервалом (а, Ь):
/„,„(r) = Xc x'Av >н е кЬ\/„,„(r) = Xc x'Av >н е кЬ\а < х < Ь.а < х < Ь.(4.54)(4.54)
/„,„(r) = Xc x'Av >н е кЬ\
/„,„(r) = Xc x'Av >н е кЬ\
а < х < Ь.
а < х < Ь.
(4.54)
(4.54)
MixN(x, р, ц,, о,, р 2, а2) вычисляет значение в точке х плотности распределения смеси двух нормальных распределений (4.11) с параметрами р,, о, и ц2, о2 и долей первого распределения р:
(4.55)(4.55)/(х) - Р — ф — + (1 - р)ф —, со < X < со.
(4.55)
(4.55)
°1\ СТ1 7°2\°2 У
Функции q0(5, о), qHP* 6, о, Oj )и РНА вычисляют вероятности qc, qt и Р^Н0 | А} из примера 4.3.
Следующие функции связаны с рассмотренным в примере 4.11 логарифмически нормальным распределением: flogn(y, a, з) и Flogn^y, a, s) вычисляют в точке у значения плотности (4.39) и функции (4.40) распределения с параметрами а и з; Evlogn(a, s) и Vlogn(a, s) находят математическое ожидание и дисперсию по формулам (4.41); Resud^x, a, s) рассчитывает математическое ожидание остаточного времени жизни по формуле:
Res(z/) = £(У - 1/|У > у) =
1 Vx-y ( (In(x)-a)) ,(4.56)
l-O((ln(.y)-<7)/s)J0 ViZnsx (2s2)
Функция Cheb(p, о) вычисляет вероятности (4.53) для рассмотренных в примере 4.13 распределений, а также оценку, получаемую по неравенству Чебышева (4.49). Программный модуль, реализующий данную функцию, представлен ниже на рис. 4.7.
СКеЬ(д ,у)СКеЬ(д ,у)а д - о -/з
СКеЬ(д ,у)
СКеЬ(д ,у)
bд + о -/3
X т-д »'2
Пользовательские функции (продолжение). Неравенство ЧебышеваПользовательские функции (продолжение). Неравенство Чебышева1<_д2 о"2
Пользовательские функции (продолжение). Неравенство Чебышева
Пользовательские функции (продолжение). Неравенство Чебышева
A3 j *- 1 - рпогпЦд + х.д , а) + рполп(д - х,д ,о)
Ад । *- 1 - рпогт(т(д + х) ,aa,s) + И(д > х ,рпогт(1п(д - х) ,aa,s) ,0)
Asj*-»2 х"2
А
Рис. 4.7. Функция пользователя для работы с неравенством Чебышева
На вход подаются математическое ожидание ц и среднее квадратическое отклонение а. Для них по формулам, приведенным в примере 4.13, рассчитываются параметры: а и b равномерного распределения; X и / раенределення Эрланга; а и л
логарифмически нормального распределения (в программе используется обозначение аа вместо а, чтобы не путать с аналогичным параметром равномерном распределения).
В программе предусмотрен расчет вероятностей для семи значений аргумента X» начиная со значения 1.2о с интервалом 0.2о. Эти значения аргумента содержатся в первой строке выдаваемой программой матрицы. Последующие строки содержат значения вероятностей для рассмотренных распределений: первая строма — для равномерного, вторая — Эрланга, третья — нормального, четвертая — логарифмически нормального. Последняя строка содержит оценку, даваемую неравенством Чебышева.
Результаты вычислений
Результаты выполнения задания представлены на рис. 4.8-4.11. Вначале строятся графики кривых плотностей для четырех вышерассмотренных распределений: равномерного, экспоненциального, нормального и Эрланга (рис. 4.8). Графики построены для разных значений параметров, что позволяет проанализировать ИХ влияние на вид кривых. '
х -0,0,1. 8х -0,0,1. 8Равномерное распределениеРавномерное распределениеЭкспоненциальное распределениеЭкспоненциальное распределение
х -0,0,1. 8
х -0,0,1. 8
Равномерное распределение
Равномерное распределение
Экспоненциальное распределение
Экспоненциальное распределение
Рио. 4.8. Графики плотностей распределений
Для равномерного распределения (4.7) построены две плотности: для значений параметров а = 2, 6 = 6иа = 1,6 = 7. Как видно из табл. 4.4, математическое ожидание для обоих случаев совпадает и составляет Е(Х) = (а + 6)/2 = 4. В то же время дисперсии D(X) = (b - а)2/12, соответственно, равны 4/3 и 3. Эти значения и формы кривых плотностей показывают, что дисперсия действительно является мерой разброса случайной величины.
Для экспоненциального распределения (4.9) также построены две плотности для значений параметров X = 1 и X = 0.5. Обратное значение этого параметра равно математическому ожиданию случайной величины Е(Х) = 1/Х. Из графика наглядно видно, что во втором случае среднее значение действительно больше.
Для нормального распределения (4.11) построены три кривые плотностей для значений параметров ц = 3, о = 1; ц = 3, а = 1.5; р =5, ст = 1. Из представленных графиков видно, что изменение значения параметра р (среднего значения) при постоянном ст (среднем квадратическом отклонении) приводит к эквидистантному сдвигу кривой плотности вдоль оси абсцисс. Если же р постоянно, то с ростом ст кривая становится более плоской.
Для распределения Эрланга (4.18) построены четыре кривые плотностей для значений параметра / = 1, 2, 4 и 5 при одном и том же значении параметра X = 1. Из графика видно, что при / = 1 мы имеем экспоненциальное распределение. С ростом значения этого параметра распределение Эрланга приближается к нормальному.
Далее (рис. 4.9) представлен график кривой плотности обычного (4.9) и усеченного (4.54) экспоненциального распределения с параметром X = 0.8. Во втором случае распределение усечено только справа значением 2.5, то есть в формуле (4.54) а = 0, b = 2.5. Проверяется также выполнение условия нормировки для плотности: интеграл от нее равен единице. На втором графике приведена кривая плотности смеси двух нормальных распределений (4.55) с параметрами р = 0.2, ц, = 1, Ст] =0.5, ц2 = 4, ст2 = 1.
Вероятности отбраковки детали, рассматривавшиеся в примере 4.3, были рассчитаны для следующих исходных данных: р = 0.2, 5 = 1, ст = 0.4 (см. рис. 4.10 и табл. 4.3). Значения параметра ст, варьировали в виде ст, = го, где z = 1, 1.1,..., 2.8. Если z = 1, то ст = ст,, фактически разладки станка нет, и вероятности q^ и qx совпадают и равны 0.012. С ростом ст, вероятность отбраковки qx увеличивается. При ст, = 2.8 она почти в семь раз превышает вероятность q0 для случая отсутствия разладки.
Для логарифмически нормального распределения из примера 4.11 были подсчитаны значения функции распределения (4.40) и график математического ожидания оставшегося времени жизни для индивида, дожившего до возраста х. В качестве параметров распределения (4.39), (4.40) были приняты следующие: а = 3.9, $ = 0.43. Подсчитаны также математическое ожидание Evlogn и дисперсия Vlogn этого распределения.
В заключение рассматривалась точность результатов, получаемых по неравенству Чебышева. Распечатка результатов работы функции Cheb для значений параметров ц = 1, ст = 0.5 приведена на рис. 4.11. Эти результаты были прокомментированы в примере 4.13.
TrunkExp (х, 0.8,0,2.5)dexp(x ,0.8)TrunkExp (х, 0.8,0,2.5)dexp(x ,0.8)Смесь двух нормальных распределенийСмесь двух нормальных распределенийПроверка плотности распределения на нормировку
TrunkExp (х, 0.8,0,2.5)
dexp(x ,0.8)
TrunkExp (х, 0.8,0,2.5)
dexp(x ,0.8)
Смесь двух нормальных распределений
Смесь двух нормальных распределений
[ TrunkExp(x,1,0.2) dx = 1
J0
Проверка плотносги распределения на нормировку
Г10
MixN(x.0.2,1,0.5,4,1)dx-1
-2
Рис. 4.9. Графики плотностей распределений (продолжение)
Вероятности отбраковки деталиВероятности отбраковки деталиz-1,12 3q0(1,0.4) - 0.012z-1,12 3q0(1,0.4) - 0.0120.0120.80.0170 5720.0250.4010 0340 2960.0430,2320.0520,190 06101630 06901430.07701290 09401180.0910.1090.0120.80.0170 5720.0250.4010 0340 2960.0430,2320.0520,190 06101630 06901430.07701290 09401180.0910.109q1(1.0.2,0,4,0.4 z) PHA(1,0.2,0.4.0,4 z)q1(1.0.2,0,4,0.4 z) PHA(1,0.2,0.4.0,4 z)Функция распределенияW :-1. 9F1ogn(w.3.9,0.43)04.399 10-143.636 1G-112.52 10-a4 995 10-84 722 10-72.755-10 e1 14910-53 748 IO'5Функция распределенияW :-1. 9F1ogn(w.3.9,0.43)04.399 10-143.636 1G-112.52 10-a4 995 10-84 722 10-72.755-10 e1 14910-53 748 IO'5v - 20,30.. 120Flogn(v, 3.9,0.43)0 01801230.3120.5110 6740 79?0.8690918"0.9490 9690.98v - 20,30.. 120Flogn(v, 3.9,0.43)0 01801230.3120.5110 6740 79?0.8690918"0.9490 9690.98Погарифмически нормальное распределение
Вероятности отбраковки детали
Вероятности отбраковки детали
z-1,12 3q0(1,0.4) - 0.012
z-1,12 3q0(1,0.4) - 0.012
0.012
0.8
0.017
0 572
0.025
0.401
0 034
0 296
0.043
0,232
0.052
0,19
0 061
0163
0 069
0143
0.077
0129
0 094
0118
0.091
0.109
0.012
0.8
0.017
0 572
0.025
0.401
0 034
0 296
0.043
0,232
0.052
0,19
0 061
0163
0 069
0143
0.077
0129
0 094
0118
0.091
0.109
q1(1.0.2,0,4,0.4 z) PHA(1,0.2,0.4.0,4 z)
q1(1.0.2,0,4,0.4 z) PHA(1,0.2,0.4.0,4 z)
Функция распределенияW :-1. 9
F1ogn(w.3.9,0.43)0
4.399 10-14
3.636 1G-11
2.52 10-a
4 995 10-8
4 722 10-7
2.755-10 e
1 14910-5
3 748 IO'5
Функция распределенияW :-1. 9
F1ogn(w.3.9,0.43)0
4.399 10-14
3.636 1G-11
2.52 10-a
4 995 10-8
4 722 10-7
2.755-10 e
1 14910-5
3 748 IO'5
v - 20,30.. 120
Flogn(v, 3.9,0.43)
0 018
0123
0.312
0.511
0 674
0 79?
0.869
0918"
0.949
0 969
0.98
v - 20,30.. 120
Flogn(v, 3.9,0.43)
0 018
0123
0.312
0.511
0 674
0 79?
0.869
0918"
0.949
0 969
0.98
Математическое ожидания оставмегося времени жизниМатематическое ожидания оставмегося времени жизниМатематическое ожиданиеМатематическое ожиданиео - 1.. 120 (возраст)о - 1.. 120 (возраст)Рис. 4.10. Результаты решения примеров 4.3 и 4.11Рис. 4.10. Результаты решения примеров 4.3 и 4.11
Математическое ожидания оставмегося времени жизни
Математическое ожидания оставмегося времени жизни
Математическое ожидание
Математическое ожидание
о - 1.. 120 (возраст)
о - 1.. 120 (возраст)
Рис. 4.10. Результаты решения примеров 4.3 и 4.11
Рис. 4.10. Результаты решения примеров 4.3 и 4.11
Evlogn(3.9,0.43)-54,187
Дисперсия
Vlogn(3.9,0.43) - 596,354
Анализ точности неравенства Чебышева
0 0.467 0.5J3
0 0,192 0J076
0 0.147 0.096
0.6 0 0.063
0.667 0.733
0.8 0 0.02
0 867
0
0.014
0
0.041
0
0.028
Chebf1,- | -
1 3j
0
0,162
0.11
0.072
0.046
0,028
0.016
9.322 к 10*3
0
0.128
0.084
0.058
0.042
0.032
0.024
0.019
ч0
0.51
0.391
0.309
0.25
11.207
0.174
0.148
Рис. 4.11. Анализ точности неравенства Чебышева
Задания для самостоятельной работы
Построить графики различных плотностей распределений и с их помощью проанализировать влияние параметров на вид графиков.
Составить программу, вычисляющую функцию распределения fyO/) из примера 4.12 и строящую график этой функции.
Составить программу и с ее помощью экспериментально проверить неравенство Шварца (4.46) для выбранных функций у пр и распределения непрерывной случайной величины X.
Составить программу и с ее помощью экспериментально проверить неравенство Йенсена (4.47) для выбранных функции у и распределения непрерывной случайной величины X.
Проанализировать логику работы функции Cheb^p, о), представленной на рис. 4.7.
Задачи
Задача 4.1. Пусть X — случайная величина, имеющая равномерное распределение с параметрами а = N/2, b = 2N, где N — номер студента по групповому журналу. Построить графики плотности и функции распределения. Найти вероятность попадания X в следующие множества:
(N;3/2N);
(N;3N);
(N/4; 1ST) U (3/2N; 3N)."
Задача 4.2. Решить задачу 4.1 в предположении, что X — экспоненциально распределенная с параметром К-2/N случайная величина.
Задача 4.3. Решить задачу 4.1 в предположении, что X — нормально распределенная с параметрами р = N, о = -JN случайная величина.
Задача 4.4. Решить задачу 4.1 в предположении, что X имеет распределение Эрланга с параметрами К = \/N, 1 = 2.
Задача 4.5. Какой должна быть константа с, чтобы функция ,. .|с(1 + х)~\ х > а,
= \ А
(О,х < а,
где a, k > 0, была плотностью распределения?
Задача 4.6. В условиях предыдущей задачи определить, при каких значениях параметра к существует математическое ожидание?
Задача 4.7. Математическое ожидание имеет смысл среднего значения случайной величины. Проиллюстрируйте это на примере нормального распределения с параметром ст = 1. Постройте и проанализируйте графики плотности этого распределения при различных ц (например, ц =0, 2, 5).
Задача 4.8. Дисперсия и среднее квадратическое отклонение являются мерой разброса случайной величины около ее среднего значения. Проиллюстрируйте
это на примере нормального распределения с параметром ц = 0. Постройте и пре- анализируйте графики этого распределения при различных а (например, а= 1, 2,5). Задача 4.9. Моменты какого порядка существуют для плотности, приведенной в задаче 4.5? Вычислите эти моменты.
Задача 4.10. Распределение Коти. Плотность этого распределения дается формулой
/(х) = 1/(л(1 + х2 )), -аз <х <-».(4.57)
Покажите, что никакие моменты этого распределения (даже математическое ожидание) не существуют.
Указание. Достаточно показать, что интеграл от xf{x) по интервалу (0, а?) стремится к да при а -» оо.
Задача 4.11. Распределение Лапласа. Плотность этого распределения есть = ^ехр(-|х|), —аз<х<аз.
Постройте график этой плотности. Найдите момент порядка г.
Указание. Сведите дело к уже известным результатам для экспоненциального распределения.
Задача 4.12. Случайная величина X имеет нормальное распределение с параметрами ц и а2. Покажите, что ее среднее отклонение
£(| X -ц|) = 0^2/я * 0,7979а.
Задача 4.13. Найдите выражение для плотности усеченного распределения Эрланга, сосредоточенного на интервале (а, Ь), где а<Ь. Постройте график плотности распределения с параметрами X = 1 и I = 3, сосредоточенного в интервале (О, 2). Обсудите случай b -» со.
Задача 4.14. Найдите выражение для плотности усеченного нормального распределения, сосредоточенного на интервале (а, Ь\ где а<Ь. Постройте график плотности усеченного нормального распределения с параметрами ц = 1, а = 2, сосредоточенного на интервале (0, 4).
Задача 4.15. Распределение Парето. Плотность этого распределения задается как
=, х>а.(4.59)
а ух )
и равна нулю при х < а. Здесь k > 1 — параметр распределения.
Покажите, что математическое ожидание существует и равно ак/^к - 1). При каких условиях существует момент r-го порядка?
Задача 4.16. В условиях задачи 4.1 найдите точное значение вероятности Р{Х I АГ) и сравните его с оценкой, получаемой по неравенству (4.48).
Задача 4.17. В условиях задачи 4.2 найдите точные значения вероятности Р^Х г х) при х = N; IN; 3N и сравните их с оценками, получаемыми по неравенству (4.48).
Задача 4.18. В условиях задачи 4.3 найдите точное значение вероятности Р{ | X - N| > 2^Х} и сравните его с оценкой, получаемой по неравенству Чебышева (4.49).
Задача 4.19. В условиях предыдущей задачи оцените эффективность неравенства (4.51).
Задача 4.20. Рассмотрите пример 4.12 для случая, когда X имеет равномерное распределение в интервале (0, За).
Задача 4.21. Рассмотрите пример 4.12 для случая, когда X имеет нормальное распределение с параметрами ц = а и а2.
Задача 4.22. Доказать свойства математического ожидания и дисперсии (4.24) и (4.31), используя явное выражение (4.38) для плотности линейного преобразования У = а + ЬХ.
Многомерные дискретные случайные величины
Распределения многомерных дискретных случайных величин
Ранее рассматривались случайные величины, которые принимали только скалярные значения. Теперь мы переходим к изучению случайных величин, являющихся векторно-значными.
Определение 1. Многомерной случайной величиной (случайным вектором) X называют совокупность одномерных случайных величин Хь Х2,..., Хт, определенных на одном и том же пространстве элементарных событий П:
Х(Ю) = (Xt(со), Х2(со)Хт(<в)).(5.1)
Как и раньше, обозначение элементарного события со обычно опускают и пишут Х = (Х„Х2Хт).
Начнем изучение многомерных случайных величин с дискретного случая, когда все случайные величины Хь Х2, ..., Хт — дискретные.
Определение 2. Распределением вероятностей многомерной дискретной случайной величины X = (Хь Х2,..., Хт) называется система равенств
Р(Х1=х^,Х2=х^Хт=х^=р,аг,„,
5=1,2,..., ^,) =1,2, ...,т,(5.2)
где х^ и (х,‘\ х.^, ..., х^ ) — возможные значения одномерной случайной величины Xj и многомерной случайной величины X соответственно, kj — число возможных значений Xj.
Псроятпости pit f2...j должны удовлетворять условиям неотрицательности Рц ! 1т ^0 и нормировки
Z..-I-(5.3)
-1 »2~^
Обычно распределение вероятностей (5.2) многомерной дискретной случайной величины задастся аналитически — с помощью формул. Примером такого задания является полиномиальное распределение (2.14) с параметрами п и pt,Pi pw, где п - целое положительное число, а вероятности (р^ удовлетворяют условию нормировки Pi + Pi + ... + рт= 1. Оно определяет распределение миогомер-
ной дискретной случайной величины X = (Хь Х2, ..., Хт), компоненты которой принимают целочисленные неотрицательные значения, такие, что сумма их равняется п;
Р^Х^г^з^п^-—^-—i, + i2 + ...+!„ = п. (5.4)
Если число компонент равно двум, то говорят о двумерной случайной величине X = (X], Х2). В этом случае распределение вероятностей (5.2) удобно задавать таблицей (матрицей). Ее строки соответствуют возможным значениям первой компоненты, а столбцы — значениям второй компоненты. На пересечении их стоят вероятности соответствующих значений:
PiJ =Р{Х, =х<’>,Х2 =х<2>}.(5.5)
Итак, р^ есть вероятность того, что первая компонента примет свое i-e возможное значение, а вторая — j-e.
Определение 3. Частное ^маргинальное-) распределение отдельной компоненты Xj находится суммированием р, a.. t по всем индексам, отличным от г). Оно обозначается р^' = Р{Х; = х,}. В частности,
РкХ. = х^ = ^,„.(5.6)
>2=|'и-*
Аналогично определяется двумерное распределение компонент Xt и Х2:
= № = х^>,Х2 =х^}=Х(5-7)
<3=1‘«=i
Пример 5.1. Рассмотрим распределение вероятностей двумерной случайной величины X = (X], Х2), заданное в табл. 5.1. Первая компонента X] имеет три возможных значения -1, 0, 1. Число возможных значений второй компоненты Х2 равно четырем — это -2, 1, 2, 5. В таблице приведены вероятности (г = 1, 2, 3; j = 1, 2, 3, 4) всех двенадцати комбинаций возможных значений обеих компонент. Например, вероятность того, что первая компонента примет значение ноль, а вторая два, р23 = Р{Х] = 0, Х2 = 2} = 0.10. Последние столбец и строка таблицы содержат частные распределения, соответственно, первой и второй компоненты. Так, P{Xj = 0} = 0.25, Р{Х2 = 2} = 0.25. Сумма элементов последних столбца и строки равна единице, что говорит о выполнении условия нормировки (5.3).□
Таблица 5.1. Распределение вероятностей {р,,} двумерной случайной величины
х<2> = -2
х^ = 1
х«2)=2
х*2) = 5
Р№ = ^°}
х}° = -1
0.05
0.10
0
0.10
0.25
х<'> = о
0
0.15
0.10
0
0.25
х<’> = 1
0.10
0.20
0.15
0.05
0.50
Р№ - *<2>}
0.15
0.45
0.25
0.15
1
Математическое ожидание £(ХД моменты £(XJ ) и дисперсия D^Xj) каждой компоненты случайной величины Xj определяется по формулам (3.16), (3.22) и (3.23) или (3.24).
Определение 4. Если Р{Х( = х^9} > 0, то существует условное распределение вектора (Х2, Х3 ..., Хт") при условии, что {Xj = х<°}:
_ r<2)'2 ’_ r<2)'2 ’
_ r<2)
'2 ’
_ r<2)
'2 ’
В частности, условное распределение компонента Х2 при условии, что j Xj =Хц)
Р =х^,Х2 ^Ч
Р Х2 =х^] X, = х<р [ = -Аг(5.9)
J Р х|=х<;>
Отметим, что в определении 4 в условии может фигурировать любая величина Х1( а в качестве вектора (Х2, Х3.... Хт) — любой вектор, не содержащий величину Х(. Определение 4 было дано для величины Xj с целью упрощения формулировки.
Условные распределения обладают всеми свойствами обычных распределений. В частности, для них можно определить математическое ожидание, моменты и дисперсию, если только выполняются обычные условия на их существование. Эти числовые характеристики называются условными.
Определение 5. Пусть P^Xj =х9) j >0. Условным математическим ожиданием случайной величины Х2 при условии, что случайная величина Xj приняла значение Х(|, то есть что произошло событие |х, =х^ j-, определяется формулой
£(Х2|Х, = х<1>)-Ы^Р {х2 =х<2)|Х, = 4°}. (5.10)
Если число возможных значений компоненты Х2 бесконечно: k2 = оо, то для существования условного математического ожидания дополнительно требуется выполнение абсолютной сходимости суммы членов бесконечного ряда:
У|х,(2)| p|x2=x‘2)|Xj =х<‘>| <оо.
<2-1I)
С тем чтобы отличать обычное математическое ожидание от условного, часто первое называют безусловным. Иногда его удобнее вычислять через условные математические ожидания, используя следующую теорему.
Теорема 5.1. Если математическое ожидание £(Х2) существует, то оно может быть вычислено по формуле
£(Х2)=£Р X, =х^ \-Е<Хг\Хх =х^\(5.11)
ii-ilJ
Доказательство
Существование математического ожидания Е(Х2) означает абсолютную сходимость суммы членов ряда, что позволяет группировать члены ряда произвольным образом. Используя это свойство, имеем:
£(Х2) = У><2) .р{х2 =лг,<24 = К<2) ■ У pR| -^ХГ2 =х^\Хх = <*4 -
12=1LJ ^2 ~^Й =^ IJIJ
'12 I 212 11 Л
1'1=1 IJ -2-1IJ
= =х^уЕ<Хг\Хх = x^).
Пример 5.2. Вернемся к табл. 5.1. Условное распределение компоненты Х2 при условии, что компонента Хх приняла значение х^ = 1, приведено в табл. 5.2. В частности, Р{Х2 = 2 | X, = 1} = Р{Х, = 1, Х2 = 2}/Р{Х, = 1}= 0.15/0.50 = 0.3. Условное математическое ожидание компоненты Х2 при условии {Xj = 1} вычисляется по формуле (5.10):
£(Х2| X, = 1)=-2 • Р{Х2 = -21X, = 1} + 1 • Р{Х2 = 11X, = 1} + 2 • Р{Х2 =2 | X, = 1} +
+ 5-Р{Х2 =5 |Xt = 1} = -2-0.20 +1-0.40 + 2-0.30 + 5 0.10 = 1.1.
Аналогично вычисляются другие условные математические ожидания компоненты Х2: Е(Х2 | X, = -1) = 2.0, Е(Х2 | Xt = 0) = 1.4. Это позволяет по формуле (5.11) вычислить безусловное математическое ожидание Х2:
£(Х2) = Р{Х, =-1}.£(Х2|Х1 = -1) + Р{Х, =0} -£(Х2| X, = 0) ++Р{Х, =1} -£(Х2|Х1 = 1) = 0.25-2.0+ 0.25 1.4+ 0.50 1.1= 1.4,
где вероятности р|Х] ^^j взяты из табл. 5.1.
Этот же результат мы получим, если вычислим £(Х2), используя формулу (3.16) и распределение вероятностей компоненты Х2, представленное в табл. 5.1:
£(Х2) = -2 ■ 0.15 + 1 ■ 0.45 + 2 ■ 0.25 + 5 • 0.15 = 1.4.
Аналогичным образом получаем математическое ожидание второй компоненты: £(Х,) = 0.25.□
Таблица 5.2. Условные распределения вероятностей и математические ожидания компоненты Хг
Условие
х<2) =-2
х^ = 1
х^ = 2
х^ = 5
£(XIX =i)
X =-1
0.20
0.40
0
0.40
2.0
X = о
0
0.60
0.40
0
1.4
X = 1
0.20
0.40
0.30
0.10
1.1
Вернемся к полиномиальному распределению (5.4), которое будет в дальнейшем неоднократно рассматриваться.
Теорема 5.2. Пусть многомерная случайная величина X = (Хь Х2,..., Х„) имеет полиномиальное распределение (5.4). Тогда: 1) распределение (5.4) удовлетворяет условию нормировки (5.3); 2) частное распределение компоненты X; является биномиальным (3.3) с параметрами п и р = р-, 3) если компонента Xj приняла значение ip то условное распределение остальных компонент является полиномиальным с параметрами п = п - ij и рг = рг/(Д ~ Pj), г = 1, 2, ...,j - 1J + 1,..., т.
Доказательство
Первые два утверждения теоремы доказываются одновременно. Будем их доказывать, используя индукцию по числу компонент т. При т = 2 имеется только два исхода. Будем первый трактовать как «успех», а второй — как «неудачу». Тогда Xt — это число успехов в испытаниях Бернулли. Оно имеет биномиальное распределение с параметрами п, р = рх и q = 1 - р = р2. Вторая компонента выражается через первую однозначно: Х2 = п - Хь Для биномиального распределения выполнение условия нормировки было доказано в параграфе 23. Итак, для т = 2 оба утверждения теоремы выполняются.
Предположим теперь, что они выполняются для т > 1, и докажем их выполнение для т + 1. Используя перестановку слагаемых суммы, можно записать:
ZРк =/у,У = 1,^I'^-Pm*'
^ЦTl\14/4xn-i 1
,+ i =о 1m+i ! (И 1m+i )!
£(»~гт,1)! ( Pt I" Г Р2 у2 Г Рт '
В последнем выражении вторая сумма — это сумма вероятностей всех возможных значений ти-мерной случайной величины (Хь Х2Х,„), имеющей полиномиальное распределение с параметрами п = п - im+t и pj = рД) - рт+1\ По предположению индукции условие нормировки выполняется и эта сумма равна единице. Оставшаяся теперь первая сумма — это сумма всех вероятностей биномиального распределения (3.3) с параметрами п, р = pm*v q=i-p=i- рт+х, так что она тоже равна единице. Следовательно, условие нормировки выполняется, а Хт+х действительно Имеет биномиальное распределение с указанными параметрами. Вместо Хт+1 может фигурировать любая компонента, так что первые два утверждения теоремы доказаны.
Справедливость третьего утверждения теоремы следует из определения (5.8) условного распределения и только что доказанного утверждения о биномиальном распределении отдельной компоненты. Полагая для упрощения записиу * 1, находим: р|х2 = ^<2),.... X==
г<л,-х. ,л2 -х,2 Am+1>г<л,-х. ,л2 -х,2 Am+1>ЧЧи!Кп-Ч )!и!Кп-Ч )!Р? d"Pi Г'Р? d"Pi Г'XX
г<л,-х. ,л2 -х,2 Am+1>
г<л,-х. ,л2 -х,2 Am+1>
Ч
Ч
и!
Кп-Ч )!
и!
Кп-Ч )!
Р? d"Pi Г'
Р? d"Pi Г'
X
X
/• \ I /\*2 / уз /\6в / I
<«-.,)£Р?(1-Р,У
Ч li, !.../_ ll_l-pj U-pJ U-pJ /«,!<»-»,)>*‘
(п-Q! | p2 | p3 ] I Pw 1 ,i2 !i3 !... im !(l-p, J U-pJ ’"U-pJ '
В заключение этого раздела мы рассмотрим процедуру генерирования многомерной дискретной случайной величины X = (X,, Х2,..., Хт) с заданным распределением вероятностей (5.2). Она сводится к последовательному генерированию т одномерных случайных величин Хь Х2,..., Хт. Каждая из этих величин генерируется по методике, изложенной в примере 3.4, согласно ее условного распределения, вычисленного при условии, что ранее сгенерированные величины приняли данные значения. Для первой величины используется ее безусловное распределение.
Рассмотрим, например, двумерную случайную величину (Xt, Х2) из примера 5.1. Вначале мы вырабатываем реализацию случайной компоненты Xt согласно ее частного распределения, представленного в последнем столбце табл. 5.1. Предположим, это было значение 0. Найдем условное распределение второй компоненты Х2 при условии, что Х( = 0. Это условное распределение представлено в табл. 5.2. Генерируем реализацию второй компоненты Х2 согласно этого условного распределения. Если бы компонент было больше двух, этот процесс надо было бы продолжить.
Алгоритм генерирования многомерной дискретной случайной величины
Вход: Распределение вероятностей (5.2) m-мерной дискретной случайной величины. Выход: Реализация (Хь Х2,..., Хт) m-мерной дискретной случайной величины.
Алгоритм
Шаг 1: Генерировать случайную величину Х( согласно ее частного распределения вероятностей (5.6). Положить i = 2.
Шаг г: Найти условное распределение компонент (Х(, Xi+i,.... Xm) при условии, что для предыдущего шага известно: 1) условное распределение компонент (Х;_ь Х„ ..., Хт); 2) зафиксированное значение компоненты Х^. Рассчитать частное условное распределение компоненты X,. Генерировать случайную величину X, на основании этого условного распределения. Если i = т, то — конец работы алгоритма, иначе положить i = i + 1 и перейти к шагу i.□
В компьютерном практикуме этот алгоритм будет реализован функцией RandPol для выработки многомерных дискретных случайных величин, имеющих полиномиальное распределение (5.4). Согласно теореме 5.2 в этом случае условное распределение подмножества компонент будут полиномиальным, а частное распределение отдельной компоненты — биномиальным. В нижеследующей таблице приведены результаты имитационного эксперимента, заключающегося в выработке случайных величин (Х„ Х2, Х3, Х4), имеющих полиномиальное распределение (5.4) с параметоами п и р, = 0.4, о» = 0.3, Рз = 0.2, р4 = 0.1 (см. ниже пример 5.4). В таблице приведе-
ны частоты {Xj/n}, подсчитанные для разного числа п. Из таблицы видно, как с ростом числа п эти частоты стремятся к истинным вероятностям {pj. Эти вероятности содержатся в столбце и = оо. Сходимость частот к вероятностям говорит о корректности алгоритма выработки случайных величин. □
Таблица 5.3. Сходимость частот к вероятностям для полиномиального распределения
Частоты Х,/п
п
10
50
100
500
1000
5000
10000
оо
Хх/п
0.30
0.38
0.33
0.418
0.389
0.404
0.396
0.4
Х2/п
0.50
0.28
0.35
0.314
0.301
0.297
0.300
0.3
Х3/п
0
0.24
0.22
0.170
0.216
0.200
0.200
0.2
XJn
0.02
0.10
0.10
0.098
0.094
0.098
0.104
0.1
Функции многомерных дискретных случайных величин
Определение 6. Пусть у^, х2хт) — вещественнозначная функция вещественных аргументовхь х2,..., хт,аХ = (X,, Х2,..., Х^ — многомерная случайная величина с распределением (5.2). Новая случайная величина У = v(X(, Х2,..., Х^ называется функцией многомерной случайной величины.
Распределение вероятностей функции многомерной дискретной случайной величины У = v(Xi, Х2Хт) находится аналогично тому, как это делалось для одномерного случая (см. параграф 3.3). Пусть V — множество возможных значений т-мер- ной случайной величины X, элементами которого являются m-мерные векторы. Образ V при отображении у представляет собой множество Vy возможных значений новой случайной величины У:
VY = {у:Э(х,,х2, ...,xm)eV, ч»(х1,х2г„) = у}.(5.12)
Вероятность принятия случайной величиной У конкретного возможного значения V* Vyопределяется аналогично формуле (3.18):
Р^=у^= УДХ^Xm=xmV(5.13)
<V1**):
VUl ^т) = »
Иная распределение вероятностей (5.13) случайной величины У = у(Х), можно по формуле (3.16) вычислить ее математическое ожидание £(У). При этом если множество Vy содержит бесконечное число элементов, то следует проверить условие абсолютной сходимости (3.17) — только в этом случае математическое ожидание существует.
Математическое ожидание £(У) можно вычислить, не находя предварительно распределения вероятностей для функции У = ц/(Х). Следующая теорема обобщает теорему 3.1 и может быть доказана индукцией по числу компонент т.
Теорема 5.3. Если математическое ожидание функции у многомерной дискретной случайной величины X = (Xh Х2-^т) существует, то оно может быть вычислено по формуле
I 1^2 кт
Х,^^^РнЛ,V (5.14)
Ч-1'2=1 im=!
Примеры
Пример 5.3. Найдем распределение функции Y = Х,Х2 случайных величин Хх и Х2 из табл. 5.1. Вычислим, например, вероятность значения 2. Событие {У = 2} состоит из двух событий: {Xt = -1, Х2 = -2} и {X, = 1, Х2 = 2}. Эти события несовместны и имеют вероятности, соответственно, 0.05 и 0.15. Итак, Р{У = 2} = 0.05 + 0.15 = 0.20. В табл. 5.4 приведено распределение вероятностей случайной величины Y. Это позволяет вычислить ее математическое ожидание:
£(У) = -5 ■ 0.10-2 ■ 0.10-1 • 0.10 + 0• 0.25 + 1 ■ 0.20 + 2 ■ 0.20 + 5 ■ 0.05 = 0.05.
Этот же результат мы получим, если будем использовать для вычисления математического ожидания формулу (5.14) теоремы 5.3;
E(Y) = (-1) (-2)-0.05 + (-!)■ 1-0.10 + (-!)-2-0 + (-!)• 5-0.10 + 0 +
+ 1 (-2) 0.10 + 1-1-0.20+ 1-2 0.15 + 1-5 0.05 =0.05.
Таблица 5.4. Распределение вероятностей функции Y = Хх Х2
i
-5
-2
-1
0
1
2
5
Рф=п
0.10
0.10
0.10
0.25
0.20
0.20
0.05
1.00
Пример 5.4. На грузоперевалочный пункт ежедневно прибывает пять автомашин четырех марок. Автомашина первой марки доставляет груз весом 1 т, второй — 2 т, третьей — 3 т, четвертой — 5 т. Вероятности того, что прибывающая машина окажется первой и т. д. марок (независимо от марок других машин) составляет 0.4, 0.3, 0.2 и 0.1. Каково распределение веса груза, доставляемого всеми автомашинами за сутки?
Решение
Обозначим X, — число машин i-й марки, прибывающих за сутки, i = 1, 2, 3, 4. По условию задачи многомерная случайная величина (Хь Х2, Х3, Х4) имеет полиномиальное распределение (5.4) с параметрами п = 5, рх = 0.4, р2 = 0.3, р3 = 0.2, р4 = 0.1. Мы интересуемся функцией этой случайной величины Y = x|/(Xt, Х2, Х3, Х4) = = 1 • Хх + 2 • Х2 + 3 • Х3 + 5 • Х4 — суммарным весом груза, поставляемого за сутки.
Распределение этой случайной величины находится по формулам (5.12) и (5.13). Соответствующие вычисления были проведены функцией YpolD. описанной ниже в разделе Компьютерный практикум. Соответствующие результаты приведены в табл. 5.5. Например, вероятность того, что вес поставляемого груза не превысит 10 т, составляет 1 - 0.024 - 0.009 - 0.006 - 0.001 = 0.96. □
Таблица 5.5. Распределение вероятностей веса груза, поставляемого за сутки
У)
3
4
5
6
7
8
9
10
и
12
13
15
Р{У = У)
0.064
0.144
0.204
0.171
0.150
0.108
0.083
0.036
0.024
0.009
0.006
0.001
Рассмотрение функций y(jr„ Xj) = (Zj - Е(Х())(х, - Е(Х,)) и у(хь ^j) = хрс, приводит к понятиям смешанного момента и ковариации.
Определение 7. Смешанным, моментом E(Xj Xj) и ковариацией С(ХЬ Xj) случайных величин Xj и Xj называется
E(XlXj) = ^xtPx^p\xi=x<vi\Xj = z^l(5.15)
С(Х„Х, ) = E^X, - E(X, MX, - Е(Х}))) = E(XjXj) - E(X, )E(X;). (5.16) Ковариация случайной величины Xj сама с собой дает дисперсию D(Xj). Если хотя бы одна из компонент Xj или Xj имеет бесконечное число возможных значений, то, как обычно, следует проверить условие абсолютной сходимости. В данном случае существование смешанного момента и ковариации гарантируется, если существуют вторые моменты Е(Х2) и Е{Х2) случайных величин Xj и Xj. Эго вытекает из неравенства Шварца
№Х,))2 <Е(Х-)Е(Х2).(5.17)
Отметим, что отсюда получаем важное неравенство
С(Х„ Х})'2 <D(X,)D(Xj), которое вытекает из формулы (5.17), если в ней заменить Xj и Xj на Xj - E(Xt) и Xj - E(Xj) соответственно.
Определение 8. Пусть X — m-мерная случайная величина, у которой для всех пар компонент Х,, Xj ковариации С(Х„ Х^ существуют. Ковариационной матрицей С(Х) называется квадратная матрица порядка т, у которой на пересечении i-й строки и/го столбца стоит ковариация i-й и/й компонент вектора X;
CQL^CQ^Xj).(5.18)
Отметим, что ковариационная матрица является симметрической матрицей и что ее диагональные элементы равны дисперсиям компонент X.
Ковариация имеет размерность произведения размерностей случайных величин. Безразмерной характеристикой является коэффициент корреляции.
Определение 9. Если ковариация С(Х„ Xj) существует, то коэффициент корреляции случайных величин X; и X, определяется формулой:
С(Х„Х; )
р =" V .(5.19)
^D(Xj)D(Xj)
Ковариация и коэффициент корреляции являются мерой линейной зависимости случайных величин. Для случайных величин Xj и Xj, связанных линейной.зависимостью Xj = а + bXj, где 6*0, коэффициент корреляции равен 1 при 6 > 0 и -1 при 6 < 0. Во всех остальных случаях -1 < р,, < 1..
Определение 10. Случайные величины X, и Х;, для которых ковариация С(Х„ Х^ равна нулю, называются некоррелированными.
Пример 5.5. Проведем соответствующие вычисления для случайных величин, распределение которых представлено в табл. 5.1. В примере 5.3 было вычислено, что £(Х( Х2) = Е(У) = 0.05, а в примере 5.2, что Е(Х,) = 0.25, Е(Х2) = 1.4. Теперь по формуле (5.16) вычисляем ковариацию:
С(Х,,Х2) = ВДХ, )-Е(Х, )Е(Хг) = 0.05 -0.25 ■ 1.4 = -0.3.
Для вычисления коэффициента корреляции необходимо найти средние квадратические отклонения компонент Х( и Х2. С этой целью по формуле (3.24) находим соответствующие дисперсии:
3 сVГ1
D(Xt) = £ х^ - E(Xt ) ■ Р X, = х^ =
i=l X/IJ
= (-1-0.25 )2 -0.25+(0-0.25 )2 0.25 + (1-0.25)2 -0.50=0.688.
ОД) = L 4' - Е^ ) -р\х2 = Х^ . =
= (-2-1.4 )2 0.15 + (1-1.4)2 0.45 +(2 -1.4)2 0.25 + (5 -1.4)2 0.15 =3.84.
Теперь по формуле (5.19) вычисляем коэффициент корреляции:
-0.185.-0.185.С(Х„Х2)_-0.3
-0.185.
-0.185.
^D(Xt)D(X2) V0.688-3.84
В практических приложениях наибольший интерес представляет сумма случайных величин 5 = Xf + Х2 + ... + Хт.
Теорема 5.4. Если математические ожидания случайных величин существуют, то математическое ожидание их суммы равно сумме их математических ожиданий:
(5.20)(5.20)E(S) = E(X1) + E(X2) + ... + E(X„).
(5.20)
(5.20)
Если дисперсии {D(X,)} случайных величин{Х,} существуют, то дисперсия их суммы D(S) вычисляется по формуле
ОД = £ОД) + 25! ^С(ХИХ0.(5.21)
<=ii-i ,=>+i
В частности, дисперсия суммы (разности) двух случайных величин равна сумме их дисперсий плюс (минус) их удвоенная ковариация:
D(Xt ±X2) = D(X1) + D(X2)±2C(X1,X2).(5.22)
Для некоррелированных случайных величин дисперсия их суммы равна сумме дисперсий:
D(S) = D(Xt) + D(X2) +... + ОД).(5.23)
Доказательство
Достаточно рассмотреть только случай двух слагаемых суммы, поскольку случай произвольного конечного числа слагаемых доказывается по индукции. Исполь- wb n rhnnuvnp (^ 141 п кячргтпе «ЬунКПИИ Ml(x.. Х-Л CVMMV X, + Хп. получаем:
41*2 ZЛ Гад + Х2) = £ Дх^ + х^ Р(Х( = х<1),Х2 =хр м7 141*2 ZЛ Гад + Х2) = £ Дх^ + х^ Р(Х( = х<1),Х2 =хр м7 1
41*2 ZЛ Г
ад + Х2) = £ Дх^ + х^ Р(Х( = х<1),Х2 =хр м7 1
41*2 ZЛ Г
ад + Х2) = £ Дх^ + х^ Р(Х( = х<1),Х2 =хр м7 1
Для доказательства формулы (5.22) учтем, что по только что доказанному Е(Хх + Х2) = Е(Хх) + Е(Х2). Поэтому на основании определения дисперсии по формуле (3.23)
D(Xx + Х2) = Е№ + Х2 - Е<Хх + Х2 ))2 ) = E«(Xx - Е(Хх )) + (Х2 - Е(Х2 »? ) .= Е^Хх - Е(Хх ))2 + 2(Х, - Е<Хх ))(Х2 - Е(Х2 )) + (Х2 - Е(Х2 ))2) =
= Е«Хх - Е<Хх ))2 ) + Е№х - Е(Хх ))(Х2 - Е(Х2))) + Е^Х, - Е(Х2 ))2) =
= D(Xx ) + D(X2) + 2С(Х,, Х2).
Аналогично доказывается формула для дисперсии разности двух случайных величин.□
Определение 11. Случайные величины Хь Х2,..., Хт называются попарно независимыми, если
Р^Хх=хи\Х, = xu)j = р{х,=д:0)|р{ху = x°*},Vi* j uxw,xm. (5.24)
Если Хх и Х2 независимы, то их условные распределения (5.8) совпадают с безусловными.
Определение 12. Случайные величины Хх, Х2,..., Хт называются взаимно независимыми, если для любого подмножества их Xj, Xs,..., Xt и всех возможных значений x,j),xU)х(г)
PlX^x^.X, = xf
г i г 1 г )(5,25)
Для взаимно независимых случайных величин Хх, Х2,..., Хт имеет место теорема умножения математических ожиданий:
(5.26)(5.26)ад1х2...хи) = ад1)ад2)...ади).
(5.26)
(5.26)
Отметим, что из взаимной независимости следует попарная независимость, • U9 попарной независимости следует некоррелированность случайных величин.
Пример 5.6. Случайные величины Хх и Х2 с распределением вероятностей иа табл. 5.1 являются зависимыми. Это следует из того, что их ковариация и коэффициент корреляции не равны нулю (см. предыдущий пример). Можно также факт зависимости установить иначе, не вычисляя ковариацию и коэффициент
корреляции. Действительно, для значений X, = 1 и Х2 = -2 мы имеем Р^Хг = 1, Х2 = -2} = 0.10, в то время как P^XV = 1} = 0.50, Р^Х2 = -2} = 0.15, так что 0.10 = P(Xi = 1, Х2 = -2} * Р {X, = 1} • Р{Х2 = -2} = 0.50 • 0.15 = 0.075. Следовательно, условие независимости (5.25) нарушается.
Вычислим теперь математическое ожидание и дисперсию их суммы Xt + Х2, используя формулы (5.20) и (5.22):
Е(Х, + Х2) = Е(Х,) + Е(Хг) = 0.25 + 1.4 = 1.65,
D(X1 + Х2 ) = D(X,) + D(X2 ) + 2 • C(Xt, Х2) = 0.688 + 3.84 + 2 • (-0.3) = 3.928.
Индикаторы событий*
Простейшим примером случайной величины является индикатор 1А фиксированного события Я с П. На исходном пространстве элементарных событий он определяется так:
Из определения индикатора следует, что он принимает значение 1, если событие Л наступило, и 0 — если не наступило. Распределение вероятностей для индикатора задается формулой
Р{1А = 1}=Р(Л}, Р{1А = 0} = 1-Р(Л}.
Математическое ожидание и второй момент индикатора события Л равны вероятности события А;
ЕЦА) = ЕЦгА) = Р^,(5.28)
а дисперсия
О(1А) = Р^-Р^.(5.29)
В практических приложениях интересующую нас случайную величину Y можно представить в виде суммы индикаторов Д, /2, ..., 1т фиксированных событий Аь А2, ..., Ат:
Y=I,+I2 +... + /„.(5.30)
Математическое ожидание этой величины будет равняться на основании формул (5.20) и (5.28) сумме вероятностей событий {Л,}:
ECY^P^ + P^ + .-.+PM.(5.31)
Дисперсия суммы на основании формул (5.21), (5.16) и (5.29) вычисляется по формуле
£>(У) = £р{Л,}(1-Р{Л,}) + 2^ £(Р{А,Л;}-Р{Д}Р{Л;}).(5.32)
г=11=1 j=i+l
Если события Аь Л2,..., Л/ попарно независимы, то
В(У) = £РИ<}(1-Р{Д,}).(5.33)
1=1
Следовательно, для вычисления математического ожидания и дисперсии случайной величины (5.30) достаточно найти вероятность каждого из событий
Ль А2, ..., Ат, а также вероятности попарного наступления этих событий А) А) при i *j.
Применение индикаторов для нахождения математического ожидания и дисперсии случайных величин содержится в задачах 5.2-5.19.
Примеры
Пример 5.7. Пусть X — случайная величина, имеющая биномиальное распределение (3.3) с параметрами и, р, q = 1 - р. Показать, что ее математическое ожидание и дисперсия определяется по формулам
£(Л) = пр, D(X) = npq.
Решение
Случайную величину X, имеющую биномиальное распределение (3.3), можно трактовать как число успехов в п испытаниях Бернулли с вероятностью успеха в отдельном испытании р. Поэтому X представимо в виде суммы числа успехов в отдельных испытаниях:
х = л +/2 + . .. + /„,
где /, — число успехов в г-м испытании.
Ясно, что /, является индикатором события Л; = «в i-м испытании имел место успех». Поскольку вероятность всех таких событий по определению равна р, то из формулы (5.31) сразу следует
Е(Х) = пР^ = пр.
Для вычисления дисперсии заметим, что события {Л,} попарно независимы, В связи с чем можно воспользоваться формулой (5.33):
D(X) = пР{Л,}(1 - Р{Л,.}) = npq.
Р^Х = i}Р^Х = i}Пример 5.8. Пусть X — случайная величина, имеющая гипергеометрическое распределение (3.5):
Р^Х = i}
Р^Х = i}
i = max(0, г + и, - и),.... min(r, пх ),
где г, п, пх — параметры распределения, являющиеся натуральными числами, причем пх < п, г < п.•
I йжазать, ч то математическое ожидание и дисперсия X определяются по формулам
Е{Х) = пх L,D<X) = rM\-^—^.(5.34)
пп\ п) и-1
Решение
Случайную величину X, имеющую гипергеометрическое распределение (3.5), можно трактовать как число красных шаров, оказавшихся в выборке без возвращения объема г из генеральной совокупности, содержащей пх красных и Я - Я| белых шаров (см. пример 2.1). Пронумеруем все красные шары, имеющиеся В генеральной совокупности, числами от 1 до nv Рассмотрим событие А( ■ <(-й красный шар генеральной совокупности попал в выборку». Пусть I, — индикатор со-
бытия Л„ i = l,n,, так что в формулах (5.31), (5.32) m = nv Очевидно, общее число красных шаров в выборке равно сумме введенных индикаторов:
Х = /1+/2 +... + /„,.
Из постановки задачи ясно, что вероятности извлечения любого красного шара одинаковы. Следовательно, согласно формуле (5.31) математическое ожидание X будет равно вероятности отдельного события Л„ умноженной на число красных шаров nv
Для нахождения вероятности того, что данный красный шар попадет в выборку, возвратимся к рассмотрению примера 2.1. Общее число элементарных событий пространства Q составляет СТП. Интересующее нас событие состоит из тех элементарных событий (ib i2,..., ir), которые содержат номер нашего красного шара. Общее число таких событий составит C^J. Следовательно,
ри,} = с;:;/с„г=-, :=1^,
п
откуда и следует формула (5.34) для математического ожидания.
Перейдем к доказательству формулы для дисперсии. Аналогично предыдущему, вероятность того, что выборка содержит два зафиксированных красных шара с номерами i nj,
р^ад} = с ;^ (с; =
n(n-l)
r(r-l) n(n-l)r(r-l) n(n-l)(«1-1)(«1-1)Подставляя это в формулу (5.32), находим
r(r-l) n(n-l)
r(r-l) n(n-l)
(«1-1)
(«1-1)
D^ = nxL 1-- +2-2(n,-i)nVi-1
1 + n, -121 + n, -12Г [ , Г 1 o r r-n ...
1 + n, -12
1 + n, -12
= «1 - 1— +2- nx(nx -1)-
»i "In-1»i "In-1«V n) nn(n-l)V
»i "In-1
»i "In-1
= n. - 1— +2^- —(«1 -1) = «1 - 1— 1-nV n) n (n-1) 2nV
Компьютерный практикум № 7. Многомерные дискретные случайные величины в пакете Mathcad
Цель и задачи практикума
Целью практикума является приобретение практических навыков при работе с многомерными дискретными случайными величинами.
Задачами данного практикума являются: расчет параметров двумерного распределения; выработка случайных величин, имеющих полиномиальное распределение, и вычисление частоты появления различных исходов; вычисление распределения вероятностей функции многомерной случайной величины.
Необходимый справочный материал
При работе с многомерными дискретными случайными величинами используются псе возможности. ппелоставляемые Mathcad пои оаботе с одномеоными
дискретными величинами. Напомним их. Во-первых, это функции, вычисляющие вероятности принятия отдельных значений случайной величины с заданным распределением; названия их начинаются с буквы d: dbinom, dgeom, dpois и др. Во-вторых, функции, вычисляющие значения функций распределения; названия их начинается с буквы р; pbinom, pgeom, ppois и др. В-третьих, функции, вырабатывающие случайные величины с заданным распределением; названия ИХ начинаются с буквы г: rbinom, rgeom, rpois. Как говорилось выше и как будет далее проиллюстрировано, этих функций вполне достаточно для работы с многомерными дискретными случайными величинами (для вычисления связанных с ними вероятностей, их выработки и т. п.).
Эффективным приемом прикладной математики и современных языков программирования является использование рекурсии. Она заключается в том, что в процессе вычисления значения функции, зависящей от параметра, происходит обращение к этой же функции, но для другого (для определенности, скажем, меньшего значения') параметра. При этом значение функции для начального (в нашем случае — минимального) значения параметра — известно. Программа последовательно обращается к функции с все меньшими и меньшими значениями параметра, пока не дойдет до начального значения. Это так называемый «прямой ход» вычислений. При начальном значении параметра значение функции известно. Затем реализуется «обратный ход» вычислений — программа последовательно вычисляет все значения функции в обратном порядке, пока не дойдет до заданного значения параметра.
Mathcad предоставляет возможность использовать рекурсию, что существенно упрощает программирование ряда задач. Например, факториал fact(n) числа п может быть эффективно вычислен без использования встроенной функции п! Для этого достаточно ввести функцию fact(n):= if(n = 0, 1, п * fact(n-l)).
Ниже использование рекурсии позволит нам весьма просто сформировать все возможные значения многомерной случайной величины, имеющей полиномиальное распределение (5.4).
Реализация задания
Для проведения вычислений нам понадобятся различные функции пользователя. Программные модули, реализующие эти функции, представлены на рис. 5.1-5.3. Поясним назначение этих функций.
Функции Arise(i, А) и 1пс1(г, А) уже использовались нами в компьютерном практикуме № 5. Arise(i, А) определяет, принадлежит (значение 1) или нет (значение 0) число г вектору-столбцу A. Incl(i А) включает число i в вектор столбец А, если только первого там нет.
MargD(Tw, It) вычисляет частное распределение ^-й компоненты (k = 1, 2) двумерной дискретной случайной величины, распределение которой задано матрицей Tw. Возможные значения первой компоненты содержатся в нулевом столбце, а второй компоненты — в нулевой строке этой матрицы. На пересечении ненулевых строки и столбца матрицы Tw стоят вероятности принятия соответствующих значений. Результат выдается в виде матрицы, содержащей два столбца: в нулевом столбце содержатся возможные значения /t-й компоненты, а в первом столбце — соответствующие вероятности.
Включение i в вектор AВключение i в вектор AПрактику* И» 7. Миогоаерныв дискретные случайные величиныПользовательские (Ьунклии
Включение i в вектор A
Включение i в вектор A
Проверка наступления события А
Arlae(I.A).»Arlae(I.A).»f4-0for jeO.. rewt(A) - 1 f <-f + lf(l e Aj.1,0)Я ♦- >f(f > 0.1.0) gf4-0for jeO.. rewt(A) - 1 f <-f + lf(l e Aj.1,0)Я ♦- >f(f > 0.1.0) gIncl(I.A):-Incl(I.A):-B4-A if ArlBe(I.A) otherwiae k 4- rowe(A) for J e O . k - 1Bjt-A) Bk<-IВB4-A if ArlBe(I.A) otherwiae k 4- rowe(A) for J e O . k - 1Bjt-A) Bk<-IВЧастное распределение k-й коапоненты двуверной с.в., иаеюцей распределение TwЧастное распределение k-й коапоненты двуверной с.в., иаеюцей распределение TwМатеаатическое ожидание k-й коаланенты дауаерной с.в., иаеюцей распределение TwМатеаатическое ожидание k-й коаланенты дауаерной с.в., иаеюцей распределение Tw
Arlae(I.A).»
Arlae(I.A).»
f4-0
for jeO.. rewt(A) - 1 f <-f + lf(l e Aj.1,0)
Я ♦- >f(f > 0.1.0) g
f4-0
for jeO.. rewt(A) - 1 f <-f + lf(l e Aj.1,0)
Я ♦- >f(f > 0.1.0) g
Incl(I.A):-
Incl(I.A):-
B4-A if ArlBe(I.A) otherwiae k 4- rowe(A) for J e O . k - 1
Bjt-A) Bk<-I
В
B4-A if ArlBe(I.A) otherwiae k 4- rowe(A) for J e O . k - 1
Bjt-A) Bk<-I
В
Частное распределение k-й коапоненты двуверной с.в., иаеюцей распределение Tw
Частное распределение k-й коапоненты двуверной с.в., иаеюцей распределение Tw
Матеаатическое ожидание k-й коаланенты дауаерной с.в., иаеюцей распределение Tw
Матеаатическое ожидание k-й коаланенты дауаерной с.в., иаеюцей распределение Tw
MergD(Tw.k) :-MergD(Tw.k) :-A4-Tw If k>1A«-TvJ otherwise н <- rows(A) m <- colt(A) far Ie 1.n - 1Bi,o«- Aj,o m-1Bi,1 *" £ Ai,| 1-1ВA4-Tw If k>1A«-TvJ otherwise н <- rows(A) m <- colt(A) far Ie 1.n - 1Bi,o«- Aj,o m-1Bi,1 *" £ Ai,| 1-1ВMargE(Tw.k) »MargE(Tw.k) »А 4- MargD(Tw.k) m <- rowt(A) m-1A<- ^2 **,0 Aj,t I - 1AА 4- MargD(Tw.k) m <- rowt(A) m-1A<- ^2 **,0 Aj,t I - 1A
MergD(Tw.k) :-
MergD(Tw.k) :-
A4-Tw If k>1
A«-TvJ otherwise н <- rows(A) m <- colt(A) far Ie 1.n - 1
Bi,o«- Aj,o m-1
Bi,1 *" £ Ai,| 1-1
В
A4-Tw If k>1
A«-TvJ otherwise н <- rows(A) m <- colt(A) far Ie 1.n - 1
Bi,o«- Aj,o m-1
Bi,1 *" £ Ai,| 1-1
В
MargE(Tw.k) »
MargE(Tw.k) »
А 4- MargD(Tw.k) m <- rowt(A) m-1
A<- ^2 **,0 Aj,t I - 1
A
А 4- MargD(Tw.k) m <- rowt(A) m-1
A<- ^2 **,0 Aj,t I - 1
A
Ковариация дауаерной c.e„ киеющей распределение TwКовариация дауаерной c.e„ киеющей распределение TwДисперсия k* й коапоненты двуаериой с.ем иаеюжой распределение TwДисперсия k* й коапоненты двуаериой с.ем иаеюжой распределение Tw
Ковариация дауаерной c.e„ киеющей распределение Tw
Ковариация дауаерной c.e„ киеющей распределение Tw
Дисперсия k* й коапоненты двуаериой с.ем иаеюжой распределение Tw
Дисперсия k* й коапоненты двуаериой с.ем иаеюжой распределение Tw
Cov(Tw).- п 4-rowe(Tw)Cov(Tw).- п 4-rowe(Tw)MaroV(Tw.k) >MaroV(Tw.k) >m 4- cols(Tw)д14— MargE(Tw,1)д2 4- MargE(Tw,1)Cov 4- ^ 2} (TwI.O’Al) (Twoj-m2) Tw)j1-1 J - 1m 4- cols(Tw)д14— MargE(Tw,1)д2 4- MargE(Tw,1)Cov 4- ^ 2} (TwI.O’Al) (Twoj-m2) Tw)j1-1 J - 1A4- MargD(Tw.k) m 4- rowaW д 4- MargE(Tw.k) m-1V*- X (*Ы>-*) Al I -1VA4- MargD(Tw.k) m 4- rowaW д 4- MargE(Tw.k) m-1V*- X (*Ы>-*) Al I -1V
Cov(Tw).- п 4-rowe(Tw)
Cov(Tw).- п 4-rowe(Tw)
MaroV(Tw.k) >
MaroV(Tw.k) >
m 4- cols(Tw)
д14— MargE(Tw,1)
д2 4- MargE(Tw,1)
Cov 4- ^ 2} (TwI.O’Al) (Twoj-m2) Tw)j
1-1 J - 1
m 4- cols(Tw)
д14— MargE(Tw,1)
д2 4- MargE(Tw,1)
Cov 4- ^ 2} (TwI.O’Al) (Twoj-m2) Tw)j
1-1 J - 1
A4- MargD(Tw.k) m 4- rowaW д 4- MargE(Tw.k) m-1
V*- X (*Ы>-*) Al I -1
V
A4- MargD(Tw.k) m 4- rowaW д 4- MargE(Tw.k) m-1
V*- X (*Ы>-*) Al I -1
V
Cov
Коэффициент корреляции двуверной с.в., иаеюцей распределение Tw
Corr(Tw) >Corr(Tw) >о1 VMargV(Tw.l)о1 VMargV(Tw.l)
Corr(Tw) >
Corr(Tw) >
о1 VMargV(Tw.l)
о1 VMargV(Tw.l)
о2 4- >/MargV(Tw,2)
Corr 4- ^^
0ГГ И • *2
Corr
Рис. 5.1. Пользовательские функции, обеспечивающие работус двумерными распределениями
MargE(Tw, k) и MargV(.Tw, k) вычисляют математическое ожидание и дисперсию ^-й компоненты двумерной дискретной случайной величины, распределение которой задано матрицей Tw.
Coa(Tw) и ConXTw) находят ковариацию и коэффициент корреляции для двумерной дискретной случайной величины с распределением вероятностей, описываемым матрицей Tw.
Две следующие функции обеспечивают генерирование случайных величин, имеющих полиномиальное распределение (5.4). RandPol(n, р) вырабатывает одну случайную величину, имеющую полиномиальное распределение с параметрами п и р. Входным параметром функции являются число испытаний п и век- топ-столбец о веооятиостей оазличных исходов в одном испытании. Если число
различных исходов равно т, то размерность вектора р составляет т + 1. На i-M месте в векторе р стоит вероятность г-го исхода pb г = 1,2, ..., т. Нулевая компо* нента р0 вектора р не используется. Программа, реализующая функцию, основывается на теореме 5.2 и использует алгоритм генерирования многомерных дискретных случайных величин, приведенный в конце раздела 5.1. В программе используется встроенная функция гЫпот(Д, п,р), вырабатывающая одну случайную величину, имеющую биномиальное распределение (3.3) с параметрами пир.
FrPol(n, р), получая от функции RandPol реализации случайной величины, имеющей полиномиальное распределение (5.4), вычисляет для нее частоты (доли) различных исходов Х./п, Х2/п, ..., Хт/п.
Генерация случайной величины, имеющей поли* номиальное распределение с параметрами п, рГенерация случайной величины, имеющей поли* номиальное распределение с параметрами п, рЧастоты различных исходов для с.е„ имеющей полиномиальное распределение с параметрами п, рЧастоты различных исходов для с.е„ имеющей полиномиальное распределение с параметрами п, р
Генерация случайной величины, имеющей поли* номиальное распределение с параметрами п, р
Генерация случайной величины, имеющей поли* номиальное распределение с параметрами п, р
Частоты различных исходов для с.е„ имеющей полиномиальное распределение с параметрами п, р
Частоты различных исходов для с.е„ имеющей полиномиальное распределение с параметрами п, р
RandPol(n.p) :•RandPol(n.p) :•m <- rows(p) - 1Aq*-Dwhile j < m 1-1 N<-n- AiI - 0( ^1P^P| 1-2 RI 1-0 JAj <- lf(N » 0.0,rblnom(1,N.P)o) J —J* 1m <- rows(p) - 1Aq*-Dwhile j < m 1-1 N<-n- AiI - 0( ^1P^P| 1-2 RI 1-0 JAj <- lf(N » 0.0,rblnom(1,N.P)o) J —J* 1FrPol(n.p) >FrPol(n.p) >A<- RandPol (n.p) fer leO.. rows(p) - 1A<- RandPol (n.p) fer leO.. rows(p) - 1ВВВероятность принятия значения I m-мерней с.»., имеющей полнномнальнее распределение с параметрами л, рrows(p)-l,PolPr(n,p,l)^n! р[ Wj'77 1-11Вероятность принятия значения I m-мерней с.»., имеющей полнномнальнее распределение с параметрами л, рrows(p)-l,PolPr(n,p,l)^n! р[ Wj'77 1-11
RandPol(n.p) :•
RandPol(n.p) :•
m <- rows(p) - 1
Aq*-D
while j < m 1-1 N<-n- Ai
I - 0
( ^1
P^P| 1-2 R
I 1-0 J
Aj <- lf(N » 0.0,rblnom(1,N.P)o) J —J* 1
m <- rows(p) - 1
Aq*-D
while j < m 1-1 N<-n- Ai
I - 0
( ^1
P^P| 1-2 R
I 1-0 J
Aj <- lf(N » 0.0,rblnom(1,N.P)o) J —J* 1
FrPol(n.p) >
FrPol(n.p) >
A<- RandPol (n.p) fer leO.. rows(p) - 1
A<- RandPol (n.p) fer leO.. rows(p) - 1
В
В
Вероятность принятия значения I m-мерней с.»., имеющей полнномнальнее распределение с параметрами л, р
rows(p)-l,
PolPr(n,p,l)^n! р[ Wj'77 1-11
Вероятность принятия значения I m-мерней с.»., имеющей полнномнальнее распределение с параметрами л, р
rows(p)-l,
PolPr(n,p,l)^n! р[ Wj'77 1-11
m-1
I - 1
Возможные значения m-мерного вектора, имеющего полинониальное распределение с параметром п
Pres(n,m) .-
8l.0<-0
Bl,1 <- п
otherwise
v<-0for k e 0n
A<- Pres(n - k,m -1) s ♦- rows(A) - 1 for te 1S
for r e 1.. m - 1Bv+t,r«- At,г
8v+t.m *- k
Рис. 5.2. Пользовательские функции, обеспечивающие работус полиномиальным распределением
Оставшиеся три функции предназначены для нахождения распределения вероятностей функции у m-мерной случайной величины (Х1( Х2Хт), имеющей полиномиальное распределение (5.4). В качестве функции у взята линейная функции y(i, а) = ца, + i2a2 + ... + imam. Входом в функцию v(i, а) являются (т + 1)-мер- ныс вектора i и а, нулевые компоненты которых го и а0 не используются.
Presort, тп) выдает все возможные значения m-мерной случайной величины, имеющей полиномиальное распределение (5.4) с параметром п. Каждое такое возможное значение, согласно (5.4), — это m-мерный вектор, компоненты которого принимают значения 0, 1, ..., п, причем сумма всех компонент равна п. Эти векторы располагаются в строках матрицы, выдаваемой программой. Нулевые строка и столбец матрицы не используются. Следовательно, фактическое число столбцов матрицы равно т + 1. При п = 1, т = 1 функция выдает (без учета нулевых строки и столбца) скаляр п. Далее эффективно используется рекурсия. Если m > 1, то перебираются все возможные значения к последней m-й Компоненты от О до п. При фиксированном к на оставшиеся т - 1 компонент приходится п - к испытаний. Обращение к функции Pres(n-k, m-1) дает все возможные значения для первых т - 1 компонент. Добавляя к этим векторам в качестве последней m-й компоненты зафиксированное ранее значение к последней компоненты, мы получаем m-мерный вектор, как возможное значений m-мерной полиномиальной случайной величины.
Ро1Рг(п, р, г) рассчитывает вероятность принятия значения i = (0, ip i2, ..., i„) m-мерной случайной величиной, имеющей полиномиальное распределение (5.4) с параметрами п и р = (0, ръ р2, ..., рт\ Компоненты векторов i и р с нулевыми номерами не используются.
rows(a)-1
Заданная функции # (х):* (I. а) -£ ар lj
1 Возможные значения функцииРаспределение вероятностей функции р многомерной
многомерной случайной величиныслучайной величины
ОотРоЦа.о) -ОотРоЦа.о) -s«— rowe(B) -1s«— rowe(B) -1for I e 1. sA1пс|[#[(вТ) .a],AjAfor I e 1. sA1пс|[#[(вТ) .a],AjAYPoiD(n,p,a) .-YPoiD(n,p,a) .-Dom <- DomPol(n.a) kt- rows(Dom) - 1 for J e 0 . kIAj.O DomjAj.K-0 m«- rowe(a) - 1 В«- Pree(n, m) s<— rows(B) - 1 for jeD k for I e 1s If fliB^.J.Aj.o x PolPr[ n, p, (bT l^ .Dom <- DomPol(n.a) kt- rows(Dom) - 1 for J e 0 . kIAj.O DomjAj.K-0 m«- rowe(a) - 1 В«- Pree(n, m) s<— rows(B) - 1 for jeD k for I e 1s If fliB^.J.Aj.o x PolPr[ n, p, (bT l^ .
ОотРоЦа.о) -
ОотРоЦа.о) -
s«— rowe(B) -1
s«— rowe(B) -1
for I e 1. s
A1пс|[#[(вТ) .a],Aj
A
for I e 1. s
A1пс|[#[(вТ) .a],Aj
A
YPoiD(n,p,a) .-
YPoiD(n,p,a) .-
Dom <- DomPol(n.a) kt- rows(Dom) - 1 for J e 0 . k
IAj.O Domj
Aj.K-0 m«- rowe(a) - 1 В«- Pree(n, m) s<— rows(B) - 1 for jeD k for I e 1s If fliB^.J.Aj.o x PolPr[ n, p, (bT l^ .
Dom <- DomPol(n.a) kt- rows(Dom) - 1 for J e 0 . k
IAj.O Domj
Aj.K-0 m«- rowe(a) - 1 В«- Pree(n, m) s<— rows(B) - 1 for jeD k for I e 1s If fliB^.J.Aj.o x PolPr[ n, p, (bT l^ .
Рис. 5.3. Пользовательские функции, обеспечивающие вычисление распределения функциимногомерной случайной величины
DomPol(n, а) формирует множество возможных значений функции хр многомерной случайной величины, возможные значения которой выдаются функцией Pres(n, т). Она может работать с любой предварительно описанной функцией хр и матрицей, выдаваемой функцией Pies, однако они должны быть согласованы. В нашем случае размерность вектора а должна быть m + 1, функция хр и матрица Pres были описаны выше.
Наконец, фуедеция YPolD(n, р, а) вычисляет распределение вероятностей функции хр многомерной случайной величины, имеющей полиномиальное распределение (5.4) с параметрами пир. Возможные значения многомерной случайной величины она берет из матрицы, сформированной функцией DomPol, а соответствующие вероятности рассчитываются с помощью функции PolD. Алгоритм работы PolD вполне аналогичен алгоритму для функции, рассмотренной в компьютерном практикуме № 5.
Результаты вычислений
Полученные результаты приведены на рис. 5.4.
Вначале рассматривается двумерное распределение, которое было определено выше в табл. 5.1, а при вычислениях вводится как матрица Tw. Для него вычисляются частные распределения Marg£)(Tw, 1) первой и AfazgD(Tw, 2) второй компонент, а также их математические ожидания MargElTw, 1) = 0.25 и MargE(Tw, 2) = 1.4 и дисперсии MargV(Tw, 1) = 0.688 и MargV(Tw, 2) = 3.84 соответственно. Затем вычисляются ковариация Cov(Tw^ = -0.3 и коэффициент корреляции Corr(Tw) = -0.185. ■
Результаты вычислений ^Распределения двуеерией случайней веянчины
Распределение верелтностей диунериой случайной величины
Честные распределения конненент двуеерией случайней веничины
0 -2125 '
/О 0
-2
-1 04)5 0.10 04Ю 0.10
-1 025
Tw:- 0 0.00 0.15 0.10 04Ю
МвтдО(Тш,1).MargD(Tw,2)- 1 0.45
° °-252 825
J 0.10 020 0.15 04)5,
1 05_ „
1,5 0.15 J
Мэтенетические ожмдаиля и дисперсии коипеиент диуаерней случайней величины
MargE(Tw,1) ■ 025MargE(Tw,1) ■ 025MargE(Tw .2) -1.4 MargV(TwJ) - 0.888 MaroV(Tw.2) • 344
MargE(Tw,1) ■ 025
MargE(Tw,1) ■ 025
Ковариация и коэффициент корреляции двуеерией случайной величины
Cov(Tw) - -ОДCorr(Tw) - -0.185
Функции ниогонерней случайней величины
Вектор, задающий значения паранетров (р,) лонинениальиого распределенияр:-(0 0.4 0.3 0.2 0.1 )ТВектор, задающий значения паранетров (р,) лонинениальиого распределенияр:-(0 0.4 0.3 0.2 0.1 )ТВектвр. еписываюций линейную функцию#(Х.а)а:-(0 1 2 3 5)ТВектвр. еписываюций линейную функцию#(Х.а)а:-(0 1 2 3 5)Т
Вектор, задающий значения паранетров (р,) лонинениальиого распределения
р:-(0 0.4 0.3 0.2 0.1 )Т
Вектор, задающий значения паранетров (р,) лонинениальиого распределения
р:-(0 0.4 0.3 0.2 0.1 )Т
Вектвр. еписываюций линейную функцию
#(Х.а)
а:-(0 1 2 3 5)Т
Вектвр. еписываюций линейную функцию
#(Х.а)
а:-(0 1 2 3 5)Т
Частоты различных исхадав при генерации п случайных величин с распределениен (5.4)
FrPel(1OOO.р)Т - (■ 0.419 0.209 0-201 0.091) FrPel(10000.р)Т - (0 0.404 0.301 0203 0492)
Возможные знеченил функции р(Х, а) инегоиериой случайней величины
DemPe1(3,a)T ■ ft? LctX lA.I.AI Al 81*1/
Рвслрвдеяаиие верелтностей функции р(Х,а)
YPelD(3,p.a)T
room (DomPol (3 ,о))-1
Проверке роспредолоиая вервлтиистей ио иорнироаку:52*РоЮ(Э, р. e)| j - 1
1*0
Рис. 6.4. Результаты вычислений многомерных дискретных распределений
Далее реализуются функции RandPol(n, р) и FrPol(n, р) выработки случайных величин, имеющих полиномиальное распределение (5.4). Вначале вводится вектор р = (0, 0.4, 0.3, 0.2, 0.1), задающий значения параметров {р,} этого распределения. Затем вычисляются частоты ЕгРоЦп, р) появления различных исходов при числе испытаний, равном п = 1000 и п = 10 000. Значения частот для более полного перечня числа испытаний п приведены в табл. 5.3.
В заключение выполняются расчеты для примера 5.4, в котором рассматривается распределение линейной функции у(Х, а) случайной величины X, имеющей полиномиальное распределение с параметрами п = 3 и р. Вначале вводится вектор а = (0, 1, 2, 3, 5), описывающий линейную функцию. Обращение к функции Pres(3, 4) дает все возможные значения четырехмерной случайной величины X, а к функции YPolDlp, а) — распределение вероятностей функции ^(Х, а). В заключение проверяется, что последнее распределение удовлетворяет условию нормировки для вероятностей.
Задания для самостоятельной работы
Используя компьютерные функции MargD, MargE, MargV, Cov и Corr, найдите маргинальные распределения, математические ожидания, дисперсии, ковариацию и коэффициент корреляции для случайных величин, совместное распределение которых задано табл. 5.6.
Таблица 5.6. Распределение вероятностей {р/у} двумерной случайной величины
х<2> = 0
Х<2> = 1
х^ = 4
х<=6
x<2> = 7
х}” =-2
0.02
0.07
0.03
0.03
0.05
х^0 = -1
0.10
0.05
0.03
0.17
0
х<*> = 1
0.20
0.02
0.08
0.05
0.10
Составьте компьютерную функцию, реализующую формулы (5.8) и (5.9) ДЛЯ вычисления условных распределений многомерной дискретной случайной величины.
Задачи
Задача 5.1. Случайные величины Хь Х2, Х3, и Х4 попарно независимы, причем D(Xi') = a2 Vi. Найдите коэффициент корреляции a) Xt + Х2 и Х2 + Х^ б) Xv + Х2 + Х3 и Х2 + Х3 + Х4.
Задача 5.2. В условиях примера 2.2 найдите математическое ожидание и дисперсию числа различных элементов выборки..
Задача 5.3. В условиях задачи 2.8 найдите математическое ожидание и дисперсию числа различных выпавших граней.
Задача 5.4. В условиях задачи 2.10 найдите математическое ожидание и дисперсию числа свободных ящиков.
Задача 5.5. В условиях задачи 2.10 найдите математическое ожидание и дисперсию числа шаров в данном ящике.
Задача 5.6. В условиях задачи 2.33 найдите математическое ожидание числа использованных шаров X.
Задача 5.7. В условиях задачи 2.4 найдите математическое ожидание и дисперсию числа попыток X, необходимого для нахождения нужного ключа. Решить задачу прямым методом и с использованием индикаторов.
Задача 5.8. В условиях задачи 2.24 найдите математическое ожидание и дисперсию числа различных элементов подмножеств Aj и А2.
Задача 5.9. В условиях задачи 2.24 найдите коэффициент корреляции числа элементов подмножеств А^ и А2.
Задача 5.10. В условиях задачи 2.25 найдите математическое ожидание числа спичек X, остающихся во второй коробке.
Задача 5.11. Пусть в условиях задачи 2.35 игрок, выигрывающий при i-й попытке, г = 1,5, получает от партнера 6-г рублей. Найдите математическое ожидание и дисперсию выигрыша первого и второго игроков.
Задача 5.12. Найдите коэффициент корреляции для чисел г-го X, и /-го Xj исходов в полиномиальной схеме, описываемой формулой (5.4).
Задача 5.13. В полиномиальной схеме (5.4) найдите: а) математическое ожидание и дисперсию числа не появившихся исходов; б) математическое ожидание числа исходов, появившихся г раз.
Задача 5.14. Из урны, содержащей пх красных и и - nt белых шаров, последовательно извлекаются все шары. Пусть X, — число шаров, извлеченных до появления 1-го красного шара, г = 1, пх, ХП) +1 — число шаров, остающихся в урне после извлечения последнего красного шара. Найдите математическое ожидание Xj, I - 1, И| + 1.
Задача 5.15. Видоизмените соответствующим образом формулу (5.31) и (5.32) если вместо (5.30) имеет место представление
У = с,7, + c2Z2 + ... + cmZ„,
где {с,} — постоянные, {Z,} — индикаторы событий {Д}.
Задача 5.16. Из множества чисел {1, 2, ..., 30} случайно выбирается 3 различных числа. Используя результаты предыдущей задачи, найдите математическое ожидание и дисперсию их суммы.
Задача 5.17. Задача о совпадениях. Имеются две одинаковые колоды карт, состоящие каждая из п различных карт. Карты в колодах располагаются случайным образом, после чего сравнивается расположение карт в колодах. Если какая-либо карта занимает одно и то же место в двух колодах, то говорят о совпадении. Найдите математическое ожидание и дисперсию числа совпадений X.
Задача 5.18. В условиях примера 2.5 предположим, что процесс голосования осуществляется по шагам, причем на каждом шаге подается голос за одного из кандидатов. Найдите математическое ожидание и дисперсию числа шагов, в течение которых: а) первый кандидат был впереди, б) первый кандидат не отставал от конкурента.
Задача 5.19. В условиях примеров 2.8-2.10 найдите математическое ожидание и дисперсию числа возвращений частицы в начало координат за время 2и.
Задача 5.20. Пусть Х^ Х2,... — некоррелированные случайные величины с одинаковыми дисперсиями а2. Рассмотрим две суммы 5' и 5", первая из которых содержит п таких величин, а вторая — т, причем i величин у них общие, например, 5'= Х\ + Х2 + ...+ ХП, S"= X„_i+I + Х„_,+2 + ... + Х„_ц.т. Покажите, что ковариация С(5', 5”) = io2, а коэффициент корреляции р = i/^n-m. Если и = т, то р = i/n, то есть коэффициент корреляции равен доле обгцих слагаемых. Статистики интерпретируют это следующим образом: коэффициент корреляции равен доле общих факторов в совокупном числе равновеликих факторов. В частности, если i = п = т, то коэффициент корреляции равен 1. Если обе суммы содержат одни и те же слагаемые, но с разными знаками, то коэффициент корреляции равен -1.
Задача 5.21. Пусть Хи У — независимые случайные величины, имеющие одинаковые математическое ожидание и дисперсию. Рассмотрите случайную величину Z, принимающую значение X с вероятностью р, и значение У с вероятностью 1 - р. Покажите, что коэффициент корреляции между X и Z равен р.
6 Многомерные непрерывные случайные величины
Распределения многомерных непрерывных случайных величин
В предыдущей главе многомерная случайная величина X = (X,,Х2, ...,Х„)была определена как вектор, все компоненты которого — случайные величины. Ранее рассматривался случай, когда эти величины — дискретные. Теперь будет рассмотрен случай непрерывных величин. Фактически будет повторен материал, изложенный выше для многомерных дискретных случайных величин, с корректировками для непрерывного случая. Эти корректировки сводятся, в основном, к замене сумм интегралами, а вероятностей отдельных значений — плотностями распределения. Как и в одномерном случае, плотность распределения является основным элементом задания непрерывной случайной величины.
Определение 1. Многомерной плотностью распределения называется вещественнозначная функция вещественных аргументов, удовлетворяющая условиям неотрицательности: Дхь х2, .... х^) > О, V xt, х2, ..., хп е (-оо, оо), интегрируемости и нормировки:
j j ... ]/(*!,х2xn)dxydx2...dxn = 1.(6.1)
Определение 2. Говорят о многомерной непрерывной случайной величине X = (Хь Х2,..., Хп\ если задана ее плотность распределения / (xlt х2х^, с помощью которой определяется вероятность попадания X в любой многомерный вещественный интервал (ab Ь^ х (а2, Ь^ х ... х (ат b„), V a, < Ь^
P{at <Ху <ЬХ, а2 <Х2 <Ь2, ...,а„ <Х„ <6„} =
*1 '-2(6.2)
= J J ... j/(x1,x2,...,x„)dx1dx2...dx„.
«I а2 ап
Как и в одномерном случае, вероятность принятия многомерной случайной величиной X некоторого значения (Xp х2, ..., х„) равна нулю, поэтому вероятность (6.2) не зависит от того, включены или нет границы в интервалы. Физический смысл многомерной плотности распределения определяется соотношением
Р{х, <Х, <xt + Ах,, х2 < Х2 < х2 + Ах2 ,..., хп <Хп < х„ + Ах„} == /(х, ,х2х„)Ах, Ах2... Ах„ + 0(Ах, -Ах2 ....-Ах„),то есть плотность /(х„ х2, ..., х„) в точке (х,, х2, .... х„), умноженная на произведе-ние бесконечно малых приращений Ах, Дх2 ... Ах„, приблизительно равна веро-ятности попадания случайной величины X в многомерный интервал
(хь х, + Ах,) х (х2, х2 + Ах2) х ... х(х„, х„ + Дх„).
Определение 3. Функцией распределения F(xb х2, ..., х„) многомерной случайной величины X = (Хь Х2, ..., Х„) называется функция п вещественных аргументов, равная в точке (х,, х2, .... х„) вероятности того, что каждая компонента X, не превзойдет соответствующего значения аргумента х,-:
Р(х,,х2, ...,х„) = Р{Х, <х,,Х2 <х2,...,Х„ <х„}.(6.3)
Функция распределения выражается через плотность распределения по формуле:
F(x,,х2, ...,х„) = J j ... //(УрУ2y„)^i^2--dyn. (6.4)
В многомерном случае функция распределения не используется так часто, как в одномерном случае, что объясняется трудностью работы с многомерными интегралами.
Как получить одномерное распределение отдельной компоненты Х;, зная многомерное распределение всего вектора X = (X,, Х2,..., Х„)? В дискретном случае переход от многомерного к одномерному распределению осуществлялся с помощью операции суммирования, в непрерывном случае — осуществляется с помощью операции интегрирования.
Определение 4. Частная (маргинальная) плотность распределения /х (х, ) компоненты Xi находится путем интегрирования / (х,, х2, ..., х„) в бесконечных пределах по всем аргументам за исключением х,. В частности, для компоненты X,
fxv СП )=/■■■ \f(xi,x2,...,x„)dx2...dxn, -«<х, <со. (6.5)
Аналогично определяются двумерные плотности. Например, для двумерной непрерывной случайной величины (Хь Х2) ее двумерная плотность распределения
2, ...,x„)dx3...dxn.2, ...,x„)dx3...dxn.(6-6)(6-6)
2, ...,x„)dx3...dxn.
2, ...,x„)dx3...dxn.
(6-6)
(6-6)
Наиболее известной является двумерная нормальная плотность:
/(х,,х2) =/(х,,х2) =11г=техР2лст, ст2 д/1 -рг=техР2лст, ст2 д/1 -р11х, -р,х, -р,2(1-P2)^2(1-P2)^(6.7)(6.7)-2рILlхг "Р2 + "Иг-2рILlхг "Р2 + "Игхх
/(х,,х2) =
/(х,,х2) =
1
1
г=техР
2лст, ст2 д/1 -р
г=техР
2лст, ст2 д/1 -р
1
1
х, -р,
х, -р,
2(1-P2)^
2(1-P2)^
(6.7)
(6.7)
-2рILlхг "Р2 + "Иг
-2рILlхг "Р2 + "Иг
х
х
где ц,, ц2, ст,, о2 и р — параметры распределения, причем ст,, ст2 > 0, -1 < р < 1.
Пример 6.1. Частные плотности двумерного нормального распределения.
Найдем частную плотность распределения компоненты X, двумерного нормального распределения (6.7). Согласно формуле (6.5) имеем, используя замену переменной интегрирования z = (х2 -ц2 )/аг> ^z = dx2/о2:
1-= ехр-1-= ехр-1212exp-exp-dz.dz.
1
-= ехр-
1
-= ехр-
1
2
1
2
exp-
exp-
dz.
dz.
В последнем выражении под интегралом стоит плотность нормального распределения с параметрами ц = р(х, -pt )/ot и о = -^/1 — р2. Поскольку эта плотность
удовлетворяет условию нормировки, данный интеграл равен единице. Итак,
A, Ai) =A, Ai) =1/=ехр'Oj Ч2к1/=ехр'Oj Ч2к2 । ^i Pi2 у ^i2 । ^i Pi2 у ^i
A, Ai) =
A, Ai) =
1
/=ехр'
Oj Ч2к
1
/=ехр'
Oj Ч2к
2 । ^i Pi
2 у ^i
2 । ^i Pi
2 у ^i
Эта формула показывает, что частное распределение компоненты Х\ является нормальным с параметрами ц = ц, и а = а,. Аналогичное утверждение справедливо для компоненты Х2, параметры нормального распределения которой ц ■ ц а и а = ст2. Таким образом установлен физический смысл четырех из пяти параметров двумерного нормального распределения (6.7): ц, является математическим ожиданием, а ст, -- средним квадратическим отклонением компоненты Хь ^1,2. □ Простым методом получения двумерных распределений является следующий. Предполагается, чю для данной случайной величины А'| с известной плотностью
У"6^) некоторый параметр 6 сам является непрерывной случайной величиной Х2 с плотностью g(x2). Тогда (Хь Х2) имеет двумерную плотность
/х„Х2 (*Р *2 ) = Г1 (*1 )g(*2)’(6-8)
Этот метод называется рандомизацией параметров распределений. Очевидно, таким способом можно рандомизировать не один, а несколько параметров, получая тем самым многомерные случайные величины.
Пример 6.2. Пусть Xv является экспоненциально распределенной случайной величиной с параметром 1 = Х2, имеющим экспоненциальное распределение с параметром ц. Тогда двумерная случайная величина (Хь Х2) имеет следующую плотность распределения:
fx,.xSxl,x2) = x2e-X2Xi щ?^,хрх2>0.(6.9)
Определение 5. Непрерывные случайные величины Хъ Х2, ..., Х„ называются попарно независимыми, если для любых двух случайных величин X, и X, и всех возможных значений X; и Xj их совместная плотность распределения в точке (х„ х^ равна произведению частных плотностей:
/х,.х2(^1.^2) = /х, (^i)/x2(^2)- -»<xvx2 <00.(6.10)
Определение 6. Непрерывные случайные величины Хь Х2,..., Хп называются взаимно независимыми или независимыми в совокупности, если для любого подмножества Х2, Xs Xt этих величин их совместная плотность распределения /х, ,х,,.. ,х< Равна произведению частных плотностей:
fxj.x,, ...X, (Хр XsХД= fxj (ХД /хДХЛ •••fxl Cn)- (6.11) Ясно, что из взаимной независимости следует попарная независимость случайных величин.
Тривиальным способом получения многомерных случайных величин является использование в качестве их компонент взаимно независимых случайных величин. Согласно последнему определению и формуле (6.11) плотность многомерного распределения будет представлять собой произведение одномерных плотностей отдельных компонент.
Примеры
Пример 6.3. Многомерное равномерное распределение и геометрические вероятности. Пусть Хь Х2,..., Хп — взаимно независимые случайные величины, имеющие равномерное распределение, параметры которого а, и Ь, для компоненты Хь Многомерная случайная величина X = (Хь Х2,..., Х„) имеет многомерное равномерное распределение с параметрами а = (аь а2,..., а„) и b = (bt, b2,..., Ь„) и плотностью
КХ1,Х2^») = 'КХ1,Х2^») = 'О,О,в противном случае.в противном случае.(6.12)(6.12) при а, <х, <bf, z = l,2, (& -а^.-ДЬ» -ап)
КХ1,Х2^») = '
КХ1,Х2^») = '
О,
О,
в противном случае.
в противном случае.
(6.12)
(6.12)
Рассмотрим двумерную случайную величину X = (Хь Х2), равномерно распределенную в единичном положительном квадранте плоскости (av = а2 = 0, bv = b2 = 1). Пусть А — некоторая область этого квадранта, имеющая площадь SA. Очевидно, вероятность попадания двумерной случайной величины X в эту область
Р(ХеЛ) = JJ 1 dx,dx2 =5Л,(Л1 . -Га )еЛ
где мы использовали то, что определенный интеграл равен соответствующей площади.
Итак, искомая вероятность равна площади области, попаданием в которую мы интересуемся. Мы называли так задаваемые вероятности геометрическими (см. раздел 2.1). Следовательно, они возникают для равномерных распределений. Очевидно, если рассматривать не двумерный случай, а трехмерный, то речь будет идти не о площади, а об объеме и т. д.
Пример 6.4. Многомерное стандартное нормальное распределение. Пусть Z\, 2^ Z, — взаимно независимые случайные величины, имеющие стандартное нормальное распределение с плотностью (4.13). Многомерная случайная величина Z = (Zb Z2 Z„) имеет многомерное стандартное нормальное распределение с плотностью
п_п f 4 П \-П Г 1\
/(H,22z„) =Пф(7,) = (2л) 2 exp -i Jz,2 =(2л) 2 exp --zzT , (6.13)
i=i\ 2 i=i )V 2 J
где z = (z„ z2,.... 2„).
Далее будет показано, как с помощью линейного преобразования вектора Z можно получить многомерную нормально распределенную случайную величину с произвольными значениями параметров.□
Определение 7. Пусть (Хь Х2) — двумерная непрерывная случайная величина с плотностью распределения /А|]А-2Сгь х2), причем частное распределение компоненты X, имеет строго положительную плотность в точке хь /х (.г,) > 0. Условная плотность распределения компоненты Х2 при условии, что компонента Х\ приняла значение х„ определяется формулой
/х/ИН^ =^)= ', ., "0X^2 <00‘(бК)
/х, СИ )
С тем чтобы отличать /(.г) от условной плотности, часто ее называют безусловной плотностью распределения.
В случае независимости Xv и Х2 условные плотности совпадают с безусловными, как видно из определения независимости (6.10):
/x/^zl^ =х,) =/Х2Сг2), А, Сп1^2 =^2) = /х, Си)- (6.15) Условные плотности распределения обладают всеми свойствами обычных, безусловных, плотностей распределений. Для них по известным формулам для одномерных непрерывных распределений могут быть подсчитаны условные математическое ожидание, моменты и дисперсия, если только в соответствующих выражениях заменить безусловные плотности на условные:
£(Х2|Х, = хх ) = jx2/(x2|X1 = xx')dx2,(6.16)
E(X2\Xt -xt )= Jx2/(x2|Xt =xt)dx2,(6.17)
n^lX, = *J= f(*2-£Сад ^J)2/^)^ = xt)dx2, (6.18)
при этом для существования соответствующих числовых характеристик должно выполняться условие абсолютной сходимости интегралов (4.22).
Пример 6.5. Условные распределения для двумерного нормального распределения (6.7). Найдем условную плотность распределения компоненты Х2, вычисленную при условии, что компонента Х\ приняла значение xv
Используя определение условной плотности распределения (6.14) и формулу (6.7) для плотности двумерного нормального распределения, находим:
1'/2ка2^-р21'/2ка2^-р2ехрехрРг +РСТ2Рг +РСТ2Xj Ц1Xj Ц1
1'/2ка2^-р2
1'/2ка2^-р2
ехр
ехр
Рг +РСТ2
Рг +РСТ2
Xj Ц1
Xj Ц1
Последнее выражение представляет собой плотность нормального распределения (4.11) с параметрами ’
О2 / х
Р = Ц 2 + РkXV -Pi ),о = о2 д/1-р2.
Следовательно, условное распределение компоненты Х2, вычисленное при условии, что компонента Xt приняла значение х^ является нормальным с указанными параметрами. Итак, условные математическое ожидание и дисперсия компоненты Х2 определяются формулами
Д^21^1 =xi) =Р2 +Р —(^i ~Pi),
DGW = х,) = о2 (1 — р2).
Аналогичные утверждения имеют место для компоненты Xt, следует только поменять местами индексы 1 и 2.О
Как и в дискретном случае, безусловное математическое ожидание Е(Х2) компоненты АЛ2 (если оно существует) может быть вычислено с помощью условных математических ожиданий £(X2|Xt = хх ):
(6.19)(6.19)£(Х2)= j£(X2|X, = xx)fX1 (xxWx-
(6.19)
(6.19)
Функции многомерных непрерывных случайных величин
Определение 8. Пусть vC-^i» *2>*п) ~ вещественнозначная функция и вещест
венных аргументов, а (Xj, Х2, ..., Х„) «-мерная непрерывная случайная величина. Новая случайная величина У = у(Х1; Х2Х„) называется функцией многомерной непрерывной случайной величины. Если имеет место абсолютная сходимость многомерного интеграла:
СО СОСО
J J ••• Jl V(xi А'2> ■■■>х„ )|/(Т| ,х2, ...,х„ )dxxdx2 ...dxn < оо, (6.20)
го говорят, что математическое ожидание функции многомерной непрерывной случайной величины существует. Оно обозначается Е^Х), Х2,.... Хп)) и вычисляется по формуле
£(V(X1,X2,...,X„))=JJ...Jv(x1,x2,...,x„)/(х1,х2х„ )dxxdx2...dxn. (6.21)
Если в качестве функции \р рассмотреть сумму vC^n х2, .... х„) = хх + х2 + ... + хн и предположить, что математическое ожидание E(Xj) каждой компоненты Xj существует, то из (6.21) получим теорему сложения математических ожиданий, аналогичную (5.20):
Е(Хх + Х2 + ... + Х„) = £(Х1) + £(Х2) + ... + £(Х„).(6.22)
Для дисперсии суммы остаются в силе формулы (5.21), (5.22). При этом ковариация С(Х„ Xj) и второй момент £(Х, X,) (если они существуют, то есть если имеет место абсолютная сходимость (6.20)) вычисляются по формулам:
С(Х,,Х,) = Е((Х, -Е(Хх ))(Х; -Е^))) =
- -(6.23)
= J J(.r, -E(X,))(Xj -E(Xj))/x.Xj (x^x^dx.dxj,
Е(ХхХ} ) = J Jx,xjx. x. (хх,х} )dxidxj.(6.24)
Ковариацию можно также вычислить по формуле (5.16), справедливой как ДЛЯ дискретных, так и для непрерывных случайных величин. Коэффициент корреляции между случайными величинами Хх и X, вычисляется по формуле (5.19). Для него остаются справедливыми все свойства, сформулированные для дискретного случая.
Как и в дискретном случае (см. определение 10 главы 5) некоррелированность случайных величин означает равенство нулю коэффициента корреляции р (см. (5.19)). Для таких величин дисперсия суммы равна сумме дисперсий слагаемых — см. формулу (5.23).
Если Хь Х2,..., Хп взаимно независимы, то из (6.11) вытекает теорема умножения математических ожиданий (5.26).
Примеры
Пример 6.6. Показать, что ковариация случайных величин Хх и Х2, имеющих двумерное нормальное распределение (6.7), равна раха2. Следовательно, их коэффициент корреляции равен р. Это устанавливает физический смысл последнего из пяти параметров двумерного нормального распределения. Кроме того, важно отметить, что для двумерного нормального распределения понятия некоррелированности и независимости совпадают: если коэффициент корреляции р равен нулю, то совместная плотность (6.7) становится произведением двух частных одномерных плотностей для компонент, что и свидетельствует об их независимости.
Решение
Для двумерного нормального распределения (6.7) ковариация (6.23) вычисляется так:
i2(l-p2)i2(l-p2)^i -Pi Y^i -Pi Y- dxx dx2.- dxx dx2.С(.Хх,Х2') — J J(Х[ Ц[)(х2 ц 2) jf(X|, х2 )tZt| tZx2 —
i
2(l-p2)
i
2(l-p2)
^i -Pi Y
^i -Pi Y
- dxx dx2.
- dxx dx2.
= J 7(^1-P2)Ц=уеХР‘
—-2ло1о271-р
—2 pHl ^^ ^2 +1 Хг ^2
o, o2 ( o2
После замены переменных z( =(х( -цх)/ох, z2 =(х2 -ц2)/°2 получаем:
-2pztz2 + z2)-2pztz2 + z2)C(Xx,X2)=]]zxz21(z?
-2pztz2 + z2)
-2pztz2 + z2)
И 2^1-р22(1 —pJ)
2(1-p2)^*2(1-p2)^*-2pztz2 + p2z2) dzxdz2 =-2pztz2 + p2z2) dzxdz2 =
2(1-p2)^*
2(1-p2)^*
-2pztz2 + p2z2) dzxdz2 =
-2pztz2 + p2z2) dzxdz2 =
= CTi°22 2 J2* -=r-,== expl -—-(zx -pz2y\dzxdz.
iV2^ Д 72^/1-P 2(l-p2) J
Внутренний интеграл представляет собой формулу для вычисления математического ожидания нормального распределения с параметрами ц = pz2 и 0=^1 -р2. Известно, что это математическое ожидание равно параметру ц, то есть pz2. Если вынести р за знак интеграла, то внешний интеграл будет представлять собой формулу для вычисления второго момента стандартного нормального распреде-
ления. Этот момент равен единице, так что искомая ковариация действительно равна рст^.
Пример 6.7. Функции минимума и максимума. Важное практическое и теоретическое значение имеют функции минимума Vmin = min^, Х2, .... Х^ и максимума ^max = тах{Хь Х2, ..., Х^ независимых случайных величин Хь Х2, .... Хп. Пусть F(.r) есть функция распределения случайной величины Х^ Покажем, что функции распределения случайных величин Утах и УтЬ) даются формулами
UW№ <T}=F1(T)F2(T)...F„(T),(6.25)
Flnin(x) = P{yniin ^x}=l-(l-F1(x))(l-F2(x))...(l-F„(x)).(6.26)
Доказательство
Имеет место следующее очевидное представление события {Утах < ,г}:
{У|Пах <х} = {тах{Х1,Х2XJ <т} =№ <х,Х2 <х,...,Х„ ^xY (6.27)
События Хх <х, Х2< хХп < х взаимно независимы, так что вероятность их произведения равна произведению вероятностей Р{Х1 <х}=F1(t),P{X2 ^х}- = F2(x), .... Р^Х„ < х} = F„(x), что и доказывает формулу (6.25).
Эти же рассуждения применимы для представления события {ymin > xY
{ymin > х} = {X, > х, Х2 > хХп > х}.(6.28)
В силу взаимной независимости событий опять имеем
P{ymin >х^ = Р{Х, >х}Р{Х2 >х^ЛХп ^} = (1-F1(x))(l-F2(x))...(l-F,(x)).
Переходя к противоположному событию {У||йп < .г}, получаем формулу (6.26).
Пример 6.8. Последовательное и параллельное соединение элементов в систему. Эти соединения рассматривались уже ранее в разделе 1.5. Формулы (1.31) и (1.32) выражают вероятность безотказной работы системы R как функцию вероятностей безотказной работы ее элементов {рф Теперь мы можём конкретизировать выражения для этих вероятностей. Если F,(x) — функция распределения времени безотказной работы г-го элемента, a F(x") — функция распределения времени работы всей системы, то соответствующие зависимости даются формулой (6.25) для параллельной системы и формулой (6.26) — для последовательной системы. В частности, если все элементы идентичны и имеют экспоненциально распределенное время безотказной работы с параметром X, то время безотказной работы последовательной системы из п элементов имеет экспоненциальное распределение с параметром пХ:
FCO = P{ymin>x}=e-^, х >0.(6.29)
Линейные преобразования случайных векторов*
Наиболее часто используемыми функциями многомерных случайных величин являются линейные функции. Такие функции называются линейными преобразованиями. Для их анализа применяется математический аппарат линейной алгебры. который мы и будем использовать. Согласно принятой в линейной алгебре терминологии многомерную случайную величину X = (Хр Х2Х^ называют
случайным вектором. Будем понимать его как вектор-строку. Переход к вектору-столбцу Хт осуществляется с помощью операции транспонирования т.
Ряд математических операций над векторами (умножение на константу, сложение и вычитание векторов) осуществляется покомпонентно: если с константа, X = (Xh Х2Х„) и Y = (Уь Y2У„) — два вектора одинаковой размерности, то сХ = (cXv сХ2 сХп\ X + Y = (X, + У„ Х2 + У2, ..., Хп + У„), X - Y = № - Yb Х2 - У2,..., Хп - Yn\ Эти операции распространяются с векторов на матрицы. Как и вектора, матрицы будут обозначаться заглавными полужирными латинскими буквами. Если матрица М имеет к строк и п столбцов, то она будет записываться в виде М = (т^^^п, где ту — (z, у)-й элемент матрицы, стоящий на пересечении z-й строки и j-ro столбца j-й столбец матрицы М обозначается М^*, то есть М*^ = ^mXj,m2jmkj )т. Транспонированной к матрице М = (mijjkxn называется матрица Мт = (m\jjnxk, строки которой являются столбцами матрицы М, и наоборот: m\j = mj 4. Квадратная матрица М называется симметрической, если она совпадает со своей транспонированной матрицей: М = Мт.
Определение 9. Математическим ожиданием £(М) матрицы М называется матрица, получаемая из М заменой каждого элемента Му (понимаемого здесь как случайная величина) на его математическое ожидание Е(Му):
£(М) = (£(М,;))Ы.(6.30)
В частности, математическое ожидание случайного вектора X = (Хь Х2, ..., Xnj есть вектор £(Х), состоящий из математических ожиданий его компонент:
£(Х) = (£(Х,), £(ХД..., Е(Хп)).(6.31)
Последнее определение позволяет выразить ковариационную матрицу С(Х) вектора X (см. определение 8 и формулу (5.18) главы 5) в матричной форме. Для этого напомним правила умножения двух матриц. Матрицу М можно умножить (справа) на матрицу L = (1у\ если число ее столбцов равно числу строк матрицы L. (ijj-й элемент гу произведения R = ML определяется по «правилу умножения строки на столбец»: он равен сумме произведений соответствующих элементов z-й строки матрицы М и j-ro столбца матрицы L:
ТЧ ^^
Произведение R = М L будет содержать число строк, равное числу строк матрицы М и число столбцов, равное числу столбцов матрицы L. В частности, произведение вектора-строки а = (аь а2, ..., ап) на вектор-столбец Ьт = (6Ь Ь2, ..., bnjT дает константу ах 1ц + а2 Ь2 + ... + ап Ьп. Обратный порядок умножения (столбца ат на строку Ь) дает квадратную матрицу, (z, jj-й элемент которой равен а, Ь-.
ах Ь2
ахЬ2 .
■■ avbn_x
axbn '
а2Ьх.
а2Ь2
а2^3•
•• aJVx
aibn
aTb = (a, Ь, )лхя =
д36.
а3^2
а3Ь„
.(6.32)
«я-1 ^1
а„.хЬ2
«„-А •
•• an-l^n-l
ап-ХЬ„
АЬ1
«Л
- anbn.v
«Л ,
Итак, пусть X = (Хь Х2, .... Х„) — случайный вектор, математическое ожидание которого обозначим ц = (ц,, ц ц „), где ц, = £(Х;), а ковариационную МВТ’ рицуС(Х) = (С(Х,,Х,))йхя.
Лемма 6.1. Имеет место формула
С(Х) = Е((Х-р)т(Х-р)).(6.33)
Доказательство'
Напомним (см. (5.18)), что (МУм элементом ковариационной матрицы С(Х) является ковариация г-й и у-й компонент вектора X. Последнее же, согласно определению ковариации (5.16) и (6.23), есть Е^Х, - ц, XXj - ц; )). Но это (с учетом формул (6.30) и (6.32)) как раз и есть (:,у)-й элемент матрицы, представленной правой частью формулы (6.33).О
Напомним, что симметрическая матрица М порядка п называется неотрицательно определенной, если для любого n-мерного вектора х = (xv х2,.... хк) квадратичная форма хМхт неотрицательна: хМхт > 0. М положительно определена, если для любого ненулевого вектора х эта форма строго положительна: хМхт > 0.
Лемма 6.2. Ковариационная матрица С является неотрицательно определенной. Если матрица С невырождена, то она положительно определена.
Доказательство
В доказательстве первой части леммы используется то, что х(Х - ц)т и (X - ц)тХ являются одним и тем же скаляром, так что их произведение — это квадрат этого скаляра. Напомним также, что транспонирование произведения матриц (или векторов) дает произведение транспонированных матриц, взятых в обратном порядке: (ML)T = LT Мт. Согласно определению ковариационной матрицы (6.33) и сформулированных ниже свойств математического ожидания (6.35), имеем;
>0.>0.хСхт = хЕ((Х-р)т(Х-р))хт - Е(х(Х-р)т(Х-р)хт) =
>0.
>0.
= Е(х(Х-ц)т(х(Х-ц)т)т) = Е
Вторая часть леммы будет следовать из леммы 6.3.Ь
Теперь мы рассмотрим линейное преобразование вектора X = (Хр Х2X*).
Определение 10. Пусть М = (т^^ — матрица кхп, а = (аь а2,.... а„) — п-мерный вектор, компонентами которых являются константы. Линейным преобразованием случайного вектора X = (X!, Х2X*) называется случайный вектор
¥ = а+ХМ.(6.34)
Следующая теорема выражает математическое ожидание и ковариационную матрицу линейного преобразования ¥ через математическое ожидание и ковариационную матрицу исходного вектора X.
Теорема 6.1. Если р = Е(Х) — математическое ожидание, С(Х) — ковариационная матрица случайного вектора X, то математическое ожидание £(¥) и ковариационная матрица C(Y) линейного преобразования (6.34) вычисляются по формулам
£(¥) - £(а + ХМ) = а + рМ,(6.35)
C(Y) = C(a + XM)=MTC(X)M,(6.36)
где Мт означает матрицу, транспонированную к М.
Доказательство
1-ая компонента вектора Y линейного преобразования (6.34) У, = a, + ^Xvmvi.
Беря математическое ожидание и используя свойства (3.25) и (4.24) математического ожидания, получаем
Ж) = а, + ££(Х„ )mw- =а, + ^„т^.
Это отличается от исходного выражения для У, только тем, что вместо Xj здесь присутствует р,. Следовательно, в векторной записи (6.34) для E(Y) вместо X должно присутствовать ц. Это и дает формулу (6.35).
Для доказательства формулы (6.36) найдем выражение для ковариации компонент У, =^ + ^Х„т„,, и ¥} = а} + ^XttmwJ:
Соу(У„У> ) = E^-E(Yi ))(Y j - E(Y j))) =
= E °i + E х«тВл - °, - E n А,. «> + E x»m»j -°j “Eh wm»,j =\ \уP/ \BPBP/ /
= E^ mri (X„ - p „ )£ (X„ - p „ ) mwj ) = £ E ^.i Е^хв ~ И - Xх» - M „)) mwj =
= EE^ Cov(Xv, ) m№j.
Cov^.Yj )='L'Lm„,iCov(X1,Xw>№.j = Ц^С^„Х,)^,и wи w
где т\в означает (i, у)-й элемент транспонированной матрицы Мт.
Последнее выражение в точности совпадает с (i, ))-м элементом матрицы, стоящей в правой части формулы (6.36).□
Отметим, что теорема обобщает ранее доказанные свойства математического ожидания и дисперсии (3.25)-(3.27), (4.24), (4.31), которые являются частным случаем теоремы при и = 1.
Определение 11. Говорят, что случайный вектор X = (Хь Х2,..., Хп) имеет невырожденное распределение, если его ковариационная матрица С является невырожденной, то есть имеет обратную матрицу, которую мы обозначим С'1.
Определение 12. Верхней (нижней) треугольной матрицей называется квадратная матрица, все элементы которой, расположенные ниже (выше) главной диагонали, равны рулю. Если С — ковариационная матрица, то квадратным корнем Холесского из нее называется нижняя треугольная матрица С1/2, такая, что С = С1/2 (С1/2)т.
Следующая лемма имеет большое значение при анализе и моделировании многомерных случайных величин.
Лемма 6.3. Квадратный корень Холесского С1/2 существует и единственен ДЛЯ любой ковариационной матрицы С. Если ковариационная матрица С невырож* дена, то невырожден и квадратный корень Холесского, а С — положительно ОЯ- ределенная матрица. Матрица, обратная к С1/2, обозначается С"1/2. Кроме ТОГО, (Ст)-*/2 = (С~1/2 )т..
Доказательство
Ограничимся доказательством для случая невырожденной матрицы С.
Будем доказывать лемму индукцией по размерности матрицы п. При п = 1 матрица вырождается в неотрицательный скаляр, являющийся дисперсией единственной компоненты. Квадратный корень из этого скаляра будет одновременно и верхней и нижней треугольной матрицей. Следовательно, при п = 1 лемма верна. Как будет показано в примере 6.7, она верна также для п = 2.
Пусть лемма верна для п и докажем ее справедливость для п = п + 1. Если С является невырожденной ковариационной матрицей порядка п + 1, то ее можно представить в виде:
(с А
С=,.
VC Ci+t.n+t,
где С# — невырожденная ковариационная матрица порядка п, соответствующая п первым компонентам,
с и ст — вектор-строка и вектор-столбец, получающийся транспонированием с, G>+b n+i — последний диагональный элемент матрицы С.
11о предположению индукции, матрицу С# можно представить в виде произведения невырожденных нижней С1/2 и верхней (С1/2 )т треугольных матриц, так что
С =С =СУ2(СУ2)Т сСУ2(СУ2)Т с
С =
С =
СУ2(СУ2)Т с
СУ2(СУ2)Т с
В силу невырожденности матрицы С1/2 она имеет обратную (С1/2)"1, и мы мо
жем определить матрицу
(6.37)
где d = с ((С*#/2 )т )"* и а = ^/С„+1 „+1 - ddT, 0т — n-мерный вектор-столбец из нулей.
Легко проверить, что матрица С представляется в виде: С = С|/2(С|/2 )т, то есть указанное в лемме представление имеет место и для п + 1.
Покажем теперь, что если матрица С невырождена, то такова же и С1/2, а диагональные элементы матрицы С1/2 строго положительны.
Если матрица С невырождена, то ее определитель | С| больше нуля: | С| > 0. Определитель произведения матриц равен произведению их определителей: |С|-|С|/2||(С|/2)т|. Определители нижней С /2 и верхней (С|/2)т треугольных матриц равны произведению их диагональных элементов. Следовательно, все
эти диагональные элементы — ненулевые. Итак, С1/2 - невырожденная матрица, то есть ее строки — линейно независимые векторы. Следовательно, для любого ненулевого вектора х хС|/2 = у = ^ух, у^, ...,у„)*0. Отсюда следует, что
хСхт =хС,/2(С'/2)тхт = хС,/2(хС,/2)т = уут = £у? >0.
Итак, С — положительно определенная матрица.'□
В приведенном доказательстве фактически содержится алгоритм вычисления матрицы Холесского С|/2. Алгоритм предусматривает последовательное вычисление этой матрицы для все увеличивающейся размерности: вначале для п = 1, потом для п = 2 и т. д. При этом переход от размерности п к размерности п + 1 осуществляется по формуле (6.37). Обычно можно получить матрицу Холесского путем использования соответствующих компьютерных программ. В пакете Mathcad таковой является программа cholesky.
Определение 13. Случайный вектор Z = (Zb Z2Z„) называется нормированным, если его компоненты некоррелированы и имеют нулевое математическое ожидание и единичную дисперсию: f(Z) = 0, C(Z) = I, где 0 — вектор с нулевыми компонентами, I — единичная матрица.
В частности, вектор Z, имеющий стандартное нормальное распределение (6.13), является нормированным.
Лемма 6.4. Пусть X — случайный вектор, имеющий невырожденное распределение с математическим ожиданием ц и ковариационной матрицей С. Тогда линейное преобразование Y = (X - р)(С~|/2)т представляет собой нормированный случайный вектор.
Доказательство
Используя свойства математического ожидания (6.35), доказываем, что £(Y) = 0:
£(У) = £((Х-ц)(С-*/2)т) = (£(Х)-ц)^=(ц-ц)(С-,/2)т =0.
Равенство ковариационной матрицы единичной матрице I вытекает из выражения (6.36) для ковариационной матрицы линейного преобразования:
C(Y) = С((Х-ц)(С~*/2 )т ) = С*1/2С(Х)(С-'/2 )т =
= Сч/2С(С-'/2)т =C-1/2C,/Z(C,/2)T(C",/2)T =1(С-,/2С,/2)т =1.□
Примеры
Пример 6.9. Двумерное распределение. Для этого распределения имеем следую
щую ковариационную матрицу:
(6.38)(6.38)£ _°1 Р °1 °2
(6.38)
(6.38)
<Р а1 а2 а2 ,
Найдем разложение Холесского С =С|/2(С|/2 )т для этой матрицы. Представим нижнюю треугольную матрицу С|/2 в виде:
£1/2 ГХU У)
гид г. и. 2 — поллежашие опоеделению неизвестные.
Эти неизвестные находятся из матричного уравнения С =С1/2(С,/2 )т, которое в развернутой форме имеет вид:
X 0И.Г Zг у) (О уX 0И.Г Zг у) (О уflА
X 0И.Г Zг у) (О у
X 0И.Г Zг у) (О у
^1 РCTtCT2
<Р СТ1 ст2 ^1 ,
Данное матричное уравнение запишем в виде системы скалярных уравнений:
22
х = о;‘,zx =р gvg2,'
у2 +z2 =02-
Решением этой системы является: х = ох, у = о2^1 -р2, г =рст2. Итак, квадратный корень Холесского для матрицы С дается выражением
С1/2С1/2' СТ, 0'JXT2 а2Д\-р2,' СТ, 0'JXT2 а2Д\-р2,(6.39)(6.39)
С1/2
С1/2
' СТ, 0'
JXT2 а2Д\-р2,
' СТ, 0'
JXT2 а2Д\-р2,
(6.39)
(6.39)
c-i/2c-i/2Согласно последней лемме случайный вектор Y = (Х-ц)(С"1/2 )т является нормированным, то есть имеет нулевое матожидание и единичную ковариационную матрицу. Обратная матрица С-1/2 имеет вид ,
c-i/2
c-i/2
1ст2^1-р2 О
OtCTzVl-p2 1^2°1>
Пример 6.10. Симметричное многомерное распределение. Таковым будем называть распределение, у которого дисперсии всех компонент Хх, Х2Х„ одинаковы и равны ст2, а коэффициент корреляции любых двух разных компонент Xt К Xj равен р. Ковариационная матрица в этом случае имеет вид:
'ст2
рст2
рст2 ...
рст2
рст2
рст2>
рст2
ст2
рст2 ...
рст2
рст2
рст2
рст2
рст2
ст2 ...
рст2
рст2
рст2
с =
рст2
рст2
рст2 ...
ст2
рст2
рст2
рст2
рст2
рст2 ...
рст2
ст2
рст2
.рст2
рст2
рст2 ...
рст2
рст2
nd
Найдем для нее матрицу Холесского С1/2.
Решение
Мы покажем, что в качестве С|/2 выступает нижняя треугольная матрица, у которой элементы каждого столбца, расположенные ниже диагонали, одинаковы. Иными словами, матрица вида:
с,/2 =
' dx00...00О'
hxd20...000
hx/г2d3...000
hxh2h3...dn_200
Ajh2h3...hn_2dn_x0
k hx h2 h3 ... hn_2 hn_x dn >
Наша задача — определить значения сЧ2 элементов матрицы С1/2 из уравнения
С=С1/2(С,/2 )т.
При этом следует иметь в виду, что элемент С;,, матрицы С получается в результате скалярного произведения z'-й строки матрицы С|/2 на j-й столбец матрицы ^1/2)Т Поскольку (С|/2)т — матрица, транспонированная к С|/2, то ее столбцы совпадают со строками С1/2, так что Сц — скалярное произведение z-й и j-й строк матрицы С1/2.
Для первого элемента с1Л матрицы С имеем выражение
си = </12.
Поскольку с, j = ст2, находим, что с?, = ст.
Для любого другого элемента ciX = рст2 первого столбца С имеем выражение
рст2 = ^(с172)^.
Следовательно, (с1/2 ),л = рст. Итак, hx = рст.
Теперь предположим, что постулируемая форма матрицы С1/2 верна для строк и столбцов, номера которых не превышают г, г > 1 Покажем, что тогда она будет верна и для г + 1. Из этого будет следовать, что она верна для любых L Для диагонального элемента см = ст2 матрицы С имеем соотношение
ст2 = h2 + й2 + ... + h2_x + d2, откуда сразу получаем
dj = -^ст2 -h2 -h2 -,..-h2_x, z = 2, 3n.
Для любого элемента cjt = рст2 (z < j) z-го столбца матрицы С, находящегося ниже диагонального элемента с1а, имеем соотношение
рст2 = h2 + h2 + ... + h2_x +diciJ2, z=2,3n-1,j = z + ln.
Отсюда ясно, что eV2 =h; не зависит от j, кроме того,
ht = (рст2 -h2 -h2 -... -h2_x ), г = 2, 3и -1.
о,
Полученные соотношения можно записать в рекуррентной форме:
d>1=2,3,...,п,
А, = ^-Г (</м - Ам ), г =2, 3,..., п-1.
В частности, для п = 2 мы получаем dx = a, hx = ро, d2 = cr-^l-p2, что совпадает с результатом предыдущего примера (6.39) при сх =с2 = а Эти соотношения будут реализованы в компьютерных программах, вычисляющих матрицы Холее- ского для симметричных многомерных распределений.’
Многомерное нормальное распределение*
Ниже будет дано определение многомерной нормально распределенной случайной величины. В нем мы отступаем от принятого нами порядка задания непрерывной случайной величины через ее плотность распределения. Это объясняется следующими причинами: 1) возможностью решения ряда задач без использования плотности распределения; 2) трудностями, возникающими при работе с многомерными плотностями; 3) удобством использования линейных преобразований, с которыми связана характеризация нормальных распределений; 4) тем, что предлагаемое определение является конструктивным. ■
Определение 14. Говорят, что случайный вектор X = (Хх, Х2,..., Х„) имеет многомерное нормальное распределение, если его можно представить в виде
X = P + ZM,(6.40)
где р = (ц,, ц 2Ц п)и М = (тпу^п — вектор и матрица из констант,
Z = (Zb Z2,..., Z^ — A-мерный случайный вектор, имеющий стандартное нормальное распределение (6.13).
Из нормированное™ вектора Z и формул (6.35), (6.36) сразу следует, что математическое ожидание f(X) и ковариационная матрица С(Х) вектора X определяются формулами
£(Х) = ц, С(Х) = МТМ.(6.41)
Рассмотрим теперь следующую задачу: как подобрать матрицу М линейного преобразования (6.40) так, чтобы вектор X имел заданную ковариационную матрицу С? Ответ дается матрицей Холесского: из формулы (6.41) следует, чтр М - (С,/2)т.
Лемма 6.5. Пусть случайный вектор Z = (Zb Z2Zt) имеет нулевое математическое ожидание и единичную ковариационную матрицу, а С — произвольная ковариационная матрица. Тогда случайный вектор X = ц + Z(C1/2 )т имеет математическое ожидание ц и ковариационную матрицу С.■
Отметим, что эта лемма используется при генерации нормально распределенных случайных векторов с произвольными ц и С путем преобразования взаимно независимых скалярных величин, имеющих стандартное нормальное распределение (4.13).
Определение 15. Пусть ранг матрицы М равен п, то есть числу столбцов М (а для итого необходимо, чтобы * 2 л), так что матрица МТМ размера пхп является не-
вырожденной. Тогда говорят, что X имеет невырожденное нормальное распределение.
Для невырожденного нормального распределения существует плотность распределения, вид которой устанавливается теоремой 6.2.
Пример 6.11. Двумерное нормальное распределение. Пусть Z = (Zh Z^ — двумерный случайный вектор, компоненты которого независимы и имеют стандартное нормальное распределение p = (p,,p2), С1/2 — матрица, задаваемая формулой
Рассмотрим линейное преобразование
тР^2 )
X=p+Z(C1/2)T=p+Zг—г .
Согласно формулам (6.41), вектор X имеет математическое ожидание ц и ковариационную матрицу С, задаваемую формулой (6.38). Позже мы покажем, что плотность распределения X является двумерной нормальной (6.7).□
Теорема 6.2. Пусть вектор X = (X,, Х2, ..., Х„) определяется формулой (6.40) и имеет невырожденное нормальное распределение с математическим ожиданием р и ковариационной матрицей С. Тогда существует плотность распределения вектора X, задаваемая формулой
/(х) = - . 1 ... ехр-М (х -р)С~*(х -р)т1(6.42)
Т(2лУ1С| I 2J
Верно и обратное утверждение: если (6.42) является плотностью распределения случайного вектора X = (Хь Х2, ..., Х„), то последний может быть представлен в виде (6.40). Следовательно, для невырожденных распределений между заданиями распределений формулами (6.40) и (6.42) имеется взаимно однозначное соответствие.'
Доказательство
Вначале мы рассмотрим случай, когда размерности векторов Z и X из формулы
совпадают, то есть когда п = к. Случай п < к будет рассмотрен в следующей главе.
Приведем некоторые факты из теории интегрирования функций многих переменных. Пусть имеется многомерный (кратный) интеграл от функции <p(z(, ...,z„) по области G переменных z,, z2,.... z„:
"У^»zn')dzv..dzn.
Рассмотрим преобразование х = y(z):
*i = Vi (z,z„) = y,(z),
*2 = Уг(?1zn") = y2(z),
=Vn(Ziz„) = v„(z),
означающее переход от переменных z,,...,z„ к новым переменным хИ ...,хп.
Пусть это преобразование — непрерывно дифференцируемое по всем переменным в области G и взаимно однозначное, то есть существует обратное преобразование z = у~'(х)
Z, = УГ1(^1,.-.Х„) = \|/Г‘(х),
z2 = V2’(^i^„) = V2*(x),
z„ =w;’(*i^„)=v;'(x).
Обозначим G* образ области G для этого преобразования: G' = (х х = y(z), z е GY
Если осуществить замену переменных в интеграле I, то следует пользоваться формулой1 '
7 = j „. J v(z,z„) dz,... dzn = J.„ J ф( v Г1 (X),.... V;' (X))dxt... dx„,
где
U(x)|U(x)|^,(z)dz.^,(z)dz.^^ (x)^^ (x)
U(x)|
U(x)|
^,(z)dz.
^,(z)dz.
^^ (x)
^^ (x)
есть абсолютное значение функционального определителя преобразования (якобиана) в точке z = ф"1 (х).-
Если ф(г) = ф^z„ ) — плотность распределения непрерывной случайной величины Z = (Z ,,..., Z„), то плотность распределения многомерной случайной величины Х=(Х р...,%„) = (у 1(Z),...,y„(Z)) = y(Z) будет
Ж*„) = ф(VГ1 (х),.... v;*(x))j-^—т = Ф(у~1 (х))--1-|.(6.43)
1У(Х)||J(x)|
Рассмотрим теперь невырожденное преобразование x = y(z) = p + z(C,/2 )т, где ц =(nt, ...,ц„)— n-мерная вектор-сторока, С1/2 — невырожденная симметрическая матрица размера п.
Тогда
z = у (х) = (х - р)(С",/2 )т,U(x)|=|C-/2|.
Если Z — многомерная случайная величина с плотностью y(z,,...,z„), то плотность распределения многомерной случайной величины X = ц + ZCt/2T будет
М*,) = ф((х - Ю(С-,/2 )т)-!-.(6.44)
В частности, если y(z) есть п-мсрная плотность нормального распределения (6.13), то
ЖХ„ ) = (2кг'2ехрМ (х - н)(С-,/2 )тС-,/2(х - р)т| =
=ехр|4<х - ^<с,/2 (с*/2 >т >ч (х -|C I I 2J
Используя матрицу Холесского из Определения 12, так, что С =С|/2(С1/2 )т, получаем окончательную формулу для многомерного нормального распределения с математическим ожиданием ц и ковариационной матрицей С:
/(х) = (2л)"”/2 —|— ехр | (х - р)С"‘ (х - р)т
Утверждение, обратное доказанному, гласит, что каждой плотности распределения (6.42) соответствует случайная величина, представимая в виде (6.40). Чтобы в этом убедиться, достаточно в преобразовании (6.40) взять М =(С|/2)Т. Теорема доказана.□
Доказанная теорема имеет фундаментальное значение. Теперь можно говорить о невырожденных многомерных нормальных случайных величинах без уточнения способа их задания (6.40) или (6.42). Тем не менее задание с помощью представления (6.40) является более общим, поскольку охватывает и вырожденные случайные величины, для которых ковариационная матрица существует, но является вырожденной, в связи с чем плотности распределения они не имеют. Из теоремы вытекают утверждения, содержащиеся в следующей теореме.
Теорема 6.3. В условиях теоремы 6.2 имеют место следующие утверждения:
Если i-й диагональный элемент сц ковариационной матрицы С является положительным, то частное распределение компоненты X, является нормальным с математическим ожиданием Е(Х;) = ц, и дисперсией D(Xi) = су.
Любое подмножество компонент (X, Xj, ..., Хг) вектора X имеет многомерное нормальное распределение с математическим ожиданием (ц,, ц,ц^) и ковариационной матрицей, получающейся из ковариационной матрицы С вектора X путем оставления только строк и столбцов с номерами i, j, ..., у, которые соответствуют компонентам X, Xj, ..., Х„.
Любое линейное преобразование ¥ = v + XL вектора X имеет многомерное нормальное распределение с математическим ожиданием E(Y) = v + pL и ковариационной матрицей C(Y) = LT C(X)L.
Доказательство
Рассмотрим i-ю компоненту X, вектора X = (Хь Х2, ..., Х„). Ее можно представить в виде линейного преобразования X, = Хе, вектора X, где е; = (0, 0, ..., 0, 1, 0,..., 0)т — n-мерный вектор-столбец, у которого все компоненты, кроме i-й, равны нулю, а i-я компонента равна единице. Поэтому доказательство будет следовать из третьего утверждения леммы, согласно которому имеем нормальное распределение с параметрами
Е(Х,) = Е(Х)е, = Е(Х)(0,0,..,0,1,00)т = р;,
D(XlVeICel =(0,00,1,00)С(0,00,1,0 0)т = см.
Для простоты записи рассмотрим первые т < п компонента X' = (Хь Ха,..., Х*) вектора X = (Хь Ха,..., Х„). Их можно представить в виде линейного преобразования X' = XL, где L представляет собой матрицу с п строками и т столбцами. Последние п - т строк этой матрицы состоят из нулей, обозначим О эту подматрицу размера (n - m)xm. Первые т строк этой матрицы образуют единичную матрицу порядка т, обозначим ее I. Тогда L представимо в виде блочной матрицы L = (I От)т. Теперь доказательство опять будет следовать ИЗ третьего утверждения леммы. Нормальность оговаривается в нем явно, а математическое ожидание и ковариационная матрица даются формулами
EQ^ = £(XL) = £(X)L = £(X)(IOT)т = <E(Xt )Е<Хт^ = (Ц1pj,QX') = C(XL) = LTCL = (IO)C(IOT)T = (Cij )mxm,
где в конце последней строки записана матрица порядка т, составленная ИЗ первых т строк и столбцов ковариационной матрицы С.
Согласно определения, вектор X может быть представлен в виде линейного преобразования (6.40), в котором вектор Z составлен из взаимно независимых компонент, имеющих стандартное нормальное распределение, а матрица М=(С1/2)Т. Через эти же компоненты может быть выражен и вектор Y, а именно,
Y = v+XL = v + (p+ZCI/2T)L =(v+pL) + Z(C1/2TL).
Теперь из Определения 14 следует, что такое представление предопределяет нужное распределение.О
Теорема 6.4. Устойчивость семейства нормальных распределений.
Пусть X = (Хь Х2,..., Х„) — я-мерная случайная величина, имеющая Нормальное распределение с математическим ожиданием ц = (р1,...,ря)и ковариационной матрицей С, а 1 = (1,1, ...,1) — единичный я-мерный вектор-строка. ЕслиЮ1Т >Ц то сумма компонент Х( + Х2 + ... + Хп имеет нормальное распределение с математическим ожиданием ц = р( + ... + ц„ и дисперсией ст2 = 1С1Т.
Доказательство
Сумму компонент вектора X = (Х^ Х2, ..., Х„) можно представить как линейное преобразование этого вектора У = Х1т. Согласно предыдущему следствию, У имеет нормальное распределение с указанными параметрами.О
Компьютерный практикум № 8.
Двумерное нормальное распределение•
Цель и задачи практикума
Целью практикума является приобретение практических навыков при работе h пакете Mathcad с двумерным нормальным распределением.
Задачами данного практикума являются:
построение графиков поверхностей двумерного нормального распределения;
расчет вероятностей попадания соответствующей случайной величины в интервал и круг;
U генерация случайных величин и подсчет частот их попаданий в подынтервалы.
Необходимый справочный материал
Многомерные непрерывные случайные величины задаются своими плотностями распределений, являющимися функциями многих переменных. Вероятности принятия этими величинами значений из многомерных областей находятся интегрированием плотности по этим областям. В связи с этим в практикумах № 8 и № 9 нами будет использоваться операция многократного интегрирования, имеющаяся в системе Mathcad. В последних версиях пакета, например в Mathcad 2001, допускается, чтобы пределы интегрирования во внутренних интегралах являлись функциями других переменных интегрирования. Однако данную операцию многократного интегрирования следует применять осторожно: в ряде случаев наблюдается неустойчивая работа пакета. Если же все пределы интегрирования должны быть постоянными, то для избежания проблем следует в качестве подынтегральной функции использовать оператор if.
В предлагаемом практикуме широко используется такая возможность Mathcad, как трехмерное представление поверхностей и геометрических тел. Для этого следует ввести команду прикладного меню Insert—Graph (или щелкнуть по кнопке Graph Toolbar на панели инструментов) и выбрать одну из предлагаемых опций (рис. 6.1). Нами будут использоваться три из имеющихся опций: Surface Plot, Contour Plot и 3D Bar Plot. Опция Surface Plot предназначена для построения трехмерной поверхности, которая описывает функцию двух переменных; в нашем случае это будет плотность двумерного распределения. В созданных в последние годы версиях пакета достаточно указать имя этой функции в светящемся окне возникающего на экране шаблона. В более ранних версиях, например Mathcad 6 Plus, необходимо предварительно построить матрицу аппликат. График строится для конечного множества значений переменных функции. Одной переменной соответствуют строки матрицы, другой — ее столбцы. Сама матрица содержит соответствующие значения функции.
Опция Contour Plot предназначена для построения контурных графиков, изображающих линии уровней поверхности в двумерном пространстве. Для построения трехмерной гистограммы в виде совокупности столбиков применяется опция 3D Bar Plot.
Рис. 6.1. Окно команды прикладного меню Insert—Graph
Из стандартных встроенных функций Mathcad в данном практикуме будем использовать функцию cholesky(C), выдающую матрицу Холесского для положительно определенной матрицы С, и функцию тогт(п, ц, ст), которая вырабатыяа- ет п случайных величин для нормального распределения с параметрами ц и О, Реализация задания
Для проведения вычислений нам понадобятся дополнительно функции пользователя. Программные модули, реализующие данные функции, представлены на рис. 6^2. Функции имеют следующее назначение.
Практикуй Mt 8. Двумерное нормальное распределениеПользовательские Функции
Плотность двуверного нереального распределения
Г f 2ГГ1Ik ®1 J Р k ®1 J I J I в2 ,
1(х1,х2,д1.д2.е1,е2,#):-[гж е1 еЗ И-#• 1 * 1
Построение матрицы аппликат поверхности плотности распределения:I -1.40>140
FioTwo^j^ifL^.l^.e.e,i,i.el HitwoDij -ffl^,l^.e,e,i,i,os)
Вероятность попадания а интервал (а. Ь) к (с, d)
1(1,Ь,с.d)- j* J* 1(x1.x2,0.0,1,1,0)dx2dx1
Вероятность попадания в круг радиуса г . г* №
PrfK(r.,t.,2,<1,*».#)>Г(х2,х1,д1.д2.ж1.ж2./) dx2dx1
Вероятность попадания как функция радиуса г
РгЯНП(д1.д2,#1.#2,р)>РгЯНП(д1.д2,#1.#2,р)>Матрица ХаласскогоМатрица ХаласскогоЛ1- 8.5 (д1 + д2)
РгЯНП(д1.д2,#1.#2,р)>
РгЯНП(д1.д2,#1.#2,р)>
Матрица Халасского
Матрица Халасского
гД <-0.1 (#1 * м2)
for 1е0 20
I
Ao,l<-fO*l гД
Ai д <- PrFit(Ao J. д1, Д2, »1, »2, д) А
Генерирование к случайным векторов
ChTwo(e,p> Ао,о <”*0ChTwo(e,p> Ао,о <”*0Ао,1«-О Ai,0«-ei р Аия-ет/г^ ААо,1«-О Ai,0«-ei р Аия-ет/г^ АSlmTwo(k.p.p,p>SlmTwo(k.p.p,p>С <— ChTwe(e.p) Z*- morm(2k,0,1) for Ie1„ kТо<-гг|-2*i«- Zzn Х^^д.С V XС <— ChTwe(e.p) Z*- morm(2k,0,1) for Ie1„ kТо<-гг|-2*i«- Zzn Х^^д.С V X
ChTwo(e,p> Ао,о <”*0
ChTwo(e,p> Ао,о <”*0
Ао,1«-О Ai,0«-ei р Аия-ет/г^ А
Ао,1«-О Ai,0«-ei р Аия-ет/г^ А
SlmTwo(k.p.p,p>
SlmTwo(k.p.p,p>
С <— ChTwe(e.p) Z*- morm(2k,0,1) for Ie1„ k
То<-гг|-2
*i«- Zzn Х^^д.С V X
С <— ChTwe(e.p) Z*- morm(2k,0,1) for Ie1„ k
То<-гг|-2
*i«- Zzn Х^^д.С V X
Проверка пвпаденпя в (1J) 4 интервал
Матрица частот лвяадений:Матрица частот лвяадений:М(к.Д.#.Р)*М(к.Д.#.Р)*уш(х.1,Л . И[02 (1-16)4 xoS02 (l- 10). 02,lf[SJ (j - 10) $ х4 4 О^ Ц - 10)-1Л.1.1],0]
Матрица частот лвяадений:
Матрица частот лвяадений:
М(к.Д.#.Р)*
М(к.Д.#.Р)*
X«- ShnTwo(k.p, о ,р)for 1о1..20
for j«1 20
tor v «1. k
*.(*•*.!♦ wWxlv>,Lj).l,«)
Pho. 6.2. Функции пользователя, обеспечивающие работуо двумерным нормальным распределением
Функция /(xl, х2, pl, ц2, al, а2, р) — вычисляет плотность двумерного нормального распределения (6.7) с параметрами pj =pl, р2 = ц2, a, = al, а2 = °2 и р в точке (xl, х2). Для того чтобы построить график поверхности этой плотности в условиях использования Mathcad 6 Plus, определяются две матрицы аппликат FigTwoNI и FigTwoND. Первая из этих матриц соответствует независимым компонентам, а вторая — зависимым, с коэффициентом корреляции р = 0.9 При работе с более поздними версиями Mathcad для построения графика можно использовать саму плотность.
Плотность позволяет рассчитать вероятность попадания соответствующей случайной величины в двумерный интервал (а, 6)х(с, Ь). Эту вероятность для значений параметров ц! = ц2 = 0, al = а2 = 1, р = 0 вычисляет функция I(a, b, с, d). Если взять достаточно большой интервал, то можно проверить выполнение условия нормировки для плотности: интеграл должен равняться единице.
Функция PrFit(r, ц1, ц2, ol, а2, р) вычисляет вероятность попадания двумерной нормально распределенной случайной величины с параметрами pl, ц2, al, а2, р в круг радиуса г с центром в начале координат; PrFiY/?(p 1,ц2, al, а2,р) вычисляет указанную вероятность как функцию радиуса г.
Для генерации двумерных нормально распределенных случайных величин используются функции ChTwo и SimTwo. Функция ChTwo(a, р) вычисляет матрицу Холесского (6.39). Здесь a = (о, ,о2 )т является вектором-столбцом с двумя компонентами а, и a2. Это же можно осуществить с помощью стандартной функции cholesky, имеющейся в большинстве версий Mathcad. Функция SimTwo(k, ц, а, р) генерирует k двумерных случайных величин (в виде векторов-столбцов) с плотностью (6.7). Здесь р = (ц1,ц2)т и e = (a!,a2)T представляют собой векторы-столбцы.
Функция yes^x, ij) определяет, попал ли двумерный вектор-столбец х = (х0, xJT в двумерный интервал
(0.2(г - 10), 0.2(г - 10) + 0.2)х(0.2(/ - 10), 0.2(/ - 10) + 0.2).
Если попал, то функция принимает значение 1, иначе — 0. Функция МХК ц, а, р) подсчитывает число попаданий h двумерных случайных величин, выработанных функцией SimTwo(k, ц, а, р), в вышеуказанные интервалы для i = 1,..., 20,j = 1,..., 20.
Результаты вычислений
На рис. 6.3 и 6.4 представлены результаты решения заданий практикума. Вначале осуществляется проверка выполнения условия нормировки для плотности двумерного нормального распределения. С этой целью рассчитана вероятность попадания соответствующей случайной величины с параметрами ц1 = ц2=0, al = а2 = 1, р = 0 в двумерный интервал (-4, 4)х(-4, 4). Значение данной вероятности равно единице. Следовательно, условие нормировки выполнено.
Далее представлены два графика поверхности двумерной нормальной плотности FigTwoNI и FigTwoND для случая независимых и зависимых компонент. Тут же представлены графики линий уровней для этих плотностей. Для независимых компонент (р = 0) линии уровня представляют собой окружности, а для зависимых (для коэффициента корреляции р = 0,9) — эллипсы. Обратите внимание на то, что графики поверхности и линий уровней на рисунках FigTwoD вытянуты
в разные стороны, в то время как, естественно, они должны иметь одно направление. Это объясняется тем, что в разные стороны направлена одна из осей графиков.
Результаты вычислений
|(-4.4.-4,4)-1|(-4.4.-4,4)-1Проверка плотности распределения на неренровку:
|(-4.4.-4,4)-1
|(-4.4.-4,4)-1
График* поверхностей и лииии уровней плотности распределения
Независимые кавпоиенты (д-0)Независимые кавпоиенты (д-0)PrF ltR(O,O,1,1,0)-PrF ltR(O,O,1,1,0)-Сильно каррелпреванные кавпононты (д-0.9)Сильно каррелпреванные кавпононты (д-0.9)FlgTwoDFlgTwoDFlgTwoDFlgTwoDВероятность попадания в круг как функция радиуса гВероятность попадания в круг как функция радиуса гPrFhR(0,1,1,4PrFhR(0,1,1,4Рис. 6.3. Результаты вычислений двумерного нормального распределенияРис. 6.3. Результаты вычислений двумерного нормального распределения
Независимые кавпоиенты (д-0)
Независимые кавпоиенты (д-0)
PrF ltR(O,O,1,1,0)-
PrF ltR(O,O,1,1,0)-
Сильно каррелпреванные кавпононты (д-0.9)
Сильно каррелпреванные кавпононты (д-0.9)
FlgTwoD
FlgTwoD
FlgTwoD
FlgTwoD
Вероятность попадания в круг как функция радиуса г
Вероятность попадания в круг как функция радиуса г
PrFhR(0,1,1,4
PrFhR(0,1,1,4
Рис. 6.3. Результаты вычислений двумерного нормального распределения
Рис. 6.3. Результаты вычислений двумерного нормального распределения
Результаты расчета вероятности попадания двумерной случайной величины в круг радиуса г выполнены для двух вариантов исходных данных и представлены, соответственно, двумя таблицами.
Последующая часть распечатки иллюстрирует матрицы Холесского и операции над ними.
В заключение приводятся результаты генерации двумерных нормально распределенных случайных величин в виде матрицы частот попаданий в подынтервалы. Далее приведены трехмерные гистограммы выработанных значений ДЛЯ случая зависимых и независимых компонент. Нетрудно заметить, что эти гистограммы повторяют характер поверхностей соответствующих плотностей.
Матрице Холесскоге
С>С>4 3) .за)4 3) .за).4 (0.333 -0.111 с -<-0.111 0.148.4 (0.333 -0.111 с -<-0.111 0.148(2 О cheleskytQ •'<1.5 2.580(2 О cheleskytQ •'<1.5 2.580СН-СН-' 2 О 15 2598' 2 О 15 2598Матрица частот попаданий к случайных эектерое в пединтервалыМатрица частот попаданий к случайных эектерое в пединтервалыГистогранны частот попаданий к случайных векторов в падиитереалыГистогранны частот попаданий к случайных векторов в падиитереалыНвэаеисиныв ковпеиаиты (д-О)Нвэаеисиныв ковпеиаиты (д-О)Сильно коррелированные конленаиты (^—0.9)Сильно коррелированные конленаиты (^—0.9)
С>
С>
4 3) .за)
4 3) .за)
.4 (0.333 -0.111 с -
<-0.111 0.148
.4 (0.333 -0.111 с -
<-0.111 0.148
(2 О cheleskytQ •
'<1.5 2.580
(2 О cheleskytQ •
'<1.5 2.580
СН-
СН-
' 2 О 15 2598
' 2 О 15 2598
Матрица частот попаданий к случайных эектерое в пединтервалы
Матрица частот попаданий к случайных эектерое в пединтервалы
Гистогранны частот попаданий к случайных векторов в падиитереалы
Гистогранны частот попаданий к случайных векторов в падиитереалы
Нвэаеисиныв ковпеиаиты (д-О)
Нвэаеисиныв ковпеиаиты (д-О)
Сильно коррелированные конленаиты (^—0.9)
Сильно коррелированные конленаиты (^—0.9)
Рис. 6.4. Генерация двумерных нормально распределенных случайных величин
Компьютерный практикум № 9.
Многомерное нормальное распределение
Цель и задачи практикума
Целью практикума является приобретение практических навыков при работе в пакете Mathcad с многомерными непрерывными распределениями.
Задачами данного практикума являются:
вычисление плотности многомерного нормального распределения;
расчет вероятностей попадания соответствующей случайной величины в интервал;
генерация случайных величин и подсчет частот попаданий.
Реализация задания
В настоящем практикуме определим семь новых функций пользователя. Программные модули, реализующие данные функции, представлены на рис. 6.5 и 6,6.
Практикум Mt 9. Многомерное нормальное распределение
Плотность распределенияПлотность распределенияОдпьзоеательииа функции
Плотность распределения
Плотность распределения
f(X.Н,Q » -—=!=== ехрГ-1.|(х - t/ С"1 (« - Р)!^.„/««(О |С| L 2
Симметрическое нормальнее распределение Матрица Холесского
ChM(n,a,p) :■ChM(n,a,p) :■Ао.О«- =
ChM(n,a,p) :■
ChM(n,a,p) :■
for I С 1п - 1
Ai^o^-a Р
if п>2
for id е-2
*1,1 *- У (*M^l)^-^
for J« I * 1п - 1
*fj*-*lj- (1 -Р) « (*l,j)"1
W 4-О
*П-1,П-1 *“ i/(*n-2 ,П-2) - (*П-1 ,П-2)
А
Вероятность события Kj < Х2 < Хз
Рг1п(р,,□, р) >Рг1п(р,,□, р) >*'хГ х2 ,ЛЗ,*'хГ х2 ,ЛЗ,,|k,ChM(3,a,p) (ChM(3,o,p))T,|k,ChM(3,a,p) (ChM(3,o,p))Tdx3dx2 dx1dx3dx2 dx1
Рг1п(р,,□, р) >
Рг1п(р,,□, р) >
*'хГ х2 ,ЛЗ,
*'хГ х2 ,ЛЗ,
,|k,ChM(3,a,p) (ChM(3,o,p))T
,|k,ChM(3,a,p) (ChM(3,o,p))T
dx3dx2 dx1
dx3dx2 dx1
SlmM(k,|b,a,p) >SlmM(k,|b,a,p) >Генерирование к случайных векторов
SlmM(k,|b,a,p) >
SlmM(k,|b,a,p) >
m 4- rowe(p)
С ♦— ChM(m ,a, p) 24- rnorm(mk,0,1) for Id- k
for j« 0m - 1
Tj«- Z(ml+1)X^nitCV
X
Рис. 6.5. Функции пользователя, обеспечивающие работус многомерным нормальным распределением
Функции имеют следующее назначение.
Функция Дх, ц, С) вычисляет значения плотности многомерного нормального распределения (6.42).
ChM(n, ст, р) определяет матрицу Холесского размера п для симметрического нормального распределения при значениях параметров ст и р. Отметим, что эту Ж» матрицу можно получить также путем использования стандартной функции choh$l<y(C). Однако при этом необходимо предварительно сформировать ковариационную матрицу С в соответствии с примером 6.10.
Подсчет частоты события Xq<Xi<X2 в к исиытаииях
Проверка наступления события
YeeM(x):- И(хд5 xvH(xi $ *2,1,0),0)
Подсчет частоты наступломил события
FrPltM(k,|*,o,p):■FrPltM(k,|*,o,p):■m <- rows(p)
FrPltM(k,|*,o,p):■
FrPltM(k,|*,o,p):■
Х«- SimM(k,p,o ,р)
S«-0
РгРИКМ(|*,д,р) •-
m <- rowe(p)
for Ie1 20 k<-i50 A0,l<"k Aij«- FrPitM(k,|k,o,p)
A
for i e 1 к
S<-St Yeiwlx*)
S<-S k"1
Частота как функция числа испытаний к
Рис. 6.6. Генерация многомерных нормально распределенных случайных величин
Prln^, а, р) вычисляет вероятность события {Х( < Х2 < Х3}, если компоненты имеют симметрическое нормальное распределение с параметрами а и р и вектором-столбцом математических ожиданий р (напомним, что в пакете Mathcad векторы представляются столбцами, в то время как у нас в тексте — строками'). SimM(k, р, ст, р) генерирует к случайных векторов-столбцов, имеющих симметрическое нормальное распределение с параметрами р, ст, р, где р — вектор-столбец математических ожиданий компонент.
YesM^x) определяет выполнение неравенства х0 < ^ < х2 для вектора-столбца х = (х0, xt, х2)т Подсчет частоты наступления события (Х( < Х2 < Х3) для случайных величин X = (X, Х2, Х3), выработанных с помощью функции SimM(k, р, ст, р), осуществляется функцией FrFitM(k, р, ст, р). Функция FrFitKMlp, с, р) вычисляет значения этой частоты при к испытаниях, к = 50i, г = 1, 2,..., 20.
Результаты вычислений
На рис. 6.7 показаны результаты решения задач, выполненные для случая трехмерного нормального распределения. Вначале вводится ковариационная матрица С. Далее рассчитывается значение плотности распределения (6.42) с нулевым математическим ожиданием р = 0 и единичной ковариационной матрицей в точке х = (0, 1, 0.5)т. Затем рассчитывается вероятность попадания случайной величины с этим распределением в трехмерный интервал (-4, 4)х(-4, 4)х(-4, 4). Равенство единице этой вероятности свидетельствует о выполнении условия нормировки для плотности.
Следующие шаги заключаются в вычислении матрицы Холесского размерности и = 3 для ст = 1 и р = 0.5 и расчета вероятности наступления события (X < X < X) для случаев независимых (р = 0) компонент. Эту вероятность можно сравнить с частотой события для случайных величин, вырабатываемых функцией SimM(k, р, ст, р). Зависимость частоты от числа к выработанных случайных величин представлена в последней таблице.
Результаты вычислений
Ковариационная патрица трехнорного нормального распределенияКовариационная патрица трехнорного нормального распределенияЗначение плотности распределенияЗначение плотности распределения
Ковариационная патрица трехнорного нормального распределения
Ковариационная патрица трехнорного нормального распределения
Значение плотности распределения
Значение плотности распределения
' 1 02 0.4'С - 02 1 0.5.0.4 0.5 1 ,' 1 02 0.4'С - 02 1 0.5.0.4 0.5 1 ,Вероятность попадания в интервал (5,5) х (-5,5) х (-5,5)Вероятность попадания в интервал (5,5) х (-5,5) х (-5,5)
' 1 02 0.4'
С - 02 1 0.5.0.4 0.5 1 ,
' 1 02 0.4'
С - 02 1 0.5.0.4 0.5 1 ,
Вероятность попадания в интервал (5,5) х (-5,5) х (-5,5)
Вероятность попадания в интервал (5,5) х (-5,5) х (-5,5)
Матрица ХопосскогоСИ >СЬМ(3.1,0.5)100СН- 0.5 0.8660,0.5 0289 0.016Матрица ХопосскогоСИ >СЬМ(3.1,0.5)100СН- 0.5 0.8660,0.5 0289 0.0161 0.5 0Л\1 0.5 0Л\СН СНТ - 0.5 1 0.5СН СНТ - 0.5 1 0.51ол 0.5 1 ,1ол 0.5 1 ,
Матрица Хопосского
СИ >СЬМ(3.1,0.5)
100
СН- 0.5 0.8660
,0.5 0289 0.016
Матрица Хопосского
СИ >СЬМ(3.1,0.5)
100
СН- 0.5 0.8660
,0.5 0289 0.016
1 0.5 0Л\
1 0.5 0Л\
СН СНТ - 0.5 1 0.5
СН СНТ - 0.5 1 0.5
1ол 0.5 1 ,
1ол 0.5 1 ,
Вероятность события Xq < Xi < Х2
Частота как функция числа испытаний к
в
«
;Х'
♦ •
»< =-.
7
1
0
50
100
150
200
250
300
350
400
450
0
0.16
0.13
0.173
0.165
0.184
0.143
0.166
0.15
0.167
0
"’4 -
-» ^-
$0
50
100
150
200
250
300
350
№ о
0
0.02
0.02
0 015
0 012
33310-3
957-10'3
Рис. 6.7. Результаты работы с многомерными нормальными распределениями
Задания для самостоятельной работы
Проанализируйте влияние на форму поверхности плотности двумерного нормального распределения (6.7) параметров ць цг. оь °2 и р.
Запрограммируйте функцию (наподобие функции Prln), вычисляющую вероятность события {Хг < XJ для случайной величины X = (Xi, Хг), имеющей двумерное нормальное распределение (6.7).
Запрограммируйте функцию, вычисляющую плотность двумерного равномерного распределения (6.12), и постройте график ее поверхности.
Запрограммируйте функции распределения (6.25) и (6.26) минимума и максимума независимых и одинаково распределенных случайных величин.
Запрограммируйте функцию (наподобие функции PrFit), вычисляющую вероятность попадания трехмерной случайной величины, имеющей симметричное нормальное распределение, в шар радиуса г с центром в точке (во, at, Дд).
в. Разработайте программу, реализующую функцию (наподобие SimTw и М), которая осуществляет генерацию трехмерных случайных величин, имеющих
симметричное нормальное распределение, и подсчитывает частоты попаданий в различные трехмерные интервалы.
Задачи
Задача 6.1. Найдите маргинальные плотности для распределения (6.9).
Задача 6.2. Следуя формуле (6.8), рассмотрите двумерную плотность
/(х1,х2) =x1e"t|32,x2 >0,a<xt < b.
о-а
Найдите Е(Хг Х2).
Задача 6.3. В предыдущем примере найдите частные плотности распределения.
Задача 6.4. Пусть X = (Хь Х2, .„, Хт) является многомерной целочисленной случайной величиной с распределением вероятностей
P{X,=i„X2=i2X^iJ^,,^im, ^ =0,1
a Уь У2,..., Ym — взаимно независимые непрерывные случайные величины, не зависящие также от X, с плотностями распределений gH| (у), g„2(y), ...,g„m(y), зависящими от целочисленных параметров пь п2,..., пт. Тогда
/(2i.22zm) = ^р(1.,2,„П«-? (2,)<6-45)
Vi;7-1
будет многомерной плотностью распределения.
В частности, У; может быть суммой Uj взаимно независимых непрерывных случайных величин. Рассмотрите случай, когда X имеет полиномиальное распределение (5.4), а Уь У2,..., Ут — распределение Эрланга (4.18) с параметрами пь п2пт и одним и тем же параметром X. Найдите маргинальные распределения компонент, их математическое ожидание и дисперсию, а также ковариации.
Задача 6.5. Решите предыдущую задачу в предположении, что случайные величины {!;} имеют нормальное распределение (4.11) с различными параметрами ц^ и Oj.
Задача 6.6. Покажите, что запись в скалярной форме плотности двумерного нормального распределения (6.42) приводит к формуле (6.7).
Задача 6.7. Распределение Дирихле. Плотность этого распределения задается формулой
/(^1*,)=(1 - ^1У**' .
(А, -1)!...(£п+1 -1)1
Vx, >0, ^х, < 1.
1=1
Используя индукцию по и и формулу
f хк' -* (1 - х/2’1 dx = (kzffiu^l,(6.46)
о(^1 + ^2 — I
покажите, что приведенное выражение удовлетворяет условию нормировки.
Задача 6.8. В условиях предыдущей задачи покажите, что частная плотность распределения компоненты Хх имеет вид
fx ^ )= —(" ^™~-+~^’ х*1'*(1 -х, )^ -+*"1 -‘, 0 <х, ^ 1. (6.47)
Это соответствует бета-распределению (7.30), которое будет рассмотрено далее ■ задаче 7.4.
Математическое ожидание и дисперсия компоненты X, даются формуламиЗД)=, , kt—
D^x ) =
' (^ + &2 *... + кп^Чкх + к2 + ... + kn+x + 1)
Ковариация компонент X, и Xj определяется формулой
к .к.
Cov(X„ X. ) =-^.
(кх +к2 + ... + ^+1) (кх +k2+... + kn+l +1).
7 Суммирование случайных величин и предельные теоремы
Суммирование дискретных случайных величин
В настоящей главе изучаются распределения сумм случайных величин. Операция суммирования — это частный случай функций многомерных случайных величин, рассматривавшихся в предыдущих главах: \|/(Хь Х2,..., Х„) = Xt + Х2 + ... + Хп. Поэтому распределение суммы можно находить с помощью общих подходов, изложенных в этих главах для нахождения распределения функций. Однако мы выделяем эту проблему в самостоятельную главу как в силу распространенности операции суммирования, так и в силу простоты относящихся к этому результатов. Эта простота отчасти объясняется тем, что сумма обладает свойством ассоциативности — суммирование нескольких слагаемых можно свести к последовательному сложению двух слагаемых: Х) + Х2 + Х3 + ... + Хп_, + Хп = = ((((Xi + Х2) + Х3) + ... + Х„_1) + Хп). В связи с этим часто достаточно ограничиться рассмотрением суммирования двух случайных величин.
Итак, пусть Хь Х2, ..., Хп —_случайные величины, сумму которых обозначим 5„, а среднее арифметическое Хп: .
Sn = Х, + Х2 + ... + Х„,(7.1)
Xn=-Sn.(7.2)
п
Мы начнем с многомерных дискретных случайных величин. Пусть X = (Хь Х2) — двумерная дискретная случайная величина. Обозначим ^ и У2 множества возможных значений компонент ХА и Х2, а их совместное распределение вероятностей рц = Р{Х[ = Xj, Х2 = Xj}, х, е Vp Xj е V2. Пусть V+ есть множество возможных значений суммы Хх + Х2:
V+ = ку. у =Х; +Хр Xj е Vt, Xj е V2}.(7.3)
Отсюда сразу следует, что распределение вероятностей суммы дается формулой
РкХ1+Х2=у) = ^Р(Х, =х„Х2 =х,) = ^рм, (7.4)
х«*х <■«
где запись £ означает суммирование по всем парам значений (х„ а)), в сумме дающих у.
Если величины Xt и Х2 взаимно независимы и имеют распределения вероятно* стей {р*} и {pj} соответственно, то'
Р{Х, = хи Х2 = х}} = р]р].(7.5)
Теперь формула (7.4) приобретает следующий вид для вероятности суммы двух независимых слагаемых:
Р{Х|+Х2=у}= £Р{Х, =х,.}Р{Х2 =х,} = Ip’pJ. (7.6) Xj+Xj=УXj+Xj =у.
Формулы приобретают еще более простой вид для целочисленных независимых случайных величин {Л)}, возможными значениями которых являются целые числа г = 0, ±1, ±2, ... Обозначим р^ = Р{Х; = г} распределение вероятностей случайной величины Xj. Найдем распределение р^" =P{Sn = г}, г = 0, ±1, ±2суммы п первых слагаемых 5„. Это распределение можно вычислить рекуррентно.
Теорема 7.1. Распределения сумм целочисленных независимых случайных величин находятся по рекуррентным формулам:
ps^ =P{S2 = z} = Ы' Р-Д- i = 0, ±1. ±2,...,(7.7)
Р-”" =^п+1 = О = £р^:*', г = О, ±1, ±2,...(7.8)
Если все случайные величины неотрицательны, то последние формулы принимают вид:
Р? tp^2 = z} = £р^ р^, г = 0, 1, 2,...,(7.9)
v=0
Р^' =P^S„+X = z} = f psv"p^ , i = о, 1, 2,...(7.10)
v=0
Доказательство
Событие {5n+i = г} состоит из несовместных событий {5„ = 0, Хп+х = z), {S„ ■ 1, X„,i = i - 1}, {5n = 2, Xn+! = г - 2},..., {5„ = г, X„+1 = 0), общий вид которых {5„ = и, Xn41 = z - и), и = 0, 1,..., i. События {5„ = и} и {Хя+1 = г - и} по условию независимы, так что вероятность их произведения равна произведению вероятностей этих событий:
Р{5„ = v, Х„+| = z -о} = Р{5„ = ц} • Р{Х„+1 = z-о} = р*- • pf-' •
В силу несовместности событий {5„ = и, Хи+! = z - и} для v = 0, 1i вероятность их суммы равна сумме вероятностей, что и дает формулу (7.8). Формула (7.7) следует из этой формулы поскольку 5! = Хь так что РД = Р,х'. Формулы (7.9) и (7.10) следуют из формул (7.7) и (7.8), поскольку отрицательные значения случайных величин и их сумм невозможны.О
Определение 1. Пусть (Ре) есть семейство (множество) распределений вероятностей случайных величин, зависящих от параметра 6. Если при суммировании не-
184 учайных величин, имеющих распределения из {Ре}, сумма имеет "; из этого же семейства, то {Ре} называется устойчивым семейством
зависимы ,ределения и отмеченного выше свойства ассоциативности сумми- распред /ет, что для доказательства того, что рассматриваемое семейство распрео является устойчивым, достаточно показать это для двух слагае-
Из данного,, что их СуМма имеет распределение из этого семейства, рования cJ
распредел£ мых, а име
Устойчивость семейства распределений Пуассона. Сумма Sn =
п меоь" + ^п независимых случайных величин, имеющих распределения .раметрами Хь Х2,..., Х„, имеет распределение Пуассона с параметром
Пример * + х^, равным сумме параметров для слагаемых:
= х( + х
(7.11)(7.11)Пуассона р$„ =Р^ = /} = Л Хе"х, i = 0, 1, 2,...
(7.11)
(7.11)
X = V’^
ю
:ь выше, достаточно рассмотреть случай двух слагаемых 52 = X, + Х2, □т распределения Пуассона с параметрами X, и Х2. На основании ДоказаТ) имеем;
Какого.
который =Р{52 = t} = £pvx’p^ ==
форму-1v-ov*°У ' V у)'
и ,, ,=_1_е-(х1+х2)(х +х у i = Q ! 2,...,
~5у10-»)1i!
(алась формула бинома Ньютона (2.5).
'стойчивость семейства биномиальных распределений с фиксирован- м параметра р. Пусть Хь Х2Х^ — взаимно независимые случайте и*м, имеЮщие биномиальное распределение (3.3) с одним и тем же ПриМраметра р и, быть может, разными значениями параметра п: щ, п2, ним ственно. Тогда их сумма Sfe имеет биномиальное распределение с ные р и п = П1 + п2 ++ П).
знач.
-Л Р{54 =i) = C‘p' (l-p)"“, i = 0, 1,2,..., п.(7.12)
пар
во
;мое утверждение можно доказать без всяких вычислений путем ассуждений. Случайную величину Хп имеющую биномиальное рас- ДР* параметрами р и пь можно трактовать как число успехов в П; испы- Рй/лли с вероятностью успеха в одном испытании р. Если имеется & сЛ(н с одним и тем же параметром р и параметрами «р п2,..., п^ то их П|2 + ... + Xt можно трактовать как число успехов в п = пх + п2 + ... + nN Ис вероятностью успеха в каждом испытании р. Согласно преды- Нганию, эта сумма имеет биномиальное распределение с параметра-
Суммирование непрерывных случайных величин
Изложение теории суммирования непрерывных случайных величин аналогично соответствующему изложению для дискретных величин. Пусть две непрерывные случайные величины Хг и Х2 имеют совместную плотность распределения /(Х|, х2). Если первая случайная величина Xt приняла значение у, то сумма примет значение х, если вторая случайная величина Х2 равняется х - у. Поэтому плотность распределения g2(x) суммы 52 = ^ + Х2 этих величин задается формулой
g^xV J/(y, x-y^dy.(7.13)
Если величины Xt и Х2 независимы и имеют, соответственно, плотности распределения /j(xt) и /2(х2), то f(xb х^ = /1(Х1) /2(х2) и плотность распределения суммы будет
g-A^V ^/AyVAx-y^dy, -оо<х<оо.(7.14)
Наконец, если суммируемые величины независимы и неотрицательны, то
g1W = ^fx(ys)f2(x-y)dy, х >0.(7.15)
о
Эти результаты легко распространяются на сумму произвольного числа взаимно независимых непрерывных случайных величин Хь Х2,..... Хк как это устанавливается следующей теоремой.
Теорема 7.2. Пусть Xj является непрерывной случайной величиной с плотностью распределения fj (х). Плотность распределения gn(x) суммы Sn взаимно независимых случайных величин Хь Х2, ...., Хп вычисляется рекуррентно: для п ■ 2 по формуле (7.14) и по формуле
5л+1(^)= ”\gAlA)fn^x-yW -оо<х<оо,(7.16)
для п = 2, 3,...
Если все величины неотрицательны, то в дополнение к (7.15) имеет место формула
gn+iW = ^gn(y)fn+1(x-y)dy, х^О, п=2,3,...(7.17)
о
Доказательство аналогично доказательству теоремы 7.1.
Примеры
Пример 7.3. Устойчивость семейства распределений Эрланга с фиксированным значением параметра X. Покажем, что если Хь Х2,..., Х„ — взаимно независимые случайные величины, имеющие распределение Эрланга (4.18) с одним и тем же параметром X и, может быть, разными параметрами 1Ь 12,..., 1„, то их сумма 5, ■ ■ Х| + Х2 +... + Хп имеет распределение Эрланга с параметрами X и I ■ Ц +12 +... + 4В частности, сумма п взаимно независимых случайных величин, имеющих едко
и то же экспоненциальное распределение с параметром X, имеет распределение Эрланга с параметрами Хил.
Доказательство
В основу доказательства мы положим следующий, уже отмечавшийся ранее факт: экспоненциальное распределение (4.9) является частным случаем распределения Эрланга при значении параметра последнего I, равного 1. Рассмотрим вначале случай двух слагаемых п = 2, когда первое слагаемое Х4 имеет распределение Эрланга с параметрами X и /, а второе слагаемое Х2 - экспоненциальное распределение с параметром X. Подставляя в формулу (7.15) плотности распределения Эрланга (4.18) и экспоненциального распределения (4.9), вместо функций и /2, находим
g2(x)= f Х^‘ ‘ Xe^^dy = —— Г у dy = Х^^- , х > 0.
Jo (/-1)! 9 (l-\)\ V 9 /!
Мы получили плотность распределения Эрланга с параметрами Хи / + 1. Из этого можно сделать важный вывод: если случайная величина S имеет распределение Эрланга с параметрами Хи I, то ее можно представить как сумму I независимых случайных величин Xt + Х2 + ... + Хь имеющих одно и то же экспоненциальное распределение с параметром X. Очевидно и обратное: если Xv Х2,..., Х; — взаимно независимые случайные величины, имеющие одно и то же экспоненциальное распределение с параметром X, то их сумма S( = Xt + Х2 + ... + Х( имеет распределение Эрланга с параметрами Хи/. Итак, вторая часть нашего утверждения доказана. Для доказательства первой части повторим рассуждения, приведенные в примере 7.2. В условиях рассматриваемого примера случайную величину Хь имеющую распределение Эрланга с параметрами X и 1Ь можно представить в виде суммы I, взаимно независимых случайных величин, имеющих одно и то же экспоненциальное распределение с параметром X. Поэтому сумму X, + Х2 + ... + Хп можно представить как сумму /, + /2 + ... + 1п взаимно независимых случайных величин, имеющих экспоненциальное распределение с параметром X. Согласно предыдущему замечанию, эта сумма имеет распределение Эрланга с параметрами X и / = /( + /2 + ... + /„.
Пример 7.4. Холодное резервирование в теории надежности. Выше в первой главе рассматривалось параллельное соединение элементов в систему как средство повышения надежности последней. При этом предполагалось, что в любой момент времени работают все элементы, не отказавшие к данному моменту. Такой способ резервирования называется «горячим». Альтернативным ему является «холодное резервирование» или «резервирование замещением». В данном случае в каждый момент времени работает только один не отказавший элемент, если таковые вообще имеются, при этом один из исправных элементов мгновенно замещает отказавший элемент. Система отказывает в момент, когда очередной работающий элемент отказывает, а заменить его нечем.
При таком способе резервирования продолжительность 5 безотказной работы системы из п элементов будет, очевидно, равна сумме продолжительностей работы составляющих систему элементов Хь Х2,..., Хп. Следовательно, распределение времени безотказной работы системы при холодном резервировании находится ^лгпагип ппинрпрниым выше (ЬоПМУЛаМ.
Пример 7.5. Сумма случайного числа случайных величин. Выше рассматривались суммы Sn случайных величин Хь Х2, ..., Хп в предположении, что число слагаемых суммы п является неслучайным. Теперь мы предполагаем, что оно является целочисленной случайной величиной N с распределением вероятностей р„ = P^N= и}, п = 1, 2, ... Каково будет распределение соответствующей суммы SN = Xt + Х2 + ... + XN?
Для нахождения функции распределения суммы Е$(зс) = P^SN < г} необходимо рассмотреть событие {5^ < г}. Применим для вычисления его вероятности формулу полной вероятности (1.23). Событие ^SN < х) выступает здесь в роли события А. В качестве гипотезы Нп примем событие ^N = п^ — «сумма состоит из я слагаемых». Согласно условия задачи P{N= я} = рп и по формуле (1.23) находим
P^SN <х}=^р„Р{5„ <х).P^SN <х}=^р„Р{5„ <х).(7.18)(7.18)
P^SN <х}=^р„Р{5„ <х).
P^SN <х}=^р„Р{5„ <х).
(7.18)
(7.18)
В частности, пусть N имеет распределение Пуассона с параметром X, а все (XJ взаимно независимы и имеют экспоненциальное распределение с параметром ц. Если N= п, то S„ имеет распределение Эрланга (4.18) с параметрами ц и я, поэтому
Р{5 < х) = P^N = 0} + ^{N = я} Р{5„ < х} =
(7.19)(7.19)П=1
(7.19)
(7.19)
= е"х + ^^^(l У^ХУ ) - 1 У с-<^) У (^х)'„=1 п!,=о i!П=1 и! i=i i I
Отметим, что с вероятностью е~х сумма принимает нулевое значение. Но если сумма не равна нулю, то она следует распределению непрерывной случайной величины. Это — пример смешанной случайной величины, представляющей собой комбинацию дискретных и непрерывных случайных величин.
Суммирование независимых многомерных случайных величин*,
В этом разделе мы собрали некоторые результаты, касающиеся суммирования независимых многомерных случайных величин. Первый из них говорит о математическом ожидании и ковариации суммы. Он справедлив как для дискретных, так и для непрерывных независимых случайных величин, и обобщает аналогичные результаты для суммы скалярных случайных величин (см. теорему 5.4 и формулы (5.20) и (5.23)).
Теорема 7.3. Пусть Хь Х2Хт — взаимно независимые многомерные случайные величины одной и той же размерности, имеющие математические ожидания ff(X|), Е(Х2),..., Е(Х„) и ковариационные матрицы C(Xt), С(Х2)С(Х„). Тогда математическое ожидание суммы этих величин равно сумме их математических ожиданий, а ковариационная матрица суммы равна сумме ковариационных матриц слагаемых:
Е(Х, + Х2 + ... + Хт) = E(XJ + Е(Х3) + ... + Е(Хт),(7.20)
ОД + Х2 + ... + Х„) = С(Х,) + С(Х2) + ... + С(Х„).(7.21)
где ц( = (ц/д, щ2,..., щ„) и М( = (т'^ь — вектор и матрица из констант, / ■ 1, 2, Z/= (Z/д, Z№ ..., Z^) — ^-мерный случайный вектор, имеющий стандартное нормальное распределение (6.13).
Пусть I — единичная матрица порядка и. Рассмотрим блочные векторы X = (Xt Х2), Z = (Z1Z2)и матрицы
Теперь сумму можно представить в виде Xt + Х2 = X • II. Далее имеем:
X,+Х2 =X.II=(n1 + Z1M1 p2 + Z2M2)^ =
= (p1 + Z1 М, +n2 + Z2 М2) =n, + n2 + (Zt Mt + Z2M2) =
= H, + H2 + Z 1 =n, + n2 + ZM.
2 J
Итак, сумма X( + X2 представима в виде (6.40), что говорит о нормальности ее распределения. Параметры распределения даются формулами (7.20), (7.21).□
Впоследующем будет использован следующий результат теории матриц.
Лемма 7.1. Пусть С — невырожденная квадратная матрица порядка т, а а ■ (а1( а2,.... а^ — произвольная вектор-строка того же порядка. Тогда матрица С + ата является невырожденной. Обратная для нее матрица дается формулой:
(С + ата)"* =С-‘(7.22)
+ аС а*
Доказательство
Умножая матрицу С + ата на матрицу, стоящую в правой части последней фор
С-'а^С-* 1 + аС"‘атС-'а^С-* 1 + аС"‘атС-*атаС-*1 + аС"*атС-*атаС-*1 + аС"*атС-*атаС-* 1 + аС'*атС-*атаС-* 1 + аС'*атмулы, получаем:
С-'а^С-* 1 + аС"‘ат
С-'а^С-* 1 + аС"‘ат
С-*атаС-*
1 + аС"*ат
С-*атаС-*
1 + аС"*ат
С-*атаС-* 1 + аС'*ат
С-*атаС-* 1 + аС'*ат
(С + ата) С"1 -
= 1— (атаС~‘ -атаС-1 -аС"|ататаС"1 + атаС"*атаС-1) =
1 + аС"'ат
= I(-аС aVaC’’ + аС"* ататаС-‘ ) = I
1 + аС-*ат
Последнее равенство говорит о том, что матрицы в левой и правой частях формулы (7.22) являются взаимно обратными.□
Лемма 7.2. Пусть А и D — квадратные матрицы (быть может, разных порядков), причем матрица А — неособенная. Тогда имеет место следующее выражение ДЛЯ определителя блочной матрицы:
А СВ DА СВ D| A||D-ВА"'С|.| A||D-ВА"'С|.
А С
В D
А С
В D
| A||D-ВА"'С|.
| A||D-ВА"'С|.
в 1Г
оме того, если хотя бы одна из матриц (С(Х;)} является невырожденной, то Квырожденной является и матрица C(Xt + Х2 + ... + Хт).
н<
казательство
Дэрмула (7.20) утверждает, что соответствующие компоненты векторов, стоящих фава и слева от знака равенства, совпадают. Но это как раз то, что утверждает- ci формулой (5.20) теоремы 5.4 для скалярных случайных величин. Итак, фор- с.ла (7.20) доказана.
^я доказательства формулы (7.21) представим ковариацию суммы в виде, /ваемом формулой (6.33), воспользуемся формулой (7.20), а также тем, что 5 силу независимости X, и Х; при i * j Е^ - EQC^Xj - Е(Х,)) = ВД - E(X^TE(Xj - E(X^ = 0:
=/ xfzxT/w
c IX, =£ 2х,-2ад) ZXv-Z^X,) = Xi—1)i=l / V-l j=l
= E Е(Х. -ад))тХ(Х; -E(.Xj))\ = ^E((Xi -E(Xi))\Xj -£(X,))) =
\ i=lj*l/ j=l
= %Е«Х> -£(Х,))Т(Х, -Е(Х,))) = £с(ХД
усть теперь одна из ковариацонных матриц, например C(Xt), является невыро- денной. Тогда, согласно лемме 6.2, она положительно определена. Это означает, го для любого ненулевого вектора х: хС(Х,)хт > 0. Положительно определен- эй является и ковариационная матрица суммы, поскольку любая ковариацион- 1я матрица по той же лемме является неотрицательно неопределенной, т. е. для енулевого вектора х:
хС(Х, + Х2 + ... + Х„)хт =хС(Х,)хт +хС(Х2)хт +...+хС(Х„)хт >0. □
: предыдущей главе (см. теорему 6.4) было доказано, что сумма нормально рас- ределенных скалярных случайных величин имеет нормальное распределение. Следующая теорема устанавливает аналогичный факт для многомерных случай- ых величин.
еорема 7.4. Устойчивость семейства многомерных нормальных распределений. 1усть Xb Х2, ..., Хт — взаимно независимые многомерные случайные величины дной размерности, имеющие нормальное распределение с математическими жиданиями {Е(Х,)} и ковариационными матрицами {С(Х,)}. Если хотя бы одна 13 этих матриц является невырожденной, то сумма Xt + Х2 + ... + Хт имеет невы- южденное нормальное распределение с математическим ожиданием и ковариа- [ионной матрицей, определяемыми формулами (7.20) и (7.21).
Доказательство
3 силу ассоциативности суммы достаточно рассмотреть случай двух слагаемых Ct + Х2. По условию оба слагаемых имеют нормальное распределение (6.40), так гго можно записать их в виде
X, =n, + Zt М,, Х2 =n2 + Z2M2,
В частности, если С является нулевой матрицей О, то
А ОВ DА ОВ D= | A||D|.= | A||D|.
А О
В D
А О
В D
= | A||D|.
= | A||D|.
Доказательство
Мы начнем со второго утверждения. Оно непосредственно следует из определения определителя |М| матрицы М = ( Afy)txt:
\М\ = ^±МиМ2.,2...М^,1.24
где суммирование ведется по всем перестановкам (4, г2, .... 4) чисел {1, 2,..., &} со знаком плюс, если перестановка четная (число инверсий ij > i( при у < / четное) и со знаком минус — если перестановка нечетная.
А ОВ DА ОВ DПусть размерность подматрицы А равна т. Тогда в рассматриваемом случае ненулевым слагаемым суммы будут соответствовать перестановки, у которых первые члены (4, г2,..., г„) образуют перестановку из множества {1, 2,..., т}, а остальные члены (4,+ь гт+1, ..., 4) — перестановку из множества {т + 1, т + 2, ..., к\ При этом четность перестановок остается прежней, поскольку элементы первого множества меньше элементов второго. В итоге после приведения подобных членов суммы получаем, что
А О
В D
А О
В D
- Х^^-Л*.- Z±Du,D„!...D1._.„.-.|A||D|. 1,2т1,2к-т
Теперь вернемся к основному равенству. Умножая левую часть этого равенства слева на определитель, равный единице, и используя правила умножения блочных матриц и только что доказанное равенство, получаем:
AC I О А СAC I О А СВ D -ВА 1 I В DВ D -ВА 1 I В D' I OY А-BA"1 I В Dj' I OY А-BA"1 I В DjА-ВА *А + ВА-ВА *А + ВС-ВА *C + DС-ВА *C + DСD-BA*CСD-BA*C= |A||D-BA-*C|.= |A||D-BA-*C|.
AC I О А С
AC I О А С
В D -ВА 1 I В D
В D -ВА 1 I В D
' I OY А
-BA"1 I В Dj
' I OY А
-BA"1 I В Dj
А
-ВА *А + В
А
-ВА *А + В
С
-ВА *C + D
С
-ВА *C + D
СD-BA*C
СD-BA*C
= |A||D-BA-*C|.
= |A||D-BA-*C|.
Лемма 7.3. Пусть С и а те же, что и в лемме 7.1, и, кроме того, С является симметрической матрицей. Тогда определитель невырожденной матрицы С + ата дается формулой
|С + ата| =|С|(1 + аС-*ат).
Доказательство
Поскольку матрица С невырожденная, то, согласно лемме 63, не вырожден и ее квадратный корень Холесского С1/2, так что матрица С'1/2 существует. Определим вектор-строку Ь формулой Ь = а(С'1/2)т. Тогда а = Ь(С1/2)Т, ата = С1/2ЬТЬ(С|/2)Т и
| С + а1 а Н С + С1/2 ЬТЬ(С1/2 )т| =| С1/2 (I + bTb)(C1/2 )т| =| С| 11 + ЬТЬ|.
Следовательно, дело сводится к вычислению определителя |I + bTb|. Докажем, используя индукцию по размерности т матрицы I и вектора b = (6Ь Ь2,.... Ьт), что |I + bTb| = l + bbT. Для т = 1 это выполняется с очевидностью:
H + b^Hl + ^M + tf = 1 + ЪЬТ.
Для т = 2 имеем аналогичный результат:
|I + bTb| =|I + bTb| =I оу Г ь?о 1) + [б,62I оу Г ь?о 1) + [б,621 + 62 ЬхЬ2 bxb2 1 + Ь21 + 62 ЬхЬ2 bxb2 1 + Ь2
|I + bTb| =
|I + bTb| =
I оу Г ь?о 1) + [б,62
I оу Г ь?о 1) + [б,62
1 + 62 ЬхЬ2 bxb2 1 + Ь2
1 + 62 ЬхЬ2 bxb2 1 + Ь2
= (1 + 62)(1 + 62)-(6162)2 = 1 + 62 + 62 = 1+ЬЬт.
Общий случай будем доказывать индукцией по т. Пусть лемма верна для т > 1 и докажем ее для т + 1. Обозначим I и Г единичные матрицы порядка т и т + 1 соответственно, b = (6, b2... Ь^, Ь' = (Ьх Ь2... bm bm+x) = (b Ьт+Х\ Тогда, используя результаты двух предыдущих лемм, получаем:
|Г + Ь'ТЬ'||Г + Ь'ТЬ'|I + bTb 6m+1bT>, 6m+1b 1 + 6^ ,I + bTb 6m+1bT>, 6m+1b 1 + 6^ ,I оту Гьть б„+1ьт>О 1 ) l^.b bLx J
|Г + Ь'ТЬ'|
|Г + Ь'ТЬ'|
I + bTb 6m+1bT>, 6m+1b 1 + 6^ ,
I + bTb 6m+1bT>, 6m+1b 1 + 6^ ,
=|i + bW+6L-^ib(i + bTb)-*bXJ=
= |I + bTb|= |I + bTb|l + ^+i -62+lb|I— bTb |bT =
= |I + bTb|
= |I + bTb|
V 1 + bb )
*=|I + bTb| [ |l + bbT +62+1(UbbT)-62+1bbT -^.(bbT)2 + Z>=+1(bbT)3|- 1 + bb
= |l + bbT+O = l + b'b'T.
Подставляя теперь в последнюю формулу b' = аС"1/2, окончательно получаем утверждение леммы. □ Теперь мы завершим доказательство теоремы 6.1 — основной теоремы предыдущей главы. Это доказательство сводится к нахождению распределения суммы двух многомерных случайных величин, в связи с чем мы и отложили его до настоящей главы. В данном случае мы имеем дело с нормально распределенными случайными величинами.
Завершение доказательства теоремы 6.1
Итак, нам надо доказать следующее утверждение. Если в преобразовании (6.40) |шмерность п вектора X меньше, чем размерность к вектора Z, но ранг матрицы М*„ преобразования равен числу ее столбцов п, то вектор X имеет плотность распределения (6.42) с соответствующими математическим ожиданием и ковариационной матрицей.
Посмотрим, что из себя представляет произведение вектора-строки Z на матрицу М. Разобьем вектор Z на две части, два подвектора: первый подвектор Z' состоит из первых и компонент, а второй Z" — из оставшихся k - п компонент: Z ■ (Z' Z"). Аналогично разобьем матрицу М на две подматрицы: первая М' содержит первые и строк матрицы, а вторая М" — оставшиеся к - п строк:
Теперь вектор X может быть представлен в виде
X = nZM = nZ'M' + Z”M".
Итак, как и утверждалось выше, дело сводится к суммированию двух независимых нормально распределенных многомерных случайных величин.
Если матрица М имеет ранг п, то она содержит п независимых строк. Без ограничения общности будем считать, что независимыми являются первые строки (к этому всегда можно прийти путем перестановки строк). Следовательно, квадратная матрица М' — невырожденная, и поэтому линейное преобразование X' = gZ'M' является взаимно однозначным. Условия первой части теоремы 6.1 выполняются и вектор X' имеет нормальную плотность распределения (6.42) с ковариационной матрицей С.
Теперь дело сводится к суммированию двух независимых нормально распределенных векторов X' и X", из которых X' имеет невырожденное распределение. Мы должны показать, что сумма X' + X" имеет невырожденное нормальное распределение вне зависимости от того, каким является X". Вектор X" представим в виде суммы: X" = Z" М"(1) + Z"2 М"(2) + ... Z "k.n М"(А"Л), где Z'\ — i-я компонента вектора Z", М"(,) — i-я строка матрицы М". Компоненты вектора Z" взаимно независимы и распределены по стандартному нормальному закону. Поэтому достаточно доказать, что сумма X' + Z" М"(1) имеет невырожденное нормальное распределение. Отсюда по индукции будет вытекать аналогичное утверждение для суммы X' + X".
Для сокращения записи будем обозначать вектор-строку М',(1) через а = («1, а2, ..., а„). В первую очередь найдем ковариационную матрицу суммы X' + Z" а. Обозначим С ковариационную матрицу X'. Далее, согласно формуле (6.36), ковариационная матрица Z"a равна aTC(Z")a. Z" является скаляром, поэтому его ковариационная матрица есть дисперсия D(Z"), а последняя равна единице, поскольку Z" а имеет стандартное нормальное распределение. Итак, ковариационная матрица Z" а есть ата. Теперь из формулы (7.21) заключаем, что ковариационная матрица суммы есть С + ата . Обратная ей матрица (С + ата)-1 вычисляется согласно формуле (7.22).
В отличие от формулы (7.14) в данном случае мы суммируем не две скалярные, а две векторные случайные величины. Тем не менее все рассуждения, обосновывающие эту формулу, остаются в силе. Найдем теперь выражение для соответствующей плотности распределения.
Пусть случайная величина Z" приняла значение у. Тогда для того чтобы i-я компонента суммы приняла значение хь необходимо и достаточно, чтобы i-я компонента вектора X' приняла значение х, - уа,. Весь вектор X' должен принять значение х - уа, где х = (хь х2, .., хп\ Если X' имеет невырожденное нормальное распределение (6.42), a Z\ стандартное нормальное распределение (6.13), то по аналогии с формулой (7.14) для плотности распределения суммы X' + Z^a имеем следующее выражение:
X
х-Д=ехрГ—=(2л) 2 |С| 2 ехр-М(х-р)С-‘(х-р)т1х
V2tc \ 2)(2)
Преобразуем последний интеграл, дополнив в нем выражение в фигурных скобках до полного квадрата, записывая его в форме (6.42) и используя условие нормировки для нормальной плотности:
-|(У2(1+аС~‘ат)-2Их-ц)С-‘ат)рг/ =
= ехр-= ехр-г^а + аС^а1)*/2г^а + аС^а1)*/2(х-р)С*‘ат(х-р)С*‘ат
= ехр-
= ехр-
г^а + аС^а1)*/2
г^а + аС^а1)*/2
(х-р)С*‘ат
(х-р)С*‘ат
7 1
х -— ехр
= ехр1^^-г-Г«х_^)С’1аТ)2)(1 + аС’1ат) 2 х(2 1 + аС aJ
711 у-а + аС-'а^Чх-цЭС-'а1
J~ехрН — 1
-"72^(1+ аС-‘ат) 2[ ((1 + аС-'ат)2
= (1 + аС-‘аг) 2 ехрЦ-^-^-((х-ц)^^7 )2|.
(2 1 + аС aJ
Подставляя это в исходную формулу и используя утверждения лемм 7.1 и 73, получаем:
5п+1(г) = (2л)"2|сГ2(1 + аС-‘ат)"2 х
х ехр<
-1£
= (2л)"2|СГ2(1 + аС-‘ат)'2 =
= (2л) 2 |С + ата| 2 ехр|~(х -ц)(С + ата)"‘(х - р)т1.
Итак, мы действительно получаем многомерное нормальное распределение. □
Центральная предельная теорема
Если число слагаемых п в сумме 5„ достаточно велико, то при весьма общих условиях распределение суммы близко к нормальному. Эти условия конкретизируются в различных вариантах центральной предельной теоремы. Простейший из этих вариантов следующий.
Теорема 7.5. Центральная предельная теорема для одинаково распределенных слагаемых. Пусть Хь Х2, ..., Хп — взаимно независимые случайные величины, имеющие одно и то же распределение с математическим ожиданием р = E(Xj) и дисперсией о2 = D^X^J = 1, 2,... Тогда с ростом п функция распределения нормированной и центрированной суммы .
5„ = £ (^ - Р ) = Ц=(5„ - пр ) (7.23) oVn ;=1 а^п
стремится к функции распределения Ф() стандартного нормального распределения:
Р{5„ <х} —> Ф(х), -<ю<г < со. (7.24) Практическое использование этой теоремы сводится к тому, что вероятность попадания суммы 5„ в интервал (а, Ь), а<Ь, приближенно вычисляют по формуле
Р^а <8„ <Ь}«ф(- фГ(7.25)
Мы опускаем доказательство сформулированной теоремы, которое можно найти, например, в [11, 12]. Там же приводятся более общие условия, при выполнении которых распределение суммы случайных величин стремится к нормальному. В частности, можно отказаться от условий одинакового распределения и независимости случайных величин. Именно поэтому нормальное распределение так часто встречается при рассмотрении практических задач.
Примеры
Пример 7.6. Вычисления на некоторой ЭВМ проводятся с точностью до шестого знака после запятой. Для решения определенной задачи требуется выполнить десять миллионов арифметических операций, каждая из которых дает в силу округления вышеописанную погрешность. В предположении, что эти погрешности взаимно независимы и суммируются, найти вероятность того, что абсолютная ошибка превысит 0.001.
Решение
Погрешность округления при выполнении отдельной операции является случайной величиной, имеющей равномерное распределение в интервале (а, Ь) = = (-0.5-10-6, 0.510”6). Математическое ожидание ц и дисперсия о2 равномерного распределения приведены в табл. 4.4 и равны для нашего случая, соответственно, нулю и (0.5-10-6 - (-0.5-10"6))2/12 = 10~12/12. Для п = 107 операций дисперсия суммарной погрешности составит по2 = 10710*12/12 = 10~5/12. Следовательно, согласно формуле (7.25), вероятность того, что абсолютная погрешность Sn превысит 0.001, составляет
Р{| 5„ | > 0.001} = 1 - Р{| 5„| < 0.001} = 1 - Р{ -0.001 < 5„ < 0.001} =
. А 0.001 А -0.001
= 1 - ф - ф =
(710^12 J^10’712 J
= 1-{Ф(7Г2)-Ф(-7П)} = 1-{Ф(л/Г2)-(1-Ф(л/Г2)} =2(1-Ф(7Е2».
Для вычисления значения функции стандартного нормального распределения Ф0 в точке VT5 = 1.095 можно использовать, например, функцию рпогт(х, ц, ст) naWTt Mathcad для х = 1.095, ц = 0, о = 1. Она дает значение 0.863. Следовательно, вероятность того, что абсолютная ошибка превысит 0.001, составит 2(1 - 0.863) = 0.274. Пример 7.7. Ежесуточный расход бензина определенной марки в некоторой транспортной фирме является случайной величиной с математическим ожиданием 110 т и средним квадратическим отклонением 30 т. Расходы бензина за разные дни являются взаимно независимыми. Поставка бензина осуществляется раз в месяц. Какова вероятность того, что имеющийся вначале запас в 3500 т будет достаточен на месяц, содержащий 30 дней? Каким должен быть первоначальный запас, чтобы он был достаточным с вероятностью 0.95? ' Решение
Можно считать выполненными условия теоремы 7.5, и поэтому вероятность ТОГО, что месячный расход 530 не превысит имеющийся запас 3500 т, вычисляется по формуле (7.25) при а = -со, b = 3500:
Р{530 < 3500} = фГ3500"3^110) = ф(1.217) =0.888.I 30-V30 )
Для определения запаса х095, который будет достаточен с вероятностью 0.95, можно воспользоваться определением квантиля, которое будет дано в главе 12, или осуществить последовательный подбор нужного значения. В результате находим, что искомый уровень запаса х0 95 = 3570.3. □ Из теоремы 7.5 вытекает следующее важное следствие.
Следствий 7.1. Теорема Муавра—Лапласа. С ростом числа п испытаний Бернулли, с вероятностью успеха р в одном испытании, распределение числа успехов 5„ стремится к нормальному. Формулы (7.24) и (7.25) при этом принимают вид:
S„ " пр ^np(l-p)S„ " пр ^np(l-p)*Ф(х), —ОО < X < СО.*Ф(х), —ОО < X < СО.(7.26)(7.27)(7.26)(7.27)
S„ " пр ^np(l-p)
S„ " пр ^np(l-p)
*Ф(х), —ОО < X < СО.
*Ф(х), —ОО < X < СО.
(7.26)
(7.27)
(7.26)
(7.27)
Доказательство
Обозначим X, число успехов, наступивших в i-м испытании Бернулли, i - 0,1,..., л.
Очевидно, Xi имеет следующее распределение вероятностей: Х, = 1 с вероятностью р, X, - 0 с вероятностью 1 - р. Следовательно, математическое ожидание, ■торой момент и дисперсия случайной величины Xt равны:
ц = £(*,) = 0(1 -р)+ 1.р=р;
ц2 =£(х,2) = о2-(1 -pV V-p = p;
□2 = О(Х,)=ц2 -ц2 =р-р2=р(1 -ру
Следовательно, к сумме 5„ = Xt + Х2 + ... +Х„ можно применить центральную предельную теорему. После подстановки в формулы (7.24), (7.25) полученных значений р и о, мы приходим к формулам (7.26) и (7.27). □ Пример 7.8. Проводятся сто испытаний Бернулли с вероятностью успеха в одном испытании р = 0.6. Вычислить значения функции распределения F^ числа успехов 51Оо для значений аргумента х от х = 40 до х = 80 с шагом 5.
Решение
Функция распределения F(x) — это вероятность того, что рассматриваемая слу
чайная величина 5100 не превысит г. F(x) = Р{5100 < х^. Следовательно, можно
применить теорему Бернулли (7.27) для п = 100 и р = 0.6. Поскольку Ф(-оо) = 0, то
F^ = Р{5100F^ = Р{5100< х} = Ф< х} = Фх-100рJlOOp(l-p),х-100рJlOOp(l-p),= ф= фх-100 0.6J100-0.6 (1-0.6),х-100 0.6J100-0.6 (1-0.6),С х -60")I 4.899 УС х -60")I 4.899 У
F^ = Р{5100
F^ = Р{5100
< х} = Ф
< х} = Ф
х-100рJlOOp(l-p),
х-100рJlOOp(l-p),
= ф
= ф
х-100 0.6J100-0.6 (1-0.6),
х-100 0.6J100-0.6 (1-0.6),
С х -60")
I 4.899 У
С х -60")
I 4.899 У
Подсчитанные с помощью стандартной программы рпогт(х, ц, о) Mathcad значения функции распределения F(x) приведены в табл. 7.1. Из нее, в частности, видно, что с вероятностью 0.846 число успехов не превысит 65, а с вероятностью 0.999 — значения 75.
Таблица 7.1. Функция распределения числа успехов в ста испытаниях
X
40
45
50
55
60
65
70
75
80
FW
0
0.001
0.021
0.154
0.500
0.846
0.979
0.999
1.000
Закон больших чисел
Другая группа предельных теорем теории вероятностей составляет закон больших чисел. Его формулировка использует следующее определение.
Определение 2. Говорят, что последовательность случайных величин Хь Х2,.... Хп сходится по вероятности к постоянной а, если для любого как угодно малого положительного числа е > 0 числовая последовательность Cj = Р{ ^ - а | > е}, с2 = Р{ |Х2 - а | > е },..., с„ = Р{ |Х„ - а | > е},... сходится к нулю. Иначе говоря, вероятность того, что случайная величина Хп отклонится от постоянной а по абсолютной величине более чем на е, стремится к нулю. Последнее, в свою очередь, означает, что для любого 5 > 0 найдется такой номер jV(8), что для всех членов числовой последовательности {с„} с номерами и, большими чем jV(8), будет выполняться неравенство | с„ | < 8.
Сходимость Хь Х2, ..., Хп по вероятности к а обозначается Хп Д а.
Теорема 7.6. Закон больших чисел в форме Чебышева. Пусть Хь Х2,..., Хп... — последовательность независимых случайных величин, имеющих одинаковые математические ожидания ц = E(Xt) и дисперсии о2 = D^X^, Vi = 1, 2, ... Их среднее
арифметическое Хп = Sn/n, подсчитанное по п величинам, сходится по вероятности к математическому ожиданию р:
ХЛ^.(7.28)
Доказательство
Теорему легко_ доказать, используя неравенство Чебышева (4.49). Ясно, ЧТО Е(ХП ) = р, D(Xn )_= а2/п. Применяя теперь неравенство (4.49), в котором следует положить X = Хп, а2 = DQ£n ) = а2/п, получаем
—ст2
Р(|Х -ц| >х) <—>0, Vx>0,
пх2
что и доказывает сходимость по вероятности (7.28).□
Следствие 7.2. Теорема Бернулли. В испытаниях Бернулли с вероятностью успеха в одном испытании р, частота успехов в п испытаниях Хп = — Sn сходится ПО п
вероятности к значению р;
ХЛР-(729)
Ранее мы неоднократно иллюстрировали закономерности, описываемые Законом больших чисел, не используя, правда, этого термина. Так, данные табл. 3.4 примера 3.4 показывают сходимость частот события {X = х^ к соответствующим вероятностям для разных значений аргумента х4 и количества экспериментов Я. Далее, сходимость частот появления различных исходов для полиномиального распределения (5.4) к теоретическим вероятностям исходов иллюстрировалась табл. 5.3.
Другие иллюстрации центральной предельной теоремы и закона больших чисел содержатся в компьютерном практикуме № 12.
В заключение отметим, что две приведенные формы закона больших чисел (7.28) и (7.29) дают теоретическое обоснование практическому приему, когда неизвестное математическое ожидание заменяется на среднее арифметическое, а неизвестная вероятность события — на наблюденную частоту события. Такого рода процедуры оценивания неизвестных параметров вероятностных моделей составляют содержание теории точечного оценивания — раздела математической статистики, которой будет посвящена вторая часть настоящей книги. Оценки, которые сходятся по вероятности к истинным значениям параметров, будут названы там состоятельными.,
Компьютерный практикум № 10.
Суммирование дискретных случайных величин
Цель и задачи практикума
Целью практикума является приобретение практических навыков при проведение вычислений, связанных с нахождением распределений сумм дискретных случайных величин, в пакете Mathcad.
Задачей данного практикума является вычисление распределений сумм для двух знписнмых и многих независимых дискретных случайных величин.
Реализация задания
Для проведения вычислений нам понадобятся две программы из практикумов № 1 и 5, которые реализуют пользовательские функции Arise(i, Л) и Incl(i, Ay Первая функция выдает значение 1, если элементарное событие i принадлежит составному событию А, и 0 — в противном случае. Вторая функция включает элементарное событие i в составное событие А. Дополнительно определим новые семь функций пользователя. Программные модули, реализующие функции пользователя, представлены на рис. 7.1. Функции имеют следующее назначение.
Функция DomSTwo(Ci, С2) определяет множество значений суммы двух компонент, возможные значения которых задаются векторами-столбцами С1 и С2.
Pr57mo(Tw) вычисляет распределение вероятностей суммы компонент двумерной случайной величины, заданной своим распределением вероятностей Tw. Нулевой столбец матрицы Tw содержит возможные значения первой компоненты, а нулевая строка —возможные значения второй компоненты. Функция возвращает результат в виде матрицы из двух строк. Первая строка содержит возможные значения суммы, а вторая — соответствующие вероятности.
Следующие функции рассчитывают распределения суммы независимых дискретных случайных величин.
Dsum(Dl, D2) предназначена для суммирования двух величин, заданных своими распределениями D1 и D2. Последние представлены матрицами D1 и D2, каждая из двух столбцов. Первый столбец содержит возможные значения случайной величины, а второй столбец — соответствующие вероятности. Функция Dsum возвращает распределение суммы исходных величин в виде, аналогичном результату работы функции PrSTwo.
DSumM(M?) выполняет аналогичную задачу для нескольких слагаемых случайных величин. Распределение этих слагаемых задается матрицей М, в которой каждому слагаемому соответствуют два столбца. Столбец с четным номером (начиная с нулевого столбца) содержит возможные значения слагаемого, а столбец с нечетным номером — соответствующие вероятности. Результатом вычислений является распределение суммы заданных случайных величин. Результат представляется в виде, аналогичном для функции PrSTwo.
DsumC^C, п) выполняет аналогичную задачу для суммы п независимых случайных величин, каждая из которых имеет распределение С. Структура С аналогична структуре D1 и D2 из функции Dsum(Dl, D2).
Если распределения независимых слагаемых заданы аналитически, то используется функция DsumCA(n, m). Предполагается, что все слагаемые являются целочисленными случайными величинами (с возможными значениями 0, 1, 2, ...) и имеют одно и то же распределение, предварительно заданное функцией Pr(iy Эта функция определяет вероятность принятия значений i = 0, 1, ... В представленном примере используется пуассоновское распределение с параметром 1, заданное стандартной функцией dpois(i, 1). Пользователь может выбрать любое другое распределение. Функция DsumCA(n, т) находит распределение суммы п случайных величин с указанным распределением Рг(1У выдавая соответствующие вероятности для т возможных значений суммы.
Практикум Mt 10. Суммирование дискретных величииПользовательские фунииим
Суммирование компонент двумерных дискретных случайных воличим
Arke(I.A) -Arke(I.A) -f4-0lor J« 0rowe(A) - 1 f*-f*lf(lsAj,1.0) g*-lf(f>0,1.0)f4-0lor J« 0rowe(A) - 1 f*-f*lf(lsAj,1.0) g*-lf(f>0,1.0)lnd(l,A) :-lnd(l,A) :-008<-A If Artee(I.A) otherwise k4-rowa(A) for JeO. k-1 ®l**4|B»<-i8<-A If Artee(I.A) otherwise k4-rowa(A) for JeO. k-1 ®l**4|B»<-i
Arke(I.A) -
Arke(I.A) -
f4-0
lor J« 0rowe(A) - 1 f*-f*lf(lsAj,1.0) g*-lf(f>0,1.0)
f4-0
lor J« 0rowe(A) - 1 f*-f*lf(lsAj,1.0) g*-lf(f>0,1.0)
lnd(l,A) :-
lnd(l,A) :-
0
0
8<-A If Artee(I.A) otherwise k4-rowa(A) for JeO. k-1 ®l**4|
B»<-i
8<-A If Artee(I.A) otherwise k4-rowa(A) for JeO. k-1 ®l**4|
B»<-i
Возможные значения суммы компонентВозможные значения суммы компонентРаспределение вероятностей суммыРаспределение вероятностей суммы
Возможные значения суммы компонент
Возможные значения суммы компонент
Распределение вероятностей суммы
Распределение вероятностей суммы
DomSTwo(C1,C2) >DomSTwo(C1,C2) >А4-С1PrSTwo(Tw)-m«- rowe(Q) - 1 k 4-rows(C1) - 1 for Ie8 kB|4-A( + C20If m>0for I e 0.. kfor j e 1. mВ^НА^В)А4-С1PrSTwo(Tw)-m«- rowe(Q) - 1 k 4-rows(C1) - 1 for Ie8 kB|4-A( + C20If m>0for I e 0.. kfor j e 1. mВ^НА^В)An-Tw^An-Tw^D <- DomSTwo(A, 0)m 4- rowa(D) - 1for v e 1mS«-DFov*-^.Fl.v-0for I e 1.. rowa(A) - 1for J e 1.. towb(B) - 1Sr-S+l^+Bj.Ov.Twijj)Fl ,v *- Ef ,v * $D <- DomSTwo(A, 0)m 4- rowa(D) - 1for v e 1mS«-DFov*-^.Fl.v-0for I e 1.. rowa(A) - 1for J e 1.. towb(B) - 1Sr-S+l^+Bj.Ov.Twijj)Fl ,v *- Ef ,v * $
DomSTwo(C1,C2) >
DomSTwo(C1,C2) >
А4-С1PrSTwo(Tw)-
m«- rowe(Q) - 1 k 4-rows(C1) - 1 for Ie8 k
B|4-A( + C20
If m>0
for I e 0.. k
for j e 1. m
В^НА^В)
А4-С1PrSTwo(Tw)-
m«- rowe(Q) - 1 k 4-rows(C1) - 1 for Ie8 k
B|4-A( + C20
If m>0
for I e 0.. k
for j e 1. m
В^НА^В)
An-Tw^
An-Tw^
D <- DomSTwo(A, 0)
m 4- rowa(D) - 1
for v e 1m
S«-D
Fov*-^.
Fl.v-0
for I e 1.. rowa(A) - 1
for J e 1.. towb(B) - 1
Sr-S+l^+Bj.Ov.Twijj)
Fl ,v *- Ef ,v * $
D <- DomSTwo(A, 0)
m 4- rowa(D) - 1
for v e 1m
S«-D
Fov*-^.
Fl.v-0
for I e 1.. rowa(A) - 1
for J e 1.. towb(B) - 1
Sr-S+l^+Bj.Ov.Twijj)
Fl ,v *- Ef ,v * $
Суммирование независимых дискретных случайных величииСуммирование независимых дискретных случайных величииРаспределение суммы двух еелмчмнРаспределение суммы двух еелмчмнDSum(D1,D2)••DSum(D1,D2)••Г® <- DomSTwo(D/O>. DS^)m <- row»(F<O>) - 1for v e 0.. ms«-gfor leO rows(D1) - 1for JeO.. rowa(D2) - 1S «- S + |{Щ + (d2<0>)| • F, ,o.[m<<1”J (|»<1>)|.»]Fv,1<-SГ® <- DomSTwo(D/O>. DS^)m <- row»(F<O>) - 1for v e 0.. ms«-gfor leO rows(D1) - 1for JeO.. rowa(D2) - 1S «- S + |{Щ + (d2<0>)| • F, ,o.[m<<1”J (|»<1>)|.»]Fv,1<-SРаспределение суммы нескольких случайных величинРаспределение суммы нескольких случайных величин
Суммирование независимых дискретных случайных величии
Суммирование независимых дискретных случайных величии
Распределение суммы двух еелмчмн
Распределение суммы двух еелмчмн
DSum(D1,D2)••
DSum(D1,D2)••
Г® <- DomSTwo(D/O>. DS^)
m <- row»(F<O>) - 1
for v e 0.. m
s«-g
for leO rows(D1) - 1
for JeO.. rowa(D2) - 1
S «- S + |{Щ + (d2<0>)| • F, ,o.[m<<1”J (|»<1>)|.»]
Fv,1<-S
Г® <- DomSTwo(D/O>. DS^)
m <- row»(F<O>) - 1
for v e 0.. m
s«-g
for leO rows(D1) - 1
for JeO.. rowa(D2) - 1
S «- S + |{Щ + (d2<0>)| • F, ,o.[m<<1”J (|»<1>)|.»]
Fv,1<-S
Распределение суммы нескольких случайных величин
Распределение суммы нескольких случайных величин
DSumM(M) >DSumM(M) >n«- cole(M) - 1F<1> M<n)n«- cole(M) - 1F<1> M<n)Анелитмческое задание распределенийPr(i)>dpole(l.1)Анелитмческое задание распределенийPr(i)>dpole(l.1)DSumCA(n,m) ••DSumCA(n,m) ••n«- n-2while n 2 0n«- n-2while n 2 002<0,^И<"-1>D2<1)^MW02<0,^И<"-1>D2<1)^MWfor leO . m h«-Pr(D If n> 1for leO . m h«-Pr(D If n> 1DSumC(C,rDSumC(C,rFF«-DSum(F,D2)F^FFTFF«-DSum(F,D2)F^FFTfor v e 1.. n -1for leO . mIGi-^ PrU>FH 1-0F4-Gf«-8for v e 1.. n -1for leO . mIGi-^ PrU>FH 1-0F4-Gf«-8M<2 <l-1)) ^ ^ „(i-M^^I)M<2 <l-1)) ^ ^ „(i-M^^I)
DSumM(M) >
DSumM(M) >
n«- cole(M) - 1
F<1> M<n)
n«- cole(M) - 1
F<1> M<n)
Анелитмческое задание распределений
Pr(i)>dpole(l.1)
Анелитмческое задание распределений
Pr(i)>dpole(l.1)
DSumCA(n,m) ••
DSumCA(n,m) ••
n«- n-2
while n 2 0
n«- n-2
while n 2 0
02<0,^И<"-1>
D2<1)^MW
02<0,^И<"-1>
D2<1)^MW
for leO . m h«-Pr(D If n> 1
for leO . m h«-Pr(D If n> 1
DSumC(C,r
DSumC(C,r
FF«-DSum(F,D2)
F^FFT
FF«-DSum(F,D2)
F^FFT
for v e 1.. n -1
for leO . m
I
Gi-^ PrU>FH 1-0
F4-G
f«-8
for v e 1.. n -1
for leO . m
I
Gi-^ PrU>FH 1-0
F4-G
f«-8
M<2 <l-1)) ^ ^ „(i-M^^I)
M<2 <l-1)) ^ ^ „(i-M^^I)
F 4~ OSumM(M) F
Рис. 7.1. Функции пользомтеля для нахождения распределения суммыдискретных случайных величин
Результаты вычислений
Результаты представлены на рис. 7.2. Вначале вводится матрица Tw, задающая распределение двумерной случайной величины. Возможные значения первой компоненты, содержащиеся в нулевом столбце, равны -1, 0, 2, а второй компоненты, содержащиеся в нулевой строке, — 1, 2, 3, 4, 5. Распределение суммы этих двух компонент представлено матрицей Pr57mo(Tw). Например, сумма равна нулю с вероятностью 0.1, двум с вероятностью 0.2 и т. д. Обращаем внимание на форму представления матрицы результатов — матрица представлена с заголовками столбцов и строк, имеющими серый цвет. Такая форма указывает на наличие механизма «прокрутки»: после подвода курсора к нижней границе таблицы появляются стрелки, указывающие направления просмотра следующих элементов. Данную форму имеет также ряд матриц, описанных ниже.
Результаты вычислений
Суммирование компонент двумерной дискретной случайной величины
PrSTwo(Tw)PrSTwo(Tw)'0 1 2 3 4 5 "-1 0.1 0.05 0.15 0 0.050 0 0.05 ОЛЮ 0 0.15.2 0.1 0.05 0 02 0.05,
PrSTwo(Tw)
PrSTwo(Tw)
Суммирование независимых случайных величин
Распределение суммы двух величин
DSum(C2,C1)"DSum(C2,C1)"Г 0-2 -1234156
DSum(C2,C1)"
DSum(C2,C1)"
(о.Об0.01 0.030.25 0.110.180.160.16 0.04 J
Рекуррентное использование функции DSum
DSum(c2,DSum(C2.C2)T
Свертка распределений
DSumC(C2,3)DSumC(C2,3)11Проверка условия нормировки:^ DSumC(C2.3)i(V» 1у - 011Проверка условия нормировки:^ DSumC(C2.3)i(V» 1у - 03. Суммирование многих случайных величин3. Суммирование многих случайных величинАналитическое задание распределений:DSumCA(1,4) • (0.368 0.368 0.104 04)61 0,015)DSumCA(2,0) ■ (о.135 0271 0.271 0.10 0.09 04)36 0.012 3437х10"3 0.593х10'4)Аналитическое задание распределений:DSumCA(1,4) • (0.368 0.368 0.104 04)61 0,015)DSumCA(2,0) ■ (о.135 0271 0.271 0.10 0.09 04)36 0.012 3437х10"3 0.593х10'4)
DSumC(C2,3)
DSumC(C2,3)
11
Проверка условия нормировки:^ DSumC(C2.3)i(V» 1
у - 0
11
Проверка условия нормировки:^ DSumC(C2.3)i(V» 1
у - 0
3. Суммирование многих случайных величин
3. Суммирование многих случайных величин
Аналитическое задание распределений:DSumCA(1,4) • (0.368 0.368 0.104 04)61 0,015)
DSumCA(2,0) ■ (о.135 0271 0.271 0.10 0.09 04)36 0.012 3437х10"3 0.593х10'4)
Аналитическое задание распределений:DSumCA(1,4) • (0.368 0.368 0.104 04)61 0,015)
DSumCA(2,0) ■ (о.135 0271 0.271 0.10 0.09 04)36 0.012 3437х10"3 0.593х10'4)
DSumCA(4,20)DSumCA(4,20)
DSumCA(4,20)
DSumCA(4,20)
0.016 I 0 05 I 0 079 I О 093 I 0.097 I 0.094 | 0.0В7 j 0.07В I 0 069 |0 059
Проверка условия нормировки:Проверка условия нормировки:£ (oSumCA(4.40)Т)(- 1
Проверка условия нормировки:
Проверка условия нормировки:
I ■ О
Рис. 7.2. Результаты вычисления распределений суммдиоиратных случайных величин
При суммировании двух независимых случайных величин используются распределения С1 и С2. Распределение их суммы представлено матрицей Dsum(C2, Cl), Далее иллюстрируется возможность рекуррентного использования функций Dsum, а именно, находится распределение суммы трех независимых случайный величин с одним и тем же распределением С2. Это же распределение можно получить путем применения функции DSumC(C2, 3). Под соответствующей таблицей приведена проверка выполнения условия нормировки для полученного распределения суммы.
Функции вычисления распределения суммы независимых случайных величин иллюстрируются для трех слагаемых. Распределения слагаемых задаются матрицей М. Так, возможные значения первого слагаемого есть -1, 0, 1 и 2, а вероятности их принятия — 0.5, 0.1, 0.2 и 0.2. Два последующих столбца определяют распределение второго слагаемого, а два последних столбца — распределение третьего слагаемого. Распределение суммы этих слагаемых содержится в матрице DSumM(№). Так, сумма принимает значение -3 с вероятностью 0.04, значение -2 с вероятностью 0.078 и т. д.
В случае аналитического задания распределения целочисленных слагаемых следует пользоваться функцией DSumCA(n, т). В нашем случае ранее аналитически было задано (как функция Рг(1У) распределение Пуассона с параметром 1. Функция В$итСА(Д, 4) выдает вероятности принятия значений 0, 1, 2, 3, 4 случайной величиной с этим распределением. DsumCA(2, 8) выдает соответствующие вероятности для суммы двух величин, кончая значением суммы, равным восьми, DsumCA(y 20) описывает распределение четырех слагаемых и рассматривает возможные значения суммы до двадцати включительно. Для просмотра всех элементов матрицы необходимо использовать линию прокрутки, о чем говорилось выше.
Компьютерный практикум №11.
Суммирование непрерывных случайных величин
Цель и задачи практикума
Целью практикума является приобретение практических навыков в расчетах с использованием пакета Mathcad для нахождения распределения суммы непрерывных случайных величин.
Зодачали данного практикума являются:
Q расчет плотностей распределений сумм двух зависимых и многих независимых непрерывных случайных величин;
Q пос троение графиков кривых соответствующих плотностей распределений.
Реализация задания
На рис. 7.3. представлены модули, реализующие пользовательские функции. Вначале задается плотность распределения fexp^z, у) непрерывной двумерной случайной величины, соответствующая распределению (6.9) с параметром 0.6. Функция fSumTwo(x) вычисляет для точки х плотность распределения суммы Компонент этой двумерной величины, а функция Рг1(а, Ь) — вероятность того, Что дни пая сумма попадет в интервал (a, by
Далее находится распределение суммы двух независимых случайных величин. Плотности распределения этих величин задаются функциями /1(у) и /2(z). В рассматриваемом случае они соответствуют экспоненциальному распределению (4.9) с параметрами 0.5 и 1.5. Пользователь может менять эти функции по своему усмотрению. Функция fSumC(x) вычисляет в точке х значение плотности распределения суммы указанных величин. Функция РгС1(а, Ь') вычисляет вероятность попадания указанной суммы в интервал (а, 6).
Практикум Nt 11. Суммирование нвирерывных величин
Пользовательские Функции
Суммирование кiмпеиемт двумерной неотрицательной случайней величины с лолотиестью ра сиредел в и и л
fexp(i , у) > |ф > 0, If (у > 0.0.6 е" “ у у е" у ' .о) .о)
Плотность распределения суммы
fSumTwo(x) > If х> 0, fexp(x- z,z) dz.O
Вероятность лоиаданил суммы в интервал (а, Ь)
Г г" )
Prl(a.b) :• If а < b, I fSumTwo(x) dx,0
Суммирование независимых неотрицательных случайных величии
Сумма двух веллчмн с полетностями распределений
f1(y):- и[у>0.0Л •■“ У,о) е(2):-|ф>0,1Л •"“ ‘.о)
Плотность распределения суммы
fSumC(x) - lf| к > 0, [ fl(y) G(x - у) dy,0
Вероятность поледелил суммы в интервал (а, Ь)
Распределение суммы п независимых неотрицательных случайных величин с общей плотностью f(x) . If(х> 0.1.5 •"’■’".о)
g(n.x)^g(n.x)^Ь«- Г(х)h t-[ g(n - 1 ,z) f(x - z) dz If n > 1hЬ«- Г(х)h t-[ g(n - 1 ,z) f(x - z) dz If n > 1hh(x) :-h(x) :-f(!) [ f(y) f(x-i-y)dydz оf(!) [ f(y) f(x-i-y)dydz о
g(n.x)^
g(n.x)^
Ь«- Г(х)
h t-[ g(n - 1 ,z) f(x - z) dz If n > 1
h
Ь«- Г(х)
h t-[ g(n - 1 ,z) f(x - z) dz If n > 1
h
h(x) :-
h(x) :-
f(!) [ f(y) f(x-i-y)dydz о
f(!) [ f(y) f(x-i-y)dydz о
Рис. 7.3. Функции пользователя для нахождения распределения суммнепрерывных случайных величин
Функция g(n, х) вычисляет в точке х значение плотности распределения суммы п независимых случайных величин, имеющих плотность распределения /(х). В данном случае используется плотность экспоненциального распределения (4.9) с параметром Л = 1.5. В процессе своей работы процедура, реализующая функцию g(п, х), использует рекурсию1, она обращается к самой себе при меньшем значении аргумента п. Менее универсальной является функция А(х), решающая ту же задачу для трех слагаемых, то есть для п = 3. -
Результаты вычислений
Вначале на рис. 7.4 представлены графики плотности распределения суммы двух случайных величин. Левый график соответствует зависимым величинам, СОВМв* стное распределение которых задается плотностью fexp(z, у), а правый — независимым случайным величинам с плотностями распределения /1 и /2. Для первогр случая подсчитаны вероятности попадания суммы в интервалы (0, 40) и (0, 9).
Результаты вычислений
Графики кривых полетностей распределений сушеГрафики кривых полетностей распределений сушеВероятности попаданий в интервал (а. Ь)Вероятности попаданий в интервал (а. Ь)Рг1(0,40)-0.985Рг1(0,40)-0.985РН(0,9) -0.931РН(0,9) -0.931Графики кривых полетностей суми с общим распределением независимых слагаемых у>0,02 7Графики кривых полетностей суми с общим распределением независимых слагаемых у>0,02 7
Графики кривых полетностей распределений суше
Графики кривых полетностей распределений суше
Вероятности попаданий в интервал (а. Ь)
Вероятности попаданий в интервал (а. Ь)
Рг1(0,40)-0.985
Рг1(0,40)-0.985
РН(0,9) -0.931
РН(0,9) -0.931
Графики кривых полетностей суми с общим распределением независимых слагаемых у>0,02 7
Графики кривых полетностей суми с общим распределением независимых слагаемых у>0,02 7
Рио. 7.4. Г рафики плотности распределения суммы двух непрерывных случайных величин
На последнем графике представлены кривые плотностей для двух распределений: экспоненциального /(у) и суммы трех экспоненциально распределенных независимых случайных величин, вычисленные по функциям h(y) и g(3, у). Как И следовало ожидать, две последние функции дают одинаковые результаты, ТО есть на рисунке совпали графики, построенные сплошной и пунктирной (длинной) линиями.
Компьютерный практикум № 12.
Предельные теоремы теории вероятностей
Цель и задачи практикума
Умею практикума является иллюстрация закономерностей, формулируемых Предельными теоремами теории вероятностей, а также их применение при проведении различных вычислений в среде пакета Mathcad.
Задачей данного практикума является иллюстрация сходимости по вероятности средних арифметических к математическим ожиданиям и сходимости распределения суммы большого числа случайных величин к нормальному.
Реализация задания
На рис. 7.5 представлены модули, реализующие пользовательские функции. Первая часть практикума посвящена иллюстрации закона больших чисел. Этот Закон утверждает, что среднее арифметическое случайных величин сходится по вероятности к математическому ожиданию этих величин. С этой целью вырабатываются две последовательности случайных величин X и Y. Первая содержит 7501 выработанных значений для равномерного в интервале (0, 2) распределения, а вторая — такое же количество для экспоненциального распределения с параметром X = L Следовательно, в обоих случаях математическое ожидание ц равно 1. Последовательности формируются в результате обращения к стандартным функциям runif и гехр, выполняющим роль генераторов (датчиков) случайных величин. На основании этих последовательностей вычисляются средние арифметические аог(г') и eor(z'), подсчитанные по все увеличивающемуся числу величин 25хг, г = 1, ..., 100. Реализуется по три последовательности средних арифметических (acr, avrl, avr2 и ear, eurl, еиг2), с тем чтобы показать, что сходимость является случайной, а не детерминированной.
Практикуя Nt 12. Предельные теоремы теории вероятностей
Пплыовательскме функции
Сходимость по вероятности средних к математическим ожиданиям X - runif(7501,0,2)1- 1 100Y :-гехр(7501,1)
1251125125
avr^^“F^ У Xv ®W1^T5E У x2soo+v ^(O-zr; У ХбООО+v 125125/25I
V - 1V - 1V - 1
125.125125
^^Тх'У Y* ^^^"Г^У Y2500*v»vr2(i)> У Ysooo+v 1-25125
v ■ 1v ■ 1v - 1
Сходимость ра сиределения сумм к нормальному ра слределеи ию Суммы экспоненциально распределенных случайных величин
fexp(n.x):- ——— ехр(-х)х - 0,0.2 10
Суммы равномерно распределенных в интервале (0,Ь) случайных величин
У-0.0.2 6 fun(b,n,y) -^.b-n £.
Рис. 7.5. Пользовательские функции, иллюстрирующие предельные теоремы
Вторая часть практикума посвящена иллюстрации центральной предельной теоремы. Функция fexp(n, х) вычисляет значение в точке х плотности распределения суммы п независимых случайных величин, имеющих экспоненциальное распределение (4.9) с параметром X = 1. Фактически это есть распределение Эрланга (4.18) с параметрами X = 1 и п. Функция fun(b, п, у) вычисляет значение в точке у плотности распределения (7.32) суммы п взаимно независимых случайных величин, каждая из которых имеет равномерное в интервале (0, 6) распределение.
Результаты вычислений
Полученные результаты представлены на рис. 7.6. Первые два графика иллюстрируют сходимость по вероятности средних арифметических к математическому ожиданию. На каждом графике представлены по три траектории средних арифметических. Видно, что траектории ведут себя случайным образом, но в конце концов все они сходятся к истинному математическому ожиданию, равному 1.
Результаты вычислений
1. Сходимость по вероятности средних арифметических1. Сходимость по вероятности средних арифметическихРавномерное распределениеРавномерное распределение2. Сходимость к нормальному распределению2. Сходимость к нормальному распределениюЭспоиенцизльное распределениеЭспоиенцизльное распределениеСуммы экспоненциально распределенных слагаемыхСуммы экспоненциально распределенных слагаемыхСуммы равномерно распределенных слагаемыхСуммы равномерно распределенных слагаемыхРис. 7.6. Результаты вычислений, иллюстрирующие предельные теоремыРис. 7.6. Результаты вычислений, иллюстрирующие предельные теоремы
1. Сходимость по вероятности средних арифметических
1. Сходимость по вероятности средних арифметических
Равномерное распределение
Равномерное распределение
2. Сходимость к нормальному распределению
2. Сходимость к нормальному распределению
Эспоиенцизльное распределение
Эспоиенцизльное распределение
Суммы экспоненциально распределенных слагаемых
Суммы экспоненциально распределенных слагаемых
Суммы равномерно распределенных слагаемых
Суммы равномерно распределенных слагаемых
Рис. 7.6. Результаты вычислений, иллюстрирующие предельные теоремы
Рис. 7.6. Результаты вычислений, иллюстрирующие предельные теоремы
На последующих двух графиках иллюстрируется сходимость распределения сумм к нормальному распределению. На каждом графике представлены по три Кривые плотности распределения, соответствующие одному, трем и пяти слагаемым суммы. Для одного слагаемого — это кривая плотности исходного распределения (экспоненциального или равномерного). Нетрудно заметить, что уже при ПЯТИ (т. е. достаточно малом числе) слагаемых суммы хорошо просматривается ИИД кривой плотности нормального распределения.
Задания для самостоятельной работы
Используя компьютерную функцию PrCTwo, найдите распределение суммы компонент двумерной случайной величины, заданной в табл. 5.1.
Проанализируйте логику работы компьютерной функции DsumCA.
Используя компьютерную функцию DsumCA, найдите распределение вероятностей суммы п = 2 взаимно независимых случайных величин, имеющих геометрическое распределение (3.4) с одним и тем же параметром р ■ 0.5.
Проанализируйте сходимость распределения суммы к нормальному распределению с ростом числа слагаемых и.
Используя компьютерную функцию DSum, найдите распределение суммы двух независимых случайных величин, имеющих биномиальное распределение (3.3) с параметрами п = 4, р = 0.3 и п = 3, р = 0.6.
Двумя способами, используя компьютерные функции g и h, найдите плотность распределения суммы трех взаимно независимых случайных величин, имеющих равномерное распределение (4.7) с параметрами а = 0 и b = 2.
Запрограммируйте формулу (7.32), определяющую плотность распределения суммы п взаимно независимых случайных величин, имеющих равномерное распределение (4.7) в интервале (0, 6). Проведите численное сравнение с результатами предыдущего задания.
Составьте программу на Mathcad, которая, используя датчик случайных чисел, иллюстрирует сходимости по вероятности (7.28) и (7.29).
Составьте программу на Mathcad, которая, используя датчик случайных чисел, иллюстрирует сходимость (7.25) и (7.27) суммы 5„ к нормальному распределению.
Определенный интеграл g = jf(x)dx для ограниченной функции Дх) < с можно вычислить следующим образом, используя метод Монте-Карло. Вырабатываются п пар независимых случайных величин (Х„ У^, где X, имеет равномерное распределение в интервале (а, 6), а К — равномерное распределение в интервале (0, с). Для каждой пары вычисляют значение булевой переменной Z-.
_ Г1, если У, ^ДХД'[0, в противном случае.
В качестве оценки интеграла принимается
ё*=1с(Ь-аД2Рп„1
Дайте теоретическое обоснование такого подхода, основываясь на законе больших чисел в форме Чебышева.
Выберите некоторую простую геометрическую фигуру, площадь которой хорошо известна (например, квадрат, прямоугольник, треугольник или круг). Проведите имитационный эксперимент и посмотрите, как с ростом числа п оценка g* приближается к истинному значению площади g.
Задачи
Задача 7.1. Пусть Хь Х2Хт — взаимно независимые случайные величины, имеющие распределение Пуассона с параметрами Хь Х2, ..., Хт соответственно, a Sm = Хх + Х2 + ... + Хт — их сумма, имеющая, согласно примеру 7.1, распределение Пуассона с параметром X = Xj + Хг + ... + Х„. Покажите, что условное распределение случайной величины Xt при условии Sm = п является биномиальным с параметрами п и р = X/ / X.
Задача 7.2. Пусть Хь Х2, ..., Хт — взаимно независимые случайные величины, имеющие биномиальное распределение, у которых параметр р одинаков, а второй параметр равен иь п2, ..., пт соответственно. Их сумма 8т, согласно примеру 7.2, имеет биномиальное распределение с параметрами р и п = щ + п2 + ... + Я„. Покажите, что условное распределение X, при условии Sm = s является гипергеометрическим (2.7), (3.5).■
Задача 7.3. Пусть Sn — число успехов в п испытаниях Бернулли с вероятностью успеха в одном испытании р, a N — независимая от Sn случайная величина, имеющая распределение Пуассона с параметром X. Докажите, что SN, то есть число успехов при случайном числе испытаний Бернулли, имеет распределение Пуассона с параметром Хр.
Задача 7.4. Пусть X и Y — независимые случайные величины, имеющие распределение Эрланга с одним и тем же параметром X и параметрами /] и 12 соответственно. Тогда условная плотность распределения X при условии, что сумма X + Y = 2, есть
тУ2"1 (l+l
fx<x\X + Y =2^ = - -1--(1-2—, 0<х^2. (7.30)
2V2) I 2) (lt -1)!(/2 -1)!
Это — плотность так называемого бета-распределения с параметрами z, Ц и 12.
Задача 7.5. Пусть X и Y — независимые случайные величины, имеющие экспоненциальные распределения с параметрами X и ц соответственно. Тогда плотность распределения суммы X + Y есть
х>0.(7.31)
ц - X
Задача 7.6. В условиях предыдущей задачи найдите условную плотность распределения X при условии X + Y = 2.
Задача 7.7. Пусть X и Y — независимые случайные величины, имеющие нормальное распределение с параметрами ц х, ах, и ц Y, оу соответственно. Используя формулу (7.14), покажите, что их сумма распределена нормально с параметрами ц х + ц у, 7<^х + ^y • Обобщите этот факт на произвольное число слагаемых.
Задача 7.8. Пусть Хь Х2,... — взаимно независимые случайные величины, имеющие равномерное распределение (4.7) в интервале (0, Ь). Используя метод математической индукции, покажите, что плотность распределения их суммы Sn ■ Хх + Х2 + ... + Хп дается формулой
у^О, (7.32)
(п -1)! „о
где [Х|, = 1, если Х^ 0 и [Х]+ = 0, если Х< 0.
Задача 7.9. Покажите, что сумма Х\ + Хг + ... + Хп случайных величин, имеющих распределение Дирихле из задачи 6.7, имеет бета-распределение (7.30) с параметрами Z — 1, /| *■ *! + *2 +...+ к„ И /| = k„ ♦ |.
Задача 7.10. Театр, вмещающий 1000 зрителей, имеет два гардероба по 500 мест. В предположении, что зрители приходят по одиночке и с равной вероятностью 0.5 выбирают любой из гардеробов, найдите вероятность того, что число зрителей, обратившихся в разные гардеробы, будет отличаться более чем на 20, если все места в театре были заняты.
8 Цепи Маркова
Основные определения
В предыдущих главах рассматривались случайные величины и их последовательности. Так, во второй главе рассматривались последовательности независимых случайных величин Хх, Х2, ..., Хп. Они соответствовали результатам повторных независимых испытаний. Индекс п случайной величины Х„ соответствовал моменту времени проведения испытания.
Многомерную случайную величину X = (Хь Х2, ..., Х„) также можно рассматривать как последовательность случайных величин. Если номер п случайной величины Хп трактовать как время, то говорят о случайном процессе с дискретным временем п = 0, 1, 2, ... Рассматриваемый момент времени п называется шагом, а принимаемые возможные значения х — состоянием процесса. Обозначим Е множество возможных значений случайных величин, обычно оно называется пространством состояний. Последовательность состояний xit, xi2xln, принимаемых случайным процессом Хъ Х2,..., Хп, называется траекторией процесса. Если п является текущим моментом времени, то xf называется текугцим состоянием процесса, а отрезок последовательности х;|, х, х1я ( до текущего Момента п называется предысторией процесса.
Основной задачей теории случайных процессов является прогнозирование состояния процесса для будущего момента времени п' > п на основании зарегистрированной траектории х,, ,xi2, ...,xi(i до момента п. В случае последовательности независимых испытаний будущее значение Хп. не зависит ни от текущего состояния xin, ни от предыстории х^ ,х,- ,...,х/я (. В общем случае Хп- зависти и от того, и от другого. Важным является частный случай, когда будущее значение Х„ не зависит от предыстории, если фиксировано текущее состояние хп. В этом случае говорят о цепях Маркова.
Определение 1. Последовательность случайных величин Х2, ..., Х„ с множеством возможных значений Е называется цепью Маркова, если при фиксированном значении Х( случайной величины Хп для текущего момента п значение случайной величины Хп. для будущего момента п' > п не зависит от предыстории Хц-Чх^;
№. -xJX, = х(|, Х2 = xhХ„ =Xiii}=P{X„. = xjX„ = xj (81) п, п* =0,1,2,...; п' > п\ х-.х,х^.х^еЕ.
В дальнейшем мы будем использовать для цепей Маркова введенную выше терминологию, то есть говорить о пространстве состояний Е, п-м шаге, предыстории и т. п. При этом согласно принятой в теории цепей Маркова практике под состоянием мы будем понимать номер i возможного значения случайной величины Х„ а не само это возможное значение х,. Следовательно, Е = {1, 2, ...} или Е = {0, 1, 2,...}. Далее Хп = in, in е Е, означает событие «на п-м шаге цепь Маркова находится в состоянии in».
Итак, формула (8.1) означает, что для предсказания поведения цепи Маркова в будущем неважно, каким образом попала цепь в данное состояние in в настоящий момент времени п, важно только само это состояние. В математической литературе это называют марковским свойством.
Определение 2. Цепь Маркова называется конечной, если пространство ее состояний Е конечно, и счетной, если Е счетно.
Основные понятия теории конечных цепей Маркова были введены в 1907 г. выдающимся русским математиком А. А. Марковым. В 1936 г. А. Н. Колмогоров развил эту теорию на случай бесконечных цепей.
Из определения цепи Маркова и формулы (8.1) следует, что цепь Маркова может быть задана распределением вероятностей перехода за один шаг. Пусть, как и ранее, возможные значения цепи обозначаются i = 1, 2, ..., так что Е = (1, 2, ...}. Определение 3. Вероятностью перехода р^ за один шаг называется вероятность того, что цепь Маркова, находясь на данном шаге в состоянии г, на следующем шаге окажется в состоянии j;
Р^ =P{Xn+i=j\Xn=i}, i,j=\,1,.„ (8.2)
Данная формула подразумевает, что вероятности перехода не зависят от номера шага п. Такие цепи Маркова называются однородными. В противном случае говорят о неоднородных цепях Маркова. Мы будем рассматривать только однородные цепи Маркова.
Если цепь Маркова конечна, то переходные вероятности (8.2) удобно задавать с помощью так называемых стохастических матриц.
Определение 4. Квадратная матрица называется стохастической, если ее элементы неотрицательны и сумма элементов любой строки равна единице.
Определение 5. Матрицей переходных вероятностей Р = \р^ цепи Маркова с конечным числом состояний к называется стохастическая матрица порядка к, в которой строки соответствуют текущему состоянию цепи, столбцы — состоянию на следующем шаге, а на пересечении i-й строки и j-го столбца стоит вероят-
ность Pij соответствующего перехода:
•Pt,к-1
■Pi.к-1
Pl,к '
Р2*
,(8.3)
Р =
' Ад
Р2.1
Р\2"
Pl.l■•
Р к-1,1
Р4-1,2••
■Р к-1,к-1
Pk-t*
< Pt»
Р к,2
• Рк.к-1
Рк,к ,
где, согласно условию нормировки для вероятностей,
piX + Р.,2 + ••• + Pi,k = 1> z = 1,2,...,^.(8.4)
Часто также задаются вероятности состояний цепи Маркова на начальном, нулевом шаге:
a^=PVX0=iY(8.5)
На вероятности {а*0)} накладываются обычные условия неотрицательности Vz а^ > 0 и нормировки:
i<=i.(8.6)
Теперь можно вычислить по формулам (8.1), (8.2) вероятность любой конкретной траектории z0, z‘i, ..., in_b in Цепи Маркова:
Р^Х0 = z0,X, =iv Х„ =^ = а^р^ Р^-р^,.(8.7)
Легко показать, что формула (8.7) задает вероятности на пространстве £”+| всех траекторий длины п +1 В частности, выполняется условие нормировки для вероятностей:
£ £-£№ =itXn = zj = l.(8.8)
>0=1'1=*'»=*
Обычно для наглядности конечные цепи изображают в виде ориентированного графа. Узлы графа соответствуют состояниям цепи, а дуги указывают на возможные переходы между состояниями за шаг. Над каждой дугой записывается вероятность осуществления соответствующего перехода. Пример такого изображения цепи Маркова представлен на рис. 8.1.
Примеры
Пример 8.1. Задача о разорении игрока-, случайное блуждание по целочисленным точкам отрезка [0, /] с поглогцаюгцими концами (экранами).
Состояниями цепи Маркова здесь являются Е = {0, 1, 2,..., /}. Попав в состояние 0 или /, цепь Маркова остается там навсегда. Во всех других состояниях она переходит за шаг в ближайшее правое состояние с вероятностью р и в ближайшее левое состояние с вероятностью q = .1 - р. В данном случае
Рол =0 при г ^ 0, Ро.о = 1.
Ри =0 при г * /, ри = 1,
Рим =Р> Pw =X-P = q при z = l,/-l,Pi j =0 при г = 1, 2 Z — 1, j*i-l, z + 1.
С<ютвстствующий граф переходов между состояниями и матрица переходных вероятностей изображены на рис. 8.1.
Часто используемой интерпретацией этой модели является следующая. Два иг- |ЮКа разыгрывают несколько партий, каждая из которых завершается выигрышем одного и проигрышем другого игрока. Проигравший игрок выплачивает партнеру одну денежную единицу. Пусть первоначальный капитал первого игрока составляет а денежных единиц, а второго игрока / - а единиц. Вероятность выигрыша первого игрока равнар, а второго q = 1 - р. Игра закапчивается, как только один из игроков останется без денег.
В данном случае розыгрыш одной партии соответствует одному шагу цепи Маркова, состояние цепи Хп — это количество денег первого игрока после п партий. Начальное состояние цепиХ0 = а. Интерес представляют вероятности выигрыша
первого и второго игроков.
/
1
0
о .
. 0
0
0 '
q
0
р •
. 0
0
0
Р =
0
0
о .
• q
0
р
1
0
0
о .
. 0
0
Пример 8.2. Случайное блуждание по целочисленным точкам отрезка [0,/] с отражающими концами (экранами), В отличие от предыдущего примера здесь на очередном шаге цепь Маркова переходит из состояния 0 в состояние 1 и из состояния / в состояние /-1с вероятностью 1 (рис. 8.2). □
'ООО q о рООО ко о о'ООО q о рООО ко о оо о о'ОООq о ро о о?о о о'ОООq о ро о о?
'ООО q о р
ООО ко о о
'ООО q о р
ООО ко о о
о о о'
ООО
q о р
о о о?
о о о'
ООО
q о р
о о о?
Рис. 8.1. Случайное блуждание по целочисленным точкам отрезка [0, /] с поглощающими концами (экранами)Рис. 8.1. Случайное блуждание по целочисленным точкам отрезка [0, /] с поглощающими концами (экранами)Рис. 8.2. Случайное блуждание по целочисленным точкам отрезка [О,/] с отражающими концами (экранами)Рис. 8.2. Случайное блуждание по целочисленным точкам отрезка [О,/] с отражающими концами (экранами)
Рис. 8.1. Случайное блуждание по целочисленным точкам отрезка [0, /] с поглощающими концами (экранами)
Рис. 8.1. Случайное блуждание по целочисленным точкам отрезка [0, /] с поглощающими концами (экранами)
Рис. 8.2. Случайное блуждание по целочисленным точкам отрезка [О,/] с отражающими концами (экранами)
Рис. 8.2. Случайное блуждание по целочисленным точкам отрезка [О,/] с отражающими концами (экранами)
При задании цепи Маркова определяются вероятности ее переходов за один шаг. Как рассчитать вероятности переходов за п шагов? Обозначим р^ вероятность перехода цепи Маркова из состояния i в состояниеу ровно за п шагов:
Р^ =Р^Х„ =j/X0 = i}, n = l,2,...(8.9)
Положим р^? = 1, р^ = 0 при i * j. Имеем:
Р^ = ри, р^ =tp,vPvJ =1р,.Р^,(8.10)
V=1V = 1
и по индукции получаем рекуррентную формулу
Pij = £р.,Р^П- п = 2Л„.(8.11)
v»l
кV=1кV=1Дальнейшая индукция по т приводит к основному тождеству
к
V=1
к
V=1
(8.12)
Это — частный случай уравнения Колмогорова—Чепмена. Он отражает простой факт: переход за (и + т) шагов из состояния г в состояние у осуществляется через какое-то промежуточное состояние v на m-м шаге.
Приведенные формулы приобретают более компактный вид, если использовать векторно-матричные обозначения. Пусть Р*"’ = (/?*"’) есть матрица переходных вероятностей за п шагов. Тогда система скалярных равенств (8.11) и (8.12) может быть записана в матричной форме следующим образом:
(8.13)(8.13)(8.14)(8.14)р(”) _рр("-!)
(8.13)
(8.13)
(8.14)
(8.14)
p(n+m) _p(n)p(m) _ р
Повторное использование формулы (8.13) позволяет сформулировать лемму, позволяющую вычислять вероятности переходов за п шагов.
Лемма 8.1. Матрица вероятностей переходов цепи Маркова за п шагов равна И-Й степени матрицы вероятностей переходов за 1 шаг:
Р(п) =Р"(8.15)
В связи с последними формулами отметим, что если Р и Q стохастические матрицы, то их произведение Р Q также является стохастической матрицей.
Итак, формулы (8.13) и (8.15) позволяют найти вероятности переходов цепи Маркова за п шагов, зная вероятности перехода за шаг, задаваемые матрицей Р. Пример 8.3. Рассмотрим независимые испытания с к исходами ©(, ©2,..., со* и вероятностями этих исходов при одном испытании рх =Р{©(}, р2 = Р(со2), ..., Ph = РМ- Если р = (р„ р2р^, то
что соответствует условию независимости исходов испытаний. □ Итак, мы научились находить вероятности переходов между состояниями за произвольное число шагов п. Теперь рассмотрим ситуацию, когда исходное состояние цепи Маркова является случайным, причем состояние г имеет место с вероятностью а*0).
Лемма 8.2. Безусловная вероятность переходов между состояниями. Пусть а*10 — вероятность состояния г на нулевом шаге, а*п) — вероятность состояния j на я-м шаге:
С = P\XQ = z}, а^ = Р^ХМ = у}, п = 1, 2, ...
Тогда вероятность того, что в момент времени п цепь Маркова будет находиться в состоянии у, вычисляется по (|юрмуле
а^ = Е «Г Pij , и = 1, 2, ...(8.16)
1=1'
Эту же формулу можно записать в матричном виде. Если обозначить а(л) = (а/^, а2(п)dfew) вектор-строку вероятностей состояний на п-м шаге, то
а<”> =а(0) Р(л).(8.17)
В примере 3.4 была изложена процедура выработки дискретных случайных величин с заданной функцией распределения Е(х). Обобщим ее для случая цепей Маркова.
Алгоритм моделирования цепи Маркова
Вход:
к — число состояний цепи Маркова,
Р — матрица переходных вероятностей за шаг,
а(0) — вектор вероятностей состояний а/0^ а^,..., й/0) на начальном шаге п = О, п — число рассматриваемых шагов.
Выход:
X = (Хо, ХхХ„) — траектория цепи Маркова до п-го шага включительно.
Алгоритм
Шаг 0. Выработать равномерно распределенное в интервале (0, 1) случайное число R и определить начальное состояние цепи Маркова Хо в момент времени 0: Хо = min{i = 1,2k:R< af0) + а*0' +... + а*0)}.
Положить г = XQ, t = 1.
Шаг t = 1, 2п. Выработать равномерно распределенное в интервале (0, 1) случайное число R и определить состояние цепи Маркова Xt на t-м шаге:
Xt = min{) = 1,2,...,к: R < piX + pj2 +■■• + Рц\ Положить i = Xt, t = t + 1. Перейти к шагу t.
Данный алгоритм реализован в компьютерной программе MChFr(P, а, и), которая будет описана ниже в компьютерном практикуме.
Пример 8.4. Моделирование цепи Маркова. Рассмотрим цепь Маркова с четырьмя состояниями и следующей матрицей вероятностей переходов за шаг:
'0.40.600 '
0.80.200
- 0010■
k 00.20.10.7,
Предположим, что первоначально цепь находится в четвертом состоянии, так что вектор вероятностей состояний на нулевом шаге а(0) = (0, 0, 0, 1). В табл. 8.1 представлены результаты тысячекратного моделирования данной цепи Маркова, осуществленного согласно приведенному алгоритму программой ImModCh. Матрица содержит частоты {а/”'*} различных состояний в зависимости от номера
шага п, а также истинные вероятности состояний {а/п)}, подсчитанные по формулам (8.17) программой StPr. Были также рассчитаны значения истинных вероятностей при все увеличивающимся количестве шагов п. Оказывается, что при п, стремящимся к бесконечности, вероятности состояний 1, 2 и 3 стремятся к некоторым положительным константам, а состояния 4 — к нулю. Эти константы называются стационарными вероятностями состояний. Они приведены в последнем столбце таблицы, в шапке которого записано и = оо. Мы вернемся к обсуждению этих результатов после классификации состояний цепей Маркова.
Таблица 8.1. Распределение вероятностей и частот состояний
n = 0
n = 1
n = 2
n = 3
n = 4
я = 5
Я - 00
а,("г
0
0
0.191
0.204
0.278
0.299
-
atw
0
0
0.160
0.208
0.267
0.298
0.381
a2w'
0
0.230
0.160
0.250
0.240
0.260
-
а/^
0
0.200
0.180
0.230
0.239
0.257
0.286
a3w’
0
0.092
0.158
0.210
0.235
0.262
-
a3w
0
0.100
0.170
0.219
0.253
0.277
0.333
atw
1
0.678
0.491
0.336
0.247
0.179
-
1
0.700
0.490
0.343
0.241
0.168
0
Классификация состояний и цепей Маркова
Нашей конечной задачей является определение различных характеристик распределения вероятностей состояний цепей Маркова, таких как стационарные вероятности состояний, вероятности поглощения и т. п. Эти характеристики будут зависеть от того, к какому классу принадлежит рассматриваемая цепь. В связи с этим вначале следует дать классификацию цепей Маркова.
Определение 6. Говорят, что состояние у достижимо из состояния i, если существует такое число шагов п, что р^ >0, то есть с положительной вероятностью цепь Маркова за п шагов переходит из состояния г в состояние у.
Определение 7. Множество состояний С с Е называется замкнутым, если никакое состояние вне С недостижимо ни из какого состояния из С. Для произвольного множества состояний М замыканием М называется наименьшее замкнутое множество, содержащее М. Если одно состояние i образует замкнутое множество, то оно называется поглогцаюгцим состоянием.
Пример 8.5 [11,399]. Предположим, что цепь Маркова имеет к = 9 состояний, так что ее множество состояний Е = {1,2,.... 9). Возможные переходы между состояниями указаны в матрице Р, в которой звездочка * означает положительную вероятность перехода за шаг, а ноль — отсутствие возможности перехода:
р ='000*000**0*0000000*000000000*00*00000*000*00*000000*00р ='000*000**0*0000000*000000000*00*00000*000*00*000000*000 0*'0*00*0ООООООООО*00 ООО0 0*,0 0*'0*00*0ООООООООО*00 ООО0 0*,
р =
'000*00
0**0*0
000000
*00000
0000*0
0*0000
0*000*
00*000
000*00
р =
'000*00
0**0*0
000000
*00000
0000*0
0*0000
0*000*
00*000
000*00
0 0*'
0*0
0*0
ООО
ООО
ООО
*00 ООО
0 0*,
0 0*'
0*0
0*0
ООО
ООО
ООО
*00 ООО
0 0*,
Замкнутыми множествами здесь будут {1, 4, 9}, {3, 8} и {5}. При этом состояние 5 является поглощающим. Замыканием множества состояний М = {1, 9} является М = {1, 4, 9}. Замыканием состояния 2 является (2, 3, 5, 8). Замыканием множества {6, 7}, включающего состояния 6 и 7, является все пространство состояний Е. □
Определение 8. Цепь Маркова называется неприводимой, если не существует замкнутых множеств состояний, отличных от множества Е всех состояний.
Теорема 8.1. Если вычеркнуть в матрице переходных вероятностей Р все строки и столбцы, не принадлежащие замкнутому множеству состояний С, то останется стохастическая матрица, для которой также справедливы соотношения (8.11)-(8.15).
Теорема говорит о том, что отдельное рассмотрение состояний, входящих в замкнутое множество, опять приводит к цепи Маркова, которую можно изучать независимо.
Неприводимость цепи Маркова может быть установлена с помощью следующего критерия.
Критерий неприводимости цепи Маркова. Цепь Маркова неприводима тогда и только тогда, когда все ее состояния достижимы друг из друга.
Доказательство
Пусть цепь Маркова неприводима. Согласно определению 8, такая цепь не содержит собственных замкнутых подмножеств. Рассмотрим два ее состояния г и j, а также замыкание состояния i. Если состояние; недостижимо из г, то замыкание состояния i не включает; и поэтому является собственным замкнутым подмножеством Е. Это невозможно, поэтому ;' достижимо из i. Наоборот, если все состояния достижимы друг из друга, то не существует замкнутого множества, отличного от множества всех состояний.□
Определение 9. Говорят, что состояние i имеет период t > 1, если pV*? = 0, когда п не является кратным t, и t — наибольшее число с таким свойством. Состояние г называется непериодическим, если такого t > 1 не существует.
Примеры
Пример 8.6. Пусть цепь Маркова с двумя состояниями 1 и 2 имеет следующую матрицу переходных вероятностей:
Р=(° Ч
I 1 0 )
Нетрудно видеть, что эта цепь на каждом шаге меняет свое состояние на противо-положное. Итак, оба состояния являются периодическими с периодом t, равным 2.
Пример 8.7. Рассмотрим цепь Маркова с тремя состояниями и матрицей переходных вероятностейПример 8.7. Рассмотрим цепь Маркова с тремя состояниями и матрицей переходных вероятностей( О( ОР =Р =О1О11 О' О 1 . 0 °,1 О' О 1 . 0 °,
Пример 8.7. Рассмотрим цепь Маркова с тремя состояниями и матрицей переходных вероятностей
Пример 8.7. Рассмотрим цепь Маркова с тремя состояниями и матрицей переходных вероятностей
( О
( О
Р =
Р =
О
1
О
1
1 О' О 1 . 0 °,
1 О' О 1 . 0 °,
Мы видим, что состояния периодически сменяют друг друга в последовательности 1->2->3->1ит. д. Следовательно, состояния имеют период, равный трем.□
В дальнейшем будем применять следующие обозначения:
f^ — вероятность того, что начиная с состояния i, цепь Маркова впервые достигнет состояния j на п-м шаге; //0) =0, г *j;
fjj — вероятность того, что начиная с состояния I, цепь Маркова когда-нибудь попадет в состояниеу;
ц, — среднее число шагов до возвращения цепи Маркова в состояние i, называемое средним временем возвращения в состояние г.
Имеют место следующие очевидные соотношения: = 177(8.18)
(8.19)
П=1
Отметим, что вероятности /^ могут быть вычислены через вероятности р^ в результате рекуррентного применения следующих формул:
Pij =ttfu'Pj7)- и = 1,2,...
Определение 10. Состояние i называется возвратным, если вероятность возвращения для него равна единице: /, = 1, и невозвратным, если эта вероятность меньше единицы: /, < 1.
Следующая теорема дает характеризацию возвратных и невозвратных состояний цепи Маркова.
Теорема 8.2. Состояние цепи Маркова является возвратным тогда и только тогда, когда среднее число возвращений в него бесконечно. Из любого возвратного состояния нельзя достичь никакого невозвратного состояния.
Доказательство
Пусть i является возвратным состоянием. Тогда с вероятностью 1 будет иметь место первое, второе и т. д. возвращение в это состояние. Следовательно, среднее число возвращений в это состояние бесконечно.
Пусть теперь j — невозвратное состояние, так что вероятность возвращения в него fjj строго меньше 1. Обозначим Y случайную величину, равную числу возвращений в состояние/ Будем называть «неудачей» каждое возвращение в состояние у" и «успехом», если возвращения не было. Тогда X = Y + 1 — это число испытаний Бернулли, потребных для получения первого успеха. Следовательно, для X имеет место геометрическое распределение (3.4) с параметрами q=fjj<'V, р = 1 - q > 0. Математическое ожидание для этого распределения (см. табл. 3.5) Е(Х) = 1/р конечно. Поскольку E(Y) = Е(Х) - 1, то первая часть теоремы доказана. Для доказательства второй части теоремы предположим, что существует положительная вероятность /j > 0 попадания из возвратного состояния г в невозвратное состояние j. Поскольку г является возвратным состоянием, то среднее число возвращений в него бесконечно, и после каждого возвращения цепь Маркова переходит в состояние j с вероятностью> 0. Следовательно, среднее число возвращений в состояние/ тоже бесконечно. Это противоречит тому, что для невозвратного состояния оно должно быть конечным. Следовательно, вероятность попадания из г в] должна равняться нулю. □
Пример 8.4а. Рассмотрим цепь Маркова, приведенную в примере 8.4. Здесь имеется четыре состояния. Состояния 1, 2 и 3 являются возвратными, причем состояния 1 и 2 образуют замкнутый класс, а состояние 3 является поглощающим. Первоначально цепь находится в состоянии 4. Из матрицы переходных вероятностей Р видно, что из возвратных состояний 1, 2 и 3 попасть в невозвратное состояние 4 нельзя. Поскольку вероятность перехода из состояния 4 в возвратные состояния положительна, то рано или поздно цепь Маркова покинет это состояние и более в него не возвратится, так что вероятность этого состояния стремится к нулю с ростом числа шагов п. Это видно из последнего столбца табл. 8.1, отвечающего числу шагов и = оо. С вероятностью 1/3 « 0.333 цепь перейдет в поглощающее состояние 3 и останется там навсегда, и с противоположной вероятностью 1 - 1/3 » 0.667 она перейдет в замкнутое множество из двух состояний 1 и 2. □
Следующее определение относится только к конечным цепям Маркова. Случай счетных цепей будет рассмотрен в разделе 8.5.
Определение 11. В конечной цепи Маркова непериодическое возвратное состояние г называется эргодическим. Цепь Маркова называется эргодической, если она неприводима и все ее состояния эргодические.
Другие свойства конечных цепей Маркова будут рассмотрены в разделе 8.5 одновременно со свойствами счетных цепей, которые являются обобщением первых.
Эргодические конечные цепи
В настоящем разделе рассматривается поведение вероятностей переходов между состояниями за большое количество шагов п для случая эргодической конечной цепи Маркова. Следующая теорема дается без доказательства, которое можно найти, например, в книге В. Феллера 1111.
Теорема 8.3. Если Р — матрица переходных вероятностей эргодической конечной цепи Маркова, то:
степени Р” при п -> оо стремятся к стохастической матрице А;
каждая строка матрицы А является одним и тем же вероятностным вектором а = (аь а2а^), то есть А = 1та, где 1 = (1, 1,..., 1) — A-мерная вектор-строка из единиц.
Теорема утверждает, что вероятность состояния у спустя большое число шагов Я не зависит от исходного состояния i в момент времени ноль и равна7-й компоненте вектора а. В этом случае говорят, что момент времени п относится к стационарному режиму, вектор а называют стационарным распределением вероятностей состояний, а вероятности аь а2 .... а^ — стационарными вероятностями состояний цепи Маркова. Физический смысл этих вероятностей следующий: вероятность а; состоянияу есть средняя доля времени пребывания цепи Маркова в состоянии j для стационарного режима ее функционирования. Следующая теорема устанавливает свойства вектора стационарных вероятностей а, а также метод его определения.
Теорема 8.4. Если Р — матрица переходных вероятностей эргодической конечной цепи Маркова, а А и а — то же, что и в предыдущей теореме, то:
для любого вероятностного вектора х последовательность векторов хР" сходится к вектору а при п -> оо;
РА = АР = А;
вектор а — единственный вероятностный вектор, удовлетворяющий системе линейных алгебраических уравнений
zP = z.(8.20)
Доказательство
Если х — вероятностный вектор, то xlT = 1 и поэтому хА = х!та = 1а = а. Согласно первому утверждению теоремы 8.3, Р” -> А, следовательно,
хР” ->хА = а.
Итак, первое утверждение теоремы доказано.
Доказательство второго утверждения следует из равенств:
А= limP” = PlimP"-1 =РА,П-НОП-»®
А = UmP" = limP"-,P = AP.
Докажем третье утверждение теоремы. Во-первых, из только что доказанного утверждения следует, что аР = а, то есть вектор а удовлетворяет системе уравнений (8.20). Покажем теперь, что вектор а — единственный вероятностный вектор, удовлетворяющий этому уравнению. Пусть вероятностная вектор-строка Ь также удовлетворяет уравнению (8.20), то есть ЬР = Ь. Последовательной подстановкой получаем ЬР” ■ Ь. Согласно первого утверждения доказываемой тео- осмы. ЬР” сходится к а. Следовательно, а » Ь.□
Итак, для нахождения вектора стационарных вероятностей состояний а = (аь аг, .... а^ необходимо решить систему линейных алгебраических уравнений (8.20) с дополнительным условием на нормировку вероятностей:
(8.21)(8.21)а ■ 1Т = at + а2 +... + аь = 1.
(8.21)
(8.21)
Пример 8.8. Рассмотрим матрицу переходных вероятностей
'1/3Р = 1/4J/5'1/3Р = 1/4J/51/3 1/3'0 3/43/5 1/5,1/3 1/3'0 3/43/5 1/5,
'1/3
Р = 1/4
J/5
'1/3
Р = 1/4
J/5
1/3 1/3'
0 3/4
3/5 1/5,
1/3 1/3'
0 3/4
3/5 1/5,
Все три состояния соответствующей цепи Маркова непериодические и достижимы друг из друга, так что цепь является неприводимой. Поскольку все состояния, кроме того, возвратны, то цепь эргодическая и поэтому имеет стационарное распределение вероятностей состояний а. Для нахождения вектора а = (аь а2, а3) имеем систему линейных алгебраических уравнений, первым их которых является уравнение нормировки:
1 = ^ + а2 +«з ,
а^ = 1/Зй! +1/4а2 + 1/5а3,
а2= 1/Зй] +3/5а3,
«з = l/3«j + 3/4«2 + 1/5й3.
Единственное вероятностное решение этой системы есть а = (0.250, 0.333, 0.417). Сходимость к предельной матрице А достаточно быстрая. Например,
< 0.261
0.311
0.428
' 0.250
0.337
0.413'
р2
=
0.233
0.533
0.233
,Р5 =
0.253
0.294
0.453
v 0.257
0.187
0.557,
0.248
0.362
0.390 ,
' 0.250
0.333
0.417'
' 0.250
0.333
0.417
р!0
=
0.260
0.336
0.414
,р15 =
0.250
0.333
0.417
.□
0.250
0.331
0.418;
0.250
0.333
0.417
Итак, нахождение вектора стационарных вероятностей а = (а^ а2,..„ а^ сводится к нахождению решения системы уравнений
к
£ ziPiJ =zJt j = l,k,(8.22)
1=1
удовлетворяющего условиям неотрицательности Zj >0,j= 1, 2,..., к и нормировки:
£ =1.(8.23)
Отметим, что система уравнений (8.22) имеет простой физический смысл, сформулированный в следующем принципе.
Принцип баланса. В стационарном режиме для каждого состояния среднее число входов в состояние за шаг и среднее число выходов из него совпадают.
Применим этот принцип к некоторому состоянию j. Сколько в среднем раз цепь Маркова выходит из него за шаг? Чтобы из состояния выйти, необходимо в нем находиться. Вероятность пребывания в состоянии j есть Zj (так мы обозначаем неизвестное нам значение aj, то есть это доля шагов, в течение которых цепь находится в состоянии j). После входа в состояние цепь выходит из него, так ЧТО среднее число выходов из у за шаг равно Zj — правой части уравнения (8.22). Теперь подсчитаем среднее число входов в состояние/ Это число равно сумме числа входов из разных состояний. В частности, из состояния г за шаг цепь выходит в среднем zf раз, причем с частотой ру она попадает после этого в состояние/ Следовательно, среднее число входов в состояние j из состояния г за шаг равно ZjPjj. Суммируя это по всем состояниям, получаем левую часть равенства (8.22).
Система (8.22) является однородной, то есть определяет решение с точностью ДО постоянного сомножителя. Эта неопределенность устраняется условием нормировки (8.23). Обычно одно из уравнений системы (8.22) отбрасывается как избыточное, и вместо него используется уравнение (8.23):
к
ILziPi.j ~zj =0- j = 2-k-
“(8.24)
Такая система (в которой отброшено первое уравнение из (8.22)) является уже неоднородной и имеет единственное решение, которое и дает а.
Для получения явных выражений перейдем к векторно-матричным обозначениям. Представим матрицу Р в блочном виде:
р = (Pi.j )ы =_ .
где р = (р112, р13р^.
>2,2
Р2,3•
•• Рг/
>2,1 '
Q =
Рз,2
Рз,з •
• Рз,к
, г =
Рзд
<Р к.2
Рк,3 •
■■ Рк,к)
Л>кЛ ,
Матричная запись системы (8.22) такова: zP = Z.
Матричная запись системы (8.24) следующая
z|p| = z*,(8.25)
zlT=l,(8.26)
где 1 — (1, 11), z* = (z2, z3zt), так что z = (zh z*).
PaiKMicTiio (8.25) перепишем в виде z, p + z* Q = z*, позволяющем выразить 1* через вероятность первого состояния zt;
z*(i-Q) = ^p-
z* = z, p(I-Q)"1.(8.27)
Отметим, что существование обратной матрицы (I -Q)"1 доказывается в следующем разделе.
Используя условие нормировки (8.26) в виде
z* 1Т = 1-ZP
находим выражение для zx.
zx +z1P(I-Q)-4T =1,
z, =1/(1+p(I-Q)-’lT).(8.28)
Итак, формулы (8.27) и (8.28) позволяют вычислить вектор стационарных вероятностей состояний.
Пример 8.8а. Для разложения матрицы переходных вероятностей Р из предыдущего примера имеем такие выражения: р = (1/3 1/3),
Q/° И* (3/5 1/5)
Вычисления согласно приведенным формулам дают следующие результаты:
-3/4'4/5 J-3/4'4/5 J1 °Н ° 3/4Lf 1
-3/4'4/5 J
-3/4'4/5 J
(о 1J (з/5 1/5J (-3/5=(2,286 2,1431(1.714 2.857 J’
zx = (1 + p(I-Q)11T)"’zx = (1 + p(I-Q)11T)"’/\/\l + (l/3 1/3)l + (l/3 1/3)2.2861.7142.2861.7142.143 Y 1Y2.857 j( 1 J,2.143 Y 1Y2.857 j( 1 J,l + (4/3 5/3)l + (4/3 5/3)= (1 + 9/3)-’ =0.25,= (1 + 9/3)-’ =0.25,
zx = (1 + p(I-Q)11T)"’
zx = (1 + p(I-Q)11T)"’
/
\
/
\
l + (l/3 1/3)
l + (l/3 1/3)
2.286
1.714
2.286
1.714
2.143 Y 1Y
2.857 j( 1 J,
2.143 Y 1Y
2.857 j( 1 J,
l + (4/3 5/3)
l + (4/3 5/3)
= (1 + 9/3)-’ =0.25,
= (1 + 9/3)-’ =0.25,
z* =z1P(I-Q)-’ =0.25(1/3 l/3)( 2-286 2 143
1H(1.714 2.857
= 0.25(4/3 5/3) = (0.333 0.417).
Итак, получены прежние результаты.
Поглощающие цепи Маркова
Рассмотрим конечную цепь Маркова, имеющую невозвратные состояния. Такую цепь Маркова будем называть поглощающей. Перенумеруем ее состояния так, чтобы невозвратные состояния были последними. Согласно теореме 8.2, матрица переходных вероятностей примет следующий блочный вид:
(8.29)(8.29)P=fS °).
(8.29)
(8.29)
(r qJ
Здесь подматрица S содержит вероятности переходов между возвратными СО* стояниями, подматрица Q — между невозвратными состояниями, подматрица R описывает переходы из невозвратных в возвратные состояния, подматрица О СО* стоит из нулей. Если т и I = к - т число возвратных и невозвратных состояний) то S имеет порядок тхт, Q — порядок / х/, R — порядок / хт, О — порядок тх/. Поскольку вероятность возвращения в любое невозвратное состояние) строго меньше 1, то это означает, что существует такое замкнутое множество состояний Су, не содержащее невозвратных состояний, что с некоторой положительной вероятностью Ру за конечное число шагов цепь Маркова из состояния j достигнет множество Су и более не покинет его. Поскольку рассматривается конечная цепь Маркова, число невозвратных состояний конечно. Пусть С = Uy Су есть объединение Су для всех невозвратных состояний. Существует конечное число шагов N, не более чем за которое с положительными вероятностями из любого невозвратного состояния можно достичь С (для этого достаточно взять просто наибольшее из этих чисел для отдельных невозвратных состояний). Поскольку для всех невозвратных состояний ^j} эти вероятности {р^} строго положительны, то наименьшая из них р будет тоже строго положительной. Тогда из любого невозвратного состояния цепь Маркова достигает С не более чем за N шагов с вероятностью, не меньшей чем р. Тогда вероятность не достигнуть С не более чем за nN шагов из любого невозвратного состояния не превосходит (1 -р)". Последняя вероятность стремится к 0 при п -> да. Итак, нами доказана следующая теорема.
Теорема 8.5. В любой конечной цепи Маркова вероятность покинуть множество невозвратных состояний за п шагов стремится к 1 при п -> да, каково бы ни было исходное состояние цепи Маркова.
О 'Q”>О 'Q”>Рассмотрим матричную интерпретацию этой теоремы, в которой точка на месте некоторой подматрицы означает, что соответствующее значение роли не играет. Согласно (8.29), матрица вероятностей переходов за п шагов будет
О '
Q”>
О '
Q”>
(8.30)
Из приведенной теоремы следует, что степени матрицы Q стремятся к нулевой матрице О:
Итак,Итак,РРQ” —->О.Q” —->О.Q”)Q”)S” оS” о(8.31)(8.32)(8.31)(8.32)
Итак,
Итак,
Р
Р
Q” —->О.
Q” —->О.
Q”)
Q”)
S” о
S” о
(8.31)
(8.32)
(8.31)
(8.32)
Важно также отметь, что матрица Q является субстохастической: все ее элементы неотрицательны и сумма элементов любой строки не больше 1:
Q1T £1Т.
При исследовании свойств поглощающих цепей Маркова основное значение имеет так называемая фундаментальная матрица.
Определение 12. Для поглощающей цепи Маркова с матрицей переходных вероятностей (8.29), где Q соответствует невозвратным состояниям, фундаментальной называется матрица (I - Q)”1.
Теорема 8.6. Для конечной цепи Маркова с невозвратными состояниями матрица (I - Q) невырождена (обратима) и
(I-Q)1 = I + Q + Q2 +...= £Q”.(8.33)
n=0
Доказательство прямо следует из следующей леммы, относящийся к теории матриц.
Лемма 8.3. Если матрицы Q" стремятся к нулевой матрице при п -> оо, то матрица I - Q имеет обратную, причем
(I-Q)1 =£q”п=0
Доказательство
Рассмотрим тождество
(I-Q)(I + Q + Q2 +... + Qnl) = I-Q",
которое легко проверить, раскрывая скобки в левой части равенства. По предположению, правая часть стремится к единичной матрице I. Отсюда следует, что предел матриц I+ Q + Q2 + • +Q"при и -> со существует. Матрица I имеет определитель, равный 1. Если последовательность матриц имеет предел, то, очевидно, имеет предел и последовательность соответствующих определителей (являющихся непрерывными функциями элементов матрицы). Из свойства пределов вытекает, что при достаточно больших п определитель I - Q” строго положителен. Следовательно, при таких п строго положителен и определитель произведения матриц, стоящих в левой части (8.34). Поскольку определитель произведения матриц равен произведению определителей, то определитель I - Q отличен от нуля, что и доказывает невырожденность I - Q.□
Фундаментальная матрица (I - Q)'1 имеет простой физический смысл. Пусть 1 и j — два невозвратных состояния, а ц,• — среднее число шагов, проводимых цепью Маркова в состоянии j до выхода из множества невозвратных состояний, если первоначально цепь находится в состоянии г.
Теорема 8.7. Элементы фундаментальной матрицы равны среднему числу шагов, в течение которых цепь пребывает в невозвратных состояниях:
(I Q)1 = (Мм-(8-34)
Доказательство
Вспомним формулу (5.11) для вычисления математического ожидания через условные математические ожидания: если X и К две целочисленные случайные величины, математическое ожидание которых существует, то
ЕСУ^^Р^Х =^Е(У\Х =о\(8.35)
где E(Y\X = v) — условное математическое ожидание У, вычисленное при условии, что случайная величина X приняла значение V.
Обозначим Му число шагов, в течение которых цепь Маркова пребывает в состоянии j, если начальным является состояние i. Тогда р(у = Е(Му). Примем в формуле (8.35) в качестве Y число шагов Му, а в качестве X — номер состояния, в которое попадает цепь Маркова из состояния i после первого шага. Цепь Маркова за один шаг переходит из состояния i в состояние у с вероятностью Рц,. Попав в состояние у, цепь Маркова проводит в состоянии j (по определению) В среднем ц ej шагов. Кроме того, в силу марковского свойства на будущее влияет только текущее состояние у, а не предыдущее состояние г, так ЧТО Е( Y | X = v) = Е(Му | X = у) = E(Mv j) = ц vj. Таким образом, в силу формулы (8.35) для Z * j
Если z = j, то необходимо еще учесть, что на начальном шаге цепь Маркова пребывала в состоянии j, поэтому
Две последние формулы можно объединить в одну, если использовать символ Кронекера
[1,при i = j,
о,<
[0,при z * j.
Тогда
йи =8и +(8.36)
Перейдем к матричной записи этой системы уравненишВо-первых, отметим, ЧТО матрица (8,v), соответствующая всем состояниям z, j = 1,^ есть единичная матрица I. Во-вторых, обозначим М = (ц,у);х/. Тогда матричная запись уравнения (8.36) будет иметь вид
M=I + QM.
В силу невырожденности матрицы из теоремы 8.6, мы можем записать явное выражение для решения последнего матричного уравнения:
M = (I-Q)-‘.
Итак, теорема доказана.□
Следствие 8.1. Среднее число шагов, которое проводит цепь Маркова в невозвратных состояниях, если исходным является невозвратное состояние i, будет
И* = Ц/,т+1 + P/,m+2 + -- + Н/,*-
Можно записать вектор-строку средних времен пребывания в множестве невозвратных состояний в виде
и=(и ;♦,. и ц;)=«I - о.г' iT )т-(в.з?)
Следствие 8.2. Если первоначально цепь Маркова находится в невозвратном состоянии z с вероятностью я,, так что начальное распределение вероятностей не-
возвратных состояний цепи Маркова задается вектором я =(лт+1, л„+2> •••> я1)> то среднее число шагов до поглощения
т = яцт = я(1-Q)"11Т.(8.38)
Рассмотрим теперь вопрос, в какое состояние замкнутого множества С попадает цепь Маркова после того, как покинет множество невозвратных состояний. Обозначим by вероятность того, что цепь Маркова, исходя из невозвратного состояния i, после выхода из множества невозвратных состояний попадает в возвратное состояние j множества С. Обозначим В матрицу порядка 1хт, составленную из вероятностей (by).
Теорема 8.8. Имеет место формула
B=(I-Q)*R.(8.39)
Доказательство
Рассмотрим возможные переходы цепи Маркова из состояния г g С в состояние j е С. Вероятность непосредственного перехода из г в j равна (по определению) Ру. Если после первого шага цепь Маркова попадает в невозвратное состояние v (вероятность этого ру), то вероятность последующего попадания в состояние j есть by Эта возможность имеется для всех невозвратных состояний v, так что вероятности piv by следует просуммировать по v согласно формуле полной вероятности. Если за шаг цепь Маркова попадает в состояние из С, отличное от j, то она первоначально не попадает в состояние j, и вероятность рассматриваемого события равна нулю. Итак, окончательно имеем соотношение
by = PiJ + ZPiAj-
Матричная запись этой системы уравнения такая:
B=R + QB.
Поскольку матрица I - Q невырождена, то можно записать явное выражение (8.39) для решения последнего матричного уравнения.□
Примеры
Пример 8.1а. Задача о разорении игрока: случайное блуждание с поглощающими экранами. Граф переходов цепи Маркова имеет вид, изображенный на рис. 8.1. Состояния здесь нумеруются, начиная с нулевого: Е =0, 1 I.Рассмотрим
случай пяти состояний (/ = 4).
Для получения канонической формы (8.30) матрицы переходных вероятностей Р перенумеруем состояния, оставив нулевое состояние нулевым, и сделав четвертое состояние первым, первое состояние — вторым и т. д.
Тогда
<1 0<1 00 10 1Р= q 0Р= q 0о оо о(0 Р(0 РООО" ООО 0 р о q о р о q о,ООО" ООО 0 р о q о р о q о,
<1 0
<1 0
0 1
0 1
Р= q 0
Р= q 0
о о
о о
(0 Р
(0 Р
ООО" ООО 0 р о q о р о q о,
ООО" ООО 0 р о q о р о q о,
Сопоставление с канонической формой (8.30) показывает, что
'0 р О'
'q o'
' 1 -Р
0
Q =
q о р
<° q °>
, н =
0 0
<° Р)
, I-Q =
-q 1
, 0 ~q
-Р
1
Фундаментальная матрица (I - Q) 1 имеет вид (как легко убедиться перемножением):
(l-QF1 =-^-^ p +9(l-QF1 =-^-^ p +9p + qq_2p + qq_2РР2 '
(l-QF1 =-^-^ p +9
(l-QF1 =-^-^ p +9
p + qq_2
p + qq_2
1Р •
q q + p2,
Следовательно, среднее число шагов, в течение которых цепь Маркова отправляясь, например, из третьего состояния, пребывает в четвертом состоянии, есть Р / <Р2 + 95-
Вектор вероятностей поглощения в первом и втором состояниях будет
(I-Q)-*R=-^— р +q(I-Q)-*R=-^— р +q9<Р + 92)Р322qрq3 p(q + p21)9<Р + 92)Р322qрq3 p(q + p21)
(I-Q)-*R=-^— р +q
(I-Q)-*R=-^— р +q
9<Р + 92)Р3
22
qр
q3 p(q + p21)
9<Р + 92)Р3
22
qр
q3 p(q + p21)
Дадим игровую интерпретацию полученных результатов. Суммарный капитал обоих игроков равен 4. Пусть каждый игрок вначале имел по 2 денежные единицы. Это соответствует второй строке последней матрицы. Вероятность того, ЧТО первый игрок выиграет (он получает всю сумму денег) — это второй элемент этой строки, то есть р2/(р2 + q2 ).
Пример 8.9. Потоки в сетях. Математической моделью разного рода сетей (информационно-вычислительных, телекоммуникационных, транспортных И др.) является следующая. Имеется поступающий извне поток требований (заявок, сообщений и пр.). Интенсивность потока (среднее число требований в единицу времени) не зависит от предыдущих поступлений, постоянна и равна X. Сеть состоит из узлов, между которыми циркулируют поступившие требования ВПЛОТЬ до выхода их из сети. Она описывается ориентированным графом с к вершинами (узлами) и ориентированными дугами, ведущими от вершины к вершине (быть может, той же самой). Наличие дуги указывает на возможность перехода требр- ВВП ий между соответствующими узлами. Дуге (i,j), ведущей из вершины i в вершину ), приписывается число ру, равное вероятности того, что покинувшее узел i требование перейдет в узел/ Все эти вероятности записываются в виде матрицы переходных вероятностей Р = (pjy )ы. Вершине (узлу) с номером i соответствует i-я строка матрицы. Сумма элементов этой строки может быть меньше единицы, так что матрица является субстохастической. «Дефект» t-й строки у, ■ I -(Pjj + pi3 + -+Р,.»)Равен вероятности того, что, выйдя из t-ro узла, требование покинет сеть. Заданы также вероятности л, того, что для поступившего в сеть требования первым будет узел i. Необходимо рассчитать интенсивность потока требований (X/, проходящих через каждый узел.
Фиксируем некоторое требование и проследим его перемещения по сети (такое требование называется «меченным»). Эти перемещения описываются цепью Маркова с к состояниями и матрицей переходных вероятностей Р. Состояния цепи соответствуют узлам (вершинам), в которых находится наше требование. Поскольку каждое требование рано или поздно покидает сеть, то все состояния цепи — невозвратные. Среднее число посещений требованием узла j, если первоначальным был узел г, — это среднее число р визитов цепи в состояние j, рассчитываемое по формуле (8.34). Поскольку узел г является для требования первым с вероятностью л„ то среднее число посещений узла j составит л,р]у + л2р2у +...+ л4р4у. В единицу времени поступает X идентичных требований, так что интенсивность потока через j-й узел
Ху =Х(Л,Ц1У + Л2р2у, +... + Л4Р^). □
Применение к исследованию эргодических цепей Маркова. Как мы знаем, состояния такой цепи образуют неприводимое множество: из каждого состояния можно попасть в любое другое с положительной вероятностью за конечное число шагов. Вычислим среднее число шагов до возвращения цепи Маркова в состояние I. Без ограничения общности положим, что в качестве i рассматривается первое состояние (благодаря этому нет необходимости перенумеровывать состояния для приведения матрицы переходных вероятностей к каноническому виду). Если рассматривать цепь Маркова только до попадания в первое состояние, то этому соответствуют состояния 2, 3, ..., к. Для наших целей можно рассмотреть цепь Маркова, состоящую из одного замкнутого множества С, включающего лишь одно состояние 1, и множества С = {2, 3,..., к) остальных состояний как невозвратных. Таким образом, блочная структура матрицы переходных вероятностей имеет вид
Р=(р,„)ы=Риv r Qy
уже встречавшийся в предыдущем разделе.
Среднее число шагов до попадания в состояние 1 из невозвратных состояний 2, 3, ..., к дается (как мы знаем из следствия 8.1) формулой (8.37):
(I-Q)"1 1Т.
С другой стороны, исходя из первого состояния, цепь Маркова на следующем шаге оказывается в состоянии у, у > 2, с вероятностью р1;. Поэтому по формуле (5.11) для вычисления математического ожидания находим, что среднее число шагов до возвращения в первое состояние будет p(I - Q)1 1Т. Здесь еще необходимо учесть первый шаг. Итак, среднее время возвращения в первое состояние
Pi = 1 + p(I-Q)-*lT.
Сопоставление с формулой (8.28) показывает справедливость следующей теоремы.
Теорема 8.9. В эргодической конечной цепи Маркова стационарная вероятность at состояния г есть величина, обратная среднему времени р, до возвращения и это состояние.
Комментарий
Теорема имеет простой физический смысл. Вероятность состояния i — это Средняя доля времени, проводимого цепью Маркова в этом состоянии. Если среднее время возвращения в состояние i есть ц,, то в среднем из ц г шагов цепь Маркова будет находиться в состоянии i в течение одного шага. Отсюда и следует, что вероятность состояния г есть 1/ц,.
Дальнейшие результаты по цепям Маркова*
Определение 13. Цепь Маркова называется счетной, если множество ее состояний счетно.
Основные понятия конечных цепей Маркова без изменений переносятся на счетный случай: возвратность и периодичность состояний, замкнутость и неприводимость множества состояний и т. п. Тем не менее в этом случае возникает много осложнений, связанных с бесконечным числом состояний. Первое из Них заключается в том, что состояние i может быть возвратным (для него вероятность возвращения /_,= !), однако среднее время до возвращения ц, бесконечно.
Определение 14. Возвратное состояние i называется нулевым, если среднее время возвращения в него бесконечно (ц, = оо), и ненулевым, если конечно (р ,■ < оо). Непериодическое состояние г, являющееся возвратным ненулевым, называется ар- (одическим. Неприводимая цепь Маркова называется эргодической, если все ее состояния эргодические.
Отметим, что для конечной цепи Маркова любое возвратное состояние является ненулевым (см. теорему 8.13).
Без доказательства приведем несколько теорем, утверждения которых были уЖе доказаны или могут быть доказаны простыми средствами [11].
Теорема 8.10.
Состояние j является невозвратным состоянием тогда и только тогда, когда среднее число возвращений в него конечно:
t-PT^^<8.40)
м=0
В этом случае при всех z
и=0
Состояние j является возвратным нулевым тогда и только тогда, когда среднее число возвращений в него бесконечно, однако вероятность возвращения на п-м шаге стремится при п -> со к нулю:
£?"=«■<««!>
п-0
В этом случае при всех i■ -
Ри -77Г->0.
Непериодическое (возвратное) состояние j является эргодическим тогда и только тогда, когда ц, < оо. В этом случае для всех г при и -> оо
р^ -^f^. (8.42)
Следствие 8.3. Если j — непериодическое состояние, то р,^ стремится либо К нулю, либо К fi,j/Pj •
Определение 15. Будем называть два состояний однотипными, если они одинаково характеризуются по признакам периодичности, возвратности и конечности времени возвращения.
Теорема 8.11. В неприводимой цепи Маркова все состояния однотипны.
Доказательство
Пусть; и k — два произвольных состояния неприводимой цепи Маркова. В силу сформулированного выше критерия каждое из состояний достижимо из другого. Поэтому существует два таких натуральных числа г и s, и положительное число р, что р(^ > р > 0 и р^ > р > 0. Очевидно,
■ ' р^Г^рТиР^Рм^р^- <8-43)
Здесь;, к, s и г фиксированы, тогда как п произвольно. Если; невозвратно, то согласно утверждению 1) теоремы 8.10, pV) является членом сходящегося ряда. Согласно неравенству (8.43) это же справедливо для р^, так что состояние к является также невозвратным. Более того, если pj"j —> 0, то и р^ -> 0, то есть если; является нулевым состоянием, то такое же и к. Аналогичные утверждения будут иметь место, если поменять местами к и ;. Поэтому состояния j и к одновременно или возвратны или нет. Аналогичные рассуждения и применение утверждения 2) теоремы 8.10 показывают, что состояния; и к одновременно или нулевые или ненулевые.
Пусть теперь; имеет период t. Так как р^ = 1, то при и = 0 правая часть неравенства (8.43) положительна и, следовательно, г + $ кратно t. Но тогда левая часть (8.43) при п, не кратном t, будет обращаться в ноль. Поэтому состояние к имеет период, кратный t. Меняя ролями; и к, мы видим, что эти состояния имеют одинаковый период. □
Пример 8.10. Рассмотрим случайное блуждание точки по целочисленным координатам положительной вещественной прямой R+ = [0, оо) с отражающим экраном в точке 0. На каждом шаге точка переходит в соседнее правое состояние с вероятностью р и левое соседнее состояние — с вероятностью q = 1 - р. Исключение составляет только состояние 0, из которого всегда имеет место переход в состояние 1.
Легко видеть, что цепь является неприводимой, так как все ее состояния достижимы друг из друга. Поэтому достаточно проанализировать только одно состояние — в силу теоремы 8.11 все ее состояния будут иметь этот же тип. Вначале найдем вероятность /00 и среднее время ц0 возвращения точки в начало координат.
Итак, цепь Маркова первоначально находится в состоянии 0. После первого шага она неизбежно попадает в состояние 1. Следовательно, искомая вероятность /00 совпадает с вероятностью того, что цепь Маркова из состояния 1 когда-нибудь
достигнет состояния 0. Отметим, что (в силу постоянства вероятностей р и q ДЛЯ всех состояний цепи Маркова) этому же значению /о,о равна вероятность /jj-j того, что цепь Маркова из любого состояния i достигнет ближайшего левого состояния i -1, i = 1, 2,... Из состояния 1 цепь Маркова за шаг с вероятностью q переходит в ближайшее левое состояние, в результате чего происходит возвращение в состояние 0. С противоположной вероятностью р цепь Маркова оказывается в состоянии 2. Как уже отмечалось, вероятность /2д достижения ИЗ Состояния 2 состояния 1 равна /0-0. Если эта возможность осуществится, то переход из состояния 1 в состояние 0 происходит с той же вероятностью f0 0.
Итак, по формуле полной вероятности получаем такое соотношение:
J о.о ~ ч т Р J о.о J о.о • Корнями этого квадратного уравнения являются 1±У1-4р?
/о'° 2р ‘
(8.44)(8.44)Заметив, что 1 - 4pq = (р- q)2, запишем корни в виде ,_1±|р-»|
(8.44)
(8.44)
Уо.о ~„•
2р
Проанализируем полученное выражение для различных значений р и q. Случай q>p. Поскольку | р - q | = q - р, то
у _ 1±(р-д)
2р ‘
Следовательно, два корня такие:
:о _^ + (p-q)_A.^-Cp-q) __
°^" 2р
Корень /„^ должен быть отброшен, как не имеющий вероятностного смысла: /о о* = Ч/Р > 1- Итак, в случае q>p вероятность возвращения в 0 равна 1. Следовательно, состояние 0, а с ним, согласно теореме 8.10, и все состояния цепи являются возвратными.
Случай q=p. Согласно формуле (8.44) в этом случае До = Е то есть состояния О И все другие состояния цепи Маркова являются возвратными.
Случай q <р. Поскольку | р - q | = р - q, то по формуле (8.44) _1±(р-9) 7оо - с •
Следовательно, корнями являются:
/ о.о 2р • /о.о 2р q/p-
Из двух корней необходимо выбрать один, который соответствует искомой вероятности /о,о возвращения в ноль. Отметим, что при р = 1 цепь Маркова на каждом шаге детерминированно переходит в соседнее правое состояние, так что
/00 = 0. Этому условию отвечает корень f^, так что /0 0 = f^ = q/p < 1. Следовательно, в рассматриваемом случае все состояния цепи являются невозвратными. Приведенные рассуждения применимы также для нахождения числа шагов Цо, потребных для возвращения в состояние 0. Обозначим х среднее число шагов, потребных для попадания из состояния z, z = 1, 2,... в ближайшее левое состояние i - 1. Из состояния 0 цепь Маркова всегда переходит в состояние 1, поэтому ц 0 = 1 + х. Из состояния 1 цепь Маркова всегда осуществляет шаг. Если в результате его она попадает в состояние 0, то все на этом заканчивается. В состояние 2 цепь Маркова попадает с вероятностью р. В этом случае ей потребуется в среднем х шагов, чтобы вернуться в состояние 1, и еще х шагов, чтобы из состояния 1 попасть в состояние 0. Поэтому имеем соотношение х = 1 + р • 2г, откуда находим х = 1/(^ - р). Поскольку ц 0 = 1 + х, то среднее время возвращения в начало координат
Но=—• (8.45) q-p
Случай q > р. Среднее время возвращения в ноль ц0 = 2q/(q-р) конечно. Следовательно, состояние 0 являются возвратным ненулевым, более того — эргодическим. В этом случае цепь Маркова — эргодическая.
Случай q = p = 0.5. Среднее время возвращения здесь бесконечно, так что состояние 0 является возвратным нулевым.
Случай q < р. Среднее время ц0 =2^/(д-р)в этом случае оказывается отрицательным. Все наши рассуждения, приведшие к формуле (8.45), были корректными. Ошибка могла только быть при приведении подобных членов, содержащих х: так нельзя поступать, если х = «>. Следовательно, в этом случае средние времена бесконечны. Этот результат можно было сразу получить из того, что состояние 0 невозвратное, так что с положительной вероятностью время возвращения в ноль бесконечно. □ Вышеприведенные результаты могут быть резюмированы следующим образом.
Теорема 8.12. Для любого возвратного состояния) существует единственное неприводимое замкнутое множество Cv, содержащее), и такое, что для любой пары состояния г и k из Cv /^ = 1, Д, = 1. Все состояния цепи Маркова единственным образом могут быть разбиты на непересекающиеся множества Т, Ct, С2,.... такие что: 1) множество Т состоит из всех невозвратных состояний; 2) если) принадлежит Cv, то fjj, = 1 для всех к, принадлежащих Cv, и наоборот, fj,k = O для всех к, не принадлежащих Cv.
Метод разбиения (декомпозиции) пространства состояний конечной цепи Маркова на множество Т невозвратных состояний и на замкнутые классы Сь С2, ... возвратных состояний.
Вход: матрица переходных вероятностей Р конечной цепи Маркова.
Выход: матрица Асе достижимости: Асс^ = 1, если состояние) достижимо из состояния I, и 0 — иначе; вектор Dec принадлежности состояний к классам: если DeCj = j, то состояние i принадлежит классу), где) = 0 соответствует классу невозвратных состояний Т, j = 1, 2,... — замкнутым классам С,, С2,...
Метод: Рассматриваемые задачи — это классические задачи теории графов. Известно много красивых алгоритмов их решения. Мы выберем алгоритм, базирующийся на ранее сформулированных результатах. А именно, в матрице переходных вероятностей Р заменим все положительные вероятности на единицы, Теперь Рц = 1 будет означать возможность перехода из состояния г в состояние,/ за шаг, а Р,” = 1 — за п шагов. Тогда Pi; + Р^ +.. ,+P”j > 0 означает, что состояние/ достижимо из состояния г не более чем за п шагов. Обозначим соответствующую матрицу достижимости АО = Р + Р2 + ... + Р". Для следующего шага к указанной сумме следует прибавить значение Р"*1, вычисляемое по формуле (8.15) как элемент матрицы Р”+1 = Р”Р. Будем применять суммирование по модулю 2, то есть фактически использовать дизъюнкцию. Тогда матрица достижимости для n + 1 шага AN = АО + ДР= AO(I + Р), при этом всюду положительные значения элементов матриц заменяются на единицы. Если на очередном шаге оказывается, что матрицы достижимости па данном AN и предыдущем АО шагах совпали, то это и есть искомая матрица, и вычисления заканчиваются. Соответствующая программа Асс(Р) приведена ниже в компьютерном практикуме.
По полученной матрице достижимости А состояния можно разбить на классы, руководствуясь последней теоремой (или критерием неприводимости из раздела 8.2). Согласно ей, состояние i возвратно, если не существует состояния j, в которое можно попасть из г, но из которого нельзя попасть в i. Это легко проверяется по матрице А: каждый элемент i-й строки не должен быть больше соответствующего элемента z-го столбца. Далее, в один замкнутый класс С попадают возвратные состояния, для которых строки матрицы достижимости А совпадают. Состояния, не попавшие ни в один из замкнутых классов, образуют множество невозвратных состояний Т. Все эти вычисления производятся программой Dec(Py
Теорема 8.13. В конечной цепи Маркова все состояния не могут быть невозвратными, и в ней нет нулевых возвратных состояний.
Доказательство
Для каждой строки матрицы Р” = (р^ ) сумма ее элементов равна единице, причем число элементов конечно. Поэтому невозможно, чтобы при заданном j р^ -->0 при всех к. Следовательно, найдется индекс к, для которого сумма ^pi'i неограниченно возрастает при и -> оо. Теперь из части 1) теоремы 8.10 следует, ч то к — возвратное состояние. Более того, из части 2) теоремы 8.10 СЛе- дуг г, что к — ненулевое возвратное состояние. Следовательно, не все состояния цепи невозвратные, так что первое утверждение доказано.
Далее, каждое возвратное состояние принадлежит некоторому неприводимому множеству С, все состояния которого однотипны. Если ограничиться только со- гтяпнями из С, то мы имеем неприводимую конечную цепь Маркова. По только что доказанному, в ней существует ненулевое возвратное состояние. Поскольку согласно теореме 8.11 все состояния С однотипные, то все они — ненулевые моа- иритные.□
Следующая теорема обобщает теорему 8.3 на случай счетных цепей Маркова.
Теорема 8.14. В неприводимой эргодической цепи Маркова существуют не зависящие от начального состояния г пределы {Яу}:
а5 =limpj”).(8.46)
Эти пределы строго положительны (а, > О V j е Е) и удовлетворяют условию нормировки О\ + я2 + ... = 1, а также системе линейных алгебраических уравнений
^=£в,Р„. 7 = 1,2,...(8.47)
i=i
Обратно, если неприводимая цепь Маркова непериодическая и существуют числа Oj > 0, удовлетворяющие системе (8.47) и условию нормировки, то цепь эргодическая, и для {Яу} справедливы соотношения (8.46) и неравенство
а =—> о,(8.48)
где ц; — среднее время возвращения в состояние/
Определение 16. Распределение вероятностей {Яу}, удовлетворяющее условию (8.47), называется инвариантным или стационарным для данной цепи Маркова.
Смысл инвариантности заключается в том, что если на начальном шаге состояния имеют инвариантное распределение, то оно будет таким же и на следующем шаге и так далее, то есть оно «увековечивается» на все времена.
Основная часть теоремы 8.14 теперь может быть сформулирована так: неприводимая непериодическая цепь Маркова обладает инвариантным распределением тогда и только тогда, когда она эргодична. В этом случае все Яу > 0 и вероятности состояния j на п-м шаге а^ стремятся к яу независимо от начального распределения вероятностей состояний.
Критерий. Если цепь обладает инвариантным распределением вероятностей {я,}, то Яу = 0 для каждого/ являющегося либо возвратным нулевым, либо невозвратным.
Доказательство
Пусть {яу} — стационарное распределение, удовлетворяющее (8.47). Тогда
1=1i=l v=l?*=1 t=lt>=l
и по индукции получаем, что {яу} удовлетворяет и системе
а) = $>Р^
Если j — невозвратное или возвратное нулевое, то согласно теореме 8.10, р^ -> О и поэтому, как и утверждалось, я; = 0.□
Примеры
Пример 8.11. Цепь Маркова «размножения и гибели». Рассмотрим обобщение цепи Маркова, изучавшейся в примере 8.10. Допустим, что вероятности перехода цепи Маркова за шаг зависят от текущего состояния цепи. Итак, рассматривает-
ся случайное блуждание точки по целочисленным точкам неотрицательной полуоси R = {0, 1, 2,...}. Находясь в состоянии i, i > 1, точка с вероятностью р( перемещается на следующем шаге в соседнее справа состояние i + 1; с вероятностью q, перемещается влево в состояние i - 1; с вероятностью 1 - р, - qt остается НЯ месте в состоянии г. Из состояния 0 перемещение влево невозможно, так ЧТО qQ = 0. Система уравнений (8.47) примет в данном случае вид
ао - (1 ~Ро )ао + 9t «и(8.49)
а, = (1" Р, " 9, )«i + ?i+1 ai+i + Pi-t «i-t - i = 1,2,...
В предположении, что для всех i = 1, 2,... q, * 0 эти уравнения могут быть последовательно разрешены относительно а0:
а,=£ойо1 Q2=P^Qqi а3=Е^0о, ...
91919г919г9з
Общая формула имеет вид
а. = PoPvPm ^ i = ^ 2 . .(8.50)
9192--9,
Способ получения равенств (8.50) показывает, что это — единственное решение системы (8.47). Вероятность а0 находится из условия нормировки £ а, = 1. Если ряд
(8.51)(8.51)■^PoPi-Pm
(8.51)
(8.51)
м 9i92---9,
конечен, то значение а0 определяется по формуле
a0=fl + £^^V. (8.52)
V i=i 919г•••9, ,
Итак, конечность суммы (8.51) является необходимым и достаточным условием существования инвариантного распределения. Если сумма бесконечна, то все состояния невозвратные или возвратные нулевые. Случай р, = р, q^ = q, р < q дает вргодичную цепь Маркова, поскольку сумма геометрической прогрессии со знаменателем p/q меньше единицы.
Пример 8.12. Процесс обслуживания в дискретном времени. В данном случае время измеряется в тактах. Рассмотрим систему, состоящую из s обслуживающих аппаратов, каждый из которых одновременно может обслуживать одно требование. Требования поступают в систему извне, обслуживаются в ней и затем покидают систему. Если в момент поступления требования свободных аппаратов нет, то требование ожидает начала обслуживания. В момент освобождения аппарата из очереди (если таковая имеется) на обслуживание принимается очередное требование. (Дисциплина очереди, то есть порядок выбора требований, в данном случае роли не играет.)
Формально процесс обслуживания представляет собой счетную цепь Маркова с пространством состояний Е= {0,1,...}. Такты процесса обслуживания соответствуют шагам цепи Маркова. Состояние г еЕ означает наличие i требований в системе. За каждый такт с вероятностью а поступает новое требование в систему, и с вероятностью qt -ц min(i,s} завершается обслуживание требования, где
ц > 0 — интенсивность обслуживания одним аппаратом, i — состояние системы (число требований в ней). Предполагается, что а + ps < 1, р = — < 1. Проведем
анализ описанного процесса обслуживания.
Мы имеем дело с цепью Маркова размножения и гибели: на каждом шаге цепь или остается в том же состоянии г", или переходит в соседние состояния г" + 1 или i - 1. Поэтому справедливы вышеприведенные формулы для стационарных вероятностей состояний {а,}, в которых следует положить для всех i е Е р, =а.
Проверим условие конечности суммы (8.51), обеспечивающее существование стационарного режима. Имеем:
для г = 1, 2, ..., $:
РоРх-Рм = а, 1= 1
Ч\Чг--Ч1 ц-2р-...-щ г!
для i = $ +1, $ + 2,...:
= а = — — s= — s5p .
^^•••^i р-2р •...($-1)р • sp ...sps!
Следовательно,
если p < 1. Итак, при р < 1 сумма конечна. Отметим, что если бы условие р < 1 не выполнялось, то сумма р + р2+р3 + ...не была бы конечной, и поэтому стационарного режима не существовало. Обычно р называют коэффициентом загрузки обслуживающих аппаратов.
Из приведенных соотношений и формул (8.52) и (8.50) получаем явные выражения для вероятностей состояний:
«о«оР1-р
«о
«о
1(а) . , „— — а0, i = 1, 2, ..., s,г!<Р )
z = s + l,s + 2, ...z = s + l,s + 2, ...
z = s + l,s + 2, ...
z = s + l,s + 2, ...
Эти формулы позволяют вычислить различные показатели эффективности процесса обслуживания, такие как средняя длина очереди, среднее число требований в системе и т. д.
Рассмотрим численный пример. Пусть s = 3, a =0.21, р =0.1. Коэффициент загрузки аппаратов р = 0.21/(3 0.1) = 0.7, то есть меньше единицы.
Следовательно, стационарный режим существует. Распределение вероятностей числа требований в системе представлено в табл. 8.2.
Таблица 8.2. Распределение числа требований в системе
i
0
1
2
3
4
5
6
7
а,
0.096
0.201
0.211
0.148
0.103
0.072
0.051
0.035
i
8
9
10
И
12
13
14
15
0.025
0.017
0.012
0.009
0.006
0.004
0.003
0.002
Компьютерный практикум № 13.
Анализ цепей Маркова в пакете Mathcad
Цель и задачи практикума
Целью практикума является освоение методов представления и анализа цепей Маркова в пакете Mathcad.
Задачами данного практикума являются:
задание матрицы переходных вероятностей для цепи Маркова;
IJ моделирование цепи в течение заданного количества шагов;
нахождение нестационарного и стационарного распределения вероятностей состояний для эргодической цепи;
вычисление средних времен пребывания в невозвратных состояниях поглощающей цепи;
определение замкнутых классов состояний.
Необходимый справочный материал
Как п ранее, будут использованы стандартные функции, предоставляемые пакетом, в частности, для работы с матрицами. Назначение этих функций описано памп в предыдущих практикумах. Из новых отметим функцию identity(n\ которая формирует единичную матрицу размера п (все диагональные элементы равны единице, а недиагональные — нулю).
Реализация задания
Для проведения вычислений нам понадобится ряд функций пользователя. Программные модули, реализующие эти функции, представлены на рис. 8.3 и 8.4.
Функция ТгРг(Р. п) вычисляет по формуле (8.15) матрицу переходных вероятностей состояний цепи Маркова за п шагов, если матрица переходных вероятностей за шаг есть Р. Безусловные вероятности (8.16) состояний цепи Маркова на шм шаге вычисляются функцией UnTrPr(a, Р, и), где а — это вектор вероятностей состояний на нулевом шаге. Функция StPr(a, Р, и) вычисляет вероятности состяппй для всех п шагов, в предположении, что на нулевом шаге распределение вероятностей состояний есть а.
Следующая группа функций обеспечивает моделирование цепей Маркова, реа- 1П ц-я алгоритм, изложенный в конце раздела 8.1. Функция Def (а, х) определяет номер интервала /, в котором содержится число х. Длины интервалов а0, а(,... содержа гея в век торе-столбце а. Функция ModMCh{a, Р, п, RN) осуществляет де- t<*|>Nfипнропаппос моделирование цени Маркова в течение п шагов, выдавая одну траекторию для заданного вектора RN. В качестве входных переменных исполь- «уютен: лектор а, определяющий начальное распределение вероятностей состоя-
ний цепи; матрица Р вероятностей переходов между состояниями за шаг; вектор RN, содержащий и + 1 компоненту RNb RN, < 0 < 1, которые используются при определении состояний цепи Маркова на различных шагах (компонента RN0 используется для выработки начального состояния цепи согласно распределению а, остальные компоненты — для выработки состояний на шагах 1, 2, ..., и). Эта функция используется в модуле, реализующем основную функцию ImModMCh(a, Р, и, т), которая сама генерирует значение вектора RN. Данный модуль осуществляет имитационное моделирование цепи Маркова в течение и шагов. Здесь а, Р, и те же, что и в предыдущей программе, ат — число моделируемых траекторий. Функция ImModMCh в качестве результата возвращает матрицу, строки которой соответствуют номеру шага, а столбцы — номеру реализации. На их пересечении стоит номер состояния на данном шаге в соответствующей реализации.
Практикум Nt 13. Цепи Маркеса
Пользовательские Функции
Переходные вероятности состояний цепи Маркова эе п шаговПереходные вероятности состояний цепи Маркова эе п шаговТгРг(Р.п) :-Р"Вероятности состояний в течение п шагов ири начальных вероятностях состояний аТгРг(Р.п) :-Р"Вероятности состояний в течение п шагов ири начальных вероятностях состояний аБезусловные вероятности состояний цепи Маркове на п-и шагеUaTrPr(a.P.n):- аТ Р"Непер интерваиа, содержащего числе хБезусловные вероятности состояний цепи Маркове на п-и шагеUaTrPr(a.P.n):- аТ Р"Непер интерваиа, содержащего числе х
Переходные вероятности состояний цепи Маркова эе п шагов
Переходные вероятности состояний цепи Маркова эе п шагов
ТгРг(Р.п) :-Р"
Вероятности состояний в течение п шагов ири начальных вероятностях состояний а
ТгРг(Р.п) :-Р"
Вероятности состояний в течение п шагов ири начальных вероятностях состояний а
Безусловные вероятности состояний цепи Маркове на п-и шаге
UaTrPr(a.P.n):- аТ Р"
Непер интерваиа, содержащего числе х
Безусловные вероятности состояний цепи Маркове на п-и шаге
UaTrPr(a.P.n):- аТ Р"
Непер интерваиа, содержащего числе х
StPr(e,P,n) >StPr(e,P,n) >k<- rowe(P) far i«1. k*i,o»-l*i.1»-4-1for t e1.n + 1*O,t«-t-1 b^.1 PMfor I e 1kk<- rowe(P) far i«1. k*i,o»-l*i.1»-4-1for t e1.n + 1*O,t«-t-1 b^.1 PMfor I e 1kDef(a.x) :■Def(a.x) :■Деторииниревенное иоденвреванне цепи Маркева Иинтациониее педалирование цепи МерковаДеторииниревенное иоденвреванне цепи Маркева Иинтациониее педалирование цепи Меркова
StPr(e,P,n) >
StPr(e,P,n) >
k<- rowe(P) far i«1. k
*i,o»-l
*i.1»-4-1
for t e1.n + 1
*O,t«-t-1 b^.1 PM
for I e 1k
k<- rowe(P) far i«1. k
*i,o»-l
*i.1»-4-1
for t e1.n + 1
*O,t«-t-1 b^.1 PM
for I e 1k
Def(a.x) :■
Def(a.x) :■
Деторииниревенное иоденвреванне цепи Маркева Иинтациониее педалирование цепи Меркова
Деторииниревенное иоденвреванне цепи Маркева Иинтациониее педалирование цепи Меркова
MedMCh(a,P,n,RN) >MedMCh(a,P,n,RN) >It-Def(a.RNo)It-Def(a.RNo)imMedMCh(a,P,n,m)>imMedMCh(a,P,n,m)>XXfor te 1. пfor te 1. пI«-Def(ei.RNt)Xt *-iI«-Def(ei.RNt)Xt *-inem«- (и + 1) mRR<- гииИ(иит.0,1) for reOm-1 to <- r (n + 1) for teO. nRNt<-RRt<H-tX^V MedMCh(e.P.n.RN)nem«- (и + 1) mRR<- гииИ(иит.0,1) for reOm-1 to <- r (n + 1) for teO. nRNt<-RRt<H-tX^V MedMCh(e.P.n.RN)
MedMCh(a,P,n,RN) >
MedMCh(a,P,n,RN) >
It-Def(a.RNo)
It-Def(a.RNo)
imMedMCh(a,P,n,m)>
imMedMCh(a,P,n,m)>
X
X
for te 1. п
for te 1. п
I«-Def(ei.RNt)
Xt *-i
I«-Def(ei.RNt)
Xt *-i
nem«- (и + 1) m
RR<- гииИ(иит.0,1) for reOm-1 to <- r (n + 1) for teO. n
RNt<-RRt<H-t
X^V MedMCh(e.P.n.RN)
nem«- (и + 1) m
RR<- гииИ(иит.0,1) for reOm-1 to <- r (n + 1) for teO. n
RNt<-RRt<H-t
X^V MedMCh(e.P.n.RN)
FrModMCh(a, Р. и, т)»FrModMCh(a, Р. и, т)»Честоты различных состояний при яиитациеннеи иеделироваини
FrModMCh(a, Р. и, т)»
FrModMCh(a, Р. и, т)»
X^imModMCh(a.P.n.m)k<-row»(P)for teO . я
fer ieO.k-1
FrliM-0fer r e 0.. m - 1
l«-Xl-r
Frt.l«-Frt-I+1
Функция FrModMChla, Р, п, т) подсчитывает частоты различных состояний 1 m траекториях цепи Маркова, каждая из которых содержит п шагов. Строки COOT- ветствуют состояниям, а столбцы — номеру шага. На их пересечении стоит частота данного состояния на этом шаге.
Следующие функции проводят аналитический расчет цепи Маркова (см. рис. 8.4). Стационарные вероятности состояний эргодической цепи Маркова, имеющей матрицу Переходных вероятностей Р, рассчитываются функцией StStPrMc^P) согласно формулам (8.27), (8.28). Структура выдаваемой матрицы такая же, что и для предыдущей функции.
Стационарные вероятности состоянийСтационарные вероятности состоянийStStPr(P)StStPr(P)k t- rowo(P) for Je 1.. k- 1k t- rowo(P) for Je 1.. k- 1for I e 1.. k-1 Qn,H*-pIJfor I e 1.. k-1 Qn,H*-pIJMeanV(P.m) >к 4- rows(P)for I е 0.. k-m-1for j e 0.. k-m-1Qi J ♦• pm+l,m+jA <- (ldenthy(k - m) - Q)~AMeanV(P.m) >к 4- rows(P)for I е 0.. k-m-1for j e 0.. k-m-1Qi J ♦• pm+l,m+jA <- (ldenthy(k - m) - Q)~AПоглощающие цени МарковаСродное число визитов в невозервтные состоянияПоглощающие цени МарковаСродное число визитов в невозервтные состоянияВероятности поглощенияВероятности поглощенияAcc(P)>Acc(P)>b«-p(Identity(k - 1) - Q)b«-p(Identity(k - 1) - Q)»0*- d + |b 4)' for lei., k- 1»0*- d + |b 4)' for lei., k- 1AbPr(P.m) :■AbPr(P.m) :■Ч)Ч)k^row.(P)МатрицаAN«- P + identhy(k) дестижиеости jсостоянийwhile f ■ 1 ft-0 AO<-AN AN<-P AO fer leO k-1 for jeD k- 1|AM|jt-W(AM|,)>0,1,0)♦-f + К(АН| д ■ AO, j.0.1) AHk^row.(P)МатрицаAN«- P + identhy(k) дестижиеости jсостоянийwhile f ■ 1 ft-0 AO<-AN AN<-P AO fer leO k-1 for jeD k- 1|AM|jt-W(AM|,)>0,1,0)♦-f + К(АН| д ■ AO, j.0.1) AHDec(P) :-Dec(P) :-kt- rows(P)for IeD . k-m-1 for je0 . k- m- 1Qi J*- Pm+i,m+jfor j e 0m - 1B| J*- pm+i JR*-(ldentHy(k-m)-Q)"1 В Rkt- rows(P)for IeD . k-m-1 for je0 . k- m- 1Qi J*- Pm+i,m+jfor j e 0m - 1B| J*- pm+i JR*-(ldentHy(k-m)-Q)"1 В Rk t- rowe(P)A<-Acc(P)fer ieD k-1 |Co,i*-l [Cut-0C1*-0k t- rowe(P)A<-Acc(P)fer ieD k-1 |Co,i*-l [Cut-0C1*-0Зеекнутыв клвССЫ состоянийЗеекнутыв клвССЫ состоянийfer IeD k- 1if CM-0 ft-D for jeD k-1 f <- f + K(Aj jSAjj,0,1)If f-0 ci ♦- ci ♦ 1 cijt-a for j«1 k-1 «4-0 fer me0„ k - 1 •♦-•♦ |Aj,m-*j,m| Cf j^-a if boofer IeD k- 1if CM-0 ft-D for jeD k-1 f <- f + K(Aj jSAjj,0,1)If f-0 ci ♦- ci ♦ 1 cijt-a for j«1 k-1 «4-0 fer me0„ k - 1 •♦-•♦ |Aj,m-*j,m| Cf j^-a if boo
Стационарные вероятности состояний
Стационарные вероятности состояний
StStPr(P)
StStPr(P)
k t- rowo(P) for Je 1.. k- 1
k t- rowo(P) for Je 1.. k- 1
for I e 1.. k-1 Qn,H*-pIJ
for I e 1.. k-1 Qn,H*-pIJ
MeanV(P.m) >
к 4- rows(P)
for I е 0.. k-m-1
for j e 0.. k-m-1
Qi J ♦• pm+l,m+j
A <- (ldenthy(k - m) - Q)~
A
MeanV(P.m) >
к 4- rows(P)
for I е 0.. k-m-1
for j e 0.. k-m-1
Qi J ♦• pm+l,m+j
A <- (ldenthy(k - m) - Q)~
A
Поглощающие цени Маркова
Сродное число визитов в невозервтные состояния
Поглощающие цени Маркова
Сродное число визитов в невозервтные состояния
Вероятности поглощения
Вероятности поглощения
Acc(P)>
Acc(P)>
b«-p(Identity(k - 1) - Q)
b«-p(Identity(k - 1) - Q)
»0*- d + |b 4)' for lei., k- 1
»0*- d + |b 4)' for lei., k- 1
AbPr(P.m) :■
AbPr(P.m) :■
Ч)
Ч)
k^row.(P)Матрица
AN«- P + identhy(k) дестижиеости jсостояний
while f ■ 1 ft-0 AO<-AN AN<-P AO fer leO k-1 for jeD k- 1
|AM|jt-W(AM|,)>0,1,0)
♦-f + К(АН| д ■ AO, j.0.1) AH
k^row.(P)Матрица
AN«- P + identhy(k) дестижиеости jсостояний
while f ■ 1 ft-0 AO<-AN AN<-P AO fer leO k-1 for jeD k- 1
|AM|jt-W(AM|,)>0,1,0)
♦-f + К(АН| д ■ AO, j.0.1) AH
Dec(P) :-
Dec(P) :-
kt- rows(P)
for IeD . k-m-1 for je0 . k- m- 1
Qi J*- Pm+i,m+j
for j e 0m - 1
B| J*- pm+i J
R*-(ldentHy(k-m)-Q)"1 В R
kt- rows(P)
for IeD . k-m-1 for je0 . k- m- 1
Qi J*- Pm+i,m+j
for j e 0m - 1
B| J*- pm+i J
R*-(ldentHy(k-m)-Q)"1 В R
k t- rowe(P)
A<-Acc(P)
fer ieD k-1 |Co,i*-l [Cut-0
C1*-0
k t- rowe(P)
A<-Acc(P)
fer ieD k-1 |Co,i*-l [Cut-0
C1*-0
Зеекнутыв клвССЫ состояний
Зеекнутыв клвССЫ состояний
fer IeD k- 1
if CM-0 ft-D for jeD k-1 f <- f + K(Aj jSAjj,0,1)
If f-0 ci ♦- ci ♦ 1 cijt-a for j«1 k-1 «4-0 fer me0„ k - 1 •♦-•♦ |Aj,m-*j,m| Cf j^-a if boo
fer IeD k- 1
if CM-0 ft-D for jeD k-1 f <- f + K(Aj jSAjj,0,1)
If f-0 ci ♦- ci ♦ 1 cijt-a for j«1 k-1 «4-0 fer me0„ k - 1 •♦-•♦ |Aj,m-*j,m| Cf j^-a if boo
Группа функций используется для анализа поглощающих цепей Маркова. Функция MeanV(P, тп) вычисляет по формуле (8.34) среднее число визитов в невозвратные состояния вплоть до выхода цепи Маркова из множества невозврат- пых состояний. Здесь Р — матрица переходных вероятностей, представленная в виде (8.29), тп — число возвратных состояний. Напомним, что вначалр нумеруются возвратные состояния, так что первые тп строк и столбцов матрицы Р связаны с возвратными состояниями. Последние строки и столбцы описывают вероятности переходов между невозвратными состояниями, число которых к - тп, где к — общее число состояний цепи. Им соответствует квадратная матрица Q размера к - тп. Вышеупомянутое число тп находится с помощью функции £)ес(Р), которая описывается ниже.
Функция АЬРг(Р, тп) рассчитывает вероятности поглощения в различные возвратные состояния, если на начальном шаге цепь Маркова находится в определенном невозвратном состоянии (см. формулу (8.39)). В функции используется матрица R, являющаяся подматрицей Р. Столбцы матрицы R соответствуют возвратным, а строки — невозвратным состояниям цепи Маркова, так что эта матрица дает вероятности переходов за шаг из каждого невозвратного в возвратное состояние. Результатом работы функции АЬРг(Р, тп) является матрица, столбцы которой соответствуют тп возвратным состояниям, а строки — к - тп невозвратным состояниям. На их пересечении стоит вероятность того, что для цепи Маркова, выходящей из рассматриваемого невозвратного состояния, первым возвратным будет данное состояние.
Заключительные две функции позволяют определять замкнутые классы возвратных и класс невозвратных состояний цепи Маркова. Функция Лсс(Р) рассчитывает матрицу достижимости для состояний согласно методу, приведенному в разделе 8.5. Строки и столбцы этой матрицы соответствуют состояниям цепи Маркова. На пересечении i-й строки иу-го столбца стоит 1, если состояние у достижимо из состояния г, и 0 — иначе.
Функция Dec(P) для каждого состояния определяет номер замкнутого класса, к которому состояние принадлежит. Исключением здесь являются состояния, которым соответствует нулевой номер класса: эти состояния являются невозвратными. Нулевая строка выводимой матрицы содержит номера состояний, а следующая строка — номера классов, к которым принадлежат эти состояния.
Результаты вычислений
Результаты выполнения задания представлены на рис. 8.5. Вначале задаются: матрица вероятностей переходов за шаг Р и вектор вероятностей состояний на нулевом шаге а. Обращение к функции StPr(a, Р, 5) дает вероятности состояний цепи Маркова в течение пяти шагов. Результатом данной функции является матрица, столбцы которой соответствуют номерам шагов (эти номера указаны в нулевой строке), а строки — номерам состояний (эти номера указаны в нулевом столбце). Например, на втором шаге вероятности состояний составляют: первого 0.16, второго 0.18, третьего 0.17 и четвертого 0.49. Эти вероятности можно сравнить с частотами состояний, полученными функцией имитационного моделирования hnModMCh(a, Р, 5, 10000) и обсчитанными в ModMCh(a, Р, п, RN).
Стационарные вероятности состояний подсчитываются для матрицы переходных вероятностей Р2 с помощью функции StStPr(P2),
Результаты вычислений
Матрице вероятнее™ перехадов за «аг 0.4 0.6 ОО'0.8 02 ОО0 010, 0 0.2 0.1 0.7,Матрице вероятнее™ перехадов за «аг 0.4 0.6 ОО'0.8 02 ОО0 010, 0 0.2 0.1 0.7,Вектор вероятностей состояний наВектор вероятностей состояний нанулевой шаганулевой шага'О'ООЛ,'О'ООЛ,
Матрице вероятнее™ перехадов за «аг 0.4 0.6 ОО'
0.8 02 ОО
0 010
, 0 0.2 0.1 0.7,
Матрице вероятнее™ перехадов за «аг 0.4 0.6 ОО'
0.8 02 ОО
0 010
, 0 0.2 0.1 0.7,
Вектор вероятностей состояний на
Вектор вероятностей состояний на
нулевой шага
нулевой шага
'О'
ООЛ,
'О'
ООЛ,
Вероятности состояний цепи Маркова в течение 5-ти «аговВероятности состояний цепи Маркова в течение 5-ти «агов0 0 12345 '1 0 00.160.2080.2670298StPr(a.P,5)-2 0 020.10023023902563 0 0.10.17021902530277ч4 1 0.70.490.3430240.168,0 0 12345 '1 0 00.160.2080.2670298StPr(a.P,5)-2 0 020.10023023902563 0 0.10.17021902530277ч4 1 0.70.490.3430240.168,Имитационное моделирование цепи Маркова. Частоты состоянииО0.171020602730.3 '0.210.1750^3802390260.0950.163021302450.2680.6950.491024302420.172 >Имитационное моделирование цепи Маркова. Частоты состоянииО0.171020602730.3 '0.210.1750^3802390260.0950.163021302450.2680.6950.491024302420.172 >F rModMCh(a,P.5.10000)-F rModMCh(a,P.5.10000)-0 О0 ОСтационарные вероятности состояний для эргодической матрицы Р2Стационарные вероятности состояний для эргодической матрицы Р21 1 Г 3 3 31 1 Г 3 3 3025 А025 АStStPr(P2) -StStPr(P2) -1 3 1s5 5 5,1 3 1s5 5 5,0.333<0.417,0.333<0.417,Поглощеюцая цепь Маркова РЗПоглощеюцая цепь Маркова РЗСреднее число визитов в неаазвратные состоянияСреднее число визитов в неаазвратные состояния<3.922 2.549<3.922 2.549MeanV(P3.2)- 3.725 3.922MeanV(P3.2)- 3.725 3.922V3399 2.076V3399 2.0762.1572.5493.2032.1572.5493.203Вероятности поглощения в различные возвратные состоянияВероятности поглощения в различные возвратные состояния<0216 0.784АЬРг(Р3.2)- 0.255 0.745 ( 0.32 0.66 .<0216 0.784АЬРг(Р3.2)- 0.255 0.745 ( 0.32 0.66 .Матрицы достижимости состояний цепиМатрицы достижимости состояний цепи10000'0 10 0 0Асс(РЗ) -1111111111<11111,10000'0 10 0 0Асс(РЗ) -1111111111<11111,Принадлежность состояний цели к различным классамПринадлежность состояний цели к различным классамDec(P3)Dec(P3)0 1 2 3 4^.1 2 0 0 oj0 1 2 3 4^.1 2 0 0 ojРис. 8.5. Результаты вычислений для цепей МарковаРис. 8.5. Результаты вычислений для цепей МарковаДалее рассматривается поглощающая цепь Маркова с матрицей вероятностей переходов за шаг РЗ. Функция MeanV(P3, 2) выдает среднее число визитов в не- Воэпратные состояния. Невозвратные состояния соответствуют строкам (для на- Мильных состояний) и столбцам (для посещаемых состояний) распечатываемой матрицы. Например, при выходе из первого невозвратного состояния цепь Мар-Далее рассматривается поглощающая цепь Маркова с матрицей вероятностей переходов за шаг РЗ. Функция MeanV(P3, 2) выдает среднее число визитов в не- Воэпратные состояния. Невозвратные состояния соответствуют строкам (для на- Мильных состояний) и столбцам (для посещаемых состояний) распечатываемой матрицы. Например, при выходе из первого невозвратного состояния цепь Мар-
Вероятности состояний цепи Маркова в течение 5-ти «агов
Вероятности состояний цепи Маркова в течение 5-ти «агов
0 0 1
2
3
4
5 '
1 0 0
0.16
0.208
0.267
0298
StPr(a.P,5)-
2 0 02
0.10
023
0239
0256
3 0 0.1
0.17
0219
0253
0277
ч4 1 0.7
0.49
0.343
024
0.168,
0 0 1
2
3
4
5 '
1 0 0
0.16
0.208
0.267
0298
StPr(a.P,5)-
2 0 02
0.10
023
0239
0256
3 0 0.1
0.17
0219
0253
0277
ч4 1 0.7
0.49
0.343
024
0.168,
Имитационное моделирование цепи Маркова. Частоты состоянии
О0.171020602730.3 '
0.210.1750^380239026
0.0950.163021302450.268
0.6950.491024302420.172 >
Имитационное моделирование цепи Маркова. Частоты состоянии
О0.171020602730.3 '
0.210.1750^380239026
0.0950.163021302450.268
0.6950.491024302420.172 >
F rModMCh(a,P.5.10000)-
F rModMCh(a,P.5.10000)-
0 О
0 О
Стационарные вероятности состояний для эргодической матрицы Р2
Стационарные вероятности состояний для эргодической матрицы Р2
1 1 Г 3 3 3
1 1 Г 3 3 3
025 А
025 А
StStPr(P2) -
StStPr(P2) -
1 3 1s5 5 5,
1 3 1s5 5 5,
0.333
<0.417,
0.333
<0.417,
Поглощеюцая цепь Маркова РЗ
Поглощеюцая цепь Маркова РЗ
Среднее число визитов в неаазвратные состояния
Среднее число визитов в неаазвратные состояния
<3.922 2.549
<3.922 2.549
MeanV(P3.2)- 3.725 3.922
MeanV(P3.2)- 3.725 3.922
V3399 2.076
V3399 2.076
2.157
2.549
3.203
2.157
2.549
3.203
Вероятности поглощения в различные возвратные состояния
Вероятности поглощения в различные возвратные состояния
<0216 0.784
АЬРг(Р3.2)- 0.255 0.745 ( 0.32 0.66 .
<0216 0.784
АЬРг(Р3.2)- 0.255 0.745 ( 0.32 0.66 .
Матрицы достижимости состояний цепи
Матрицы достижимости состояний цепи
10000'
0 10 0 0
Асс(РЗ) -
11111
11111
<11111,
10000'
0 10 0 0
Асс(РЗ) -
11111
11111
<11111,
Принадлежность состояний цели к различным классам
Принадлежность состояний цели к различным классам
Dec(P3)
Dec(P3)
0 1 2 3 4^.1 2 0 0 oj
0 1 2 3 4^.1 2 0 0 oj
Рис. 8.5. Результаты вычислений для цепей Маркова
Рис. 8.5. Результаты вычислений для цепей Маркова
Далее рассматривается поглощающая цепь Маркова с матрицей вероятностей переходов за шаг РЗ. Функция MeanV(P3, 2) выдает среднее число визитов в не- Воэпратные состояния. Невозвратные состояния соответствуют строкам (для на- Мильных состояний) и столбцам (для посещаемых состояний) распечатываемой матрицы. Например, при выходе из первого невозвратного состояния цепь Мар-
Далее рассматривается поглощающая цепь Маркова с матрицей вероятностей переходов за шаг РЗ. Функция MeanV(P3, 2) выдает среднее число визитов в не- Воэпратные состояния. Невозвратные состояния соответствуют строкам (для на- Мильных состояний) и столбцам (для посещаемых состояний) распечатываемой матрицы. Например, при выходе из первого невозвратного состояния цепь Мар-
/
кова посетит в среднем 3.922 раз это же состояние, 2.549 — второе и 2-157 — третье невозвратные состояния./
Функция АЬРг(РЗ, 2) дает вероятность поглощения в различные возвратные состояния. В первое состояние цепь Маркова попадает из невозвратных состояний с вероятностями 0.216, 0.255 и 0.320. С противоположными вероятностйми 0.784, 0.745 и 0.680 цепь после выхода из невозвратных состояний оказывается во втором возвратном состоянии.
Функция Лсс(РЗ) рассчитывает матрицу достижимости для состояний цепи Маркова с матрицей РЗ. Цепь Маркова не может выйти из каждого возвратного состояния (две первые строки матрицы), так что эти состояния являются поглощающими. А из каждого невозвратного состояния можно попасть в любое состояние цепи (три последние строки матрицы). Функция Оес(РЗ) описывает принадлежность состояний к различным классам. Например, каждое из двух первых состояний образует замкнутые классы с номерами 1 и 2. Остальные три состояния попадают в нулевой класс, то есть они являются невозвратными.
Задания для самостоятельной работы
Используйте представленные выше функции пользователя для вычислений при решении нижеприведенных задач 8.1 и 8.2.
Используя функцию Dec, разбейте множество состояний цепи Маркова, рассмотренной в примере 8.5, на замкнутые классы.
Проанализируйте логику работы программы, реализующей функцию StPr.
С помощью функций MeanV и АЬРг вычислите средние времена пребывания в невозвратных состояниях до поглощения и вероятности поглощения в различные возвратные состояния для матрицы переходных вероятностей Р2 из задачи 8.1.
Разработайте программу, вычисляющую стационарное распределение вероятностей состояний для цепи Маркова типа «размножения и гибели» (см. пример 8.11).
Составьте программы, выполняющие необходимые вычисления в задачах 8.4 и 8.5.
Составьте программу, вычисляющую матрицу переходных вероятностей за шаг для обращенной цепи Маркова, описанной ниже в задаче 8.9.
Задачи
Задача 8.1. Дайте классификацию состояний цепей Маркова со следующими матрицами переходных вероятностей за шаг:
' 0 0 0 г
' 1/4 1/4 0 1/4 1/4"
10000
Р1 =
0 1/2 1/2 0
0100
, Р2 =
00 2/3 1/3 0
< 1 0 0 0,
00 2/5 2/5 0
,1/8 1/4 1/8 0 1/2,
Задача 8.2. Пусть начальное распределение вероятностей состояний цепи Маркова задается вектором а(0) = (1, 0, 0) и пусть матрица переходных вероятностей есть 1
'0.2
0.6
0.2'
р =
0.3
0.2
0.5
(0.7
0.1
0.2J
Найдите распределение вероятностей состояний цепи за и = 1, 2, 3 шага, а также ее стационарное распределение.
Задача 8.3. Пусть Уь У2, ... — независимые целочисленные случайные величины с одним и тем же распределением вероятностей р, = Р{У = z}, z = 0, 1, ... Пусть Sn = У1 + У2 + ... + У„ — сумма первых п таких величин. Покажите, что последовательность 5Ь 525„ образует цепь Маркова. Какой будет матрица переходных вероятностей для этой цепи?
Задача 8.4. Модель запасов. Недельный спрос на некоторую продукцию, хранящуюся на складе, является целочисленной случайной величиной У, имеющей распределение вероятностей Р{У = z} = ph i = 0, 1, ... Спрос за разные недели — взаимно независимые случайные величины. Пополнение запаса продукции происходит раз в неделю по стратегии (s, 5): если в начале недели объем хранящейся продукции больше уровня s, то заказ на поставку продукции не делается и ее объем остается прежним. Если же объем имеющейся продукции меньше или равен s, то этот объем пополняется до уровня 5.
Рассмотрим моменты времени, соответствующие началу недели. Пусть Х„ — объем продукции сразу после ее пополнения в начале /г-й недели. Тогда (Х„) — цепь Маркова, для которой под шагом понимается неделя, а под состоянием — уровень запаса продукции. Выпишите для этой цепи выражения для вероятностей переходов между состояниями за шаг.
Задача 8.5. Вероятность разорения страховой компании. Первоначальный капитал страховой компании составляет с условных единиц. Ежемесячно этот капитал увеличивается на 8. В течение месяца поступают иски застрахованных клиентов, которые необходимо оплачивать. Количество исков за месяц имеет распределение Пуассона с параметром К. Иски за различные месяцы — взаимно Независимые случайные величины. Выплачиваемая по иску сумма равна одной условной единице. Компания оказывается разоренной, если в конце месяца окажется, что ей нечем оплачивать поступившие за последний месяц иски.
Пусть Xj — фактический капитал компании в начале z-го месяца. Последовательность Xti, Хь Х2, ... является цепью Маркова, шаг которой соответствует месяцу. Выпишите вероятности переходов между состояниями этой цепи за шаг. Найдите вероятность разорения компании за п месяцев. Проведите численные расчеты для с ■ 5, 8 = 2, X = 2, и = 1,2, 3, 4.
Задача 8.6. Дважды стохастическая матрица. Квадратная матрица из неотрицательных элементов называется дважды стохастической, если сумма элементов каждой» столбца и каждой строки равна единице. Покажите, что если цепь Мар- кона обладает дважды стохастической матрицей переходных вероятностей, то
стационарное распределение вероятностей ее состояний будет равновероятным: каждое из к состояний имеет вероятность Х/к.;
Задача 8.7. Пусть цепь Маркова со счетным множеством состояний задается следующей матрицей переходных вероятностей:.
<9оРо00
р9,9iPi0...
9г929гРг•••
:::
где р( qt> 0 и pt + (z + 1)^, = 1, z = 0, 1,...
Действуя так, как в примере 8.11, найдите условие эргодичности цепи и выпишите стационарное распределение вероятностей ее состояний.
Задача 8.8. В условиях примера 8.12 выведите явные формулы для математического ожидания числа требований в очереди и в системе.
Задача 8.9. Обращенные цепи Маркова. Пусть Р — матрица переходных вероятностей за шаг эргодической цепи Маркова и а — ее стационарное распределение вероятностей состояний. Напомним, что (г, у)-й элемент р^ матрицы Р есть вероятность оказаться на следующем шаге в состоянии j, если текущее состояние есть г. А какова вероятность того, что предыдущим было состояние j, если текущим является г и рассматривается стационарный режим цепи? Обозначим эту вероятность pja.
Вероятность pja может быть найдена из следующего простого замечания: вероятность события «на двух последовательных шагах состояние г сменилось состоянием j » можно подсчитать двумя способами, что приводит к уравнению
Откуда находим, что pja = а,рц/а}. Так определенные значения pja неотрицательны и удовлетворяют условию нормировки, поскольку из условия (8.22) для стационарных вероятностей следует, что
2 Рм =У.°1Рм/°) =°j/°j = 1 v/
Покажите, что стационарные распределения вероятностей состояний для исходной и обращенной цепей Маркова совпадают.
Отметим, что если исходная цепь Маркова позволяет прогнозировать будущее, основываясь на настоящем, то обращенная цепь позволяет анализировать прошлое, основываясь на настоящем.
9 Дискретные марковские процессы
Определение марковского процесса
В цепях Маркова предполагается, что состояния случайного процесса рассматриваются в равноотстоящие моменты времени н = О, 1,2, ... Можно считать, что между этими моментами состояние процесса не меняется (рис. 9.1, а). Итак, время «сидения» в каждом состоянии кратно шагу. Предположим теперь, что время пребывания в состоянии i имеет экспоненциальное распределение с параметром X,, то есть средним 1/Х,. Тогда та же траектория может выглядеть так, как ЭТО показано на рис. 9.1, б.
t0t| tjt3 t4t5
6 Рио. 9.1. Тоаектооии a — цепи Майкова и б — маоковг.кпт nnnuarre
Определение 1. Дискретным марковским процессом (МП) с непрерывным временем X(t) называется процесс, который:
имеет дискретное множество состояний Е = {0, 1, 2, ...};
длительность непрерывного нахождения процесса в состоянии i имеет экспоненциальное распределение с параметром (интенсивностью выхода из состояния) X, > 0, г = 0, 1,2, ...;
по истечении времени пребывания в состоянии i процесс мгновенно (скачком) переходит в состояние j в соответствии с вероятностями переходов pyj (не исключено, что i = j);
длительности пребывания в состояниях являются взаимно независимыми случайными величинами, не зависящими также от переходов процесса между состояниями;
переходы процесса между состояниями осуществляются в соответствии с правилами для цепей Маркова, имеющих матрицу переходных вероятностей Р = Ш-
Приведенное определение носит конструктивный характер, поскольку позволяет построить соответствующий марковский процесс. Действительно, пусть марковский процесс находится в состоянии i. С помощью датчика случайных чисел вырабатываем случайную величину, имеющую экспоненциальное распределение с параметром Х;. Примем ее за время пребывания марковского процесса в состоянии г. По истечении этого времени в соответствии с вероятностями р^.ру,... вырабатываем следующее состояние, в которое переходит марковский процесс. Далее описанная процедура повторяется. Изложим соответствующий алгоритм моделирования марковского процесса.
Алгоритм базируется на соответствующем алгоритме для цепей Маркова, приведенном в разделе 8.1. Отличие заключается в том, что кроме последовательности состояний, в которые переходит марковский процесс, необходимо указывать и длительности пребывания в состояниях. С этой целью мы рассматриваем скачки марковского процесса (т. е. цепь Маркова) и фиксируем состояние Хп после и-го скачка и момент времени Т„ следующего (и + 1)-го скачка. Пару X = (Хо, Хь ...), Т = (Го, Tv,...) будем называть протоколом марковского процесса. Фактическое состояние марковского процесса X(t) в момент времени t определяется на основании протокола (X, Т) по формуле
Ж> = ^„, TttA <t<Tn.
Алгоритм моделирования протокола марковского процесса
Вход:
к — число состояний марковского процесса,
Р — матрица переходных вероятностей за шаг,
X — вектор интенсивностей выходов из состояний Хо, X,,..., Хк_х,
а<0) — вектор вероятностей состояний а^, ах0) а^ в начальный момент времени t = О,
п — количество скачков процесса, в течение которых осуществляется моделирование.
Выход:
X = (Хо, X,Х„) — состояния цепи Маркова до п-го скачка (шага) включительно,
Т = (Го, Гь.... Г„) — моменты скачков процесса.
Алгоритм
Шаг 0. Выработать равномерно распределенное в интервале (0, 1) случайное число R и определить начальное состояние марковского процесса Хо на нулевом шаге, то есть в момент времени 0:
Хо = тт{г=0,1,...,£-1:Я<а<0> + а^ + ...+ а^}.
Положить г = Хо. Выработать случайную величину И7, имеющую экспоненциальное распределение с параметром X,.. Положить Тц = W, I = 1.
Шаг /= 1, 2и. Выработать равномерно распределенное в интервале (0, 1) случайное число R и определить состояние цепи Маркова Х( на /-м шаге:
X, = шш{;=0,1,...Д-1: R<pia +pi3 + -. + р^}.
Положить г = X/. Выработать случайную величину W, имеющую экспоненциальное распределение с параметром X,. Положить Г/= Т^ + W. Перейти к шагу / + 1. Данный алгоритм реализован в компьютерных функциях ModMp(a, Р, X, R), ImPMP(a, Р, X, и, гп) и Y(a, Р, X, п, 8/ которые описаны ниже в компьютерном практикуме.
Пример 9.1. Моделирование марковского процесса. Рассмотрим марковский процесс с четырьмя состояниями (£ = 4) и следующими матрицей вероятностей переходов за шаг и вектором интенсивностей выходов из состояний:
0
0.1
0.5
0.4"
'0.5
0.2
0.1
0.2
0.5
, х =
1
0.3
0.2
0.2
0.3
0.75
0.1
0.3
0.6
0 >
1 2
Предположим, что первоначально марковский процесс находится в третьем состоянии (i = 3), так что вектор состояний на нулевом шаге а(0) = (0, 0, 0, 1). В табл. 9.1 представлен протокол однократного моделирования данного марковского процесса в течение семнадцати скачков (п = 17). Этот протокол был получен функцией ImPMP. В табл. 9.2 приведена соответствующая траектория процесса, полученная функцией 5.
Таблица 9.1. Протокол однократного моделирования марковского процесса
Номер скачка, /
0
1
2
3
4
5
6
7
8
Состояние процесса, Х(
3
2
3
1
3
2
0
2
2
Момент след, скачка, Г,
0.78
1.57
2.66
2.94
3.24
4.35
5.07
6.18
6.91
Номер скачка, /
9
10
11
12
13
14
15
16
17
Состояние процесса, X,
3
2
3
1
2
0
2
3
2
Момент след, скачка, Г,
7.14
8.06
8.24
9.90
12.20
13.76
16.86
18.14
18.36
Таблица 9.2. Траектория однократного моделирования марковского процесса
Момент времени, t
0
1
2
3
4
5
6
7
8
Состояние процесса, X(t)
3
2
3
3
2
0
2
3
2
Момент времени, t
9
10
И
12
13
14
15
16
17
Состояние процесса, X(t)
1
2
2
2
0
2
2
2
3
В табл. 9.3 приведены частоты различных состояний для равноотстоящих с шагом 8=1 моментов времени. Они были получены функциями У(а, Р, v, п, 8) и FrModMP(a, Р, V, $ и, m) в результате стократного моделирования данного марковского процесса, осуществленного согласно приведенному алгоритму.
Таблица содержит частоты {рз/0*} различных состояний в зависимости от момента времени t, а также истинные вероятности состояний {рз/t)}, подсчитанные по формулам (9.10) и (9.15). При t, стремящемся к бесконечности, вероятности состояний стремятся к некоторым положительным константам. Эти константы называются стационарными вероятностями состояний. Они приведены в последнем столбце таблицы, в шапке которого записано t = со. Мы вернемся к обсуждению этих результатов в разделе 9.4. □
Таблица 9.3. Распределение вероятностей и частот состояний
t = 0
t= 1
t = 2
< = 3
t = 5
t = 10
t = co
А,«(О*
0
0.159
0. 211
0.246
0.274
0.309
Ао(О
0
0,150
0.226
0.264
0.292
0.300
0.301
Ал(0*
0
0.192
0.191
0.176
0.158
0.167
А.ХО
0
0.201
0.194
0.180
0.169
0.165
0.165
А.1(0*
0
0.438
0.461
0.462
0.472
0.418
А.1(О
0
0.433
0.446
0.433
0.421
0.417
0.416
А,з(0*
1
0.211
0.137
0.121
0.096
0.106
Рз.з(О
1
0.216
0.133
0.122
0.119
0.118
0.118
Отметим два свойства марковского процесса. 1) Если рассматривать только моменты скачков процесса, то имеет место обычная цепь Маркова. О ней говорят как о вложенной цепи Маркова. 2) Информация о том, сколько времени уже находится процесс в состоянии г, не влияет на длительность остающегося времени пребывания в этом состоянии. Это свойство экспоненциального распределения называется отсутствием памяти и вытекает из следующей леммы.
Лемма 9.1. (Отсутствие памяти экспоненциального распределения). Пусть W — случайная величина, имеющая экспоненциальное распределение с параметром X > 0. Тогда для х, у > 0
(9.1)(9.1)P(W > х + у | W > у} = P(W > .г}.
(9.1)
(9.1)
Доказательство
Для экспоненциального распределения (4.10) дополнительная функция распределения случайной величины IV дается формулой
P\W>x> = е"х\ х> 0.(9.2)
Поскольку в силу положительности х и у событие {W > х + у) влечет событие {W> у}, то
{IV > х + у, W > у} = {W > х + у}.
Следовательно, для условной вероятности события {IV > х + у} при условии, ЧТО событие {IV > у} произошло, имеем выражение
ппт7 I > р№ >х + У- W > у} P{W > х + у}
PIW > х + u\W > и\ = ——— = _122. =
p-XU + z/)p-XU + z/)Р^>у^P^W>y\
p-XU + z/)
p-XU + z/)
= е-Хх = P^W > xY□
е'
Отмеченные выше свойства говорят о том, что в каждый момент времени марковский процесс полностью описывается состоянием, в котором он находится: ни время пребывания в этом состоянии, ни то, как он сюда попал, роли не играет (по свойствам экспоненциального распределения и цепей Маркова). Это свойство, как и для цепи Маркова, называется марковским и означает «зависимость будущего только от настоящего, но не от прошлого».
При исследовании марковских процессов мы часто будем применять следующее их свойство, сформулированное ниже.
Лемма 9.2. Пусть марковский процесс находится в состоянии г, в течение времени х. Тогда вероятность того, что в течение ближайшего элементарного интервала времени длиной Д t будет иметь место скачок процесса, равна X, Д Г + о(Д 0.
Доказательство
Пусть IV есть полное время пребывания процесса в данном состоянии. Событие (х < IV S х + ДГ) можно представить в виде разницы событий {IV > х) и {IV > х + ДГ}. Теперь на основании леммы 9.1 имеем соотношения для малых ДГ:
Р{х <W < х + Д t| IV > х} = P^W > х| IV > х) -P^W > х + Д Г| IV > х) =
= 1 -7>{W > Д0 = 1-= 1-(1-Х, ДГ + о(Д0) = Х,ДГ + о(Д0.□
Лемма 9.3. Пусть IV и V — две взаимно независимые случайные величины, имеющие экспоненциальное распределение с параметрами X и р. Тогда случайная величина Z = min{lV, V} имеет экспоненциальное распределение с параметром а ■ X + р. Кроме того, P{W < V} = Х/(Х + р).
Доказательство
Дополнительная функция распределения случайной величины Z имеет вид P^Z >z} = P{W >z,V >2} = P{W > z} P{V > z} = e^e^ = e"<x^ >'.
Следовательно, Z имеет экспоненциальное распределение с параметром а ■ Х*р. Рассмотрим теперь событие {IV S V). Случайная величина IV принимает значение ил интервала (х, х + dLr) с вероятностью X exp (-Хх)</х + o(tZr). Рассматри-
ваемое событие наступает, если V превышает значение х, вероятность чего ехр(-цл) + o(tZr). Интегрируя это по значениям х, окончательно получаем:
P\W <¥\Це-ухХе^<1х = -^—.□
оХ + ц
Приведенные леммы будут интенсивно использоваться при исследовании марковских процессов.
Уравнения Колмогорова
Как и для цепи Маркова, при изучении марковского процесса основной интерес представляют вероятности переходов между состояниями за заданное время. Пусть р^Р) означает вероятность перехода процесса из состояния г в состояние j за время t:
pLj(t) = P{X(t) = j\X(O) = i}.
Эти вероятности необходимо выразить через величины {X,} и {р^}, определяющие марковский процесс. С этой целью рассмотрим первый скачок процесса после момента 0. Возможны два случая. Во-первых, этот скачок может произойти после момента времени t, вероятность этого ехр(-Х^)- В этом случае в момент t процесс будет иметь исходное состояние г. Во-вторых, первый скачок может произойти до момента t, в некотором интервале (и,и + Aw), вероятность этого X; cxp(-X,u)du. После этого процесс скачком переходит в некоторое промежуточное состояние и, вероятность чего есть piv. Наконец, за оставшееся время t - и процесс переходит из состояния и в состояние ;, вероятность этого есть p„j (t - и). Поскольку в качестве и может фигурировать любой момент времени от 0 до i, а в качестве промежуточного состояния и любое состояние, то справедливо уравнение
р, у (t) = 5, у e X/t + J X, е"х‘и YPiyPv.j(t-u)du,0V
где
при i = j,
О; : = <
[0 при г * j.
Умножая обе части этого уравнения на ех,‘ и производя в интеграле замену переменных у = t - и, находим, что
е‘" ‘pi.jCt) = &,;> + ^, j eXi * X PiyP*j ItiW
0V
Дифференцируя по t обе части этого равенства, получаем
х^р,^ (Л + е^Р; , (Г) = X/^p^p^ty
После сокращения на exp(X,i) окончательно приходим к формуле
Pij(t) = Xi'^pliVpva(1O-Xl p,^t\ i,j, t^O.(9.3)
К этому необходимо добавить начальные условия
PiA^-t. Pij^) = 0 при i * j.(9.4)
Формула (9.3) описывает так называемые обратные дифференциальные уравнения Колмогорова. При каждом фиксированному они представляют собой систему обыкновенных дифференциальных уравнений. Решая эту систему, находим вероятности p^ttY того, что цепь Маркова будет находиться в момент времени t в состоянии у, если в первоначальный момент времени она находится в состоянии г. Мы видим, что система (9.3) дает ответ на тот же вопрос, что и формула (8.15) для случая цепей Маркова.
При выводе обратных уравнений Колмогорова все рассуждения проводились на основе рассмотрения первого скачка марковского процесса. Рассмотрим теперь не первый, а последний до момента времени t скачок марковского процесса. Пусть процесс исходит из состояния i в момент времени 0. В момент t он окажется в состоянии у, если в момент и процесс находился в некотором промежуточном состоянии v (вероятность этого p1-v (м)), в интервале (и,и + du) произошел скачок (вероятность этого равна Xtldu\ причем последующим оказалось состояние у (вероятность pvj) и после этого скачков не было вплоть до момента времени t (вероятность этого равна ехр{-Х; (t-м)}). Учитывая, что в качестве промежуточного может фигурировать любое состояние, а момент и может быть любым в интервале (0, t), получаем соотношение (с естественной спецификой случая
Pi.j(t) =+ ^Р>Аи>Ж p^e^’^du, ^ij, t>0.
о v
Умножая обе части полученного уравнения на ехр(Х^) и дифференцируя по I, приходим к уравнению
XjeKitPi.j(t) + е’1р^j(.t)=Y,piv(t)XvpvJ eXj*.
Итак, окончательно получаем систему, называемую прямыми дифференциальными уравнениями Колмогорова-.
kAO^Pi.XOKPv.j -XjPijtt), ViJ, <>0.(9.5)
Сюда следует добавить начальные условия (9.4).
В заключение обсудим следующий вопрос: когда следует применять прямые уравнения Колмогорова, а когда — обратные? Обратим внимание на то, что в прямых уравнениях (9.5) в неизвестных вероятностях фиксировано исходное состояние i, а в обратных уравнениях (9.3) — заключительное состояние у. Поэтому Прямые уравнения применяются, когда исходное состояние i (в нулевой момент Времени) известно, и мы интересуемся распределением вероятностей различных Состояний в момент времени t.
Обратные уравнения используются, когда имеет место противоположная карги- ИВ! исходное состояние i является случайным, и мы интересуемся вероятностью ВОИКРСТНОГО СОСТОЯНИЯ / В момент племени t
Системы обыкновенных дифференциальных уравнений (9.3) и (9.5), как правило, решаются численными методами. Только в отдельных частных случаях удается получить аналитическое решение этой системы. Таковым, в частности, является пуассоновский процесс.
Пуассоновский процесс
Пуассоновский процесс задается условиями:
£ = 0,1,2,..., X, =Х,р.и1 = 1Д = 0, 1, 2,...
Следовательно, процесс каждый раз переходит в следующее состояние с большим номером, причем продолжительность пребывания в каждом состоянии имеет экспоненциальное распределение с одним и тем же параметром X для всех состояний.
Однако обычно пуассоновский процесс описывается другим способом. Рассматривается поток однородных событий. Интервалы времени между событиями являются взаимно независимыми случайными величинами, имеющими экспоненциальное распределение с параметром X. Мы интересуемся числом событий X(t\ наступивших до момента времени t. Чаще такой процесс называют пуассоновским потоком. Далее мы будем использовать этот термин.
В обоих случаях задача заключается в определении переходных вероятностей PijW = ^{-^(0 =j I -^(0) = О- Мы решим эту задачу двумя способами, соответствующими двум приведенным определениям пуассоновского потока. Начнем с первого определения и применим для решения обратные уравнения Колмогорова (9.3).
Ясно, что р;} (t) = 0 при j < i и поэтому (9.3) принимает вид
Pij^^Xp^j^-Xpi^ty i<j, t>0.
При i = j получаем
Р).А^ = -^Р),Д^^>0-
откуда находим, что
Р^ДР) = ехр(-ХГ), t > 0.
Отметим, что начальные условия (9.4) для данного случая выполняются.
Для i < j умножим исходное уравнение на еи и сделаем следующие преобразования:
еирм^^^ирм^ = ^и рм ^у^‘p^ty^Xe^ p^ ^ty
Мы имеем дифференциальное уравнение с разделяющими переменными. После его интегрирования получаем:
р,+1Ди^и,
р, ;(i) = е х'JXex“ pi+1 Дм) i < j, t>0.
о
Это соотношение позволят находить вероятности Pij(t) рекуррентно. Для i = j -1, t > О, находим:
Pj-vj (О = e'v J Xe^Pj j (и) du = e~v j XeXue"Xudu = Xt e~xt. оо•
При i = j - 2, t > 0 аналогично получаем:
Pj-i j (О = e"xt J ХеХирИ) (и) du = e*x'J Xex“Xu e"Xudu = ^^ e"Xt.оо2
Общая формула имеет вид:
Pi^ = V"^T^\e’Xt'r-°-(916)
Итак, приращение пуассоновского потока за время t имеет распределение Пуассона с параметром Xt.
Этот же результат при втором подходе получается так. Здесь предполагается, ч,то i = 0, так что Х(ф — число событий (скачков потока), наступивших до момента t. Обозначим 5„ момент времени наступления n-го события. Поскольку интервалы времени между событиями взаимно независимы и имеют одно и то же экспоненциальное распределение с параметром X, то согласно примеру 7.3, S„ имеет распределение Эрланга (4.19) с параметрами Хи и:
Р{5„ <Г} = 1-2^-е-х', Т>0.
()тметим теперь соотношение
(Х(0 = «}={5„ ^-^ 50,
фиксирующее очевидный факт: за время t наступило ровно п событий тогда и только тогда, когда п-е событие наступает до момента Г, а (и + 1)-е событие — не наступило.
Приведенное соотношение позволяет нам выразить вероятность события (А’(0 = и) через вероятности событий {5„ < Г} и {5и+1 < (}. Поскольку событие (SN<I £ 0 влечет событие (5„ < Г), то применяя формулу (1.18), получаем прежний результат:
Р{Х(0 = «}=Ж <Т}-Р{5„+1 <0 =
= 1 - V (^^1 + V (^£)^ g-XX (XQ" е-Х(
м Иi!п\ "
Учитывая отсутствие памяти экспоненциального распределения (9.1), можно сформулировать следующее основное свойство пуассоновского потока; число событий, наступающих за непсресекающиеся интервалы времени, являются взаимно тманисимыми случайными величинами, причем частное распределение для интервала длиной / является пуассоновским с параметром Xt.
Рассмотрим теперь два независимых пуассоновских потока %i(t) и X2(t) с интенсивностями X и р. Из лемм 9.1 и 93 следует, что интервалы времени между событиями объединенного потока являются взаимно независимыми случайными величинами, имеющими экспоненциальное распределение с параметром Х + ц. Следовательно, объединенный поток является пуассоновским.
Вероятность того, что за время t наступило i событий первого потока и п - г событий второго потока, в силу независимости потоков равна
ПХх (?) = i, Х^ = п - z) = М е^ Mil г! (и —г)!
Вероятность того, что за время t наступит п событий объединенного потока, вычисляется по формуле
Р\Хх (?) + Х2 (t) = п} = ^ + ^>'.
п\
Условная вероятность того, что за время t наступило г событий первого потока, вычисленная при условии, что имели место п событий объединенного потока, составляет
Р^Хх ^ = i I Хх (?) + Х2 (?) = и} =
Р\Хх-w- f Y( рz"!(zz-z)l(x + p) уХ + ц,
Итак, рассматриваемое условное распределение является биномиальным (3.3) с параметрами р = Х/(Х + р) и п и не зависит от времени t.
Будем теперь рассматривать моменты наступления событий объединенного потока, которые будем называть шагами и обозначать п = 0, 1,... Пусть У„ есть разность между количеством событий первого и второго потоков, наступивших до п-го шага. Следовательно, на каждом шаге Уп увеличивается на единицу с вероятностью р = Х/(Х + ц) и уменьшается с противоположной вероятностью q = р/(Х + р). Итак, мы имеем случайное блуждание, рассматривавшееся в разделе 2.4.
Как и ранее, конкретную траекторию (О, Уь У2, ..., У„) можно описать последовательностью приращений ДУ) = У, - У)_ь то есть как (О, ДУЬ ДУ2 ДУ„), где ДУ) = +1 означает скачок первого потока, а Д}) = -1 — второго потока. Вероятность любой траектории, содержащей г скачков первого потока и п - г скачков второго потока, равна, очевидно, Хц"'*(Х + ц)"". Следовательно, условная вероятность того, что имеет место данная траектория, вычисленная при условии, что зафиксировано i скачков первого потока и и - г скачков второго потока, равняется
Х'ц”"'(Х + И)""._11
п\ I X W ।
z!(zz-z)!VX + p )+ ц )И(п-г)!
Отсюда следует, что все рассматриваемые траектории равновероятны. Ранее (см. пример 2.5, задача о баллотировке') это предполагалось априори верным. Следовательно, в случае независимых пуассоновских потоков это действительно так, Пример 9.2. Задача о баллотировке. Продолжим рассмотрение примера 2.5. Пусть количество голосов, подаваемых за первого и второго кандидатов, описывается двумя независимыми пуассоновскими потоками с интенсивностями X и ц соответственно, на интервале времени (0, 1). Найдем вероятность того, что первый кандидат был все время впереди.
Обозначим А интересующее нас событие, НаЬ — гипотезу «первый кандидат набрал а, а второй b голосов». Условная вероятность события А, вычисленная при условии, что гипотеза НаЬ произошла, была найдена в примере 2.5 и составляет (а - Ь)/(а + Ь). Вероятность гипотезы НаЬ находится из условия независимости потоков по формуле (9.6). Теперь по формуле полной вероятности (1.23) получаем:
Приведенный пример показывает, как можно использовать ранее полученные результаты относительно экстремумов случайных блужданий (теорема 2.1), верОятности дефицита (пример 2.7) и пр. в случае пуассоновских процессов.
Численное решение уравнений Колмогорова
Уравнения Колмогорова (9.3) и (9.5) представляют собой систему линейных дифференциальных уравнений. Стандартная форма представления последних следующая:
х = х-А,(9.7)
где х = (x0(t), xt (t) .... хм (t)) — вектор-строка, компонентами которой являются неизвестные (искомые) функции; х =(—x0(t),—xx(t) — x*_i(Ol — век-
V dt dt dt )
Top производных функций (градиент); А = (а^ )ы — квадратная матрица из постоянных коэффициентов.
Решение системы (9.7) выражается через собственные числа и собственные векторы матрицы Ат. В связи с этим напомним соответствующие определения, ц имывается собственным числом матрицы Ат, если оно является решением относительно и уравнения
|Ат-у1| = 0,(9.8)
ГД® |М| — определитель квадратной матрицы М; I — единичная матрица размера к. Для квадратной матрицы Ат порядка к существует k собственных чисел (с учетом их кратности) ц0, ць ..., ик_х. Мы будем рассматривать случай, когда все собст- Мнныс числа — различные.
Для каждого собственного числа у, существует ненулевой вектор-столбец i,h, являющийся решением системы линейных алгебраических уравнений относительно z:
Атх=и,г.(9.9)
Теперь решение системы (9.7) можно представить в виде:
(9.Ю) /=о
где Ьо, Ьх, ..., Ьк_х — константы, подбираемые из начальных условий (9.4).
То, что формула (9.10) дает решение системы (9.7), проверяется легко. Во-первых, отметим, что производная по t от функции x(t), задаваемой формулой (9.10), есть
x = ^6,.e,,''y,.(z<i>)T.(9.11)
1=0
Подставляя выражение (9.10) для х в правую часть формулы (9.7), находим с учетом соотношений (9.9) и (9.11):
х-А = £ V^VA^A^ / = ^b^v^^ )т = х.
1=0(=0/=о
Итак, действительно, формула (9.10) дает решение системы линейных дифференциальных уравнений (9.7).
Приведем теперь систему уравнений Колмогорова (9.5) к стандартной форме (9.7). Будем считать, что начальное состояние г марковского процесса фиксировано (Р{Х(0) = г} = 1), и положим ^ (Г) = рц (t). Выразим матрицу А через матрицу Р и вектор X:
X, - Ри, если / * j,аи = ' *d,(9.12)
J l\i ‘PjJ если ^=7-
Матричный вид этого соотношения следующий:
A=D(P-I),(9.13)
где D = diag(X) — диагональная матрица, на диагонали которой стоят компоненты ХоД^^-Д^.
Теперь уравнения Колмогорова (9.5) представлены в стандартной форме (9.7).
Как указывалось, решение дается формулой (9.10). Фигурирующие в ней неизвестные коэффициенты {6,} находятся из начальных условий: в нулевой момент времени t = 0 система находилась в состоянии г;
х,(0) = 1; Xj (0) = 0, j * i.(9.14)
Пусть е(|) = (0, 00,1, 0,... 0) — вектор-строка размерности к, у которой единственная ненулевая компонента стоит на г-м месте и равна единице, Z = (z<0>, z<b,.... z^'0) — матрица, столбцами которой являются собственные векторы Ат. Тогда условие (9.14) требует, чтобы х(0) = е(|), и вектор неизвестных коэффициентов b = (Ьц, bb ..., 6^.,) находится из формулы (9.10):
х(0) = ^ ^(z10 )т = bZT, x(0) = eO) =bZT.
b = e<i)(ZT)-1.(9.15)
Итак, последовательность вычислений по формуле (9.10) следующая.
Формируем матрицу А согласно формуле (9.13).I <
Находим собственные числа Уо, У1 у<м и собственные векторы z***, z'1', ..., z^1" матрицы Ат. В частности, это можно сделать с помощью стандартных функций eigenval и eigenvec пакета Mathcad.
Составляем матрицу Z, столбцами которой являются собственные векторы _<0> _<1>
Z , Z , Z .
Формируем вектор-строку е0) = (0, 0, ...,0, 1, 0,..., 0) с единственной единицей на г-м месте и вычисляем вектор b = (6о, 6ц ..., 6*-i) по формуле (9.15).
Вычисляем вектор-строку x(t) = (pi^t), Pi,\(tY ..., p,>_i(t)) по формуле (9.10).
Пример 9.3. Рассмотрим следующую матрицу переходных вероятностей за шаг Р и вектор интенсивностей выходов из состояний X:
'' 0 0.1 0.5 0.4> Г 0.5'
р 0.2 0.1 0.2 0.5 х_ 1
- 0.3 0.2 0.2 0.3 ’ " 0.75 "
,0.1 0.3 0.6 0 J 2 ,
Матрица А, вычисляемая по формуле (9.13), имеет вид
A = D(P-I) =
"0.5000Y-10.10.5ОЛА (-0.50.050.25
_0100 0.2-0.90.20.5_ 0.2-0.90.2
”000.750 0.30.2-0.80.3“ 0.2250.15-0.6
,0002jto-l0.30.6-1) ( 0.20.61.2
0.2 ' 0.5 0.225 '
"2 ,
Вектор-столбец собственных чисел матрицы Ат, вычисленный функцией eigenval^') пакета Mathcad, таков:
v = (у0 у, у2 у3 )т = (-2.322 0 -0.712 -0.966)т.
Этим числам соответствуют следующие собственные векторы, вычисленные функцией eigenvec(A.\ v,):
1<0> =(0.008 -0.283 -0.527 0.802)т, z<!> =(0.554 0.299 0.754 0.214)т,
1,а> =(-0.838 0.352 0.409 0.078)т, z<3> =(-0.075 -0.591 0.793 -0.128)т.
Легко проверить, что эти векторы действительно удовлетворяют уравнению (9.9). Например, для первого собственного числа у0 = -2.322 и собственного векторе Г”* -(0.008 -0.283 -0.527 0.802)т имеем
'-0.5
0.2
0.225
0.2'
' 0.008 )
'-0.019'
' 0.008 '
Атг<0> =
0.05
-0.9
0.15
0.6
-0.283 _
0.657
= -2.322
-0.283<0>
0.25
0.2
-0.6
1.2
-0.527 "
1.223
-0.5270
.0.2
0.5
0.225
"2,
, 0.802 J
,-1.861,
, 0.802 ,
Вектор постоянных коэффициентов Ь, вычисляемый по формуле (9.15) в предположении, что в начальный момент времени t = 0 процесс находился в нулевом состоянии, имеет вид
b = e(0)(ZT)-* =(1 О Оb = e(0)(ZT)-* =(1 О О0.0080.544-0.838-0.075-0.2830.2990.352-0.591-0.5270.7540.4090.7930.8020.2140.078-0.1280.0080.544-0.838-0.075-0.2830.2990.352-0.591-0.5270.7540.4090.7930.8020.2140.078-0.1280)0)-0.0940.5520.820-0.165-0.3470.552-0.443-0.984-0.0960.552-0.3120.5111.0630.5520.370-0.011-0.0940.5520.820-0.165-0.3470.552-0.443-0.984-0.0960.552-0.3120.5111.0630.5520.370-0.011= (1 ООО)= (1 ООО)= (-0.094 0.552 0.820 - 0.165).= (-0.094 0.552 0.820 - 0.165).
b = e(0)(ZT)-* =(1 О О
b = e(0)(ZT)-* =(1 О О
0.008
0.544
-0.838
-0.075
-0.283
0.299
0.352
-0.591
-0.527
0.754
0.409
0.793
0.802
0.214
0.078
-0.128
0.008
0.544
-0.838
-0.075
-0.283
0.299
0.352
-0.591
-0.527
0.754
0.409
0.793
0.802
0.214
0.078
-0.128
0)
0)
-0.094
0.552
0.820
-0.165
-0.347
0.552
-0.443
-0.984
-0.096
0.552
-0.312
0.511
1.063
0.552
0.370
-0.011
-0.094
0.552
0.820
-0.165
-0.347
0.552
-0.443
-0.984
-0.096
0.552
-0.312
0.511
1.063
0.552
0.370
-0.011
= (1 ООО)
= (1 ООО)
= (-0.094 0.552 0.820 - 0.165).
= (-0.094 0.552 0.820 - 0.165).
Теперь у нас имеются все составляющие, с тем чтобы применить формулу (9.10) для вычисления нестационарных вероятностей состояний pjj(t) = Xj(t):
>о,о(Оу
' 0.008 '
тГ0.544'
т
х(О =
Р 0,1(0= _
Р0,2(О ,Ро.з(0,
0.094 e"2322' -°283
-0.527
, 0.802 ;
(-0.838V
+ 0.552 °2" 0.754 (0.214;
f-0.075)T
+
+ 0.820 e-°-712t
0,352-0.165 e-°966t0-591 .
0.4090.793
, 0.078 )(-0.128,
Соответствующие вероятности приведены в табл. 9.4.
Таблица 9.4. Нестационарные вероятности состояний VPojW)
t
0
0.2
0.5
1
2
4
7
10
j = 0
1
0.907
0.790
0.643
0.468
0.341
0.305
0.301
;=1
0
0.011
0.031
0.063
0.110
0.150
0.163
0.165
j-2
0
0.049
0.116
0.207
0.317
0.394
0.414
0.416
j = 3
0
0.033
0.063
0.087
0.105
0.115
0.118
0.118
Из приведенной формулы видно, что при t, стремящемся к бесконечности, все слагаемые правой части последнего равенства, кроме второго, стремятся к нулю. Поэтому
'Poj»(.O' PoiG)
т
'0.544'
. _ 0.299
т
'ojoiV 0.165
x(t) =
>0.552
—
Рй2^)
0.754
0.416
1/>ад(0;
(0.214 J
^0.118)
Мы получили так называемые стационарные вероятности состояний, о которых будет идти речь в следующем разделе.
Стационарное распределение вероятностей состояний
При изучении цепей Маркова, то есть марковских процессов с дискретным временем, было показано, что для эргодических цепей имеет место предельное распределение вероятностей состояний, когда число сделанных шагов стремится К бесконечности. Аналогичную картину естественно ожидать и в случае непрерывного времени. Соответствующую теорему приведем без доказательства.
Теорема 9.1. Пусть для рассматриваемого дискретного марковского процесса выполняются следующие условия. 1) Матрица переходных вероятностей Р соответствует эргодической цепи Маркова. 2) Параметры X, , характеризующие времена пребывания в состояниях, строго положительны и ограничены сверху. Тогда существуют пределы
limp,,(О = л,-. Vij,
не зависящие от начального состояния г и определяющие стационарное (инвариантное) распределение вероятностей состояний.
Физически предел л, означает долю времени, в течение которого марковский процесс находится в состоянии j, если рассматривать установившийся, стационарный режим функционирования. Следующая задача заключается в нахождении этих стационарных вероятностей. При этом следует иметь в виду, ЧТО (О—^—►& Попытка использовать для этого обратные уравнения Колмогорова (9.3) успеха не дает, поскольку они приводят к тождествам л, = л,, V/. Обратимся теперь к системе прямых уравнений Колмогорова (9.5). Для стацио- маркого режима рч (Г) -> л,, ptj (Г) ->0, поэтому из (9.5) получаем систему линейных алгебраических уравнений относительно стационарных вероятностей состояний л,:
= y.MvPvJ, j=0,l(9.16)
дополняемую условиями неотрицательности (л, > 0 ^j) и нормировки для вероятностей
z^=l.(9.17)
i
Уравнения (9.16) имеют простой вероятностный смысл, формулируемый обычно как принцип баланса (см. раздел 8.3): в стационарном, установившемся режиме за единицу времени среднее число выходов из любого состояния у равно среднему числу входов в это же состояние. Среднее число выходов в единицу времени равно доле времени, в течение которого процесс находится в состоянии j, умноженном на интенсивность к, выходов процесса из этого состояния, то есть Kj kj. Подсчитаем теперь среднее число входов в состояние/ Если процесс находится В СОСТОЯНИИ V, ТО ДОЛЯ pvj всех скачков из этого состояния приводит к состоянию j, то есть среднее в единицу времени число переходов из v в j равно ЛрХрР^. Следовательно, среднее число входов в единицу времени в состояние j равно сумме этих произведений по всевозможным состояниям v. Уравнение (9.16) и указывает на равенство в среднем чисел входов и выходов для состояния/ Подчеркнем, что приведенный принцип баланса применяется в инженерной практике для вывода уравнения для стационарных вероятностей состояний без предварительной записи прямых уравнений Колмогорова.
Теорема 9.2. При сформулированных в теореме 9.1 условиях система линейных уравнений (9.16) имеет единственное вероятностное решение
а.
лу =J-, j = 0,1,2(9.18)
' v kv
где (O|, a2,...) — стационарное распределение вероятностей состояний для соответствующей вложенной цепи Маркова.
Напомним, что ах, а21... является единственным вероятностным решением системы линейных алгебраических уравнений
=Z^Pv.p 7=0,1(9.19)
дополненной условием нормировки (9.17). Это решение дается формулами (8.27) и (8.28).
Доказательство'
В разделе 8.3 было показано, что система уравнений (9.19) (там она фигурировала под номером (8.22)) имеет единственное с точностью до константы с решение саь са2, ... Система (9.16) преобразуется в систему (9.19), если положить ь ней к„кв = zB. Отсюда следует, что вероятностное решение системы уравнений (9.16) с необходимостью имеет вид са} = к; л}, то есть л; = caj/kj. Константа с находится из условия нормировки (9.17), что и дает (9.18) в качестве единственного решения системы (9.16).О
Формула (9.18) для стационарных вероятностей состояний имеет простой физический смысл. За большое число скачков N процесс окажется в состоянии j примерно Nttj раз. При каждом попадании в состояние j процесс остается там в среднем на время 1/Х;. Следовательно, за N скачков процесс будет пребывать в состоянии j в среднем время Naj/kj. Итак, вероятность состояния / как доля времени пребывания процесса в этом состоянии, пропорциональна а}/кр Коэффициент пропорциональности находится из условия нормировки вероятностей.
очевидно, он равен ^.aj/Xj. Это и дает формулу (9.18) для стационарной вероятности л^ состояния j.1
Пример 9.4. Продолжим рассмотрение предыдущего примера. Найдем стационарное распределение вероятностей состояний для него я =(л0,л1,л2,л3).
Элементы разложения матрицы переходных вероятностей Р, используемого в формулах (8.25)-(8.28), имеют вид:
р = (0.1р = (0.1(0.1 0.2(0.1 0.20.5 0.4), Q = 0.2 0.20.5 0.4), Q = 0.2 0.20.30.30.60.60.5'0.3о.0.5'0.3о.
р = (0.1
р = (0.1
(0.1 0.2
(0.1 0.2
0.5 0.4), Q = 0.2 0.2
0.5 0.4), Q = 0.2 0.2
0.3
0.3
0.6
0.6
0.5'
0.3
о.
0.5'
0.3
о.
Далее находим:
' 0.9 -0.2 -0.5'
4.937 1.563 1.438'
i-Q =
-0.2 0.8 -0.3
, (I-Q)1 =
0.906 2.344 1.156
-0.3 -0.61 ,
J.125 1.875 2.125,
а0 = (1 + p(I-Q)-11)~* = 0.174,
(at а2 a3) = aop(I-Q)"1 =(0.191 0.362 0.273).
Применяя теперь формулу (9.18), окончательно получаем стационарное распределение вероятностей состояний я =(0.301 0.165 0.416 0.118).□
Важным обобщением марковских процессов являются полумарковские процессы (ПМП). Они отличаются от дискретных марковских процессов тем, что время пребывания в каждом состоянии имеет не экспоненциальное, а произвольное распределение (см. определение 1\ Обозначим ?п; среднее значение этого времени для состояния j.
Стационарные вероятности состояний полумарковского процесса л^ могут быть получены так же просто, как и для марковских процессов. А именно, для вероятности состояния j имеем формулу, аналогичную формуле (9.18):
а.Ш:
;=0,1,...Д-1.(9.20)
v=0
Отметим, что формула (9.18) является частным случаем этой формулы, поскольку для экспоненциального распределения ?п;. = 1/Х;.
Эвристическое доказательство формулы (9.20) полностью совпадает с только ЧТО приведенным доказательством для формулы (9.18).
Рассмотрим несколько частных случаев полумарковских процессов.
Примеры
Пример 9.5. Циклический процесс. Процесс имеет А состояний, которые меняются последовательно: после нулевого состояния — первое, затем второе и т. д. до (А - 1)-го, после чего опять следует пулевое состояние и т. д. (см. рис. 9.2).
Рис. 9.2. Граф переходов между состояниями циклического процесса
Если продолжительности пребывания процесса в различных состояниях — взаимно независимые случайные величины, то это частный случай полумарковско- го процесса. Вложенная цепь Маркова для этого процесса имеет к состояний, которые последовательно сменяют друг друга в циклическом порядке. Хотя эта цепь — периодическая (с периодом, равным к), доля времени, в течение которого цепь Маркова проводит в каждом состоянии, равна 1/к. Поэтому для стационарной вероятности состояния у полумарковского процесса по формуле (9.20) получаем
т,.„
^=ТГ-> У =0,1к-1.(9.21)
v-0
Пример 9.6. Звездообразный процесс. Так называется процесс, в котором выделено «центральное* состояние 0, из которого можно попасть в любое другое состояние 1, 2,..., к - 1, в то время как из других состояний можно попасть непосредственно только в состояние 0. Соответствующий граф переходов между состояниями изображен на рис. 9.3.
Рис. 9.3. Граф переходов между состояниями звездообразного процесса
Пусть р? — вероятность непосредственного перехода из состояния 0 в состояние У, так что р, + р2 +...+р6_, = 1, Pj > 0. Как и прежде обозначим т; среднее время однообразного пребывания в состоянии у, У =0,1, ..., к-1.
Стационарные вероятности состояний а} для вложенной цепи Маркова находятся как решение системы уравнений (9.19). В данном случае эта система имеет вид
Zj =P>ZO, у = 1,2к-1,
z0 + zt + ...+г^ =1.
Единственным вероятностным решением данной системы является
а0 = 1/2, а} = ру /2, j = 1,2к -1.
Следовательно, согласно формуле (9.20), стационарные вероятности состояний полумарковского процесса есть
Wo+ZPvmv'-
V-1(9.22)
™0 +EPvmvV=1
Процессы размножения и гибели.
Процессы массового обслуживания
Важным частным случаем марковских процессов являются процессы размножения и гибели. Они характеризуются тем, что для любого состояния i = 1, 2, ... возможны переходы только в соседние состояния i -1 и i +1, а из состояния 0 — только в состояние 1. Обозначим для состояния i вероятности переходов вправо и влево, соответственно, р, и q„ Р; + q6 < 1, а параметр экспоненциального распределения времени пребывания в состоянии X,.
Часто процесс размножения и гибели задается другим способом. Для каждого состояния i=l,2,... разыгрываются две независимые величины: X, и У,, имеющие экспоненциальные распределения с параметрами а, и0Р Процесс пребывает в состоянии 1 время, равное минимуму из этих двух случайных величин. После этого процесс переходит в левое соседнее состояние, если меньшей оказалась первая случайная величина, и в правое — если вторая. Доказанная выше лемма 93 показывает, что оба определения процесса размножения и гибели эквивалентны, причем их параметры связаны следующим образом:
X, =а,+р;, Pi = ■ “' , 1 = 1,2,...(9.23)
а, +Р1
Говорят о процессе чистого размножения, если р, = 1, то есть Р, = 0 Vi, и о процессе чистой гибели, если р, = 0, то есть а, = 0. В частности, пуассоновский процесс является процессом чистого размножения.'
Уравнения Колмогорова (9.3) и (9.5) предыдущего раздела для процесса размножения и гибели принимают вид при t>0:
Ри (О = MiPi-tj (О + ^PiPm., (О " ^Р,., (О-(9.24)
Ри(О = Pu-t(^мРм + Pi.,^(O^4i Ч^г "Mw(t).(9.25)
Проиллюстрируем их применение на следующем примере.
Пример 9.7. Процесс Юла. Рассмотрим популяцию некоторых частиц, каждая ИЗ которых может делиться и образовывать две новые частицы. Время, необходимое для такого деления, имеет экспоненциальное распределение с параметром а Иными словами, вероятность того, что данная частица разделится в ближайшем после t интервале времени (ГД + dt\ равна adt ♦ o(dt\ Вновь образованные час-
тицы также подвержены делению и т. д. Предполагается, что каждая частица делится независимо от других.
Будем говорить, что система находится в состоянии I, если в данный момент в ней имеется i частиц. Найдем вероятность р^ (t) того, что в момент времени t будет иметься j частиц, если в начальный момент времени их было г.
Очевидно, мы имеем процесс чистого размножения со следующими характеристиками:
X, = at = аг, pt = 1, qi =0, Vi.
Обратные и прямые дифференциальные уравнения Колмогорова имеют вид для рассматриваемого случая: при t > 0, j > i
Рм (t) = ai pMj (t) - ai pld (t).
Pm W = a(j- 1)р^_х (t) - aj pld (t).
Подстановкой легко проверить, что решением этих уравнений является
р. .(t) = С^ е'^(1 -e"at У", t >0, j > г.
Этот процесс впервые исследовал Юл Д. в 1924 г. Он использовал его как математическую модель эволюции популяции.□
Возвратимся к общему виду процесса размножения и гибели. Будем интересоваться стационарным распределением вероятностей состояний процесса, определяемым как единственное решение систем уравнений (9.16) предыдущего раздела. В нашем случае эта система принимает вид:
Хо л0 — Х( Ttj qx,
XjTtj = Xi_xKj_xpj_x +Х>+1лЛ1^+1, J = l,2,...(9.26)
После подстановки Х; = a, + 0;, р, = а,/(а, + 0;), q, = 1 — pt = 0j/(a, + 0,) эту систему можно привести к виду:
аоло = 01 Л1 >
(0; + а;)л; =аЛ1яЛ1 +0/+1л7+1, 7 = 1,2,...
Подобная система уравнений встречалась нам при нахождении стационарных вероятностей для цепи Маркова (см. пример 8.11 и формулу (8.49)). Как и там, эту систему можно решать последовательной подстановкой, в результате чего получаем
л, = ^12±Z± к j =(9.27)
1^02-3/
Вероятность л0 состояния 0 можно найти из условия нормировки
£”/ =1.
7-о
Поскольку любое решение системы (9.26) имеет вид (9.27), то конечность суммы
(9.28)(9.28)£й^-7-1 М Р/*|
(9.28)
(9.28)
свидетельствует о наличии нетривиального (ненулевого) решения, а бесконечность — о его отсутствии. В связи с этим получена следующая теорема. ■
Теорема 9.3. В процессе размножения и гибели стационарное распределение вероятностей к5 существует тогда и только тогда, когда сумма (9.28) конечна. В этом случае распределение задается формулой (9.27), где
«.-р+ЁЙ^]'.<ме>
V 7=1 /=0 Р/+1 У
причем это распределение является единственным вероятностным решением системы линейных уравнений (9.26).
В общем процессе размножения и гибели предполагалось, что параметры а( и 0, зависят от номера состояния i. На практике часто встречается случай, когда ДЛЖ состояний с номером, большим к, значения а, и р, остаются постоянными и равными, соответственно, ак и pt:
«i = “t- Р, = Pt- i ^ k.
Предположим, что отношение at/pt < 1. Для этого случая бесконечная сумма в формуле (9.29) преобразуется следующим образом:
Теперь вышеприведенные формулы для вероятностей состояний принимают вид:
По =По == l + gfj_^№р/+1= l + gfj_^№р/+1111 at /-о P/+iPt1 at /-о P/+iPt(9.30)(9.30)aoa,...a.л, =-;Р1Р2- Р,aoa,...a.л, =-;Р1Р2- Р,Ло,Ло,j = 1,2к-1,j = 1,2к-1,(9.31)(9.31)л,-л,-«t(pt«t(pt11^" Л0- М P/+i11^" Л0- М P/+ij = k, к*1, ...j = k, к*1, ...(9.32)(9.32)
По =
По =
= l + gfj_^№р/+1
= l + gfj_^№р/+1
1
1
1 at /-о P/+iPt
1 at /-о P/+iPt
(9.30)
(9.30)
aoa,...a.
л, =-
;Р1Р2- Р,
aoa,...a.
л, =-
;Р1Р2- Р,
Ло,
Ло,
j = 1,2к-1,
j = 1,2к-1,
(9.31)
(9.31)
л,-
л,-
«t
(pt
«t
(pt
11^" Л0- М P/+i
11^" Л0- М P/+i
j = k, к*1, ...
j = k, к*1, ...
(9.32)
(9.32)
Приведенные формулы упрощаются, если число состояний конечно. Пусть число состояний равно к +1, причем последнее возможное состояние имеет номер к. Тогда в приведенных формулах следует положить а* = 0. В этом случае сумма (9.28) содержит к +1 слагаемое (последнее с номером j = k) и поэтому всегда конечна.
В качестве важного примера процессов размножения и гибели обычно рассматривают процессы массовою обслуживания (иначе — процессы очередей}. Рассмот-
рим пуассоновский поток требований (сообщений, заявок, клиентов, вызовов и пр.), поступающий на систему обслуживания. Последняя представляет собой совокупность s идентичных обслуживающих аппаратов (приборов). Каждый аппарат одновременно может обслуживать только одно требование, причем длительность обслуживания имеет экспоненциальное распределение с параметром 0>О. Интенсивность пуассоновского потока требований равна а. Если при поступлении требования хотя бы один аппарат свободен, то требование немедленно принимается им на обслуживание. В противном случае оно ставится в очередь. Из очереди требования принимаются на обслуживание в порядке их поступления в моменты окончания обслуживаний. Обслуженные требования покидают систему. Такая система называется эрланговской системой массового обслуживания с ожиданием.
Основной интерес представляют стационарные вероятности {т^} того, что в системе находится j требований, j = 0, 1,...
Очевидно, что здесь имеет место процесс размножения и гибели. Будем говорить, что система (процесс) пребывает в состоянии j, если в ней находится j требований. Переход системы из состояния j в состояние 7 + 1 происходит при поступлении нового требования. Поскольку поток поступающих требований пуассоновский и не зависит от состояния системы, то а, = а. Система переходит из состояния j в состояние J-1 при окончании обслуживания требования и покидании им системы. Если число требований в системе j не превышает имеющегося количества аппаратов s, то одновременно обслуживаются все j требования. Поскольку интенсивность обслуживания одного требования составляет 0, то на основании леммы 93 получаем, что общая интенсивность обслуживания составит 70. Если же число требований j превышает число аппаратов s, то обслуживается только s требований, при этом суммарная интенсивность обслуживания равна S0. Следовательно, 07 =70 при j < s и 0^ = s0 при j £ s. Итак, значения параметров a.j и 0^ не изменяются при j > s, то есть имеет место вышерассмотренный случай при k = s, ак = а и 0t = S0.
Условие at/0t < 1 эквивалентно условию а < $0. Иначе говоря, интенсивность потока требований а должна быть строго меньше общей интенсивности обслуживания всеми аппаратами s0, то есть пропускной способности системы. Величина р =a/(s0) называется коэффициентом загрузки системы. Формула (9.30) преобразуется к виду
7-1 /=о 0/+1 । а4 ,=0 Р/+1
к,
Итак, в случае р = a/(s0) < 1 по формулам (9.30)-(9.32) окончательно имеем:
*о =*о =(9.33)
*о =
*о =
Л,Л,а№а№1л”’1л”’] = Х. 2,] = Х. 2,., s,., s,(9.34)(9.34)аРаР1 :—Ло, S1 Sj"$1 :—Ло, S1 Sj"$j=S + l, 5+2, ...j=S + l, 5+2, ...
Л,
Л,
а№
а№
1
л”’
1
л”’
] = Х. 2,
] = Х. 2,
., s,
., s,
(9.34)
(9.34)
а
Р
а
Р
1 :—Ло, S1 Sj"$
1 :—Ло, S1 Sj"$
j=S + l, 5+2, ...
j=S + l, 5+2, ...
Наибольший интерес для практики представляют такие показатели эффектив* ности системы обслуживания, как среднее число требований в системе и и в очереди и, среднее время пребывания требования в системе г и в очереди w.
Найдем вначале среднее число требований в очереди и. Если учесть, что при наличии в системе j > s требований j - s из них ожидают, то средняя длина очереди требований составит
0000ГАМ00
0 = L(j-S)^ = £ 0-5)—Ло « Лор^фМ.
Если домножить последнюю сумму на 1 -р, то она будет определять математическое ожидание для геометрического распределения (3.4) с параметром q ■ р. Поскольку указанное математические ожидание, согласно табл. 3.5, равно 1/(1-р), то сумма составляет (1 - р)"2. Окончательно получаем такое выражение для среднего числа требований в очереди:
1 Га и =— — slip1 Га и =— — slipр(1-р)2р(1-р)2л0.л0.(9.35)(9.35)
1 Га и =— — slip
1 Га и =— — slip
р(1-р)2
р(1-р)2
л0.
л0.
(9.35)
(9.35)
ш = ^л^j-»ш = ^л^j-»U-s + 1)$РU-s + 1)$РСО Г Q ^J§[pj si s'"1СО Г Q ^J§[pj si s'"1
ш = ^л^j-»
ш = ^л^j-»
U-s + 1)$Р
U-s + 1)$Р
СО Г Q ^J
§[pj si s'"1
СО Г Q ^J
§[pj si s'"1
Число требований в системе складывается из требований в очереди плюс требований, находящихся на обслуживании. Последних столько, сколько аппаратов занято. Но среднее число занятых аппаратов равно числу аппаратов s, умноженному на коэффициент загрузки р. Следовательно, среднее число требований в системе и находится по формуле
Повторяя соображения, ранее использованные при выводе формулы (9.35), получаем следующее выражение для среднего времени ожидания требованием начала обслуживания:
15! а15! аР(1-р)2‘Р(1-р)2‘(9.37)(9.37)
1
5! а
1
5! а
Р(1-р)2‘
Р(1-р)2‘
(9.37)
(9.37)
Наконец, среднее время пребывания требования в системе г складывается из времени ожидания те и времени обслуживания 1/0, так что
(9.38)(9.38)1 fa] 1 р 1
(9.38)
(9.38)
г = те + - = — л0 —-—- + -.
р 51a ° (1-р)2 р
Аналогичным образом могут быть найдены и другие характеристики длины очереди (дисперсия, среднее квадратическое отклонение), а также распределение времени ожидания начала обслуживания и т. п.
Отметим, что процессы массового обслуживания являются наиболее употребляемыми вероятностными моделями при описании различных технических и экономических систем.
Пример 9.8. Пусть система состоит из четырех обслуживающих аппаратов (s = 4). Интенсивность обслуживания аппаратом требования 0 = 1. Проанализируем влияние интенсивности поступающего потока требований а на показатели эффективности обслуживания р = а/(хр), и, и, г и то.
Соответствующие вычисления проводились по формулам (9.33), (9.35)-(9.38) функцией Queue(a, 0, s). Результаты представлены в табл. 9.5. Они показывают, что при приближении коэффициента загрузки к единице резко возрастает математическое ожидание числа требований и времени пребывания требований в очереди и в системе.
Таблица 9.5. Показатели эффективности системы массового обслуживания
а = 2.2
0 = 2.4
0 = 2.6
а = 2.8
о = 3.0
а=3.2
0 = 3.4
а = 3.6
о= 3.8
р
0.55
0.60
0.65
0.70
0.75
0.80
0.85
0.90
0.95
0.105
0.083
0.065
0.050
0.038
0.027
0.019
0.011
0.005
У
0.277
0.431
0.658
1.000
1.528
2.386
3.906
7.090
16.94
и
2.477
2.831
3.258
3.800
4.528
5.586
7.306
10.69
20.74
W
0.126
0.179
0.253
0.357
0.509
0.746
1.149
1.970
4.457
г
1.126
1.179
1.253
1.357
1.509
1.746
2.149
2.970
5.457
Компьютерный практикум № 14.
Анализ дискретных марковских процессов
■ пакете Mathcad (часть 1)
Цель и задачи практикума
Целью практикума является приобретение навыков описания и анализа марковских процессов с непрерывным временем в пакете Mathcad.
Задачами данного практикума являются задание и моделирование дискретного марковского процесса.
Необходимый справочный материал
При моделировании процесса используются уже ранее применявшиеся стандартные функции, вырабатывающие случайные величины с заданными распределениями: runif, гехр и др.
Реализация задания
Для проведения вычислений нам понадобятся шесть функций пользователя. Программные модули, реализующие эти функции, представлены на рис. 9.4 И рис. 9.5. Функция пользователя Def^a, х) уже встречалась ранее в компьютерном практикуме № 13. Она вычисляет номер интервала i, в котором содержится число х. Длины интервалов содержатся в векторе а.
Праюмом Me 14. Дисфотмые wapwoeciow процессы (часгь 1)
Номер интервала, садарвсаа|вго еиеменио кНомер интервала, садарвсаа|вго еиеменио кПолымемПолымемдетерминированное моделированиедетерминированное моделирование
Номер интервала, садарвсаа|вго еиеменио к
Номер интервала, садарвсаа|вго еиеменио к
Полымем
Полымем
детерминированное моделирование
детерминированное моделирование
Def (о, х) > • ♦- «о
to*-r(n*1)for teO.n
Y<-ModMP(e,P,i.R)
^ r) y<0>
^i r*i) y(i)
Сосгелихе траектории процессе о момент времени 1Сосгелихе траектории процессе о момент времени 1l(t,X.v)> n*-rowe(X)l(t,X.v)> n*-rowe(X)Имитационное модолирввоиив марковского процессеИмитационное модолирввоиив марковского процессеue- v whle uin-1r U^1 Yi^O Y0*-u u*-nolherwlBO |и*-и*1Y*-l(t,X,u) Yue- v whle uin-1r U^1 Yi^O Y0*-u u*-nolherwlBO |и*-и*1Y*-l(t,X,u) YУ(в,РД,П,а) :•У(в,РД,П,а) :•X*-lmPMP(e,P,X,n,1) Nt-fleer^X,,,) *<-0for I.ONY|,o«-H J^1(Y,,„*.*)YX*-lmPMP(e,P,X,n,1) Nt-fleer^X,,,) *<-0for I.ONY|,o«-H J^1(Y,,„*.*)Y
Сосгелихе траектории процессе о момент времени 1
Сосгелихе траектории процессе о момент времени 1
l(t,X.v)> n*-rowe(X)
l(t,X.v)> n*-rowe(X)
Имитационное модолирввоиив марковского процессе
Имитационное модолирввоиив марковского процессе
ue- v whle uin-1
r U^1 Yi^O Y0*-u u*-n
olherwlBO |и*-и*1
Y*-l(t,X,u) Y
ue- v whle uin-1
r U^1 Yi^O Y0*-u u*-n
olherwlBO |и*-и*1
Y*-l(t,X,u) Y
У(в,РД,П,а) :•
У(в,РД,П,а) :•
X*-lmPMP(e,P,X,n,1) Nt-fleer^X,,,) *<-0
for I.ON
Y|,o«-H J^1(Y,,„*.*)
Y
X*-lmPMP(e,P,X,n,1) Nt-fleer^X,,,) *<-0
for I.ON
Y|,o«-H J^1(Y,,„*.*)
Y
Рио. 8.4. Функции пользователя для моделирования марковского процесса
Функция ModMP^a, Р, X, R) осуществляет детерминированное моделирование марковского процесса. Входными параметрами функции являются: вектор-стол-
бец начальных вероятностей состояний а; матрица переходных вероятностей за шаг Р; вектор интенсивностей выходов из состояний X; матрица случайных величин R, используемых при моделировании. Матрица R состоит из двух столбцов. Первый столбец содержит равномерно распределенные в интервале (0, 1) случайные величины; второй столбец — случайные величины, имеющие экспоненциальное распределение с параметром 1. При моделировании первые величины используются для розыгрыша нового состояния марковского процесса, а вторые — времени пребывания в нем. Число столбцов матрицы R (число указанных пар величин) определяет длительность моделирования. Такое моделирование является детерминированным, поскольку значения случайных величин в матрице R не вырабатываются, а являются заданными. В качестве результата функция возвращает матрицу, состоящую из двух столбцов. Номер строки матрицы соответствует порядковому номеру скачка. В первом столбце указывается состояние процесса после соответствующего скачка, а во втором — время наступления следующего скачка. Иными словами, эта матрица выдает протокол марковского процесса.
FrModMP(a,P,x ,4 ,n,m) >FrModMP(a,P,x ,4 ,n,m) >Чвсюгы сосгалмий марвовсаого процесса при iimiwihom моделировании
FrModMP(a,P,x ,4 ,n,m) >
FrModMP(a,P,x ,4 ,n,m) >
k«-rows(P) X^knPMP(a,P,X,n,m) for 1е0..т-1
b«-80rt(b)
ml <- floor (05 m) T*-bmT nl floor ф for t e 1.. nl
Fr0J«-(t-1) 4
tor Je1..k
|FrJ|0H-1 |Frj,t«-0
for re0..m-1
xj<'> X*2 '*11
mm<-^t S T,Яоог^ ,nlj -1v<-0
tor te0..mm
Y«-S(t 4.XJ.V)
V«-Yq l*-Yi
Frj*i,t*i **^*1,м +1
num,«- num, +1
tor teO..nT-1
tor JeO..k-1
Frj*i,*M«-Frjtijtt (num,)
Рио. 9.8. Функция пользователя, вычисляющая частоты состояний при моделировании
Функция ImPMP(a, Р, X, п, т) осуществляет многократное имитационное моделирование протокола марковского процесса (см. раздел 9.1). Входные параметры а, Р и X — те же, что и в функции ModMP. Целое число т определяет кратность моделирования, то есть число прогонов (траекторий, реализаций, протоколов) процесса. В каждом прогоне моделируется п скачков процесса. Результатом работы функции является матрица ImPMP, состоящая из п + 1 строки и 2ти столбцов. Строки соответствуют номерам скачков — от начального момента 0 до последнего и-го скачка. Первый, третий, пятый и остальные столбцы с нечетными номерами содержат номера состояний, в которых оказывался процесс после соответствующего скачка. Второй, четвертый и остальные столбцы с четными номерами — последний момент времени пребывания в состоянии. В итоге выдается т протоколов моделирования марковского процесса в течение п скачков. Работа программы, реализующей функцию, осуществляется согласно описанному в разделе 9.1 алгоритму.
Функция 5(t, X, /) определяет состояние марковского процесса в момент времени t. Входными параметрами функции являются: момент времени t; протокол однократного моделирования процесса X, полученный, например, функцией ImPMP; и вспомогательный параметр I — номер скачка процесса, после которого следует искать в протоколе момент времени t. При первом обращении к функции следует положить / = 0. Сам этот параметр был введен для удобства программирования — он позволяет значительно сократить программу, реализующую функцию, за счет использования рекурсии. В качестве результата функция возвращает двумерный вектор, нулевая компонента которого — номер скачка, а первая компонента — состояние марковского процесса в момент времени t.
Функция У(а, Р, X, п, 8) обеспечивает имитационное моделирование марковского процесса. Входными параметрами функции являются: а, Р, X, п и 8. Параметры а, Р и X — те же, что и ранее. Целое число п указывает количество скачков процесса, в течение которых осуществляется моделирование. Значение 8 определяет величину шага, с которым выдаются результаты — состояния процесса X(j 6) в моменты времени j S,j = O, 1,...
Функция FrModMP(a, Р, X, 8, п, т) с шагом 8 подсчитывает частоты различных состояний в т траекториях марковского процесса, в каждой из которых имеется п скачков. В разных траекториях время последнего скачка различное. Поэтому программа обрабатывает данные только до тех пор, пока еще не закончилась половина (0.5) всех траекторий.
Результаты вычислений
Результаты расчетов представлены на рис. 9.6. Вначале вводятся исходные данные: матрица переходных вероятностей Р, вектор интенсивности выходов ИЗ СОСТОЯНИЙ X и вектор начальных вероятностей а. Далее представлен протокол однократного (m = 1) имитационного моделирования рассматриваемого марковского Процесса в течение п = 17 шагов. В матрице результатов ImPMP нулевая строка содержит номер состояния, а первая строка — момент времени перехода в следующее состояние. Например, после четвертого скачка имело место состояние 2, В котором процесс находился в течение периода с 7.193 до 7.453. Фактические состояния процесса в моменты времени 0 и 6 выдаются функцией 5.
Интенсивности Начальное распределениеИнтенсивности Начальное распределениеРиуяьтаты вычислений
Интенсивности Начальное распределение
Интенсивности Начальное распределение
Матрице вероятностей переводов
'О 0.1 04 04' 02 01 0.2 05 * 04 02 02 0.3
Д1 03 Об 0 ,
Имитационное ноделировемяо протокола марковского процесса
йпРМР(а,Р,ж,17,1)
Состояние процесса в момент времена t
8(0,1тРМР(е.Р,ж.17,1),0)8(0,1тРМР(е.Р,ж.17,1),0)6(б.1тРМР(е,Р.ж.17.1).О)6(б.1тРМР(е,Р.ж.17.1).О)
8(0,1тРМР(е.Р,ж.17,1),0)
8(0,1тРМР(е.Р,ж.17,1),0)
6(б.1тРМР(е,Р.ж.17.1).О)
6(б.1тРМР(е,Р.ж.17.1).О)
Имитецеонноа моделирование марковского процессаИмитецеонноа моделирование марковского процесса
Имитецеонноа моделирование марковского процесса
Имитецеонноа моделирование марковского процесса
Частоты состояний лрн тясдчокротнвм моделировании мвркввского процесса
н
о
1
2
3
4
5
6
7
8
0
0.153
0.231
0,283
0.267
0,284
0.283
0.283
0.28
0
0.213
0.21
0.178
0.183
0166
0.186
0.158
0.178
Li
0
0.437
0.422
0.428
0.411
0,404
0.41
0,441
0.418
о
1
0.187
0,137
0.13
0.118
0.136
0.131
0.11
0.116
FrModMP(a ,Р .ж. 1.20,1000)
Рис. 0.6. Результаты моделирования марковского процесса
Далее представлены результаты однократного имитационного моделирования в течение 20 скачков, выдаваемые с шагом 5 = 1 функцией К Здесь нулевая строка матрицы содержит моменты времени, а первая строка — номера соответствующих состояний. Наконец, функция FrModMP выдает частоты состояний при тысячекратном моделировании процесса в виде матрицы FrModMP.
Компьютерный практикум №15. Анализ дискретных марковских процессов в пакете Mathcad (часть 2)
Цель и задачи практикума
Целью практикума является закрепление навыков описания и анализа марковских процессов с непрерывным временем в пакете Mathcad.
Задачами данного практикума являются:
□ аналитическое вычисление нестационарных и стационарных вероятностей состояний марковского процесса;
Q вычисление стационарных вероятностей состояний процесса размножения и гибели;
Q расчет показателей эффективности эрланговской системы массового обслуживания.
Необходимый справочный материал
Для рычисления нестационарных распределений вероятностей состояний используются стандартные функции пакета Mathcad, предназначенные для нахождения собственных чисел и векторов квадратных матриц. Функция eigenval (М) выдает вектор-столбец, содержащий все собственные числа матрицы М. Размерность вектора совпадает с размерностью квадратной матрицы М. Функция eigenvec(M, о) вычисляет собственный вектор-столбец матрицы М, отвечающий собственному числу У.
Реализация задания
Будем использовать четыре функции пользователя, представленные на рис. 9.7. Первые две функции вычисляют нестационарное и стационарное распределение вероятностей состояний марковского процесса по аналитическим формулам. Функция Pr (Р, X, t, г) реализует алгоритм вычисления нестационарного распределения, приведенный в конце раздела 9.4. Входными параметрами функции являются: Р — матрица вероятностей переходов между состояниями за шаг; X — вектор интенсивностей выходов из состояний; t — момент времени, для которого определяется распределение вероятностей состояний; г — номер состояния, в котором первоначально (в момент t = 0) находился марковский процесс.
Функция PrSt(P, X) вычисляет стационарное распределение вероятностей состояний марковского процесса. Входными параметрами являются Р и X, имеющие то же содержание, что и в предыдущем случае.
Функция л(а, р, п) вычисляет по формулам (9.30)-(9.32) стационарное распределение вероятностей состояний процесса размножения и гибели для л + 1 первых состояний. Входом является число п и два вектора-столбца аир, содержащие параметры {a J h{PJ из формулы (9.23): а = (а0 at...aA)T, р = (Ро Рр.. р4)т. Напомним, что для г > k а( = at, р( = РА . В качестве результата функция выдает вектор стационарных вероятностей я = (л0 nt ... л„)т.
Функция QSys(af, Ps, s) рассчитывает показатели эффективности эрланговской системы массового обслуживания по формулам (9.33), (9.35)-(9.38). Входными данными являются интенсивность входящего пуассоновского потока требований а/, интенсивность обслуживания требований ps и число обслуживающих аппаратов s. Функция выдает вектор-столбец (р л0 у и w г)т, содержащий коэффициент загрузки системы р, вероятность отсутствия требований в системе я0, среднее число требований в очереди у и в системе и, а также среднее время пребывания требования в очереди w и в системе г.
Результаты вычислений
Соответствующие результаты представлены на рис. 9.8. Вначале вводятся матрица переходных вероятностей за шаг Р1 и вектор-столбец интенсивности выходов из состояний XI. Функция Рг выдает распределение состояний процесса ДЛЯ моментов времени t => 2 и t ■ 5 при условии, что в момент времени t ■ 0 процесс находился в третьем состоянии 0 ■ 3). Стационарное распределение вероятностей состояний выдается функцией PrSt
Практикум Ma 15. Дискретные марковские процессы (масть 2)
Ш>пытт1льски> функшш
Распределение вероятностей состояний парковсхого процесса в MonowrtРаспределение вероятностей состояний парковсхого процесса в MonowrtСтацевиариво распределенио вероятностей состояний марковского процессаСтацевиариво распределенио вероятностей состояний марковского процесса
Распределение вероятностей состояний парковсхого процесса в Monowrt
Распределение вероятностей состояний парковсхого процесса в Monowrt
Стацевиариво распределенио вероятностей состояний марковского процесса
Стацевиариво распределенио вероятностей состояний марковского процесса
Pr(PA.t.l):.Pr(PA.t.l):.k «- rows(P) D *- dlag(A)k «- rows(P) D *- dlag(A)PrSt(P.k):.PrSt(P.k):.k<-rowe(P)k<-rowe(P)A<-(D(P~ldon<«y(k))fA <- elgaHvata(A)A<-(D(P~ldon<«y(k))fA <- elgaHvata(A)i^ <- aiganwc(A, А|) for JeO.. к- 1i^ <- aiganwc(A, А|) for JeO.. к- 1ьь2 Ь| «р^ <) ^2 Ь| «р^ <) ^for jel k-1[лТ (Idend^ptk- 1) - PP)-1Tfor jel k-1[лТ (Idend^ptk- 1) - PP)-1T•М•М• К|• К|Стацманариае распределение вероятностей состояний процесса роаинопкоимя и гибелиСтацманариае распределение вероятностей состояний процесса роаинопкоимя и гибели1 * S Д Дм * Др-«к Д АЙ1 * S Д Дм * Др-«к Д АЙfor j« 1.. лfor j« 1.. лk-1k-1сц-— otherwise Pklсц-— otherwise PklСистема массового обслуживанияСистема массового обслуживанияQSya(af ,3a.S) >QSya(af ,3a.S) >-^iffs-^iffs
Pr(PA.t.l):.
Pr(PA.t.l):.
k «- rows(P) D *- dlag(A)
k «- rows(P) D *- dlag(A)
PrSt(P.k):.
PrSt(P.k):.
k<-rowe(P)
k<-rowe(P)
A<-(D(P~ldon<«y(k))f
A <- elgaHvata(A)
A<-(D(P~ldon<«y(k))f
A <- elgaHvata(A)
i^ <- aiganwc(A, А|) for JeO.. к- 1
i^ <- aiganwc(A, А|) for JeO.. к- 1
ь
ь
2 Ь| «р^ <) ^
2 Ь| «р^ <) ^
for jel k-1
[лТ (Idend^ptk- 1) - PP)-1T
for jel k-1
[лТ (Idend^ptk- 1) - PP)-1T
•М
•М
• К|
• К|
Стацманариае распределение вероятностей состояний процесса роаинопкоимя и гибели
Стацманариае распределение вероятностей состояний процесса роаинопкоимя и гибели
1 * S Д Дм * Др-«к Д АЙ
1 * S Д Дм * Др-«к Д АЙ
for j« 1.. л
for j« 1.. л
k-1
k-1
сц
-— otherwise Pkl
сц
-— otherwise Pkl
Система массового обслуживания
Система массового обслуживания
QSya(af ,3a.S) >
QSya(af ,3a.S) >
-^iffs
-^iffs
jl Sijl SiЧЧ
jl Si
jl Si
Ч
Ч
x^xr-x^xr-ЧЧ
x^xr-
x^xr-
Ч
Ч
$ч
X2
д»
Рис. 9.7. Функции пользователя, реализующие аналитические вычисления
Функция л рассчитывает стационарное распределение вероятностей состояний для процесса размножения и гибели со следующими характеристиками: Vi а, = 2.6, Pi =i,i = 0, 14, Р5 = 4. При этом рассматриваются состояния до пятого включительно (л = 5). Результатом являются стационарные вероятности этих состояний: л0 =0.065, л( =0.169, л2 =0.22, л3 =0.191, л4 =0.124, л. =0.081.
Ьшошмйьсшаюшй
Матрица переходных вероятностейМатрица переходных вероятностейИнтонсивиостм выходов из состоянийИнтонсивиостм выходов из состояний'О ОД 04 04'05 ОД 05 0403 05 05 03,0.1 03 04 0 ,'О ОД 04 04'05 ОД 05 0403 05 05 03,0.1 03 04 0 ,0303М:-М:-0.75. 2 ,0.75. 2 ,
Матрица переходных вероятностей
Матрица переходных вероятностей
Интонсивиостм выходов из состояний
Интонсивиостм выходов из состояний
'О ОД 04 04'05 ОД 05 0403 05 05 03,0.1 03 04 0 ,
'О ОД 04 04'05 ОД 05 0403 05 05 03,0.1 03 04 0 ,
03
03
М:-
М:-
0.75
. 2 ,
0.75
. 2 ,
Расяредопоние аороятиостой состояний карковского процесса
а) в попоит проявим 26) в момент вронеии 5
Рс(М,М,2.3)Т -(0526 0194 0 446 0133)Рс(Р1 >1,5,3)Т - (0 592 0169 0421 0119)
Стационарное распредепенио вероятностей состояний
PrSt(P1,M)T - (0301 0.165 0416 0116)
Стационарное распредепенио вероятностей состояний процесса размножения и гибели
я((24 24 24 24 24 24)T,(0 1 2 3 4 4)T .5) -(0365 016» 052 0191 0.124 OMI)
Показатели эффективности системы Моссовете обслуживания QSy#(26,l ,4/ - (045 0465 0450 3256 0553 1553)
Рис. 9.8. Результаты аналитических вычислений
В заключение рассматривается система массового обслуживания из четырех аппаратов, на которую поступает пуассоновский поток требований с интенсивностью а/ = 2.6. Интенсивность обслуживания одним аппаратом составляет 0s - 1. Из выдаваемых функцией результатов видно, что р = 0.65, л0 = 0.065, и = 0.658, и = 3.258, щ = 0.253, г = 1.253.
Задания для самостоятельной работы
Используйте представленные выше функции пользователя для решения нижеприведенных задач 9.8 и 9.9.
Проанализируйте логику работы программ, реализующих функции ModMP и ImPMP.
Составьте компьютерную программу для имитационного моделирования процесса Юла, описанного в примере 9.7. Приведите моделирование для значения параметра а = 1 и сравните полученные результаты с теоретическими.
Составьте компьютерную программу для имитационного моделирования потока автомашин, описанного в нижеприведенной задаче 9.6. По результатам моделирования оцените искомое в задаче распределение.
Составьте программу и проведите численные расчеты для примера 9.4.
Проанализируйте логику работы программ, реализующих функции Рг и PrSt.
С помощью пакета Mathcad проверьте правильность вычислений, приведенных в примере 9.8.
С помощью пакета Mathcad постройте графики зависимости вероятностей Poj(0, i = 0, 1, 2, 3, найденных в примере 9.3, от времени t. Проанализируйте скорость сходимости к стационарным вероятностям.
Составьте компьютерную программу, выполняющую вычисления для задачи 9.10 «станки и рабочие».
Задачи
Задача 9.1. В чем состоит смысл отсутствия последействия экспоненциального распределения и марковского процесса?
Задача 9.2. Обсудите физические предпосылки, приводящие к прямым и обратным уравнениям Колмогорова.
Задача 9.3. Во что превращается формула (9.20), когда полумарковкий процесс является цепью Маркова?
Задача 9.4. Пусть X(t) — пуассоновский поток событий с интенсивностью X, а Т — не зависящая от него неотрицательная случайная величина. Найдите распределение, математическое ожидание и дисперсию случайной величины Х(Г) — числа событий потока за случайное время.
Задача 9.5. Рассмотрите пуассоновский поток событий с интенсивностью X. Пусть каждое из событий, независимо от других событий, с вероятностью р , относится к i-му из возможных к классов, р, + р2 + ... + рА =1. Пусть X,(t) означает число событий пуассоновского потока в интервале (0, г), отнесенных к i-му классу. Покажите, что X,(t) — пуассоновский поток с интенсивностью Х( = Хр, , i = 1, 2к.
Задача 9.6. (Sh. М. Ross). Пусть автомашины появляются на одностороннем шоссе согласно пуассоновскому потоку с интенсивностью X. Каждая автомашина независимо от других машин выбирает скорость движения V и движется с этой скоростью. Предполагается, что скорости различных машин являются взаимно независимыми случайными величинами с общей функцией распределения С(рУ Предполагается также, что при обгоне других автомашин скорость не изменяется. Используя предыдущую задачу, найдите распределение числа машин, преодолевших по шоссе к моменту t путь, длина которого превышает d.
Задача 9.7. Сложный пуассоновский процесс. Пусть X(t) — пуассоновский поток событий с параметром X. Каждому событию соответствует случайная величина («вклад» события), обозначим ее для i-ro события У/, с общей функцией распределения G(y). Эти величины являются взаимно независимыми для разных событий и суммируются. Накопленную сумму к моменту времени t
Z(O = Yi +У2 +... + УХ(0
называют сложным пуассоновским процессом.
Повторяя рассуждения, использованные в примере 7.5, покажите, что функция распределения процесса Z(t) дается формулой
P{Z(t)^z} = £^e-X(z),и!
где G„(z) — функция распределения суммы п случайных величин ^ + У2+ ... + У„,
G0(z) = 1, z 0.
Найдите математическое ожидание и дисперсию Z(t). Отдельно рассмотрите случаи, когда Y имеет экспоненциальное и нормальное распределения.
Отметим, что сложный пуассоновский процесс часто применяется в задачах о разорении страховых компаний, надежности, управления запасами и пр.
Задача 9.8. Альтернирующий процесс. Таковым называется марковский процесс с двумя состояниями 0 и 1, которые сменяют друг друга. Точнее говоря, вероятности перехода за шагр01 = 1, рг 0 = 1. Пусть, как обычно, Хо и Xt — интенсивности выхода из состояний.
Составьте уравнения Колмогорова для этого процесса. Покажите, что вероятности Ро,о(О и Po,i(O состояний 0 и 1 в момент времени t, если в начальный момент процесс был в состоянии 0, даются формулами: рох (t) = 1 - Po.o(t),
Aq • Aj Aq "4* А|
Выпишите выражения для стационарных вероятностей состояний л0 и л(.
Задача 9.9. Рассмотрите марковский процесс с тремя состояниями, для которого
100.5100.5' О
10
0.5
10
0.5
Р= 0.5
^0.5
Используя технику вычислений раздела 9.4, покажите, что у0 = 0, их = -2, и2 = ”3,
'-110 >
'1 1 1 >
'1/2 1/3 1/6'
А =
1 -2 1
, z =
1 -1 -2
, Z"1 =
1/20-1/2
Ь 1-2,
<1-1 1,
k 0 -1/3 1/3,
На основании этого найдите выражения для распределения вероятностей со-
СТОЯНИЙ {p,j(i)}.
Задача 9.10. Задача «станки и рабочие». Имеется т станков, которые обслуживаются s рабочими, s < т. Станки время от времени выходят из строя. Время безотказной работы станка имеет экспоненциальное распределение с параметром а. Для различных станков это время — взаимно независимые случайные величины. Один рабочий одновременно может ремонтировать только один станок. Длительности ремонтов — взаимно независимые случайные величины, имеющие экспоненциальное распределение с параметром р.
Найдите стационарное распределение вероятностей для числа неработающих станков, а также такие показатели эффективности рассматриваемой системы, как коэффициент загрузки рабочих, коэффициент использования станков, среднее число простаивающих станков и пр.
10 Задачи математической статистики и первичная обработка данных
Задачи математической статистики
В предыдущих главах, посвященных изложению теории вероятностей, о вероятностях случайных событий и распределениях случайных величин говорилось как о чем-то заранее известном. Например, если в последовательности испытаний Бернулли мы интересовались числом успехов, то вероятность успеха в каждом испытании считалась заданной. Далее, если необходимо было найти вероятность того, что данная случайная величина превзойдет некоторое значение, то распределение этой случайной величины предполагалось известным. Обычно такой информацией не располагают, а все необходимые вероятностные характеристики случайных событий и величин оцениваются на основе проводимых экспериментов или наблюдений. При этом типичными являются следующие задачи.
Как оценивать неизвестную вероятность случайного события по данным наблюдений?
Как оценивать параметры или функцию распределения случайной величины на основе ее зарегистрированных значений?
Как по статистическим данным проверить гипотезу о том, что две случайные величины взаимно независимы или имеют одинаковое распределение?
Перечисленные и аналогичные им задачи составляют предмет математической статистики. В первом приближении задачи математической статистики могут быть классифицированы на три класса.
Задачи оценки неизвестных параметров распределения. Очень часто тип распределения случайной величины известен, а неизвестны только параметры распределения. Например, если данная случайная величина является суммой большого числа случайных слагаемых, то на основании центральной предельной теоремы (см. теорему 7.7) можно ожидать, что она распределена нормально. Таким образом, в данном случае тип распределения мы устанавливаем из физических, качественных соображений.
Другой пример такого же характера можно получить, рассматривая распределение числа успехов в последовательности испытаний Бернулли. Здесь также
достоверно известен тип распределения — это биномиальное распределение. Однако параметр р этого распределения (т. е. вероятность успеха в одном испытании) может быть неизвестен, и его следует определить, исходя из наблюдаемого числа успехов.
Задачи проверки статистических гипотез. Относящиеся сюда задачи имеют несколько разновидностей. Одной из важнейших является задача проверки гипотезы о законе распределения случайной величины. Предположим, что некоторые физические, качественные соображения позволяют полагать, ЧТО рассматриваемая случайная величина имеет определенный тип распределения. Однако у нас нет в этом стопроцентной уверенности. Поэтому на основании наблюдаемых значений случайной величины необходимо оценить параметры распределения и проверить, насколько хорошо наблюдаемые значения соответствуют гипотезе об этом законе распределения, .
Аналогичным образом формулируются задачи и в других случаях, когда требуется проверить некоторые гипотезы, касающиеся распределения одной или нескольких случайных величин. Так, например, можно интересоваться гипотезой о том, что две случайные величины независимы, что с течением времени вероятность некоторого случайного события (например, получения бракованного изделия) не увеличивается и т. д.
Задачи классификации. Классификацией называется разбиение рассматриваемого множества объектов на однородные, в некотором смысле, классы. При этом каждый объект описывается многомерным вектором, элементы которого — значения определенных признаков. Различные постановки задач классификации предполагают разные условия: наличие информации о распределении значений признаков для каждого класса или отсутствие таковой, в последнем случае — наличие разного рода «обучающих» выборок и т. д.
Приведенные три класса задач математической статистики относятся к этапу статистического анализа данных. Этому этапу обычно предшествует этап описания (представления') собранных данных. Раздел статистики, занимающийся описанием методов сбора и обработки информации, называется дескриптивной, или описательной, статистикой. Различные способы описания экспериментальных данных будут освещены нами несколько позже, а сейчас введем основные понятия и определения математической статистики. В дальнейшем будем говорить только о случайных величинах, так как каждое случайное событие может быть представлено как индикаторная случайная величина (см. параграф 5.3).
Исходным «сырьем» для статистического исследования является совокупность результатов наблюдений (опытов, испытаний или экспериментов) х*, х\х*. Эти результаты представляют собой значения случайной величины X, распределение которой хотя бы отчасти неизвестно и его требуется определить на основании этих результатов.
Определение 1. Совокупность результатов наблюдений xf, х^, .... х* называют выборкой (выборочной совокупностью). В большинстве статистических задач она может быть интерпретирована как выборка из некоторой генеральной совокупности. в которой интересующий нас количественный признак распределен среди элементов так же, как распределена случайная величина X. Число мини» п »ы.
борке п называется объемом выборки. Если выборка рассматривается до ее фактического получения, то она представляется последовательностью независимых одинаково распределенных случайных величин Хь Х2,..., Хп, являющихся «вероятностными копиями»X.
Отметим, что если это не вызывает недоразумений, звездочки в обозначениях элементов выборки х*, х2, .... х* можно опускать и просто писать xt, х2, ..., хп. Это всегда можно делать для непрерывных случайных величин. Однако для дискретных случайных величин хь х2, ..., хп означают возможные значения случайной величины, так что здесь надо проявлять осторожность.
Примеры
Пример 10.1. Предположим, что имеется партия деталей в 10 000 штук. Из этих деталей 9000 годных, а 1000 представляют собой брак. В действительности число годных и негодных деталей неизвестно. Для того чтобы можно было судить хотя бы приблизительно об относительной доле брака, отбирают и контролируют сто деталей. В этом примере генеральной совокупностью является исходная партия деталей в 10 000 штук. Выборкой является множество деталей, изъятых из генеральной совокупности для контроля. Отметим, что описанная процедура называется выборочным контролем качества продукции.
Пример 10.2. Из партии товара случайным образом выбраны 25 изделий. Их вес (в граммах) оказался следующим: 54; 51; 54; 47; 49; 47; 49; 54; 51; 48; 49; 54; 54; 47; 49; 48; 51; 51; 54; 53; 49; 49; 48; 49; 51.
После упорядочивания эти данные выглядят так: 47; 47; 47; 48; 48; 48; 49; 49; 49; 49; 49; 49; 49; 51; 51; 51; 51; 51; 53; 54; 54; 54; 54; 54; 54.
Видно, что различных значений только шесть: 47; 48; 49; 51; 53; 54; значение 47 встречается 3 раза, значение 48 — 3 раза и т. д. □
Выбор элементов генеральной совокупности можно организовать двояким способом (см. табл. 2.1): выбор без повторений (без возвращения) и выбор с повторениями (с возвращением). В первом случае отбор элементов производится одновременно. Во втором случае отбор элементов производится поочередно, причем каждый выбранный элемент обследуется и возвращается в генеральную совокупность, после чего производится отбор следующего элемента. Заметим, что если объем выборочной совокупности значительно меньше объема генеральной совокупности, то различие между двумя видами выборок практически исчезает. Определение 2. Если выборка дает возможность достаточно уверенно судить об интересующем нас признаке генеральной совокупности, то выборка называется репрезентативной (представительной). Метод исследования свойств генеральной совокупности по данным выборки называется выборочным методом.
Необходимым условием репрезентативности выборки является ее случайность. Выборка называется случайной, если любой объект генеральной совокупности с одинаковой вероятностью может попасть в эту выборку.
Если объем в генеральной совокупности конечен, то для обеспечения равной возможности попадания объектов в выборку применяют различные приемы, в частности, используют генераторы случайных величин (случайные числа). До-
пустим, что генеральная совокупность содержит N объектов, а в выборке ДОЛЖНО быть п элементов. Объекты генеральной совокупности нумеруют от 1 до N. Затем вырабатывают п случайных чисел, принимающих с равными вероятностями значения от 1 до N. Так как случайные числа могут повторяться, то выборка получается с повторениями. Если выборка должна быть без повторений, повторяющиеся номера не учитывают.
ОТСТУПЛЕНИЕ -
Термин «статистика» может употребляться в различных значениях.
Статистика — это совокупность данных о множестве однородных объектов. Например, это совокупность данных о количестве пассажиров каждого авиарейса «Рига-Москва» М июнь-август одного года.
Статистика — это совокупность методов обработки данных. Весьма часто первичная информация неупорядочена и трудна для понимания. Речь идет о методах преобразования и описания данных, делающих эту информацию более наглядной и понятной.
Статистика — это некоторая функция выборочных данных, например, сумма наблюденных значений, число данных, превышающих заданную величину, и т. п.
Наконец, статистика — это раздел математики, посвященный методам анализа статистических данных. Именно этому направлению будет посвящено в основном дальнейшее изложение.
Представление статистических данных
Определение 3. Исходные данные, записанные в порядке неубывания наблюденных значений, называются вариационным рядом х(1), х(2)х(п),где
Х(1) -х(2) -••• -XW
В некоторых случаях в результате наблюдений сразу получается вариационный ряд. Если, например, на испытательном стенде исследуется продолжительность работы некоторых образцов до отказа, то моменты отказа образцов сразу образуют вариационный ряд.
Остановимся вначале на представлении выборки, соответствующей дискретной случайной величине. Будем в дальнейшим обозначать #{Л} число элементов выборки, удовлетворяющих условию Л. Например, #{Х = х(;)} есть число данных выборки, равных х(1).
Для дискретных случайных величин повторяющиеся значения указываются только один раз вместе с числом повторений П; для значения х^.
Определение 4. Пусть дискретная случайная величина X значение х(1) приняла П| раз, значение хт — п2 раза и т. д., то есть и, = #{Х = х(/)}, 1=1,2,..., к. Частотой События X = х(П называется отношение
р;=^-(юл)
п
где п = И| + п2 + ... — общее число наблюдений (объем выборки).
В табличной форме это может быть представлено, как показано в табл. 10.1.
Таблица 10.1. Табличное представление наблюдений над дискретной случайной величиной
х(»
хт
ХШ
п.
п2
П{
р*
Р2
Pi
Pt
Рассмотрим графическое изображение данных (рис. 10.1). Данные (х(1), n^j, (xw, пг\ •••• Cfy). nk) изображаются точками на плоскости. Эти точки соединяются отрезками прямой. Получается ломаная линия, которая называется полигоном частот.
Определение 5. Под группировкой данных понимают разбиение интервала, содержащего п наблюдений х^, х2х*, на некоторое число интервалов т и подсчет числа наблюдений, попавших в каждый из образованных интервалов. Будем обозначать длины интервалов Ait, М2Мт, а середины интервалов группирования t1,t2,...,tm. Тогда число наблюдений Ор попавших в j-й интервал (или просто — число наблюдений в j-м интервале) есть число наблюдений х, удовле
творяющих неравенству
(Ю.2)
или t'_j<x<t'.,(10.3)
At,
где t' =tj +—-— правый конец j-ro интервала группирования, у = 1, 2, ..., т,
( 2
012 ‘
Определение 6. Частотой наблюдений hj в j-м интервале группирования называется отношение числа наблюдений, попавших в j-й интервал, Oj = #{ty_1 < х S tj} к обшему числу наблюдений п:
А, =^.(Ю.4)
п.
Относительной частотой называется величина
h-=b_.(10.5)
Определение 7. Накопленной частотой Hj, соответствующей у-му интервалу, называется сумма наблюдений в первом, второмj-м интервалах. Иными словами, это частота наблюдений, не превосходящих верхней границы j-ro интервала М.
группирования tj + -у-:
Н,-th,.<106>
1=1
Определение 8. Гистограммой относительных частот называется графическое изображение функции
= Ц = -£- при tj -^<t^t5 +-2-.(10.7)
Результат группирования можно представить графически в системе координат (t,h/ му По оси абсцисс откладываются интервалы группирования. На каждом из интервалов строят прямоугольник, площадь которого равна частоте в интервале. Для этого в качестве высоты прямоугольника берется относительная частота. На рис. 10.2 представлена гистограмма относительных частот.
Рис. 10.2. Гистограмма относительных частот
Пример 10.3. Время, за которое пассажир прибывает в аэропорт до вылета, случайно, так как зависит от многих факторов. В следующей таблице приведены (в сгруппированном виде) результаты двухсот наблюдений, проведенных в некотором аэропорту. Здесь же приведены результаты вычислений по формулам (10.4)-(10.6) соответствующих частот, относительных частот и накопленных частот.
284
ждения улетающих пассажиров в аэропорту
Таблица 10.2. Врем
я наю
20-
40-
60
60- 80
80-
100
100-
120
120-
140
140-
160
160-
180
Интервалы времени, мин t)_i - *j
0-
17
40
30
27
43
34
29
9
8
3
Число данных в интервале, Я;
0.150
0.135
0.215
0.170
0.145
0.045
0.040
0.015
Частота в интервале, hj
0.085
0.235
0.370
0.585
0.755
0.900
0.945
0.985
1.000
Накопленная частота, Н,_
Q.UOU
0.750
0.675
1.075
0.850
0.725
0.225
0.200
0.075
Относительная^ частота, hj • 10
0.42!
। и свойства выборочных
Определен*
Характеристик а совокупность, на основании которой следует сделать И имеется выбор041 генеральной совокупности. Разумеется, эти выводы ыво ы о распределена больше объем выборочной совокупности. В предель- , тем достоверней, Званию подвергаются все элементы генеральной сово- У случае (когда обсл^борочная совокупность совпадает с генеральной) эти Н°М сти то есть когДа точными. Однако обычно мы не можем обследовать КУ ы будут абсолютность. В одних случаях это вызвано тем, что объем Всю генеральную c°BOIt бесконечен, в других — тем, что обследование каждо- В альной совокупн°'еделенными затратами времени и средств (например, го элемента связано с ^огут привести к разрушению испытуемых образцов), испытания на прочностей выборки случаен, то выводы и оценки, основан-
Я что так как сост^ь приблизительными оценками и выводами, имеющи- на ней являются Х°Р- Задача математической статистики заключается в
поятностныЙ харособом использовать имеющуюся информацию и ука- чтобы наилучШИЯ'и оценок и выводов, основанных лишь на ограничен- зать степень достоверьиале.
ном статистическом М1 для каждой характеристики распределения генераль- Dкайствующую ей характеристику выборочной совокупно-
ООУеристика будет называться эмпирической или выбороч- будет использоваться значок «*».Jim множество наблюденных значений случайной вели- гут быть и одинаковые, как пространство возможных ой случайной величины X': П ={х(1),х(2),..., х(п)}. ентарному событию ^Х'=x(i^, г=1,2и, вероят- отетические характеристики, полученные для данного эмпирическими характеристиками исследуемой слу-ООУеристика будет называться эмпирической или выбороч- будет использоваться значок «*».Jim множество наблюденных значений случайной вели- гут быть и одинаковые, как пространство возможных ой случайной величины X': П ={х(1),х(2),..., х(п)}. ентарному событию ^Х'=x(i^, г=1,2и, вероят- отетические характеристики, полученные для данного эмпирическими характеристиками исследуемой слу-D Первую ной совокуп сти. Каждая ной, и для 01
ООУеристика будет называться эмпирической или выбороч- будет использоваться значок «*».
Jim множество наблюденных значений случайной вели- гут быть и одинаковые, как пространство возможных ой случайной величины X': П ={х(1),х(2),..., х(п)}. ентарному событию ^Х'=x(i^, г=1,2и, вероят- отетические характеристики, полученные для данного эмпирическими характеристиками исследуемой слу-
ООУеристика будет называться эмпирической или выбороч- будет использоваться значок «*».
Jim множество наблюденных значений случайной вели- гут быть и одинаковые, как пространство возможных ой случайной величины X': П ={х(1),х(2),..., х(п)}. ентарному событию ^Х'=x(i^, г=1,2и, вероят- отетические характеристики, полученные для данного эмпирическими характеристиками исследуемой слу-
Определен чины X, С значений I
(1),х(2)х(п) есть вариационный ряд, соответству- совокупности. Эмпипической (Ьиикиией распределения(1),х(2)х(п) есть вариационный ряд, соответству- совокупности. Эмпипической (Ьиикиией распределенияПрипиШЯ кость, сл
(1),х(2)х(п) есть вариационный ряд, соответству- совокупности. Эмпипической (Ьиикиией распределения
(1),х(2)х(п) есть вариационный ряд, соответству- совокупности. Эмпипической (Ьиикиией распределения
называется функция, которая при каждом значении х равна наблюденному числу значений случайной величины, не превосходящих х, деленному на общее число наблюдений:
[о[оприприх<х(1);х<х(1);FXx) = \FXx) = \—#(Х <х} при—#(Х <х} прип1п1x(i)x(i)(10.8)(10.8)припри
[о
[о
при
при
х<х(1);
х<х(1);
FXx) = \
FXx) = \
—#(Х <х} при
—#(Х <х} при
п
1
п
1
x(i)
x(i)
(10.8)
(10.8)
при
при
Для уяснения физического смысла функции F* (х) рассмотрим событие X S х. Если функция распределения случайной величины X есть Ё(х), то вероятность этого события равна Е(х). В результате и независимых наблюдений это событие появилось #{Х < х} раз, то есть наблюденная частота составила #{Х < х}/п. По теореме Бернулли (см. следствие 7.2) при п -> оо частота события #{Х 5 х}/п будет стремиться по вероятности к истинной вероятности Е(х), то есть в каждой точкех
(10.9)(10.9)ЕДх) = А#{Х<х}-^->Е(х).п
(10.9)
(10.9)
Таким образом, эмпирическая функция распределения является эмпирическим (или выборочным) аналогом функции распределения генеральной совокупности. Нетрудно проверить, что эмпирическая функция распределения обладает всеми свойствами функции распределения (она не убывает, на минус бесконечности равна 0, а на плюс бесконечности — единице, непрерывная справа). Поэтому эмпирическая функция является приемлемой оценкой функции распределения F(x). Это подтверждается следующей теоремой, устанавливающей соответствие между обеими функциями распределения.
Теорема 10.1 (Гливенко). Пусть F(x) — функция распределения случайной величины X, a F*(x) — эмпирическая функция распределения выборочной совокупности объема п. Тогда
(10.10)(10.10)f<[ sup |е;(х)-Е(х)|—>oj- = 1.
(10.10)
(10.10)
Итак, максимальное расхождение между F*^x) и F^x) с ростом п стремится к нулю. Графическое представление эмпирической функции распределения имеет вид, изображенный на рис. 10.3.
Это есть ступенчатая кривая, возрастающая от 0 до 1 и имеющая «скачки» в точках х(1), х(2),.... xw Величина скачка в точке х(1) равна и,/и, если наблюдено тц значений х(|), в частности, 1/и, если наблюдено одно значение. Если x(j) * х<М), то между точками оси абсцисс х(1) и х(1+1) эмпирическая функция распределения сохраняет постоянное значение.
Выше уже отмечалось, что частота любого события с увеличением объема выборочной совокупности, то есть увеличением числа наблюдений, стремится к вероятности этого события. Следовательно, эмпирическим (выборочным) аналогом вероятности события является наблюденная частота этого события. Например, для дискретной величины вероятность Р{Х = хт) оценивается частотой п(/п,
где П; равно числу наблюдений, в результате которых было зафиксировано значение xw. Вероятность Р{Х < х} = Fix') оценивается, как мы уже знаем, частотой -#^Х <х\ В случае группировки данных вероятность попадания случайной п
величины в 7-й интервал группирования, то есть Р{^ -0.5Д^ <Х <tj + 0.5^}, оценивается частотой А- =—. Следовательно, если объем выборки достаточно п
велик, то по наблюденным частотам можно судить о законе распределения. Так, внешний вид гистограммы должен напоминать кривую плотности соответствующего распределения. Этими соображениями мы воспользуемся, когда будем по данным выборки исследовать закон распределения случайной величины.
fto
1
0,8 --
0,6
0,4
0,2
00Ч11111►
0
0
474849505152 х
Рис. 10.3. График эмпирической функции распределения
Итак, мы рассмотрели эмпирические аналоги вероятности событий и функции распределения. Рассмотрим теперь эмпирические аналоги числовых характеристик генеральной совокупности — математического ожидания, дисперсии и других моментов.
Определение 11. Эмпирический момент r-го порядка задается формулой: н:=-£(х(/)у.(io.li)
В частности, эмпирическое математическое ожидание — это эмпирический момент первого порядка, называемый также средним арифметическим Хп:
Н* -Hi -^„ = ^х(0.
Эмпирическая дисперсия определяется формулой
ст2* = -£(^0 -Р*)2.(10.12)
П |И
Как и для истинной дисперсии, имеет место также следующее соотношение для эмпирической дисперсии:
а2*=р;-(ц*)2.(10.13)
В случае повторяющихся данных формулы (10.11) и (10.12) эквивалентны следующим выражениям, которые обычно применяют для нахождения эмпирических моментов и дисперсии дискретных случайных величин:
Ц* =-Z^o)'(10.14)
И 1=1
ст2, =- Yn^xw -ц*)2,(10.15)
n;=-f«.^(,))r.(юле)
п i.1
где суммирование ведется только по различным значениям вариационного ряда.
Определение 12. В случае сгруппированных данных эмпирические характеристики подсчитываются по формулам:
„■ =^«,(1017)
rij=l ?-1
ст2* = -^,а^ -ц*)2 ^h^tj -ц*)2,(10.18)
и",<1о.19)
Для вычисления по сгруппированным данным эмпирической дисперсии может быть использована также формула (10.13).
Компьютерный практикум № 16.
Решение задач дескриптивной статистики в пакете STATISTICA
Общие положения
Настоящий практикум открывает цикл работ, выполняемых в пакете STATISTICA. Пакет STATISTICA представляет собой интегрированную систему статистического анализа и обработки данных. Производитель пакета — фирма StatSoft Inc. (США) — выпустила первую версию STATISTICA/DOS в 1991 г. С 1994 г. начат выпуск пакета STATISTICA под Windows. Версия STATISTICA 4.5 в 1995 г. включена в число 100 лучших программных продуктов для персональных компьютеров (ПК). В настоящей книге мы ориентируемся на версию пакета STATISTICA 5.5, однако технология решения рассматриваемых нами примеров практически не меняется при переходе к другим версиям.
Цель и задачи практикума
Целью практикума является приобретение практических навыков первичной обработки данных в пакете STATISTIC А.
Задачами практикума являются вычисление основных числовых характеристик выборки и графическое изображение соответствующих результатов.
Необходимый справочный материал
Для анализа и обработки данных в пакете используются статистические модули, в которых объединены группы логически связанных статистических процедур. Перечень основных модулей пакета STATISTICA представлен в табл. 10.3. В данном практикуме нам понадобится модуль Basic Statistics and Tables, в последующих практикумах используются также модули Multiple Regression и Nonpa- rametrics/Distribution. Для ознакомления с остальными модулями рекомендуется обратиться к [1].
Таблица 10.3. Основные статистические модули пакета STATISTICA
Наименование модуля
Назначение
ANOVA/MANOVA
Одномерный и многомерный дисперсионный и ковариационный анализ
Basic Statistics and Tables
Описательные статистики, группировка, вычисление корреляции, t-критерий для групповых различий, таблицы частот
Canonical Analysis
Канонический корреляционный анализ
Cluster Analisys
Кластерный анализ
Discriminant Analysis
Дискриминантный анализ
Factor Analysis
Факторный анализ
Log-Linear Analysis
Лог-линейный анализ (анализ сложных многоуровневых таблиц)
Multidimensional Scaling
Многомерное шкалирование
Multiple Regression
Линейный регрессионный анализ
Nonlinear Estimation
Нелинейное оценивание
Nonparametrics/ Distribution
Непараметрическая статистика, подгонка эмпирического распределения к теоретическому
Reliability /Item Analysis
Анализ надежности
SEPATH
Моделирование структурных уравнений (многомерный статистический анализ)
Survival Analysis
Анализ длительностей жизни
Times Series/Forecasting
Анализ и прогнозирование временных рядов
При запуске пакета автоматически открывается окно переключателя модулей STATISTICA Module Switcher, представленное на рис. 10.4. После выбора из предложенного списка нужного модуля нажмите курсором мыши на кнопку Switch to
(Переключить). В результате откроется прикладное окно модуля, содержащее таблицу с исходными данными, с которыми работали в предыдущем сеансе. Отметим, что в процессе работы в пакете окно переключателя модулей может быть вызвано командой прикладного меню Analysis—Other Statistics.
SIAHSTICA Module SwitcherSIAHSTICA Module Switcher•Ш^М Nonparametrics/Distrib g^ANOVA/MANOVA g[^£ Multiple Regression glA-* Nonlinear Estimation lv£ Time Series/Forecasting p Cluster Analysis ЩЦ Data Management/MI M ^ Factor Analysis•Ш^М Nonparametrics/Distrib g^ANOVA/MANOVA g[^£ Multiple Regression glA-* Nonlinear Estimation lv£ Time Series/Forecasting p Cluster Analysis ЩЦ Data Management/MI M ^ Factor AnalysisРис. 10.4. Окно переключателя модулей пакета STATISTICAРис. 10.4. Окно переключателя модулей пакета STATISTICA
SIAHSTICA Module Switcher
SIAHSTICA Module Switcher
•Ш^М Nonparametrics/Distrib g^ANOVA/MANOVA g[^£ Multiple Regression glA-* Nonlinear Estimation lv£ Time Series/Forecasting p Cluster Analysis ЩЦ Data Management/MI M ^ Factor Analysis
•Ш^М Nonparametrics/Distrib g^ANOVA/MANOVA g[^£ Multiple Regression glA-* Nonlinear Estimation lv£ Time Series/Forecasting p Cluster Analysis ЩЦ Data Management/MI M ^ Factor Analysis
Рис. 10.4. Окно переключателя модулей пакета STATISTICA
Рис. 10.4. Окно переключателя модулей пакета STATISTICA
Прикладное окно пакета STATISTICA представлено на рис. 10.5, оно имеет стандартную для окна приложения MS Windows структуру. Верхняя строка является заголовком окна и содержит имя приложения — STATISTICA и имя активного модуля — Basic Statistics and Tables, справа расположены кнопки для изменения размеров окна. Вторая строка содержит команды прикладного меню. Это меню включает набор стандартных для приложения MS Windows групп команд: File, Edit, View, Options, Window, Help, а также две специфичные группы Analysis (команды для управления вычислениями) и Graphs (команды для работы с графиками).
Рио. 10.В. Окно пакета STATISTICAРио. 10.В. Окно пакета STATISTICA
Рио. 10.В. Окно пакета STATISTICA
Рио. 10.В. Окно пакета STATISTICA
Гретья и четвертая строки образуют панель инструментов (Toolbar), содержащую снопки быстрого вызова команд меню. Для настройки панели инструментов ис- юльзуется команда прикладного меню View—Toolbar. Последняя запись означает, что вначале выполняется команда View, после чего из появившегося списка 1ыбирается опция Toolbar. Чтобы узнать название отдельной кнопки (иконки), юстаточно навести на нее курсор мыши. Многие кнопки (увеличения и умень- пения изображения, копирования, вставки, сохранения и т. п.) имеются в боль- линстве приложений MS Windows, и они хорошо известны читателю. Среди ин- етрументов, специфичных для пакета STATISTICA, следует указать кнопки построения графиков, которые открывают окна, предназначенные для работы с различными типами графиков. Здесь же находится кнопка Quick Basic Stats (бы- :трых основных статистик), которая вызывает меню, предназначенное для распета основных статистик для одной или нескольких переменных. Необходимо подчеркнуть, что вид панели инструментов зависит от настроек окна и типа используемого документа. Например, при работе с таблицей исходных данных доступны кнопки с названиями Var и Cases, которые позволяют изменить размеры таблицы, а также свойства ее столбцов и строк, что будем показано ниже.
Нижняя строка окна является строкой состояния (Status Ваг), в ней указаны режимы работы системы. В представленном примере система готова к работе (состояние READY).
Основную (центральную) часть окна приложения занимает рабочее окно, в котором вводятся исходные данные и выводятся результаты их статистической обработки, представляемые в табличном или графическом виде. В приведенном на рис. 10.5 примере показан вид рабочего окна на этапе ввода исходных данных. Ввод данных производится в клетки таблицы с заголовком DATA: NEW.STA 10v*10c. Здесь DATA определяет тип таблицы — таблица с исходными данными; NEW — имя файла с исходными данными (назначается по умолчанию и может быть изменено пользователем при сохранении файла); STA — стандартное расширение для файла с исходными данными в пакете STATISTICA; 10v*10c — размер таблицы NEW.STA, то есть 10 столбцов для размещения переменных (Variables) и 10 строк — для наблюдений или случаев (Cases). По умолчанию таблица с исходными данными, называемая часто Spreadsheet, имеет размерность 10x10, то есть 10 строк на 10 столбцов. Для увеличения количества строк необходимо ввести команду Cases—Add и далее указать место и количество добавляемых строк. Аналогичным образом по команде Vars—Add добавляется нужное количество столбцов (Variables). С помощью кнопок Cases и Vars можно выполнить также другие преобразования исходной таблицы, например, уменьшить ее размеры, переименовать строки и столбцы и многое другое.
Заголовки столбцов таблицы содержат имена переменных. В нашем примере используются имена переменных VARI, VAR2,..., VAR10, которые назначены системой по умолчанию. Для их переименования надо ввести команду Vars—Current Spec или дважды щелкнуть курсором мыши на соответствующем имени столбца. Далее в открывшемся окне (рис. 10.6) в поле Name вместо исходного имени ввести новое имя переменной. В этом окне можно изменить и другие спецификации столбца, например формат исходных данных для выбранного столбца. Для этого необходимо выбрать нужную категорию (Category), представление
(Representation) и количество используемых символов (Column width). По умолчанию все данные имеют числовой формат 8.3, что означает: общая длина поля — 8 символов, из которых три приходятся на десятичную часть числа.
Если электронная таблица, называемая Spreadsheet, имеет большие размеры, она может быть разделена на части до четырех секций перемещением специальной метки разделения (черный прямоугольник на линиях прокрутки). Система позволяет работать как с числами, так и с текстовыми данными, что очень важно ВО многих статистических исследованиях; например, при обработке анкетных данных, Пакет STATISTICA поддерживает разнообразные способы ввода исходных данных в электронную таблицу: ввод данных с клавиатуры; копирование данных ИЗ других приложений через буфер обмена (команды Edit—Copy, Edit—Paste), расчет по формулам новых данных на основе ранее введенных; импорт данных из других приложений (команда прикладного меню File—Import Data) и др.
I Vanabte I
Duplw FonMt-
CokwijyMt |5 Щ D.eeeeeh [5 §
NumbetR1 OOP QUO; 1OOUOOUNumbetR1 OOP QUO; 1OOUOOUCetegoiy:Hnpcnnntation'
NumbetR1 OOP QUO; 1OOUOOU
NumbetR1 OOP QUO; 1OOUOOU
|Date•&1000.000;-1000 000
ITime5@1000.0001(10000001
ф Scientitic & 1 000.000: {1 000 000)
1Currencysi
■ [■•■ Percentage:8?
Long name (label, bnk. or formula with Euwcbotut |)
Exsmplee Lebel: &0»incabe,h199T ' - , Рвпцйе:'*Л»*Г; comment Ц* ®Е**|каде*Ю|8Ые1 • --' •" -[v1>8FASEtv3
Рис. 10.6. Окно для задания спецификаций столбца
Результаты статистического анализа выводятся в виде специальной электронной таблицы, называемой Scrollsheet. Данная таблица может быть сохранена в файле с расширением .scr (таблица с результатами), а также в файле исходных данных с расширением .sta или текстовом файле формата .txt.
Пакет предоставляет пользователю широкий набор различных графиков, которые могут строиться на плоскости (2D) и в пространстве (3D). Графики подразделяются на две категории: специализированные статистические графики (STATS Graphs) и пользовательские графики (Customs Graphs). Графики можно сохранять в файлах с расширением .stg.
При наличии большого количества выходных документов в пакете STATISTICA предусмотрена возможность создания сводного отчета в формате .txt или .rtf, включающего как таблицы результатов, так и построенные графики. Естественно, не исключается возможность переноса результатов анализа в документы других приложений (например, MS Word, MS Excel и др.) через буфер обмена (команды Edit—Copy, Edit—Paste). С целью сохранения наглядности представления результатов в документах MS Word их рекомендуется переносить в виде твердых копий экрана, которые получаются путем нажатия клавиши Print Screen.
Реализация и результаты выполнения задания
Выполним первичную обработку статистических данных, характеризующих метеоусловия аэропортов в зимний период. В качестве исходных данных будем использовать выборку из 30 аэропортов, для которых известно среднее количество дней в году с твердыми осадками, то есть со снегом (см. ниже).
■ti■tito Basic Statistics and Tablesto Basic Statistics and TablesEDesciipUve statisticsEDesciipUve statisticsРис. 10.7. Стартовая панель модуля Basic Statistics and TablesРис. 10.7. Стартовая панель модуля Basic Statistics and TablesДля решения задач описательной статистики будем использовать модуль Basic Statistics and Tables. Для его запуска выделим строку Basic Statistics в окне переключателя модулей STATISTICA Module Switcher и нажмем кнопку Switch to. В результате откроются окно с таблицей исходных данных и стартовая панель модуля, содержащая список процедур, которые доступны в данном модуле (рис. 10.7). Назначение этих процедур следующее: Descriptive statistics — расчет описательных статистик; Correlation matrices — вычисление и анализ корреляционной матрицы; t-test for independent samples и t-test for dependent samples — t-тесты для проверки гипотез в случае независимых и зависимых выборок соответственно; Breakdown & one-way Anova — классификация и однофакторный дисперсионный анализ; Frequency tables — построение таблиц частот; Tables and banners — таблицы и заголовки (дополнительные средства работы с таблицами, например, построение и обработка перекрестных (кросс-) таблиц); Probability calculator — калькулятор вероятностных распределений; Other significance tests — другие критерии значимости, используемые для проверки гипотез; например, для проверки различий между двумя средними для нормальной совокупности. Для решения задач данного практикума используются процедуры Descriptive statistics и Frequency tables. Ряд других процедур рассматривается нами в практикумах, представленных в последующих главах.
■ti
■ti
to Basic Statistics and Tables
to Basic Statistics and Tables
EDesciipUve statistics
EDesciipUve statistics
Рис. 10.7. Стартовая панель модуля Basic Statistics and Tables
Рис. 10.7. Стартовая панель модуля Basic Statistics and Tables
Уд Correlation matricet
IBS t-test for independent templet t-te*t for dependent templet к Breakdown t one-way ANOVA
Frequency tablet
^^ T ablet and banner*
&Д Probability calculator
И£Д Other significance test*
Первым этапом работы является создание таблицы исходных данных. Если в рабочем окне (см. рис. 10.5) таблица с исходными данными является пустой, то будем использовать ее; в противном случае с помощью команды File—New Data откроем новую таблицу и сохраним ее на диске с именем airports.sta. С помощью команды Cases—Add добавим в таблицу 20 новых строк, увеличив общее их количество до 30.
Для удобства работы переименуем заголовки строк таблицы, заменив их на названия аэропортов, и заголовок второго столбца, заменив стандартное имя VAR1 на СНЕГ. Для этого выполним следующие действия. Отметим первый столбец таблицы, который содержит номера случаев, и введем команду Cases—Nemes (или
выполним двойной щелчок по заголовку столбца). В результате последовательно откроются диалоговое окно для задания ширины столба (рис. 10.8, а) и окно для ввода в первый столбец наименований строк таблицы (рис. 10.8, б). Используя первый вариант окна Case Name Manager, установим ширину столбца и нажмем кнопку Yes. Появится второй вариант окна Case Name Manager, с помощью которого введем построчно наименования аэропортов. Отметим второй столбец с именем VAR1 и введем команду Vars—Current Spec. В открывшемся окне спецификаций столбца (см. рис. 10.6) в поле Name введем новое имя столбца СНЕГ. Кроме того, в поле Decimals установим 0 цифр в дробной части числа, так как переменная СНЕГ определяет количество дней с твердыми осадками в году и должна иметь целый тип.
Далее в столбец СНЕГ введем статистические данные, как это показано на рис. 10.9. На этом ввод данных закончен.
Рис. 10.8. Окна, используемые для ввода заголовков строкРис. 10.8. Окна, используемые для ввода заголовков строк
Рис. 10.8. Окна, используемые для ввода заголовков строк
Рис. 10.8. Окна, используемые для ввода заголовков строк
Ннрменск 0****6*К»Налхин .'. ^ Ре—•Ннрменск 0****6*К»Налхин .'. ^ Ре—•BBSSSS^Ck Мвиск < .Моокза -у >s /Ж?Кишинев * Самара ' '•’•зч'*—-радТбилисиBBSSSS^Ck Мвиск < .Моокза -у >s /Ж?Кишинев * Самара ' '•’•зч'*—-радТбилисиБаха Ереван ОмскБаха Ереван ОмскЛлма-ЛааТаихек»Ллма-ЛааТаихек»H686fcu@ipcxH686fcu@ipcx
Ннрменск 0****6*К»
Налхин .'. ^ Ре—•
Ннрменск 0****6*К»
Налхин .'. ^ Ре—•
BBSSSS^Ck Мвиск < .
Моокза -у >s /
Ж?
Кишинев * Самара ' '•’•зч'*—-рад
Тбилиси
BBSSSS^Ck Мвиск < .
Моокза -у >s /
Ж?
Кишинев * Самара ' '•’•зч'*—-рад
Тбилиси
Баха Ереван Омск
Баха Ереван Омск
Ллма-Лаа
Таихек»
Ллма-Лаа
Таихек»
H686fcu@ipcx
H686fcu@ipcx
c$rj
60;
1661 в9 45:
45;
■ 40]
"45]
661
661
20;
6 О
' 20]
161
6;
19
661
20]
15]
80]
60:
661
" 661
' б 6!
35
100]
40
' ' 26'
6 о]
Ь
Рио. 10.9. Таблица с исходными данными
Для решения задач практикума запустим процедуру Descriptive statistics. Для этого на стартовой панели модуля (см. рис. 10.7) выберем задачу Descriptive statistics и нажмем кнопку ОК. Имеется и другая возможность запуска процедуры — из окна пакета (см. рис. 10.5) с помощью команды Analysis—Descriptive statistics.
В открывшемся окне Descriptive Statistics (рис. 10.10) нажмем на кнопку Variables, в результате откроется окно Select the varibles for analisys, представленное на рис. 10.11. В предлагаемом списке переменных выделим переменную, для которой требуется выполнить первичную обработку. В нашем случае это будет переменная номер 1, или СНЕГ. Нажав кнопку ОК, вернемся в окно Descriptive Statistics.
Рис. 10.10. Окно процедуры Descriptive Statistics
Рис. 10.11. Окно для выбора переменных
1ервой задачей обработки является вычисление числовых характеристик выборки. 1 открывшемся окне Descriptive Statistics нажмем на кнопку More statistics, в ре- ультате появится окно Statistics, содержащее список показателей, которые тре- уется вычислить (рис. 10.12). В нашем случае отметим следующие показатели:
Valid N (объем выборки), Mean (среднее), Median (медиана), Standart Deviation (среднее квадратическое отклонение), Variance (дисперсия), Minimum & maximum (минимум и максимум), Range (размах варьирования), Quartile range (размах квартилей) и активизируем кнопку ОК.
Рис. 10.12. Выбор числовых характеристик выборкиРис. 10.12. Выбор числовых характеристик выборки
Рис. 10.12. Выбор числовых характеристик выборки
Рис. 10.12. Выбор числовых характеристик выборки
Continue.. JContinue.. J*gg Descriptive Statistics (aupoits.sta)*gg Descriptive Statistics (aupoits.sta)Для получения ответа нажмем на кнопку Detail descriptive statistics в окне Descriptive Statistics (см. рис. 10.10). После этого откроется таблица результатов, представленная на (рис. 10.13). Для просмотра всех результатов необходимо использовать линию прокрутки. Соответственно на рис. 10.13, а представлена первая часть таблицы результатов, на рис. 10.13, б — ее вторая часть, полученная после прокрутки.
Continue.. J
Continue.. J
*gg Descriptive Statistics (aupoits.sta)
*gg Descriptive Statistics (aupoits.sta)
94.00000 ; 40.00000 i 741.S96627.23227
6
Рис. 10.13. Результаты расчета числовых характеристик выборки
Следующей задачей обработки является построение таблицы и графиков частот. Для этого нажмем на кнопку Continue и вернемся в окно Descriptive Statistics. Далее нажмем на кнопку Frequency tables, в результате получим таблицу частот, представленную на рис. 10.14. В первом столбце таблицы заданы интервалы для переменной х (количество дней со скегом), причем последняя строка содержит пропущенные (Missing) значения. Втопой гт«/»п “
ременной в интервалы (Coun^), третий столбец — кумулятивное число попаданий (Cumul. Count), четвертый и шестой столбцы — частоты в процентах соответственно для имеющихся в наличии (не пропущенных) наблюдений (Percent of Valid) и для всех наблюдений (% of all Cases), пятый и седьмой столбцы — кумулятивные частоты в процентах, соответственно для имеющихся в наличии (не пропущенных) наблюдений (Cumul. % of Valid) и для всех наблюдений (Cumul. % of All).
‘*CHII laupoils sld)‘*CHII laupoils sld)20200 90 90 •g0 •g6060ISISii42ii4213 24 28 303013 24 28 3030; 30■f 13 "36Tib6; 30■f 13 "36Tib60.000000.0000000000 :33333 .66667 :33333 ?66667 :00000 :33333 .66667 :33333 ?66667 :oTboobooTboobo3043 "bo" ""93 ibo3043 "bo" ""93 ibo0.0000 ■ 0.000000.0000 ■ 0.00000!l .Ml!l .Mlboob 3333 bbbb 3333 bbbbboob 3333 bbbb 3333 bbbb30 13" 36 13 ""630 13" 36 13 ""6bbbbb ззззз ■66667 33333 66667bbbbb ззззз ■66667 33333 66667KOODOOKOODOO304380...........fob304380...........fob0.00000.00000000 3333 odbb 3333 bboo0000 3333 odbb 3333 bboo
‘*CHII laupoils sld)
‘*CHII laupoils sld)
20
20
0 9
0 9
0 •g
0 •g
60
60
IS
IS
ii
4
2
ii
4
2
13 24 28 30
30
13 24 28 30
30
; 30
■f 13 "36
Tib
6
; 30
■f 13 "36
Tib
6
0.00000
0.00000
00000 :
33333 .
66667 :
33333 ?
66667 :
00000 :
33333 .
66667 :
33333 ?
66667 :
oTboobo
oTboobo
30
43 "bo" ""93 ibo
30
43 "bo" ""93 ibo
0.0000 ■ 0.00000
0.0000 ■ 0.00000
!l .Ml
!l .Ml
boob 3333 bbbb 3333 bbbb
boob 3333 bbbb 3333 bbbb
30 13" 36 13 ""6
30 13" 36 13 ""6
bbbbb ззззз ■66667 33333 66667
bbbbb ззззз ■66667 33333 66667
KOODOO
KOODOO
30
43
80
...........
fob
30
43
80
...........
fob
0.0000
0.0000
0000 3333 odbb 3333 bboo
0000 3333 odbb 3333 bboo
Рис. 10.14. Таблица частот
Для построения графиков частот и кумулятивных частот выделим столбцы Percent of Valid и Cumul. % of Valid и выполним команду меню Graphs—Custom Graphs—2D Graphs. В открывшемся окне (рис. 10.15) выберем тип графика Line Plot и нажмем кнопку ОК.
В результате получим графики, представленные на рис. 10.16.
Рис. 10.15. Окно выбора вида графикаРис. 10.15. Окно выбора вида графика.^"jUiapM 21) UiaphF^Fl^.^"jUiapM 21) UiaphF^Fl^Рис. 10.16. Графики частот и кумулятивных частотРис. 10.16. Графики частот и кумулятивных частот
Рис. 10.15. Окно выбора вида графика
Рис. 10.15. Окно выбора вида графика
.^"jUiapM 21) UiaphF^Fl^
.^"jUiapM 21) UiaphF^Fl^
Рис. 10.16. Графики частот и кумулятивных частот
Рис. 10.16. Графики частот и кумулятивных частот
Для построения гистограммы частот через кнопку Continue... вернемся в окно Descriptive Statistics. С помощью функциональной кнопки Histograms (см. рис. 10.10) получим гистограмму, представленную на рис. 10.17. Кроме гистограммы частот на рисунке показана теоретическая кривая плотности распределения наблюдаемой случайной величины в случае нормального закона.
Рис.10.17. Гистограмма частотРис.10.17. Гистограмма частот
Рис.10.17. Гистограмма частот
Рис.10.17. Гистограмма частот
В пакете имеется возможность построить диаграмму размаха варьирования случайной величины х. Для этого в окне Descriptive Statistics (см. рис. 10.10) необходимо нажать на кнопку Box & Wisker plot for all variables. В результате откроется окно выбора списка выводимых параметров, представленное на (рис. 10.18). В нашем случае выберем первую строку, задающую следующие параметры вывода: медиану, квартиль и разброс.
Box Whiskei Type:Box Whiskei Type:№№№ЙЙ№ЙЙwfflF/SD"MlAfi/I.X-SD-wfflF/SD"MlAfi/I.X-SD-ЦКЦКCencotCencotк|Ни|Га}|НЬв*Ык*М«*ЬЬ|к >»шМ)цйМ9*',|**0ЧДО>* мМ@м<чМрс^ * 5.' ^к|Ни|Га}|НЬв*Ык*М«*ЬЬ|к >»шМ)цйМ9*',|**0ЧДО>* мМ@м<чМрс^ * 5.' ^
Box Whiskei Type:
Box Whiskei Type:
№
№
№
ЙЙ
№
ЙЙ
wfflF/SD"
MlAfi/I.X-SD-
wfflF/SD"
MlAfi/I.X-SD-
ЦК
ЦК
Cencot
Cencot
к|Ни|Га}|НЬв*Ык*М«*ЬЬ|к >»шМ)цйМ9*',|**0ЧДО>* мМ@м<чМрс^ * 5.' ^
к|Ни|Га}|НЬв*Ык*М«*ЬЬ|к >»шМ)цйМ9*',|**0ЧДО>* мМ@м<чМрс^ * 5.' ^
Рис. 10.18. Окно выбора списка выводимых параметров
После нажатия кнопки ОК получим диаграмму размаха, представленную на рис. 10.19. Диаграмма показывает, как распределены дни со снегопадами для совокупности аэропортов. В частности 50% случаев приходится на диапазон от 20 до 60 дней. Медиана равна 45, минимум — 5, максимум —100 дней.
В заключение отметим, что решение рассмотренных задач практикума можно выполнить также с помощью процедуры Frequency tables, входящей в состав модуля Basic Statistics/ТаЫев. После запуска процедуры Frequency tablet откроется окно, представленное на рис. 10.20. Для решения рассмотренных выше задач практикума необходимо воспользоваться соответственно кнопка-
ми Descriptive statistics, Frequency tables, Histograms и Box & Wisker plot for all variables.
Рис. 10.19. Диаграмма размаха варьирования случайной величины
S Frequency Т ablerО В
Рис. 10.20. Окно процедуры Frequency tables
Говоря об основных различиях между процедурами Descriptive statistics и Frequency tables, необходимо подчеркнуть, что последняя предоставляет больше возможностей при работе с таблицами и графиками частот, однако проигрывает первой при расчете числовых характеристик выборки, так как вычисляет только выборочное среднее, среднее квадратическое отклонение, минимальное и максимальное значения.
Компьютерный практикум №17
Работа с распределениями случайных величин в пакете STATISTICA
Цель и задачи практикума
Целью практикума является приобретение практических навыков по работе с различными распределениями случайных величин в пакете STATISTICA.
Задачами данного практикума являются: построение графиков плотностей И функций распределения для используемых в задачах статистического анализа непрерывных распределений (нормального, %2, Фишера и Стьюдента); нахождение соответствующих квантилей для заданных вероятностей; расчет вероятностей и построение полигона вероятностей и графика функции распределения ДЛЯ дискретных случайных величин (на примере биномиального распределения).
Необходимый справочный материал
Для решения разнообразных задач статистического анализа необходимо знать значения функций распределения случайных величин и соответствующих квантилей. Данные задачи можно сформулировать следующим образом: определить вероятность того, что случайная величина не превысит фиксированного значения; найти значение случайной величины, для которого функция распределения равна заданному значению р. Искомое значение случайной величины называется квантилью, соответствующей вероятности р (подробно это понятие будет рассмотрено в параграфе 12.1). В классических учебниках по математической статистике для этих целей, как правило, используются специальные справочные таблицы, которые авторы включают в основной текст или в соответствующие приложения. В настоящей книге справочные таблицы не приводятся — все показатели рассчитываются на персональном компьютере.
Для работы с распределениями непрерывных случайных величин в пакете STATISTICA используется специальное средство — калькулятор вероятностных распределений. Для его вызова выполняется процедура Probability calculator, которая входит в состав модуля Basic Statistics and Tables. С помощью вероятностного калькулятора могут решаться разнообразные элементарные вероятностные задачи, среди них назовем построение графиков плотностей и функции распределения, определение квантили для заданной вероятности и др.
При запуске процедуры Probability calculator открывается окно калькулятора Probability Distribution Calculator, представленное на рис. 10.21. В левой части данного окна дается список распределений непрерывных случайных величин, доступных пользователю. В средней части в строке р содержится вероятность Р^Х 2 х} = Г(х), в строке X — значение случайной величины или квантиль, соответствующая ЭТОЙ вероятности. Далее содержатся поля для ввода параметров распределения (в нашем случае рассматривается нормальное распределение, для которого таких параметров два — математическое ожидание и среднее квадратическое отклонение), В верхней части окна содержатся опции, предназначенные для настройки режимов работы процедуры. Назначение данных опций следующее: Inverse — работа с обратной функцией распределения (используется при вычислении квантили); Two-tailed — построение двустороннего интервала для плотности распределения; 1-Cumulative р — использование вместо вероятности р вероятности 1 -р; Create
□raph — создание графика; Print — вывод результатов на печать. Пользователь чожет выбрать закон распределения и для заданного значения случайной вели- тины х вычислить значение функции распределения f(x) или решить обратную задачу — задать вероятность р и определить соответствующую ей квантиль f-1(x). Во втором случае следует переключить опцию Inverse.
В нижней части окна выводятся эскизы графиков плотности и функции распределения для выбранного примера. Для построения этих графиков в полном объ- гме необходимо отметить опцию Create Graph и далее нажать кнопку Compute.
teWbuBon
I Beta
i Cauchy
I Chi I
^ Exponential
$ Extreme value
2 F
^ Gamma
» Laplace
^ Log-Normal
g Logistic Pareto
& Rayleigh
§ t (Student) Weibull ЙСИЕЕММ1
P Fried Seeling
Рис. 10.21. Окно калькулятора вероятностного распределения
В случае работы с дискретными распределениями для расчета вероятностей и функций распределения будем применять соответствующие встроенные функции. Например, для биномиального распределения имеется две встроенные функции: В1пот(х, р, и) и IBinom^x, р, п), вычисляющие соответственно вероятность принятия значения х = г и значение функции распределения в точке х для биномиального распределения (3.3) и (3.12) с параметрами р и п. В пакете STATISTICA имеются встроенные функции для всех популярных распределений, причем функции, у которых имена начинаются с буквы I, вычисляют значения функций распределения.
Для вычисления встроенной функции в пакете STATISTICA следует отметить незаполненный столбец таблицы исходных данных Spreadsheet и затем выполнить команду Vars—Current Spec, которая была рассмотрена выше в компьютерном практикуме № 16. Пример ввода встроенной функции с использованием конструктора Function Wizard показан на рис. 10.22. В открывшемся окне спецификаций переменной, в нижней его части имеется рабочая область Long name (label, link or formula with Function), которая предназначена для ввода выражений и комментариев. Набор формулы следует производить здесь, начиная ввод со знака равно. Далее можно набирать требуемую функцию самому или обратиться к конструктору, щелкнув мышью по кнопке Function. В последнем случае откроется окно Spreadsheet Formulas, в котором содержится список встроенных функций. После выбора из списка нужной функции необходимо нажать на кнопку Insert. В результате после знака равно будет введено выражение, содержащее нужную функцию с формальными параметрами. Для получения результата необходимо заменить формальные параметры на фактические, в нашем случае
необходимо задать параметры распределения и значение аргумента. В списке аргументов функции могут использоваться имена переменных (имена столбцов) или константы.
Рис. 10.22. Порядок ввода встроенной функции с использованием конструктора Function Wizard
Реализация и результаты выполнения задания
В первой части практикума выполняются задания для непрерывных распределений: нормального, х2, Фишера и Стьюдента, во второй осуществляется работа с биномиальным распределением.
Запустим процедуру Probability calculator, для чего в окне переключателя модулей STATISTICA Module Switcher выберем модуль Basic Statistics и нажмем кнопку Switch to. В открывшемся окне Basic Statistics and Tables (см. рис. 10.4) из списка процедур выберем Probability calculator и нажмем кнопку ОК. В результате откроется окно калькулятора Probability Distribution Calculator, рассмотренное выше (см. рис. 10.21).
Сначала выполним расчеты для нормального распределения со средним значением ц = 0.5 и средним квадратическим отклонением а = 1. Первая задача будет заключаться в поиске квантили для вероятности р = 0.8 и построении графиков плотности и функции распределения. В окне калькулятора в соответствующие поля (рис. 10.23) введем параметры распределения, вероятность р и отметим опции Inverse и Create Graph.
После нажатия кнопки Compute получим окна с результатами, представленные на рис. 10.24 и рис. 10.25. Значение квантили для заданной вероятности равно 1.341612.
Probability Distribution Calculator
liitribution Beta
:s Cauchy
$ Chi I
a Exponential
•s Extreme value
£ F
% Gamma
•s Laplace
:» Log-Normal
& Logitlic к Pareto ?. Rayleigh £ t (Student)
§ Weibull
«5КЗВПВВ7ЯЯЯ8
PHwdScebig
|7 InvMM Г* r*iir,i у | Compute^ Г TwHmM I? Deale Biaph , Г IKuaulative p) E** I
Рис.10.23. Окно с исходными данными для расчета квантили
Probability Distribution Calculat if
Distribution
s Bete
» Caur hy
; Chil Exponential Extreme value
, F
Gamma Laplace
* Log-Normal Logistic
* Pareto
г Rayleigh t (Student) Weibull
[Normal]
P Fixed Scaling
Рис. 10.24. Результаты расчета квантили для нормального распределения
Рис. 10.25. Графики плотности и функции распределения для нормального распределения
Probability Distribution Functionp=inormal(x;0.5;1)
[Probabilit у Di^tHbut ion Cakuiator[Probabilit у Di^tHbut ion CakuiatorExponentialExtreme valueExponentialExtreme valueLaplace Log-NormalPareto Rayleigh t [Student) Weibu# Z INoimal)P Fated SeeingLaplace Log-NormalPareto Rayleigh t [Student) Weibu# Z INoimal)P Fated SeeingРис. 10.27. Результаты расчета квантили для х ^распределенияРис. 10.27. Результаты расчета квантили для х ^распределенияfi,»U**on Betafi,»U**on BetaРис. 10.28. Графики плотности и функции распределения для х2-распределенияРис. 10.28. Графики плотности и функции распределения для х2-распределения
[Probabilit у Di^tHbut ion Cakuiator
[Probabilit у Di^tHbut ion Cakuiator
Exponential
Extreme value
Exponential
Extreme value
Laplace Log-Normal
Pareto Rayleigh t [Student) Weibu# Z INoimal)
P Fated Seeing
Laplace Log-Normal
Pareto Rayleigh t [Student) Weibu# Z INoimal)
P Fated Seeing
Рис. 10.27. Результаты расчета квантили для х ^распределения
Рис. 10.27. Результаты расчета квантили для х ^распределения
fi,»U**on Beta
fi,»U**on Beta
Рис. 10.28. Графики плотности и функции распределения для х2-распределения
Рис. 10.28. Графики плотности и функции распределения для х2-распределения
Следующая задача заключается в определении значения функции распределения для заданного значения случайной величины х = 1. Введя в поле X значение^ равное 1, и нажав кнопку Compute, в поле р получим значение функции распределения, равное 0.691462 (рис. 10.26). -
Аналогичные действия выполним для распределений х2, Фишера и Стьюдента.
Результаты проведенных расчетов представлены ниже.
Для х2 -распределения с числом степеней свободы df = 6 и вероятности р = 0.8 определена квантиль СЬН = 8.558060 (рис. 10.27) и построены графики плотности и функции распределения (рис. 10.28).
Рго1>аЫК1у D.stnbutionCakulator
QltUdWttOn
• Cauchy Он I
? Exponential
' Extreme value F
Gamma
■: Laplace
:: Log-Normal
■ Logixtic
. Rayleigh
■ t (Student)
; Weibull
PfmedScahng
Рис. 10.26. Результаты расчета функциираспределения для х = 1
Для распределения Фишера со степенями свободы т = 4 и п = 15 результаты расчетов представлены на рис. 10.29. В поля d/l и djl введены соответственно значения тип, Квантиль этого распределения, соответствующая вероятности
р = 0.95, равна F = 3.055568. Графики плотности и функции распределения представлены на рис. 10.30.
Рис. 10.29. Результаты расчета квантили для распределения ФишераРис. 10.29. Результаты расчета квантили для распределения Фишерар) Grapblр) GrapblProbability Density Function y=F(x;4;15)Probability Density Function y=F(x;4;15)Рис. 10.30. Г рафики плотности и функции распределения для распределения ФишераРис. 10.30. Г рафики плотности и функции распределения для распределения ФишераProbability Distribution Function p=iF(x;4;15)Probability Distribution Function p=iF(x;4;15)
Рис. 10.29. Результаты расчета квантили для распределения Фишера
Рис. 10.29. Результаты расчета квантили для распределения Фишера
р) Grapbl
р) Grapbl
Probability Density Function y=F(x;4;15)
Probability Density Function y=F(x;4;15)
Рис. 10.30. Г рафики плотности и функции распределения для распределения Фишера
Рис. 10.30. Г рафики плотности и функции распределения для распределения Фишера
Probability Distribution Function p=iF(x;4;15)
Probability Distribution Function p=iF(x;4;15)
Для распределения Стьюдента с числом степеней свободы df = 10 результаты расчетов представлены на рис. 10.31. Квантиль этого распределения, соответствующая вероятности р = 0.95, равна t = 1.812461. Графики плотности и функции распределения представлены на рис. 10.32.
В заключительной части данного практикума рассматривается биномиальное распределение.
Выполним расчеты для биномиального распределения с параметрами п = 10 и р = 0.7 в точке х = 9. Введем в таблицу с исходными данными Spreadsheet заданные значения, как это показано на рис. 10.33.
Рис. 10.31. Результаты расчета квантили для распределения Стьюдента
Probability Density Function y=student(x;10)
Probability Distribution Function p=istudent(x;tO)
Рис. 10.32. Графики плотности и функции распределения для распределения Стьюдента
Рис. 10.33. Таблица с исходными даннымиРис. 10.33. Таблица с исходными данными
Рис. 10.33. Таблица с исходными данными
Рис. 10.33. Таблица с исходными данными
Далее в окне спецификации четвертого столбца, названного нами Р_Х, в поле Long name введем формулу для биномиального распределения, как это показано на рис. 10.34.
Аналогичным образом в окне спецификации для пятого столбца, названного нами F_X, введем формулу для функции распределения биномиального распределения вида: - IBinom^x, р, п)
Рис. 10.34. Окно для ввода функции биномиального распределения
В результате получим следующие ответы: Р^Х = 9} = 0.121 и F(9) = 0.972 (см. рис. 10.35).
"уз Data Ыпот SIA 10v ж 10с
Рис. 10.35. Таблица с исходными данными и результатами расчета
Далее для биномиального распределения с параметрами и = 10 и р = 0.7 рассчитаем распределение вероятностей и функцию распределения. С этой целью вышерассмотренный пример выполним для множества точек х = 0, 1,210 путем формирования 11 строк таблицы. Тогда таблица с исходными данными и полученными результатами будет иметь вид, представленный на рис. 10.36. Для наглядности мы увеличили до пяти знаков длину дробной части чисел четвертого и пятого столбцов.
Гак
Data Ьшоп
i 5 1A 10v *
Нс1
NUf|
2 * P
y**,4Wr*41 S ,M
Г ■
10 io ib 10 10
io ib 10
10 10
.70:0.00001.00001
. 70l1:.00014:.00014:
.70:2.00145:.00159:
.70:3:00900:.01059:
.70:4.03676:.04735:
.70:5.10292:.15027;
’ .70:6.20012;.35039?
.70:■ 7.26683: .61722
.70:9..23347:.85069
.70l9.12106.97175
я
JO
_.70
10 _ w .028251.00000:
Рис. 10.36. Таблица с исходными данными и результаты расчета полигона вероятностейи функции распределения
Используя полученную таблицу с результатами, построим полигон вероятностей и функцию распределения для заданного биномиального распределения. Для построения соответствующих графиков необходимо: выделить столбцы Р_Х и F_X; выполнить команду меню Graphs—Custom Graphs—2D Graphs; в открывшемся окне Custom 2D Graphs (рис. 10.37) выбрать тип графика для столбца Р_Х — Line Plot (линейный график), для столбца F_X — Step Plot (ступенчатый график) и задать имя переменной по оси абсцисс — X.
Рис. 10.37. Окно выбора типа графика
После нажатия кнопки ОК получим полигон вероятностей (Р_Х) и график функции распределения (F_X), представленные на рис. 10.38.
Рис. 10.38. Полигон вероятностей и график функции респределения для биномиального распределения с параметрами п - 10 ис ■ 0.7
Задания для самостоятельной работы
Используя пакет STATISTICA, сгенерируйте выборку объема п = 100, соответствующую экспоненциальному распределению с параметром X = 2. Проведите первичный статистический анализ выборки, как это было сделано выше в компьютерном практикуме № 16.
Указание. Для генерации п случайных величин, соответствующих заданному закону распределения, необходимо выбрать один из столбцов таблицы исходных данных, состоящей из п строк. В окне его спецификаций (как это было показано в компьютерном практикуме № 17) следует ввести формулу, согласно которой вырабатываются необходимые случайные величины. Последние будут записываться в клетках выбранного столбца.
В частности, для экспоненциального распределения с параметром X, рассматриваемого в настоящем задании, эта формула будет иметь вид:
=V£xpon(J?nd(l), X),
здесь /?иб/(1) — встроенная функция, вырабатывающая случайные величины, равномерно распределенные в интервале от 0 до 1;
VExpon(y, X) — вычисляет значение обратной функции в точке у для функции экспоненциального распределения с параметром X.
Для случая нормального распределения, которое будет рассмотрено ниже во втором задании, аналогичная формула имеет вид:
=VNormal(y; ц; а),
где VNormal^Rnd^), ц, а) — вычисляет значение обратной функции в точке у для функции нормального распределения с параметрами ц и а.
Выполните предыдущее задание для выборки из нормального распределения с параметрами ц = 2 и с = 1.5.
С помощью пакета STATISTICA проанализируйте влияние параметров распределения на форму кривых плотностей для следующих непрерывных распределений: экспоненциального, нормального, Фишера, Стьюдента, х2-
С помощью пакета STATISTICA проанализируйте влияние параметров распределения на форму полигона вероятностей для следующих дискретных распределений: биномиального, геометрического, Пуассона.
Задачи
Задача 10.1. Число отказов прибора в течение пяти лет гарантийного срока службы есть случайная величина. Для 50 выбранных приборов число указанных отказов было следующим: 1,0,0,1,2,0,1,0, 0,0,3,0,1,1,2,0,0,0, 0,3, 2,1, 1, 0,1, 0, 0, 0, 1, 0, 1, 0, 0, 1, 4, 3, 0, 0, 1, 0, 0, 1, 1, 0, 0, 2, 0, 2, 1, 0.
Требуется: а) построить вариационный ряд исходных данных, рассчитать частоты, построить полигон частот и график эмпирической функции; б) рассчитать числовые характеристики выборки.
Задачи
Задача 10.2. Размеры дневной выручки магазина (в тысячах рублей) в течение месяца были следующими: 220, 241,223, 228,190, 184, 205, 228,272, 196, 225, 238, 202,245,184, 230, 188, 204,209,238,247, 264, 216, 207, 232, 224,210, 221, 208, 239.
Для приведенных данных выполнить задание задачи 10.1.
Задача 10.3. Ниже приведены результаты вступительных экзаменов (по 10-балльной системе) по математике 40 случайно выбранных абитуриентов: 8, 7, 8, 8,9,10, 8, 7, 7, 8, 4, 8, 5, 6, 3, 3, 2, 8, 9, 4,10, 3, 9, 8, 6,10, 3, 9, 6, 5, 4, 8, 7,4,9, 8,4, 3, 2, 8, 9, 9.
Для приведенных данных выполните задания задачи 10.1.
Задача 10.4. Для приведенных ниже сгруппированных данных определите среднее арифметическое, эмпирическую дисперсию и среднее квадратическое отклонение.
Интервалы изменения данных
7-10
10-13
13-16
16-19
19-22
22-25
25-28
Число данных в интервале
4
8
12
22
3
15
9
11 Точечные оценки параметров распределений
Определение и основные свойства точечных оценок
Первой задачей математической статистики является задача оценки неизвестных параметров распределений. В этом случае тип распределения известен, а неизвестны только параметры распределения. Например, может быть заранее известно, что случайная величина X имеет нормальное распределение, о параметрах ц и о которого ничего не известно. Эти параметры и следует оценить по наблю- цаемым значениям случайной величины.
Пусть Fe(x)ecTb функция распределения случайной величины X, а 9 — неизвестный параметр (9 может быть вектором). Предполагается, что общий вид функции Fe(x) задан, так что если бы параметр 9 был известен, то распределение случайной величины было бы определено полностью. Известно также, что значение параметра 9 принадлежит фиксированному множеству 0, называемому параметрическим пространством. Оценка параметра производится на основании выборки х,', Xj, .... х*, взятой из генеральной совокупности с функцией распределения Fe(x), 9 е 0. Выше уже отмечалось, что выборочные значения случайны, так что в общем случае будем вместо х,, х^, ..., х* описывать выборку как Хь Х2ХП.
Определение 1. Точечной оценкой параметра 9 называется любая функция выборки 9(ХР Х2, ...,Хп\ подсчитанное значение которой принимается за 9.
Итак, точечная оценка является функцией случайных величин и поэтому сама является случайной величиной.
В качестве оценки параметра 9 может быть предложено большое число функций 9(^1, Х2, ..., Хп). Какие же из этих функций будут действительно наилучшими оценками параметра 9? Оказывается те, которые обладают свойствами несмещенности, эффективности и состоятельности. Для уяснения физического смысла этих свойств еще раз подчеркнем, что оценка 9 является случайной величиной 9(Xi, Х2,.... Хп\ значение которой однозначно определяется тем, какие значения в выборке приняли независимые и одинаково распределенные случайные величины Хь Х2, ..., Хп.
Остановимся вначале на понятии несмещенности. Так как оценка 6 является случайной величиной, то при каждой выборке она может принимать новые значения. Пусть сделано большое число выборок, и подсчитанные значения 6 оказывались равными 61,62,... Поскольку оценку 6 принимают в качестве неизвестного параметра 6, то желательно, чтобы в среднем значение 6 совпадало с 6. Оценки с такими свойствами и называются несмещенными.
Определение 2. Оценка 6 называется несмещенной, если ее математическое ожидание равно истинному значению оцениваемого параметра 6:
£(6) = 6, 0 6 0.(11.1)
Примеры
Пример 11.1. Пусть в и испытаниях Бернулли событие У («Успех») наступило X раз. В качестве оценки р вероятности события У принимается наблюдаемая частота успехов Х/п. В данном случае 6 = р, 6 = Х/п. Так как X имеет биноминальное распределение с математическим ожиданием, равным пр, то
.£(0) = £| — | = -£(Х) = -пр = р.
\п) п п
Таким образом, частота события является несмещенной оценкой вероятности этого события.
Пример 11.2. В качестве оценки математического ожидания ц = Е(Х) случайной величины X естественно взять эмпирическое математическое ожидание (среднее арифметическое) ц*, подсчитанное по выборке Хь Хъ ..., Хп объема п. Таким образом, здесь 6 = ц и
0(Х1,Х2,...,Х„) = ц* = -£хрп
Определим математическое ожидание 6, используя свойства математического ожидания (3.26) и (5.20):
£(0) = £(p-) = £fl£x1 = l££(X,.) = l£p^
V П ,=1/ И ;=1п |=1
так как математическое ожидание каждой из случайных величин {XJ равно ц. Итак, эмпирическое математическое ожидание (среднее арифметическое) является несмещенной оценкой математического ожидания. Если случайная величина X имеет дисперсию D(X) = ст, то для эмпирического математического ожидания ц * дисперсия
D(^p ^ = о1 /п.(11.2)
Пример 11.3. Оценим дисперсию П(Х) = ст2 случайной величины X на основании выборки объема п. Возьмем в качестве оценки дисперсии эмпирическую дисперсию ст2', рассчитываемую по формуле (10.12). Имеем: 0 = ст2 и
6(xltx2, ...,хп)=^* =-1<х(-р*)2 =-£(Х,-р+р-ц*)2 =пТ^П ieX
= -2№ -Ю2 +2-(ц-и’)Е№ -ю-ДЕ(ц-ц-)2 =
И i-1И1-1и i-1
= -2№-ц)2 -(ц-Ю2- П Ы
поскольку - У (X, - ц ) = ц ’ - ц.
По определению дисперсии (3.23)
D(p-) = £«p*-p)2), Г((Х,-ц)2)= а2.
На основании свойств (3.27) и (5.23) имеем
£(р--ц)2 = П(ц>Д£х,.Ц£1)(Х,.)Дм У « 1-1П
Поэтому
£(6) = £ 1^(Х, -ц)2 -(ц -ц’)2 = а2-—=^—-а2.
V« i-i)п п
Следовательно, эмпирическая дисперсия является смещенной оценкой истинной дисперсии. При больших объемах выборки п (например, п > 30) расхождение несущественно, ибо величина -— будет близка к 1.
п
Для получения несмещенной оценки дисперсии о2 достаточно эмпирическую дисперсию умножить на ——. Итак, несмещенной оценкой дисперсии D(X) слу- n-i
чайной величины X является
52 =J-5(X,.-p-)2.(11.3)
Л -1 i-1
Результаты примера 17.2 являются частным случаем следующей теоремы.
Теорема 11.1. Эмпирические начальные моменты {ц*} являются несмещенными оценками соответствующих моментов генеральной совокупности {цг} при условии, что последние существуют.
Доказательство
Напомним, что момент r-го порядка случайной величины X определяется по формуле (3.22) как цг = Е(ХГ). Для математического ожидания эмпирического момента r-го порядка (10.11) на основании теоремы сложения математических ожиданий (теорема 5.4) имеем
^:> = £ -ZX,r =^^£(Х,г) = ^£цг=ц,□
V П i-1) П i-1п ,-.1
Перейдем к понятию эффективности оценок. Пусть, как и прежде, 6i, 62,... есть значения, принятые оценкой 6 в различных выборках. Очевидно, из всех воз-
можных оценок параметра 6 наилучшей будет та, при которой значения 9i, 81,... плотнее группируются около значения параметра 6, то есть разброс которой меньше. Действительно, так как параметр 6 оценивается по одной выборке, то в этом случае более вероятно, что он будет точнее оценен. Поскольку мерой разброса является дисперсия, то естественно несмещенную оценку 0 считать лучшей, чем несмещенная оценка 0', если
D(0)<D(0').
Определение 3. Несмещенная оценка 0 эффективнее, чем несмещенная оценка 0', если ее дисперсия меньше. Несмещенная оценка 0 называется эффективной, если из всех несмещенных оценок, удовлетворяющих некоторым общим ограничениям, она имеет наименьшую дисперсию.
Физический смысл понятия эффективности можно уяснить с помощью рис. 11.1. Предположим, что имеется два метода оценки параметра, истинное значений которого равно 6. Пусть далее мы располагаем двенадцатью выборками. Будем по данным каждой выборки вычислять оценку 0 по первому методу и оценку 0' — по второму и отмечать полученные результаты точками на числовой оси. На рис. 11.1 изображено примерное расположение двенадцати полученных точек, если оценка 0 более эффективная, чем 0'.
е +—-—~
е
е
Рис. 11.1. Сравнение эффективности оценок
Примером эффективной оценки является среднее арифметическое значение ц* как оценка математического ожидания в случае нормального распределения.
Отношение дисперсий двух оценок D(0')/D(0) показывает, во сколько раз необходимо провести больше наблюдений для достижения одной и той же точности, если пользоваться оценкой 0', а не оценкой 0.
Рассмотрим теперь понятие состоятельности. Естественно потребовать, чтобы с увеличением объема выборки оценка 0 сходилась по вероятности (см. определение 7.2) к истинному значению параметра 0. Именно этим соображением мы руководствовались, когда подбирали эмпирические аналоги для характеристик генеральной совокупности.
Определение 4. Оценка 0(ХЬ Х2, ..., Хп) параметра 0 называется состоятельной, если она сходится по вероятности к оцениваемому параметру 0, то есть если для любого е > О
Я -♦ WЯ -♦ W(И.4)
Я -♦ W
Я -♦ W
Следовательно, для любых е > 0 и 3 > 0 можно подобрать объем выборки и так, 1ТО
W 0(Xt, Х2,W 0(Xt, Х2,... Х„)-0 > £ г < 3.... Х„)-0 > £ г < 3.
W 0(Xt, Х2,
W 0(Xt, Х2,
... Х„)-0 > £ г < 3.
... Х„)-0 > £ г < 3.
Лемма 11.1. Предположим, что 0(Xj, Х2,..., Х„) — несмещенная оценка параметра Э при любом п. Тогда необходимым и достаточным условием состоятельности оценки 0 является сходимость дисперсии оценки D(0) с увеличением п к нулю. Доказательство этой леммы аналогично доказательству неравенства Чебышева, и мы его опускаем.
На практике доказательство состоятельности оценки 6 производится с помощью >той леммы. А именно, находят дисперсию оценки £>(0), и смотря по тому, стремится ли при и -» оо она к нулю или нет, судят о состоятельности оценки.
Пример 11.4. Продолжим рассмотрение примера 11.1. В данном случае 0 = р, 0 = Х/п. Согласно примеру 5.7, дисперсия числа успехов D(X) = npq. Поэтому
D(0)=A xL A D<x) = - pq-\n ) nn
Следовательно, при и -» oo D(6) -» 0, так что частота является состоятельной оценкой вероятности события.□
Часто состоятельность той или иной оценки устанавливается на основании закона больших чисел. Так, из следствий теоремы Чебышева вытекало, что среднее арифметическое сходится по вероятности к математическому ожиданию случайной величины, а частота события — к вероятности. Поэтому отсюда можно сразу заключить, что среднее арифметическое является состоятельной оценкой математического ожидания, а частота — вероятности.
Теорема 11.2. Если существует момент ц2г порядка 2г, то эмпирический момент г-го порядка р* является состоятельной оценкой момента r-го порядка рг.
Доказательство
Имеем
i = l,2,...,n; цг=11(Х,у.
п м
По теореме 11.1
ЕеРг) = Рг-
Далее, согласно определению дисперсии
П(У) = Е(У2)-(Е(У))2
имеем:
о(р;)=4-Ы41мг)41№ндо2)=
V п ,.1 J п /.1п м
= 4£{Н2г-(Ц,)2}=-[Ц2г-(Цг)2].
п1 i-1п
Так как это выражение при п-> со стремится к нулю и так как эмпирический момент ц* является несмещенной оценкой цг, то используя лемму 11.1, получаем доказательство теоремы. □
Из доказанной теоремы вытекает, что эмпирическое среднее является состоятельной оценкой математического ожидания. Мы видели, что эта оценка несмещенная. Можно показать, что в случае нормальной совокупности она является также эффективной. Поэтому она является наилучшей оценкой для математического ожидания нормальной совокупности. Следовательно, если необходимо оценить только математическое ожидание нормального распределения, то лучше всего подсчитать среднее арифметическое наблюденных значений в выборке и приравнять ему неизвестное математическое ожидание.
Пример 11.5. Для иллюстрации понятий несмещенности и состоятельности проведем следующий эксперимент. Пусть в нашем распоряжении имеется генеральная совокупность, распределение которой в точности известно. В качестве такой совокупности возьмем таблицу случайных чисел, имеющих стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1. Будем рассматривать выборки объема 5 из этой нормальной совокупности. Для каждой выборки найдем две оценки дисперсии о2* и 52, рассчитываемые по формулам (10.12) и (11.3). Полученные значения оценок а2* и S2 будем отмечать точками на числовой оси. Для того чтобы точки не сливались, будем наносить их в несколько рядов. Результаты подсчетов по 20 выборкам (пятеркам) изображены на рис. 11.2. Так как истинное значение дисперсии равно 1, то из рис. 11.2 видно, что оценка а2’ является смещенной.
00,51,01,52
и
ъ
•. ... .. . . .••• . $1
1111—
00,51,01,52
Рис. 11.2. Смещенная и несмещенная оценки дисперсии
Проиллюстрируем теперь понятие состоятельности. Рассмотрим для этого среднее арифметическое ц * как оценку математического ожидания, равного в нашем случае нулю. Обозначим ц * ()) значение среднего арифметического, подсчитанного по данным j первых пятерок, то есть по 5j случайным величинам. Зависимость ц*())от числа пятерок j изображена на рис. 11.3.
В частности, среднее арифметическое, подсчитанное по первой пятерке чисел (ц*(1)), равно 0.91, подсчитанное по двум пятеркам (ц’(2)) — равно 0.54 и т. д. При увеличении), то есть числа данных, оценка стремится к истинному значению параметра, равного 0. В этом и сказывается состоятельность среднего арифметического как оценки математического ожидания.
1--.
0.5-- *
О 4812162024283236О 4812162024283236Рис. 11.3. Иллюстрация состоятельности оценкиРис. 11.3. Иллюстрация состоятельности оценки
О 4812162024283236
О 4812162024283236
Рис. 11.3. Иллюстрация состоятельности оценки
Рис. 11.3. Иллюстрация состоятельности оценки
Неравенство Рао—Крамера и эффективность*
В настоящем параграфе будут рассматриваться только несмещенные оценки. Оказывается, что любая из возможных несмещенных оценок 6 (X,, Х2,..., Х„) параметра 0 не может иметь дисперсию меньше определенной величины. А именно, при соблюдении некоторых общих условий (см. [2, 8, 9]) справедливо так называемое неравенство Рао—Крамера. В случае непрерывной величины X с плотностью распределения Дх, 6), зависящей от параметра 6,
пЕ — ln/(X;6)I еепЕ — ln/(X;6)I ее(И.5)(И.5)
пЕ — ln/(X;6)I ее
пЕ — ln/(X;6)I ее
(И.5)
(И.5)
В случае дискретной величины X с вероятностью ря(6) принятия значения х
пЕ I—In рх (6)(36пЕ I—In рх (6)(36(И.6)(И.6)
пЕ I—In рх (6)
(36
пЕ I—In рх (6)
(36
(И.6)
(И.6)
Отметим, что в отличие от прежних обозначений Дх1) и рх, здесь применены обозначения Дх\ 9) и ря(6), которые подчеркивают зависимость от параметра 6. Итак, приведенное неравенство дает нижнюю границу для дисперсии оценки.
Математические ожидания, фигурирующие в приведенных формулах, вычисляются так:
Е А1п/(Х;6)
(11.7)(11.7)Ise J
(11.7)
(11.7)
=ln/(x;6)l f(x;6')dx= f—-— —/(х;9)
1(зб )Д/(х;б)^е
/X2 i /X2гп2
Е И1ПРН6) = Д^-\прхЦрх^ = ^Ц-^-рх(В> .(11.8) ц зб ) I х (36), р,(е)[зе j
Определение 5. Несмещенная оценка 6 параметра 6, дисперсия которой в точности равняется правой части неравенства Рао—Крамера, называется эффек-
тивной. Эффективностью оценки называется отношение дисперсии оценки М к нижней границе дисперсии, определяемой неравенством Рао—Крамера.
Отметим, что эффективной оценки для параметра 6 (оценки с дисперсией, определяемой правой частью неравенств (11.5) или (11.6)), может не существовать.
Рассмотрим примеры вычисления нижней границы дисперсии несмещенной оценки, одновременно мы докажем эффективность некоторых из получаемых оценок. При этом мы будем пользоваться тем, что, согласно формуле (11.2), дисперсия эмпирического математического ожидания, подсчитанная по п наблюдениям над случайной величиной с дисперсией о2, в и раз меньше дисперсии о2.
Примеры
Пример 11.6. Испытания Бернулли. Пусть событие У появилось в п испытаниях х раз. Найдем нижнюю границу для дисперсии оценки р вероятности р, предполагая значение п известным.
Рассмотрим случайную величину X, равную числу появления события У. Тогда результаты п испытаний представляют собой одно наблюдение над случайной величиной X, имеющей биномиальное распределение
■Рх =PVX=x^ = Cxnpx(V-py"\ Х=О, 1 п.
Итак, в данном случае 6 = р и рх (6) равно приведенному выражению. Поэтому
5 1х п-х х-пр
— шр (6) =—,
dpР 1-Р Р(1-Р)
Е\ — lnpx(0)|J*I D(X) =-,
^де J JJ (p(i-p)J 4 7 p(1-p)
так как
E(X) = np,
E((X - np)2) = D(X) = np(l -p).
Одно наблюдение над X означает, что в формуле (11.6) следует положить п ■ 1, так что
D(p)>lp(l-p).(11,9)
п
Из примера 11.4 известно, что частота успехов Х/п является несмещенной оценкой вероятности, причем дисперсия ее равняется правой части последнего неравенства. Итак, частота — эффективная оценка вероятности события.
Пример 11.7. Распределение Пуассона. В данном случае 6 = X и
Р,<Ц = — е"Х> * =0,1,...,
х1
А1ПрДХ)-^-1.
ОХX
ЕЕ(Г а V— 1пРхМj(Г а V— 1пРхМj= X2E«X - X)2) = X2D(X) = X2X = X'*,= X2E«X - X)2) = X2D(X) = X2X = X'*,
Е
Е
(Г а V
— 1пРхМ
j
(Г а V
— 1пРхМ
j
= X2E«X - X)2) = X2D(X) = X2X = X'*,
= X2E«X - X)2) = X2D(X) = X2X = X'*,
ак как, согласно табл. 3.5, для распределения Пуассона математическое ожида- :ие и дисперсия равны X.
Следовательно,
О(Х)>-.(11.10)
п
Сели в качестве оценки X взять эмпирическое математическое ожидание ц‘, то огласно формуле (11.2), О(Х) = О(ц*) = а2/п = Х/п. Следовательно, ц* — эффективная оценка параметра X распределения Пуассона.
1ример 11.8. Экспоненциальное распределение. Имеем 9 = X, /(х; X) = X'ехр(-Хх), >0,
In /(х; X) = 1пХ-Хх, — In /(х; X) = — - х, дХ X
ЕЕ-11п/№Х)-11п/№Х)2 А2 А= Е= Е
Е
Е
-11п/№Х)
-11п/№Х)
2 А
2 А
= Е
= Е
ак как (см. табл. 4.4) для экспоненциального распределения математическое ожи- 1ание равно -, а дисперсия —. Итак,
(11.11)(11.11)Вф)>-Х2.п
(11.11)
(11.11)
1ример 11.9. Нормальное распределение. В данном случае логарифмирование 1лотности распределения (4.11) дает:
In/(х) = - In 72л - Ino-- f-—-
2 1 о
Рассмотрим вначале случай, когда неизвестным параметром является математи- 1еское ожидание ц:
8 j . х-р
— 1п/(х;ц) = ^^; дцо
ЕЕ^-1п/(Х;и)1аи ) )^-1п/(Х;и)1аи ) )= о ^Е((Х -ц)2 ) = о^ст2 = о"2,= о ^Е((Х -ц)2 ) = о^ст2 = о"2,
Е
Е
^-1п/(Х;и)
1аи ) )
^-1п/(Х;и)
1аи ) )
= о ^Е((Х -ц)2 ) = о^ст2 = о"2,
= о ^Е((Х -ц)2 ) = о^ст2 = о"2,
гак как дисперсия X равна о2. Следовательно, нижняя граница дисперсии несме- ценной оценки математического ожидания ц нормального распределения есть Г1 о2, но это как раз есть дисперсия эмпирического математического ожидания ' 11.2). Следовательно, ц* — эффективная оценка математического ожидания ц юрмального распределения.
Рассмотрим теперь оценку среднего квадратического отклонения:
1п/(х; о) = (х - ц )2 (-2ст~3 ) = -- + ст’3 (х - ц )2;
остст 2ст
еН^.1п/№п)еН^.1п/№п)2 >2 >~2 -2а-4(^-ц)2 +ст"6(^-ц)4) =~2 -2а-4(^-ц)2 +ст"6(^-ц)4) =
еН^.1п/№п)
еН^.1п/№п)
2 >
2 >
~2 -2а-4(^-ц)2 +ст"6(^-ц)4) =
~2 -2а-4(^-ц)2 +ст"6(^-ц)4) =
.-2 л -4 2 ..-6 л 4 „л_-2
— 2(3 СУ +Q DO = 2(3 ,
так как в примере 4.10 было показано, что
Е((Х-ц)4 ) = Зст4.
Поэтому
2
D(a)>^.
Аналогично можно показать, что дисперсия оценки дисперсии ст2 удовлетворяет неравенству D(a2) > 2ст4/я
Метод моментов для нахождения оценок параметров распределения
Метод моментов является самым простым общим методом нахождения оценок параметров. Этот метод был предложен К. Пирсоном. Он заключается в приравнивании эмпирических моментов ц’ моментам генеральной совокупности цг. Последние зависят от неизвестных параметров распределений 0t, 02,.... 0*: цг =цг(01( 02,..., 06). Взяв необходимое число эмпирических моментов (в наших обозначениях это ^) и приравняв их теоретическим моментам, получаем систему уравнений относительно оценок параметров 01, 02,..., 0*:
pr(0i,029О = Ц*„ г = 1,2,...Л(1112)
Определение 6. Оценками метода моментов неизвестных параметров называется решение 91,02,..., 9» системы уравнений (11.12).
Эмпирические моменты, как указывалось выше (теорема 11.2), есть состоятельные оценки моментов генеральной совокупности. Благодаря этому оказывается, что при довольно общих условиях оценки, полученные методом моментов, являются состоятельными (см. [2, 8, 9]). Эти оценки за счет простых поправок часто можно сделать также несмещенными.
Примеры
Пример 11.10. Оценим методом моментов параметры цист нормального распределения (4.11). В данном случае неизвестны два параметра: 0, =ц, 02 = ст, оценки которых обозначим 01 =р, 02 = ст. Эмпирическое математическое ожидание и дисперсия находятся по формулам
а=-=15(Х,
П
Так как для нормального распределения параметр ц есть математическое ожидание, о — среднее квадратическое отклонение, а о2 = ц2 -Ц2 — дисперсия, то ц2 = о2 + ц2, и метод моментов дает уравнения:
-•-2 , ~ 2•
ц =ц , а +ц =р2.
Следовательно, оценками метода моментов параметров нормального распределения будут
ц =ц’,5 = 7^2 ~Й2 •(11.13)
Выше мы видели, что оценка дисперсии о2 = о2' является смещенной. Смеще- п
ние легко устраняется умножением на, так что
и-1
52 = -L£(^_^(11.14)
п-1 W
есть несмещенная оценка о2. Оказывается, что эта оценка также эффективна.
Пример 11.11. Оценка параметра р биномиального распределения (3.3). Пусть X — случайная величина, имеющая биномиальное распределение
P^X=x^C:op$qn«-\ х=0Дп0,
с известным параметром и0. Так как требуется оценить только один параметр 6 = р, то достаточно подсчитать эмпирическое математическое ожидание:
1 пи=^Х,п ,-1
где п — число наблюденных значений X.
Так как в случае биномиального распределения математическое ожидание равно п0Р, то метод моментов приводит к уравнению
пЙ р =ц*.
Отсюда находим, что'
р= —ц*= —£^.(11.15)
ПоПИд 1=1
Выше было показано, что это — состоятельная, несмещенная и эффективная оценка вероятности.
Пример 11.12. Оценка параметра распределения Пуассона. В случае распределения Пуассона математическое ожидание равно параметру X. Следовательно, оценкой метода моментов параметра X является эмпирическое математическое ожидание:
(11.16)(11.16)X = ц*.
(11.16)
(11.16)
Пример 11.13. Распределение Эрланга (4.18). Математическое ожидание и второй начальный момент распределения Эрланга с параметрами 1 и Z будут (см. табл. 4.4);
поэтому
1/Х = ц*, //Х2 + (//Х)2 =и;.(11.17)
Возведя первое уравнение из (11.17) в квадрат и вычитая его из второго, находим
//X2 =р;-(ц')2 =о2*.(11.18)
Поделив первое уравнение из (11.17) на (11.18), получаем оценку для X:
Х = ц'/а2’.
Теперь из первого уравнения формулы (11.17) находим оценку I:
/=0Г)2/о2*.
Параметр / распределения Эрланга (4.18) должен быть целым положительным числом. Поэтому следует округлить полученную оценку до целого положительного числа, после чего пересчитать оценку X по формуле X = //ц*.□
Метод моментов обычно применятся в случае больших выборок. При больших выборках естественно требовать состоятельность оценок, так как в этом случае вероятность существенного отклонения оценки от истинного значения параметра мала. Оценки же, получаемые по методу моментов, как уже отмечалось, являются состоятельными.
Несмотря на отмеченные достоинства, в некоторых случаях метод моментов приводит к малоэффективным оценкам. Дисперсия этих оценок больше дисперсии оценок, получаемых, например, методом максимального правдоподобия. Это ощутимо при использовании высоких моментов. Однако в рассматриваемых нами примерах 11.10-11.12 оба метода приводят к одним и тем же оценкам, которые являются эффективными.
Примеры
Пример 11.14. Предположим, что распределение числа отказов и неисправностей шасси самолета, обнаруживаемых при одном обслуживании, является пуассоновским, и пусть при рассмотрении 100 обслуживаний эмпирическое математическое ожидание числа отказов оказалось равным 1.82. Тогда оценка параметра X распределения равна
Х = ц* =1.82.
Пример 11.15. Будем считать, что продолжительность технического обслуживания самолета определенного типа после 50 часов налета имеет распределение Эрланга. При замерах длительностей обслуживания нескольких самолетов были получены следующие значения: ампипичеекпе мат»мптми№лл n«u..uu»
ц * = 422.8 мин и эмпирическая дисперсия D* = 28590.3 мин2. Оценки параметров этого распределения находятся по формулам
X = ц 7а2* = 422.8/28590.3 = 0.0142 мин"1,^(ц*)2/^* =(422.8)2/28590.3 = 6.
Метод максимального правдоподобия
Этот метод был предложен в 1912 г. Р. Фишером. Проиллюстрируем идею этого метода в случае, когда величина X является дискретной, вид распределения X известен, а неизвестным является лишь один параметр 0. Иными словами, предполагается известной (кроме параметра 0) функция р/0), задающая вероятность принятия случайной величиной X каждого из возможных значений г.
Р{Х=;с}=р,(е),
так что если бы значение 6 было известно, то распределение случайной величины X было бы задано полностью.
Предложим, что в результате п независимых наблюдений дискретная случайная величина X приняла значение xt ровно пх раз, значение х2 ровно п2 раз и т. д., значение ^ ровно пк раз. Вероятность такого исхода есть
Цв) = [р„ (0)]- [р,2 (9)Г[рХ1 (0)Г = П[Рх, (6)Г •(11-19)
1=1
Естественно теперь в качестве оценки 9 неизвестного параметра 0 принять величину, максимизирующую вероятность наблюденного исхода. Для этого, очевидно, необходимо взять производную от выражения (11.19), приравнять ее нулю и решить полученное уравнение относительно 0.
Для упрощения расчетов обычно вместо функции 1(0) берут логарифм от нее In Z(0). Это возможно потому, что 1(0) и In 1(0) достигают экстремума при одних и тех же значениях 0, так как логарифмирование является монотонным преобразованием и поэтому следующие три уравнения эквивалентны:
^Z(0)=O, 7^Ц0) = О,^Ы(0)=О.
90L 9090
Изложенное позволяет сформулировать следующее определение.
Определение 7. Функцией правдоподобия называется функция, зависящая от наблюденных значений х1е х2, ... случайной величины X и неизвестного параметра 0, которая определяется:
в дискретном случае по формуле (11.19), где и, — число наблюдений значений xb i = 1, 2,..., Л; рх (0) — вероятность принятия случайной величиной X значения хь рассматриваемая как функция неизвестного параметра 0;
в непрерывном случае по формуле
Z(0)=/(x,;0)/(x2;0)... Kxk; 0) = fj/^; 0),(11.20)
lai■
где /(х,; 9) — плотность распределения в точке хь рассматриваемая как функция параметра 0.
Определение 8. Оценкой максимального правдоподобия называется решение уравнения правдоподобия
— \nU9) = 9,(11.21)
89
обращающее в максимум функцию правдоподобия 1(0).
Для дискретного (11.19) и непрерывного (11.20) случаев уравнение правдоподобия (11.21) уточняется следующим образом:
У^рА..(0)=О,
м р„(9) 89’
41А
У—-/(^,;0)=о.
мЖ;0) 89jv ' ’
Ясно, что если число неизвестных параметров равно г, то следует рассмотреть г уравнений правдоподобия (11.21) и решить полученную систему уравнений. В частности, если неизвестны два параметра 0, и 02, то это приводит к системе двух уравнений:
— 1п£(01, 02 ) = 0, — 1пЦ01,02) = О.
501502
Примеры
Пример 11.16. Биномиальное распределение. Предположим, что событие У в п испытаниях появилось х раз. Найдем выражение для оценки максимального правдоподобия неизвестной вероятности р наступления события У в одном испытании. Число появлений событий У в п испытаниях имеет биномиальное распределение
р,(р) = с:^(1-р)"-, х=0, 1, .... п.(11.22)
Поэтому результаты п испытаний можно рассматривать как результат одного наблюдения над случайной величиной X с распределением (11.22), то есть функция правдоподобия есть
ь<р) = рЛр) = схпрЧ1-рУ-х.
Уравнение правдоподобия будет
0 =-^1п£(р) = -^(1пС* +т1пр+(п-л:)1п(1-р)) = ^--—*.дрдрр 1-р
Отсюда находим, что искомая оценка р есть
Р=-.(11.23)
п
Итак, оценкой максимального правдоподобия неизвестной вероятности события является частота. Такую же оценку дает метод моментов. В примерах 11.1, 11.4 и 11.6 было показано, что это - несмещенная, состоятельная и эффективная оценка.
Пример 11.17. Распределение Пуассона. Пусть случайная величина X, имеющая распределение Пуассона с неизвестным параметром X, приняла значение X; ровно п; раз, i = 1,2,...,k, = п. Тогда
PxW = — e"\ х=0, 1, ...; х I
— Inl(X) =-n +=0;ах v ' хтй '
К = ^Х1П1.(11.24)
Эта оценка совпадает с оценкой метода моментов и является несмещенной, состоятельной и эффективной (см. примеры 11.7 и 11.12).
Пример 11.18. Экспоненциальное распределение. Если случайная величина X, имеющая плотность распределения
Дх;Х) = Хе^,
в результате п наблюдений приняла значения хь х2,..., х„, то
ЦХ) = ПХе= Х"е -' ,
/-1
— lnL(X) = -n-Jx,-,ах х м
X^-fx,) =—.(11.25)
\пм J Ц*
Это опять совпадает с оценкой метода моментов.□
Из примеров этого и предыдущего параграфов видно, что оценки параметров р биномиального распределения, X экспоненциального распределения и распределения Пуассона, ц и а2 нормального распределения, получаемые методом моментов и максимального правдоподобия, совпадают. Однако при использовании для оценки параметров эмпирических моментов порядка выше второго метод максимального правдоподобия оказывается лучшим. Значение этого метода устанавливается следующей теоремой, характеризующей асимптотические (т. е. имеющие место при больших объемах выборки и) свойства оценок (см. [2, 8, 9]).
Теорема 11.3. Если для параметра 9 существует эффективная оценка 0, то уравнение правдоподобия имеет единственное решение, дающее эту оценку. При выполнении общих условий относительно функции правдоподобия L(0) оценка максимального правдоподобия является состоятельной, асимптотически нормальной и асимптотически эффективной, то есть дисперсия D(0) стремится при я со к ппавой части непавенств fl 1.51 или И 1.61
11.5. Достаточные статистики*
Во всех ранее рассмотренных случаях оценки неизвестных параметров зависели не от отдельных элементов выборки, а от некоторых функций от них, таких как сумма выборочных значений или сумма их квадратов. Следовательно, в данном случае при фиксированном значении этих функций конкретные значения элементов выборки роли не играли. Это приводит к понятию достаточной оценки,
Определение 9. Пусть Р = {Рв: 6 е 0} — семейство (класс, множество) распределений, зависящее от параметра 6 (быть может, векторного), принимающего значения из параметрического пространства 0. Обозначим X = (Хь Х2,..., Х„) выборку, соответствующую распределению для некоторого неизвестного нам параметра 0. Статистикой Т называется некоторая функция (быть может, векторная) выборки Т = Г(ХЬ Х2, ..., Х„) = Т(Х). Статистика называется достаточной, если условное распределение выборки X = (Хь Х2, ..., Х„), вычисленное при условии, что статистика Т приняла данное значение t, не зависит от параметра 6.
Достаточные статистики позволяют уменьшить объем статистических данных без потери информации об интересующем нас параметре. Фактически мы уже имели дело с достаточными статистиками в задачах 7.2 и 7.4. Однако достаточность статистики проще доказывать не прямыми вычислениями, которые применялись в указанных задачах, а с помощью нижеприведенного критерия факторизации (см. [2, 7, 8, 9]). Далее мы ограничимся лишь непрерывными случайными величинами.
Критерий факторизации. Пусть Л(х) ~ плотность распределения случайной величины X, Т= Т^, х2х„) — статистика, рассчитанная по наблюденной выборке х = (ть х2, .... х„У Статистика Т достаточна тогда и только тогда, когда плотность распределения выборки может быть записана в виде
ПА^.) = 6в№1 >х2Х„ )ЖХх ,^2X» )•(11.26)
Итак, критерий устанавливает, что плотность распределения выборки может быть представлена в виде произведения двух сомножителей, один из которых (А) не зависит от параметра 6, а другой (g) зависит, но не непосредственно ОТ элементов выборки xv х2хп, а только через статистику Г.*
Примеры
Пример 11.19. Экспоненциальное распределение. В данном случае 0 = Х, а плотность распределения выборки может быть представлена в виде
ЙА^а-Й^- = х<Х“1.■
(-1i-1
Следовательно, достаточной статистикой Т для параметра X является сумма Хх + Х2 + ... + Х„.
Пример 11.20. Нормальное распределение. В данном случае неизвестный параметр 9 является двумерным вектором 0 ■ (ц, а). Согласно формуле (4.11), имеем такое представление для плотности распределения выборки:
ПЛЖ) = П-/=^ехРfifi nIhg
ехр Мт S^f -2ni^, +ПЦ212a Vi-iм
Итак, достаточная статистика для пары (ц, а) представляет собой двумерный вектор
т=^х,.£х^.
Отметим, что использованные нами выше оценка ц * = £ Х,/п математического эжидания ц и оценка (11.3) дисперсии а2 были функциями данной достаточной статистики. □
Важность достаточных статистик состоит не только в редукции объема данных без потери информации, а также в том, что оптимальные статистические выводы базируются только на достаточных статистиках (если только последние существуют). Интересный пример здесь дает моделирование. Предположим, мы хотим сгенерировать некоторую случайную величину X. Для этого мы можем поступать таким образом. Вначале генерируем соответствующую достаточную статистику Т, а потом случайную величину X, используя условную плотность распределения X при данном T=t. Оказывается, эта процедура эффективна, когда мы хотим сгенерировать большое число случайных величин X на основании имеющейся выборки этих величин и известного условного распределения X при данном t (которое не будет зависеть от неизвестных параметров). Для этого достаточно подсчитать по выборке значение достаточной статистики t и генерировать произвольное число X согласно условному распределению X для данного t. Это — так называемый метод достаточного эмпирического усреднения (Е. В. Чепурин).
Компьютерный практикум № 18.
Методы точечного оценивания параметров распределений в пакете Mathcad
Цель и задачи практикума
Целью практикума является компьютерная реализация методов точечного оценивания неизвестных параметров распределений.
Задачами практикума являются: разработка и применение компьютерных программ, реализующих методы моментов и максимального правдоподобия для оценивания неизвестных параметров распределений.
Необходимый справочный материал
При применении методов моментов и максимального правдоподобия необходимо решать одно уравнение или систему уравнений относительно неизвестных параметров. Получаемые решения и принимаются за соответствующие оценки (метода моментов или метода максимального правдоподобия) неизвестных папяметппп. Пакет Mathcad располагает возможностями численного решения
систем уравнений. В случае одного уравнения можно использовать встроенную функцию root(expr, vary Эта функция выдает значение переменной ваг, при кото* ром значение функции ехрг равно нулю. Таким образом, функция root(expr, ют) может быть использована для оценивания одного параметра распределения. Функция осуществляет поиск корня уравнения итерационным методом, при этом перед ее применением необходимо задать начальное значение переменной var.
В случае необходимости решения системы уравнений следует использовать специальный вычислительный блок, отличительной особенностью которого является наличие директивы Given. В версиях Mathcad 2001 и выше в рамках этого блока можно также решать задачи одномерной и многомерной оптимизации, причем структура описания блока во всех случаях остается одной и той же. Эта структура следующая:
Задание начальных значений для переменных.
Given.
Описание уравнений, содержащих переменные.
Описание ограничений, накладываемых на переменные.
Формулировка задачи: решение системы уравнений (путем использования .. функции Find) или оптимизация (путем использования функций Maximize или Minimize).
Поясним отдельные элементы представленной структуры.
Начальные значения для переменных задаются обычным оператором присваивания ' :='. Например, var := 25. Если переменных несколько, то используется векторное представление данных.
Уравнения содержат левую expr-left и правую expr-right части, а также соединяющий их знак логического равенства. Последний вызывается из палитры логических операций и выглядит как «жирный знак равенства». Например,'
expr-left(var), var2,...) = expr-right(var), var2,...).
Ограничения, накладываемые на переменные, записываются с помощью знаков логического равенства, больше и меньше, берущихся из палитры логических операций. Например, var) > 0, var2 < 0, var) < var3..,
Для решения системы уравнений используется встроенная функция Find(par), vaf2, ...). Например, vector := Findivar), var2, ...). Здесь vector — вектор-столбец, содержащий столько компонент, сколько указано переменных в функции Яяя. Последняя выдает значения переменных, удовлетворяющих всем уравнениям и ограничениям, записанным под директивой Given. Эти значения и присваиваются компонентам вектора vector.
Для решения задачи оптимизации используются встроенные функции Maxi- mizet^f, var), var2,...) и Minimize^/, var), var2,...). Здесь/ — функция, подлежащая максимизации или минимизации по переменным var), var2,... Описание функции / приводится до Задания начальных условий. Функции Maximize и Minimize выдают значения переменных, соответствующих оптимальному значению функции/и удовлетворяющих всем вышеприведенным уравнениям и ограничениям.
Например, vector := Maximize(varl, varl, ...), где структура вектора vector та же, что и ранее.
Успешность решения в пакете Mathcad рассматриваемых задач во многом зависит от задаваемых пользователем начальных значений переменных. В связи с этим рекомендуется экспериментировать с этими значениями, а также проверять правильность полученных решений путем прямых вычислений.
Реализация задания и результаты вычислений
Результаты выполнения задания представлены на рис. 11.4—11.7. Рассмотренные задачи иллюстрируют применение методов моментов и максимального правдоподобия для оценки неизвестных параметров распределений.
Первая часть практикума посвящена методу моментов (см. рис. 11.4). Первая рассмотренная задача заключается в оценивании параметров а и b равномерного распределения (4.7) на основании двух эмпирических моментов, точнее, первого момента ц*, равного 9, и эмпирической дисперсии а2’, равной 3. Соответствующие теоретические характеристики являются функциями неизвестных параметров а и b (см. табл. 4.4): ц = (а + 6)/2 и а2 = (6 - а)2 /12. Приравнивая их эмпирическим значениям ц* и а2*, получаем систему из двух уравнений, записанную под директивой Given. Здесь же записано дополнительное условие а < Ь. В выписанных уравнениях вместо параметров а и b фигурируют их оценки ае и be (Estimation — оценка). Непосредственно перед этой директивой Given указаны начальные значения оценок параметров ае = 0.5 и be = 0.5, с которых начинается поиск решения уравнений.
Ниже системы уравнений записана функция Find, позволяющая найти решение системы уравнений. В рассматриваемом случае мы получаем оценки а = ав = 6 и b = be = 12. В заключение проводится проверка правильности полученного решения.
Рассмотренный пример является тривиальным. Однако мы начали с него, чтобы избежать часто возникающих трудностей, вызванных отсутствием сходимости: в этом случае на экране появляется красная запись «do not convergence».
Вторая задача связана с нахождением оценок метода моментов для параметров а и s логарифмически нормального распределения (4.39). Предполагается, что подсчитанные по выборке эмпирические математическое ожидание и дисперсия равны соответственно ц* = 10 и а2’ = 145. Как и ранее, оценки параметров обозначаются ае и se, причем в качестве начальных приняты значения ае = 2 и se = 1. Ниже директивы Given выписаны два уравнения, левые части которых — выражения для теоретических характеристик ц и а2 (см. пример 4.11), а правые части — ц* и а2'. Здесь же записаны условия неотрицательности параметров и их оценок: ае > 0 и se > 0. Последующая часть примера полностью аналогична ранее рассмотренному примеру.
Отметим, что проверка правильности полученного решения проводилась двумя способами: путем подстановки в соответствующие выражения буквенных обозначений оценок ае и se и их вычисленных значений, соответственно 1.855 и 0.947. Разница в ответах показывает, каков порядок ошибки, вызванной округлением чисел до т х знаков после запятой.
Практвхув Из 18. Точечное вценхвамм пераветроо распределений
Честь 1. Метод ■веомтое
Оцеввоахве парамтрое а в b раововорхого распределения (4*7) ив оснооа звпнрических среднего 9 в деспорсах 3
Начальные значенияоценокпереветроо:ее* ОД be*ОД
Given
^■(ae*bo)eP^(bo-ао^а 3ee<bo
Проворм правильмстн рамная:i(6+12)-9 и—(12-5)Z-3
Оцениваим переветроо апо иогарафвически морвального распределения (4 J9) ие освооо энпиричоских ватоветичоского ожидания 10 в даспарсаи 145
Начальные значения оценок варметров:во * 2 во * 1+
Given
охр^ао * ^ ве^ ■ 10 (oxp(wZ) - ll oxpll ae ♦ веЧ ■ 145 ае>0 ве>0
<00^<30^ <1Д55>
Проверм прааияьмости роеовмя
•кр^и . ipp2) - 10(рхр(рр2) - 1) «р(» «« + РР2) • 145
рхр^1455.1 044^ - 10400 (exptoWT2) - 11 охр [11155 .04472) - 145415
Оценивание оаропетрео 1, р в р свесв аксповет^альвых распределений по трав авлирическив воаевтм ц1, р2 в рЭ
Получевиа исходной аыСорки X объела п и подсчет званричоских вовеитоо ц1, ц2 в рЭ
Х(пД.И.р)*Х(пД.И.р)*П*400П*400Ro ♦- roxp(n.l)
Х(пД.И.р)*
Х(пД.И.р)*
П*400
П*400
R*- гопК(л.0,1)
for 1 о 0.. n - 1
Х|<-и(ц<р l R4.i ш)
k 1 н >
X
р*ОД Y*X(n.l.H.p)
иэ ^ Е №i-e
|d-lJ03|d-lJ03ц2 "34475рЭ>19Д21ц2 "34475рЭ>19Д21
|d-lJ03
|d-lJ03
ц2 "34475рЭ>19Д21
ц2 "34475рЭ>19Д21
Првверм прмвяьиости роеоавя:ро~ ♦ (i - ре, -L. зд7» 1охре1Mii^.d-MiD-L-.i»Првверм прмвяьиости роеоавя:ро~ ♦ (i - ре, -L. зд7» 1охре1Mii^.d-MiD-L-.i»ро -L »(1 - р«)2-. 1 изpe -L . (1 - р»)~ . iwilUИ»30Я1—£- ♦ (1.0411)—5—. щи 1Л0Г04ГГро -L »(1 - р«)2-. 1 изpe -L . (1 - р»)~ . iwilUИ»30Я1—£- ♦ (1.0411)—5—. щи 1Л0Г04ГГ
Првверм прмвяьиости роеоавя:
ро~ ♦ (i - ре, -L. зд7» 1охре1
Mii^.d-MiD-L-.i»
Првверм прмвяьиости роеоавя:
ро~ ♦ (i - ре, -L. зд7» 1охре1
Mii^.d-MiD-L-.i»
ро -L »(1 - р«)2-. 1 из
pe -L . (1 - р»)~ . iwil
UИ»3
0Я1—£- ♦ (1.0411)—5—. щи 1Л0Г04ГГ
ро -L »(1 - р«)2-. 1 из
pe -L . (1 - р»)~ . iwil
UИ»3
0Я1—£- ♦ (1.0411)—5—. щи 1Л0Г04ГГ
Вио. 11.4. Оценивание нвизмстных параметров распределений по методу моментов
В третьей задаче рассматривается оценивание параметров X, ц и р смеси двух экспоненциальных распределений с параметрами X и ц, в которой распределение с параметром X имеет долю р. Плотность этого распределения, а также теоретические моменты даются формулами (см. пример 4.9У
f(x) = рХе"“ + (1 - р)ре'цг, х > 0,
£(Xr) = r!(pX"r+(l-p)p'r), г = 1,2,...
Оценивание параметров осуществляется на основании первых трех эмпирических моментов pj,p j и pg, которые в программе обозначены ц1, ц2 и цЗ. Эти эмпирические моменты вычисляются на основе выборки объема и, сгенерированной функцией пользователя Х(п, X, ц, рУ Генерируется выборка объема п = 100 для следующих значений параметров: X = 1, ц = 0.5 и р = 0.8. Сгенерированная выборка представляется вектором-столбцом Y. Приводимые далее формулы для подсчета эмпирических моментов получены из формулы (10.11) для г = 1, 2, 3. Ниже распечатываются вычисленные по выборке Y значения ц1, ц2, и цЗ.
Поиск оценок параметров начинается со значений Хе = 1.2, ре = 0.4 и ре = 0.6. Под директивой Given выписаны три уравнения, каждое из которых приравнивает теоретические и эмпирические моменты. Здесь же фигурируют условия неотрицательности для параметров. Завершение задачи вполне аналогично ранее рассмотренным задачам.
Вторая часть практикума посвящена методу максимального правдоподобия. Согласно этому методу в качестве оценок неизвестных параметров принимаются значения, максимизирующие функцию правдоподобия (11.19) или (11.20). Для облегчения задачи поиска максимума рассматривают не функцию правдоподобия 1(6), а логарифм от нее 1п(£(6)): это допустимо, поскольку обе функции имеют максимум в одной и той же точке. Для поиска максимума можно использовать встроенную функцию Maximize, как это было описано выше в разделе Необходимый справочный материал. Следует отметить, что процедура использования этой функции вполне аналогична использованию встроенной функции Find. Однако мы не будем здесь использовать функцию Maximize по двум причинам. Во-первых, она отсутствует в более ранних версиях Mathcad, таких как Math- cad 6+ или Mathcad 7. Во-вторых, работа этой функции весьма неустойчива. Мы воспользуемся возможностью сведения задачи максимизиции к ранее рассмотренной задаче решения системы уравнений. Каждое такое уравнение получается приравниванием нулю частной производной по неизвестному параметру от логарифма функции правдоподобия.
Первой рассматривается задача оценивания параметра X экспоненциального распределения (4.9) по выборке X объема п (рис. 11.5). Вначале генерируется выборка X случайных величин, имеющих экспоненциальное распределение с параметром Х = 2. Затем выписываются функция правдоподобия L(X, Хе) и ниже — логарифм от нее LL(X, Хе), а также производная от функции правдоподобия LLL(X, Хе). Как и ранее, добавление буквы е указывает на то, что речь идет об оценке параметра. Это позволяет избежать путаницы с истинным значением параметра X, которое задается нами, но считается неизвестным и используется для имитации получения выборки. График зависимости функции правдоподобия
1(Х, Хе) от значения оценки параметра Хе позволяет наглядно пояснить смысл метода максимального правдоподобия. Поскольку неизвестным является один параметр, то мы имеем одно уравнение правдоподобия (11.21). Следовательно, для нахождения корня этого уравнения можно применить встроенную функцию root, что и сделано в данном случае. Из графика видно, что максимум функции правдоподобия действительно достигается около найденного значения корня Хе = 1.849.
Практикуй И» 18. Точечное ецениввние параветров распределений Честь 2. Метод ааксинельиего правдоподобия
Оценивание парваетра X зкспененциальиего расиредоленил (4.9) ле выборке Xебьенап
Получение выборки X обьепв п»М иэ генеральной совокупности с парапетроп X - 2
X- гехр(п.Х) п-1 -хек функция правдоподобия:L(X,Xe)»J"J Хе е 4
I - •
График зависииести функции прадеподобия от значения параметра Хе:- ОД,ОД.. 4
Легврифн функции правдоподобия:
Производная нетарифна функции правдоподобия:LLL(X.Xe)» — - V X,
Хе 4-i
18- 1 18-134918- 1 18-1349LLL(X,1349)--3331xl0~3LLL(X,1349)--3331xl0~3Начальное значение параметра:
18- 1 18-1349
18- 1 18-1349
LLL(X,1349)--3331xl0~3
LLL(X,1349)--3331xl0~3
Хе» roet(LLL(X,Xe),Xe)
Проверка правильности решения LLL(X>le)-2J15xlO'<
Рис. 11.5. Оценивание параметра X экспоненциального распределения по методумаксимального правдоподобия
Второй является уже рассмотренная в первой части практикума задача оценивания параметров X, ц и р смеси двух экспоненциальных распределений. Оценивание осуществляется на основе выборки объема п (рис. 11.6). Для генерации выборки используется ранее созданная функция пользователя Х(п, X, ц, р). Полученная выборка объема и = 200 для значений параметров X = 1, ц = 0.5, р ■ 0.8 представлена в виде вектора-столбца Y. Ниже представлены функция правдоподобия £(Y, Хе, це, ре) и графики ее зависимости от оценок параметров Хе, ц* ре. При этом каждый раз варьирует только одна оценка, остальные две имеют заданные начальные значения. .
Оценивание параметров 1, р и р снеси экспоненциальных распределений по выборке X объем п.
Х(*,1,р,р)»Х(*,1,р,р)»Получение исходной выборки X объем п
Х(*,1,р,р)»
Х(*,1,р,р)»
Ro *- rexp(n.I)
R«- runtf(n,O,I)for ieO. n- I
Kj*-!^, Iri.IrV
X
n-200n-200p - 0Л p - ОДp - 0Л p - ОДY-X(n,l,p,p)Y-X(n,l,p,p)
n-200
n-200
p - 0Л p - ОД
p - 0Л p - ОД
Y-X(n,l,p,p)
Y-X(n,l,p,p)
Функция правдоподобияUY.lo.po.po):- p| [pe lo a“ Y| + (i - pe) pa o’ * V|] i-lФункция правдоподобияUY.lo.po.po):- p| [pe lo a“ Y| + (i - pe) pa o’ * V|] i-lГрафики зависимости функции прадопвдобия от значений оценок параметровГрафики зависимости функции прадопвдобия от значений оценок параметров
Функция правдоподобия
UY.lo.po.po):- p| [pe lo a“ Y| + (i - pe) pa o’ * V|] i-l
Функция правдоподобия
UY.lo.po.po):- p| [pe lo a“ Y| + (i - pe) pa o’ * V|] i-l
Графики зависимости функции прадопвдобия от значений оценок параметров
Графики зависимости функции прадопвдобия от значений оценок параметров
la - OJ.O^S 1Дla - OJ.O^S 1Дре -03.0Л5 . Ире -03.0Л5 . ИрВ:-03,0Л5. О»рВ:-03,0Л5. О»
la - OJ.O^S 1Д
la - OJ.O^S 1Д
ре -03.0Л5 . И
ре -03.0Л5 . И
рВ:-03,0Л5. О»
рВ:-03,0Л5. О»
Частные производные логарифма функции правдоподобияЧастные производные логарифма функции правдоподобияИ •'* V|) [р, la е"“ ¥| + (1 - ре) ре е"И •'* V|) [р, la е"“ ¥| + (1 - ре) ре е"Начальные значения оценок параметров; 1а > 13 рв - ОЛНачальные значения оценок параметров; 1а > 13 рв - ОЛ
Частные производные логарифма функции правдоподобия
Частные производные логарифма функции правдоподобия
И •'* V|) [р, la е"“ ¥| + (1 - ре) ре е"
И •'* V|) [р, la е"“ ¥| + (1 - ре) ре е"
Начальные значения оценок параметров; 1а > 13 рв - ОЛ
Начальные значения оценок параметров; 1а > 13 рв - ОЛ
LU(Y,18,po,pe) >0рв>01в> рв(le^рв ^ Flnd(le,pB,po) ро)LU(Y,18,po,pe) >0рв>01в> рв(le^рв ^ Flnd(le,pB,po) ро)LLp(Y,lo,pB,pe) в 0 LLp(Y,lo,pB,pe) в оLLp(Y,lo,pB,pe) в 0 LLp(Y,lo,pB,pe) в оре > 0ре < 1ре > 0ре < 1
LU(Y,18,po,pe) >0
рв>01в> рв
(le^
рв ^ Flnd(le,pB,po) ро)
LU(Y,18,po,pe) >0
рв>01в> рв
(le^
рв ^ Flnd(le,pB,po) ро)
LLp(Y,lo,pB,pe) в 0 LLp(Y,lo,pB,pe) в о
LLp(Y,lo,pB,pe) в 0 LLp(Y,lo,pB,pe) в о
ре > 0ре < 1
ре > 0ре < 1
Проверка правильности ремеиия:
111(У,Хо.ре,ре)-1.7|х10~и Llp(Y,Xo.p».pe) .0 llp(Y.Xo.pe.pe) --1ЛМ х 10" 15
Далее записывается логарифм функции правдоподобия ££(Y, Хе, це, ре), а так*е частные производные от него по рассматриваемым оценкам параметров: LLX (V. Хе, це, ре) по оценке Хе, ZZp (Y, Хе, ре, ре) по оценке реи LLp (Y, Хе, ре,ре) ПО оценке ре. Приравнивание нулю этих частных производных дает три уравнения правдоподобия, которые записаны под директивой Given. Выше этой директивы заданы исходные значения оценок, с которых начинается поиск решения системы уравнений. Остальная часть задачи аналогична ранее рассмотренным примерам. Третья задача практикума имеет дело с распределением целочисленной случайной величины, которое возникает следующим образом. Пусть X — случайная величина, имеющая экспоненциальное распределение (4.9) с параметром X, У — целая часть X, то есть наибольшее целое число, не превышающее X. Очевидно, У — целочисленная случайная величина со следующим распределением:
р. = Р{У = /} = рц $ X < i +1} = F(i +1) - F(i) = е'и - exv*n, i = 0, 1,...
Наша задача заключается в оценивании параметра Хна основе выборки У ■ (У|, У2У„)т объема п. В данном случае функция правдоподобия имеет вид 1(Г.Х) = Нрг, -ft^ г-0/-0
Дальнейшие действия аналогичны ранее описанным и отражены на рис. 11*7.
Оценивание nepeeeipe X рвспределенмл целочисленно* случайно* величины по выверке Y обьеиап
YW(n,l)>YW(n,l)>Получение выверки Y обьеив п не генеральной совокупности е пврвеетреи 1
YW(n,l)>
YW(n,l)>
Х*-ге*р(пД) foe I • 0 . п - 1
Y| *- floor(X|)
Y
п^Л1-04Y>YW(H,1)
Функция еравдонадовил:L(y р| [в* “Y| _ е" M (Yi*1)]
•1-1
График еавпсниосш функции првдолодобия от вначоння оценки нараиетра м :■ 05 ,05.. 1
Логарифм функции правдоподобия;Логарифм функции правдоподобия;Праизводная логарифме функции проодепедобияПраизводная логарифме функции проодепедобияLUY.l.),^ ш[.-“t^»]l-lLUY.l.),^ ш[.-“t^»]l-l
Логарифм функции правдоподобия;
Логарифм функции правдоподобия;
Праизводная логарифме функции проодепедобия
Праизводная логарифме функции проодепедобия
LUY.l.),^ ш[.-“t^»]
l-l
LUY.l.),^ ш[.-“t^»]
l-l
LLL(Y,X.)>^ [(Yi.!).’”1*'*4 l-iНачальное еначоино лароиетра;M.-foo1(LLL(Y.M),M)LLL(Y,X.)>^ [(Yi.!).’”1*'*4 l-iНачальное еначоино лароиетра;M.-foo1(LLL(Y.M),M)0505М-0561М-0561Проворив нрмияьиестм рееонияПроворив нрмияьиестм рееония
LLL(Y,X.)>^ [(Yi.!).’”1*'*4 l-i
Начальное еначоино лароиетра;
M.-foo1(LLL(Y.M),M)
LLL(Y,X.)>^ [(Yi.!).’”1*'*4 l-i
Начальное еначоино лароиетра;
M.-foo1(LLL(Y.M),M)
05
05
М-0561
М-0561
Проворив нрмияьиестм рееония
Проворив нрмияьиестм рееония
LLL(Y,M) ■-5ДМ м 10*LLL(Y,M) ■-5ДМ м 10*LLL(Y.0561)-IW* 10'LLL(Y.0561)-IW* 10'
LLL(Y,M) ■-5ДМ м 10*
LLL(Y,M) ■-5ДМ м 10*
LLL(Y.0561)-IW* 10'
LLL(Y.0561)-IW* 10'
Рио. 11.7. Оценивание параметра х распределения целочисленной случайной величиныпо методу максимального правдоподобия
Задания для самостоятельной работы
Проанализируйте логику работы компьютерной функции Х(п, X, ц, р), предназначенной для генерации выборки в задаче нахождения оценок максимального правдоподобия для параметров смеси экспоненциальных распределений (см. вторую задачу второй части практикума)..
Проанализируйте влияние начальных значений оценок параметров на результаты работы программ в случаях применения методов моментов и максимального правдоподобия для оценивания параметров смеси экспоненциальных распределений.
В условиях предыдущего задания, увеличивая объем выборки п, проиллюстрируйте состоятельность оценок, получаемых методами моментов и максимального правдоподобия.
В условиях второго задания проведите сравнительный анализ точности оценок, получаемых методами моментов и максимального правдоподобия.
Разработайте компьютерные программы, вычисляющие оценки методов моментов и максимального правдоподобия для параметров а и к распределения Парето (4.59).
Разработайте компьютерные программы, вычисляющие оценки методов моментов и максимального правдоподобия для параметров Цр ц2, ор о2 и р смеси (4.55) двух нормальных распределений.
Разработайте компьютерные программы, вычисляющие оценки методов моментов и максимального правдоподобия для параметров X и ц распределения (7.31).
Составьте функцию правдоподобия для выборки (Хь У]), (Х2, У2), ..., (Х„, У„) из двумерной нормальной совокупности с плотностью распределения (6.7). Используя встроенную функцию Maximize, разработайте компьютерную программу, максимизирующую функцию правдоподобия и вычисляющую оценки параметров pi, р2, оь о2 и р по методу максимального правдоподобия.
Задачи
Задача 11.1. По результатам следующей выборки {7,8,7,7,18,8,17,10,11,13,28, 9, 20,6,10, 6,13,17,33,12,17, 8,18,12, 20,38, 20, 7, 21,23,16,18, 25,10,30, 27,15, 20, И, 25,15, 20, 24, 6,32, 23,19,30,28, 20,6,15,16, 21, 25,15,12,14,18,15,7,17, 22} оцените методом моментов параметры, предполагая, что имеет место а) нормальное распределение, б) распределение Эрланга.
Задача 11.2. Двойное распределение Пуассона задается формулой
Р{Х=х} =-^е'’мх=0,1
2х!2х!
где X! и Х2 — параметры распределения (X!, Х2 > 0). Методом моментов оцените Х| и Х2.
Задача 11.3. Из генеральной совокупности, имеющей функцию распределения
Р(х) = (1-в'“‘)", 0<х<оо,
где а >0 и m = 1, 2, ..., — параметры, производится выборка объема п. Методом моментов оцените параметр о, считая значение т известным.
Задача 11.4. Покажите,. что метод максимального правдоподобия приводит к оценкам (11.13) параметров ц и о2 нормального распределения.
Задача 11.5. Используя результаты примеров 4.10 и 11.9, покажите, что оценка S1 дисперсии о2 нормального распределения (4.11) является эффективной.
Задача 11.6. Из генеральной совокупности, имеющей геометрическое распределение (3.4) с параметром р, производится выборка объема п.
а) Покажите, что оценки параметра р, получаемые методом максимального правдоподобия и методом моментов, совпадают; б) проверьте, является ли эта оценка эффективной. ■
Задача 11.7. Эффективность оценок математического ожидания экспоненциального распределения. Рассмотрим выборку объема п из генеральной совокупности, имеющей экспоненциальное распределение (4.9). В качестве оценки математического ожидания ц =1/Х можно предложить величину ji = nXmin, где Хт|П ■ = min {Хь Х2,..., Х„} — наименьшее из наблюденных значений.
Используя результаты примеров 6.7 и 6.8, покажите, что распределение оценки р совпадает с исходным распределением (4.9) случайной величины X. Отсюда следует, что увеличение числа наблюдений п не повышает точности оценивания. Оценка ц является, таким образом, примером несмешанной и несостоятельной оценки. Проанализируйте эффективность этой оценки как функцию числа данных п.
Задача 11.8. Оценки параметра равномерного распределения. Рассмотрим задачу оценки параметра р равномерного распределения в интервале (0, Р). Если Хь Х2, ..., Х„ — наблюденные значения случайной величины, то обозначим Хтах = тах{Х1,Х2Хл} наибольшее из этих значений. Эту величину естественно взять в качестве оценки параметра р. Покажите, что плотность распределения этой оценки есть
/\П-1
--, 0<х<р,
рш
0,х < 0 или х > р.
r-й момент вычисляется по формуле р / х»-1р
Wax ) =£ dx^x^'dx р\
о PIPJ Р о
Поэтому эта оценка является смещенной. Несмещенной оценкой параметра р является
Р = (п+1)п-1Хпшх.
Покажите, что дисперсия этой оценки есть
D(P)-f—yD(X_)4—Т(Е(^ V Л /X Я /
Если руководствоваться методом моментов, то в качестве оценки параметра 0 следует взять удвоенное значение эмпирического среднего:
0'=2ц-=^х,.■П f.i
Покажите, что дисперсия этой оценки Z)(0') = 02/(3n), так что оценка 0 более эффективна. Следовательно, при больших объемах выборки п метод моментов приводит здесь к малоэффективным оценкам.
12 Оценивание с помощью доверительных интервалов
Основные определения
Суть точечной оценки состоит в следующем. За неизвестный параметр 6 по данным выборки принимается некоторое число 9, изображаемое геометрически на числовой прямой одной точкой. Это число является случайной величиной, меняющейся ‘от выборки к выборке. Поэтому оценка 9 всегда будет давать заниженные или завышенные по сравнению с 9 результаты. Следовательно, интересно знать, каково возможное отклонение 9 от 9, то есть какова возможная ошибка, какова точность оценки. Кроме того, в некоторых случаях не столько важно указать точное значение 9, как указать пределы (допуски), в которых 9 может находиться. Например, иногда не так существенно, равна ли вероятность брака 0,0095 или 0,0090, как то, что эта вероятность не больше 0,01.
Эти рассуждения приводят к понятию оценки параметров с помощью доверительных интервалов. В этом случае на основании значений выборочной совокупности указывается интервал (О', 9"), который с наперед заданной вероятностью у покрывает неизвестное истинное значение параметра 9. Интервал (О', 0") называется доверительным интервалом, а число у — доверительной вероятностью, или коэффициентом доверия. Более точно это может быть сформулировано следующим образом.
Определение 1. Пусть выбрано некоторое число 0 <у< 1, называемое коэффициентом доверия. Если указаны две функции ^’^...„х^и 9"(х1',Х2,...,х* )от выборочной совокупности (х*, Х2,..., х*), такие, что вероятность покрытия неизвестного параметра 9 случайным интервалом (9', 9") равна у, то есть
Р^' < 9 < 9"} = у,
то интервал (9', 9") называется доверительным интервалом, соответствующим данному значению у. Если одна из границ доверительного интервала (9', 9*) априори задается равной бесконечности или предельным значениям параметре (например, 0 или 1 для вероятности), то доверительный интервал называется односторонним. В частности, (-оо, 0") (или (0, 9") для вероятности) называется нижним доверительным интервалом, а (9', оо) (или (9', 1)) — верхним доверитель-
ным интервалом. В этом контексте ранее определенный интервал будем называть двусторонним.
Отметим, что при построении доверительного интервала иногда оказывается невозможным обеспечить точное значение доверительной вероятности у. В этом случае требуется, чтобы вероятность накрытия доверительным интервалом истинного значения параметра 0 была не меньше у:
Р{0' 2020"} Sy.
Сделаем несколько замечаний к этому определению. Интервал (0', 0) является случайным, поскольку концы его 0'(ХЬ Х2, ..., Х„) и 0"(ХЬ Х2, ..., Х„) являются случайными величинами (как и точечная оценка параметра 0(Xt, Х2,..., Х„)). Поэтому может случиться, что интервал (0', 0") не накроет истинного значения параметра 0. Однако вероятность таких случаев равна 1 - у.
Таким образом, если у взять близким к 1, то риск ошибки мал. Отсюда и название у как количественного показателя «доверия» к данному интервалу. Можно сказать также, что у — это надежность получаемой оценки. Величину у задают при постановке задачи. Обычно принимают коэффициент у равным 0.95, 0.99 или 0.999.
Соблазнительно взять у как можно ближе к единице. Однако с увеличением у растет длина интервала (О', 0"), то есть теряется точность. Длина интервала является мерой точности оценки параметра 0, в то время как у — мерой доверия к оценке. Для того чтобы при данном у увеличить точность оценки, то есть уменьшить длину интервала (0', 0"), необходимо увеличить объем выборочной совокупности п.
При построении доверительных интервалов важнейшую роль играют квантили, определяемые следующим образом.
Определение 2. Квантилью распределения случайной величины X, отвечающей вероятности р, называется такое значение хр, которое случайная величина X не превосходит с вероятностью р;
Р{Х<хр} = р.
Вспоминая определение 4 главы 3 для функции распределения F^ = Р{Х < х}, можно определить квантиль хр формулой
FUp^P- (12.1)
Следовательно, квантиль — это функция, обратная функции распределения. В связи с этим квантиль, отвечающую вероятности р, обозначают F ~*(р). Подчеркнем, что аргументом функции распределения является возможное значение х, а квантили — вероятность р, в то время как их значение, наоборот, р и х. Рисунок 12.1 иллюстрирует соотношение между функцией распределения и квантилью.
Для стандартного нормального распределения (4.14) квантиль обозначается Ф-‘(Р). Квантиль К^р") для произвольного нормального распределения (4.12) с параметрами ц и о может быть вычислена через Ф~‘(р) по формуле
Р"'(р)-Ц+ аФ~‘(р).
Проиллюстрируем на простом примере, как можно построить доверительный интервал. Оказывается, используя неравенство (4.48), можно получить верхний доверительный интервал (9', да) для математического ожидания ц неотрицательной случайной величины X, соответствующий доверительной вероятности у. При этом удивительно следующее обстоятельство: для этого достаточно иметь только одно наблюдение над случайной величиной X, то есть достаточна выборка объема один!
Неравенство (4.48) справедливо для любого положительного х > 0. Поэтому положив х = ц/(1 - у), получаем неравенство
<1-у.
Следовательно,
Р{Х(1 - у) < ц} = 1 - Р{Х(1 - у) > ц} = 1 - (1 - у) > у.
Итак, (Х(1-у),да) является верхним доверительным интервалом для математического ожидания ц неотрицательной случайной величины X, отвечающим вероятности у.
Полученный результат можно использовать для построения верхнего доверительного интервала для вероятности р некоторого события А. Пусть в результате п испытаний событие А наступило S„ раз. Рассмотрим в качестве случайной величины X частоту события X = SJn. Число наступления события 5„ имеет биномиальное распределение с параметрами пир. Математическое ожидание £(5Я) - пр (см. табл. 3.5 и пример 5.7), так что Е(Х) = р. Итак, интервал (5„( 1 - y)/n, 1) является доверительным интервалом для вероятности р, отвечающим доверительной вероятности у.
Выше все время речь шла о доверительных интервалах для параметров распределений. Однако в практических ситуациях основной интерес представляют не параметры, а некоторые функции от их. Пусть, например, мы интересуемся надежностью (вероятностью безотказной работы) изделия за установленный ресурс т. В нашем распоряжении есть данные о моментах отказов изделий, и мы хотим на их основании построить доверительный интервал для указанной на-
гжности. Предположим, что вид распределения длительности безотказной 1боты известен, пусть это будет экспоненциальное распределение (4.9) с неиз- хтным параметром X. Следовательно, нам необходимо построить доверитель- ый интервал для надежности R = ехр (-Хт). В данном случае интересующая нас ункция монотонно зависит от параметра. Поэтому если (X', X") есть довери- ;льный интервал для X, то соответствующим доверительным интервалом для R удет (ехр (-Х"т), ехр (-Х'т)).
общем случае рассматривается параметрическая функция g(0) от неизвестного араметра 0 е 0. Пусть (О', 0") является доверительным интервалом для 0, соот- етствующим коэффициенту доверия 0. Найдем минимальное g' и максималь- ое g" значения функции g(0) относительно значений параметра 0, принад- ежащих этому доверительному интервалу: 0 б(0', 0"). Тогда (g', g"), (-*,g") и jсо) будут, соответственно, двусторонним, нижним и верхним доверительны- :и интервалами для параметрической функции g(0), отвечающими доверитель- ой вероятности у. Действительно, используя определение минимума и макси- ;ума функции, имеем (например, для двустороннего интервала):
P{g' 2g(0)2g"}SP{0' 2 0 2 0"}^.
(елью данной главы является системное изложение методов построения дове- ительных интервалов всех видов — двусторонних, верхних и нижних. При этом удут рассмотрены два основных случая — случай выборки большого объема, огда используются асимптотическая нормальность, и случай выборки из нор- [альной генеральной совокупности.
Построение доверительных интервалов । случае асимптотически нормальных оценок
1 данном разделе мы будем предполагать, что объем выборки достаточно велик, (оверительный интервал для неизвестного параметра 0 часто может быть по- :троен, исходя из распределения случайной величины 0 — точечной оценки па- >аметра 0. В настоящем разделе будет рассмотрено построение доверительных штервалов в случае, когда 0 имеет нормальное или приблизительно нормальное >аспределение. Этот случай встречается особенно часто. А именно, справедливо :ледующее утверждение, доказываемое с помощью центральной предельной тео- земы (7.5): при довольно общих условиях распределение оценок, получаемых методам моментов и методом максимального правдоподобия, асимптотически нормально, то есть это распределение с увеличением объема выборки п стремится < нормальному. Так, эмпирическое математическое ожидание асимптотически зормально.
Изложим общее правило построения доверительных интервалов для параметра 0 з случае нормальной (асимптотически нормальной) оценки 0. Будем считать, <то 0 есть несмещенная оценка 0, то есть £(0) = 0. Начнем с построения двусторонних доверительных интервалов, симметричных относительно оценки 0, то есть интервалов вида (0-8 0+8), где 8 > 0. По условию задачи необходимо для
заданного у и полученной по выборке оценке 9 найти такое 5, чтобы выполнялось условие
Р-19-8 < 9 < 9 + si = у(12.2)
или, что равносильно,
|9-0|<6
Покажем, что для нормально распределенной случайной величины X с параметрами рис имеет место равенство
Р{|Х-ц|<5} =2фГ—)-1,(12.3)
ко)
где Ф(г) — функция стандартного нормального распределения (4.14).
Действительно, используя соотношение (4.4) и (4.16), имеем:
Р{|X-ц| < 8} = Р{ц -8 < X < ц + 3} =
— ф __ ф *2_ = ф — — ф.
к О ) к ° )\°)\
В силу симметричности относительно начала координат графика плотности стандартного нормального распределения (см. рис. 4.4) для значения 2 > 0 имеем соотношение
Ф(-г) = 1 - Ф(-г).
Поэтому
Р{| X - ц I < 8} = ф(-) - ф(--) = ф№ 1 -= 2ф(-1 -1,
Vo; I о) Vo; к ко)) ко)
что и требовалось доказать.
Отметим теперь, что следующие события эквивалентны:
19-8<9<9+81=1-9-8<-9<-9 + 81=(9-8<9<9 + б1.
Так как 9 имеет нормальное распределение с математическим ожиданием 0 (ведь 9 — несмещенная оценка!) и дисперсией D(9), то с учетом предыдущих равенств и формул (12.2) и (12.3), имеем
у = р]9-8<9<9 + 8к = 2Фу = р]9-8<9<9 + 8к = 2Ф8о(9)8о(9)-1,-1,ФФ8о(9)8о(9)_ 1 + у_ 1 + у
у = р]9-8<9<9 + 8к = 2Ф
у = р]9-8<9<9 + 8к = 2Ф
8о(9)
8о(9)
-1,
-1,
Ф
Ф
8о(9)
8о(9)
_ 1 + у
_ 1 + у
где а(9) = V^W-
вспоминая определение квантили (12.1), заключаем, что 8/о(0) — это квантиль гандартного нормального распределения, отвечающая вероятности (1 + у)/2:
5/ 1 + у)
ф I.о(0)I 2 J
)тсюда вытекает, что
(12.4)(12.4)5 = ф-‘ АН а(0).
(12.4)
(12.4)
I 2 J
1оскольку доверительная вероятность у задана, то подсчитав (1 + у)/2, можно „- _1 (1 + у) —_
щйти значение Ф - . Следовательно, для вычисления 5 осталось опреде-
( 2 )
гать дисперсию 0(0), которая может быть неизвестна. Однако вместо 0(6) есте- :твенно взять ее состоятельную оценку 0(0), подсчитанную по результатам вы- 5орки. Поскольку объем выборки п велик, то оценка 0(0) будет близка к истинной дисперсии 0(0). Итак, получено следующее правило построения двустороннего доверительного интервала (0-8; 0 + 8) с коэффициентом доверия у для параметра 0 в случае нормальной (асимптотически нормальной) и несмещенной оценки 0.
По данным выборочной совокупности вычисляются оценка 0 и состоятельная оценка 0(0) дисперсии оценки 0(0). Затем находится квантиль нормального / ^ + «у
распределения Ф I —I, отвечающая вероятности (1 + у)/2. В частности, при у,
/1 + у Л
равном 0.95 и 0.99, Ф I 1 составит, соответственно, 1.96 и 2.58. Далее вычис
ляется 8 по формуле (12.4), в которой в качестве о(0) принимается -^0(6).
Тогда интервал (0 - 8; 0 + 8)будет двусторонним доверительным интервалом для параметра 0 с коэффициентом доверия у.
Намного проще вывод формул для построения односторонних доверительных интервалов. Приведем окончательные результаты.
Нижним (-оо, 0") и верхним (0', со) доверительными интервалами для параметра 0 с коэффициентом доверия у в случае нормальной (асимптотически нормальной)
и несмещенной оценки 0 являются интервалы:
(-00, 9") = [-оо, 0 + ф-’ (y)VB(0)(-00, 9") = [-оо, 0 + ф-’ (y)VB(0)
(-00, 9") = [-оо, 0 + ф-’ (y)VB(0)
(-00, 9") = [-оо, 0 + ф-’ (y)VB(0)
^ZQ\ - Mieuva НиГПРПГиИ Л/§Уоценки 0.
Проиллюстрируем сформулированное правило на примерах построения доверительных интервалов для вероятности и математического ожидания. Начнем с вероятности.
Предположим, что требуется построить доверительный интервал для неизвестной вероятности р появления события Л. Пусть в результате п наблюдений (где п достаточно велико) событие Л появилось 5„ раз. Мы знаем (см. примеры 11.1 и 11.4), что частота — 5„ является несмещенной и состоятельной оценкой р, при- п
чем ее дисперсия D(S„/n) = р(1 - р)/п. Как следует из теоремы Муавра—Лапласа (7.26), эта оценка асимптотически нормальна. Здесь 0 = р, 6 = — Sn. Далее, п
0(0) = —. Поскольку р неизвестно, то вместо 0(0)следует использовать состоя- п
тельную оценку 0(0). Так как состоятельной оценкой р является частота -S-, .п
а для q =1 - р такой оценкой будет 1 — 5„, то состоятельной оценкой 0(0) будет п
O(0) = 4\fi--Oп к п )
Теперь по формуле (12.4) находим
Следовательно, двусторонний доверительный интервал для вероятности будет иметь вид
<125)
V” V 2 ;^п2< п ) п к ^ лп к п )
Нижний и верхний доверительные интервалы для вероятности имеют вид: (0,0)= О, 25„+ф--(у)- 5, 1--5„ ,
\ пМ к п J
(0-, i)=f-5„1 .
п п\ к п )
Пример 12.1. Для оценки вероятности безотказной работы агрегатов определенного типа была отобрана выборочная совокупность в 200 агрегатов. В результате стендовых испытаний отказало 10 агрегатов. Найти двусторонний доверительный интервал для вероятности безотказной работы р, соответствующий доверительной вероятности 0.99.
if 1 + Y
Так как у = 0.99, то Ф I —I = 2.58. Далее, в нашем случае п = 200 и не отказало
190 агрегатов, то есть 5, ■ 190. Следовательно,
=0.95,п
ф-1|1±1)=2.58^^^ «0.0398.
к 2 Лп2к пV 200
[скомый доверительный интервал есть (0.95 - 0.0398; 0.95 + 0.0398), иначе
).91О2; 0.9898).□
еперь рассмотрим задачу построения доверительных интервалов для математи- еского ожидания. Пусть (х^.х^.-.-.х*) — наблюденная выборка для случайной еличины X, распределенной по произвольному закону с неизвестными матема- ическим ожиданием ц и дисперсией о2. По этим данным необходимо построить вусторонний доверительный интервал для математического ожидания ц, отве- ающий коэффициенту доверия у. Как известно из примера 11.2, несмещенной ценкой математического ожидания является эмпирическое математическое жидание ц‘ =-Ух‘, которое асимптотически нормально. Дисперсия этой п>-х
ценки равна В(ц') = о2/и. Дисперсия о2 случайной величины X неизвестна. )днако вместо нее можно взять эмпирическую дисперсию
о2,=-5(х;-ц-)2,(12.6)
оторая является состоятельной оценкой дисперсии о2.
'ледовательно, доверительным интервалом для математического ожидания ц коэффициентом доверия у будет интервал
1ижним и верхним доверительными интервалами для математического ожида- 1ия будут интервалы:
-оо; ц * + Ф"1 (у)^о2*/п
ц * - Ф*1 (у)^Уп; оо
$ заключение рассмотрим задачу определения необходимого объема выборки. $ыше предполагалось, что объем выборочной совокупности фиксирован. В ста- истических исследованиях часто бывает наоборот: объем выборки подбирается ак, чтобы добиться заранее установленных точности и надежности оценки, хли интервал соответствует доверительной вероятности у, то это значит, что бсолютное отклонение оценки 0 от истинного значения параметра 0 будет мень- ие 5 с вероятностью у, то есть
р{|0-0|<5} =у.
Следовательно, с вероятностью у абсолютная ошибка не превышает 5. При сде- 1анных нами предположениях имеем (см. (12.4)) следующее выражение для 5:
(12.8)(12.8)5 = Ф
(12.8)
(12.8)
где 0(0) = (а(0))2 — дисперсия оценки 0.
Если 0 — состоятельная оценка для 0, то дисперсия 0(0) с ростом объема выборки п стремится к нулю. Поэтому при фиксированном коэффициенте доверия у значение 5 будет уменьшаться. Каков же минимальный объем выборки я, при котором абсолютная ошибка 5 с вероятностью у не превысит заданного уровня? Очевидно, для ответа на этот вопрос необходимо подставить в качестве S заданную величину и решить полученное уравнение относительно п.
Определим вначале необходимый объем выборки в случае оценки вероятности р. Так как в этом случае 0(0) = pq/n, то
5 = ф-1Г^№1"р)
V 2 п ’
Р(1-Р).Р(1-Р).откуда
Р(1-Р).
Р(1-Р).
(12.9)
В этом выражении неизвестно р. Часто поступают так: предварительно берут небольшую «пробную» выборку объема п0 и по ее данным делают приближённую оценку р. Если Sq/uq — частота события в пробной выборке, то необходимый объем равен
ппдо । до «о I «о,до । до «о I «о,(12.10)(12.10)
п
п
до । до «о I «о,
до । до «о I «о,
(12.10)
(12.10)
Заметим, что при любом р, заключенном между 0 и 1, р(1 —р) ^ 1/4, причем знак равенства достигается только при р = 0,5. Поэтому в любом случае
Рассмотрим теперь случай оценки математического ожидания ц. Так как здесь 0(0) = аг/п, то формула (12.8) дает уравнение
5 = Ф'1 (ii^IyoVn.I 2 /
Для оценки о2 поступают, как и раньше: делают пробную выборку объема Яд и вычисляют по формуле (12.6) соответствующую ей эмпирическую дисперсию о2*. Подставляя ее в последнюю формулу, находим
(12.11)(12.11)
(12.11)
(12.11)
Пример 12.2. Производится оценка среднемесячного дохода семьи в некотором регионе. Каков должен быть объем выбооки я. если заоанее поинято. что ломпи.
явный коэффициент у равен 0.95, а допустимая абсолютная ошибка не должна зевышать 50 евро?
редположим, что в результате пробной выборки было установлено, что о2* = 2 • 104. огда, поскольку при у = 0.95 Ф"1 ^Мр"^ = ^ ^^-то n = (1-96/50)2 •2•104 * 62. □
2.3. Основные распределения 1атематической статистики
ыше была изложена методика построения доверительных интервалов при боль- их объемах выборочной совокупности, когда оценка интересующего нас пара- етра распределена приблизительно нормально. Однако особое значение метод зверительных интервалов имеет в случае выборочных совокупностей малого зъема. Действительно, так как оценка параметра обычно состоятельна, то при зльших выборках она близка к истинному значению параметра. Следовательно, ринимая в качестве параметра его оценку, мы совершаем, как правило, неболь- ую ошибку. Этого нельзя сказать в случае малых выборок, когда оценки имеют эльшой разброс (дисперсию) около истинного значения параметра. Поэтому 1есь замена параметра его оценкой часто приводит к существенной ошибке, этом случае особенно важно указать границы интервала, который с наперед щанной вероятностью содержит интересующее нас значение параметра.
[спользуемый здесь метод построения доверительных интервалов основан на рас- ределении оценок параметра. При больших выборках рассматриваемые оценки мели приблизительно нормальное распределение. При малых выборках это не 1к. Следовательно, необходимо знать точное (а не асимптотическое) распреде- ение оценок параметров. Мы ограничимся случаем нормальной генеральной эвокупности. Оценки параметров нормальной совокупности имеют х2-распре- еление или ^-распределение Стьюдента.
'пределение 2. ур -распределение (читать: хи-квадрат распределение) задается педующей плотностью:
0при х < 0,
(2,/2Г(//2))-,х(,/2Не-х/2при х>0,
ie I — параметр распределения, называемый числом степеней свободы, / = 1, 2,..., (а) — гамма-функция:.
FCa^y-V-dy.(12.13)
о
[ри / 5 2 кривая плотности этого распределения постоянно убывает для х > 0, при / > 2 имеет единственный максимум в точке х = I - 2. Соответствующие рафики для некоторых значений / изображены на рис. 12.2. Момент r-го поряд- а х2 -распределения задается формулой
цг = /(/ + 2)(/ + 4)...(/ + 2г-2).
)тсюда, в частности, следует, что
Е(Х) = 1, р^Р+21, D(X) = 2L(12.14)
Рис. 12.2. Кривые плотности х2-распределения
Эти формулы могут быть выведены на основании следующего функциональною уравнения для гамма-функции-.
Г(а + 1) = аГ(а), а>0.(12.15)
В частности, Г(п + 1) = п! для целого положительного п. Хорошо известны также следующие формулы:
Г - =7ъ Г - =-V^.(12.16)
Напомним, что квантиль, отвечающая вероятности р, есть число, удовлетворяющее условию: вероятность случайной величины не превзойти его равна р. В случае х2-распределения с / степенями свободы квантиль, отвечающая вероятности р, обозначается х^ОУ то есть х2 (О есть решение уравнения
Р=Лх2(0) = \f^dx, ■о
где /(х) определяется формулой (12.12).
Квантили х2-распределения с различным числом степеней свободы могут быть определены из соответствующих таблиц или, например, с помощью модуля Probability Calculator пакета STATISTIC А или путем использования встроенных функций пакета Mathcad.
Примечательным свойством х2-распределения является то, что сумма независимых случайных величин, имеющих это распределение, также имеет х2-распределение.
Теорема 12.1. Пусть Уь У2У, есть последовательность взаимно независимых случайных величин, имеющих х2-распределение с 1\, 12, .... 4 степенями свободы соответственно. Тогда сумма У] + У2 + ... + Yk имеет х2 -распределение с 4 + /2 + ... + 4 степенями свободы.
Доказательство
Из свойства ассоциативности для операции суммирования и принципа индукции следует, что достаточно ограничиться случаем двух слагаемых У] и У2. Поскольку Y\ и У2 неотрицательны, то неотрицательной будет и их сумма. Если обозначить /((г/) плотность распределения Уь а /2(г/) — плотность распределения У2, то плотность распределения У] + У2, согласно формуле (7.15), будет
я
Ку) = $М2^2<У-z)dz, г/>0.
О
Подставляя вместо j\ и /2 выражение (12.12) при /, равном соответственно Ц и /2, находим, что при у > О
У
/(у ) = J (2/(/2 Г(4/2))’1 z01 /2Не"г/2(2'2/2 Г(/2/2))-‘ (у -Z)('2/2H е4*"^dz = О
у
= (2(,] +'2’/2 Г(4/2)Г(/2/2))"‘ e*v/2}z^' /2Н (у - 2)(,2/2Н dz. (12.17) о■
Произведем в последнем интеграле замену переменной г = yv, dz = ydv Тогда у = z/y и пределы интегрирования по переменной у будут 0 и 1:
VI
$г°' /2Н (у - г)(,2/2Н dz = у WtJy°-/2Н (1 -у)('2/2)-‘ do.
оо
Из таблиц определенных интегралов находим, что
Jу <'> /2>-1 (1 -у)<'2/2>-‘ dv = Г(4/2)Г(/2/2)(Г((4 + 4 )/2))-‘. О
Подставляя эти результаты в (12.17), получаем плотность х2 -распределения с 4 + 4 степенями свободы.□
Условия, при которых возникает х2 -распределение, определяет следующая теорема.
Теорема 12.2. Если Уь У2, ..., У/ взаимно независимые случайные величины, имеющие одно и то же стандартное нормальное распределение (4.13), то сумма их квадратов У^+У^ч-... +У;2 имеет х2 -распределение с / степенями свободы.
Доказательство
Покажем, что если У имеет стандартное нормальное распределение (4.13), то квадрат У2 имеет х2 -распределение с одной степенью свободы. Отсюда и из предыдущей теоремы, полагая в ней к = I и Zf = 1, i = 1, 2,..., к, получим требуемое доказательство.
Распределение У2 можно легко получить, используя теорему 43 для функции у(х) ■ х2. Однако мы приведем прямое доказательство, не опирающееся на эту
ТАППАМи
Согласно формулам (4.13) и (4.14), плотность распределения У есть Ф(г/) = -1=е"у2/2,
72л
а функция распределения — Ф(у).
Случайная величина У2 не превосходит значения у > 0 тогда и только тогда, когда У не превосходит по абсолютной величине Jy. Поэтому
Р{У2 ^у^ = Р^ ^¥ ^^ = Ф(^)-Ф<-^) =
=2ф(^)-1=2/ф(2)^-1,о
так как Ф(-а) = 1 - Ф(а) для а > 0.
Дифференцируя это выражение по переменной у, находим, что плотность распределения случайной величины У2 есть
-^(2Ф(^)-1) = 2-^=е-у/2^-1/2 =А=у-1/ге"!'/2.
dyV2k 2 V2n
Это совпадает с формулой (12.12) при 1= 1, поскольку, согласно формуле (12.16), Г(1/2) = Тл.□
Доказанная теорема показывает, что случайную величину, имеющую х2 -распределение с / степенями свободы, можно интерпретировать как сумму квадратов / взаимно независимых случайных величин, имеющих стандартное нормальное распределение. Такая интерпретация, а также центральная предельная теорема, позволяют установить, что при /->оо х2 -распределение приближается к нормальному. В частности, при больших / (Z > 30) квантиль этого распределения, отвечающая вероятности р, может быть вычислена по формуле
Х^«и^1ф-Чр\(12.18)
где Ф-1(р) — квантиль стандартного нормального распределения.
Оказывается, однако, что большую точность обеспечивает другая формула, предложенная Р. Фишером:
l^№*tfW(12.19)
Она основана на том, что распределение функции ^2х2 -727-1 от х2 стремится при /-*со к стандартному нормальному быстрее, чем само х2 -распределение.
Теперь мы перейдем ко второму основному распределению математической статистики.
Определение 3. Случайная величина Т имеет t-распределение Стьюдента с / степенями свободы, если ее плотность распределения задается формулой
ГШ + 1V2VY<,+t>/2
(12.20)
где 1 — папаматп. мааыпааммй иигппи гтжачлД гмпЛпАы / — 1 О
ривая плотности t-распределения одновершинна и симметрична относительно >чки t = 0 (рис. 12.3). Последнее означает, что
(12.21)
Р{Т <-t} = 1-Р[Т < t} при£>0.Р{Т <-t} = 1-Р[Т < t} при£>0.Рис. 12.3. Кривые плотности t-распределения при / = 3 и стандартного нормального распределенияРис. 12.3. Кривые плотности t-распределения при / = 3 и стандартного нормального распределенияIo сравнению с кривой плотности нормального распределения при одних и тех се значениях математического ожидания и дисперсии кривая t-распределения юнее крутая, то есть вероятность больших отклонений от математического ожи- ания для t-распределения больше. При 1-»<ю t-распределение стремится к стан- артному нормальному распределению (4.13).
Р{Т <-t} = 1-Р[Т < t} при£>0.
Р{Т <-t} = 1-Р[Т < t} при£>0.
Рис. 12.3. Кривые плотности t-распределения при / = 3 и стандартного нормального распределения
Рис. 12.3. Кривые плотности t-распределения при / = 3 и стандартного нормального распределения
Ц2гЦ2гr(r + -W-/-rlr(r + -W-/-rlпри 2г < /.при 2г < /.[ля t-распределения существуют все моменты, порядок которых меньше числа тепени свободы I. Вследствие симметричности распределения все существую- цие моменты нечетного порядка (в частности, математическое ожидание) равны [улю. Существующие моменты четного порядка определяются по формуле
Ц2г
Ц2г
r(r + -W-/-rl
r(r + -W-/-rl
при 2г < /.
при 2г < /.
3 частности, используя формулы (12.15) и (12.16), получаем ц2 = о2 = //(/-2). Квантиль t-распределения Стьюдента с I степенями свободы, отвечающая веро- 1ТН0СТИ р, обозначается tp(ly Значения квантилей t,,(Z) для разных вероятно- :тей р и числа степеней свободы / можно определить с помощью модуля Probability Calculator пакета STATISTICA или встроенных функций пакета Mathcad. Гак как при увеличении числа степеней свободы I t-распределение стремится < стандартному нормальному (4.13), то и квантиль ^(/) стремится к квантили г‘о>). Оказывается, что уже при / > 30 и 0.01 < р < 0.99 можно пользоваться формулой
tAb*<»"4pY
Пример 12.3. Найдем квантили ^-распределения с двумя степенями свободы, отвечающие вероятности 0.9 и 0.3. С помощью модуля Probability Calculator пакета STATISTICA находим, что tog(2) = 1.886, t03(2) = -1.061.□
Применение распределения Стьюдента в статистике основывается на следующей теореме.
Теорема 12.3. Пусть X и У являются взаимно независимыми случайными величинами, причем X имеет стандартное нормальное распределение (4.13), а У имеет х2-распределение с / степенями свободы (12.12). Тогда величина
T = V7^(12.22)
VF
имеет распределение Стьюдента с / степенями свободы.
Доказательство
Если случайная величина У приняла значение у, то для выполнения неравенства Т< t необходимо и достаточно, чтобы X < t-Jy 1"1/2. Так как X имеет стандартное нормальное распределение (4.13), то условная вероятность интересующего нас события {Г < t} при условии У = у составляет
Г _1^/-'/21.1,2
P^T<t\Y =у\=Р\x<t^rV2V = J -^е2 dz.
IJ _ V2n
Поскольку значение у может быть произвольным, а случайная величина У имеет X2 -распределение (12.12)с / степенями свободы, то усредняя по значениям у, находим
1-1у2 e~y/2dy =1-1у2 e~y/2dy =
1-1
у2 e~y/2dy =
1-1
у2 e~y/2dy =
[ f2 dz 22Г - у2 e"y/2dy.
Для получения плотности распределения случайной величины Т это выражение надо продифференцировать по t:
t2» г~с 1 /М-' 11 »2'пггШ у2 е 2dy=t2» г~с 1 /М-' 11 »2'пггШ у2 е 2dy=
t2» г~с 1 /М-' 11 »
2'пггШ у2 е 2dy=
t2» г~с 1 /М-' 11 »
2'пггШ у2 е 2dy=
После подстановки
1У = 21У = 2. t1 ),11+7 "• *4. t1 ),11+7 "• *4(t2}(t2}
1
У = 2
1
У = 2
. t1 ),1
1+7 "• *4
. t1 ),1
1+7 "• *4
(t2}
(t2}
последний интегпал будет павен
=о мJ и 2 e~vdv = о=о мJ и 2 e~vdv = оatat
=о м
J и 2 e~vdv = о
=о м
J и 2 e~vdv = о
at
at
так как по определению гамма-функции (12.13)
ОО /~1ОО /* 1
Jи 2 e~vdv = Ju 2 оо
Следовательно, искомая плотность распределения случайной величины Т равна
что соответствует распределению Стьюдента с / степенями свободы.
Построение доверительных интервалов в случае малых выборок из нормальной совокупности
Изложенный выше материал позволяет сформулировать следующую важную теорему, впервые строго доказанную Р. Фишером [2, 3, 9, 10].
Теорема 12.4. Пусть Хь Х2,..., Х„ — выборка объема п из генеральной совокупности, имеющей нормальное распределение (4.11) с параметрами цист. Тогда эмпирическое математическое ожидание ц’ и эмпирическая дисперсия ст2* взаимно независимы, причем ц * имеет нормальное распределение с математическим ожиданием ц и дисперсией ст2/п, а ист2*/ст2 имеет х2-распределение с п - 1 степенью свободы. □
Эта теорема будет использована в дальнейшем при построении доверительных интервалов для дисперсии ст2. Доверительный интервал для математического ожидания ц по этой теореме построить нельзя, так как распределение оценки ц * зависит, кроме ц, еще и от неизвестного параметра ст. Построение такого интервала основывается на следующей теореме.
Теорема 12.5. В условиях предыдущей теоремы величина (ц* -p)Vn-l/Vo2* имеет (-распределение Стьюдента с п - 1 степенью свободы.
Доказательство
По теореме 12.4 случайные величины (ц* -\х^4п/<з и ист2’/ст2 взаимно независимы, причем первая из них имеет стандартное нормальное распределение, а вторая — х2 -распределение с (п - 1) степенью свободы. Поэтому доказательство следует из теоремы 12.3. D
Применим полученные результаты для построения доверительных интервалов для математического ожидания и дисперсии нормальной генеральной совокупности. Начнем с двустороннего доверительного интервала для математического ожидания.
Будем искать симметричный относительно наблюденного значения ц" доверительный интервал, то есть интервал вида (ц* -SVo2*, ц* + sVo2* ), где 5>О должно быть подобрано так, чтобы
Р{ц * - sVo2* < ц < ц * + sVo2’} = у.
Легко показать, что следующие три неравенства эквиваленты:
ц* -sVo2* <ц < ц * + sVo2*,
-ц*-ц*Соответственно, вероятности этих двойных неравенств равныСоответственно, вероятности этих двойных неравенств равныПо теореме 12.5 величинаПо теореме 12.5 величина
-ц*
-ц*
Соответственно, вероятности этих двойных неравенств равны
Соответственно, вероятности этих двойных неравенств равны
По теореме 12.5 величина
По теореме 12.5 величина
уи-1 —Vr-1уи-1 —Vr-1(12.25)(12.25)
уи-1 —Vr-1
уи-1 —Vr-1
(12.25)
(12.25)
(12.24)
имеет (-распределение Стьюдента с и - 1 степенью свободы. Теперь из формул (12.23) и (12.21) получаем
у = Р{-8ТпЛ <Т< sVn^T} =
= Р{Т < SVn^T} - Р{Т < -SVn^T} = 2Р{Т < sVn^T} -1.
Отсюда выводим, что
P{T<sVn^T}=^.
Следовательно,
^(п-1).2^(п-1).28Vn-l = (Uy (и -1) и 8 =—Vn-1
^(п-1).
2
^(п-1).
2
Таким образом, двусторонний доверительный интервал для математическою ожидания ц, отвечающий коэффициенту доверия у, имеет вид:
где ц* и о2* — эмпирические значения математического ожидания и дисперсии, вычисляемые по формулам (10.11) и (12.6); tp(n - 1) — квантиль (-распределения Стьюдента с и - 1 степенью свободы, отвечающая вероятности р.
Нижним и верхним доверительными интервалами для математического ожидания нормальной генеральной совокупности будут интервалы:
-оо;
(y(n-l)V^
Пример 12.4. Суточный расход авиационного топлива (в т) по данным 10 дней составил 220; 200; 240; 190; 160; 260; 210; 200; 170; 150. Предполагая, что суточный расход имеет нормальное распределение, построим двусторонний доверительный интервал для математического ожидания суточного расхода, отвечающий коэффициенту доверия у = 0.9.
В первую очередь вычислим эмпирические математическое ожидание и дисперсию:
ц* = 200; о2* = 1080.
Учитывая, что п = 10, а число степеней свободы равно п - 1 = 9, находим
^ito.B (^) = ^o.9s(9) = 1-833.2
Поэтому искомый доверительный интервал есть (в т)
|200—Д—1.833V1080; 200 + ■ 11.833Лб80 | = (179.92; 220.08). □
I Vw^iЛо^Л )
Теперь рассмотрим построение двустороннего доверительного интервала для дисперсии нормальной совокупности. А именно, требуется найти случайный интервал (О', 0"), с заданной вероятностью у накрывающий неизвестную дисперсию о2 нормальной совокупности, то есть такой, что
Р{9'< о2 < 9"} = у.(12.26)
Будем искать границы интервала в виде 9' = 8to2*, 9" = 82о2*, 8t,82 >9, о2* — эмпирическая дисперсия, подсчитанная по выборке объема п. Теперь неравенство 9' < о2 < 9" превращается в неравенство 8( о2* < о2 < 82о2*, которое равносильно неравенству п по2*п
— < —— < —.
82о28(
Следовательно, вероятности этих двойных неравенств равны, и поэтому
(12.27) [ 82<3 8t
В соответствии с теоремой 12.4, случайная величина
имеет х2 -распределение с п - 1 степенью свободы.
Случайный интервал (9', 9"), с вероятностью у накрывающий о2, определяется неоднозначно. Остановимся на таком выборе интервала (9', 9"), при котором вероятности выхода за пределы этого интервала влево или вправо одинаковы. Иными словами, мы накладываем дополнительное условие
Р(о2 < 9'} = Р{о2 > 9"} = 1Д(12.28)
Это условие равносильно следующему:
-I ио2* и) nine2* и! 1-у> — > => = —-.
12 я I ]2 Я I О
[ О 8j J [о О2 J 2
В терминах случайной величины х2 = ио2*/о2 это запишется так (рис. 12.4):
8,8,= Р х2= Р х2п5?п5?_ 1-Y2 '_ 1-Y2 '(12.29)(12.29)Рис. 12.4. Доверительный интервал для дисперсии.Рис. 12.4. Доверительный интервал для дисперсии.
8,
8,
= Р х2
= Р х2
п
5?
п
5?
_ 1-Y
2 '
_ 1-Y
2 '
(12.29)
(12.29)
Рис. 12.4. Доверительный интервал для дисперсии.
Рис. 12.4. Доверительный интервал для дисперсии.
. Из формулы (12.29) и определения квантили следует, что и/62 = Х<»-г>/2(я “ О» и поэтому
3232ппХ(1—у)/2 (^ ~ ОХ(1—у)/2 (^ ~ О(12.30)(12.30)
32
32
п
п
Х(1—у)/2 (^ ~ О
Х(1—у)/2 (^ ~ О
(12.30)
(12.30)
где Х(1-Т)/2(и~1) — квантиль х2 -распределения с п - 1 степенью свободы, соот- 1-у
ветствующая вероятности —
Аналогично этому из формулы (12.29) далее получаем
л хл х2 <-^8,2 <-^8,5,5,1-у_1+у~2 Т’1-у_1+у~2 Т’
л х
л х
2 <-^
8,
2 <-^
8,
5,
5,
1-у_1+у
~2 Т’
1-у_1+у
~2 Т’
(12.31)(12.31)откуда находим, что n/Sj = X (i+T>/2 (” —1)> и поэтому 5 - п .
(12.31)
(12.31)
Х[\^у)/г(.п1)
Таким образом, получаем двусторонний доверительный интервал для дисперсии о2, соответствующий доверительной вероятности у и дополнительному условию (12.28):
Xo»T)/j(”_O
.2».
п
Х(Н)/2(п-1)
о2*
(12.32)
Длина построенного доверительного интервала равна, очевидно,
^Хо-^/гО* О Х(1+У)/2(и О,
Попробуем уменьшить эту длину, отказавшись от условия (12.28) одинаковой вероятности выхода истинного значения дисперсии за пределы этого интервала вправо и влево. Пусть а — искомая вероятность того, что значение дисперсии окажется левее доверительного интервала (ранее директивно полагалось а = (1-у)/2). Тогда (1-у-а) — аналогичная вероятность оказаться правее:
Р{о2<0'}=а, Р{о2 >0"} = 1-у-а.
Теперь вместо (12.29) имеем соотношение:Теперь вместо (12.29) имеем соотношение:pL2>2ll=a, pL2pL2>2ll=a, pL2(12.33)(12.33)
Теперь вместо (12.29) имеем соотношение:
Теперь вместо (12.29) имеем соотношение:
pL2>2ll=a, pL2
pL2>2ll=a, pL2
(12.33)
(12.33)
Значения 8, и 82, определяющие левую и правую границы интервала, выражаются через значение а следующим образом:
(12.34)(12.34)(12.35)(12.35)8 - п 8 - П .’ X?-a(«-l)’2 XlVaC”"1)
(12.34)
(12.34)
(12.35)
(12.35)
Очевидно, длина интервала составляет (82 -81 )о2*.
В результате мы имеем следующую задачу нелинейной оптимизации: Минимизировать функцию
G(a) = 82 -8, = —-АXl-T-a(«-l)Х1-а(«-1)
по переменной а >0, удовлетворяющей условию а < 1-у.
Сформулированная задача оптимизации по одной переменной является весьма простой. Она без труда решается в пакете Mathcad путем использования встроенной функции Minimize.
Пример 12.5. Продолжим рассмотрение предыдущего примера. Построим кратчайший двусторонний доверительный интервал для дисперсии нормального распределения, если объем выборки п = 10, значение эмпирической" дисперсии о2* = 1080, коэффициент доверия у =0.6.
Вычисления в пакете Mathcad показывают, что кратчайший доверительный интервал для дисперсии есть (650.4; 1582). Длина интервала составляет 1582 - 650.4 = 931.6. Для сравнения укажем, что симметричным доверительным интервалом (12.32) будет интервал (882.2; 2007), длина которого, равная 1124.8, существенно больше.
Численный метод построения доверительных интервалов для параметрической функции*
Ниже будет изложен общий метод построения доверительных интервалов для параметрической функции, сформулированный Ю. К. Беляевым. Пусть интересующий нас показатель описывается функцией g(9), называемой параметриче-
ской, от вектора неизвестных параметров 0 = (0Р 02,..., 0„), значения которого принадлежат параметрическому пространству 0. В нашем распоряжении имеется выборка X = (X^ Х2, ..., Х,,1), каждый элемент которой X, является случайной величиной (или случайным вектором), распределение которой полностью определяется параметром 0 g 0. Необходимо построить доверительный интервал (g'(X), g"(X)) для параметрической функции g(0), отвечающий доверительной вероятности у:
P{g-(X)<g(0)<g"(X)}>Y, ve е 0.(12.36)
В дальнейшем будет использоваться следующее определение.
Определение 4. Выборочным пространством Т называется подмножество «-мерного вещественного пространства, точки которого х = (Лф х2х„) соответствуют возможным значениям выборки X = (Хь Х2Х„).
Построение доверительного интервала осуществляется в три этапа.
Этап 1. Каждому 0 g 0 ставится в соответствие некоторое множество Тв с Ф выборочного пространства Т такое, что если истинное значение параметра есть 0, то выборка X попадает в это подмножество с вероятностью, не меньшей, чем у:
Pe{XeYe}^Y.
В результате имеем семейство множеств
{Ч-е, 0G0}.
Этап 2. Исходя из семейства множеств выборочного пространства {%, 0 е 0), определяется семейство {0Х, х g Т} множеств параметрического пространства 6 следующим образом: для каждой точки х выборочного пространства Т определяется множество 0Х параметрического пространства, состоящее из таких значений 0, при которых X G%:’
0x={0g0: хсТД xgV.
Отметим, что оба рассмотренных семейства однозначно определяют друг друга. Случайное событие {X g Т8} имеет теперь эквивалентную форму записи (0 е 0Х), Следовательно,
P9{0g0x}=P9{Xg4'9}^Y.(12.37)
Определение 5. Семейство множеств {0Х: х gT} параметрического пространства 0, удовлетворяющее условию (12.37), называется семейством '(-доверительных множеств для параметра 0 g 0. Если нижняя грань
inf {Р9{0 G 0Х}} = у,(12.38)
то у называется коэффициентом доверия для семейства {0Х: х е Т}.
Отметим, что оба вышеописанных этапа осуществлялись без использования фактических данных о выборке х.
Этап 3. Фиксируется полученная выборка X = х. Формулируются и решаются две оптимизационные задачи: найти инфимум и супремум параметримесхой функции g(0) на множестве 0, значений параметра 0:
g'(x)= inf g(9),(12.39)
g"(x)= supg(9).(12.40)
в€ех
Тогда интервал. (g'(X), g"(X)) является двусторонним доверительным интервалом для параметрической функции g(9), отвечающим коэффициенту доверия у.
Справедливость последнего утверждения следует из того, что множество {6 е 0Х} содержится во множествах
J inf g(9)<g(9)l = {g'(x) <g(9)} и |g(9) < sup g(9)| = {g(9) <g(x)}.
[ 6se, J
Следовательно, для любого 9 e 0
у < Pe{9 e 0X} < Pe{g '(X) < g(9)< g "(X)},
Итак, (g'(X), g"(X)) является искомым двусторонним доверительным интервалом. Для получения одностороннего интервала достаточно просто не учитывать один из концов g' или g".
Основными элементами вышеописанной процедуры являются: 1) подбор семейства множеств {Ч^: 9 е 0} и 2) решение задач оптимизации (12.39) и (12.49).
Решение задач оптимизации мы переадресуем к соответствующим компьютерным пакетам программ (см. ниже компьютерный практикум № 19). Более актуальной для статистиков является успешное решение первой задачи, отчего зависит точность оценивания.
Определение 6. Доверительный интервал для параметрической функции называется точным, если не существует другого доверительного интервала с тем же коэффициентом доверия и более узкими границами.
Иначе говоря, точный двусторонний доверительный интервал имеет самую маленькую длину, нижний доверительный интервал — наименьшую верхнюю границу, верхний — наибольшую нижнюю границу.
Как отмечает Ю. К. Беляев, «...наиболее точные доверительные оценки удается построить в исключительно редких задачах». В этих редких задачах такое построение опирается на сведение их к задачам проверки статистических гипотез, в частности, путем использования фундаментальной леммы Неймана—Пирсона (см. теорему 13.1).
Примеры
Пример 12.6. Рассмотрим задачу построения доверительного интервала для вероятности того, что случайная величина X, имеющая нормальное распределение, попадет в интервал (а, Ь), а<Ь. Предполагается, что параметр ст нормального распределения (4.11) известен, а параметр ц — нет. При этом в распоряжении имеется выборка X = (Хь Х2Х„) объема п, соответствующая этому распределению.
В данном случае неизвестен один параметр, а параметрическим и выборочным пространством будет вещественная ось: 9 = ц, 0 = (-», оо), 4х = (-оо, оо). Параметрическая функция имеет вид:
5(ц) = ^,а{«^</>}=Ф
б-ц) фГа~^
о
о
(12.41)
Применим для построения доверительного интервала изложенную методику.
Этап 1. Каждому элементу выборки X, поставим в соответствие нормированную величину Z, = (Х, -ц)/о (см. определение 8 главы 4). Согласно утверждению 2 той же главы, Z, имеет стандартное нормальное распределение (4.13). Квадрат этой величины Z2 имеет %2-распределение с одной степенью свободы ^теорема 12.2). Случайные величины Хь Х2,..., Хп, нормированные величины Zh Z2, .... Zn и их квадраты Z^, Z^Z„2 взаимно независимы, поэтому согласно теореме 12.1, сумма квадратов Z^ + Z22 + ... + Z„2 имеет х2-распределения с п степенями свободы. Пусть Ху (я)~ квантиль х2 -распределения с п степеням свободы, отвечающая вероятности у.
п /_ \21 х =(х,,х2, ...,х„ ): Jп /_ \21 х =(х,,х2, ...,х„ ): J^Х?(”)-^Х?(”)-Для каждого 9 = ц в качестве множества ¥ возьмем
п /_ \2
1 х =(х,,х2, ...,х„ ): J
п /_ \2
1 х =(х,,х2, ...,х„ ): J
^Х?(”)-
^Х?(”)-
Итак, если истинное значение параметра есть ц, то выборка X = (X,, Х2Хп) попадает в эту область с вероятностью у.
Этап 2. Для каждого значения х = (хь х2,..., хп) определяем множество
0x=Le0:0x=Le0:оо^Х?(”) ••^Х?(”) ••
0x=Le0:
0x=Le0:
о
о
^Х?(”) ••
^Х?(”) ••
Семейство (0Х, х е ¥} является семейством у-доверительных множеств для параметра ц.
Этап 3. Для фиксированной выборки х = (%], х2, „., хп) решаем следующую задачу нелинейной оптимизации:
Найти минимальное g' и максимальное g" значения функции (12.41) на множестве 0Х значений ц.
Интервал (g1, g") является искомым доверительным интервалом: с вероятностью у он накрывает вероятность того, что рассматриваемая случайная величина попадет в интервал (а, Ь).
В представленном ниже компьютерном практикуме № 19 приведена программа на Mathcad, предназначенная для решения этой задачи.
В качестве численных данных возьмем такие: а = 2, b = 5, о = 1.5, у =0.9, п = 10, X = (1.3, 2.1, 5.2, 3.4, 6.1, 4.0, 1.9, 5.1, 3.7, 3.0). Программа выдает следующие результаты: pmin = 4.76, цтм = 3.5, (g', g") = (0.531, 0.683). Итак, с вероятностью 0.9 интервал (0.531, 0.683) содержит истинную вероятность попадания случайной величины в интервал (2, 5).
Пример 12.7. Интервальное оценивание структурной надежности системы. Вернемся к рассмотрению структурной надежности систем (разделы 1.3 и 1.5). Пусть система состоит из т элементов. Предполагается, что в начальный момент времени все элементы исправны. Длительности безотказной работы элементов —
взаимно независимые случайные величины, имеющие экспоненциальное распределение (4.9) с параметром Х; для z-ro элемента. После отказа элемент не восстанавливается. Надежность системы описывается структурной функцией (см. раздел 1.3). Мы интересуемся надежностью системы в момент времени t > 0.
Вероятность безотказной работы (надежность) z-го элемента в момент времени t есть Pi = exp(-X,t), t > 0. Вероятность безотказной работы (надежность) системы в момент времени t вычисляется через структурную функцию и значения {р,} так, как это было описано в разделе 1.5. Обозначим надежность системы g(X,, Х2,..., Х„ ). Здесь использование в качестве аргументов Xt, Х2,..., Х„ подчеркивают зависимость надежности от значений этих параметров.
В действительности эти параметры неизвестны, однако для каждого z-го элемента известна выборка объема п4, содержащая данные о длительностях безотказной работы i-x элементов. Обозначим их суммарную длительность безотказной работы Х; (в действительности это есть достаточная статистика для параметра X, — см. раздел 11.5). Эти значения для всех элементов представим как вектор х = №, х2хт).
Наша задача заключается в том, чтобы построить доверительный интервал для надежности системы g(Xj, Х2Х„ ), отвечающий доверительной вероятности у. Решение этой задачи вполне аналогично предыдущей.
Неизвестным параметром здесь будет m-мерный вектор 0 = X = (Xt, Х2,..., Х„), каждая компонента которого принимает положительные значения. Выборочным пространством является zn-мерное положительное вещественное пространство: Т = (0,оо)”. Параметрическая функция есть g(Xj, Х2,..., Хт).
Этап 1. Каждому элементу выборки X, поставим в соответствие нормированную величину Zi = ХД,. Отметим, что из примера 7.3 следует, что X, имеет распределение Эрланга (4.18) с параметрами X = X,- и Z = п,. Согласно утверждению 3 главы 4, Zt имеет распределение Эрланга (4.18) с параметрами X = 1 и I = п,. Сумма этих величин имеет распределение Эрланга с параметрами X = 1 и I = пх + п2 + ... + пт (пример 7.3). Поскольку I обычно велико, то согласно Центральной предельной теореме (теорема 7.5), распределение Эрланга можно аппроксимировать нормальным распределением с тем же математическим ожиданием ц = / и дисперсией о2 = /. Если Ф"1 (у) есть квантиль стандартного нормального распределения, отвечающая вероятности у, то соответствующая квантиль для данного распределения будет 1*41 Ф'1 (у). Определим для каждого X = (ХР Х2,..., Хт) множество
^ = ]х = (xv х2хт); Vx, >0, ^х^ ^ / + V/Ф"1 (у) I.
Ii-1J
Этап 2. Для каждого значения х = (хь х2,..., хт) определяем множество
0Х =jx = (Xt, Х2 XJ: VXj >0, ^х,Х, S/ + V7®'1(y)I1=1J
Эти множества образуют семейство у-доверительных множеств для параметров X = (X,, Х2Хт).
Этап 3. Решаем задачи нелинейной оптимизации:
Найти минимальное g' и максимальное g " значения надежности системы g(Xv, Х2,..., Хт) на множестве 0Х параметров X,, Х2,..., Хт.
Оптимальные значения g' ng" дают доверительный интервал (g', g") для надежности системы g(Xj, Х2Хт), отвечающий доверительной вероятности у.
В компьютерном практикуме №19 рассмотрены следующие численные данные: число элементов т = 3; первые два элемента соединены параллельно, а третий — последовательно, так что надежность системы для момента времени t: Д(Х,,Х2,Х3) = exp(-X3t)(exp(-Xjt)+ exp(-X2t)-exp(-(X, + X2)t)); момент времени t = 3; имеющаяся выборка X = (Хо Х2, Х3) = (4.5, 58, 92); общее число испытанных элементов / = 20; коэффициент доверия у = 0.6.
Минимальное значение надежности достигается при Xlmin =0.977, X2mjn = 0.28Ц X3min = 0. Сама минимальная надежность g' = 0.452.
Максимальное значение надежности получается равным 1 при нулевых значениях параметров. Итак, доверительный интервал этой надежности (0.452, 1).
Компьютерный практикум № 19.
Построение доверительных интервалов в пакете Mathcad
Цель и задачи практикума
Целью практикума является приобретение необходимых навыков по реализации в пакете Mathcad методов построения доверительных интервалов, изложенных в настоящей главе.
Задачей практикума является вычисление доверительных интервалов, рассмотренных в примерах 12.5, 12.6 и 12.7.
Необходимый справочный материал
При построении доверительных интервалов в полной мере используются возможности, предоставляемые пакетом Mathcad для решения задач оптимизации. Основными здесь являются встроенные функции Minimize, Maximize и директива Given. Технология их использования была достаточно полно описана в предыдущем компьютерном практикуме.
Построение некоторых стандартных доверительных интервалов для параметров нормального распределения обеспечивает пакет STATISTICA, к которому и адресуется заинтересованный читатель.
Реализация и результаты выполнения заданий
На рис. 12.5-12.7 представлены результаты вычисления в Mathcad задач, рассмотренных в примерах 12.5, 12.6 и 12.7.
Первой решается задача построения кратчайшего доверительного интервала для дисперсии (рис. 12.5), рассмотренная в примере 12.5. Для сравнения проводятся также вычисления по формуле (12.32) для симметричного доверительного интервала, длина которого оказывается, естественно, больше кратчайшей длины. Оптимизация достигается за счет минимизации длины интервала (12.35).
Практикум 19. Методы интервальнего оценивания
Построение доверительных интервалов для дисперсии нормального распределения при следующих исходных данных:
доверитеяьиая вероятность:у :- Об
обьбм выборки:Л:- 10
значение «лирической диспрсии:DE:- 1080
Нахождение симметричногодоверительного интервале
Длина интервала:Длина интервала:( 882.198 CIVS-,
Длина интервала:
Длина интервала:
I2J007 х 10J
CIVSi - CIVS| - U25 х 103CIVSi - CIVS| - U25 х 103U. Кратчайший доверительный интервал для дисперсии
CIVSi - CIVS| - U25 х 103
CIVSi - CIVS| - U25 х 103
;: qchisq(l - у - a,n-1) qchisq(l - a,п- 1)
Начальное вначение параметра:a :- ——-
Given
a > 0a < 1 - у
aopt:- Mlnlmlze(G.a)
aopt - 0055aopt - 0055Оптимальное вначение а:Оптимальное вначение а:Доверительный интервал для дисперсииДоверительный интервал для дисперсии[ 650418 CIVC-,
aopt - 0055
aopt - 0055
Оптимальное вначение а:
Оптимальное вначение а:
Доверительный интервал для дисперсии
Доверительный интервал для дисперсии
Длина интервала:Длина интервала:OVC1- CIVC|- 931076OVC1- CIVC|- 93107611582 х НГ
Длина интервала:
Длина интервала:
OVC1- CIVC|- 931076
OVC1- CIVC|- 931076
Рис. 12.5. Построение доверительных интервалов для дисперсиинормального закона распределения
Второй является задача построения доверительного интервала для вероятности попадания нормально распределенной случайной величины в заданный интервал (см. пример 12.6), представленная на рис. 12.6. Вероятность попадания рассчитывается по формуле (12.41). Доверительные границы для этой вероятности получаются путем поиска минимума и максимума данной вероятности на соответствующем множестве параметров распределения.
Третья задача (пример 12.7) посвящена построению доверительного интервала для надежности системы. Результаты ее решения представлены на рис. 12.7. Система состоит из трех элементов, два первых из которых соединены параллельно, а третий — последовательно. Интенсивности отказов элементов обозначены XI, Х2, ХЗ — это параметры экспоненциального распределения времени работы элементов до отказа. Надежность системы в момент времени t = 3 есть
функция этих параметров /?(Х1, Х2, ХЗ). Границы доверительного интервала получаются в результате оптимизации этой функции по соответствующему множеству параметров XI, Х2, ХЗ.
Построение доверительного интервале для вероятности попедания в интервал (в, Ь) при следующих исходных данных:
а-2 Ь:-5 0.-15 у-09 X-(IJ 2.1 52 ЗА 6.1 4Л 10 5J 3.7 30 )Т
n:- rows(X)п - 10
g(p):- рпогт(Ь,р ,е) - рпогт(а,р ,а)
ц-35ц-35Начальное значение параметра: Given
ц-35
ц-35
6 qchisq(y ,п)6 qchisq(y ,п)
6 qchisq(y ,п)
6 qchisq(y ,п)
pmln- Minimize(д,д) pmln - 4.76pmln- Minimize(д,д) pmln - 4.76ртах:- Maxlmlze(g,p) ртах - 35ртах:- Maxlmlze(g,p) ртах - 35
pmln- Minimize(д,д) pmln - 4.76
pmln- Minimize(д,д) pmln - 4.76
ртах:- Maxlmlze(g,p) ртах - 35
ртах:- Maxlmlze(g,p) ртах - 35
Доверительный интераал для вероятности
g(pmln) > gOrmexJ
Рис. 12.6. Построение доверительного интервала для вероятности попаданиянормально распределенной случайной величиныв заданный интервал
Построение доверительного интервала для надежности систеиы при следующих исходных данных:
периед вреиениt:- 3число злеиентовm - 3
иивющаяся статистика X - (40 М 92 /
по общепу числу злеиентовГ-20козффицивнт доверияу-ОД
надежность систеиы
R(X1,Х2.ХЗ):- ехр(-ХЗ I) [ ехр(-Х1 • I) + ехр(-Х2 ■ t) - exp|-t (Х1 + Х2)))
Начвпьные значения параиетров М :- I Х2 - 1 КЗ:— I
Given М > ОХ2 > ОХЗ > О
Х1 Xg + Х2 - Х{ + ХЗ Хг^ I + \/1' qnorm(y ,0,1)
fXImlnAfXImlnAX2mln :-Mlnimlze(R,X1,X2,X3)X2mln :-Mlnimlze(R,X1,X2,X3)^X3min,^X3min,X1max'X2max :- Maxlmlze(R,X1 .X2.X3) ^ХЗтах,X1max'X2max :- Maxlmlze(R,X1 .X2.X3) ^ХЗтах,
fXImlnA
fXImlnA
X2mln :-Mlnimlze(R,X1,X2,X3)
X2mln :-Mlnimlze(R,X1,X2,X3)
^X3min,
^X3min,
X1max'
X2max :- Maxlmlze(R,X1 .X2.X3) ^ХЗтах,
X1max'
X2max :- Maxlmlze(R,X1 .X2.X3) ^ХЗтах,
O' 0O' 0
O' 0
O' 0
XlminA (ОУП' X2mln - 0289 X3min J \ 0 ,
Доверительный интервал для надежности
CIr f R(X1mln,X2mln,X3mln)
VR(X1max, X2mex, X3max)
Рио. 12.7. Построение доверительного интерваладля надежности системы
Задания для самостоятельной работы•
С помощью датчика случайных чисел пакетов STATISTICA или Mathcad сгенерируйте выборку объема п = 100, соответствующую экспоненциальному распределению с параметром Х= 2 (см. указание к первому заданию для самостоятельной работы главы 10). Проведите экспериментальный анализ влияния на длину доверительного интервала таких факторов, как:
О доверительная вероятность у (у =0.8,0.9,0.95);
О объем выборки п (п = 20, 50, 100, 200).
Выполните предыдущее задание для выборки из нормального распределения с параметрами ц = 2 и а = 1.5.
Составьте программу на Mathcad, реализующую приведенный в разделе 12.2 алгоритм построения доверительных интервалов. В качестве исходных дан
ных принять доверительную вероятность у, значение точечной оценки 0, оценку дисперсии 0(0) точечной оценки 0.
Реализуйте на Mathcad изложенные в разделе 12.4 процедуры построения доверительных интервалов для параметров нормального распределения.
Расход некоторых изделий описывается пуассоновским процессом с параметром X > 0, то есть за время t > 0 расход равен i с вероятностью
M_e-u,i = 0, 1,...г!
Параметр X неизвестен, однако имеется выборка Хь Х2Хп интервалов времени между поступлениями запросов на очередное изделие (имеющих экспоненциальное распределение с параметром X).
Первоначальный запас изделий составляет с. Для коэффициента доверия у постройте верхний доверительный интервал (P(t)', 1) для вероятности P(f) того, что запаса будет достаточно в течение времени t;
рц^^!^, ;>о.
>-о i 1
Составьте программу на Mathcad, реализующую необходимые вычисления.
Указание. Сначала следует найти нижний доверительный интервал (0,Х")для параметра X. Сумма S = Хх + Х2 +.. лХ„ является достаточной статистикой для X и имеет распределение Эрланга с параметрами / = п и X. Поэтому для коэффициента доверия у верхняя граница X" интервала (0, X") находится как решение относительно X уравнения
,т.
1=01 1
Теперь нижняя граница Р^)' находится как значение P(t), получающееся в результате использования X" вместо X.
Задачи
Задача 12.1. За багаж весом свыше 30 кг с пассажира международного автобуса взимается дополнительная плата. Случайным образом выбраны 225 пассажиров. Оказалось, что 25 из них доплачивали за багаж. Найдите доверительный интервал для вероятности того, что вес багажа пассажира превысит 30 кг, при коэффициенте доверия у = 0.95.
Задача 12.2. Фирма продает системы, которые в течение первых двух лет эксплуатации должны каждые полгода проходить техническое обслуживание в этой фирме. Вследствие различных причин очередное обслуживание может быть начато либо несколько раньше планового срока, либо позже. Было проверено 100 случайно выбранных систем. Из них на первое обслуживание системы поступали раньше срока в 22 случаях, ровно в срок — в 47 случаях, позже срока — в 31 случае. С надежностью 0.9 постройте следующие доверительные интервалы: □ нижний доверительный интервал для вероятности того, что изделие поступит раньше срока;
верхний доверительный интервал для вероятности того, что изделие поступит ровно в срок;
двусторонний доверительный интервал для вероятности того, что изделие поступит позже срока.
Задача 12.3. Продолжительность технического обслуживания самолетов между рейсами является случайной величиной. Администрация компании международных перевозок случайным образом выбрала 34 самолета, продолжительность обслуживания которых (в минутах) оказалась следующей: 100, 110, 160, 30, 35, 40, 45, 110, 160, 100, 40, 45, 40, 35, 50, 55, 85, 100, 45, 30, 60, 30, 35, 40, 50, 45, 40, 50, 80, 30, 35, 50, 55, 105.
Постройте нижний доверительный интервал для математического ожидания времени обслуживания при коэффициенте доверия 0.9.
Задача 12.4. Каков должен быть объем выборки п при оценивании математического ожидания времени заправки самолета топливом, если допустимая ошибка 5 равна 10 мин, доверительная вероятность у = 0.95, а пробная выборка дала значения 13, 27, 25, 18, 38 мин?
Задача 12.5. Для проверки надежности агрегатов их испытывают на стенде. Предварительное испытание 20 агрегатов, которые можно рассматривать как предварительную выборку, привело к отказу 2 агрегатов. Сколько агрегатов необходимо испытать, чтобы с вероятностью 0.99 ошибка в определении вероятности безотказной работы не превышала 0.01?
Задача 12.6. Измерение положения некоторого объекта, рассматриваемого как точка в трехмерном пространстве, происходит с ошибкой. Ошибки по каждому из трех измерений представляют собой взаимно независимые случайные величины, имеющие стандартное нормальное распределение (4.13). Найдите распределение квадрата абсолютной ошибки. Постройте график функции распределения.
Задача 12.7. По цели, находящейся в трехмерном пространстве, производится выстрел. Отклонения снаряда от центра цели по каждой из трех координат явля-
ются взаимно независимыми случайными величинами, имеющими стандартное нормальное распределение (4.13). Найдите вероятность попадания в цель, если радиус ее равен 1.2; 1.9; 4.
Задача 12.8. Продолжительность безотказной работы агрегата имеет х2 -распределение с 10 степенями свободы. Постройте график функции распределения времени безотказной работы агрегата. Какой ресурс следует назначить агрегату, чтобы в течение ресурса вероятность отказа не превышала 0.1?
Задача 12.9. Каким должен быть объем выборки при определении доли брака в большой партии товаров, если доверительная вероятность равна 0.9, а доля бракованных изделий в Выборке не должна отличаться от соответствующей доли в генеральной совокупности более чем на 0.01? Пробные выборки дали оценку доли брака, равную 0.01.
Задача 12.10. Для данных задачи 12.3 найдите доверительный интервал для дисперсии нормальной совокупности, соответствующий доверительной вероятности 0.8.
13 Проверка статистических гипотез
Основные понятия
Определение 1. Статистическими гипотезами называются различного рода предположения о распределениях случайных величин, которые необходимо проверить по данным выборочной совокупности. Обычно эти предположения касаются параметров или типа распределений рассматриваемых случайных величин.
Примером статистической гипотезы является утверждение о том, что математическое ожидание числа занятых мест на авиарейсах Москва—Сочи не менее 140. Действительно, это утверждение касается некоторого параметра распределения случайной величины — математического ожидания числа занятых мест, и его можно проверить, произведя выборочное обследование пассажирской загрузки нескольких рейсов. Статистической является также гипотеза о том, что отклонение от расписания моментов прилета самолетов, совершающих данный рейс, имеет нормальное распределение с заданными значениями математического ожидания и дисперсии. Регистрируя в течение нескольких суток моменты прилета, можно проверить, насколько хорошо согласуются собранные данные с указанным распределением.
С другой стороны, не будет статистической, например, гипотеза о возникновении Земли, так как здесь не идет речь ни о каком законе распределения и так как она не может быть проверена выборочным методом.
При формулировке задачи проверки статистических гипотез кроме гипотезы, называемой часто нулевой гипотезой, указывается также альтернативное (конкурирующее) предположение. Это последнее называется альтернативной гипотезой, или просто альтернативой. На основании выборочных данных следует отдать предпочтение или гипотезе, или альтернативе, то есть одну из них принять, а другую — отвергнуть.
Предположим, например, что некоторое мероприятие позволяет уменьшить вероятность отказа рассматриваемой системы. Осуществление этого мероприятия требует некоторых затрат и расчеты показывают, что оно экономически эффективно в том случае, если вероятность отказа станет не более 0.008. Так как нас интересует, в конечном счете, получение положительного экономического эффекта, то задача может быть сформулирована так: проверить гипотезу о том, что
вероятность отказа системы не более 0.008 при альтернативе, что эта вероятность больше 0.008. Следовательно, если организовать в течение некоторого времени экспериментальное внедрение этого мероприятия и по опытным данным обнаружить, что гипотеза подтверждается, то это будет означать, что предлагаемое мероприятие следует признать экономически эффективным и рекомендовать его к внедрению.
Если при формулировке задачи альтернатива явно не указана, то это значит, что она состоит из всех возможностей, исключающих нулевую гипотезу. Так, в первом из рассмотренных выше примеров альтернатива заключается в том, что математическое ожидание числа занятых мест не равно 140, а во втором — в том, что не выполняется хотя бы одно из перечисленных условий: нормальное распределение, заданные значения математического ожидания и дисперсии.
Иногда альтернатива состоит не из всех, а только из части возможностей, исключающих гипотезу. В этом случае при описании альтернативы все эти возможности перечисляются.
Формальные определения выглядят следующим образом.
Определение 2. Пусть Р = {Рв: 9 е 0} — семейство распределений, зависящее от параметра 9, принадлежащего параметрическому пространству 0 Предполагается, что значение 9 (может быть, векторное) однозначно определяет, верна ли гипотеза Н или альтернатива А. Иными словами, пространство 0 разбивается на два подмножества: для одного из них, которое обозначим 0Я, верна гипотеза, а для второго, которое обозначим 0Л, — альтернатива, так что 0Я + 0Л = 0. Гипотеза, или альтернатива, называется простой, если ей соответствует только одно значение параметра 9, то есть множество 0Я или 0л состоит только из одного элемента. В противном случае она называется сложной.
Основными элементами процедуры проверки гипотезы являются следующие: гипотеза и альтернатива, критерий проверки гипотезы, область принятия гипотезы и критическая область, ошибки первого и второго рода, уровень значимости, функция мощности критерия.
При проверке статистической гипотезы начинают с предположения о том, что нулевая гипотеза верна. Из этого предположения делают некоторые выводы и определяют, насколько они подтверждаются имеющимися в распоряжении выборочными данными. С этой целью устанавливают меру расхождения между этими данными и выводами. Обычно меру расхождения называют критерием проверки гипотезы.
Определение 3. Критерием проверки гипотезы называется некоторая функция выборки (Хь Х2,.., Хп\ характеризующая степень соответствия выборочных данных статистической гипотезе. Будем критерий обозначать R(XV Х2, .., Х„) или просто R. Область значений критерия разбивают на два подмножества: область принятия гипотезы [7?', 7?"] и критическую область. При попадании значения критерия R, подсчитанного по выборке, в область принятия, гипотеза принимается, в противном случае — отклоняется, то есть принимается альтернатива. Область принятия является замкнутым интервалом вещественной оси [Л', Л"], в то время как критическая область содержит все точки этой оси, не входящие в область принятия, то есть состоит из двух интервалов (-оо, R") и (7?', оо). В этом
случае говорят о двусторонней альтернативе. Если критическая область состоит только из одного интервала, то говорят об односторонней альтернативе: левосторонней или правосторонней.
Расположение критической области и области принятия гипотезы в случае двусторонней альтернативы изображено на рис. 13.1.
Как правило, в качестве критерия принимают величину отклонения некоторой эмпирической характеристики от ее теоретического аналога. Так как критерий (мера расхождения) подсчитывается по данным выборочной совокупности, которая случайна, то и сам критерий является случайной величиной. Следовательно, не исключена возможность, что извлечена «неудачная» выборочная совокупность, не дающая адекватной информации о генеральной совокупности. При этом может оказаться, что руководствуясь наблюденным значением критерия и данной критической областью, мы отвергаем гипотезу, в то время как она верна, или, наоборот, принимаем, когда она неверна.
Критическая область
Рис. 13.1. Область принятия гипотезы и критическая область
Определение 4. Ошибкой первого рода называется отклонение верной гипотезы. Ошибка второго рода заключается в принятии неверной гипотезы. При проверке гипотезы предварительно задается максимально допустимая вероятность ошибки первого рода. Последняя называется уровнем значимости и обозначается а (иногда а дается в процентах). Заданный уровень значимости а обеспечивается за счет выбора критической области и области принятия гипотезы:
P^Rt [/?',/?"]}< а, (13.1)
где индекс Н означает, что вероятность рассчитывается для гипотезы Н.
При этом если гипотеза является сложной, то расчет ведется для наименее благоприятного распределения (наименее благоприятной простой гипотезы). Последнее характеризуется тем, что если неравенство (13.1) выполняется для него, то оно выполняется и для всех других распределений, охватываемых сложной гипотезой.
Если вероятность ошибки первого рода равна 0.05, то физически это означает, что при многократном применении данного критерия относительное число случаев, когда гипотеза будет неправильно отвергнута, близко к 0.05. Наиболее употребительными уровнями значимости являются 0.1; 0.05; 0.01 и 0.001. Выбор того или иного уровня значимости определяется теми последствиями, к которым может привести неправильное отклонение гипотезы. Например, при проверке гипотезы о том, что некоторый самолетный агрегат не обладает достаточной
1адежностью, вероятность неправильного отклонения гипотезы должна быть >чень малой.
4з изложенного следует, что границы критической области необходимо подо- грать таким образом, чтобы обеспечить заданный уровень значимости а. Иными ловами, необходимо определить R и R" так, чтобы вероятность попадания слу- гайной величины (критерия) R в интервал [/?', Я"] при условии, что гипотеза 1ерна, была не меньше 1 - а:
Ри\R<R<R"> >1 -а. (13.2) Очевидно, для вычисления этой вероятности необходимо знать распределение 1еличины R. Если R имеет непрерывное распределение, то границы R и R" могут >ыть подобраны так, чтобы вероятность ошибки первого рода в точности равняюсь заданному уровню значимости а:
PH{R <R< Я"} = 1-а. (13.3) 1редположим теперь, что в результате однократной выборки подсчитанное зна- шние критерия попало в критическую область. Если гипотеза верна, то вероят- юсть этого события по определению не больше уровня значимости а. Так как а 1ыбрано достаточно малым, то это событие маловероятно. Следовательно, более ютественно отнести появление этого события за счет того, что гипотеза неверна, 1 отвергнуть гипотезу.
3 некоторых случаях уровень значимости предварительно не задается, а по 1меющейся выборке рассчитывается значение критерия. Затем определяется тот максимальный уровень значимости, при котором критерий еще попадает в об- 1асть принятия гипотезы. Этот максимальный уровень значимости, при котором ■ипотеза принимается, называется критическим уровнем значимости. Отметим, «то в пакете STATISTICA выдается именно критический уровень значимости, юд названием p-level. Если критический уровень ниже заданного уровня значимости а, то гипотеза отклоняется.
Конечно, как критерий (мера расхождения), так и критическая область могут >ыть выбраны многими способами. Предпочтение следует отдать тому способу, который при том же самом уровне значимости обеспечивает меньшую вероят- мость ошибки второго рода. При этом неверная нулевая гипотеза отвергается : наибольшей вероятностью.
Зпределение 5. Функцией мощности критерия р(0) называется вероятность отклонения гипотезы, вычисленная при условии, что истинное значение параметра ;сть 6:
р(0) = Рв{Я й [Я, Я"]}, 0е0, (13.4)
-де Ро{-- } означает, что вероятность рассчитывается для данного значения параметра 0.
Итак, областью определения функции мощности является параметрическое про- :транство 0, а областью значений — интервал (0, 1). Из условия (13.1) следует, мто для значений параметра 0 е 0Я, при которых верна гипотеза, функция мощности не должна превышать уровня значимости а:
(13.5)(13.5)Р(0) S а, 0 е 0Я.
(13.5)
(13.5)
Определение 6. Пусть Rv и R2 — два различных критерия для проверки одной И той же гипотезы, соответствующие уровню значимости а, [Д,, R" ] и [J?2, Я? | — их области принятия, а р, (6) = Рв^ £№, R" ]} и р2 (6) = РвЩ2 t [Д2 > ^2 В ~ их функции мощности. Критерий R^ называется равномерно более мощным по сравнению с критерием R2, если он отклоняет неверную гипотезу с не меньшей вероятностью, чем критерий R2.
(13.6)(13.6)р1(е)>р2(в),ее0л,
(13.6)
(13.6)
причем существует альтернатива (т. е. значение параметра 0 е 0Л ), при которой эта вероятность строго больше.
На рис. 13.2 представлены графики функций мощности двух критериев. Функция мощности Р, (0) соответствует равномерно более мощному критерию. Отметим, что для значений параметра 0, соответствующих гипотезе, для обоих критериев выполняется условие (13.5), обеспечивающее заданный уровень значимости а.
Рис. 13.2. Функции мощности критериевРис. 13.2. Функции мощности критериев
Рис. 13.2. Функции мощности критериев
Рис. 13.2. Функции мощности критериев
Обсудим теперь исключительно важный для практических применений вопрос: из двух взаимоисключающих предположений которое принять за гипотезу, а которое за альтернативу? Ответ состоит в следующем: за гипотезу следует принимать то предположение, неверное отклонение которого приводит к более опасным последствиям. Действительно, назначая уровень значимости а, мы тем самым можем контролировать частоту этих последствий.
Пусть, например, предлагается новое лекарство, которое может вызывать побочный отрицательный эффект. В качестве гипотезы можно взять как предположение о том, что «лекарство безвредно», так и предположение «лекарство дает недопустимый побочный эффект». Если в качестве гипотезы взять первое, то безвредное лекарство будет отклоняться с заданной частотой а. При этом никакого контроля за частотой поступления вредных лекарств не будет. Следовательно, в качестве гипотезы здесь следует взять предположение «лекарство дает недопустимый побочный эффект». Выбирая подходящий уровень значимости а, мы контролируем частоту этого события. Более легальный анализ такого рода производится на основе функции мощности критерия.
гак, для проверки статистической гипотезы необходимо выполнить следующие шы. '
Определить нулевую и альтернативную гипотезы.
Задать уровень значимости а (допустимую вероятность ошибки первого рода).
Выбрать критерий проверки (меру расхождения).
Определить критическую область.
По результатам эксперимента вычислить фактическое значение критерия.
Если наблюденное значение критерия принадлежит критической области, то отклонить гипотезу, иначе — принять.
1жно отметить, что попадание критерия в область допустимых значений не оз- чает строгого доказательства гипотезы. Оно лишь указывает, что между гипозой и результатами выборки нет значимого расхождения.
»имер 13.1. Для проведения зачета по некоторому курсу было подготовлено О вопросов. Если студент знает не менее шестидесяти вопросов, то считается, о он усвоил курс, и ему может быть поставлен зачет. Разумеется, опрашивать ждого студента по всем ста вопросам было бы слишком утомительно. Поэтому ждому студенту предлагается только пять вопросов. Студент получает зачет, ли ответит не менее чем на три вопроса.
данном случае генеральную совокупность образуют сто вопросов. Выборочной вокупностью являются пять вопросов, достающихся студенту. Гипотеза, котою должен проверить преподаватель в результате зачета, состоит, например, гом, что «студент курса не усвоил». Критерием для проверки служит число авильных ответов. Областью принятия гипотезы здесь является совокупность сел 0, 1 и 2, а критической областью 3, 4 и 5.
осмотрим теперь двух студентов: «хорошего» и «плохого». Хороший студент ает 70 вопросов из 100 и объективно должен получить зачет. Таким образом, в ином случае гипотеза «студент курса не усвоил» неверна. Однако вполне воз- >жно, что из пяти попавших вопросов число известных студенту вопросов бут меньше трех. В таком случае преподаватель не поставит зачет студенту, кото- ■й объективно его заслуживает, и произойдет ошибка второго рода.
эедположим далее, что плохой студент знает только тридцать вопросов, то есть о гипотеза справедлива. Разумеется, может статься, что из пяти полученных просов студент знает три или более. В этом случае будет отвергнута правиль- я гипотеза, и произойдет ошибка первого рода.
заключение проанализируем возможности уменьшения вероятностей ошибок рвого и второго рода. Если количество предлагаемых студенту вопросов, то ть объем выборки, равный пяти, фиксирован, то уменьшить возможность либки первого рода можно путем сужения критической области (например, ли ставить зачет за четыре и более правильных ответов). Однако возможность либки второго рода будет при этом возрастать. Аналогичным образом стремле- ie уменьшить вероятность ошибки второго рода приводит к росту вероятности иибки первого рода. Отсюда ясно, что одновременное уменьшение вероятно- ей ошибок первого и второго рода возможно только за счет увеличения объема ■борки, то есть числа предлагаемых вопросов.□
Приступим к рассмотрению некоторых типичных гипотез и правил их проверки. Вначале будут рассмотрены процедуры проверки гипотез относительно вероятности события, а также математического ожидания и дисперсии случайной величины. Далее рассматриваются гипотезы о распределении случайной величины и о сравнении двух выборочных совокупностей.
Проверка гипотез относительно вероятности
Рассмотрим вначале один из самых простых и важных в практическом отношении случаев: проверка гипотезы о том, что вероятность р некоторого события Л равна рй при односторонней альтернативе, что эта вероятность больше j»o. Гипотеза должна быть проверена на основании выборочных данных, согласно которым в результате проведения п независимых испытаний интересующее нас событие А произошло Sn раз. Ниже будет показано, что проверка этой гипотезы при указанной альтернативе равносильна проверке гипотезы о том, что р S р0 при альтернативе р > р0.
В этом случае параметрическим пространством 0 является единичный интервал [О, 1]: 0 = [0, 1]. Гипотезе отвечает подмножество 0Д = [р0] или 0Д = [0, ро], а альтернативе — 0Л = (р0, 1]. Напомним, что круглые скобки применяются, если соответствующая граница не включена в интервал (открытый с этой стороны интервал), а квадратные — если включена (замкнутый с этой стороны интервал). Пример 13.2. К сформулированной выше задаче приводит следующая ситуация. Имеется большая партия изделий. Эта партия считается годной (качественной), если доля бракованных изделий в ней не превышает р0. Иными словами, вероятность того, что наудачу выбранное изделие будет бракованным (событие Л), не должно превышать рй. В противном случае вся партия должна быть забракована. Для проверки гипотезы о качестве партии организуется выборочный контроль П изделий. Пусть из этих изделий S„ оказались бракованными (т. е. событие А произошло Sn раз). На основании этих данных следует принять или отклонить нулевую гипотезу Н: р < рй. Принятие этой гипотезы влечет за собой признание партии изделий качественной, и наоборот. О Итак, гипотеза и альтернатива установлены. Выберем теперь критерий проверки — меру расхождения. Так как эмпирическим аналогом вероятности является частота, которая, в свою очередь, при заданном объеме выборки п определяется числом Sn наступления события А, то в качестве критерия естественно взять наблюденное число наступления события А:
R = Sn.
С ростом вероятности р события А наблюденное число Sn наступления события А имеет тенденцию к увеличению. Поэтому большое значение критерия R говорит в пользу альтернативы и противоречит нулевой гипотезе. Следовательно, критическая область для проверки гипотезы р = р0 при односторонней альтернативе p>p» имеет вид (Д", оо). Поскольку число Sn не может превышать числа испытаний п, то в действительности критическая область есть (Д", и].
Если а есть выбранный уровень значимости, то Д*. согласно (13.1), должно быть подобрано так, чтобы
(13-7)(13-7)Рро {R" < R <«}<«,
(13-7)
(13-7)
? индекс р0 указывает, что вероятность подсчитывается для значения параметр, равного р0.
к как число Sn наступления события А может трактоваться как число успехов 7 испытаниях Бернулли с вероятностью рй успеха в одном испытании, то S„ дчиняется биномиальному распределению (3.3), и формула (13.7) принимает Д
^СУ^-РоГ' <а. г=Я-+1^СУ^-РоГ' <а. г=Я-+1(13.8)(13.8)
^СУ^-РоГ' <а. г=Я-+1
^СУ^-РоГ' <а. г=Я-+1
(13.8)
(13.8)
вращаясь к таблицам или компьютерным программам для вычисления бино- гального распределения, можно подобрать такое минимальное значение R", и котором это неравенство выполняется. Тогда искомой критической обла- ью будет замкнутый интервал [Р" + 1, и].
<имер 13.3. Пусть в условиях примера 13.2 п = 20, рй = 0.1, а = 0.05, S„ = 3. По таб- цам дополнительного биномиального распределения или соответствующим ком- ютерным программам находим, что R" + 1 равно 5. Следовательно, критической ластью является замкнутый интервал [5, 20]. Так как наблюденное значение кри- рия R, равное 3, не принадлежит этому интервалу, то гипотеза принимается. □
ри больших объемах выборки и, согласно теореме Муавра-Лапласа (см. след- гвие 7.1), для определения значения R" вместо биномиального распределения 3.8) может быть использовано его нормальное приближение. Так как число R ступлений события А имеет математическое ожидание прЙ и дисперсию 'о( 1 ~ Ро)> то в этом случае R" определяется из условия
а = Рро{R"<R<^} = Рра{R >/?"} = 1"Фа = Рро{R"<R<^} = Рра{R >/?"} = 1"ФR" - пр ОR" - пр О7^0(1-^ )J’7^0(1-^ )J’R"-np0л1пр0(Д-р0)R"-np0л1пр0(Д-р0)1 - а.1 - а.
а = Рро{R"<R<^} = Рра{R >/?"} = 1"Ф
а = Рро{R"<R<^} = Рра{R >/?"} = 1"Ф
R" - пр О
R" - пр О
7^0(1-^ )J’
7^0(1-^ )J’
R"-np0л1пр0(Д-р0)
R"-np0л1пр0(Д-р0)
1 - а.
1 - а.
тсюда, используя квантиль Ф'*(1-а) стандартного нормального распределе- !я, отвечающую вероятности 1 - а, получаем:
^”Р«О-Р«1
ледовательно, искомая критическая область есть (с учетом того, что R = Sn < и): (пр0 +ф-‘(1-«)7пРо(1-^о); 4(13-9)
эимер 13.4. В условиях примера 13.3 находим, что
Ф“'(1-а) = Ф’ (0.95) = 1.64.
оэтому критическая область будет
(20 0.1 + 1.64V20 0.1 0.9; и] = (4.2; и].
ак как значение критерия R не может быть дробным, то в рассматриваемом 1учае критические области, построенные по точной (см. пример 13.3) и прибли- енной формулам, совпадают.□
Итак, выше были установлены критические области для проверки гипотезы р = Ро при альтернативе р > рй. Рассмотрим теперь гипотезу р < р0 при той же альтернативе р > рй. Покажем, что критические области для проверки этих двух гипотез совпадают, иными словами, что при определенном результате наблюдения гипотезы р = pQ и р < рй одновременно или отвергаются или принимаются. Для того чтобы убедиться в правильности высказанного утверждения, заметим, что чем меньше значение истинной вероятности р, тем менее вероятно большое число 5„ наступления события Л, то есть большое значение критерия R. Поэтому если при данном числе Sn гипотеза р = Ро отвергается, то тем более следует отвергнуть гипотезу/? = р’ для всех/»', меньших р0. Итак, гипотезар =р0 соответствует наименее благоприятному распределению из определения 4.
Гипотезы р = рй и р > рй при односторонней альтернативе р < Ро отвергаются в тех случаях, когда число Sn слишком мало. Поэтому критическая область имеет вид [О, R"). Этот случай рассматривается аналогично предыдущему. R' должно быть наибольшим числом, удовлетворяющим неравенству
K-t
Е^Роа-РоГ* (13Л0)
При большом объеме выборки п используется нормальное распределение. При этом различие между открытыми и замкнутыми интервалами, а также между R ± 1 становится несущественным. Это дает вместо последней формулы уравнение
V^Po^-P^)’
откуда получаем R = прй + Ф"1 (а)^пр0^-р0).
Критическая область в этом случае будет
[0; пр0 + ф-Ча)^про^-Ро)\(13.11)
В заключение остановимся на проверке гипотезы р = рй при двусторонней альтернативе р * р0, ограничившись случаем больших выборок, когда можно применять нормальное распределение. Гипотеза здесь отвергается как при очень больших, так и при очень малых значениях Sn. Если Sn мало, то гипотеза отвергается, так как предпочтение отдается альтернативе р < pQ, содержащейся в альтернативе р * ро- Если Sn велико, то гипотеза также отвергается, так как предпочтение отдается альтернативе р > р0, входящей в альтернативу р * р0.
Естественно поэтому построить область принятия гипотезы, являющуюся симметричной относительно математического ожидания про"
[7?о,^] = [про -5. пр о +5],
где 8 > 0 — подлежащая определению из условия (13.3) величина.
Считая, что R имеет нормальное распределение (4.11) с параметрами р = прв и а = ^пр0(1- р0 ), находим:
1-а = Р^про -8S Rs пр0 + 8} =
«Ро *8-проVnPo(l-Po)«Ро *8-проVnPo(l-Po)-Ф-Ф«Ро -5-пр0V”Po(l-Po)«Ро -5-пр0V”Po(l-Po)■ 2Ф■ 2ФV»Po(i-Po5,V»Po(i-Po5,
«Ро *8-про
VnPo(l-Po)
«Ро *8-про
VnPo(l-Po)
-Ф
-Ф
«Ро -5-пр0
V”Po(l-Po)
«Ро -5-пр0
V”Po(l-Po)
■ 2Ф
■ 2Ф
V»Po(i-Po5,
V»Po(i-Po5,
как для р > О Ф(-р) = 1 - Ф(р). Поэтому
ФФ55= 1-а/2;= 1-а/2;
Ф
Ф
5
5
= 1-а/2;
= 1-а/2;
8 = Ф'1 (1 - а/2)7пр0(1-р0).
эдовательно, область принятия гипотезы р = рй при двусторонней альтернати- э * Ро будет
[ир0 -Ф’1 (1 -a/2)7np0(l-Ро): пРа + Ф'1 (1-a/^V^PoG “Ро И (13.12)
<мер 13.5. Вероятность безотказной работы прибора р в течение гарантийного >ка службы должна быть не менее 0.99. В процессе эксплуатации 1000 прибо- । обнаружилось, что 20 из них отказали в пределах этого срока. Используя уровень значимости, проверим гипотезу о том, что вероятность безотказной юты приборов в течение гарантийного срока отвечает установленному норма- >у.
1000 рассмотренных приборов безотказная работа имела место в 980 случаях, есть п = 1000, R = 980. На основании этих данных необходимо проверить гипо- у р 5 0.99 при альтернативе р < 0.99. Согласно формуле (13.11) область при- гия гипотезы есть
[«р0+ф~1(a)Vй/^^/V); 4
к как Ф*(0.10) = -1.28, то область принятия будет
[1000 ■ 0.99-1.28 V1000 ■ 0.99- 0.01; 1000] = [986; 1000].
блюденное значение критерия R, равное 980, не попадает в область принятия, этому гипотеза должна быть отвергнута.□
зультаты этого раздела сведем в табл. 13.1. В ней указаны области принятия 1личных гипотез относительно вероятности р при больших объемах выборки п я критерия R, равного числу наступления события Sn, и уровня значимости а.
блица 13.1. Области принятия гипотез относительно вероятности
ипотезаАльтернатива
Область принятия
S РоР^ Ро
[0; пр0 + Ф~*(1 - a)VnPo(l ~ Ро)1
Р«Р< Ри
[про + Фч(а)7пр0(1 - Ро)! ”]
= РоР*Ро
«Ро- ф"* ^ - у) VnPo(l " Ро)-' «Ро + Ф '^ " у) VnPo(! " Ро)
эедположим теперь, что по данным выборки область принятия гипотезы ', /?"] построена. Вычислим для нее функцию мощности (13.4), где в качестве
параметра 9 фигурирует вероятность события р. Точная и асимптотическая (при больших объемах выборки и) формулы имеют для 0 < р < 1 вид:
R-
Р(р) = 1-£с”р-(1-р)п-‘,
i=K
Р(р) = 1- ФР(р) = 1- ФR-np^пр{\-р)R-np^пр{\-р)-Ф-ФR - прR - прV^pG-p)ZV^pG-p)Z
Р(р) = 1- Ф
Р(р) = 1- Ф
R-np^пр{\-р)
R-np^пр{\-р)
-Ф
-Ф
R - пр
R - пр
V^pG-p)Z
V^pG-p)Z
Для односторонних альтернатив в этой формуле следует положить R = О ИЛИ R = п. Отметим, что приведенные формулы соответствуют условным функциям мощности, вычисленным при условии, что область принятия гипотезы [Д', Я") фиксирована. Для вычисления безусловных функций необходимо произвести усреднение по распределению интервала [Д', Д’].
Проверка гипотез о математическом ожидании
Ситуация, в которой возникает необходимость проверки гипотезы относительно математического ожидания, может быть проиллюстрирована следующим примером.
Пример 13.6. Эксплуатируемое на ряде заводов оборудование определенного типа должно ежемесячно проходить техническое обслуживание. При существующей технологии продолжительность технического обслуживания является случайной величиной, имеющей математическое ожидание 20 час. С целью сокращения простоя оборудования была предложена новая технология обслуживания. Для оценки ее эффективности по сравнению со старой технологией в опытном порядке на нескольких заводах было произведено обслуживание по новой технологии. Средняя длительность обслуживания на этих заводах оказалась равной 19.5 час, то есть уменьшилась на 0.5 час. Спрашивается, чем вызвано такое сокращение длительности обслуживания: большей эффективностью новой технологии или случайными факторами, сопровождающими процесс обслуживания? Поэтому возникает следующая задача: проверить гипотезу о том, что математическое ожидание ц (соответствующее новой технологии) равно ц 0 = 20 час при альтернативе ц < ц 0. Если гипотеза подтвердится, то нет оснований считать, что новая технология предпочтительней старой, и наоборот.□
Вначале рассмотрим случай, когда исходная генеральная совокупность является нормальной (4.11), о параметрах ц и а которой ничего не известно. Для проверки гипотезы в нашем распоряжении имеются результаты п наблюдений Xj, Xj Хп. Пусть, как обычно, ц* и а2’ обозначают эмпирические математическое ожидание и дисперсию этой выборки. В качестве критерия возьмем величину
=(13.13)
где р о — предполагаемое значение математического ожидания.
Такой выбор критерия обусловлен тем, что если истинное значение математического ожидания ц равно ц0, то критерий (13,13), согласно теореме 12.5, имеет
аспределение Стьюдента (12.20) с и - 1 степенью свободы. Это позволяет, юльзуя заданный уровень значимости а и условие (13.3), построить критиче- по область и область принятия гипотезы.
/смотрим методику проверки гипотезы р = ц 0 при альтернативе ц > ц 0. В слу- • справедливости гипотезы значение эмпирического математического ожидая ц*, а следовательно, и критерия R будет преимущественно меньшим, чем лучае, когда справедлива альтернатива. Поэтому критическая область должна еть вид (R", оо), а область принятия (-оо, 7?*]. Граничная точка К* определяет- из условия (13.3):
P{R<R”} = 1-а.
к как в случае справедливости гипотезы критерий R имеет t-распределение ьюдента с п - 1 степенью свободы, то отсюда следует, что
R"=tx.a(n-i\ ■
' fi-a(n~l) — квантиль t-распределения Стьюдента (12.20) с и - 1 степенью )боды, отвечающая вероятности 1 - а.
же гипотеза ц = ц 0 при альтернативе ц < ц 0 отвергается при малых значени- критерия R. Этот случай диаметрально противоположен предыдущему, и об- стью принятия здесь является интервал
[ta(n-l), оо) = Н,.а(я-1), оо).
шанец, в случае двусторонней альтернативы ц * ц 0 гипотеза ц = ц 0 отверга- /я как при очень больших, так и при очень малых значениях критерия R. Бум поэтому искать область принятия [7?', 7?"] в виде интервала [-5; 8], симмет- чного относительно начала координат. Величина 8 > 0 определяется из ловия (13.3):
1-a = Р{-8< R <8} = P{R <5}-P{R< -8} =2P{7?<8}-1,
котором было использовано свойство (12.21) t-распределения Стьюдента.
гсюда следует, что
Р{7? < 8} = 1-а/2, 8 = tl_a/2(n-l).
гметим, что этот же результат мог быть получен путем суммирования критиче- :их областей для проверки гипотезы ц * ц 0 ПРИ рассмотренных выше двух аль- рпативах ц >ц0 и ц <ц0. При этом, чтобы обеспечить заданный уровень зна- 1мости а, каждую из двух критических областей следовало взять для уровня 1ачимости а/2.
ак и в случае проверки гипотез о вероятности, ясно, что критерий для проверки потезы ц < ц 0 при альтернативе ц > ц 0 будет совпадать с критерием проверки пютезы ц =ц0 при той же альтернативе. Это же справедливо для гипотезы £ц0 при альтернативе ц <ц0. Иными словами, случай ц =ц0 соответствует шменее благоприятному распределению в определении 4. Полученные результа- ■I сведены в табл. 13.2. В ней указаны области принятия гипотез о математиче- сом ожидании ц нормально распределенной случайной величины при уровне шчимости а и критерии проверки 7? = Vn- 1(ц* -p0)/Vo2*.
Таблица 13.2. Области принятия гипотез о математическом ожидании ц нормально распределенной случайной величины
Гипотеза
Альтернатива
Область принятия
Ц -Цо
Ц >Ио
(-”; Wn-1)]
Ц ^Цо
Ц <Мо
[-^-«("-^ °0)
Ц = Цо
Ц *Ио
\-Ч-аР^ - 1); ^_а/2(И - 0]
Здесь tp(n - 1) — квантиль (-распределения Стьюдента с и - 1 степенью свободы, отвечающая вероятности р.
Пример 13.7. Продолжим рассмотрение примера 13.6. Предположим, что: 1) длительность обслуживания имеет нормальное распределение; 2) по результатам п = 5 наблюдений подсчитанное значение эмпирического среднего квадратического отклонения Vo2* составило 1 час; 3) выбранный уровень значимости а равняется 0.05.
Вычислим, во-первых, значение критерия (13.13):
1
Так как квантиль распределения Стьюдента при и - 1 = 4 степенях свободы ([-oosCn -1) равна 2.13, то область принятия гипотезы ц = 20 час при альтернативе ц < 20 час есть [-2.13, оо). Поскольку наблюденное значение критерия попадает в эту область, то гипотеза принимается. Это говорит о том, что имеющихся данных недостаточно, чтобы с большой степенью уверенности считать новую технологию обслуживания лучше старой.
Отметим, что если бы наблюденные значения ц* и ст2* были подсчитаны по 26 данным, то критерий равнялся бы -2.5, число степеней свободы составило бы и - 1 = 25, а область принятия была бы (-1.71, оо). В этом случае гипотеза ц = 20 час отвергается и мы отдаем предпочтение новому способу организации, рискуя ошибиться только в пяти случаях из ста (а = 0.05). □
Критерий (13.13) проверки гипотез относительно математического ожидания ц обладает замечательным свойством: при большом объеме выборки п он является устойчивым относительно вида распределения генеральной совокупности. Иными словами, этот критерий при больших п может применяться для проверки гипотез относительно математического ожидания ц любой генеральной совокупности, так как и в этом случае он имеет (-распределение Стьюдента. Поскольку (-распределение при большом числе степеней свободы I = п - 1 близко к нормальному распределению, то при больших п критерий (13.13) имеет стандартное нормальное распределение (4.13). Это подтверждается следующими соображениями. При больших п эмпирическое математическое ожидание ц * имеет приблизительно нормальное распределение (4.11) с математическим ожиданием ц и дисперсией с2/и, где цис2 — истинные значения математического ожидания и дисперсии. Так как эмпирическая диспепсия с2' является спстсотеякилО »„•».
>й дисперсии а2, то при больших п она близка к дисперсии а2. Поэтому с боль- ой степенью точности
аа
а
а
= 1 -^м 1 ^о= 1 -^м 1 ^о
= 1 -^м 1 ^о
= 1 -^м 1 ^о
ik что если истинное математическое ожидание есть р, то R имеет приблизи- льно стандартное нормальное распределение.
з изложенного следует, что в случае выборок большого объема для построения мастей принятия при проверке гипотез относительно математического ожида- 1Я произвольных распределений в табл. 13.2 можно квантиль tp заменить на "'(р). Соответствующие результаты приведены в табл. 13.3, в которой даны об- 1сти принятия при уровне значимости а и критерии R = Vn -1 - , 0 ■
V о2
аблица 13.3. Области принятия гипотез о математическом ожидании случае выборок большого объема
.'ипотеза .
Альтернатива
Область принятия
* ^Ро
Р >Ро
(-»; Ф"‘(1-а)]
* ^Ро
Р <Ро
[-ф-‘(1-а); оо)
‘ =Ро
И *Ро
-Ф 1; Ф 1
к 2)к 2 J
Предположим теперь, что по данным выборки область принятия гипотезы ?', 7?"] построена. Вычислим для нее функцию мощности (13.4), где в качестве араметра 0 фигурирует математическое ожидание р. В случае выборок большо- ) объема имеем:
Р(р) = 1-P^R<R< R"} = 1-PAR'<
«1- фГ/?" + ^-—£
-фГ^ + ^^о-Д)
1c/'in).
[ля односторонних альтернатив следует положить или R' = -оо или R" = оо. В за- лючение можно повторить все то, что было сказано по поводу безусловных условных функций мощности в конце предыдущего раздела.
Проверка гипотез о дисперсии юрмальной совокупности
1роверка гипотезы о дисперсии имеет важное практическое значение. Обычно )акт разладки некоторого механизма, станка, оружейного прицела и т. п. сказы-
вается в увеличении разброса значений определенного количественного показателя (размера изготовленной детали, отклонения от центра цели и т. п.). При этом среднее значение показателя может оставаться прежним. По замерам показателя и вычисленной на их основе эмпирической дисперсии следует решить, была или нет разладка.
В качестве критерия проверки гипотез о дисперсии о2 нормального распределения (4.11) служит величина.
(13.14)
Сто
где п — объем выборки, о2' — эмпирическая дисперсия, Од — предполагаемое значение истинной дисперсии ст2.
Из теоремы 12.4 следует, что если истинная дисперсия равна Од, то критерий (13.14) имеет х2 -распределение с и - 1 степенью свободы. Это обстоятельство совместно с условием (13.3) позволяет находить критические области и области принятия, соответствующие заданному уровню значимости а.
Рассмотрим гипотезу о2 > Од при альтернативе о2 < Од. Очевидно, наиболее трудно различить гипотезу и альтернативу, когда о2 = Од (наименее благоприятное распределение из определения 4). Поэтому критическая область и область принятия гипотезы должны быть построены для этого случая. Если значение а? фиксировано, то большим значениям истинной дисперсии будут обычно соответствовать большие значения эмпирической дисперсии о2* и, следовательно, критерия (13.14). Поэтому областью принятия гипотезы ст2 = о2 (или ст2 2 а2) при альтернативе ст2 < Од должен быть интервал [/?', оо). Критическая область представляет собой интервал [0, /?')• Значение К определяется из условия (13.1): P\R < R'^ = а. Так как при о2 = Од критерий R имеет х2-распределение с п - 1 степенью свободы, то
К=Ха(П"^
где Ха(и-О — квантиль х2-распределения (12.12) с п - 1 степенью свободы, отвечающая вероятности а.
Рассуждая аналогично, находим, что областью принятия гипотезы a2 5 о2 при альтернативе о2 > Од есть интервал [О, Л"]. Значение R" определяется из условия P(R > R"^ = а или
P(R<R3 = l-a, R^x^n-l).
В качестве области принятия гипотезы а2 = Од при двусторонней альтернативе ст2 *о2 целесообразно взять интервал [Ха/2(И“О> Х^-и/гС” ~ OL Во-первых, эта область соответствует здравому смыслу: как слишком большие, так и слишком малые значения критерия R не согласуются с гипотезой, чему отвечает попадание критерия в критическую область. Во-вторых, она обеспечивает заданный уровень значимости а:
ЛХа/2(«-1)^Л^хк/2(П-1)} =
- РЩ ^ xL/An - D) - P^R S Ха/2(« -1» ■ 1 -(а/2) -(а/2) - 1 - а.
зультаты этого раздела сведены в табл. 13.4, в которой даны области принятия потез о дисперсии нормального распределения ст2 при уровне значимости а критерии проверки R = (п - 1)ст^2ст2’.
блица 13.4. Области принятия гипотез о дисперсии нормального определения о2
ипотеза
Альтернатива
Область принятия
2 Sag
a2 <ag
[Xa(«-1)> 00)
2 Sag
^▻ag
[0, xL(”-i)]
2=ag
a2 *ag
[Xa/2(” " 1). X?-a/2(” * 0]
1есь Х;>(и-1)— квантиль х2 -распределения с и - 1 степенью свободы, отвечаю- ая вероятности р.
>имер 13.8. Из таблицы случайных чисел, имеющих нормальное распределе- ic, извлечено пять чисел: 0.596, 0.888, 1.360, 0.396, 1.400. При уровне значимо- и 0.2 проверим гипотезу о том, что дисперсия ст2 = 1 при альтернативе ст2 * 1.
чтение
□скольку число степеней свободы равно и—1=5—1 = 4, то
Ха/2 (4) = Ход (4) = 1.06; xL/2(4) = Хо.9(4) = 7.78.
□этому область принятия гипотезы будет [1.06, 7.78]. Вычисления показывают, о числовые характеристики выборки есть
ц* =0.928, ст2* =0.161.
□дочитанное значение критерия
R = (и -1) сто2 ст2* = (5 -1) • 1 • 0.161 = 0.644.
ледовательно, гипотеза отвергается.
3.5. Наиболее мощные критерии*
ыше при описании процедуры проверки гипотезы рассматривался только один ранее фиксированный критерий проверки R. Теперь мы поставим задачу выбора «иболее мощного критерия среди критериев, обеспечивающих заданный уро- :нь значимости а (см. определение 6). В такой постановке мы будем работать не пространством значений критерия (он ведь еще даже не определен), а с исход- 11 м выборочным пространством (см. определение 4 главы 12).
усть Н и А - простые гипотеза и альтернатива. Рассмотрим два критерия про- .‘рки R, и R2, соответствующие уровню значимости а. Пусть Т, и ^ — крити- ;ские области этих критериев в выборочном пространстве Ч< Иными словами, ли х = (хь х2*„) е Ч<, i = 1, 2, то R^Xt, х2хп) принадлежит критической масти критерия Ri.
еперь условие (13.1) может быть записано в следующем виде: если X — выбор- 1, то для обоих критериев
^{XeVJSa, ^{Xe^^Sa.(13.15)
Напомним, что критерий Rx называется более мощным, чем критерий Я2, если для него вероятность отклонения неверной гипотезы (т. е. когда верна альтернатива) больше, чем у критерия R2:
РЛ(Х eV.} > РЛ(Х еЧ^}.(13.16)
Ясно, что при одном и том же уровне значимости предпочтение следует отдавать более мощным критериям. Мы будем решать эту задачу в предположении, что имеем дело с непрерывными случайными величинами (дискретный случай будет оговорен в конце раздела). Обозначим/0(х) и/((х) плотности распределения выборки в точке х = (хь х2,..., хп) для случаев, когда верна, соответственно, гипотеза и альтернатива. Теперь условия (13.15) записываются в виде
J/o(^)^ = J/o(^)<^c = а.(13.17)
*1Тг
Наша задача состоит в том, чтобы найти такую критическую область ^, что \fQ(x)dx = а,(13.18)
J/] (x)dx -> max(13.19)
по всем критическим областям Ч*, с ^с условием (13.18).
Решение задачи дается приводимой ниже теоремой и заключается в следующем: Ч^ состоит из таких точек х = (хь х2,..., хп) выборочного пространства Т, для которых: /^х) > £/0(х), причем к подбирается из условия (13.18).
Следовательно, в терминах случайной выборки X оптимальный критерий R) можно записать так:
<1з-2о>
/о /
Критическая область для этого критерия есть (Р', оо) = (£, оо). Константа к находится из условия (13.18):
Рн^>^ = а.(13.il)
Если при гипотезе Н распределение критерия Rv известно, то константа к может быть вычислена, по крайней мере, численным методом.
Критерий (13.20) называется критерием отношения правдоподобия. Можно предложить следующую интерпретацию этого критерия: необходимо на а долларов купить товара с максимальной полезностью. Точка выборочного пространства х трактуется как определенный товар, /0(х) — его стоимость в долларах, /](х) — «полезность». Тогда товары для покупки отбираются так, чтобы максимизировать отношение /|(х)//0(х), равное полезности в расчете на единицу стоимости.
Нам осталось только обосновать изложенную методику.
Теорема 13.1. (Фундаментальная лемма Неймана—Пирсона). Пусть/о(х) и/|(х) ~ две плотности распределения, соответствующие гипотезе Н и альтернативе Л, и а — заданный уровень значимости. Если V, и Ч*2 — два подмножества области определения/((х) и /о(х), для которых выполняется условие ИЗ 1R1 и
/1(х)^/о(х) при xeY,,/1 (х) < kf^) при хеТ-^,
^Ax^dx > J/,(x)<Zr,(13.22)
*1*2
так что критическая область Ч7, соответствует более мощному критерию, чем Т2. Доказательство
Обозначим Ч^ = Tj П ^ общую часть Т, и Ч/2. Тогда
^fAx^dx = j/1(x)d!r + \fAx)dx > J/!(x)<£r+ р/о(*)<& =
*i*l2*! -Ч>12*12Ч-! -V12
= \fAx)dx + k- \fAx)dx- \fAx}dx ■ =
*121*1*12.
= J/1(^)^ + ^^ J7o(*)^- J/oCO^f = ^Ax^dx-tk- J/0(x)<£r^ >
*121*2*12J *12l*2-*12.
> J/,(x)<£r + j fACO^ = \fAxW
*12l*2-*12*2
Итак, неравенство (13.22) доказано.□
Теорема позволяет сформулировать следующее правило построения наиболее мощного критерия для непрерывной случайной величины.
Найти распределение критерия отношений правдоподобия (13.20).
Определить константу к из условия (13.21).
Построить критическую область (/?', а>) = (к, а>).
Для ДСВ с распределением вероятностей pXi и pOi следует выше заменить /на р.
Примеры
Пример 13.9. Гипотеза о параметре экспоненциального распределения. Рассмотрим простую гипотезу о параметре экспоненциального распределения (4.9) Н: X = Хо при простой альтернативе А: X = Хх > Хо. В данном случае плотность распределения выборки X для гипотезы (и = 0) и альтернативы (и = 1) в точке х = (хх, х2хА есть
А(х) = ПХ„х>0, и=0, 1.
Следовательно, критерий отношения правдоподобия (13.20)
^=П1=1^=П1=1Ххе"к'х*Хое'х°А''Ххе"к'х*Хое'х°А''е-щ -Xo)S„е-щ -Xo)S„
^=П1=1
^=П1=1
Ххе"к'х*
Хое'х°А''
Ххе"к'х*
Хое'х°А''
е-щ -Xo)S„
е-щ -Xo)S„
где S„ = Хх + Х2 + ... + Хп — сумма элементов выборки.
Критическая область для этого критерия есть (R1, оо) = (к, оо). Константа к находится из условия (13.21). Мы можем, однако, упростить себе задачу, если заме-
тим, что между R^ и 5„ существует детерминированная обратная зависимость: большим значениям Rx соответствуют меньшие значения 5„. Поэтому если перейти от критерия Rx к эквивалентному ему критерию Sm то критической областью будет (0, к'). Если гипотеза Н верна, то сумма S„ имеет распределение Эрланга (4.19) с параметрами Хо и I = п (см. пример 7.3) и поэтому условие (13.21) дает:
Рн^п<к)=а,(13.23)
то есть к' есть квантиль указанного распределения Эрланга, отвечающая вероятности а. Согласно формуле (4.19), она находится как решение относительйо X уравнения
1-ЙМУ^=а.(13.24)
Пример 13.10. Гипотеза о математическом ожидании ц нормального распределения (4.11) при известной дисперсии а2. Гипотеза и альтернатива имеют вид: Н: ц =ц0, А: ц = щ >ц0. Плотность распределения выборки X для гипотезы (и = 0) и альтернативы (и = 1) в точке х = (хь х2,..., хп) есть
Л(х) = П-=-е 21 ° ’ , Vx,u = 0,l.
i=i ^дка
Следовательно, критерий отношения правдоподобия (13.20)
о(х,-PoYl
^1 = ПехР1 ~ ~=
1=1\\/
= CexpJ^^ =Сехр(^Е^-5„|,
I о ,=1 J I о J
где С — положительная константа, S„ = Xt + Х2 + ... + Х„.
Как и в предыдущем примере, целесообразно перейти от Rv к эквивалентному ему критерию 5„. Поскольку щ > ц0, то увеличение R^ приводит к увеличению Sw и критическая область для критерия 5„ будет (А', а>). Если гипотеза верна, то сумма Sn имеет (см. теорему 6.4) нормальное распределение (4.11) с математическим ожиданием пц0 и дисперсией па2. Неизвестная величина к' находится из условия (13.21):
а = Рн^п ^k'} = l-PH{Sn ^k'Y
PH{Sn <&'} = l-a.
Следовательно, к' есть квантиль указанного нормального распределения, отвечающая вероятности 1-а. Отсюда находим, что к' = n\i0 + Ф"1(1-а)о7я, где Ф"‘(1- а) — квантиль стандартного нормального распределения, отвечающая вероятности 1-a.D
В рассмотренных примерах критическая область не зависела от конкретной альтернативы. Но для каждой конкретной простой альтернативы построенная критическая область определяла наиболее мощный критерий. Следовательно, он
остается таковым и для сложной альтернативы. Все это приводит к следующим зыводам.
Определение 7. Равномерно наиболее мощным называется критерий, который является более мощным для любой простой альтернативы, входящей в сложную альтернативу. Достаточным условием того, что критерий является равномерно более мощным, является независимость его критической области от конкретной альтернативы.
Непараметрические критерии для проверки гипотез о распределениях случайных величин
Любой критерий R, служащий для проверки некоторой гипотезы относительно распределения случайной величины X, является функцией от наблюдаемых значений этой величины. Поэтому вид распределения критерия R обычно зависит от распределения величины X. Так, распределение критериев (13.13) и (13.14), рассмотренных в разделе 13.4, было выведено в предположении нормальной генеральной совокупности. С другой стороны, имеются критерии, вид распределения которых не зависит от распределения генеральной совокупности X. Ранее это был критерий (13.13) при больших объемах выборки п. Такие критерии называются непараметрическими. В настоящем разделе будут рассмотрены наиболее важные из таких критериев.
В первую очередь остановимся на критериях проверки гипотез о распределениях случайных величин, называемых также критериями согласия. К необходимости проверки таких гипотез приводит следующая ситуация. Имеются выборочные данные случайной величины X, функция распределения которой неизвестна. Однако некоторые соображения дают основание полагать, что величина X имеет определенный вид распределения (например, нормальный). Так, о распределении можно судить по внешнему виду гистограммы или полигона частот, на основании физических предпосылок и т. п. Поэтому следует проверить гипотезу о том, что случайная величина X имеет данное распределение. При этом обычно параметры распределения оказываются также неизвестными, и их следует оценить по данным выборки в первую очередь. Обозначим г число параметров распределения, оцениваемых по выборке. Если г = 0, то это означает, что все параметры распределения известны.
Оказывается, что два рассмотренных случая (г = 0 и г > 0) имеют принципиальное различие. Если распределение, описываемой гипотезой, определено полностью (г= 0), то в этом случае будем говорить о проверке гипотезы относительно (конкретного') распределения случайной величины. Если же гипотеза определяет распределение лишь с точностью до параметров (г > 0), то будем говорить о проверке гипотезы относительно вида распределения. В первом случае применяется критерий Колмогорова, во втором случае — х2 -критерий Пирсона.
Начнем с рассмотрения первого случая, а именно, с проверки гипотезы о том, что имеющаяся выборка взята с генеральной совокупности непрерывных случайных величин с данной непрерывной функцией распределения F0(x). Все остальные распределения составляют альтернативу. Итак, в данном случае гипотеза Н'. Г(г\ ■ FJxY я альтрпнатива A'. F(x) * Fn(x).
Критерий проверки данной гипотезы основан на сравнении теоретической Дж) и эмпирической F"(г) функций распределения. Определяется наибольшая ЛО абсолютной величине разница между этими функциями (рис. 13.3): ,
Dn = sup |F(x)-F*(x)|.Dn = sup |F(x)-F*(x)|.(13.25)(13.25)Рис. 13.3. Теоретическая F(x) и эмпирическая F*(x) функции распределенияРис. 13.3. Теоретическая F(x) и эмпирическая F*(x) функции распределения
Dn = sup |F(x)-F*(x)|.
Dn = sup |F(x)-F*(x)|.
(13.25)
(13.25)
Рис. 13.3. Теоретическая F(x) и эмпирическая F*(x) функции распределения
Рис. 13.3. Теоретическая F(x) и эмпирическая F*(x) функции распределения
Символ sup означает «супремум», то есть точную верхнюю границу. Она имеет смысл максимума и используется потому, что всегда существует, в то время как максимум может и не существовать. Супремум ищется по всевозможным значениям аргумента х, то есть для -оо < х < оо. Индекс и в обозначении величины D, подчеркивает, что ее значение подсчитывается по выборке объема п. Оказывается, что распределение Dn не зависит от распределения F(x) для любого объема выборки п, то есть основанный на нем критерий будет непараметрическим. Соответствующее асимптотическое распределение (при и > сю) устанавливается следующей теоремой (см. [2]).
Теорема 13.2. (А. Н. Колмогоров). Если F(x) является непрерывной функцией, то для любого значения х существует предел
lim P{JnDn <х}=К(х).
Функцию К(Х) можно выписать в явном виде:
ВД=£(-1№Л2.(13.26)
Эта формула определяет функцию распределения Колмогорова. Интересно отметить, что данное распределение параметров не имеет. Значения функции распределения К(ж), а также квантилей К"'(р) можно получить, используя статистические таблицы или компьютерные пакеты программ.
ледовательно, в качестве критерия целесообразно взять величину R = -JnDn. элыпие значения критерия говорят в пользу альтернативы, поэтому область занятия гипотезы F(x) = F^x) о распределении непрерывной случайной величи- >i имеет вид [0, 7?'] = [О, К"*(1 - а)]. Здесь К*(1 - а) — квантиль распределе- ля Колмогорова (13.26), отвечающая вероятности 1 - а.
рименение критерия Колмогорова для проверки гипотезы о распределении не- эерывной случайной величины будет проиллюстрировано в компьютерном эактикуме.
ерейдем теперь к рассмотрению второго случая, когда г > 0, то есть когда неиз- :стны г параметров распределения и проверяется гипотеза о виде распределе- гя. При этом попутно решается задача оценивания г неизвестных параметров, данном случае наиболее часто используется критерий х2 -критерий Пирсона. роцедура его применения состоит в следующем.
ся область возможных значений случайной величины X разбивается на конеч- эе число т непересекающихся множеств Др Д2Дт. В случае несгруппиро- шных данных дискретной случайной величины X этими множествами будут 1но или несколько возможных значений X, а в случае непрерывной случайной .-личины или сгруппированных данных — интервалы. Обозначим а, число аблюденных в выборке значений X, принадлежащих г-му множеству Д,-:
= #{Х еД,}. Пусть, далее, р, есть вероятность того, что случайная величина, меющая определяемое гипотезой распределение, примет значение из множест- 1 Д,: Pj = РН{Х е Д, }. Тогда пр, есть математическое ожидание числа наблюде- ий выборки Хь Х2, .... Хп, попавших во множество Д( при условии, что гипотеза ;рна и объем выборки равен п = at + а2 + ...+ ат. Сопоставление чисел а, и пр, ает основание отвергнуть или принять гипотезу. Если расхождение между на- люденными значениями {а,} и их гипотетическими аналогами ^пр^ велико, то >актические данные противоречат гипотезе, а если мало — то подтверждают ее. .нглийский статистик Карл Пирсон в качестве меры расхождения предложил зять следующую величину, которую обычно обозначают х2 и называют х2-кры- херием Пирсона:
к = ^ =£<2l2W(13.27)
м «Pi
аметим, что если не все параметры распределения случайной величины X из- естны (в этом случае будем записывать функцию распределения как Fe(x)), то сть если г * 0, то и истинные значения вероятностей ^ неизвестны. Однако ценив параметры 6 по выборочным данным, можно оценить и вероятности {р,}. [ля этого достаточно подставить в функцию распределения оценки параметров , получить таким образом оценку функции распределения F.(x) и оценить
(13.28)(13.28)скомые вероятности р,. Например, если множества {Д,} являются интервалами : левый и правый концы г-ro интервала ^i есть 11Ч и t,, то вероятность р, оцени- ается по формуле
(13.28)
(13.28)
Pi ~ ^^i) ^(^-i ^
Тогда формула (13.27) для подсчета критерия принимает вид
я = х’<13.29) м пр,
Р. Фишером была доказана следующая важная теорема (см. [2, 7, 9]).
Теорема 13.3. Если проверяемая гипотеза о виде распределения верна, то при большом объеме выборки п критерий (13.29) имеет приблизительно х2 •распределение с т - г - 1 степенью свободы, где т — число множеств {А,}, г — ЧИСЛО оцениваемых параметров распределения.
Чем ближе к нулю величина критерия R = х2, тем правдоподобнее кажется гипотеза. Наоборот, большие значения критерия указывают на расхождение между гипотезой и наблюденными статистическими данными. Поэтому в качестве критической области следует взять интервал (R", оо). Как обычно, значение 7?" выбирается так, чтобы вероятность попадания критерия R в критическую область (R", оо), когда гипотеза верна, равнялась заданному уровню значимости а. Иными словами, если гипотеза верна, то R" должно быть таким, чтобы вероятность наблюденному значению R не превысить R" равнялась (1 - а). Так как в случае справедливости гипотезы критерий R имеет х2 -распределение с т - г - 1 степенью свободы, то в качестве R" следует взять квантиль этого распределения, отвечающую вероятности (1 - a): R" = x2-a(m~r“О-
Вышеизложенное позволяет сформулировать следующее правило проверки гипотезы о виде распределения. Во-первых, если это необходимо, оцениваются неизвестные параметры распределения. Число оцениваемых параметров обозначалось г. Затем по данным выборки подсчитывается значение критерия (13.27) или (13.29). Областью принятия гипотезы для уровня значимости а является интер* вал
[О, xL(m-r-l)], (13.30)
где X i-a (m - г -1) — квантиль х2 -распределения с т - г - 1 степенью свободы, отвечающая вероятности (1 - а).
В теореме указывалось, что критерий (13.29) имеет х2 -распределение только при больших объемах выборки п. Поэтому в каждом из множеств А,, должно насчитываться не менее 5-10 наблюдений. В противном случае соседние множества следует объединить.
Пример 13.11. Проверка гипотезы о законе распределения дискретной случайной величины при несгруппированных данных. Используя уровень значимости 0.1, проверим гипотезу о том, что следующие данные являются выборкой объема 100 из генеральной совокупности, имеющей распределение Пуассона: 1, 0, 3, 1,0, 2, 3, 4, 2, 1, 5,4, 2, 1, 0, 2, 2, 1, 3, 3,1, 3, 2,1, 3, 2,1, 2, 0,0, 0, 2, 3, 2, 2, 2,3,4, 2, 2, 2,0, 1, 2, 2,1, 2, 1,0, 2, 6,2, 3, 0, 2, 0, 4, 3, 2, 2, 1,1,1, 2, 3, 2, 2,1, 0,3, 2,1,0, 0,1, 1,1,1,2,2,4, 3, 5, 0, 4, 1, 1, 2, 2, 3, 2, 1, 0, 3, 3, 2, 2, 0, 1, 2.
В табл. 13.5 в первых двух столбцах приведены наблюденные значения i ■ 0, 1,... и число наблюдений а,. В данном случае имеется один неизвестный параметр распределения (г* 1) - параметр X. Согласно результату примера 11.7, хорошей
•цепкой Xявляется эмпирическое математическое ожидание ц’. Для рассматри- •аемой выборки оно равно 1.82. Следовательно, X = ц' =1.82.
Зайдем оценки вероятностей по формуле
~ X1.82* -182 • Л Ч
р, = — е =е , г=0,1,... ’ il il
)ти вероятности записаны в третьем столбце табл. 13.5. На рис. 13.4 представле- 1ы полигоны частот р* = 0.01а, и оценок вероятностей р,.
четвертом столбце этой таблицы приведены значения оценки функции распре- [еления
F(i) = HPj.
isi
:оторая в точке г равна сумме р; по всем j, не превосходящим г. Эти значения югут быть использованы для сопоставления оцененной (/)и эмпирической (F*) зункций распределения.
столбце 5 приведены оценки rip, математического ожидания числа данных, поевших в z-й интервал. Взвешенные квадраты уклонений записаны в столбце 6. 'ак, для первого значения i = 0 имеем:
(а, -прхУ _ (15 —16.2)2(а, -прхУ _ (15 —16.2)2пр.пр.16.216.2= 0.089= 0.089
(а, -прхУ _ (15 —16.2)2
(а, -прхУ _ (15 —16.2)2
пр.
пр.
16.2
16.2
= 0.089
= 0.089
аблица 13.5. Проверка гипотезы о распределении декретной случайной величины
Значение переменной, i
Число наблюдений, о,
Оценка вероятности,
Pi
Оценка функции распределения, ^0)
Оценка математ. ожидания, "Pt
(и, - пр, У «Pi
1
2
3
4
5
6
0
15
0.162
0.162
16.2
0.089
1
25
0.295
0.457
29.5
0.686
2
35
0.268
0.725
26.8
2.509
3
16
0.163
0.888
16.3
0.006
4
6
0074
0.962
7.4
0.265
5
2
0.027
0.989
2.7
0.181
5
1
0.008
0.997
0.8
0.050
7
0
0.002
0.999
0.2
0.200
Сумма
100
0.999
-
99.9
3.986
Сумма взвешенных квадратов уклонений дает значение критерия х2 • В рассматриваемом случае х2 = 3.986. Так как по данным выборки был оценен один параметр (г = 1) и имеется восемь множеств (/и = 8), то число степеней свободы равно
m-r-l=8-l-l=6.
Находим квантиль х2 -распределения с шестью степенями свободы, отвечающую вероятности 0.9. Она равна 10.6. Поэтому область принятия гипотезы есть интервал [0, 10.6]. Так как значение критерия принадлежит этому интервалу, то гипотеза о распределении Пуассона принимается.
Отметим, что мы не производили объединение интервалов, так как и без этого гипотеза принимается.
13.7. Непараметрические критерии сравнения двух совокупностей
Предположим, что имеются две генеральные совокупности, соответствующие непрерывным случайным величинам X и У. Обозначим их функции распределения F(x) = Р\Х < х} и G( у') = Р{У < уУ Необходимо проверить гипотезу о том, ЧТО X и У имеют одно и то же распределение, то есть гипотезу Н: F(x) = G(x) V х. В качестве альтернатив рассматриваются двусторонняя альтернатива A'. F * G или односторонние альтернативы Л: F(x) < G(x) или A: F(x) > G(x), где неравенство F(x) < G(x), например, означает, что F(x) i G(x) V х, и найдется по крайней мере одно значение х, при котором имеет место строгое неравенство: F(,x) < G^X). Проверка производится по двум независимым выборкам разного объема их этих
ювокупностей: выборке Хь Х2, ..., Хт объема т из первой генеральной совокуп- тости и выборке Yb Y2, ..., Yn объема п — из второй.
Зудут рассмотрены несколько непараметрических критериев-. Вилкоксона, Ман- ia—Уитни и знаков. Выбор именно этих критериев обусловлен тем, что все они реализованы в используемом нами компьютерном пакете STATISTICA, в моду- ie «Nonparametric Statistics». Эти критерии примеряются для проверки и других родственных статистических гипотез.
Рассмотрим вначале критерий Вилкоксона. Этот критерий является ранговым. сритерием. Поясним, что это такое. Элементы имеющейся выборки ранжируют- :я, то есть располагаются в порядке неубывания. Рангом элемента выборки назы- рается ее порядковый номер в полученной ранжированной последовательности. Если встречаются одинаковые элементы, то каждому из них приписывается :редний ранг. Например, если одинаковые элементы стоят на седьмом и восьмом местах, то им обоим приписывается ранг 7.5. Отметим, что в нашей ситуации рдинаковых элементов быть не должно, поскольку рассматриваются непрерыв- 1ые случайные величины. Здесь одинаковые значения могут появиться только ia счет округления. Критерии, основанные на рангах элементов (а не самих зна- <ениях элементов) и называются ранговыми.
Итак, имеются две выборки Xv Х2,..., Хт и Уь Y2,..., Yn. Объединим их в одну по- :ледовательность из т + п элементов и ранжируем ее. Подсчитаем сумму рангов >лементов первой выборки Хь Х2, ..., Хт в объединенной последовательности и >бозначим ее IV. Это и есть критерий Вилкоксона. Очевидно, сумма рангов всех >лементов двух выборок равна 1+2 + ... + п+ т = (п + т)(п + т + 1)/2. Исполь- >уя технику применения индикаторных случайных величин раздела 5.3, легко юказать, что если гипотеза Н: F(x) = G^ V х верна, то для критерия IT матема- •ическое ожидание £( W) = т(п + т + 1)/2, а дисперсия Z>( W) = пт(п + т+ 1)/12. <роме того, с ростом тип распределение IT стремится к нормальному (4.11) : указанными параметрами. Следовательно, критерий
^ _ W - т^п + т + 1)/2^jnm(n+ т + 1)/12
юимптотически имеет стандартное нормальное распределение (4.13) и поэтому логут быть применены процедуры проверки гипотез о математическом ожида- ши для ц0 = £(W) = mQi + т + 1)/2, приведенные в табл. 13.3. В частности, при 1вусторонней альтернативе F * G область принятия гипотезы выписана в победней строке табл. 13.3.
Рассматриваемую гипотезу об одинаковом распределении двух генеральных со- юкупностей можно проверять также с помощью критерия Манна-Уитни. Этот сритерий тесно связан с критерием Вилкоксона и определяется следующим об- )азом. Рассмотрим всевозможные пары (Х„ Yj), i = 1, 2,..., т, j = 1, 2,..., п, где X; — -й элемент первой выборки, a Yj -j-й элемент второй выборки. Подсчитаем чис- ю пар, для которых X, < Yj, и обозначим его U. Это и есть критерий Mania-Уитни.
Между обоими критериями существует следующее детерминированное соотно- иение:
IT + U = тп + т/т +1)/2.
Это говорит о том, что оба критерия эквиваленты. В частности, математическое ожидание критерия Манна—Уитни находится как E(U) = тп + т(т + 1)/2 - £(W) * = пт/2. В силу линейной зависимости W и U их дисперсии совпадают, так что D^U') = D(W) = пт(п + т + 1)/12. Как и раньше, с ростом тип распределение критерия U стремится нормальному. В связи с этим все остальное совпадает С процедурой использования критерия Вилкоксона за исключением того, ЧТО E^W') = т(п + т + 1 )/2 следует заменить на E(U) = пт/2.
В заключении остановимся на критерии знаков. Он применяется в случае, КОГДа обе выборки имеют одинаковый объем (п = т) и происходит попарное сравнение элементов выборок: (Хь У^, (Х2, У2), -, (Хп, У„). Фактически здесь имеет место выборка для двумерной случайной величины (X, У). Пары (Х„ У^, 1=1,2п являются взаимно независимыми, но компоненты внутри одной пары могут зависеть друг от друга. Такая ситуация возникает, например, при анализе эффективности некоторого мероприятия. Для группы объектов измеряется некоторый показатель до и после внедрения данного мероприятия. Результаты измерений для различных объектов можно считать независимыми, но для одного объекта измерения будут, очевидно, зависимыми случайными величинами.
Итак, проверяемая гипотеза состоит в том, что компоненты X, и У; распределены одинаково, точнее, что
Р{Х<У}=Р{Х>У}=1.
Рассмотрим для каждого i разницу Zt = X, - Yt и в общем случае Z = X - У. Тогда рассматриваемая гипотеза эквивалента гипотезе
. P{Z<0}=P{Z>0}=|
Следовательно, с равной вероятностью 1 /2 знак любого элемента последовательности Zb Z2Z„ может быть и положительным и отрицательным. Критерием R здесь является число положительных знаков. Этим и объясняется название данного критерия. Очевидно, если гипотеза верна, то R имеет биномиальное распределение (3.3) с параметрами п и р = 1/2. Следовательно, можно применять процедуры проверки гипотезы о вероятности события р0 = 1/2, изложенные ■ разделе 13.2.' ■
Вышеприведенные гипотезы можно проверять, используя модуль <Nonparametric Statistics» пакета STATISTICA.
Компьютерный практикум № 20.
Непараметрическая проверка гипотез в пакете STATISTICA
Цель и задачи практикума
Целью практикума является приобретение навыков по проверке статистических гипотез в пакете STATISTICA.
гдачами данного практикума являются: проверка гипотез о нормальном распре- :лении случайных величин с использованием критерия Колмогорова—Смирно- i и о виде распределения случайных величин (для нормального, логнормально^ । и гамма-распределений) с использованием критерия Пирсона (%2-критерий).
эобходимый справочный материал
ля проверки гипотезы о нормальном распределении случайных величин в па- .•те STATISTICA используется модуль Descriptive Statistics (Описательные ста- истики). При этом используется критерий согласия Колмогорова—Смирнова, угорый предполагает, что известны параметры нормального закона распределе- ия случайной величины. В пакете STATISTICA эти параметры, однако, оцени- 1ются. Процедура проверки выполняется следующим образом: сначала по дан- ым выборки оцениваются среднее значение ц и дисперсия а2 и далее для элученных параметров проверяется гипотеза о том, что наблюдаемые величины определены нормально. Естественно, что для небольших выборок найденные денки параметров могут существенно отличаться от истинных, что может приюти к не вполне корректным результатам проверки гипотезы.
роверка гипотез о виде распределения случайных величин для различных ikohob распределения выполняется в модуле Nonparametric Statistics (Непара- етрическая статистика?), для чего используется процедура Distributing Fitting (Подгонка распределения). На выбор предлагаются следующие
UMCRC ALUE8UMCRC ALUE8непрерывные распределения: нормальное (Normal'), равно-
UMCRC ALUE8
UMCRC ALUE8
внемли мерное (Rectangular'), экспоненциальное (Exponential), гамма ^° (Gamma'), логнормальное (Log-normal'), %2 (Chi-square). Име- 175; ется возможность выбора и других законов (опция Others). ^ Список рассматриваемых дискретных распределений вклю- 100. чает: биномиальное (Binomial), пуассоновское (Poisson), гео- ^ метрическое (Geometric) и Бернулли (Bernoulli).
“з, Читателю может быть полезна и вторая процедура Nonparametric Stats, входящая в состав модуля Nonparametric Statistics. 145 В частности, ею можно воспользоваться при решении ряда за^ дач, приведенных в конце настоящей главы. Эта процедура ■'64 позволяет выполнять сравнение двух совокупностей с исполь-
^ зованием различных непараметрических критериев: Манна— I зэ! Уитни, Вилкоксона, критерия знаков, двухвыборочного кри- |Ч* терия Колмогорова—Смирнова и др.
12$ Реализация и результаты выполнения задания
ио. Задача практикума заключается в проверке гипотезы о зако- 174i не распределения случайной величины, определяющей коли- |^чество миллиметров снега, выпадающего в течение зимнего
las; периода в аэропортах СНГ и Балтии.
Введем в таблицу исходных данных выборку из 30-ти наблю
•ио.13.5. Исходнаявыборканаблюдений•ио.13.5. Исходнаявыборканаблюденийдений, как это показано на рис. 13.5. Технология ввода исход-
•ио.13.5. Исходнаявыборканаблюдений
•ио.13.5. Исходнаявыборканаблюдений
ных данных была рассмотрена нами в компьютерном практикуме №16.
Задача проверки гипотезы о нормальном распределении
Сначала проверим гипотезу о нормальном законе распределения случайной Bd- личины. Для этих целей используется критерий Колмогорова—Смирнова. Работа производится в модуле Basic Statistics /Tables, вызываемом в окне переключателя модулей STATISTICA Module Switcher.
Проверка гипотезы о нормальном законе распределения случайной величины включает следующие действия:
выполним команду прикладного меню Analysis—Frequency tables;
в открывшемся окне Frequency Tables (рис. 13.6) нажмем на кнопку Variables, в результате откроется окно Select the variables for analysis (рис. 13.7);
Рис. 13.6. Окно процедуры Frequency TablesРис. 13.6. Окно процедуры Frequency Tables
Рис. 13.6. Окно процедуры Frequency Tables
Рис. 13.6. Окно процедуры Frequency Tables
I B-VAR8 | 9-VAR9 * 10VAR10I B-VAR8 | 9-VAR9 * 10VAR10
I B-VAR8 | 9-VAR9 * 10VAR10
I B-VAR8 | 9-VAR9 * 10VAR10
1 SNOW ММ
| 2-VAR2 g3VAR3 J4VAR4 5-VAR5 6-VARG ^7-VAR7
$*с|*емЫес
Рис.13.7, Окно выбора переменных
в списке переменных окна выделим переменную SNOW MM и нажмем кнопку ОК;
в секции Tests of normality (см. рис. 13.6) установим флажок K-S test, mean/std. dv known, который задает режим проверки нормального закона по критерию Колмогорова—Смирнова;
нажмем кнопку Tests of normality, получим таблицу с результатами проверки гипотезы, представленную на рис. 13.8.
ContinueContinue□rov Smirnov Test (airports.sta)
Continue
Continue
.ns
Рис. 13.8. Результаты проверки нормального закона распределения случайной величины
Гак как значение критического уровня значимости большое (р > 0.2), то можно утверждать, что распределение генеральной совокупности является нормальным. Лроцедура Frequency tables позволяет проверить гипотезу о нормальном законе )аспределения случайной величины с использованием графических средств. Для •того построим графики гистограммы частот и теоретической плотности нор- лального распределения и график исходных данных на нормальной вероятност- юй бумаге.
1ля построения гистограммы относительных частот в окне Frequency Tables отлетим переключатель No. of exact intervals и в соответствующем ему поле введем соличество интервалов — в нашем случае оно равно 6. Нажмем кнопку Histogram л получим гистограмму частот и график теоретической плотности нормального )аспределения, представленные на рис. 13.9.
Рис. 13.Я. Гистограмма частот и кривая плотности нормального распределенияРис. 13.Я. Гистограмма частот и кривая плотности нормального распределения
Рис. 13.Я. Гистограмма частот и кривая плотности нормального распределения
Рис. 13.Я. Гистограмма частот и кривая плотности нормального распределения
Для построения графика на нормальной бумаге в окне Frequency Tables активизируем кнопку Normal probability plots. В результате выводится график, показанный на рис. 13.10.
fT^Gidph18: Noundl Piobabihly Plot^| ("
Рис. 13.10. График на нормальной вероятностной бумаге
Полученные результаты — внешний вид графиков на рис. 13.9 и 13.10 — подтверждают гипотезу о нормальном распределении генеральной совокупности.
Задача проверки гипотезы о виде распределения
Нельзя однозначно утверждать, что нормальный закон наилучшим образом соответствует распределению случайной величины исследуемой совокупности. Внешний вид гистограммы частот (рис. 13.9) позволяет выдвинуть и другие гипотезы о законе распределения, например, о логнормальном и гамма-распределениях. Для проверки этих гипотез воспользуемся процедурами пакета, входящими в состав модуля Nonparametrics/Distribution. Проверку будем выполнять по X2-критерию Пирсона.
В окне переключателя модулей STATISTICA Module Switcher выберем строку Non- parametrics/Distrib и нажмем кнопку Switch to. В результате откроется стартовое окно модуля, вид которого зависит от установки переключателя режимов Nonparametric stats {Непараметрическая статистика?) и Distribution fitting {Подгонка эмпирического распределения к теоретическому). В нашем случае переключатель должен соответствовать режиму Distribution fitting, при этом окно будет иметь вид, представленный на рис. 13.11. В левой части окна в списке непрерывных законов распределения (Continuous Distributions) необходимо выбрать тот, который соответствует проверяемой гипотезе.
Сначала проверим гипотезу о нормальном законе распределения случайной величины. Для этого выделим строку Normal и нажмем кнопку ОК. В открывшемся
жне Fitting Continuous Distributions (рис. 13.12) нажмем на кнопку Variables и далее т окне Select the varibles for analisys (рис. 13.7) в списке переменных окна выделим переменную SNOW_MM и нажмем кнопку ОК. В результате будут рассчита- 1ы и выведены в полях Mean и Variance параметры теоретического распределе- шя соответственно: среднее значение ц = 101.83333 и дисперсия а2 =2409.4536. Установим переключатели в нижней части окна, как это показано на рис. 13.12. В пашем примере переключатель Kolmogorov-Smirnov test установлен на No, это тзначает, что проверка гипотезы производится только по %2-критерию Пирсона. После нажатия на кнопку Graph получим гистограмму частот, показывающую [юзультаты подгонки эмпирического распределения к теоретическому (рис. 13.13). Непосредственно над графиком показаны результаты проверки гипотезы по критерию Пирсона, который имеет значение %2 = 1.217916, ему соответствует критический уровень значимости 0.2697783. Так как он имеет достаточно большое значение (> 0.2), то можно утверждать, что распределение генеральной совокупности является нормальным.
Рис. 13.11. Стартовое окно подгонки эмпирического распределения к теоретическому
Рис. 13.12. Окно проверки гипотезы о нормальном законе распределения
Рис. 13.13. Результаты проверки гипотезы о нормальном законе распределения
Повторим рассмотренную процедуру проверки последовательно для гипотез о логнормальном и гамма-распределениях (см. рис. 13.11). Полученные результаты сравним с результатами проверки гипотезы о нормальном законе.
Результаты проверки гипотезы о логнормальном законе представлены на рис. 13.14 и рис. 13.15. В данном случае критерий Пирсона значительно больше х2 = 2.4598 и ему соответствует меньшее значение критического уровня значимости 0.1168. Таким образом, преимущество остается за гипотезой о нормальном законе распределения.
Рио. 13.14. Окно проверки гипотезы о логнормальном законе распределения
ПС<аиЬ25. УикиЫе SNOW ММ . dntitbutiufi I uqnonaulГ^РП IT?ПС<аиЬ25. УикиЫе SNOW ММ . dntitbutiufi I uqnonaulГ^РП IT?^^ЯVariable SNOW_MM; distribution; LognormalChi-Squ аге: 2.459812, df = 1, p = . 1168027 (df adjusted)^^ЯVariable SNOW_MM; distribution; LognormalChi-Squ аге: 2.459812, df = 1, p = . 1168027 (df adjusted)Рис. 13.15. Результаты проверки гипотезы о логнормальном законе распределенияРис. 13.15. Результаты проверки гипотезы о логнормальном законе распределения
ПС<аиЬ25. УикиЫе SNOW ММ . dntitbutiufi I uqnonaulГ^РП IT?
ПС<аиЬ25. УикиЫе SNOW ММ . dntitbutiufi I uqnonaulГ^РП IT?
^^ЯVariable SNOW_MM; distribution; Lognormal
Chi-Squ аге: 2.459812, df = 1, p = . 1168027 (df adjusted)
^^ЯVariable SNOW_MM; distribution; Lognormal
Chi-Squ аге: 2.459812, df = 1, p = . 1168027 (df adjusted)
Рис. 13.15. Результаты проверки гипотезы о логнормальном законе распределения
Рис. 13.15. Результаты проверки гипотезы о логнормальном законе распределения
Результаты проверки гипотезы о гамма-распределении случайной величины представлены на рис. 13.16 и рис. 13.17. В данном случае критерий Пирсона имеет наименьшее из трех проверок значение х2 = 0.932749 и ему соответствует самое большое значение критического уровня значимости 0.334156. Таким образом, в окончательном варианте следует принять гипотезу о гамма-распределении генеральной совокупности.
Рис. 13.16. Окно проверки гипотезы о гамма-распределении случайной величины
Рис.13.17. Результаты проверки гипотезы о гамма-распределении случайной величины
Задания для самостоятельной работы
С помощью датчика случайных чисел пакета Mathcad выработайте выборку объема п = 10 для нормального распределения с параметрами ц = 3 и о« 1.5. Для уровня значимости а = 0.05 проверьте следующие гипотезы:
Но: ц = 3 при следующих альтернативах: Hv. р * 3; Н<. р > 3; Нр р < 3.
Но-. а2= 2.25 при альтернативе Ир а2> 2.25.
Но: имеет место нормальное распределение с параметрами р = 3 и о « 1.5.
С помощью датчика случайных чисел пакета Mathcad выработайте выборку объема п = 50 случайных величин, имеющих экспоненциальное распределение с параметром Х= 2. Для уровня значимости а = 0.05 проверьте гипотезы:
Но: Х = 2 при альтернативах: Ир Х*2; HfA> 2; Нр Х< 2.
Но: имеет место экспоненциальный вид распределения.
С помощью пакета Mathcad составьте программу, реализующую проверку простой гипотезы при простой альтернативе на основе использования фундаментальной леммы Неймана—Пирсона (см. теорему 13.1). Апробируйте эту программу для случая двух экспоненциальных распределений с параметрами Хо и Хр где Хо < ХР
Задачи
Задача 13.1. По данным задачи 12.1 для уровня значимости 0.05 проверьте гипотезу о том, что доля р пассажиров, имеющих багаж весом свыше 30 кг, не превышает 0.1.
Задача 13.2. В условиях задачи 12.2 проверьте гипотезу о том, что вероятность поступления системы на обслуживание позже установленного срока не превышает 0.25. Уровень значимости принять равным 0.1.
Задача 13.3. Известны результаты выборки из некоторой генеральной совокупности: 7, 8, 7, 7, 18, 8, 17, 10, 11, 13, 28, 9, 20, 6, 10, 6, 13, 17, 33, 12, 17, 8, 18, 12, 20, 38, 20, 7, 21, 23, 16, 18, 25,10, 30, 27, 15, 20, 11, 25,15, 20, 24, 6, 32, 23, 19, 30, 28, 20, 6, 15, 16, 21, 25, 15, 12, 14, 18, 15, 7, 17, 22.
Считая распределение нормальным, проверьте следующие гипотезы при уровне значимости 0.2: а) р > 15 при альтернативе р < 15; б) о2 > 200 при альтернативе о2 <200.
Задача 13.4. Согласно стандарту вес изделия должен составлять 17 г. В действительности этот вес есть случайная величина. В результате проверки 60 случайно выбранных изделий оказалось, что средний вес этих изделий равен 16.8 г, а эмпирическая дисперсия о2* =0.25 г2. Можно ли при уровне значимости 0.1 считать, что вес изделия а) ниже требуемого; б) отличен от требуемого стандартом.
Задача 13.5. Следует ли пересмотреть решение предыдущей задачи, если уровень значимости изменился и стал равным а) 0.2; б) 0.05?
Задача 13.6. Поставщик утверждает, что доля брака в партии товара не превышает 4%. Для проверки случайным образом выбрано 100 изделий. Из них 5 оказались бракованными. Начиная с какого уровня значимости нельзя отвергнуть утверждение поставщика?
Задача 13.7. В следующей таблице приведены данные о количестве вызовов дежурного мастера в течение суток, которое фиксировалось в течение 100 дней. В частности ни одного вызова не было в течение 13 суток, один вызов в сутки наблюдался 24 раза и т. д.
Количество вызовов в сутки, г
0
1
2
3
4
5
6
7 и более
Число наблюдений значения 1, а,
13
24
31
20
6
5
1
0
Используя критерий Пирсона, проверьте при уровне значимости 0.05 гипотезу о том, что количество вызовов в сутки имеет распределение Пуассона.
Задача 13.8. В знаменитом опыте Резерфорда, Чедвика и Эллиса радиоактивное вещество наблюдалось в течение п = 2608 промежутков времени, каждый длиной в 7.5 с. Для каждого промежутка регистрировалось число частиц, достигших счетчика. Известны данные о числе н, промежутков времени, в течение которых наблюдалось ровно г частиц.
0
1
2
3
4
5
6
7
8
9
10
Всего
57
203
383
525
532
408
273
139
45
27
16
2608
Общее число зарегистрированных частиц оказалось равным 2Х = 10094, а эмпирическое математическое ожидание
ц* =-Уп; =3.87.п j
Используя критерий %2-Пирсона и 5% уровень значимости, проверьте гипотезу о пуассоновском распределении с параметром X = 3.87.
Задача 13.9. Известны данные о продолжительности X (в часах) ежегодного профилактического обслуживания агрегата: 86, 74,18, 26,37,41,49,60,66,71,62,31, 19, 29, 37,46, 51, 40, 29, 65, 78, 78, 31,38, 43, 49, 23, 31, 40, 38, 29,45, 51, 58,47, 25, 40, 61, 69,92, 80,49, 29, 44, 37, 60, 72, 68, 34, 54, 45, 56, 38, 27,48, 57,60,35,66, 75, 28, 54, 61, 64, 34, 55, 57, 48, 34, 29, 36, 55, 69, 80, 86.
Сгруппируйте эти данные. Найдите оценки математического ожидания и дисперсии. Для уровня значимости 0.05 проверьте гипотезы о нормальном распределении и распределении Эрланга. Постройте гистограмму и графики накопленной частоты и теоретических плотности и функции распределения.
Задача 13.10. Для сравнения двух способов обработки сельскохозяйственных угодий выделено 40 эквивалентных участков. На первых 20 участках обработка велась по одному способу, а на 20 других — по второму. Урожаи с первых 20 участков составили (в условных единицах): 23,25,14, 21, 27, 16,22,12, 21, 26,15,11, 21, 14, 16, 13, 19, 32, 21, 19. Урожаи с 20 других участков оказались равными: 16, 13, 12, 9, 14, 13, 19, 16, 23, 14, 15, 10, 16, 12, 16, 18, 29, 16, 19, 17.
Используя непараметрические критерии и уровень значимости 0.2, проверьте гипотезу об отсутствии различия в способах обработки.
Задача 13.11.
При исследовании потока грузов, поступающих на оптовый склад, было установлено, что этот поток имеет постоянную интенсивность с 10 до 15 часов. Используя следующие фактические данные о моментах поступления машин на склад в течение 6 дней, проверьте при уровне значимости 0.01 гипотезу о пуассоновском потоке автомашин.
3 & У
Дни■
2/VI
3/VI
4/VI
5/VI
6/VI
7/V1
3
X X
S
зЗ X X о 2 §
в
3
3
S
’5
X
2 §
£ в
3
х 3 S
53 X
о §
S в
3
X 3
S
93 X
о §
3
X 3
2
« S 5 о § и И в
а
2 1 Л
10
24,38,
43, 54
4
49,50, 54
3
0, 1, 7, 49, 50
5
и,
45, 51
3
7,29, 48
3
26
1
и
17, 24, 56
3
5, 17, 36, 50
4
4, 16, 50
3
5, 8, 26,41
4
3, 9, 29,39
4
11,20, 29, 52
4
12
0, 2, 37,51
4
11,30, 42
3
1, 16,
50,54, 56
5
6, 14
2
15,17, 26, 38
4
2, 13
2
У
Дни
2/VI
3/VI
4/VI
5/VI
6/VI
7/VI
£ X X S
« X X
8 §
1 S
зх
X 8 1 я
х S
’х X
я
£ X X S
>х X X й
X S
ЗХ
X
О 81 я
£ X X S
эХ X X
§
11
13
28,32, 55
3
19,
23, 38,39
4
7, 15, 29,36
4
5, 43
2
13
1
35, 44
2
14
13,22, 32,51
4
7,31, 48, 50
4
10,20, 38, 47
4
29,38, 53
3
6,20, 48
3
37,48, 57
3
15
24
1
26
1
12
1
18,
27, 37
3
17,33, 42,45,
47
. 5
Число мест груза X, содержащегося в одной партии, является случайной величиной. Известны данные о фактическом числе мест груза по результатам обследования п = 2220 партий:
Число мест в партии, х
1
2
3
4
5
6
7
8
9
10
И
Число наблюдений, и.
924
295
141
114
83
73
43
38
32
37
25
Число мест в партии, х
12
13
14
15
16
17
18
19
20
21
22
Число наблюдений, пх
21
26
14
40
18
23
20
7
42
15
5
Число мест в партии, х
23
24
25
26
27
28
29
30
31
32 и более
Число наблюдений, пх
8
13
57
5
12
6
7
16
9
51
Попробуйте подобрать теоретическое распределение, хорошо сглаживающее эти данные.
Распределение веса одного места груза зависит от числа мест в партии. Известны сгруппированные данные о весе одного места груза для 500 партий, содержащих одно место груза:
Вес места, кг
0-4
4-8
8-12
12-16
16-20
20-24
Число наблюдений
2
227
48
73
56
38
Вес места, кг
24-28
28-32
32-36
36-40
40-52
52-92
Число наблюдений
16
6
6
8
14
6
Вычислите эмпирическое среднее и дисперсию. Сравните эти результаты со значениями и* * 13.6 кг и D* ■ 129 кг2, полученными по несгруппированным дан-
ним. Рассмотрите вопрос о возможности использования для практических расчетов усеченного экспоненциального распределения
'HL—'HL—при х £ 4, при х £ 4.при х £ 4, при х £ 4.
'HL—
'HL—
при х £ 4, при х £ 4.
при х £ 4, при х £ 4.
14 Регрессионный
и корреляционный анализ
Одномерная линейная регрессия
В настоящей главе изучаются зависимости между случайными величинами. Задание совместного распределения дискретных и непрерывных случайных величин рассматривалось в главах 5 и 6. Если одна из величин является «случайной функцией» от других величин, то это соответствует материалу разделов 5.2 и 6.2. Относящиеся сюда статистические задачи составляют содержание регрессионного анализа. Мы ограничимся рассмотрением линейных моделей регрессии, чему будут посвящены первые три раздела главы. Последний раздел содержит введение в корреляционный анализ, заключающийся в статистическом исследовании корреляционных зависимостей между случайными величинами. Примененное нами прилагательное статистические означает, что анализ проводится на основе имеющихся выборочных данных.
Мы начинаем с рассмотрения случая одномерной линейной регрессии, что позволит усвоить основные концепции перед их применением для более сложного многомерного случая. Пусть интерес представляет некоторый показатель Y, линейно зависящий от определенного фактора t. Кроме того, на эту зависимость накладывается дополнительный случайный фактор, который мы представим в виде случайной величины Z. Наша цель заключается в предсказании величины Y на основе имеющейся информации о величине t. В связи с этим будем называть Y зависимой переменной (откликом), t — предикторной переменной (фактором), aZ — случайной составляющей.
Формально постулируемая структура связи между введенными величинами имеет вид:
У=Р0+Р^ + 2,(14.1)
где Ро и pf — неизвестные параметры модели (постоянные величины);
t — известное и неслучайное значение предикторной переменной;
Z — случайная величина, сопутствующая наблюдению.
Подчеркнем еще раз, что в результате наблюдения регистрируется не истинное значение Ро + Р(£, а его сумма со случайной составляющей Z. В практических исследованиях наличие составляющей Z может быть вызвано двумя основными nnuuuuauu' гушргтпппанирм сЬактооов (поедиктопных пеоеменных), не учиты-
ваемых в модели; существованием случайных отклонений от основной тенденции, отражаемой выражением ро + р, t.
Обычно имеется несколько реализаций (наблюдений) модели (14.1), каждой из которых соответствуют свои значения У, t и Z. Для указания конкретной реализации будем снабжать эти величины индексом г = 1, 2, ..., и, где и — количество реализаций. В связи с этим формула (14.1) может быть переписана в виде
=Р0+Р^,+Z,, i = l,2и.(14.2)
Определение 1. Моделью одномерной линейной регрессией называется зависимость (14.2) случайной величины У от неслучайной переменной t, где Zv Zi, .... Z„ — взаимно независимые случайные величины, имеющие нулевое математическое ожидание и одинаковую (быть может, неизвестную) дисперсию:
E(Z,) = 0, £»(Z,) = o2, г = 1,2п.(14.3)
Задачей регрессии является нахождение оценок Pg и Р, неизвестных коэффициентов (параметров) р0 и р, на основе наблюденных значений (£b yj, (t2, У2), ..., <tw У„).
Формулы (14.2), (14.3) полностью описывают рассматриваемую модель. Математическое ожидание и дисперсия зависимой переменной согласно этой модели равны:
£(У,) = ₽о+₽Л> £»(У;) = о2, i = l,2и.(14.4)
Очевидно, случайные величины {У;} взаимно независимы. Согласно формуле (14:2), их значения формируются в основном за счет суммы р0 +Р^( (основная тенденция). На эту сумму накладывается случайная составляющая Zb имеющая характер или неучтенных факторов или случайных помех. Соотношения (14.3) постулируют, что эта составляющая не может быть предсказана, если о * ft но систематическая ошибка в модели отсутствует. Если E(Zd * 0, то говорят о наличии систематической ошибки.
Итак, задача заключается в нахождении оценок параметров pj и рр Зная эти оценки, можно оценить значение зависимой переменной Yj по формуле
уж+и.г-(14.5)
Соответствующий график называется графиком линейной регрессии.
Определение 2. Pg и р,’называются оценками метода наименьших квадратов, если они минимизируют сумму квадратов отклонений
R6 =t(Y, -У,')2 = £ (У, -(Pg + РЛ))2-(14.6)
1=1
Физический смысл этого критерия заключается в том, что он дает прямую У* =Ро + Р|Ч относительно которой разброс точек (Г, У) минимален (рис. 14.1).
Для минимизации выражения (14.6) поступаем обычным способом: берем производные по р0 и р| и приравниваем их нулю. В результате получаем так называемую CUCmeMU НОПМОЛЪНЫХ ипавмиппг
2E(^"(Po+Pit,)) = O,г^Л^ЧРо+Р^))^.
Решая ее, находим следующие оценки метода наименьших квадратов:
р; = —1—t.^,-^Xt,-О, р; = Y-^i,(14.7)
Е^-*)2"1
гдеY = -£г(, г=-£^-
п мп ы
Рис. 14.1. Г рафик линейной регрессии
Если соотношения (14.1) и (14.3) справедливы, то имеют место следующие основные свойства оценок метода наименьших квадратов.
Оценки Pg и Рр вычисляемые по формуле (14.7), являются несмещенными оценками параметров р0 и Р(:
Ж^Ро-Ж^Р.-
Эти оценки имеют наименьшую дисперсию среди всех несмещенных оценок, являющихся линейными функциями результатов наблюдений Уь Yi,..., Ytt.
Несмещенной оценкой неизвестной дисперсии а2 является
а2" =(14-8)
В качестве оценки среднего квадратического отклонения будем пользоваться величиной а* = Vo2’.
Прогноз, рассчитываемый для значения сопутствующей переменной t^ (в частности, для к > п) по формуле
г/-р; ч-р;^,(14.9)
является несмещенной оценкой истинного математического ожидания Ро +Pi^> причем дисперсия этой оценки минимальна и равна
(14.10)
Необходимо помнить, что все это справедливо, если модель верна, то есть если соотношения (14.2) и (14.3) действительно имеют место.
Формулу (14.10) можно применять, если дисперсия о2 известна. В противном случае следует пользоваться оценкой дисперсии D(Y^), которая получается в результате подстановки в (14.10) вместо истинной дисперсии а1 ее оценки а2*:
(14.11)
Выше не делалось никаких предположений относительно распределения случайной составляющей Z. Обычно предполагают, что она имеет нормальное распределение (4.11) с параметрами (14.3). В этом случае дополнительно справедливы следующие утверждения.
Оценки Pg и р’ обладают наименьшими дисперсиями среди всех несмещенных оценок ро и Р].
Отношение (и-2)02*/о2, где о2 — дисперсия, а о2* — вычисляемая по формуле (14.8) оценка ее, имеет %2 -распределения с (п - 2) степенями свободы. (Отметим попутно, что это позволяет на основании результатов главы 12 построить доверительные интервалы для дисперсии о2, отвечающие доверительной вероятности у).
Доверительным интервалом для математического ожидания Е(У4) - ро + р,^, соответствующего значению предикторной переменной t^ и доверительной вероятности у, является интервал
^(n^wt)<2>^(n^wt)<2>(14.12)(14.12)
^(n^wt)
<2>
^(n^wt)
<2>
(14.12)
(14.12)
где t1+y (n - 2) — квантиль распределения Стьюдента (12.20) сп-2 степенями
свободы, отвечающая вероятности —^Х
При доверительной вероятности у доверительным интервалом для зависимой переменной У* ■ р0 + р, tM + ZM будет интервал
<2><2>(14.13)(14.13)
<2>
<2>
(14.13)
(14.13)
Отметим, что этот интервал шире, чем интервал (14.12), поскольку он должен накрывать не постоянную (но неизвестную нам) величину ро + pi tk, а случайную величину ро +Р(^ + Zt.
Именно формулой (14.13) необходимо пользоваться, если мы при прогнозировании хотим построить доверительный интервал для фактического значения показателя (а не его математического ожидания).
Основными постулатами сформулированной выше модели были следующие для случайных добавляющих Z, предполагалось равенство нулю математических ожиданий и равенство дисперсий (см. формулу (14.3)). Второе предположение может быть несколько ослаблено. Можно считать, что дисперсии неодинаковы, но известны нам с точностью до постоянного сомножителя о2. В этом случае условие (14.3) заменяется на следующее:
E(Z,) = 0, D(Zf) = — о2, i = l, 2, ..., п, (14.14)
где ®, — известные постоянные, г = 1, 2,..., п; а2 — неизвестная постоянная. В данном случае критерий, подлежащий минимизации, имеет вид:
Яо =£^(У, -Г)2 = Ё^(У, -(Ро +Р.О)2.(14.15)
1=1
Оценки параметров ро и Pi вычисляются по формулам:
(14.16)(14.16)ЁюлЁю-у< -Ё^-Ё^Л Ё^ -VxIL^a
(14.16)
(14.16)
z=l i=li=l i=l /р* _ i”!'=1
(ЁюЛ)2-Ё^Ё^Л2 Ё^
1=11=11=11=1
а прогноз рассчитывается по той же формуле (14.9).
Из формул (14.14) и (14.15) следует, что наблюдения берутся с весами, обратно пропорциональными соответствующим дисперсиям В(УУ При таком выборе критерия оптимальные свойства оценок наименьших квадратов, сформулированных выше, сохраняются.
Как будет следовать из результатов следующего раздела, формулы (14.8), (14.10), (14.12), (14.13) принимают вид:
°2'-(р; +Р.Ч»2.
П — 2
(р;+р^)±^(И-2^5(га
.27
(р- +p;ta±M”-2)Ь(у;)+а2- А
. т v^ J
где D(Yk) — оценка дисперсии D(Yk ), получаемая из формулы для D(Yk ) путем замены о2 на о2*;
о2 А — дисперсия случайной составляющей для к-го наблюдения, для которого
величина wk считается известной.
Примеры
Пример 14.1. Рассмотрим регрессионную зависимость оборота розничной торговли (млн. рублей) от численности населения (тыс. человек) 20 областей России (за январь-сентябрь 1990 года). Соответствующие статистические данные приведены в табл. 14.1.
Таблица 14.1. Статистические данные за январь-сентябрь 1990 г. по численности населения (t) и обороту розничной торговли (У), млн руб.
i
Область
у
i
Область
t.
У,
1
Архангельская
1492
7550.7
и
Костромская
797
3723.8
2
Вологодская
1339
6914.6
12
Московская
6564
32 157.7
3
Мурманская
1017
11208.2
13
Орловская
907
5613.8
4
Ленинградская
1682
8952.8
14
Рязанская
1307
5911.0
5
Новгородская
738
4891.7
15
Смоленская
1157
7747.5
6
Псковская
820
3598.3
16
Тверская
1633
5565.7
7
Брянская
1465
5574.5
17
Тульская
1786
8654.1
8
Владимирская
1631
7218.2
18
Ярославская
1436
8419.4 .
9
Ивановская
1246
3969.2
19
Кировская
1613
8034.1
10
Калужская
1094
4842.0
20
Нижегородская
3697
19539.4
Оценка линейной регрессии (14.5) имеет вид:
У* = 444.73 + 4.823 It.
Соответствующий график представлен на рис. 14.2. На нем точками указаны фактические статистические данные.
Остаточная сумма квадратов отклонений (14.6) R^ ■ 6291.61 • 104, а оценка дисперсии (14.8) о1* ■ 349.5 ■ 104.
Рис. 14.2. График линейной регрессии У* = 444.73 + 4.82311
Проверка адекватности модели одномерной линейной регрессии
Далее мы обсудим методы анализа точности описания имеющихся данных предложенной моделью (14.2), (14.3). Рассмотрим величину (У; -У) — отклонение i-ro наблюдения от среднего наблюденных значений У. Сумма квадратов этих величин 22 (У, - YY, взятая по всем г от 1 до п, обозначается R^, называется полной суммой квадратов отклонений относительно среднего и является мерой разброса наблюденных значений Y;. Эту сумму можно разбить на две составляющие, согласно формуле
^Е = t(F -Y? =i(Yt -Y*Y + ^(У/ -У)2.(14.17)
i=li-1i*l
Здесь Yj - Y* — это отклонение i-ro наблюденного значения от значения Y*, вычисляемого согласно предлагаемой модели (14.5). Следовательно, квадрат этой величины (У; -У,*)2 может служить мерой расхождения фактического и предсказанного значений для i-ro наблюдения. Сумма этих квадратов по всем i, то есть 22 (F ~F*)2> является мерой расхождения всех наблюденных значений от уравнения регрессии (14.5). Она называется остаточной суммой квадратов отклонений или суммой квадратов отклонений относительно регрессии и обозначается R^:
Ro^Yi-Y-y.(14.18)
i-1_
Величина (Y* -У ) — это отклонение i-ro предсказанного значения от среднего Р. Сумма квадратов этих отклонений по всем i есть та составляющая общей суммы
14.17), которая объясняется регрессией (14.5). Она обозначается Rp и называется суммой квадратов отклонений, обусловленной регрессией'.
Rp = t(^ -П2 = £О7)2 -п(УУ.(14.19)
/-1l-l
Таким образом, уравнение (14.17) может быть записано в следующей словесной формулировке: полная сумма квадратов относительно среднего равна остаточной сумме квадратов (сумме квадратов относительно регрессии) плюс сумма квадратов, обусловленная регрессией;
Ъ -Rv+Rp.(14.20)
Отношение
Я2=—=1- —(14.21)
Rt Rt
называется множественным коэффициентом детерминации, a R — множественным коэффициентом корреляции. Они могут служить для оценки степени точности описания имеющихся данных уравнением регрессии (14.5), поскольку показывают долю разброса наблюдений около среднего значения Y, которая объясняется регрессией. Величина Я2 принимает значение между 0 и 1. Если уравнение регрессии идеально описывает данные, то У* равно У, для всех i и поэтому Rq = 0, R1 = 1. Если р( = 0, то есть регрессия У на t отсутствует, то У* равно У для всех i и поэтому Rp = 0, Я2 = 0.
Следующим важным анализом является графическое исследование остатков. Остаток, соответствующий i-му наблюдению, определяется как разность У, -У,‘наблюденного и предсказываемого значений зависимой переменной. Так как Z, = У; - (Ро + P/J, а У* = pj + P‘tf, то остаток У, -У* служит оценкой случайной составляющей Zb имевшей место при i-м наблюдении. Если постулируемая модель (14.2) верна, то остаток является несмещенной оценкой среднего значения E(Zd, а квадрат его (У,-У/)2 — несмещенной оценкой дисперсии D(Zj). Согласно постулируемой модели (14.3), математическое ожидание E(Zf) = 0, а дисперсия D(Z;) = о2 независимо от значения номера наблюдений / и величины сопутствующей переменной t. Поэтому среднее значение остатка Е(У, -У*), вычисленное при условии, что зафиксировано данное значение У*, также равно 0. Следовательно, если построить график зависимости остатков У, -У,* как функцию любого из перечисленных аргументов (г, t, У*), то этот график:
должен быть симметричным относительно оси абсцисс (условие E(Z<) ■ 0);
должен иметь примерно постоянный разброс точек вдоль оси абсцисс (условие D(Zj) = о2).
Если это не так, то постулируемая модель (14.3) неверна и должна быть пересмотрена. Типичные ситуации, которые могут встретиться при анализе графика остатков, изображены на рис. 14.3. Здесь по вертикальной оси откладываются значения остатков, а по горизонтальной — значений какого-либо из следующих аргументов: номера наблюдений i; предикторной переменной t; прогнозируемой переменной У,*.
На графике области разброса остатков для наглядности заштрихованы. В случае а) отклонений от постулированной модели не наблюдается. Остальные случаи свидетельствуют о некорректности модели. Случай б) указывает на то, что дисперсия случайной составляющей зависит от значений аргумента, то есть что предположение D(Z,) = а2 нарушено. В случае в) остатки несимметричны относительно оси t, то есть пропущен линейный член модели. Случай г) свидетельствует об отсутствии нелинейных членов модели (например, Г2).
У - У*У - У*абабРис. 14.3. Графики остатковРис. 14.3. Графики остатков
У - У*
У - У*
аб
аб
Рис. 14.3. Графики остатков
Рис. 14.3. Графики остатков
Последней процедурой проверки адекватности модели является проверка гипотезы о незначимости регрессии, то есть об отсутствии линейной зависимости переменной Y от предикторной переменной t. Точная формулировка задачи следующая: проверить гипотезу Н: Y = ро + Z при альтернативе A; Y = ро + р, t + Z, Pi >0. Основой для проверки гипотезы является сумма квадратов Rp, обусловленная регрессией, и остаточная сумма квадратов /?0 относительно регрессии. Критерием проверки служит отношение
Rn
Е=(п-2^.(14.22)
Малые значения критерия указывают на справедливость гипотезы, а большие значения противоречат ей. Если гипотеза верна, то критерий имеет /"-распределение с 1 и и - 2 степенями свободы.
Определение 3. Плотность /-распределения с /] и /2 степенями свободы определяется формулой
1 И Л h_ !i l-iJut I
№ = П Л пР*2^2^2 ^х*^ 2 , х> 0, (14.23)
I 2 J I 2 J
где ^ и /2 — параметры распределения, /ь /2 = 1, 2,...; Г(а) — гамма-функция (12.13).
Итак, областью принятия гипотезы для уровня значимости а является интервал
[0;F-‘(l-a> 1,п-2)],[0;F-‘(l-a> 1,п-2)],(14.24)(14.24)
[0;F-‘(l-a> 1,п-2)],
[0;F-‘(l-a> 1,п-2)],
(14.24)
(14.24)
где F'1 (1 - а, 1, п - 2) — квантиль F-распределения с 1 и п - 2 степенями свободы, отвечающая вероятности 1 - о.
Если подсчитанное значение критерия (14.22) не попадает в области принятие, то гипотеза отвергается. При этом, пользуясь длительное время этой критической областью, примерно в 100(1 - а)% случаев будем принимать верную гипотезу. Отклонение гипотезы свидетельствует о том, что член pt в модели отбрасывать не следует, а принятие гипотезы — что этот член может быть отброшен.
Приведем условия, при которых возникает F-распределение. Пусть ^ и Х2 — независимые случайные величины, имеющие х2 -распределения с и /2 степенями свободы. Тогда случайная величина
lx Х2
имеет F-распределение с lt и 12 степенями свободы. Оказывается, что в рассматриваемом случае (14.22) Rp и Rq взаимно независимы и имеют х2 -распределение с/| = 1и/2 = п- 2 степенями свободы.
Методы, применяемые для проверки адекватности модели, могут быть значительно усилены, если для одних и тех же значений предикторной переменной tj проведено несколько (например, nJ наблюдений. Для каждого значения th которому соответствует несколько наблюдений, вычисляется величина
где Yij — значение зависимой переменной, соответствующей ;-му наблюдению при данном фиксированном (,.
Затем определяется сумма таких величин
”0”0к -1 2^ 4 s^к -1 2^ 4 s^(14.25)(14.25)
”0
”0
к -1 2^ 4 s^
к -1 2^ 4 s^
(14.25)
(14.25)
которая называется чистой ошибкой. Здесь п0 — число различных значений, при* нимаемых предикторной переменной.
Название Re обусловлено тем, что различия в повторных испытаниях при одних и тех же значениях предикторной переменной определяется целиком разбросом (дисперсией) случайной составляющей Z.
Обозначим
«о
пе = £п; -и0 = п-п0,
где Zn, = п — общее число наблюдений.
Тогда, если для всех наблюдений дисперсия случайных составляющих одна и та же (,D(Zl) = о2), то отношение
(14.26)(14.26)о2* = R,/n,
(14.26)
(14.26)
является несмещенной оценкой дисперсии а2. Эта оценка несмещенная, если даже математическое ожидание i-го наблюдения £(У,) не равно Ро + р^,, то есть если модель некорректна. Теперь сумму квадратов относительно регрессии Ro можно разложить на два слагаемых:
R0=Rr+(R0~RA (14.27)
Второе слагаемое называется суммой квадратов, обусловленной неадекватностью модели. Ее значение находится вычитанием R, из Ru и служит критерием соответствия модели имеющимся данным.
Разбиение суммы квадратов относительно общего среднего на отдельные составляющие может быть оформлено в виде так называемой таблицы дисперсионного анализа (табл. 14.2).
Таблица 14.2. Дисперсионный анализ в случае одномерной регрессии
Источник
Сумма квадратов
Число степеней свободы
Средний квадрат
Регрессия
Отклонение от регрессии
R..
R,
1 п-2
Rp 1
в том числе: чистая ошибка
неадекватность
R, R«-R.
п.
п - 2 - п,
R^/n. (^-^/(п-2-п^
Отклонение от среднего
Rl
п- 1
Значение средних квадратов в таблице определяется в результате деления сумм квадратов на число степеней свободы. Фигурные скобки показывают те средние квадраты, отношение которых следует взять для проверки различных гипотез (см. формулы (14.22) и (14.28)).
Если имеет место нормальное распределение и справедлива постулируемая модель (14.2), (14.3), то Re и Ro - Re взаимно независимы, причем обе имеют X2-распределение: первая с пе степенями свободы, а вторая с (п - пе - 2) степенями свободы.
Следовательно, отношение соответствующих средних квадратов F?T MRo -R„) (п-пе -2)7?/
имеет F-распределение (14.23) с Ц = п - пе - 2 и /2 = пе степенями свободы. Поэтому при уровне значимости а областью принятия гипотезы о корректности модели является интервал
[0;F_I (1-а; п-пе -2, пе)],
где F"'(р;п-пе -2,п/) — квантиль F-распределения с п - пе - 2 и пе степенями свободы, отвечающая вероятности 1-а.
Выше был рассмотрен случай равных дисперсий. Если дисперсия для t-ro наблюдения равна о2/«1р где о2 предполагается неизвестной, а^- известной ве-
личиной, то для применения изложенных проверок необходимо сделать замену переменных У, на y/w^Yt. Это вызывает замену
У* на y^Y; = 7^7(00 +РГ^)*
где коэффициенты PJ и 0’ вычисляются по формулам (14.16). После такой замене новые случайные величины будут иметь одинаковые дисперсии. Поэтому для них остаются справедливыми все описанные выше процедуры проверки адекватности модели.
Пример 14.1а. Продолжим рассмотрение нашего примера. Рассчитанные суммы квадратов отклонений составляют: полная (14.17) R^ = 820.935 • 10е, остаточная (14.18) Ro = 62.916 • 106, обусловленная регрессией (14.19) Rp = 758.019 • 10е. Множественный коэффициент детерминации (14.21) R2 = 0.9234, а множественный коэффициент корреляции R = 0.9609. Близость последнего к единице говорит о значимости регрессии.
Проанализируем теперь график остатков в зависимости от населения области (значения предикторной переменной) L В табл. 14.3 представлены значения зависимой переменной фактические У, и рассчитанные У*, а также остатки У( -У', График остатков в зависимости от численности населения t представлен на рис. 14.4. График выдан пакетом STATISTICA. Его вид свидетельствует о том, что в первом приближении модель можно считать корректной.
Таблица 14.3. Анализ остатков
i
Область
t,
X
х*
х-х*
1
Архангельская
1492
7550.7
7640.76
-90.06
2
Вологодская
1339
6914.6
6902.83
11.77
3
Мурманская
1017
И 208.2
5349.80
5858.40
4
Ленинградская
1682
8952.8
8557.15
395.65
5
Новгородская
738
4891.7
4004.16
887.54
6
Псковская
820
3598.3
4399.65
-801.35
7
Брянская
1465
5574.5
7510.54
-1936.04
8
Владимирская
1631
7218.2
8311.17
-1092.97
9
Ивановская
1246
3969.2
6454.29 ■
-2485.09
10
Калужская
1094
4842.0
5721.18
-879.18
И
Костромская
797
3723.8
4288.72
-564.92
12
Московская
6564
32 157.7
32 103.41
54.29
13
Орловская
907
5613.8
4819.26
794.54
14
Рязанская
1307
5911.0
6748.49
-837.49
15
Смоленская
1157
7747.5
6025.03
1722.47
16
Тверская
1633
5565.7
8320.82
-2755.12
17
Тульская
1786
8654.1
9058.75
-404.85
i
Область
t.
х
18
Ярославская
1436
8419.4
7370.67
1048.73
19
Кировская
1613
8034.1
8224.36
-190.26
20
Нижегородская
3697
19 539.4
18 275.65
1263.75
Среднее
8504.3
8504.30
0
Нам осталось проверить гипотезу о незначимости регрессии, то есть о том, что 3( = 0. Примем уровень значимости а = 0.05. В нашем случае число данных п равно 20. Поэтому квантиль F-распределения
F"' (1-а; 1, и-2)= F-1 (0.95; 1,18)= 4.41.
Следовательно, область принятия гипотезы (14.24) [0; F-1 (1 - а; 1, и -2)] = [0; 4.41]. Подсчитаем значение критерия Фишера (14.22):
F= (п - 2) Rp/Ro = 18 • 758.019 • 106/62.916 ■ 106 = 216.87.
Поскольку значение критерия не попадает в область принятия, то гипотеза о «значимости регрессии отклоняется.
(Tj (>raph6t Raw residuals vs. NA Si If N
800080006000600040004000200020008..О.О--8..О.О---2000-2000-4000-400000NASELENNASELENRaw residuals vs. NASELENRaw residuals = .00033 - .0000 * NASELENCorrelation: r = -.0000Raw residuals vs. NASELENRaw residuals = .00033 - .0000 * NASELENCorrelation: r = -.000010002000300040005000600070001000200030004000500060007000Regression 95% confld.
8000
8000
6000
6000
4000
4000
2000
2000
8..О.О--
8..О.О--
-2000
-2000
-4000
-4000
0
0
NASELEN
NASELEN
Raw residuals vs. NASELEN
Raw residuals = .00033 - .0000 * NASELEN
Correlation: r = -.0000
Raw residuals vs. NASELEN
Raw residuals = .00033 - .0000 * NASELEN
Correlation: r = -.0000
1000200030004000500060007000
1000200030004000500060007000
Рис. 14.4. График остатков для одномерной регрессии
Многомерная линейная регрессия
J общем случае имеется не одна, а несколько предикторных переменных (фак- оров). Однако если пользоваться матричными обозначениями, то все формулы >актически остаются теми же, что и для случая одной сопутствующей пере- генной.
Обозначим число предикторных переменных т, а саму предикторную перемен* ную tjj, где первый индекс i относится к номеру наблюдения (i = 1, 2,..., п), а второй индекс j — к номеру предикторной переменной (J = 0,1,..., т), причем t/,o ■ 1. Прогнозирование значения зависимой переменной У на момент времени i ■ А при значениях первой предикторной переменной t^, второй 1кд и т. д. осуществляется по формуле
^Ь =Ро +Р1^,1 + Рг^,2 +”-+Рт^4л>(14.29)
где Ру, Pi,... — оценки неизвестных параметров (коэффициентов).
Для нахождения оценок РоРи имеются данные п наблюдений. Для каждого наблюдения известны значения предикторных переменных и зарегистрированное значение зависимой переменной. Обозначим их так:
У — значение зависимой переменной для i-го наблюдения;
tu,ti;2,...,tim — значения 1-й, 2-йm-й предикторных переменных для i-ro наблюдения.
Кроме того, с каждым наблюдением связана случайная составляющая, величина которой неизвестна. Пусть Z, есть неизвестная случайная составляющая для i-ro наблюдения. Также неизвестными (но неслучайными) являются параметры (.коэффициенты') р,, р2,..., р„.
Используя введенные обозначения, можно так записать математическую модель формирования значений зависимых переменных У, У2,..., У„ в соответствующих наблюдениях:
^1 =00 +РА1 +Р2^1,2 + •■• + РяАш +^1’
У =Ро + Р1 ^2,1 +Р2^2,2 + -" + Ри^ + У'(14.30)
Уп =Ро + РЛ.1 +Р2^,2 +- + ?»<„.„ +2„.
Здесь предполагается, что случайные величины Zb Z2,..., Zn имеют нулевые мате- 2 матические ожидания, одну и ту же дисперсию о и некоррелированы:
E(Zi) = 0, D(Zi) = a2 i = l,2, ...,п; C(Zi,Z> ) = 0 при i* j, (14.31) где C(Z„ Zj) — ковариация (5.16) случайных величин Z( и Zj.
Перепишем условия (14.30) и (14.31) в матричном виде. Для этого введем следующие обозначения:
Y = (У, У2, ...,У„)Т — вектор-столбец порядка п зависимых переменных, i-й элемент которого есть зависимая переменная У для i-ro наблюдения;
р = (ро,р1,...,р„)т — вектор-столбец неизвестных параметров (коэффициентов) порядка т + 1,;-й элемент которого Р; есть коэффициент при)-й предикторной переменной (для j = 0 полагают 6=1);
Z = (Zb Z2, ..., Z„)T — вектор-столбец порядка п случайных составляющих, i-й элемент которого есть случайная составляющая Z, в i-м наблюдении.
Кроме того, рассмотрим матрицу Т предикторных переменных порядка пх(т + 1), состоящую из п строк и т + 1 столбцов. Строки этой матрицы соответствуют различным наблюдениям, а столбцы — различным предикторммм
еременным. Первая строка содержит значения предикторных переменных для -го наблюдения, вторая — для 2-го наблюдения и т. д. Первый столбец матрицы эстоит из единиц. Второй столбец состоит из значений первой предикторной временной в различных наблюдениях, третий — из значений второй предиктор- ой переменной и т. п.
[так, введены следующие обозначения:
гм
ГМ
ГМ
^1.21
Y =
, Р =
Р1
, Z =
z2
, т =
1
^2.1
^2,2•
• ^2,т
. (14.32)
Л>
<Рт >
-^п )
^1,21
истема равенств (14.30) может быть теперь записана в матричных обозначени- ( следующим образом:
Y=Tp+Z.(14.33)
словия (14.31) переписывается так:
f(Z) = 0, C(Z) = q2I,(14.34)
№ C(Z) — ковариационная матрица (5.18) случайного вектора Z,
единичная матрица порядка п.
пределение 4. Формулы (14.33) и (14.34) определяют модель многомерной ли- ■йной регрессии.
ажно подчеркнуть, что слово «линейная» относится к параметрам {р,}. Предик- ,рные переменные могут быть любыми нелинейными функциями известных факиров. Например, если г — номер наблюдения, то tiX = i, t^ = г2, ty = 1 /i, t^ = sin(z), i = exp(-i) и т. д.
бозначим p вектор-столбец оценок неизвестных параметров, a Aj — век- ip-строку (порядка т + 1) значений предикторных переменных для k-vo наблю- ния:
р-т=(р;,р;,...,р;), а1=(ммtt,my
тметим, что AtT, Aj, ..., А^ являются строками матрицы Т.
ормула (14.29) для прогнозирования значения зависимой переменной У*, соот- тствующего вектору предикторных переменных AJ, принимает теперь вид
к; =Al Р’.(14.35)
iK и раньше, задача заключается в нахождении оценок коэффициентов р*, ко- рые минимизируют остаточную сумму квадратов отклонений (14.18):
R» =5(Г, -у,*)2 =5(У, -А^р*)2 = (Y-Tp’)T(Y-Тр*).(14.36)
1алогично случаю одной предикторной переменной, для нахождения оценок обходимо продифференцировать выражение (14.36) по pj, Р*,.... р^ и при- внять производные нулю. Получающаяся система уравнений называется нор- \льной. Используя правила векторного дифференцирования, находим, что она геет вид
ТтТр-=Тту(14.37)
Предположим, что матрица ТтТ является невырожденной, то есть имеет обрат* ную матрицу (ТтТ)-1. Умножая левую и правую части равенства (14.37) HI (уТТ)-!, получаем явное выражение для вектора р*:
р- = (ТтТ)-1Тту(14.38)
Оценки, вычисляемые по этой формуле, называются оценками наименьших Квадратов. Для получения их, следовательно, необходимо:
найти произведение TTY;
найти произведение матриц ТтТ;
найти обратную матрицу (ТтТ)-1;
вычислить произведение (ТтТ)~* TTY.
Наибольшую трудность вызывает нахождение обратной матрицы (ТтТ)'’. Отметим, что обратные матрицы высоких порядков находятся обычно с помощью специальных компьютерных программ.
Если математическая модель (14.33) и (14.34) действительно имеет место, то, как и в случае одной предикторной переменной (опираясь на результаты шестой и седьмой глав), можно доказать следующие свойства оценки наименьших квадратов (14.38).
Вектор р* является несмегценной оценкой истинного вектора неизвестных параметров р:
£(Г) = р.(14.39)
Оценки наименьших квадратов имеют наименьшую дисперсию среди всех несмещенных оценок неизвестных параметров, являющихся линейными функциями наблюдений Уь У2, ..., У„.
Несмегценной оценкой неизвестной дисперсии а2 является
о2* =™£(У,-А?"р-)2,(14.40)
п - т -1 ,=1
где А/ —i-я строка матрицы Т.
Оценкой среднего квадратического отклонения служит а* = Ver2*.
Ковариационная матрица вектора оценок р* имеет вид:
С(р*) = о2(ТтТ)-1.(14.41)
Напомним, что j-й диагональный элемент этой матрицы С равен дисперсии О(Р* )оценки параметра р* J = 0, 1,..., т. Для получения оценкиС(Р*)ковариационной матрицы С(р‘) необходимо в эту формулу вместо неизвестной дисперсии ст2 подставить ее оценку а2*, вычисляемую по формуле (14.40).
Прогноз, рассчитываемый по формуле (14.35), является несмещенной оценкой истинного математического ожидания E(Yh) = А^ р и имеет дисперсию
ад’) = о2А;(ТтТ)-,д;,(14.42)
которая является наименьшей среди всех дисперсий линейных прогнозов.
[одставляя ст2' вместо ст2, находим оценку D^Y^ этой дисперсии.
Свойства 1-4 имеют место при любых распределениях случайных составляю- 1их Zb Z2, ..., Z„. Если кроме того эти составляющие имеют стандартное парольное распределение (4.13), то оценки метода наименьших квадратов совпада- •т с оценками максимального правдоподобия, получаемыми на основе лотности (6.42) при р = Ат р, С = ст21. В этом случае дополнительно справедли- ы следующие утверждения.
. Вектор оценок р* обладает наименьшими дисперсиями компонент среди всех (линейных и нелинейных) несмещенных оценок вектора параметров р.
. Отношение ст2'/ст2, где ст2 — неизвестная дисперсия, ст2' — ее оценка, вычисляемая по формуле (14.40), имеет х2 -распределение (12.12) с п - т - 1 степенями свободы. Доверительный интервал для неизвестной дисперсии ст2 при доверительной вероятности у имеет вид:
^0; (n-7n-l)CT2'[Xt2_7(n-7n-l)]"* J(14.43)
где х2_7(и-ти-1) — квантиль х2 -распределения с п - т - 1 степенями свободы, отвечающая вероятности 1 - у.
При доверительной вероятности у доверительным интервалом для математического ожидания Е(У4) = А^р зависимой переменной У*, соответствующей вектору-строке значений предикторных переменных А}= (1 tkx ... tkm), будет’
A Af р'± f^tn-тп-1)ст'(А^ (ТтТ)"* At)2 .(14.44)
I 2,
При доверительной вероятности у доверительным интервалом для значения зависимой переменной У* = А} р + Zt, соответствующим вектору-строке предикторных переменных А^=(1 tkx ... <t,„ ),будет
A^'l^tn-m-OaXA^T^r'A^l)2 .(14.45)
<2)
ущественным условием рассматриваемой математической модели (14.33), 4.34) является равенство дисперсий и некоррелированность случайных состав- 1ющих Z, соответствующих различным наблюдениям. Это условие, как и слу- 1Й одной предикторной переменной, может быть ослаблено. Можно предполо- ить, что ковариацио иная матрица вектора случайных составляющих является •агональной и известна с точностью до постоянного сомножителя ст2. При этом ловия (14.34) заменяются на следующие:
£(Z) = 0; C(Z) = ct2W,£(Z) = 0; C(Z) = ct2W,(14.46)(14.46)
£(Z) = 0; C(Z) = ct2W,
£(Z) = 0; C(Z) = ct2W,
(14.46)
(14.46)
е постоянная ст2 предполагается неизвестной, а матрица W — известной и диа- нальной:
а»,1 О ... О
(14.47)(14.47)О гг>2* О
(14.47)
(14.47)
< о о - ^V
В рамках этого условия случайные составляющие могут иметь различные дисперсии.
Оказывается, что рассматриваемый случай может быть сведен к ранее рассмотренному, когда W = I. Для этого необходимо использовать матрицу
1 w"2 =
/ 1—
0
0..
.0 )
.0
.(14.48)
< 0
0..
Если умножить теперь обе части выражения (14.33) на матрицу W 2, то получим
-1-1
W 2Y = W 2Тр+W 2Z.
Новая случайная составляющая W 2Z имеет, согласно формулам (6.36) И (14.46), ковариационную матрицу
-1-1-11
C(W'2Z) = W'2C(Z)(W-2)T = W2a2WW'2 = a2I.
W 2Y =W 2Y =Следовательно, если вместо вектора наблюдений Y рассматривать вектор
W 2Y =
W 2Y =
(14.49)
а вместо матрицы предикторных переменных Т рассматривать W 2 Т, получающуюся из Т путем умножений г-й строки на -Jie":
(14.50)(14.50)
(14.50)
(14.50)
то приходим к прежней модели с постоянными дисперсиями. Для этой модели справедливы все ранее выведенные формулы после замены в них, конечно, Y и Т на (14.49) и (14.50). Если возвратиться к первоначальному вектору ¥, то формулы (14.36), (14. 38), (14.40), (14.41), (14.42), (14.44) и (14.45) должны быть переписаны соответственно в виде
=Ew,(y,-Л^р*)2 =(Y-Tp-)TW-,(Y-Tp*),(14.51)
1=1
p^^W'T^^W^Y,(14.52)
П2*=ЩМ^Р’)2.(14.53)
п - т -1 ,=i
C(p,) = a2(TTW-1T)"1,(14.54)
(14.55)(14.56)(14.57)(14.55)(14.56)(14.57)£>(y;) = o2Aj(TTW-,T)-,A4,
(14.55)
(14.56)
(14.57)
(14.55)
(14.56)
(14.57)
Alp-±^(H-m-l)Q-(Aj(TTW-‘T)-,At)2k2J
Ajp^t^^-m-OoXAj^W^Tr-A.+ lM^k2,
; <3V«0k — дисперсия ^-го наблюдения, для которой значение wk считается
вестным.
>рмула (14.43) остается прежней.
качестве примера найдем выражения (14.52) и (14.55) для случая одной пре- кторной переменной. Имеем:
T'w ‘t = ttw 2w 2т= J? ' “V »
VIA 1Л№<)
едовательно, У^ №> -У^и,г
У^У^ЧХ^ЭЧ-Е^ У®, J’
P*=(TtW-‘T)"1 TtW ‘y =
1(у Y.Wi у t^Wj - y; tjW; У YjW,ti'
У®,Уt2®, ЧУ^®,)2 ( У®/Уу^^-'LtiWil?^, >
) соответствует ранее приведенным скалярным формулам (14.16).
iee, согласно формуле (14.55)
;)=o2Aj (TrW-1T)-1Ai=o2(l tj;)=o2Aj (TrW-1T)-1Ai=o2(l tj1y^y^wi-cy t^J21y^y^wi-cy t^J2. ^y»( -у^®(. ^y»( -у^®(
;)=o2Aj (TrW-1T)-1Ai=o2(l tj
;)=o2Aj (TrW-1T)-1Ai=o2(l tj
1
y^y^wi-cy t^J2
1
y^y^wi-cy t^J2
. ^y»( -у^®(
. ^y»( -у^®(
= °2 V—1—гт(Z^i -^к£^№- + ^2Xwi) =
Ywiz№-ztiwi - (Ztiwi )2 '
Последнее выражение также совпадает с приведенной ранее формулой для D(Y^ ). Пример 14.2. Продолжим рассмотрение примера 14.1, приняв в качестве зависимой переменной объем платных услуг населению (млн руб.), а в качестве пре- дикторных переменных:
денежные доходы в месяц (за июнь) на душу населения t\ (рублей);
прожиточный минимум в месяц t^ (рублей);
численность населения области tg (тыс. человек).
В табл. 14.4. представлены соответствующие статистические данные.
Таблица 14.4. Статистические данные по 20 областям России за январь-сентябрь 1990 г.
i
Область
tM
^,2
1,,3
Г.
1
Архангельская
1224.8
1111
1492
1769.6
2
Вологодская
1229.3
929
1339
2130.1
3
Мурманская
2411.7
1190
1017
2506.9
4
Ленинградская
1010.2
929
1682
1633.0
5
Новгородская
1209.5
822
738
1116.9
6
Псковская
880.4
729
820
792.9
7
Брянская
840.0
701
1465
1847.7
8
Владимирская
908.1
784
1631
1482.1 ■
9
Ивановская
668.3
722
1246
1618.0
10
Калужская
897.3
776
1094
1207.8
И
Костромская
939.3
744
797
595.4
12
Московская
1058.5
884
6564
13 674.9
13
Орловская
1035.9
755
907
820.6
14
Рязанская
891.8
815
1307
1131.7
15
Смоленская
1198.0
754
1157
1257.7
16
Тверская
706.4
820
1633
1392,2
17
Тульская
1070.2
797
1786
1776.6
18
Ярославская
1259.7
770
1436
1988.8
i
Область
А.
Аз
<и
у
9
Кировская
872.9
941
1613
1989.8
0
Нижегородская
890.3
739
3697
4720.3
счисления в пакете STATISTICA показали, что оценка линейной регрессии 4.29) имеет вид:
Y* = -2236.32 + 1.38^ -0.59^ + 2.12^.
статочная сумма квадратов отклонений (14.36) 7?0 = 6.885 • 106, а оценка дис- рсии (14.40) а2' = 43.03-104.
4.4. Проверка адекватности модели ногомерной линейной регрессии
роверка степени соответствия имеющихся данных постулируемой модели 4.33) и (14.34) для общего случая проводится так же, как для случая одной «дикторной переменной (см. раздел 14.1). В частности, имеют место формулы 4.17)-(14.20), представляющие полную сумму квадратов отклонений относи- льно среднего R^ = 22 О'» -Y )2 в виде двух составляющих: Rp = 22 (У;* У ~ чма квадратов отклонений, обусловленная регрессией, Ro = ^(Yt -У,*)2 — ос- точная сумма квадратов (сумма квадратов относительно регрессии). Конечно, я вычисления оценок Y* в общем случае необходимо пользоваться формулой 4.35). Отношение R2, вычисляемое по формуле (14.21), служит количествен- й мерой точности регрессионной модели. Чем ближе оно к 1, тем модель точ- е. Величина R называется множественным коэффициентом корреляции.
1 графических проверок наибольшее значение имеет исследование остатков
У, -Y* = У; -А7Р*,(14.58)
в А^ — /-я строка матрицы Т.
афик остатков может быть построен в зависимости от любого из следующих гументов: номера наблюдения г, значения прогнозируемой переменной У,*, знания каждой предикторной переменной tj.
ли дисперсии всех наблюдений постоянны, как это следует из модели (14.34), график остатков не должен иметь тенденции к изменению в зависимости от )бого из перечисленных аргументов. Различные случаи, которые могут встреться, были изображены на рис. 14.3 и рассмотрены в разделе 14.1.
сьма важно проверить гипотезу о незначимости регрессии Я: 0, =0 V j = 1, ..., то есть о равенстве нулю всех коэффициентов 0!, 02, - - •, 0„ • Критерием пробки является отношение
F = (n-m-Y)—^-,(14.59)
Rom
областью принятия — интервал
[0,F"1 (1 -«, zu я-т-1)],(14.60)
где а — уровень значимости, F '(1-а, т, n-m-V) — квантиль /"-распределения стип-т - 1 степенями свободы, отвечающая вероятности 1-а.
Предположим, что проведенные проверки не выявляли расхождения между имеющимися данными и моделью. Может возникнуть сомнение в том, ЧТО все m + 1 коэффициентов р,, р2ря являются значимыми, то есть необходимыми для предсказания значения зависимой переменной Y. Это очень важно, поскольку введение каждой дополнительной предикторной переменной в модель вызывает дополнительные затраты, связанные со сбором статистических данных ДЛЯ оценки соответствующих параметров и с получением значений этой переменной для прогнозируемой ситуации. Проверим, например, гипотезу о том, что 0„ ■ О, то есть что т-я предикторная переменная не оказывает значимого влияния на зависимую переменную (незначима). Отметим, что т-я переменная выбрана ЛИШЬ для простоты обозначений (путем перенумерации можно сделать любую переменную последней).'
Гипотеза Н: рт = 0 может быть проверена двумя способами. При первом способе поступают так. Для параметра р„ находят оценку р^ и оценку дисперсии D(0^ ), равную 5(Р* ) = Ст-н, m+i. Здесь сm+L m+J элемент ковариационной матрицы С, стоящий на пересечении последней (т + 1)-й строки и последнего (т + 1)-ГО столбца (см. формулу (14.41), где вместо неизвестной величины ст2 следует подставлять ст2*, вычисляемую по формуле (14.40)). В случае справедливости гипотезы Н: р„ =0 отношение (р;„)2/5(р; ) = (Р;)2/ст+1 т+) имеет распределение Фишера с одной и п - т - 1 степенями свободы. Для уровня значимости а областью принятия гипотезы является интервал
[0,f"'(l-a, 1,и-т-1)],(14.61)
где F*x (1 - a, 1, п - т-1) — квантиль /"-распределения с 1 ия - m - 1 степенями свободы, отвечающая вероятности 1-а.
Второй способ проверки гипотезы Н: ри = 0 является более общим и применяется во многих случаях. Гипотеза проверяется в два этапа. Вначале рассматривается модель регрессии, включающая все т предикторных переменных. Для ЭТОЙ модели находится сумма квадратов отклонений относительно регрессии R» = ^XYt - У,*)2. На втором этапе рассматривается та же модель с условием р,„ = 0, то есть при наличии только (т - 1 )-й предикторной переменной. Для новой модели также находится сумма квадратов отклонений относительно регрессии, которую обозначим через R'o. Критерием проверки гипотезы является отношение Фишера
F = A_(n-m-W0 ~R0).(14.62)
Если гипотеза верна, то этот критерий имеет /"-распределение с1ип-т-1 степенями свободы. Областью принятия гипотезы при уровне значимости а будет интервал (14.61).
Может случиться, что следует проверить гипотезу о незначимости сразу нескольких предикторных переменных. Для определенности положим, что таковыми являются I последних переменных 0„./tlр„. Как и прежде, гипотезу
доверяем в два этапа. Вначале вычисляем сумму квадратов отклонений от ре- рессии Ro для полной модели с тп предикторными переменными. Затем вычи- ляем эту же сумму для новой модели, содержащей только тп - I предикторных шременных. Обозначим последнюю сумму Кй. Критерием проверки гипотезы Я: im./+i = 0,..., Р,„ = 0 при альтернативе отсутствия этих ограничений служит отно- иение Фишера
F = А-^п-тп-1)(Ro -Ro). (14.63)
Если гипотеза верна, то это отношение имеет f-распределение с 1ип - m - 1 сте- 1енями свободы. Областью принятия гипотезы при уровне значимости а будет штервал
[О,/"‘(l-a,/, n-m-1)]. (14.64) ’ассмотренная гипотеза является частным случаем более общей линейной гипо- езы. Последняя предполагает наличие / линейных соотношений между неиз- естными параметрами модели ро, р,, р2> •••> Рт и описывается следующим обра- ом. Пусть Н — известная матрица порядка lx(m + 1). Предполагается, что 1атрица НТН является невырожденной, и условие (14.34) выполнено. Необхо- ,имо проверить гипотезу Я: Y = Тр + Z при ограничениях Нр = 0 при альтерна- иве Л: Y = Тр + Z без всяких ограничений на параметры.
1оследовательность проверки этой гипотезы такая же, как и прежде. Вначале ассматривается альтернатива и вычисляется остаточная сумма квадратов от- лонений от регрессии Ro = Z(Y, - У,*)2, затем рассматривается гипотеза. Ограни- ениенр=онакладывает / независимых связей на неизвестные коэффициенты 0, Р,,..., р„. Используя их, можно выразить одни коэффициенты через другие и результате вместо m + 1 получить тп + 1 - I неизвестных коэффициентов. Соот- етственно этому вместо тп будет тп - I предикторных переменных, а вместо матицы Т порядка пх(т + 1) будет фигурировать некоторая другая матрица поряд- а пх^тп + 1 - /). Решая теперь задачу наименьших квадратов для этих новых 1 + 1 - / неизвестных параметров, найдем остаточную сумму квадратов отклоне- ия от регрессии, которую обозначим Ко. Составим соотношение (14.63). Если ипотеза верна, то отношение имеет /■’-распределение с I и п - m + 1 степенями вободы. Областью принятия гипотезы является интервал (14.64).
щк и в одномерном случае, для проверки гипотезы об адекватности модели моут использоваться более сильные методы, если имеются повторяющиеся наблю- ения. Повторяющимися считаются наблюдения, характеризующиеся одина- овыми значениями всех предикторных переменных, то есть те, для которых троки А 7 матрицы Т совпадают. В этом случае сумму квадратов относительно егрессии Ro можно представить в виде двух составляющих: обусловленных чис- ой ошибкой Re и неадекватностью модели Ro - Re. Дисперсионный анализ прово- ится, как это показано в табл. 14.5, аналогичной табл. 14.2 (последняя получается з нее при т = 1). При этом остаются справедливыми формулы (14.25)-( 14.27), риведенные для одномерного случая. Гипотеза об адекватности модели прове- яется аналогично предыдущему для критерия Фишера
(14.65)(14.65)^(^о -Re)(п-т-п, -1)7?, ’
(14.65)
(14.65)
при области принятия гипотезы [0,F-*(l-a,n-m-n, -1) и,].(14.66)
При попадании критерия (14.65) в интервал (14.66) гипотеза принимается. Пример изложенного дисперсионного анализа приведен ниже.
Таблица 14.5. Дисперсионный анализ в случае многомерной регрессии
Источник
Сумма квадратов
Число степеней свободы
Средний квадрат
Регрессия
Отклонение от регрессии
Rp R»
т
п - т - 1
Rp/m
Ro/l" - m -1)
в том числе: чистая ошибка
неадекватность
R.
R» - R«
”,
п - т - 1 - п,
Rq-R, п-т -1-я,
Отклонение от среднего
R^
п - 1
Выше рассматривается случай одинаковых дисперсий, соответствующий модели (14.34). Предположим теперь, что эта модель заменяется на модель (14.46). Для того чтобы воспользоваться полученными результатами, необходимо провести следующие преобразования:
У, -> ^"У,- (то есть Y -> W 2 Y),
^ -> ^jw"^ (то есть Т -> W 2Т).
Теперь для этих новых переменных остается справедливым все сказанное в настоящем разделе.
Пример 14.2а. Продолжим рассмотрение примера 14.2. Рассчитанные суммы квадратов отклонений составляют: полная (14.17) 7?^ = 151.068 • 106, остаточная (14.18) 7?о = 6.885 • 106, обусловленная регрессией (14.19) Rp = 144.183 • 10е. Множественный коэффициент детерминации (14.21) R2 = 0.95422, а множественный коэффициент корреляции R = 0.97695. Близость последнего к единице говорит о значимости регрессии.
Проанализируем теперь остатки. В табл. 14.6 представлены значения зависимой переменной — фактические у и рассчитанные У,*, а также остатки У( -У,*. График остатков в зависимости от номера наблюдения i представлен на рис. 14.5. Его вид не противоречит постулированной модели.
Таблица 14.6. Анализ остатков для модели многомерной регрессии
i
Область
у
у
у-У,*
1
Архангельская
1769.6
2096.7
-327.1
2
Вологодская
2130.1
1779.4
350.7
3
Мурманская
2506.9
2549.5
-42.7
4
Ленинградская
1633.0
2234.5
-601.5
Область
Yj
Y-
Y{ -Y^
5
Новгородская
1116.9
487.0
629.9
6
Псковская
792.9
256.6
536.3
7
Брянская
1847.7
1568.0
279.7
8
Владимирская
1482.1
2001.8
-519.7
9
Ивановская
1618.0
895.5
722.5
I0
Калужская
1207.8
855.5
352.3
.1
Костромская
595.4
280.3
315.1
2
Московская
13 674.9
12 594.7
1080.2
3
Орловская
820.6
630.8
189.8
4
Рязанская
1131.7
1298.2
-166.5
5
Смоленская
1257.7
1357.0
-99.3
6
Тверская
1392.2
1758.7
-366.5
7
Тульская
1776.6
2527.5
-750.9
8
Ярославская
1988.8
2021.4
-32.6
9
Кировская
1989.8
1920.6
69.2
0
Нижегородская
4720.3
6339.2
-1618.9
Среднее
2272.7
2272.7
0
'Д s 1А1141 К A: Multiple Regression (Graph I; ZD Gr.iph)
П1 етЖЖЗЕЗ
80008000From; Predicted & Residual Values (zad1 .sta) Dependent variable. YFrom; Predicted & Residual Values (zad1 .sta) Dependent variable. Y600060004000T5 20008DC04000T5 20008DC0-2000-4000-2000-40001 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 201 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20Рис. 14.8. График остатков для многомерной регрессииРис. 14.8. График остатков для многомерной регрессии
8000
8000
From; Predicted & Residual Values (zad1 .sta) Dependent variable. Y
From; Predicted & Residual Values (zad1 .sta) Dependent variable. Y
6000
6000
4000
T
5 2000
8
DC
0
4000
T
5 2000
8
DC
0
-2000
-4000
-2000
-4000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Рис. 14.8. График остатков для многомерной регрессии
Рис. 14.8. График остатков для многомерной регрессии
Нам осталось проверить гипотезу о незначимости регрессии с помощью критерия Фишера (14.59). Примем уровень значимости а = 0.05. В нашем случае число данных п равно 20, а число предикторных переменных в модели т = 3. Поэтому квантиль F-распределения F'*(l-a; т, п -т-1)= /^'(0.95; 3, 16) = 3.24. Следовательно, область принятия гипотезы (14.60) [0; F'1 (1 - a; т, п - т -1)] = = [0; 3.24]. Подсчитаем значение критерия Фишера (14.59):
F = (л - т - 1) Rp/(m - 72q) = 16 144.183 • 106/(3 ■ 6.885 • 106) = 111.68.
Поскольку значение критерия не попадает в область принятия, то гипотеза О незначимости регрессии отклоняется.
Оказывается, что вторая предикторная переменная t2 (прожиточный минимум в месяц) является незначимой. После ее устранения окончательная модель линейной регрессии имеет вид:
Y* =-2552.88 + 1.231, + 2.11t3.
В этой модели обе предикторные переменные высоко значимы.
Более подробный анализ линейных регрессионных моделей приведен в компьютерном практикуме №21.
Общая модель регрессии
Как и ранее, мы будем интересоваться предсказанием значения зависимой переменной Y. Однако теперь будет предполагаться, что: 1) предикторные переменные являются случайными величинами, которые будем обозначать Xb Х2,.... XR; 2) зависимость Yот Хь Х2,..., Хт в общем случае не является линейной; 3) кроме случайных величин Хь Х2,..., Хт на Y могут влиять и другие случайные величины, значения которых не фиксируются и которые называются случайными составляющими. Задача заключается в том, чтобы найти такую функцию g(Xx, Х2,..., Хт\ называемую предиктором, которая обеспечивает минимум среднеквадратической ошибки
E((Y-g(XvX2X,,,))2).(14.67)
Следовательно, зафиксировав значения предикторных переменных Х\, Х2,..., Хш, прогноз значения зависимой переменной будет осуществляться по формуле
Y*=g(XvX2Х,Д(14.68)
Теорема 14.1. Пусть X = (Хь Х2,..., ХтУ, х = (хь х2хт)Т и М(х) = £(У | X = х) — условное математическое ожидание Y при зафиксированном значении х вектора предикторных переменных X. Тогда минимальное значение критерия (14.67) достигается для функции
g(x>M(x') = E(Y\X = xy(14.69)
Доказательство
Во-первых, используя свойства математического ожидания, установим следующие тождества:
E((Y - M(X))(g(X) - М(Х))) = E(E((Y - M(X))(g(X) -М(Х))| X - х)) -
- £((g(X) - М(Х))Е№ - М(Х))| X = х)) = £((g(X) - M(XW) - М(Х))) -0.
Теперь для критерия (14.67) сделаем следующие преобразования:
E((Y -g(X))2 ) = E«Y -М(Х) + M(X)-g(X))2 ) =
= E((Y - М(Х))2 -2(У - M(X))(g(X) - М(Х» + (g(X) - М(Х))2) == E((Y -М(Х))2)+ £((g(X)-М(Х))2) £ E((Y-M(X»2).Следовательно, нижняя грань для E^Y - g(X))2) достигается для функцииg(X) = M(X).□
Определение 5. Условное математическое ожидание М(х) = £(У | X = х) зависимой переменной У, рассматриваемое как функция предикторных переменных х = (х^ х2хт), называется функцией регрессии У на X.
Итак, наилучшим предиктором (14.68) в случае критерия (14.67) является функция регрессии М(х\
Отметим, что согласно формуле (6.19)
£(У) = £(М(Х)).(14.70)
Поэтому зависимую переменную У можно представить в виде
У =У+Z = M(X)+Z,(14.71)
где Z — случайная составляющая, имеющая нулевое математическое ожидание: E(Z) = 0.
Определение 6. Говорят о линейной регрессии У на X, если функция регрессии является линейной относительно предикторных переменных х = (хь х2,..., х,„)т:
Л/(х) = р0 +Р!х1 +Р2х2 + ...+р„хт.(14.72)
В противном случае регрессия называется нелинейной.
Определение 7. Условной дисперсией случайной величины У при условии, что X = х, называется
£>(У| X = х) = £((У - М(Х))21X = х).
Внутригрупповой дисперсией зависимой переменной У называется математическое ожидание ее условной дисперсии:
oVx ~E{D(Y\X)) = E{(Y-М(ХУ)2).(14.73)
Межгрупповой дисперсией называется дисперсия случайной величины М^ХУ
^ = Е«М(Х>- Е(М(Х)))2 ).(14.74)
Имеет место следующее разложение дисперсии зависимой переменной У:
D(Y) = E((Y - E(Y))2) = £((У - М(Х) + М(Х) - E(Y ))2) =
= £((У-М(Х))2) + £((М(Х)-£(М(Х))^+ о^.(14.75)
Определение 8. Корреляционным отношением называется
П?.х = a2M/D(Y) = 1 - а2х/П(УУ(14.76)
По определению 0 ^ц2 х 51. Из разложения (14.75) следует, что дисперсия зависимой переменной D( У) складывается из отклонений относительно регрессии ст2 х и отклонений а^, обусловленных регрессией. Если прогноз зависимой переменной точный, то Оу х = 0 и корреляционное отношение равно единице. Если наоборот, информация о значениях предикторных переменных ничего не дает, то М(х) = E(Y\ X = х) = E(Y), Оу х = D(Y)h корреляционное отношение равно нулю.
Таким образом, корреляционное отношение представляет собой меру связи между зависимой и предикторными переменными, или меру точности прогноза.
Важным частным случаем является линейная регрессия (14.72). Так как критерий (14.67) минимален, когда g(x) — функция регрессии, то последнюю можно искать путем рассмотрения общей линейной функции
g(x1,x2,...,xm) = p0 + p1x1 +р2Х2 +... + р„Х„
и определять параметры {Р;} путем минимизации (14.67).
Введем для дальнейшего следующие обозначения:
С — ковариационная матрица предикторных переменных X = (Хь Х2,..., Х„)г, предполагаемая невырожденной, так что обратная ей матрица С-1 существует;
©о — вектор-"столбец ковариаций между У и X = (Хь Х2Хт)т;
Р = (Р1, Р2мт — вектор-столбец оптимальных значений параметров Pi> р2,...,
Преобразуем теперь критерий (14.67), используя равенства (14.72), £(У) = р0+ртЕ(Х)
и (рт(Х-Е(Х)))2 = рт(Х-Е(Х))(Х-£(Х))тр:
E((Y - М(Х))2 ) = E«Y -(Ро + р,X, + р2Х2 + ... + ртХи ))2) =
= Е«¥ - р0 - Рт X)2 ) = Е«¥ -£(¥)- рт(Х - Е^У ) =
= E^Y-Е^^2 -2(У -£(У))РТ(Х-Е(Х)) + (РТ(Х -Е(Х)))2 ) =
= E((Y-E(Y ))2) -2 рт£((У-£(У ))(Х - Е(Х)У) + рт(£((Х - Е(Х)ХХ - E(X)f ))р -
= £)(У)-2ртОо+ РТСР-
Итак, подлежащий минимизации критерий имеет вид
Т((У -МХ))2) = О(У)-2РТО2+ ртср.
Взяв векторную производную по р = (р0, Pt,..., Р„ )т и приравняв ее нулю, получаем следующую систему нормальных уравнений в матричном форме:
-2оо + 2Ср=0.
Предполагая, что ковариационная матрица С является невырожденной, то есть имеющей обратную матрицу С-1, находим выражение для вектора параметров линейной регрессии Р = (Ро, PtPm):
₽ = С1б2.(14.77)
Последний неизвестный параметр Ро находится из условия (14.70):
р0 = Е(У)-ртЕ(Х).(14.78)
Итак, в случае линейной регрессии имеем выражение:
М^ = E(Y) + (о2 )ТС"* (X- £(Х)).(14.79)
Пример 14.3. Рассмотрим случай одной предикторной переменой (т = 1). Обозначим D(X) и ах дисперсию и среднее квадратическое отклонение единственной предикторной переменной X; cY =^D(Y) среднее квадратическое отклонение
1ависимой переменной Y; С(Х, У) и р ковариацию и коэффициент корреляции дежду предикторной и зависимой переменными X и Y. В данном случае:
Х = (ХХ р = (Р1), C = (D(X)), С1 =(D(X))-‘, о2=С(Х,У)
4 ПОЭТОМУ
р. = С(Х, Y)/D(X), р0 = £(У)-С(Х, Y№VD<XY
Следовательно, в случае линейной регрессии прогноз зависимой переменной эсуществляется по формуле'
У = £(У) + р-^(Х-£(Х)).(14.80)
ах
Из последней формулы видно, что если коэффициент корреляции р положителен, то в среднем большим значениям предикторной переменной X отвечают большие значения зависимой переменной У, и наоборот. В связи с этим говорят о положительной (а при р < 0 — об отрицательной') корреляции между случайными величинами У и X.□
Формула (14.80) позволяет дать важную интерпретацию коэффициенту корреляции р. Найдем дисперсию D(Y*) наилучшего линейного предиктора Y* зависимой переменной У, определяемого формулой (14.80), и сравним ее с дисперсией У. Согласно формуле (14.80), имеем:
D(Y')=D £(У) + р^-(Х-£(Х)) =D p^X = р-^ D(X) = p2D(Y).
к ах) V ах ) V ах 7
Следовательно, р2 = D(Y‘ )/D(Y), то есть квадрат коэффициента корреляции равен доле дисперсии зависимой переменной У, приходящейся на линейный предиктор У*.
Теперь найдем корреляционное отношение (14.76) в случае одномерной линейной регрессии (14.72): М(х) = Ро + Р^. Согласно формуле (14.74), имеем:
о^ = £((М(Х)-£(М(Х)))2) = £((Р0 + р,Х-Ро ~Р,£(Х))2) =
= ^D(X) = (C(X,Y))2/D(X).
Итак,
2 _ а2м _ (С(Х,У))2 _р21)(Х)1)(У)9
D(Y) D(X)D(Y) D(X)D(Y) Р '
Итак, в случае линейной регрессии корреляционное отношение равно квадрату коэффициента корреляции.
Оказывается, что такую же форму (14.80) будет иметь оптимальный (в смысле критерия (14.67)) линейный предиктор при любой форме регрессионной зависимости У от X.
В заключение этого раздела отметим, что изложенные методы предсказания применимы, когда известны теоретические математические ожидания, дисперсии и ковариации, то есть изложенные подходы имеют вероятностный характер. В противном случае мы имеем дело со статистическими задачами. Здесь можно применять результаты первых четырех разделов, а также материал следующего ПЙ1ЛР1Й
14.6. Статистическое оценивание корреляционных зависимостей
В десятой и последующих главах рассматривались статистические задачи, СМ* занные с одномерными случайными величинами. В настоящем разделе будут рассмотрены методы обработки статистических данных о двумерных случайных величинах. При этом основное внимание уделяется ковариации и коэффициенту корреляции. Излагаемые методы применимы и для многомерных случайных величин, поскольку позволяют оценивать ковариацию и коэффициент корреляции для любой пары компонент этих величин.
Итак, пусть (X, У) — двумерная случайная величина и (xi, z/j), (х2, у2),..., (хЯ1 у,) — зарегистрированные ее значения в п наблюдениях. На основании этих данных математическое ожидание, моменты и дисперсия компонент X и У оцениваются по формулам (11.11) и (11.13). Оценивание характеристик двумерного распределения для (X, У) производится по формулам главы 5. При этом зарегистрированные значения трактуются как возможные значения (х,, у,) двумерной случайной величины (X, У) и каждому такому значению приписывается вероятность 1/я. В частности, смешанный момент (5.15) и ковариация (5.16) оцениваются по формулам:
Е\Х¥) = - У Х^, С\Х, У) = E\XY)-Е*(Х)ЕЧУ),(14.81)
п |=1
где £*(Х) = Х = — УХР £*(У) = У =-УУ, — оценки математического ожида- п ,-1п „1
ния компонент X и У.
Вычисленная по приведенным формулам оценка С*(X, У) является смещенной. Как показывает следующая теорема, смещение можно легко устранить.
Теорема 14.2. Несмещенной оценкой смешанного момента £(ХУ) является оценка £*(ХУ), вычисляемая по формуле (14.81). Несмещенной оценкой ковариации С(Х, У) является
C(X,Y) = E\XY) —J—tx^Yj.(14.82)
и(п-1)м , ~
Доказательство
Несмещенность первой оценки устанавливается легко:
Е(ЕЧХ¥» = е(- У X?,4 - У Е^Х^,) = - У £(ХУ) = £(ХУ )
IЯ М ) п ,-=1п ы
Оказывается, что С‘(Х, У) является смещенной оценкой ковариации. Смещение вызвано тем, что математическое ожидание произведения оценок E'^X^E'^Y") не равно произведению их математических ожиданий:
£(£*(Х)£'(У)) = £||—У X,£(£*(Х)£'(У)) = £||—У X,=ff4£fz^+^ll-=ff4£fz^+^ll-
£(£*(Х)£'(У)) = £||—У X,
£(£*(Х)£'(У)) = £||—У X,
=ff4£fz^+^ll-
=ff4£fz^+^ll-
= 4 ifzE(XlYl )+E(XlYl )K 4 ifzE(X)E(Y) + Е(ХУ)1 -
= —£(Х)£(У) + 1£(ХУ)* £(Х)£(У).ип
3 отличие от этого в формуле (14.82) произведение X, Y, с одинаковыми индек- :ами г не встречается, поэтому для математического ожидания имеем:
\^??(?2 1) i=i j*j у и(?2 l)i=l j*i=£ I E(XW) = Е(Х)£(У ).
Следовательно, формула (14.82) дает несмещенную оценку ковариации. □ Этметим, что часто для оценки ковариации используют формулу, эквивалентную (14.82):
С(Х,У) = ^-5(Х,-Х)(У,-У),(14.83)
п -1 ,=|
гйеХ=^ХиУ =-t,Yi. и (=1и м
Коэффициент корреляции (5.19) оценивается по формуле
р-(14.84)
где Sx.Sy — оценки (11.3) дисперсии компонент X и У:
и -1 мп -1 i.1
Имея оценки X, У, 5^, Sy, р" неизвестных параметров Е(Х), E(Y), ст^, Оу, р одномерной модели линейной регрессии (14.80), можно подставить их вместо последних. В результате получаем эмпирическую (выборочную) линию регрессии-.
_.__ 5(X,-Х)(У,-У)_
у =у+p-£L(X-X) = y+^-_ (Х-Х).(14.85)
СТ^^Х; -X)2
Это в точности совпадает с оценками (14.7), которые дает метод наименьших квадратов для одномерной линейной регрессии.
Компьютерный практикум № 21. Оценка параметров модели линейной регрессии в пакете STATISTICA
Цель и задачи практикума
Целью практикума является приобретение практических навыков по оценке параметров модели линейной регрессии в пакете STATISTICA.
Задачами практикума являются расчет параметров и оценка качества моделей одномерной и многомерной линейной регрессии.
Необходимый справочный материал
В пакете STATISTICA представлены различные методы регрессионного анализа, включая многомерную линейную и нелинейную регрессии. Расчет линейной регрессионной модели в пакете STATISTICA выполняется в модуле Multiple Regression. Оценка параметров нелинейной регрессии в пакете STATISTICA производится в модуле Nonlinear Estimation. Запуск нужного модуля осуществляется в окне переключателя модулей STATISTICA Module Switcher.
Реализация и результаты выполнения задания
В настоящем практикуме решаются две задачи: расчет модели одномерной линейной регрессии и расчет модели многомерной линейной регрессии. При этом будем использовать отчетные данные по 31 области Европейской части России за январь-сентябрь 1999 г., представленные в табл. 14.7. Данные получены из статистического сборника «Социально-экономическое положение России: январь- сентябрь 1999 года. — М.: Российское статистическое агентство, 1999». Данные последнего столбца таблицы (инвестиции в основной капитал) взяты за 1998 г. (см. Российский статистический ежегодник: Стат. сб. / Госкомстат России. — М., 1998).
Таблица 14.7. Социально-экономические показатели России в период январь-сентябрь 1999 г.
№
Область
= о *
5 5
S
Й S
a S
о 5
5 & s о
У s
« vd 11 8 5 a S g 5
р
о 8
CD
1 S
§ ° ^ >-> ^ сх B'S 1 К S 2
X у*
И и
к
1
Архангельская
1492
17 636
7550.7
3395.6
19 609
2508
2
Вологодская
1339
19 023
6914.6
4803.2
36 594
2837
3
Мурманская
1017
15 736
И 208.2
4508.4
24 926
2154
4
Ленинградская
1682
25 814
8952.8
4410.3
23 011
4437
5
Новгородская
738
13 000
4891.7
1567.3
10 247
1079
6
Псковская
820
13 014
3598.3
1134.7
3596
866
7
Брянская .
1465
15 926
5574.5
1780.4.
6785
948
8
Владимирская
1631
20 974
7218.2
2802.1
16 161
2220
9
Ивановская
1246
17 082
3969.2
1250.5
6758
879
10
Калужская
1094
18 486
4842.0
1894.2
7988
1691
И
Костромская
797
12 952
3723.8
1299.6
6418
1255
12
Московская
6564
104 392
32 157.7
20 054.9
56 443
13 363
№
Область
5
У
и
ё§
*!
5 §
У х
>Х X
о-S
С §
с я
5 &
s о
У s
3Х \Н о >> х
5 =
5 § &S 6 § р
о 8
i1
* 2 К MD
8 о 5
С s з
£хо о >>
3 я s S в. £ В I £ 1 о &
>х
5 <5 о О °- S * s s
£ 5 У | S ё s 5
13
Орловская
907
11 728
5613.8
2464.3
6844
1215
14
Рязанская
1307
21 628
5911.0
2365.5
И 245
1721
15
Смоленская
1157
16 874
7747.5
1703.3
13 172
1056
16
Тверская
1633
28 230
5565.7
2426.9
12 881
2293
17
Тульская
1786
23 165
8654.1
3051.4
19 461
2342
18
Ярославская
1436
24 121
8419.4
4346.7
22 636
2382
19
Кировская
1613
24 392
8034.1
2844.1
16 126
1623
20
Нижегородская
3697
49 246
19 539.4
9418.4
50 927
7620
21
Белгородская
1484
21 689
9124.9
3195.8
21 893
3683
22
Воронежская
2486
31 617
14 056.6
3441.8
16 532
3133
23
Курская
1336
17 523
7471.7
2219.3
13 676
2586
24
Липецкая
1248
13 982
8120.1
2864.6
27 638
2497
25
Тамбовская
1292
16 120
7082.4
1538.1
6234
1181
26
Астраханская
1029
14 385
5269.3
1874.1
6701
1912
27
Волгоградская
2701
51 174
И 824.9
5087.2
28 284
5068
28
Пензенская
1549
17 989
5791.8
1997.1
9199
1960
29
Самарская
3309
61 549
48 848.4
14 961.1
76 228
8930
30
Саратовская
2724
44 602
И 799.1
5012.3
21 215
5314
31
Ульяновская
1483
17 323
7344.4
2556.4
14 552
1996
Задача № 1: Одномерная регрессия
Первая задача практикума заключается в расчете модели одномерной линейной регрессии (14.5), характеризующей зависимость числа предприятий и организаций области (У) от численности населения (Г).
Расчеты будем выполнять в модуле Multiple Regression. Для запуска данного модуля в окне переключателя модулей STATISTICA Module Switcher (рис. 10.4) отметим строку Multiple Regression и нажмем кнопку Switch to. В результате откроется стартовое окно модуля, представленное на рис. 14.6.
Рис. 14.6. Стартовое окно модуля Multiple Regression
Ввод исходных данных
Ввод данных выполним в следующей последовательности:
закроем стартовое окно Multiple Regression кнопкой Cancel;
с помощью команды прикладного меню File—New Data откроем новую таблицу и сохраним ее на диске с именем Prim_Reg.sta;
с помощью команды Cases—Add добавим в таблицу 21 новую строку, увеличив общее их количество до 31;
для удобства работы переименуем заголовки строк таблицы, заменив их на названия областей, используя технологию, описанную в компьютерном практикуме № 16;'
Рис. 14.7. Таблица исходных данных
переименуем заголовки столбцов VAR1 и VAR2, заменив стандартные имена переменных на Г и У (см. компьютерный практикум № 16);
в столбец таблицы Т введем численность населения областей, в столбец У — число предприятий и организаций (исходные данные выбираются из табл. 14.7).
Результаты ввода представлены на рис. 14.7. Просмотр исходных данных выполнен с использованием линии прокрутки (на рисунке соответственно показаны две части таблицы).
Оценка линейной регрессии
Используя значения показателей в столбцах таблицы Г и У, построим график зависимости У от Г (тип используемого графика — Scatterplots), который позволяет наглядно оценить наличие зависимости между показателями. Технология построения графика включает следующие шаги:
выполнить команду меню Graphs—Stats 2D Graphs—Scatterplots;
в открывшемся окне 2D Scatterplots (двумерные графики рассеивания) выберем тип графика Regular (обычный) и Linear (линейный), далее с помощью кнопки Variables зададим по оси абсцисс (Var X) — независимый фактор Т, по оси ординат (Var У) — зависимую переменную У; в результате получим вид окна, представленный на рис. 14.8;
Рис. 14.8. Окно для построения графика зависимости У от Т
после нажатия на кнопку ОК получим графики, представленные на рис. 14.9. На этом рисунке точки (°) соответствуют фактическим наблюдениям (Tb Yj), где i — номер области. Линия является графиком оцененной линейной зависимости (14.5).
Полученные графики показывают, что между числом предприятий и организаций в областях и численностью их населения наблюдается сильная зависимость, то есть можно использовать модель линейной регрессии. Над графиком дается само вычисленное уравнение линейной регрессии (14.2), где случайная состав-
ляющая обозначена eps вместо z, а предикторная переменная х вместо t, как в МО* дели (14.2).
^jfiroph?: Scatterplot^jfiroph?: ScatterplotМвНSeattaipl6t(Prim_R«e.STA ^31c)МвНSeattaipl6t(Prim_R«e.STA ^31c)у-2625 .007*10.329*х* • psу-2625 .007*10.329*х* • psРис. 14.9. Графики зависимости числа предприятий и организаций от численности населения областейРис. 14.9. Графики зависимости числа предприятий и организаций от численности населения областей
^jfiroph?: Scatterplot
^jfiroph?: Scatterplot
МвНSeattaipl6t(Prim_R«e.STA ^31c)
МвНSeattaipl6t(Prim_R«e.STA ^31c)
у-2625 .007*10.329*х* • ps
у-2625 .007*10.329*х* • ps
Рис. 14.9. Графики зависимости числа предприятий и организаций от численности населения областей
Рис. 14.9. Графики зависимости числа предприятий и организаций от численности населения областей
3-VAR3 4-VAR4 5-VAR5 B-VAR6 7-VAR7 B-VAR8 9-VAR3 10-VAR103-VAR3 4-VAR4 5-VAR5 B-VAR6 7-VAR7 B-VAR8 9-VAR3 10-VAR10
3-VAR3 4-VAR4 5-VAR5 B-VAR6 7-VAR7 B-VAR8 9-VAR3 10-VAR10
3-VAR3 4-VAR4 5-VAR5 B-VAR6 7-VAR7 B-VAR8 9-VAR3 10-VAR10
Анализ значимости модели и ее компонентов
Для получения оценок качества модели необходимо выполнить расчет модели в полном объеме. Это делается следующим образом.
выполним команду меню Analysis-Resume Analysis;
в открывшемся окне Multiple Regression (см. рис. 14.6) нажмем кнопку Variables, в результате откроется окно Select dependent and independent variable list (выбор списка зависимых и независимых переменных), представленное на рис. 14.10;
Select dependent and independent variable lists:
3-VAR3 4-VAR4 5-VAR5 Б VAR6 7-VAR7
' B-VAR8
* 9-VAR9
10-VAR 10
SetoctAuf Spread} Zoom | Sato AH| Spread j Zoom -1!
Dependent ver. {or bat fee botch): Independent vanable I*
Рис. 14.10. Выбор списка зависимых и независимых переменных
в левом списке переменных окна выделим зависимую переменную У (переменная номер 3), в правом списке — независимую переменную Г (переменная номер 1) и нажмем кнопку ОК;
) в окне Multiple Regression нажмем кнопку ОК; откроется окно результатов анализа Multiple Regression Results (рис. 14.11), имеющее следующую структуру: верхняя часть окна является информационной и показывает результаты ана- ' лиза; нижняя часть — функциональная, она содержит кнопки, предназначенные для выполнения детализированных расчетов (с представлением результатов в числовом или графическом виде).
Multiple Regression Results
Dep. Var. : YMultiple R : .97567147F - 574.3474
R*: .95193482 df -1,29
Mo. of cases: 31adjusted R1: .95027740p * .000000
Standard error of estiaate: 4247.8155734
Intercept: -2625.007415 Std.Error: 1412.044 t( 29) - -1.859 p < .0732
T beta-.976
(significant beta's are highlighted)
Рис. 14.11. Окно результатов регрессионного анализа
Поясним назначения выводимых характеристик.
Q Dep. Var. — имя зависимой переменной, в примере — Y.
Multiple R — множественный коэффициент корреляции (14.21); в нашем случае равен 0.97567147.
F — значение критерия Фишера (14.22), F = 574.3474.
R2 — множественный коэффициент детерминации (14.21), R2 = 0.95193482.
df — число степеней свободы f-критерия (1,29).
No. of cases — количество наблюдений, п = 31.
adjusted R2 — скорректированный коэффициент детерминации, определяемый по формуле 1 -(1 - R2)—; R2 = 0.95027740.
р — критический уровень значимости модели, в нашем примере р = 0.000000 показывает, что зависимость У от Г очень значима.
Standard error of estimate — среднеквадратическая ошибка (14.8), о* = 4247.8155734.
Intercept — оценка свободного члена модели регрессии, 02 = -2625.007415.
Std.Error — стандартная ошибка оценки Pq, ^В'^цУ: 14.12044.
Q t(29) - -1.859 и р < 0.0732 — значения t-критерия и критического уровня значимости, используемые для проверки гипотезы о равенстве нулю свободного
члена регрессии. В нашем случае гипотеза должна быть принята, если уро* вень значимости равен 0.0732 или ниже. Примем уровень значимости а ■ 0.10» тогда гипотеза о равенстве нулю свободного члена регрессии отклоняется.
Для вывода оценок всех коэффициентов модели регрессии и результатов про* верки их значимости нажмем на кнопку Regression Summary и получим таблицу, представленную на рис. 14.12.
Рис. 14.12. Результаты расчетов регрессионной модели
В верхней части окна (непосредственно под его заголовком) выводятся результаты оценки качества модели, которые нами уже пояснялись выше. Рассмотрим назначение отдельных столбцов таблицы:
в четвертом столбце В содержатся оценки параметров модели регрессии р; = -2625.01 и ^ =16.33;
в пятом столбце St. Err. of В — значения стандартной ошибки параметров модели регрессии, соответственно = 1412.044 и V^XPt*) =0.681;
в шестом и седьмом столбцах t(29) и p-level — значения ^критерия и минимального уровня значимости, используемые для проверки гипотез о равенстве нулю коэффициентов регрессии, то есть гипотез ро = 0 и р, = 0 соответственно. В данном примере p-значения близки к нулю, то есть оба параметра модели значимы.
Анализ остатков
Для получения расчетных значений У,* числа предприятий и организаций области и отклонений фактических данных от этих значений У, - Y* вернемся в исходное окно, нажав кнопку Continue... Далее нажмем кнопку Residual analysis (Анализ остатков') и попадем в одноименное окно, представленное на рис. 14.13. Инициализируем кнопку Display residuals & pred. (Вывести остатки и предсказанные значения), в результате получим таблицу, из которой нами будут ИСПОЛЬзоваться только четыре представленных на рис. 14.14 столбца. Они определяют: номера наблюдений (названия областей), фактические (Observed Value) и расчетные (Predicted Value) значения количества предприятий и организаций, Отклонения фактических данных от расчетных (Residual). Четыре последние строки таблицы содержат минимальное, максимальное, среднее и медианное значения показателей. Равенство нулю среднего значения остатков свидетельствует о корректности расчетов.
Для построения графика остатков достаточно выделить столбец Residual (эа исключением четырех последних строк), выполнить команду меню Graphs-Custom Graphs-2D Graphs и выбрать тип графика Bar Dev. Полученный график представлен на рис. 14.15. Из графика видно, что выполняются все требования, сформулированные для такого рода графиков в случае коооектности молми
Построение доверительных интервалов
Вернувшись через кнопку Continue... в окно Residual Analysis, с помощью функциональных кнопок можно просмотреть разнообразные стандартные графики, характеризующие проведенные расчеты.
Для построения графика доверительных интервалов (14.12) для математического ожидания числа предприятий и организаций в зависимости от численности населения области, отвечающих доверительной вероятности у = 0.95, инициализируем кнопку Bivariate correlation в группе Bivariate Scatterplots. На экране получим график, представленный на рис. 14.16.
В Residual Analysis.....у-' W^l
Dep. Vat. : YMultiple R ; .97567147F ■ 574.3474
R*: .95193482 df -1,29
No. of cases: 31adjusted R‘: .95027740p ■ .000000
Standard error of estiaate: 4247.8155734 Intercept: -2625.007415 Std.Error: 1412.044 t( 29) ■ -1.859 p < .0732
S tabetic» , В Cotreleticm I deem, Ш | В ■_ааяг»«опм«^^ I Bl Dg^nm^BAj^jgl M ОшЫпу#еИо»ДМШ I a Save residual» t peed, (Д |Caeewwe Plot» ЕЯ Plot, ol I.udu* Й1 | CT1 Plo<* ol outlw* (B) "I LzS Plato of pjedicled f£) IS tabetic» , В Cotreleticm I deem, Ш | В ■_ааяг»«опм«^^ I Bl Dg^nm^BAj^jgl M ОшЫпу#еИо»ДМШ I a Save residual» t peed, (Д |Caeewwe Plot» ЕЯ Plot, ol I.udu* Й1 | CT1 Plo<* ol outlw* (B) "I LzS Plato of pjedicled f£) ISeiUeiPloto0 Pied t wridiud* ф) |0Pi*dl»qiwedierid*Sj|0 Pied I. obwwved (£J |0 Ob* lienduahffil |0 Obi, * wowed ierid* (HJ |0 Rerid»Idel lend*Щ |Hrtioutamt 'Д G<n* of obwved Ш |Я Gieph of tatiduM» (Ц I;SeiUeiPloto0 Pied t wridiud* ф) |0Pi*dl»qiwedierid*Sj|0 Pied I. obwwved (£J |0 Ob* lienduahffil |0 Obi, * wowed ierid* (HJ |0 Rerid»Idel lend*Щ |Hrtioutamt 'Д G<n* of obwved Ш |Я Gieph of tatiduM» (Ц I;Cancel |Cancel |РгоЬаЬАуЯЫвГП -Noewet plc< of resids (Ml jC. HaN-noimal р1Ы (Щ |ГП Depended noneal plot <EJ |Bivariate Scatteepfot»L2J Bivariate eorralorton fDl | 0’ florid* I Indy v*. |flj | 0 Pied I indep v«. (53 j 0 Paillri lend plot Щ |РгоЬаЬАуЯЫвГП -Noewet plc< of resids (Ml jC. HaN-noimal р1Ы (Щ |ГП Depended noneal plot <EJ |Bivariate Scatteepfot»L2J Bivariate eorralorton fDl | 0’ florid* I Indy v*. |flj | 0 Pied I indep v«. (53 j 0 Paillri lend plot Щ |
S tabetic» , В Cotreleticm I deem, Ш | В ■_ааяг»«опм«^^ I Bl Dg^nm^BAj^jgl M ОшЫпу#еИо»ДМШ I a Save residual» t peed, (Д |
Caeewwe Plot» ЕЯ Plot, ol I.udu* Й1 | CT1 Plo<* ol outlw* (B) "I LzS Plato of pjedicled f£) I
S tabetic» , В Cotreleticm I deem, Ш | В ■_ааяг»«опм«^^ I Bl Dg^nm^BAj^jgl M ОшЫпу#еИо»ДМШ I a Save residual» t peed, (Д |
Caeewwe Plot» ЕЯ Plot, ol I.udu* Й1 | CT1 Plo<* ol outlw* (B) "I LzS Plato of pjedicled f£) I
SeiUeiPloto0 Pied t wridiud* ф) |0Pi*dl»qiwedierid*Sj|0 Pied I. obwwved (£J |0 Ob* lienduahffil |0 Obi, * wowed ierid* (HJ |0 Rerid»Idel lend*Щ |
Hrtioutamt 'Д G<n* of obwved Ш |
Я Gieph of tatiduM» (Ц I;
SeiUeiPloto0 Pied t wridiud* ф) |0Pi*dl»qiwedierid*Sj|0 Pied I. obwwved (£J |0 Ob* lienduahffil |0 Obi, * wowed ierid* (HJ |0 Rerid»Idel lend*Щ |
Hrtioutamt 'Д G<n* of obwved Ш |
Я Gieph of tatiduM» (Ц I;
Cancel |
Cancel |
РгоЬаЬАуЯЫв
ГП -Noewet plc< of resids (Ml j
C. HaN-noimal р1Ы (Щ |
ГП Depended noneal plot <EJ |
Bivariate Scatteepfot»
L2J Bivariate eorralorton fDl | 0’ florid* I Indy v*. |flj | 0 Pied I indep v«. (53 j 0 Paillri lend plot Щ |
РгоЬаЬАуЯЫв
ГП -Noewet plc< of resids (Ml j
C. HaN-noimal р1Ы (Щ |
ГП Depended noneal plot <EJ |
Bivariate Scatteepfot»
L2J Bivariate eorralorton fDl | 0’ florid* I Indy v*. |flj | 0 Pied I indep v«. (53 j 0 Paillri lend plot Щ |
Рис. 14.13. Окно Анализ остатков (.Residuals Analysis')
ГГ• lnicdt KesidUBfValves(«гю> rey.st»;*i, £бя№ша...Dependent variable; YCheer .44• Ne.Value‘ИМИе’ЯЯИ™iteWW ad*.17636.021737.0-4101.0019023.019238.8 . -215.75■WWe-pee, ..л15736.013981.0 : 1755.0025814.024839.4974.60ИшимИЗДя.13000.09425.43574.63^«2^ P^r13014.010764.32249.7015926.021296.1-5370.1320974.024006.7 ! -3032.6517082.017720.2 : -638.2118486.015238.3 • 3247.7112952.010388.72563.25104392.0104554.8-162.7711728.012184.9-456.8721628.018716.2 . 2911.7616874.016267.0607.0228230.024039.34190.6923165.026537.6 • -3372.5624121.020822.63298.39• lnicdt KesidUBfValves(«гю> rey.st»;*i, £бя№ша...Dependent variable; YCheer .44• Ne.Value‘ИМИе’ЯЯИ™iteWW ad*.17636.021737.0-4101.0019023.019238.8 . -215.75■WWe-pee, ..л15736.013981.0 : 1755.0025814.024839.4974.60ИшимИЗДя.13000.09425.43574.63^«2^ P^r13014.010764.32249.7015926.021296.1-5370.1320974.024006.7 ! -3032.6517082.017720.2 : -638.2118486.015238.3 • 3247.7112952.010388.72563.25104392.0104554.8-162.7711728.012184.9-456.8721628.018716.2 . 2911.7616874.016267.0607.0228230.024039.34190.6923165.026537.6 • -3372.5624121.020822.63298.39I'fePredirtpdlk ReildvalV^uebDependent variable:■ Case No.Ипи«мФ^еемм ов».:24392.023712.7^веееееяееимя^ел.49246.021689.031617^057741.221606.417523.019189.813982.017752.916120.014385.018471.351174.041478.1№мм*её*.ем. •17989.022667.7t-ep-nuee., ^,,61549.044602.051405.741853.6- Улаажаааа*» aSa.17323-021590.011728.09425.4104392.0104554.825850.725850.7I'fePredirtpdlk ReildvalV^uebDependent variable:■ Case No.Ипи«мФ^еемм ов».:24392.023712.7^веееееяееимя^ел.49246.021689.031617^057741.221606.417523.019189.813982.017752.916120.014385.018471.351174.041478.1№мм*её*.ем. •17989.022667.7t-ep-nuee., ^,,61549.044602.051405.741853.6- Улаажаааа*» aSa.17323-021590.011728.09425.4104392.0104554.825850.725850.7-6350.45-6350.45-1666.77-1666.77-3770.87-3770.87•2351.32•2351.32208.06208.069695.949695.94-4678.72-4678.7210143.2510143.252748.382748.3810143.2510143.25-4267.04-8495.18-4267.04-8495.1818486.0 ! 21296.118486.0 ! 21296.1-8495.18-8495.18-.0082.63-.0082.63ЦЦЛЛ
Г
Г
• lnicdt KesidUBfValves
(«гю> rey.st»;
*i, £бя№ша...
Dependent variable; Y
Cheer .44
• Ne.
Value
‘ИМИе’ЯЯИ™
iteWW ad*.
17636.0
21737.0-4101.00
19023.0
19238.8 . -215.75
■WWe-pee, ..л
15736.0
13981.0 : 1755.00
25814.0
24839.4974.60
ИшимИЗДя.
13000.0
9425.43574.63
^«2^ P^r
13014.0
10764.32249.70
15926.0
21296.1-5370.13
20974.0
24006.7 ! -3032.65
17082.0
17720.2 : -638.21
18486.0
15238.3 • 3247.71
12952.0
10388.72563.25
104392.0
104554.8-162.77
11728.0
12184.9-456.87
21628.0
18716.2 . 2911.76
16874.0
16267.0607.02
28230.0
24039.34190.69
23165.0
26537.6 • -3372.56
24121.0
20822.63298.39
• lnicdt KesidUBfValves
(«гю> rey.st»;
*i, £бя№ша...
Dependent variable; Y
Cheer .44
• Ne.
Value
‘ИМИе’ЯЯИ™
iteWW ad*.
17636.0
21737.0-4101.00
19023.0
19238.8 . -215.75
■WWe-pee, ..л
15736.0
13981.0 : 1755.00
25814.0
24839.4974.60
ИшимИЗДя.
13000.0
9425.43574.63
^«2^ P^r
13014.0
10764.32249.70
15926.0
21296.1-5370.13
20974.0
24006.7 ! -3032.65
17082.0
17720.2 : -638.21
18486.0
15238.3 • 3247.71
12952.0
10388.72563.25
104392.0
104554.8-162.77
11728.0
12184.9-456.87
21628.0
18716.2 . 2911.76
16874.0
16267.0607.02
28230.0
24039.34190.69
23165.0
26537.6 • -3372.56
24121.0
20822.63298.39
I'fePredirtpdlk ReildvalV^ueb
Dependent variable:
■ Case No.
Ипи«м
Ф^еемм ов».:
24392.0
23712.7
^веееееяееимя^ел.
49246.0
21689.0
31617^0
57741.2
21606.4
17523.0
19189.8
13982.0
17752.9
16120.0
14385.0
18471.3
51174.0
41478.1
№мм*её*.ем. •
17989.0
22667.7
t-ep-nuee., ^,,
61549.0
44602.0
51405.7
41853.6
- Улаажаааа*» aSa.
17323-0
21590.0
11728.0
9425.4
104392.0
104554.8
25850.7
25850.7
I'fePredirtpdlk ReildvalV^ueb
Dependent variable:
■ Case No.
Ипи«м
Ф^еемм ов».:
24392.0
23712.7
^веееееяееимя^ел.
49246.0
21689.0
31617^0
57741.2
21606.4
17523.0
19189.8
13982.0
17752.9
16120.0
14385.0
18471.3
51174.0
41478.1
№мм*её*.ем. •
17989.0
22667.7
t-ep-nuee., ^,,
61549.0
44602.0
51405.7
41853.6
- Улаажаааа*» aSa.
17323-0
21590.0
11728.0
9425.4
104392.0
104554.8
25850.7
25850.7
-6350.45
-6350.45
-1666.77
-1666.77
-3770.87
-3770.87
•2351.32
•2351.32
208.06
208.06
9695.94
9695.94
-4678.72
-4678.72
10143.25
10143.25
2748.38
2748.38
10143.25
10143.25
-4267.04
-8495.18
-4267.04
-8495.18
18486.0 ! 21296.1
18486.0 ! 21296.1
-8495.18
-8495.18
-.00
82.63
-.00
82.63
Ц
Ц
Л
Л
Рио. 14.14. Фактические и расчетные значения зависимой переменной и остатки
From: Predicted & Residual Values (prim_reg.sta) Dependent vanable: Y
Рис. 14.15. График остатков
Correlation г = ,97567Correlation г = ,97567'e-. Regreinon 95% confid'e-. Regreinon 95% confidРис. 14.16. Доверительные интервалы для зависимой переменнойРис. 14.16. Доверительные интервалы для зависимой переменной
Correlation г = ,97567
Correlation г = ,97567
'e-. Regreinon 95% confid
'e-. Regreinon 95% confid
Рис. 14.16. Доверительные интервалы для зависимой переменной
Рис. 14.16. Доверительные интервалы для зависимой переменной
Задача № 2. Многомерная регрессия
Рассмотренная выше технология расчета модели одномерной линейной регрессии в пакете STATISTIC А переносится для решения задач многомерного регрессионного анализа. Покажем это на примере расчета модели многомепной nernw-
ии, характеризующей зависимость инвестиций в основной капитал областей •осени (У) от следующих четырех факторов:
) ti — численность населения области, тыс. чел.;
1 <2 — оборот розничной торговли, млн руб.;
] ta — поступление налогов и сборов в бюджет, млн руб.;
^4 ~ объем промышленного производства, млн руб.
I расчетах будем использовать статистические данные, представленные в табл. 14.7. ’аботу в пакете STATISTICA начнем с запуска в окне STATISTICA Module Switcher юдуля Multiple Regression и ввода исходных данных. Вид окна Data, содержаще- о таблицу исходных данных, представлен на рис. 14.17. Здесь имена столбцов '1, Т2 ТЗ, Т4 соответствуют именам переменным ib t2, t3, t4.
Рис. 14.17. Таблица с исходными данными
Для проведения расчетов модели выполним действия, рассмотренные выше. Результаты регрессионного анализа получим в информационной части окна Multiple Regression Results в виде, представленном на рис. 14.18.
Г I
Multiple Regression Results
Dep. Ver. ; YMultiple R : .98144504F - 170.2956
R*: .96323437 df -4,26
No. ot cases: 31 adjusted R#: .95757812p • .000000
Standard error of estinate: 555.47495311 Intercept: -559.9493523 Std.Error: 269.2668 t( 26) - -2.080 p < .0476
T1 beta-,488 T2 beta—.06 T3 beta-.376 T4 beta-.222
Рис. 14.18. Результаты регрессионного анализа для модели линейной регрессии(случай четырех предикторных переменных)
Нетрудно заметить, что для модели получен высокий коэффициент детерминации (14.21) Д2 = 0.96323437, который показывает, что зависимая переменная (инвестиции) линейно зависит от предикторных переменных (факторов). Фактическое значение критерия Фишера (14.59) F = 170.2956 значительно превышает его критическое значение fKp = 2.742594, определенное с использованием вероятностного калькулятора (см. компьютерный практикум №17) для уровня значимости а =0.05 с т = 4 и (и - 5) = 26 степенями свободы (рис. 14.19). Критический уровень значимости модели р с точностью до шестого знака после запятой равен нулю. Следовательно, полученная регрессионная зависимость высоко значима. Вместе с тем (к сожалению, это не видно в черно-белом варианте распечатки) вторая предикторная переменная 12 в отличие от остальных переменных выделена синим цветом, который указывает на ее незначимость.
Рис. 14.19. Расчет критического значения критерия Фишера
Для вывода оценок всех коэффициентов модели регрессии и результатов проверки их значимости в функциональной части окна Multiple Regression Results активизируем кнопку Regression summary. В результате получим таблицу, представленную на рис. 14.20. Как видно из последнего столбца p-level, критический уровень значимости для второй предикторной переменной Т2 очень высок: n-level = 0.536805.
в ^Regression Summary for Dependent Variable; Y'ГййЙ'^' *' R" -98144504 RI" .96323437 Adjusted RI- .95757812 . _°™Пи®^1 F (4,2 6)-170.3 0 p<. 00000 Std.Error of estimate: 555.17виииSt, Ы*. Of 8ияд - t(26)1в ^Regression Summary for Dependent Variable; Y'ГййЙ'^' *' R" -98144504 RI" .96323437 Adjusted RI- .95757812 . _°™Пи®^1 F (4,2 6)-170.3 0 p<. 00000 Std.Error of estimate: 555.17виииSt, Ы*. Of 8ияд - t(26)1овоовоi -559.949269.2668-2.07953.047570.488190.102863 ;1.157.24374.74603.000066.064464.102986 ;-.019.0306-.62595.53 6805 [.375813.167905.251. 11232.23825.033986 s.222432.104346 :.037.01742.13168.042649 ii -559.949269.2668-2.07953.047570.488190.102863 ;1.157.24374.74603.000066.064464.102986 ;-.019.0306-.62595.53 6805 [.375813.167905.251. 11232.23825.033986 s.222432.104346 :.037.01742.13168.042649 i
в ^Regression Summary for Dependent Variable; Y
'ГййЙ'^' *' R" -98144504 RI" .96323437 Adjusted RI- .95757812 . _°™Пи®^1 F (4,2 6)-170.3 0 p<. 00000 Std.Error of estimate: 555.
17
виии
St, Ы*. Of 8
ияд - t(26)
1
в ^Regression Summary for Dependent Variable; Y
'ГййЙ'^' *' R" -98144504 RI" .96323437 Adjusted RI- .95757812 . _°™Пи®^1 F (4,2 6)-170.3 0 p<. 00000 Std.Error of estimate: 555.
17
виии
St, Ы*. Of 8
ияд - t(26)
1
ово
ово
i -559.949
269.2668
-2.07953
.047570
.488190
.102863 ;1.157
.2437
4.74603
.000066
.064464
.102986 ;-.019
.0306
-.62595
.53 6805 [
.375813
.167905.251
. 1123
2.23825
.033986 s
.222432
.104346 :.037
.0174
2.13168
.042649 i
i -559.949
269.2668
-2.07953
.047570
.488190
.102863 ;1.157
.2437
4.74603
.000066
.064464
.102986 ;-.019
.0306
-.62595
.53 6805 [
.375813
.167905.251
. 1123
2.23825
.033986 s
.222432
.104346 :.037
.0174
2.13168
.042649 i
Рис. 14.20. Результаты расчетов регрессионной модели (случай четырех предикторныхпеременных)
Таким образом, переменную Т2 исключим из модели и повторим расчеты для трех предикторных переменных Т1, ТЗ и Т4. Результаты этих расчетов приведены на рис. 14.21 и 14.22. Они свидетельствуют о значимости модели и всех трех оставшихся предикторных переменных.
^ Multiple Regression Results
Multiple Regression Results
Dep. Var. : YMultiple R : .98116274F - 232.1596
R*; .96268032 df ■3,27
No. of cases: 31adjusted R*: .95853369p ■ .000000
Standard error of estinate: 549.18315906
Intercept: -590.5981297 Std.Error: 261.7785 t( 27) - -2.256 p < .0324
T4 beta*.194T4 beta*.194T1 beta».500 T3 beta».333
T4 beta*.194
T4 beta*.194
Рис. 14.21. Результаты регрессионного анализа для модели линейной регрессии (случай трех предикторных переменных)-
i ‘й Regression Summary for Dependent Variable: Yi ‘й Regression Summary for Dependent Variable: YContinue.Continue.| 3e. far.' ‘|*S»/Bw.| ОТВЕТА* '8j Of 8t^T)p-level| 3e. far.' ‘|*S»/Bw.| ОТВЕТА* '8j Of 8t^T)p-levelR- .98116274 RI- .96268032 Adjusted RI- .95853369F (3,2 7)-2 3 2.16 p<.00000 Std.Error of estimate: 549.18R- .98116274 RI- .96268032 Adjusted RI- .95853369F (3,2 7)-2 3 2.16 p<.00000 Std.Error of estimate: 549.18.032370.032370: -590.598: -590.598261.7785261.7785-2.25610-2.25610000030000030.099965.099965236823685.001985.001981.1851.1852.198022.1980203670303670315131015131022222210121012i N-31i N-31332583332583193890193890500024500024092793092793032032015401542.089502.08950046217046217
i ‘й Regression Summary for Dependent Variable: Y
i ‘й Regression Summary for Dependent Variable: Y
Continue.
Continue.
| 3e. far.' ‘|*S»/Bw.
| ОТВЕТА* '8j Of 8
t^T)p-level
| 3e. far.' ‘|*S»/Bw.
| ОТВЕТА* '8j Of 8
t^T)p-level
R- .98116274 RI- .96268032 Adjusted RI- .95853369
F (3,2 7)-2 3 2.16 p<.00000 Std.Error of estimate: 549.18
R- .98116274 RI- .96268032 Adjusted RI- .95853369
F (3,2 7)-2 3 2.16 p<.00000 Std.Error of estimate: 549.18
.032370
.032370
: -590.598
: -590.598
261.7785
261.7785
-2.25610
-2.25610
000030
000030
.099965
.099965
2368
2368
5.00198
5.00198
1.185
1.185
2.19802
2.19802
036703
036703
151310
151310
222
222
1012
1012
i N-31
i N-31
332583
332583
193890
193890
500024
500024
092793
092793
032
032
0154
0154
2.08950
2.08950
046217
046217
Рис. 14.22. Результаты расчетов регрессионной модели (случай трех предикторныхпеременных)
В четвертом столбце таблицы результатов, приведенной на рис. 14.22, содержатся оценки параметров модели регрессии: PJ =-590.598; р' =1.185; Рз =0.222 и PJ = 0.032. Значения Г-критерия и минимального уровня значимости (p-level) в пятом и шестом столбцах свидетельствуют, что все коэффициенты модели значимы. Таким образом, оценена модель многомерной линейной регрессии, характеризующая зависимость инвестиций в основной капитал области России (У) от численности населения области, поступления налогов и сборов в бюджет и объема промышленного производства:
У =-590.598+1.185г, + 0.222 Ц + 0.032г,.
Как видно из полученной формулы, инвестиции увеличиваются с ростом КАЖДОГО из факторов. Качество полученной модели можно оценить, сравнив фактические и рассчитанные по модели значения инвестиций и вычислив величины OCTITgpi, Для этого в функциональной части окна Multiple Regression Results нажмем кнопку Residual analysis и попадем в одноименное окно. Инициализируем кнопку Display residuals & pred.; в результате получим таблицу, первые четыре столбца которой определяют: наименования областей, фактические (Observed Value) и расчетные (Predicted Value) значения инвестиций и остатки (Residual) (рис. 14.23).
i'^RrettMted К- Residual V«tiU»S (prtn^miRt^fhi)i'^RrettMted К- Residual V«tiU»S (prtn^miRt^fhi)Continue..Continue..Case No.Case No.Jg»«®»»^»e«___Jg»«®»»^»e«___зульегое o4».„Денг IM "дне г Aзульегое o4».„Денг IM "дне г AKncnoaooflyi o8nKncnoaooflyi o8nDependentvactable;■ fI tredtettl1v п1 цо1 Value .Яеедйм!| 2508.00J 2565.06-57.0592837.00' 3244.99-407.9922154.00= 2421.42-267.4224437,00i 3125.641311.3621079.00:963.00115.996866.00;749.30116.698948.00i 1759.97-811.9732220.00'. 2486.45-266.484879.00’1381.78-502.7821691.00:1384.58306.4221255.00:849.80405.20313363.00i 13468.12-105.1221215.00i 1252.93-37.9311721.001846.86-125.8561056,00: 1584.04-528.0372293.002342.00. 2299.52: 2832.03-6.522-490.026ill2382.00: 2807.95-425.951J!f1Dependentvactable;■ fI tredtettl1v п1 цо1 Value .Яеедйм!| 2508.00J 2565.06-57.0592837.00' 3244.99-407.9922154.00= 2421.42-267.4224437,00i 3125.641311.3621079.00:963.00115.996866.00;749.30116.698948.00i 1759.97-811.9732220.00'. 2486.45-266.484879.00’1381.78-502.7821691.00:1384.58306.4221255.00:849.80405.20313363.00i 13468.12-105.1221215.00i 1252.93-37.9311721.001846.86-125.8561056,00: 1584.04-528.0372293.002342.00. 2299.52: 2832.03-6.522-490.026ill2382.00: 2807.95-425.951J!f1——Рис. 14.23. Фактические и расчетные значения зависимой переменной, остаткиРис. 14.23. Фактические и расчетные значения зависимой переменной, остаткиFrom: Predicted & Residual Values (prim_mlpreg sta)From: Predicted & Residual Values (prim_mlpreg sta)
i'^RrettMted К- Residual V«tiU»S (prtn^miRt^fhi)
i'^RrettMted К- Residual V«tiU»S (prtn^miRt^fhi)
Continue..
Continue..
Case No.
Case No.
Jg»«®»»^»e«___
Jg»«®»»^»e«___
зульегое o4».„
Денг IM "дне г A
зульегое o4».„
Денг IM "дне г A
Kncnoaooflyi o8n
Kncnoaooflyi o8n
Dependent
vactable;
■ f
I tredtettl
1v п1 цо
1 Value .
Яеедйм!
| 2508.00
J 2565.06
-57.059
2837.00
' 3244.99
-407.992
2154.00
= 2421.42
-267.422
4437,00
i 3125.64
1311.362
1079.00
:963.00
115.996
866.00
;749.30
116.698
948.00
i 1759.97
-811.973
2220.00
'. 2486.45
-266.484
879.00
’1381.78
-502.782
1691.00
:1384.58
306.422
1255.00
:849.80
405.203
13363.00
i 13468.12
-105.122
1215.00
i 1252.93
-37.931
1721.00
1846.86
-125.856
1056,00
: 1584.04
-528.037
2293.00
2342.00
. 2299.52
: 2832.03
-6.522
-490.026
ill
2382.00
: 2807.95
-425.951
J!
f1
Dependent
vactable;
■ f
I tredtettl
1v п1 цо
1 Value .
Яеедйм!
| 2508.00
J 2565.06
-57.059
2837.00
' 3244.99
-407.992
2154.00
= 2421.42
-267.422
4437,00
i 3125.64
1311.362
1079.00
:963.00
115.996
866.00
;749.30
116.698
948.00
i 1759.97
-811.973
2220.00
'. 2486.45
-266.484
879.00
’1381.78
-502.782
1691.00
:1384.58
306.422
1255.00
:849.80
405.203
13363.00
i 13468.12
-105.122
1215.00
i 1252.93
-37.931
1721.00
1846.86
-125.856
1056,00
: 1584.04
-528.037
2293.00
2342.00
. 2299.52
: 2832.03
-6.522
-490.026
ill
2382.00
: 2807.95
-425.951
J!
f1
—
—
Рис. 14.23. Фактические и расчетные значения зависимой переменной, остатки
Рис. 14.23. Фактические и расчетные значения зависимой переменной, остатки
From: Predicted & Residual Values (prim_mlpreg sta)
From: Predicted & Residual Values (prim_mlpreg sta)
Рис. 14.25. Эмпирические коэффициенты корреляции между зависимой и предикторными переменнымиРис. 14.25. Эмпирические коэффициенты корреляции между зависимой и предикторными переменнымиИспользуя данные столбца Residual, построим график остатков, представленный на рис. 14.24. График удовлетворяет всем требованиям, сформулированным для такого рода графиков в случае корректности модели. Зависимость уровня инвестиций от отдельных факторов можно оценить, рассчитав коэффициенты частной корреляции и построив соответствующие графики. Для расчета этих коэффициентов в функциональной части окна Multiple Regression Results активизируем кнопку Partial correlations (Частные корреляции). В результате получим таблицу, представленную на рис. 14.25.Используя данные столбца Residual, построим график остатков, представленный на рис. 14.24. График удовлетворяет всем требованиям, сформулированным для такого рода графиков в случае корректности модели. Зависимость уровня инвестиций от отдельных факторов можно оценить, рассчитав коэффициенты частной корреляции и построив соответствующие графики. Для расчета этих коэффициентов в функциональной части окна Multiple Regression Results активизируем кнопку Partial correlations (Частные корреляции). В результате получим таблицу, представленную на рис. 14.25.Continue— IContinue— IРис. 14.26. Зависимость переменной Y от численности населения областиРис. 14.26. Зависимость переменной Y от численности населения областиН«’М>Ь^ 11 vs.YН«’М>Ь^ 11 vs.YRegression 95% conf Id.Regression 95% conf Id.И^гарЬ^ f3vs. VИ^гарЬ^ f3vs. VRegression 95% cronfidRegression 95% cronfid
Рис. 14.25. Эмпирические коэффициенты корреляции между зависимой и предикторными переменными
Рис. 14.25. Эмпирические коэффициенты корреляции между зависимой и предикторными переменными
Используя данные столбца Residual, построим график остатков, представленный на рис. 14.24. График удовлетворяет всем требованиям, сформулированным для такого рода графиков в случае корректности модели. Зависимость уровня инвестиций от отдельных факторов можно оценить, рассчитав коэффициенты частной корреляции и построив соответствующие графики. Для расчета этих коэффициентов в функциональной части окна Multiple Regression Results активизируем кнопку Partial correlations (Частные корреляции). В результате получим таблицу, представленную на рис. 14.25.
Используя данные столбца Residual, построим график остатков, представленный на рис. 14.24. График удовлетворяет всем требованиям, сформулированным для такого рода графиков в случае корректности модели. Зависимость уровня инвестиций от отдельных факторов можно оценить, рассчитав коэффициенты частной корреляции и построив соответствующие графики. Для расчета этих коэффициентов в функциональной части окна Multiple Regression Results активизируем кнопку Partial correlations (Частные корреляции). В результате получим таблицу, представленную на рис. 14.25.
Continue— I
Continue— I
Рис. 14.26. Зависимость переменной Y от численности населения области
Рис. 14.26. Зависимость переменной Y от численности населения области
Н«’М>Ь^ 11 vs.Y
Н«’М>Ь^ 11 vs.Y
Regression 95% conf Id.
Regression 95% conf Id.
И^гарЬ^ f3vs. V
И^гарЬ^ f3vs. V
Regression 95% cronfid
Regression 95% cronfid
Рио. 14.27. Зависимость переменной Y от поступления налогов и сборов в бюджет
Перейдя в окно Residual Analysis и активизировав кнопку Bivariate correlation, в окне Select the two variables for scatter plot (Выбрать две переменные для ЯО- строения графика зависимости) отметим переменные, откладываемые по оси абсцисс и ординат. После нажатия кнопки ОК получим графики, характеризующие зависимость переменной У от каждого из факторов: численности населения области, поступления налогов и сборов в бюджет и объема промышленного производства — представленные соответственно на рис. 14.26-14.28.
Continue... IContinue... IПЬгарЫС: 14 у». VПЬгарЫС: 14 у». V'■ 138.40* 14417 е Т4Correlation: г* .88627'■ 138.40* 14417 е Т4Correlation: г* .88627'тх. ПедгеаЫоп :Об«оопП4. 1'тх. ПедгеаЫоп :Об«оопП4. 1Рис. 14.28. Зависимость переменной Y от объема промышленного производстваРис. 14.28. Зависимость переменной Y от объема промышленного производства
Continue... I
Continue... I
ПЬгарЫС: 14 у». V
ПЬгарЫС: 14 у». V
'■ 138.40* 14417 е Т4
Correlation: г* .88627
'■ 138.40* 14417 е Т4
Correlation: г* .88627
'тх. ПедгеаЫоп :
Об«оопП4. 1
'тх. ПедгеаЫоп :
Об«оопП4. 1
Рис. 14.28. Зависимость переменной Y от объема промышленного производства
Рис. 14.28. Зависимость переменной Y от объема промышленного производства
Задания для самостоятельной работы
Попробуйте усовершенствовать регрессионные модели, рассмотренные в яри- мерах 14.1, 14.2 и компьютерном практикуме №21. Замените используемые в моделе предикторные переменные на некоторые функции от них, которые, на ваш взгляд, могли бы более точно описать их влияние на зависимую переменную. Например, вместо численности населения можно взять корень квадратный из нее.
В качестве критерия качества регрессионной модели принять остаточную сумму квадратов отклонений R6.
В регрессионных моделях примеров 14.1, 14.2 и компьютерного практикума №21 дисперсия случайных составляющих предполагалась постоянной, то есть не зависящей, в частности, от такого фактора, как численность населения области. Это, по-видимому, не так. В связи с этим предположите, что дисперсия i-ro наблюдения пропорциональна численности населения, то есть положите значения да,. из формул (14.14) и (14.47), равными численности населения, Проанализируйте графики остатков в зависимости от значения численности населения, и сделайте вывод о том, стала ли регрессионная модель более адекватной.
Реализуйте в пакете Mathcad формулы (14.38) и (14.52) для оценивания модели многомерной линейной регрессии, рассмотренной в разделе 14.3.
Реализуйте в пакете Mathcad процедуры верификации модели многомерной линейной регрессии, описанные в разделе 14.4.
Задачи
Задача 14.1. Исследуется зависимость производительности труда рабочих от их стажа работы. Случайным образом выбраны 50 человек со стажем работы от одного года до пяти лет, выполняющих однотипную работу. Результаты обследования приведены в табл. 14.8.
Таблица 14.8. Данные наблюдений над производительностью труда
Стаж работы (полных лет), X
Объем продукции, У
у. = 20
у, = 25
У, = 30
У. = 35
У» = 40
И;
1
3
4
1
-
8
2
1
6
4
1
-
12
3
-
2
6
4
3
15
4
-
1
2
8
4
15
n*i
4
13
13
13
7
п = 50
Здесь через X обозначен стаж работы, а через У — объем продукции, произведенной рабочим за смену. Число, стоящее на пересечении г-й строки и j-ro столбца, это количество рабочих со стажем i лет, выпустивших за смену у, единиц продукции (z/j = 20, у2 = 25,.... у5 = 40). Например, число 4, стоящее на пересечении второй строки и третьего столбца, это число рабочих со стажем работы 2 года, каждый из которых выпустил за смену 30 единиц продукции; и, — число обследованных рабочих, имеющих стаж работы г лет.
Оцените модель одномерной регрессии (14.2) зависимости У от X. Проведите дисперсионный анализ согласно табл. 14.1.
Задача 14.2. Следующие данные отражают ежемесячные затраты (в условных единицах) фирмы на рекламу и объемы ее ежемесячных продаж.
Затраты на рекламу
7
7.3
7
7.4
7.7
8
7.5
8
7.4
Объемы продаж
48
50
50
51
53
55
57
54
50
Оцените линейную регрессию объемов на затраты и коэффициент корреляции. Проверьте гипотезы о незначимости регрессии и влияния затрат на объемы продаж. Используя графики остатков, проверьте адекватность модели.
Задача 14.3. Используя модель линейной регрессии, полученную в задаче 14.2, прогнозируйте значение объема реализации, если затраты на рекламу составят } условных единиц. Для коэффициента доверия у = 0.6 найдите доверительный интервал для математического ожидания объема реализации, соответствующего ) условным единицам рекламных затрат.
Задача 14.4. Исследуется зависимость заработной платы специалистов определенной профессии от возраста, образования (числа лет обучения), стажа работы по данной специальности. Случайным образом выбраны 25 специалистов. Результаты обследования приведены в следующей таблице, где Y — заработная плата (в условных единицах), tY — число лет обучения, t^ — возраст и <з — стаж работы по данной специальности.
i
Y
t.
^2 .
t,
1
126
4
27
14
2
160
6
30
16
3
104
4
42
10
4
162
7
32
17
5
212
14
44
16
6
130
2
25
16
7
102
0
21
13
8
245
27
53
20
9
183
21
47
16
10
149
3
34
12
И
116
2
27
10
12
158
4
29
18
13
178
15
49
16
14
196
7
54
12
15
142
4
32
16
16
156
10
39
18
17
171
8
49
16
18
140
3
26
14
19
156
7
34
12
20
115
3
28
15
21
142
9
35
12
22
134
3
29
14
23
147
6
36
16
24
173
15
41
16
25
144
3
30
18
Оцените модель линейной регрессии Y на предикторные переменные tt, Ц и tj. Проверьте гипотезы о незначимое™ регрессии и каждой из предикторных переменных. Используя графики остатков, проверьте адекватность модели.
Литература
. Боровиков В. П. STATISTICA: искусство анализа данных на компьютере. Для профессионалов. — СПб.: Питер, 2001.
. Боровков А. А. Математическая статистика. — М.: Наука, 1984.
. Бочаров П. П., Печинкин А. В. Теория вероятностей и математическая статистика. — М.: Гардарика, 1998.
. Гнеденко Б. В. Теория вероятностей. — М.: Наука, 1988.
. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. — М.: Статистика, 1973.
. Дьяконов В. Mathcad 2001: учебный курс. — СПб.: Питер, 2002.
. Леман Э. Проверка статистических гипотез. — М.: Наука, 1979.
. Леман Э. Теория точечного оценивания. — М.: Наука, 1991.
. Рао С. Р. Линейные статистические методы и их приложения. — М.: Наука, 1968.
. Себер Дж. Линейный регрессионный анализ. — М.: Мир, 1980.
. Феллер В. Введение в теорию вероятностей и ее приложения. Том 1. — М.: Мир, 1984.
. Феллер В. Введение в теорию вероятностей и ее приложения. Том 2. — М.: Мир, 1984.
. Чистяков В. П. Курс теории вероятностей. — М.: Наука, 1982.
Алфавитный указатель
(/-горизонталь, 59
А
Абсолютная сходимость, 79, 81, 134, 154
Альтернатива, 364
двусторонняя, 366
односторонняя, 366
простая, 365
сложная, 365
Б
Биномиальные коэффициенты, 53, 72
В
Вариационный ряд, 278
Вероятности переходов
безусловные, 210
за шаг, 207
матрица, 207
Вероятности состояний
стационарные, 212, 216, 245
Вероятность
апостериорная, 37
априорная, 37
геометрическая, 35, 49
полигон, 72
произвольной комбинации событий, 40
разности событий, 32
свойства, 31
события, 31
составного события, 31
статистическая, 49
суммы двух событий, 32
условие
неотрицательности, 31
нормировки, 31
условная, 36
элементарного события, 31
Выбор
без повторений, 277
с повторениями, 277
Выборка, 49, 276
без возвращения, 49
без повторений, 49
неупорядоченная, 49
объем, 277
репрезентативная, 277
с возвращением, 49
с повторениями, 49
случайная, 277
упорядоченная, 49
Выборочное пространство, 354
Г
Гамма-функция, 343
Генеральная совокупность, 49, 307
Генераторы случайных величин, 277
Гипотеза, 13, 36, 364
альтернативная, 364
критерий проверки, 365
критическая область, 365
пулевая, 364
о виде распределения, 386
о незначимости регрессии, 411, 423
область принятия, 365
последовательная проверка, 39
простая, 365
сложная, 365
статистическая, 364
Гистограмма относительных частот, 280
д
Дизъюнктивная совершенная
нормальная форма, 41
Дисперсионный анализ, 413
Дисперсия, 78, 82
внутригрупповая, 429
Дисперсия (продолжение)
межгрупповая, 429
свойства, 82, 104
суммы случайных величин, 135
условная, 152, 429
эмпирическая, 284
Доверительная вероятность, 334
Доверительный интервал, 334
3
Задача
Банаха о спичечных коробках, 69
о баллотировке, 252
о встрече, 10, 12, 35
о движении городского транспорта, 68
о дефиците, 76
о разорении игрока, 208, 223
о совпадениях, 147
станки и рабочие, 274
Закон больших чисел, 193
Законы де Моргана, 23
И
Имитационное моделирование, 110
Индикатор, 137
Интеграл
абсолютная сходимость, 99
Пуассона, 96
Интервал
замкнутый, 77
открытый, 77
Испытание, 8
Испытания Бернулли, 35, 53, 314
К
Квадратный корень Холесского, 159
Квантиль, 192, 335
Комбинаторный метод, 48
Корреляционное отношение, 429
Корреляция
отрицательная, 431
положительная, 431
Коэффициент
доверия, 334
загрузки, 233
загрузки системы, 263
Коэффициент корреляции, 134
множественный, 423
Критерий
более мощный, 368
Вилкоксопа, 389
знаков, 390
Критерий (продолжение) Манна—Уитни, 389 непараметрический, 383, 389 отношения правдоподобия, 380 Пирсона (хи-квадрат-критерий), 385 равномерно наиболее мощный, 383 ранговый, 389 согласия, 383 факторизации, 322
Л
Лемма
Неймана—Пирсона, 380
Линейка прокрутки, 63
Линия регрессии
эмпирическая (выборочная), 433
м
Максимальное правдоподобие, 52
Марковское свойство, 207
Математическое ожидание, 78-79, 81, 99, 102, 132
безусловное, 128
свойства, 82, 102
суммы случайных величин, 135
условное, 128, 152
Матрица
дважды стохастическая, 240 ковариационная, 134, 157 математическое ожидание, 157 неотрицательно определенная, 158 положительно определенная, 160 предикторных переменных, 416 симметрическая, 134, 157 стохастическая, 207 субстохастическая, 224 транспонированная, 157 треугольная,
верхняя (нижняя), 159 фундаментальная, 221 Холесского, 160
Мера разброса, 82
Метод
выборочный, 277
Метод Монте-Карло, 77
Множественный коэффициент детерминации, 410 корреляции, 410
Множество возможных значений, 71 Множество состояний
цепи Маркова замкнутое, 212
Модель запасов, 240
Момент, 78
r-го порядка, 81, 102 r-го порядка
эмпирический, 283 второго порядка, 82, 103 нормального распределения, 104 первого порядка, 82, 102 условный, 152
н
Надежность, 92 параллельной системы, 40 последовательной системы, 40
Неравенство
Йенсена, 112
Рао—Крамера, 313
Чебышева, 113 обобщенное, ИЗ
Шварца, 111, 134
О
Остаток, 410
Оценка несмещенная, 308 состоятельная, 310 эффективная, 314
Оценки
метода наименьших квадратов, 404 свойства, 405
наименьших квадратов, 418
Очереди, 262 Ошибка второго рода, 366 первого рода, 366
п
Переменная зависимая, 403 предикторная, 403
Перестановки, 50
Плотность распределения безусловная, 152 двумерная, 149 двумерная нормальная, 149 многомерная, 148 условная, 152 частная
двумерного нормального распределения, 150 частная (маргинальная), 149
Полигон частот, 279
Поток
в сетях, 224
пуассоновский, 249 свойство, 250 требований, 224
Предиктор, 428 линейный, 431
Преобразование, 165 линейное, 156 якобиан, 166
Принцип
баланса, 217, 257 двойственности, 61 отражения, 57 симметрии, 59
Принцип задания вероятностей геометрический, 48 классический, 48 статистический, 48
Пространство состояний, 206 элементарных событий, 8 дискретное, 31 искусственное, 25 конечное, 8 несчетное, 8 счетное, 8
Процесс
альтернирующий, 274 звездообразный, 259 марковский, 243
алгоритм моделирования, 243
протокол, 243
стационарное распределение
вероятностей состояний, 256
массового обслуживания, 262 полумарковский, 258 предыстория, 206 пуассоновский, 249
сложный, 273
размножения и гибели, 260
стационарное распределение, 262 случайный, 206 состояние, 206 траектория, 206 циклический, 258 чистого размножения, 260 чистой гибели, 260 Юла, 260
Путь, 56
Ранг, 389
Рандомизация параметров распределений, 151
Распределение
бета-распределение, 204
биномиальное, 35, 53, 72, 74, 320 вероятностей
инвариантное, 231
вероятностей дискретной случайной величины, 72
вид, 72
геометрическое, 32, 55, 73-74, 80
гипергеометрическое, 52, 73
двумерное, 161
двумерное нормальное, 165
дифференциальный закон, 74
интегральный закон, 74
Колмогорова, 384
Коти, 124
Лапласа, 124
логарифмически нормальное, 108, 114 многомерное
Дирихле, 177
невырожденное нормальное, 165
нормальное, 164
равномерное, 151
симметричное, 162
стандартное нормальное, 152
многомерное гипергеометрическое, 67 наименее благоприятное, 366 невырожденное, 159
нормальное, 95, 101, 107, 114, 315
параметры, 72, 92
Парето, 124
плотность, 90
полиномиальное, 56
Пуассона, 69, 73, 80, 314, 321 равномерное, 94, 100, 103, 107, 114 стандартное нормальное, 95
Стьюдента (t-распределение), 346
тип, 92
усеченное, 98
усеченное слева, 98
усеченное справа, 98
Фишера-Снедекора, 411
Х-квадрат, 343
экспоненциальное, 94, 100, 103, 107,
249, 315, 321
свойство отсутствия памяти, 245
Эрланга, 96, 104, 107, 114, 318
Распределение вероятностей двумерное, 127 многомерное, 126 условное, 128 частное (маргинальное), 127
Распределения
смесь, 98
Регрессия
линейная, 429
многомерная, 417
одномерная, 404
нелинейная, 429
Резервирование холодное, 183
С
Свойство
марковское, 246
отсутствия памяти, 245
Система
два-из-трех, 28, 30
надежность, 40
параллельная, 27, 40, 156
последовательная, 27, 40, 156
носледовательно- параллельная, 27
Система нормальных
уравнений, 404, 417, 430
Система обслуживания
эрланговская, 263
Случайная величина
возможное значение, 71
двумерная, 127
двумерная непрерывная, 149
дискретная, 71
ковариация, 134
конечнозначная, 72
многомерная, 126
многомерная непрерывная, 148
некоррелированная, 135 непрерывная, 89 - 90, 101 нормированная, 104 смешанный момент, 134
Случайная составляющая, 403
Случайное блуждание, 251
с отражающими экранами, 209
па плоскости, 10, 35
с поглощающими экранами, 208, 223
Случайные блуждания, 56
условные экстремумы, 60
Случайные величины
взаимно независимые, 136, 151
некоррелированные, 155
Случайные величины (продолжение) попарно независимые, 136, 151 сумма случайного числа, 184
Случайный вектор, 126
линейное преобразование, 157-158 нормированный, 161
Собственные
вектора, 252
числа, 252
Событие
благоприятствующее, 48 влечет событие, 13 достоверное, 9 невозможное, 9 случайное, 31 составное, 8 элементарное, 8
События
комбинации, 22 независимые, 37 в совокупности, 37
несовместные, 12 полная группа, 13 попарно независимые, 37 попарно несовместные, 13 произведение, И противоположные, 12 равновероятные, 48 равновозможные, 48 разность, И свойства, 22 сумма, 11 эквивалентные, 9
Состояние
цепи Маркова возвратное, 214 возвратное нулевое, 226 достижимое, 212 невозвратное, 214, 220, 226 ненулевое, 226 непериодическое, 213 нулевое, 226 поглощающее, 212
среднее время возвращения, 214 эргодическое, 215, 226
Состояния цепи Маркова однотипные, 227 Сочетания, 50
Среднее арифметическое, 283
Среднее квадратическое
отклонение, 82, 103
Статистика, 322
достаточная, 322
Статистические данные, 49
Сумма квадратов отклонений
обусловленная регрессией, 410
остаточная, 417
остаточная (относительно
регрессии), 409
полная, 409
Сходимость
абсолютная, 128
по вероятности, 193
среднего арифметического, 194
частоты, 194
Счетное множество, 79
Теорема
Бернулли, 194
Муавра—Лапласа, 192
предельная для гипергеометрического распределения, 67
сложения
вероятностей событий, 32
математических ожиданий, 154
умножения
вероятностей событий, 38
математических ожиданий, 138,
155
центральная предельная, 191
У
Уравнение
Колмогорова—Чепмена, 210
правдоподобия, 320
Уравнения
Колмогорова
обратные дифференциальные, 248
прямые дифференциальные, 248
численное решение, 252
Уровень значимости, 366
критический, 367
Условие
неотрицательности, 126
нормировки, 126
Устойчивое семейство, 181
биномиальных распределений, 181
многомерных нормальных
распределений, 185
распределений
Пуассона, 181
Эрланга, 182
Устойчивость семейства
нормальных распределений, 168
Формула
Байеса, 36
полной вероятности, 36
умножения вероятностей, 36
Функции
булевые, 24
встроенные, 18
пользователя, 20
Функция
выпуклая, 112
линейная, 81-82, 102
максимума, 156
минимума, 156
непрерывная, 91
параметрическая, 337, 354
показательная, 81, 102
пользователя, 84
правдоподобия, 319
распределения, 73, 91, 149
дополнительная, 91
непрерывная справа, 75
неубывающая, 74
свойства, 74
эмпирическая, 281
регрессии, 429
случайной величины, 80, 101
математическое ожидание, 154
многомерной, 132, 154
строго возрастающая, 106
строго убывающая, 106
Функция мощности критерия, 367
Цепь Маркова, 206
алгоритм
моделирования, 211 вложенная, 245 конечная, 207, 215 моделирование, 211 неоднородная, 207 неприводимая, 213, 226, 230
критерий, 213 обращенная, 241 однородная, 207 поглощающая, 219 размножения и гибели, 231 счетная, 207, 226 эргодическая, 215
конечная, 215
Частота
наблюдений, 279
накопленная, 280
относительная, 280
события, 278
Число степеней свободы, 343, 346
Числовые
характеристики, 78, 99, 112
условные, 128
э
Эмпирическая характеристика, 281
Андронов А. М., Копытов Е. А., Гринглаз Л. Я.
Теория вероятностей и математическая статистика
Е. СтрогановаИ. КорнеевА. Крузенштерн К КнопН. БиржаковН. СолнцеваЮ. СергиенкоЕ. СтрогановаИ. КорнеевА. Крузенштерн К КнопН. БиржаковН. СолнцеваЮ. СергиенкоУчебник для вузов
Е. Строганова
И. Корнеев
А. Крузенштерн К Кноп
Н. Биржаков
Н. Солнцева
Ю. Сергиенко
Е. Строганова
И. Корнеев
А. Крузенштерн К Кноп
Н. Биржаков
Н. Солнцева
Ю. Сергиенко
Главный редактор Заведующий редакцией Руководитель проекта Научный редактор Художник
Корректор Верстка
Лицензия ИД № 05784 от 07.09.01.
Подписано в печать 06.07.04. Формат70X100 '/,». Усл. п. л. 37.41. Тираж 4000 экз. Заказ№ 1917.
ООО «Питер Принт». 196105. Санкт-Петербург, ул. Благодатная. д. 67в,
Налоговая льгота — общероссийский классификатор продукции ОК 005-93, том 2; 953005 литература учабнаа.
Отпечатано с готовых диапозитивов а ФГУП «Печатный двор» им. А. М. Горького Министерства РФпо лелвм печати, телерадиовещания и средств массовых коммуникаций.
197110, Саикт-Петербург, Чкаловский пр.. 15.
A. M. Андронов Е. А. Копытов Л. Я. Гринглаз
ТЕОРИЯ ВЕРОЯТНОСТЕЙИ МАТЕМАТИЧЕСКАЯСТАТИСТИКА
УЧЕБНИК
ДЛЯ ВУЗОВ
1 ехр (2я-)" I С1 ехр (2я-)" I С(Х-ц) С(Х-ц) СЬ;Ь;
1 ехр (2я-)" I С
1 ехр (2я-)" I С
(Х-ц) С
(Х-ц) С
Ь;
Ь;
компьютерный курс: решение рассматриваемых задач в среде пакетов Mathcad и STATISTICA
активное изучение современных вероятностностатистических методов
для студентов, преподавателей и научных работников
A. M. Андронов
Е. А. Копытов Л. Я. Гринглаз
ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
УЧЕБНИК / ДЛЯ ВУЗОВ
В бизнесе и экономике, страховании и инвестициях, задачах надежности систем и управления запасами, медицине и биологии, проектировании и эксплуатации компьютерных систем и сетей основополагающую роль играют вероятностно-статистические расчеты. Программное обеспечение современных компьютеров делает эти расчеты легкореализуемыми, всесторонними и наглядными. Освоив эту книгу, вы станете хорошо подготовленным специалистом в области разработки и компьютерной реализации вероятностно-статистических методов.
Книга является базовым курсом для студентов высших учебных заведений, обучающихся по различным специальностям в области информатики, вычислительной техники и ее приложений.
Отличительной особенностью издания является его ориентация на постоянное использование персонального компьютера при изучении материала.
ISBN 5-94723-615-Х
СОЛИТЕР
WWW.PITER.COM
Е технических наук, профессор.
,, т премии Совета министров СС, заслуженный деятель науки, член Американской статистической ассоциай Член редколлегии журнала Automatic | Control and Computer Science.I
Автор более 200 работ. 10 монографий и учебников. Подготовил более 1 30 докторов и кандидатов наук. 1 Специализируется в области теории I вероятностей. математической статист» и математических методов.1
в Евгений Александрович — доктор технических наук, профессор. Академик Международной академии свяэт и Балтийской академии информатизации. Член редколлегии журнала Computer Modelling and New Technologies. Автор 150 работ, 20 монографий и учебнико! Подготовил 5 докторов наук. Область научных и педагогических интересов: применение математических методов i вычислительной техники, информацио: технологии, базы и банки данных.
физико-математических наук, професа Академик Балтийской академии информатизации. Автор более 50 рабо" 8 монографий и учебников. Область научных и педагогических интересов: математическая статистика и математические методы экономики^! алгебраическая теория автоматое^^Л
Посетите наш web-магазин: http:/www.piter.com
1. Экспериментально, на базе данных табл. 5.6, проверьте правильность теоремы 5.1. и формулы (5.11).
3. По аналогии с компьютерными функциями DomPol и YPol составьте компьютерную функцию, которая бы для заданной матрицы Tw, определяющей распределение вероятностей двумерной дискретной случайной величины X = (Хь Хг), и функции Y^n Xz) вычисляет распределение вероятностей этой функции, а также ее математическое ожидание и дисперсию. Проверьте правильность работы функции для распределения из табл. 5.6 и функции \|/(Xj, xp) = Xf + хг.
4. Рассмотрите функцию y(i, а) = И ■ 1г • 1з • Ц и случайную величину X = (Хь Х^, Хз, Х*\ имеющую полиномиальное распределение (5.4) с параметрами п = 8, р\ = 0.2, )h - 0.1, рз = 0.4, рл = 0.3. Используя компьютерные функции DomPol и YpolD, вычислите распределение вероятностей этой функции.
1 Ct рCt
u=u + sp=— -—-2-л0 +-.(9.36)
sllPj (1-Р)2 Р
Найдем теперь среднее время ожидания требованием начала обслуживания ». Требование ожидает, если при его поступлении в систему все аппараты оказываются занятыми. Если все обслуживающие аппараты работают, то общая интенсивность обслуживания составляет sp. Следовательно, согласно лемме 92, среднее время до окончания очередного обслуживания составляет l/sp. Пусть требование застает в системе j > s требования (вероятность этого л у вычисляется по формуле (9.34)). В этом случае требование будет ожидать j - s +1 окончаний обслуживания, то есть в среднем время (j - s + 1)/$р. Осредняя это по количеству требований j, получаем:
УЧЕБНИК / ДЛЯ ВУЗОВ
M. Андронов E. А. Копытов Л. Я. Гринглаз
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
И МАТЕМАТИЧЕСКАЯСТАТИСТИКА
С^ПИТЕР"
Москва ■ Санкт-Петербург ■ Нижний Новгород • ВоронежРостов-на-Дону • Екатеринбург ■ Самара ■ НовосибирскКиев ■ Харьков • Минск
2004
ББК 22.17я7
УДК 519.2(075)
К65
Рецензенты:
Б. Мелас, доктор физико-математических наук, профессор Санкт-Петербургскогогосударственного университета.
П. П. Бочаров, доктор технических наук, профессор, зеведующий кафедрой теории вероятностей и математической статистики Российского университета дружбы народов.
Андронов А. М., Копытов Е. А., Гринглаз Л. Я.
К65 Теория вероятностей и математическая статистика: Учебник для вузов. — СПб.: Питер, 2004. — 461 с.: ил. — (Серия «Учебник для вузов»),
ISBN 5-94723-615-Х
Перед вами — расширенный учебник по теории вероятностей и математической статистике. Традиционный материал пополнен такими вопросами, как вероятности комбинаций случайных событий, случайные блуждания, линейные преобразования случайных векторов, численное нахождение нестационарных вероятностей состояний дискретных марковских процессов, применение методов оптимизации для решения задач математической статистики, регрессионные модели. Главное отличие предлагаемой книги от известных учебников и монографий по теории вероятностей и математической статистике заключается в ее ориентации на постоянное использование персонального компьютера при изучении материала. Изложение сопровождается многочисленными примерами решения рассматриваемых задач в среде пакетов Mathcad и STATISTICA. Книга написана на основе более чем тридцатилетнего опыта авторов в преподавании дисциплин теории вероятностей, математической статистики и теории случайных процессов для студентов различных специальностей высших учебных заведений.
Представляет практический интерес как для студентов и преподавателей вузов, так и для всех, кто интересуется применением современных вероятностно-статистических методов.
ББК 22.17я7
УДК 519.2(075)
Все права защищены. Никакая часть данной книги не может быть воспроизведена е какой бы то ни было форме без письменного разрешения владельцев авторских прав.
Информация, содержащаяся в данной книге, получена из источников, рассматриваемых издательством как надежные. Тем не менее, имея в виду возможные человеческие или технические ошибки, издательство не может герантировать абсолютную точность и полноту приводимых сведений и не несет ответственности за возможные ошибки, связанные с использованием книги.
Краткое содержание
Введение 8
Пространство элементарных событий11
Классическое определение вероятностей и повторные испытания51
Дискретные случайные величины74
Непрерывные случайные величины92
Многомерные дискретные случайные величины129
Многомерные непрерывные случайные величины151
Суммирование случайных величин и предельные теоремы . ... 182
Цепи Маркова209
Дискретные марковские процессы245
Задачи математической статистики и первичная обработка данных278
Точечные оценки параметров распределений310
Оценивание с помощью доверительных интервалов337
Проверка статистических гипотез367
Регрессионный и корреляционный анализ406
Литература454
одержание
ведение8
Общая характеристика книги8
Структура книги8
Стиль, нумерация и выделения в тексте9
Благодарности 10
От издательства 10
Пространство элементарных событийи
События и операции над ними11
Компьютерный практикум № 1. Операции над событиями в пакете Mathcad16
Комбинации событий25
Структурная надежность систем29
Компьютерный практикум № 2. Комбинации событий в пакете Mathcad31
Вероятности на дискретном пространстве элементарных событий34
Вероятность наступления комбинации событий42
Компьютерный практикум № 3. Вероятности событий в пакете Mathcad45
Задачи48
Классическое определение вероятностей и повторные испытания51
Различные определения вероятностей51
Элементы комбинаторики52
Последовательности испытаний56
Случайные блуждания* 59
Компьютерный практикум № 4. Анализ повторных испытаний и случайных блужданий в пакетеMathcad66
Задачи 70
. Дискретные случайные величины74
1 /(искра тныо случайные величины и их распределения74
.2 Математическое ожидание дискретных случайных величин81
3 Функции дискретных случайных величин83
Кимньинортий практикум Nv 5. Распределения дискретных случайных величин —.... .86
Непрерывные случайные величины 92
Распределения непрерывных случайных величин 92
Математическое ожидание непрерывных случайных величин102
Функции и моменты непрерывных случайных величин104
Распределения функций непрерывных случайных величин*109
Неравенства для моментов и вероятностей*114
Компьютерный практикум Ns 6. Распределения непрерывных случайных величин в пакете Mathcad118
Задачи126
Многомерные дискретные случайные величины129
Распределения многомерных дискретных случайных величин129
Функции многомерных дискретных случайных величин135
Индикаторы событий*140
Компьютерный практикум Ns 7. Многомерные дискретные случайные величины в пакете Mathcad142
Задания для самостоятельной работы148
Задачи149
Многомерные непрерывные случайные величины151
Распределения многомерных непрерывных случайных величин151
Функции многомерных непрерывных случайных величин157
Линейные преобразования случайных векторов*159
Многомерное нормальное распределение* 167
Компьютерный практикум Ns 8. Двумерное нормальное распределение171
Компьютерный практикум Ns 9. Многомерное нормальное распределение176
Задачи180
Суммирование случайных величин и предельные теоремы 182
Суммирование дискретных случайных величин182
Суммирование непрерывных случайных величин185
Суммирование независимых многомерных случайных величин*187
Центральная предельная теорема194
Закон больших чисел196
Компьютерный практикум Ns 10. Суммирование дискретных случайных величин . . 197
Компьютерный практикум Ns 11. Суммирование непрерывных случайных величин ..201
Компьютерный практикум Ns 12. Предельные теоремы теории вероятностей . . . . 203
Задания для самостоятельнойработы205
Задачи206
Цепи Маркова 209
Основные определения209
Классификация состояний и цепей Маркова215
Эргодические конечные цепи218
Понющающие цепи Маркина222
Компьютерный практикум № 13. Анализ цепей Маркова в пакете Mathcad237
Задания для самостоятельной работы242
Задачи242
Дискретные марковские процессы245
Определение марковского процесса 245
Уравнения Колмогорова 250
Пуассоновский процесс252
Численное решение уравнений Колмогорова255
Стационарное распределение вероятностей состояний259
Процессы размножения и гибели. Процессы массового обслуживания263
Компьютерный практикум № 14. Анализ дискретных марковских процессов в пакете Mathcad (часть 1) 268
Компьютерный практикум № 15. Анализ дискретных марковских процессов в пакете Mathcad (часть 2) 272
Задания для самостоятельной работы275
Задачи276
). Задачи математической статистики и первичная обработка данных278
Задачи математической статистики 278
Представление статистических данных281
Определения и свойства выборочных характеристик284
Компьютерный практикум № 16. Решение задач дескриптивной статистики в пакете STAT1STICA287
Компьютерный практикум № 17 Работа с распределениями случайных величин в пакете STATISTICA299
Задания для самостоятельной работы308
Задачи308
Точечные оценки параметров распределенийзю
. Определение и основные свойства точечных оценок310
I I 2 Неравенство Рао—Крамера и эффективность*316
.3. Метод моментов для нахождения оценок параметров распределения319
1.4. Метод максимального правдоподобия322
.5. Достаточные статистики*325
Компьютерный практикум №18. Методы точечного оценивания параметров распродслений в пакете Mathcad326
Задания для самостоятельной работы334
Задачи334
2. Оценивание с помощью доверительных интервалов . . 337
I2 I Основные определения337
12 2 1locipoonno доверительных интервалов в случае псимпнни'нн.ки нормальных оценок 340
12.3 Оснонныо р.н 11|н лолония математической шагистики346
Л Н(., н.п.ио., noiuuiuuun.ui.ix интпиалон в < лучае МИЛЫХ ЛЫГЮООК
.5. Численный метод построения доверительных интервалов для параметрической функции*356
Компьютерный практикум № 19. Построение доверительных интервалов в пакете Mathcad361
Задания для самостоятельной работы364
Задачи365
Проверка статистических гипотез367
Основные понятия 367
Проверка гипотез относительно вероятности373
Проверка гипотез о математическом ожидании377
Проверка гипотез о дисперсии нормальной совокупности380
Наиболее мощные критерии*382
Непараметрические критерии для проверки гипотез о распределениях случайных величин386
Непараметрические критерии сравнения двух совокупностей 391
Компьютерный практикум № 20. Непараметрическая проверка гипотез в пакете STATISTICA393
Задания для самостоятельной работы401
Задачи402
Регрессионный и корреляционный анализ406
Одномерная линейная регрессия 406
Проверка адекватности модели одномерной линейной регрессии 412
Многомерная линейная регрессия418
Проверка адекватности модели многомерной линейной регрессии426
Общая модель регрессии431
Статистическое оценивание корреляционных зависимостей435
Компьютерный практикум № 21. Оценка параметров модели линейной регрессии в пакете STATISTICA436
Задания для самостоятельной работы451
Задачи452
Литература454
Алфавитный указатель 455
ведение
щая характеристика книги
шая книга представляет собой расширенный учебник по теории вероятностей тематической статистике, ориентированный на постоянное использование сональных компьютеров при изучении излагаемого материала. Она предна- чена для студентов высших учебных заведений, обучающихся по различным циалыюстям, в их числе: информатика и вычислительная техника, приклад- । информатика, математика и компьютерные науки, математическое обеспече- ; и администрирование информационных систем и др.
1астоящее время имеется много прекрасных учебников и монографий по тео- а вероятностей и математической статистике, написанных в классическом ив*. Однако практически ни в одной из них нет компьютерного сопровожде- я, когда теоретические результаты реализуются и иллюстрируются с помою компьютерных программ. На наш взгляд, последнее необходимо по двум ичпиам. Во-первых, персональные компьютеры в огромной степени расширя- возможиости рассмотрения численных примеров и экспериментальных рас- гоп Опп позволяют отойти от рассмотрения нарочито упрощенных, учениче- нх задач п формулировать и решать более приближенные к практике и более персгные задачи. Во-вторых, предоставляемая ими визуализация изучаемых тя гиii н закономерностей позволяют быстрее и лучше освоить излагаемый ма- риал. К этому следует добавить эффект активной формы обучения, когда уча- нйгя самостоятельно выполняет на компьютере разные задания. Этим самым । приобщается к математике посредством компьютера.
асюяшая книга написана на основе более чем тридцатилетнего опыта авторов преподавании дисциплин теории вероятностей и математической статистики 1я ( гулетов различных высших учебных заведений и специальностей. В по- и-днис годы осуществлялся пересмотр методики преподавания на основе широ- ио использования персональных компьютеров.