Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ГЛАВА 1
ПРЕДВАРИТЕЛЬНЫЕ ЗАМЕЧАНИЯ
Выборочные пространства и события
Математическая статистика основывается на теории вероятностей, точное описание и трактовка которой в свою очередь зависят от теории меры и интегрирования. Теоретико-множественное описание вероятности, которое будет использовано в этой книге, было сформулировано Колмогоровым (1933а). Для наших целей здесь будет достаточно сделать небольшое вступление, охватывающее лишь основные определения, понятия и важные детали аппарата вероятностной теории в форме, полезной для математической статистики. Читателю, желающему получить более обширные и подробные сведения из теории вероятностей, следует обратиться к книгам Дуба (1953), Гнеденко и Колмогорова (1949), Феллера (1957), Колмогорова (1933а), Леви (1925, 1937) и Лоэва (1955). Подобную информацию, относящуюся к теории меры, можно найти у Халмоша (1950) и Манроу (1953).
Приступая к изложению необходимых в этой книге основ теории вероятностей, мы должны сначала рассмотреть понятия выборочного пространства и события, описание событий, а также составление и разложение событий. Аппарат для обращения с этими понятиями доставляет теория множеств.
Обозначим через R множество элементов е, которые будут называться выборочными точками или случайными точками, или, более кратко, точками. Число выборочных точек может быть конечным или бесконечным. R называется выборочным пространством или пространством исходов. Мы будем употреблять первое из этих двух выражений. Выборочная точка может рассматриваться как возможный исход эксперимента, пробы или операции, произведенной при данной савокупности условий. Однако никакой попытки формально определить подобные понятия мы предпринимать не будем. Выборочное пространство R есть просто множество всех возможных исходов, которые могли бы реализоваться, когда при данной совокупности условий осуществится некоторая операция.
Примеры. Несколько пояснительных примеров могут помочь закрепить эти представления.
При однократном бросании монеты, где е означает любую ее сторону, оказывающуюся сверху, выборочное пространство R состоит из двух выборочных точек: герба и решетки. При двукратном бросании монеты, где е означает произвольную комбинацию сторон, выпадающих сверху, выборочное пространство R состоит из четырех выборочных точек, в сокращенной записи ГГ, ГР, РГ, РР. Таким образом, если монета действительно подброшена дважды, одна из этих четырех выборочных точек реализуется.
При выборе наудачу 13 карт из колоды, содержащей 52 игральные карты, /52\
выборочное пространство R состоит из L$ I выборочных точек, причем каждая выборочная точка е есть один из возможных наборов выбранных карт. Таким образом, если 13 карт действительно выбраны, одна из этих выборочных точек из R реализуется.
Если электрической лампочке дают непрерывно гореть, пока не истечет срок ее службы, и е означает возможную продолжительность этого срока, то е— положительное число и (идеализированное) выборочное пространство R состоит из всех положительных чисел. Если к электрическим лампочкам Ви ..., В к дают непрерывно гореть, пока все они не выйдут из строя, то е можно взять в виде множества к положительных чисел (хь ..., х^), означающих возможные сроки службы лампочек Вь ..., В^ и (идеализированное) выборочное пространство R будет состоять из точек в ^-мерном эвклидовом пространстве, все координаты которых положительны.
Следует отметить, что во всех приведенных примерах осуществляется некоторая операция и результат этой операции изображается при помощи выборочной точки е, которая в свою очередь принадлежит выборочному пространству R. »
Выборочная точка е иногда называется элементарным событием, а множество Е выборочных точек, являющееся некоторым подмножеством точек в R, — событием. Конечно, событие может состоять и из одной-единственной точки. Когда мы говорим, что происходит событие Е, мы подразумеваем, что выборочная точка е (представляющая исход эксперимента, пробы или операции) содержится в Е. Вообще события и классы событий представляют больший интерес, чем отдельная выборочная точка как таковая. Выразим эту мысль несколько более точно. Обычно мы в большей степени интересуемся вероятностями, связанными с событиями, чем вероятностями, связанными с отдельными выборочными точками. Теми событиями, которые имеют для нас значение, являются измеримые события, т. е. множества, обладающие соответствующими вероятностями. Понятие измеримости будет рассмотрено в § 1.4.
Говоря на языке теории множеств, мы будем интересоваться некоторыми классами подмножеств R и вероятностями (функциями множеств), которые должны быть определены на множествах, принадлежащих таким классам. Тем не менее множество точек в выборочном пространстве R также называется событием. Будет действительно удобно использовать термины «множество» и «событие» как равнозначные.
Прежде чем перейти к дальнейшему обсуждению этих классов, мы познакомимся с основными принципами алгебры множеств.
Определения и правила для составления и разложения событий
В этом параграфе каждое из множеств Е, Еъ Е^ ..., о которых будет идти речь, представляет собой событие, состоящее из выборочных точек в выборочном пространстве R. Иногда об этих множествах говорят как о ^-множествах. Конечная последовательность п множеств будет записываться в виде Ех, Е^ ..., E,v а счетная последовательность — в виде Ev Е^ ...
Если е есть элемент множества Е, мы выражаем это посредством записи
е^Е.(1.2.1)
Мы также говорим, что е принадлежит множеству Е.
Если Ех и Е^— два множества, причем каждая точка множества Ех содержится в Е^ то Ev, называется подмножеством Е^ и мы пишем
E^czE^ или E^zdEx.(1.2.2)
Заметим, что если Ех состоит в точности из одной точки, например точки е, то Excz.E^ эквивалентно утверждению е^Е^
Два множества Ех и Е^ равны, если Е^сЕ^ и ЕхтэЕ^ В этом случае мы пишем
ЕХ=Е^(1.2.3)
Пустое (или нулевое) множество есть множество, не содержащее никаких точек. Если Е не содержит ни одной точки, мы полагаем
Е= ф.(1.2.4)
Нулевое множество ф является подмножеством каждого множества EQR.
Множество всех точек, содержащихся как в Ех, так и в Е^ называется пересечением или произведением Ех и £2 и будет обозначаться
Е1А^-~(1.2.5)
Множества Ех и Ег не пересекаются, т. е. не содержат общих точек, если
ЕхГ\Е^=ф.(1.2.6)
Пересечение последовательности множеств Ev Ег,... обозначается символом
А Еа,(1.2.7)
а — 1
если имеется всего п множеств, и символом
А Еа,(1.2.8)
а — 1
если последовательность счетная. -В более общем смысле для произвольной совокупности множеств {Ва: а £ 7} пересечение множеств обозначается через Q Еа или просто через Q Еа, если область а £ Tа
изменения Т значений а не вызывает сомнений. Областью 7' может быть, конечно, не только множество целых чисел, но и множество элементов в более общем пространстве. Почти во всех примерах, с которыми мы встретимся в этой книге, Т будет последовательностью (конечным или счетным множеством целых чисел). Если Eaf\E^= ф, а ф р, то говорят, что Ev ..., Еп попарно не пересекаются.
Множество всех точек, содержащихся по крайней мере в одном из множеств Ех и Е^ называется объединением или суммой Ех и Е^ и будет обозначаться )
^и^-(1.2.9)
Отметим, что если Ех— любое ^-множество* и Е^ = ф, то £*1(JE’o = = EV
Объединение конечной последовательности множеств Ех,..., Еп обозначается символом
п
^Е.(1.2.10)
и — если последовательность счетная — символом
и 5,-(1.2.11)
а= 1
Для произвольной совокупности множеств {^.'а^Г} мы можем писать (J Еа.
Множество, состоящее из всех точек Ev не содержащихся в Е^ называется ревностью между Д и Е2 и записывается как
Ех — Ег.(1.2.12)
Если Ех d Е^ то, очевидно, Ех — Е^ — пустое множество. Если ЕхфЕ^=ф> то Ех— ЕсЬ = Ех. Если Е^С_ЕХ, Ех — Е^ называется собственной разностью Ех и Е^ В этом случае иногда удобно говорить, что ^ — Е^ получается вычитанием Е^ из Ех.
Собственная разность Ех — Е^ также называется дополнением Е^ относительно EXi мы пишем
Ех — Е^ = Ё^Еху(1.2.13)
В частном, но важном случае, когда Ех совпадает со всем выборочным пространством R, R— Е^ называется дополнением к Е^. Очевидно,-
R — E^E^(1.2.14)
Вообще говоря, мы имеем
Ех-Еъ=Ех(ЛЕ*.(1.2.15)
Чтобы наглядно проиллюстрировать понятия объединения, пересечения и разности множеств, мы воспользуемся диаграммой Венна.
Рис. 1.1. Диаграмма Венна, иллюстрирующая четыре непересекающихся множества Et П EZi Ех Q Ez> Еt Q EZ) Et Q Ez, образованных из Et и Ez.Рис. 1.1. Диаграмма Венна, иллюстрирующая четыре непересекающихся множества Et П EZi Ех Q Ez> Еt Q EZ) Et Q Ez, образованных из Et и Ez.Пусть множество внутренних точек прямоугольника, изображенного на рис. 1.1, представляет собой выборочное пространство R и пусть Ег и Е^ — множества внутренних точек соответственно большого и малого кружков. Тогда объединением Ех U ^2 является множество точек, заключенных внутри по крайней мере одного из кружков; разностью Ех — Е^ (= Ех С\Е^ является множество внутренних точек большого кружка, не содержащихся внутри малого; подобную интерпретацию допускает и множество Е^ — Et (= Ev П Ей); множество Ёх П Е^ = R — (^ О Е^есть
Рис. 1.1. Диаграмма Венна, иллюстрирующая четыре непересекающихся множества Et П EZi Ех Q Ez> Еt Q EZ) Et Q Ez, образованных из Et и Ez.
Рис. 1.1. Диаграмма Венна, иллюстрирующая четыре непересекающихся множества Et П EZi Ех Q Ez> Еt Q EZ) Et Q Ez, образованных из Et и Ez.
множество внутренних точек прямоугольника, не содержащихся ни внутри большого, ни внутри малого кружка.
Эти понятия теории множеств допускают следующий перевод на язык событий *):
Ex CZ. Е^ означает, что наступление события Ev влечет наступление события Е^ т. е. выборочная точка е не может встретиться в Ех, не будучи элементом Е^.
Е=ф» пустое множество, означает, что событие Е произойти не может.
E=R, все выборочное пространство, означает, что событие Е обязательно должно произойти.
Пересечение Ех Q Е^ есть событие, состоящее в совместном наступлении событий Ех и Е^
Объединение Ех (J Е^ есть событие, состоящее в наступлении по крайней мере одного из событий Ev и Е^.
Разность Ех — Е^ есть событие, обозначающее одновременно наступление Ех и ненаступление Е^
Читатель может легко проверить, что операции взятия объединения и произведения множеств коммутативны, т. е.
Е,и^=^и^1> ^1А^=^П^.(1.2.16)
ассоциативны, т. е.
(5, и А) и 53=5, и № и 53),
(5, А Е^ А 5з = 51 А (5з А 5з),( • • }
и дистрибутивны, т. е.
• Ех A (5, U 5з) = № АЕ^ и (51 А 5з).п 2 18.
Ev U (Е, A 58) = № (J 52) А (5, U 5,).1 ‘
Также ясно, что Ev и собственная разность Е^— (^ А ^з) не пересекаются и ^ U ^2 = ^ U [^2 — (^ А ^)Ъ(1.2.19)
Подобным образом Ev А Е^ и собственные разности Ei — (^ А Е^) и £2 — (Е^ А ^з) попарно не пересекаются, так что
Ех и Д=№ А ^з) и № - № А ^з)] и [^з - № А ДО].
Необходимо отметить, что пересечение любых двух подмножеств Ех и Е^ пространства R может быть выражено в терминах объединений и разностей множеств с помощью формулы
£iA^ = /?-(AU52).(1.2.20)
Аналогичную формулу мы имеем для объединения:
^U^ = ^-№ А^з).(1.2-21)
Справедливы также следующие соотношения:
ЙП^)С^ а=1, 2,(1.2.22)
и
^«Сйи^а=1, 2.(1.2.23)
Для дальнейшего изложения будет полезно сформулировать обобщения некоторых из предшествующих результатов на конечные или бесконечные семейства множеств. Доказательства просты и предоставляются читателю.
L2.L Для произвольного семейства множеств {Ва:а^ Т\
QEa = R-UEa,(1.2.20a)
\jE0 = R—QEa,(1.2.21a)
(KC^(1.2.22a)
U5aD5„.(1.2.23a)
aH
Обобщение формулы (1.2.19) можно сформулировать следующим образом.
Если Е^ Е^ ...— последовательность (конечная или бесконечная^ множеств, то Еу и собственные разности
е. - № А 51). Е. - [А А Фг и ^1>Ъ • • • •^-[^At^-iU U5,)].
попарно не пересекаются и объединение всех этих множеств есть IJ Еа.
Теорема 1.2.2 дает простое правило для разложения объединения некоторой последовательности множеств на попарно не пересекающиеся множества. Необходимо отметить, что Еу и разности Е^ — Еу, Е3 — (A IJ Е^> ..., Еп — (Еу \J ... U Еп_у\ ... также попарно не пересекаются и их объединение есть (J Еа.
Если Еу, Е^ ... — счетная последовательность множеств в R, то множество Е*, состоящее из всех точек, каждая из которых принадлежит бесконечному числу множеств этой последовательности, называется верхним пределом последовательности, и мы пишем
Е* = lim sup Еа.. (1.2.24)
Аналогичным образом множество Е*, состоящее из всех точек, каждая из которых принадлежит всем множествам последовательности, за исключением конечного их числа, называется нижним пределом последовательности, и при этом используется запись
^ = liminfBa.(1.2.25)
Если Е* — Е*, мы будем говорить, что последовательность Ех, Е^ ... имеет предел, который мы обозначим как
lim Еа пли lim/?a.(1.2.26)
Предел расширяющейся или возрастающей последовательности EyCE^Q..., очевидно, существует и равен объединению всех множеств {Ва}, т. е.
\imEtt=VJEa.(1.2.27)
Существует предел и стягивающейся или убывающей последовательности, т. е. последовательности, для которой Еу"2) E^^D...; он равен пересечению всех множеств
limf^AS..(1.2.28)
В случае произвольной последовательности множеств Ev Е^ ... в R мы имеем
ОООООООО
limsup£a = Р Q £е, liminf£a=Q Q Дгап=1 а — па/1=1 а = п
Расширяющиеся и стягивающиеся последовательности — несомненно самые важные последовательности в теории вероятностей и статистике. Если Ех, Е^ ... — либо расширяющаяся, либо стягивающаяся последовательность множеств, удобно называть ее монотонной последовательностью. Таким образом, предел монотонной последовательности всегда существует. Если обозначить предел через Е, то E=\JEa или Е=Р\Еа в зависимости от того, является последовательность расширяющейся или стягивающейся. Несколько ниже мы увидим, что монотонные последовательности множеств играют фундаментальную роль в теории вероятностей.
Поля множеств
Как было указано ранее, нас в большей мере будут интересовать определенные классы подмножеств (событий) выборочного пространства R, чем отдельные выборочные точки в R. В частности, мы будем интересоваться полями множеств, т. е. классами множеств, удовлетворяющими некоторым условиям, которые должны быть сформулированы ниже.
Непустой класс У множеств в R называется болевым полем множеств, если он удовлетворяет следующим условиям:
AL Если Е^У, то Е^^.
А2. Если Ех £ и ^ G ^’ то Ех (J Е £ ^.
Класс У множеств называется борелевским полем *) множеств, если выполняется следующее дополнительное условие:
АЗ. Если ЕХ) Е^ ... — счетная последовательность множеств, принадлежащих то (J Еа £ У.
В действительности при определении борелевского поля множеств требование А2 является излишним, так как оно вытекает из АЗ. Полагая в А2 E^ = EV мы имеем Ех |J EX = R £ У. Нужно также отметить, что если в А1 в качестве Е взять R, то Е будет пустым множеством, и следовательно, пустое множество всегда содержится в поле множеств независимо от того, булево оно или борелевское.
В результате последовательного применения А2 мы заключаем, что объединение любого конечного числа множеств, принадлежащих бу-
леву полю ^, также принадлежит ^. Можно проверить на основе Al, А2 и (1.2.20), что пересечение конечной или, в случае борелев- ского поля, счетной последовательности множеств из ^ принадлежит
Если R содержит конечное число N (различных) выборочных точек, то класс всех возможных событий конечен и является, очевидно, булевым полем. В самом деле, в этом случае булево поле «F состоит из следующих 2^ множеств (событий): пустого множества, всех одноточечных множеств, всех двуточечных множеств, ..., и, наконец, самого R (TV-точечного множества). Если мы обозначим через 5% класс, состоящий из всех» N одноточечных множеств, то ясно, что любое конечное множество, принадлежащее булеву полю ^ можно получить, применяя А1 и А2 конечное число раз. Таким образом, булево поле ^ может быть порождено начальным классом ^й. Следует подчеркнуть, что вообще существует много различных путей для выбора начального класса «^0> способного породить булево поле множеств ^"; класс одноточечных множеств, указанный выше, по-видимому, простейший.
Конечно, булево поле, порожденное конечным классом множеств, будет состоять только из конечного числа событий. Но если R содержит бесконечное или даже счетное число выборочных точек, то булево поле дает нам класс событий, недостаточный для' рассмотрения многих представляющих интерес проблем.
Условие АЗ вводится для того, чтобы обеспечить возможность создания аппарата для исследования более широких классов событий, когда R содержит бесконечное число выборочных точек.
Предположим теперь, что R — выборочное пространство и ^0 — произвольный начальный класс событий в R. Пусть 98 — некоторое борелевское поле множеств, содержащее все множества из ^0. Очевидно, по крайней мере одно такое борелевское поле существует, так как в качестве 98 можно взять класс всех подмножеств R, который, разумеется, содержит ^0.
Обозначим через 98 (5%) класс, состоящий из всех множеств, которые принадлежат каждому борелевскому полю, содержащему ^0 • 98^^ есть пересечение всех борелевских полей, содержащих класс ^0. Множества из 98^^ удовлетворяют условиям Al, А2 и АЗ, и, следовательно, 98^^ — борелевское поле.
Кроме того, 98 (5%) по определению содержится в любом борелев- ском поле, содержащем 5%. Поэтому оно является единственным наименьшим борелевским полем, содержащим ^0, и называется борелевским полем, порожденным классом
Мы можем сформулировать следующее утверждение:
Пусть ^0— произвольный, класс множеств в R. Тогда существует единственное борелевское поле 98 (Уо), обладающее тем свойством, что если 98— любое борелевское поле, содержащее ^0, то 98 (^о)С^-
В частном, но важном случае, когда выборочное пространство R представляет собой вещественную ось Rt (состоит из выборочных точек е, являющихся вещественными числами), а класс ^0, который можно именовать начальным классом, есть класс всех полуоткрытых интервалов ) (а, 6], множества борелевского поля о® (Уо) называются борелевскими множествами на вещественной прямой и класс этих множеств ^(^о) будет обозначаться через о^. Мы получим то же самое борелевское поле, если в качестве ^0 возьмем класс интервалов вида (а, 6), [а, 6), (а, Ц или вообще класс всех открытых множеств в Rv или класс всех замкнутых множеств в Rv Борелевские множества в Rv образуют класс, включающий в себя все множества, которые могут быть получены в результате применения к конечному или счетному числу интервалов конечного или счетного числа операций объединения, пересечения, дополнения и вычитания.
В другом, более общем, случае, если выборочное пространство R является ^-мерным евклидовым пространством Rk и если начальный класс ^0 выступает как класс всех ^-мерных полуоткрытых интервалов (а; Ци, множества борелевского поля S3 (^0)> порожденного ^0 называются борелевскими множествами в Rk и само поле обозначается буквой S3k. Имеются, конечно, другие подобные же способы выбрать начальный класс ^0, порождающий борелевские множества в. Rk. Например, ^0 может быть классом всех интервалов вида (a; Ь)к, [а; Ь)к или [а; Ь\к. Следует также заметить, что класс борелевских множеств в Rk содержит каждое множество, которое может быть образовано с помощью конечного или счетного числа операций объединения, пересечения, разности или дополнения, примененных к интервалам любого упомянутого выше вида.
Вероятностная мера
В предыдущих параграфах мы занимались описанием событий и обучались обращению с ними. Теперь мы рассмотрим задачу, связанную с приписыванием этим событиям вероятностей, и установим правила оперирования с вероятностями. Общее понятие вероятности события есть абстракция, ведущая свое начало от идеи относительной частоты, с которой событие встречается в последовательности повторений эксперимента при «данной совокупности условий». Допустим, что Е — некоторое событие из основного выборочного пространства R, причем каждый раз, когда «основной» эксперимент завершается, исход его соответствует некоторой выборочной точке е
в R. При т повторениях эксперимента обозначим через тЕ число случаев, когда получающаяся выборочная точка е принадлежит Е, т. е. частоту, с которой наступает событие Е. Относительная частота Е в т опытах будет равна . Ясно, что это отношение лежит в интервале [0, 1]; оно с необходимостью имеет значение 1, если E=R, и значение 0, если Е — пустое множество. Если Ех и Е^ — непересека- ющиеся события, частота, с которой наступает событие Ех IJ Е^ равна шех-г^е», а его относительная частота равна— - =—М—
Таким образом, относительная частота объединения двух непересекаю- щихся событий равна сумме относительных частот этих событий. Подобная же связь имеется между относительными частотами любого конечного числа попарно не пересекающихся событий и относительной частотой их объединения.
Если мы теперь представим себе относительную частоту события Е в (очевидно, неосуществимом) неограниченно длинном ряду повторений нашего «основного» эксперимента, мы будем недалеко от разумной интерпретации вероятности события Е. Однако возникнут серьезные трудности, обсуждать которые мы не можем, если мы попытаемся основать теорию вероятностей на строгой формализации" идеи относительной частоты и на предположении о том, что в неограниченно длинном ряду опытов имеют место свойства сходимости. Этот подход был рассмотрен Мизесом (1931). Более простая и, по- видимому, более глубокая формулировка, первоначально предложенная Колмогоровым (1933а), сводится, по существу, к предположению, что а) в качестве вероятностей событий в некотором начальном классе относительно простых событий могут быть выбраны числа, принадлежащие интервалу [0, 1], и б) эти начальные вероятности вместе с правилами определения вероятностей более сложных событий дают возможность определить вероятности любого события из класса достаточно широкого, чтобы охватить события, представляю-' щие интерес в исходной вероятностной задаче. В процессе действительного выбора вероятностей событий обычно руководствуются гипотетическими данными, основанными на прогнозировании относительных частот событий, которые должны иметь место в длинном ряду повторений «основного» эксперимента. В предложенной Колмогоровым формулировке важная роль отводится математической теории, которая начинается после выбора вероятностей. Можно, конечно, поинтересоваться, правильно ли выбраны вероятности в какой-либо конкретной ситуации. Формальная постановка этого вопроса приводит нас к одной из задач теории проверки статистических гипотез, которая будет рассматриваться в более поздних главах.
Формализуем высказанные идеи, приведя определение вероятностной меры или распределения вероятностей на некотором классе событий.
Назовем функцию множества Р, заданную на всех множествах булева поля <F, вероятностной мерой на этом булевом поле S, если удовлетворяются следующие три условия:
Число Рф\ поставленное в соответствие любому событию Е ^^ и называемое вероятностью события Е, является вещественным и неотрицательным. Иногда вместо Р(Е) пишут Р^ЕУ
Если Ех, Е^ ...— счетная последовательность попарно не пересекающихся множеств из ^, объединение которых также находится в У, то со оо
Р( U Р^.
P(R)=L а=1
Если Р— функция множества, определенная для всех множеств в борелевском поле У и удовлетворяющая условиям Bl, В2 и ВЗ, то Р называется вероятностной мерой на борелевском поле ^. Разумеется, в этом случае (J Еа £ по определению борелевского поля.
Тройка (/?, 3^ Р) называется вероятностным пространством. Следует отметить, что В2 имеет место для всех конечных наборов попарно не пересекающихся множеств Еъ ..., Еп, так как в^ качестве Епл.^ Еп^, ... могут быть взяты пустые множества.
Функцию множества Р, удовлетворяющую В1 (где опущено требование неотрицательности) и В2, часто называют вполне аддитивной функцией множества, если Р(Е) конечно для каждого Е^^. '
Обычно мы интересуемся наименьшим борелевским полем <98 (У), порожденным некоторым булевым полем З^ Конечно, CZ о® (^). Здесь мы можем сформулировать несколько простых, но вместе с тем и полезных теорем, касающихся вероятностей событий из <98 (У). Естественно, что эти теоремы автоматически будут выполняться для событий из ^, так как вероятностная мера на <98 (У) задает вероятности для всех множеств в У.
Если Е— любое событие из <93(3*), то Р (В) + Р (Е) = 1.
Из теоремы 1.4.1 и условия ВЗ немедленно вытекает, что Р(ф) = 0. Непустое множество Е, для которого Р(Д) = 0, иногда называется множеством (или событием) нулевой вероятности.
Если Ех и Е^— события из <98^) такие, что EV"2)E^ то 0^Р<Ех — Е^ = Р<Ех) — Рф^ и Р(Д)^Р№).
Если Ех и Е^— события из 93(3), то P(EXVJE^ = = Р(Ех)-\-Р(Е^— Ех Q Е^ и, кроме того, P(PiU^2) = P№) + ^Р(Ег)-Р(Ех^Е,).
Вообще, если Ev ...>Еп— п множеств, Принадлежащих 93(3), то
р Лх Е^=р (А)+Р № - Е, А 51) +.. •
... + P(£„-£„A[5iU ... U^-1]). (1-4.1)
и, кроме того, ппп
p(U е^-^р^- £ Р(£ЯА^) + ...
«=1а—1р>а=1
... + (-ly-ip^f)П^)-(1.4.1a)
Доказательство теорем 1.4.1, 1.4.2, 1.4.3 и 1.4.4 предоставляется читателю в качестве упражнения. Если мы рассматриваем бесконечную последовательность множеств Ех, Е^... из о® (У), то (1.4.1) и (1.4.1а) принимают соответственно вид
Р ( и EJ = Р №) + Р А - Е» П 5.) + Р (Е3 - Е3 П [5, а = 1~
(L4.1)' и (предполагается сходимость сумм в правой части)
ОО0000
РМЕ^^^Р^- 2 Р^ПЕД
а—1а—1р>а —1
оо
+ S Р(^А^А^)—(1.4.1а/
Т>Р>а=1
Отметим, что (1.4.1) и (1.4.1a) суть частные случаи соответственно (1.4.1/ и (1.4.1а/, в чем легко убедиться, считая Е^, Еп^, ..., пустыми множествами.
Следующая теорема имеет особое значение для главы 2.
; Если Ех, Е^ ... — монотонная последовательность множеств, принадлежащих борелевскому полю 33 ^\ то
\1тРф^ = Р^хпЕаУа-*ооа—>оо
Чтобы доказать теорему 1.4.5, мы рассмотрим сначала стягивающуюся последовательность Ех 2? Е^ ZD • • • Тогда множества Ех — Е^,..., Еп_х— Еп, Еп, п = 2, 3, ..., попарно не пересекаются, и поэтому
E1 = (Ev - Е^ и № - Е») и ... и Фп-Л - Еге) и Еп =
п— 1
= [U(Sa-5«+i)JU5„. (1.4.2)
a = 1
Обращаясь к В2, мы имеем
п— 1 р №) = Р ( и Ф. - Ee^) + Р(Епу(1.4.3)
a= 1
и после перехода здесь к пределу при л^-оо и новой ссылки на В2 —
п— 1
Р №) = lim Р ( U (Еа - Еа^ + Нт Р (Еп) = л-*оо a = 1л-*оо
п— 1
— P(lim U(5«-5e+i)) + limP(E„). (1.4.4) л—»оо a = 1п-*о5
п— 1
Но lim (J (fe — 5а+1) = lim <ЕХ — Еп> Далее, (5, — £„), я = 1, 2, ..., «—*оо а = 1п—*оо
— расширяющаяся последовательность, предел которой при л->оо
ОО
равен Ех — Е, где Е= Q Еа. Так как Ех и Е принадлежат о® (5^, то Ех — Е также принадлежит <^ ^^ и мы получаем
Р №) = Р^ЕХ- Е) + Hm Р (Еа\(1.4.5)
На основании теоремы 1.4.2 Р(Ег — Е) = Р (Е^ — Р (Е), что после подстановки в (1.4.5) дает P(£') = limP(Fa), т. е.
Р (lim Е^ = lim Р <Еп\(1.4.6)
«-►00«-*оо
тем самым завершая доказательство нашей теоремы в случае стягивающейся последовательности событий.
Если Ех С Е^О-- — расширяющаяся последовательность событий, то последовательность, составленная из дополнений к этим событиям, Ev Е^ ... является стягивающейся и по только что доказанному
Р(НтД„) = НтР(Д„)(1.4.7)
«—►ооп-^оо
ИЛИ
Р(lim(R — f„)) = lim P(R — E„),(1.4.8)
«-*ооп-*оо
что можно переписать в виде
Р(Я —limp,,) = lim Р(Р — Д„).(1.4.9)
«—►ОО«-*00
Воспользовавшись теоремой 1.4.2, мы получаем соотношение (1.4.6), где, разумеется,
Hm Е„ = \jEa.
«-*оо a — 1
Следующая теорема покрытия будет использоваться в более поздних главах. 00
. Если Е, Ех, Е^ ... — события из <£В^\ причем EC2VJ Еа, а = 1
тосо
Рф^^рф.\
а=1
Всякий раз, когда конечная или бесконечная последовательность 00
множеств Е> Ех> Е^ обладает тем свойством, что Е CZ U Еа1 мы бу- a= 1
оо
дем говорить, что IJ Еа есть покрытие множества Е.
a ~ 1
Чтобы установить справедливость утверждения 1.4.6, достаточно
ОО
заметить, что, поскольку G U а= 1
£=5A(U5„).(1.4.10)
а= 1
Применяя затем теорему 1.2.2, мы находим
5=[£П£1]и[£П№-Д^^(1.4.11)
Множества, стоящие в квадратных скобках, попарно не пересекаются и принадлежат <93 (У\ Следовательно,
Р (Е) = Р (Е А 5,) + Р Ф А ф. - Е. А 5,)) + ■.., (1.4.12) но
5A51Q5., 5 А № — 53 A 5i) С 53, ...
Поэтому на основании теоремы 1.4.2
Р(Е)^Р(ЕХ) + Р(Е^...,(1.4.13)
и это заканчивает доказательство теоремы 1.4.6.
Полагая Епл,х = Епл% = . ..= 0, можно увидеть, что из теоремы 1.4.6 вытекает неравенство
Рф^^р^,а=1
которое, конечно, также будет иметь место, если множества Ех, ... ..., Еп принадлежат У.
Замечание. Если в случае выборочного пространства R содержащего лишь конечное число выборочных точек, в качестве начального класса событий ^0 мы возьмем все одноточечные события и зададим вероятности элементов из 3^ то тем самым мы, очевидно, определим булеву вероятностную меру. Это означает, что мы можем вычислить вероятность любого события, находящегося в булевом поле ^, порожденном ^0, исходя из вероятностей, приписанных множествам из ^"0.
Расширение вероятностной меры
Единственность расширения вероятностной меры. Как мы видели в §1.3, для любого начального булева поля ^ существует наименьшее борелевское поле о®(^), содержащее ^. Предположим, мы имеем вероятностную меру, определенную на булевом поле У. Возникает вопрос: нельзя ли подвергнуть вероятности, заданНые на множествах из ^, некоторой операции, чтобы в результате получить вероятностную меру на <93^3% сохраняющую без изменений
2626Предварительные замечанияПредварительные замечания[гл. i
26
26
Предварительные замечания
Предварительные замечания
вероятности всех множеств из ^? Ответ на этот вопрос положителен. Полученную вероятностную меру па <2® (У) можно рассматривать как расширение (или продолжение) вероятностной меры на
Прежде чем мы укажем метод, с помощью которого осуществляется расширение меры, определенной на У» установим следующую теорему единственности расширения.
Пусть У— булево поле множеств и Рх и Рй — вероятностные меры, определенные на борелевском поле ^ фу Тогда если Рх ф) = Р^ ф) при всех Е^^, то Рх (В) = Р^ (f) при всех Е^^фУ
Обозначим через е%^ класс всех тех множеств Е из о®^), для которых Рх ф) = Р^ фу Легко проверить, что е^ есть борелевское поле, содержащее (наименьшее) борелевское поле <33 фу Но так как ЗЗГd^ Ф\ то = 33 ф^ и, следовательно, Рх ф) = Р^ф) при всех Е d (^)-’
Теорема 1.5.1, по существу, утверждает, что не может быть двух вероятностных мер, определенных на борелевском поле е^ фу порожденном булевым полем ^, которые совпадают на множествах из ^, но не являются тождественно равными на множествах из 33 ф)— ST. Таким образом, если, взяв какую-либо вероятностную меру на булевом поле ^, мы найдем способ расширить ее до вероятностной меры на борелевском поле <33 фу то эта последняя мера, как следует из теоремы 1.5.1, будет единственной.
Расширение вероятностной меры. Расширение меры, о котором мы только что говорили, может быть осуществлено с помощью теории внешней меры, развитой Каратеодори (1927) [см. также Хал- мош (I960)]. Чтобы определить внешнюю меру, пригодную для наших целёй, мы воспользуемся вероятностной мерой Р, заданной на множествах булевского поля ^. Пусть Е — произвольное множество из 33(^) и Ех> Е^ ...— последовательность множеств из У, причем ^CZU Еа, т. е. (J Еа есть покрытие Е. Внешняя мера множества а=1а=1
Е, обозначаемая через Р* фУ определяется как точная нижняя гра- оо
ница значений сумм 2 ^ (£а) для всех возможных покрытий Е, обра- а=1
зованных множествами из ^,
P^-inff^.).(1.5.1)
а=1
Каково бы ни было булево поле ^, мы всегда можем взять ОО
EX = R, Е1 = Е8 = ... = ф, так что \J Ea = R будет являться по- а= 1
крытием любого множества Е в R. Поэтому Р* ф) существует для любого множества в R. Тем не менее в действительности мы будем интересоваться только значениями Р* ф) на множествах из е® ф).
Легко установить ^следующие свойства внешней меры Р*:
Р*(ф) = 0, р* (R) = l,
(1.5.2)
(1.5.3)
Р*(£) = Р(£),если £^^,
(1.5.4)
P*(E)<,P*(F),если EQF,
(1.5.5)
Р*(Е)^^ Р* (5а), если 5 С U ^а-
(1.5.6)
Теперь мы сформулируем основную теорему о расширении вероятностной меры Р, определенной на булевом поле 3^ до вероятностной меры на борелевском поле <38 (^).
.2. Пусть Р — вероятностная лера на булевом поле У. Тогда функция множества Р* (Р), определенная соотношением (1.5Л), есть вероятностная мера на <38 (^у для которой Р*(Р) = = Р (Е), как только Е ^3*.
Доказательство этой теоремы читатель может найти у Халмоша (1950).
Статистическая независимость
Декартовы произведения выборочных пространств. Декартовым произведением R выборочных пространств Р(1) и pW называется множество всех упорядоченных пар (е(1), е^\ где e(1) £ R^ и е^ £ R^; оно обозначается
.R = R^XR^(1.6.1)
Подобным образом, если Е^ и Е^ — события соответственно в рО) и ^\ т0 декартовым произведением Е^ и Е^ называется событие Е в R = R^ X RW> выборочные точки которого е = (е(1\ е(2)) удовлетворяют условию е^ £ Е^ и е^ £ Е^\ Обычно пишут
Е=Е^ХЕ^(1.6.2)
Множество Е £ R представляет собой пустое множество тогда и только тогда, когда пустым является Е^ или Е^\ Также очевидно, что если Е^ и Е^ — события в Р(6 и Е^ и Е^ — события в R^\ то (Е^ X Е^) С (F^ X F^) тогда и только тогда, когда Е^ С и 5(2) q pW. Кроме того, равенство (Р(1) X Е^) = (F^ X F^) Равносильно равенствам е^ = Е^ и Ew = Fw.
Иногда говорят, что событие Е, определенное формулой (1.6.2), выражает совместное наступление событий Е^ и Е^. Также Удобно говорить, что Е^ есть проекция Е в Р(1) и аналогично Е^ есть проекция Е в R^\ Р(1) и Р(2) называются компонентами R или маргинальными выборочными пространствами R. Если в R Мы возьмем все те точки (е(1\ е(2)), у которых е^ ^Е^\ то получим ^и^индрическое множество в R, фактически — декартово произве-
дение В(1) X R^- Точно так же R^ X Ew есть цилиндрическое множество, где е^^Е^\ Таким образом, Е^ X Е^\ E^XR^ и R^ X Е^ — события в выборочном пространстве R = R^ X Rw> причем декартово произведение Е^ X Е^ можно рассматривать как пересечение цилиндрических множеств Е^ X R^ и ^(1) X Е^\ т. е.
Е^ X Е^ = (Е^ X RW) А (Я(1) X Е^). (1.6.3)
Мы с особой силой подчеркиваем то обстоятельство, что события Е типа декартова произведения образуют специальный класс событий в R, который играет важную роль в теории вероятностей.
Понятие декартова произведения непосредственно обобщается на случай любого конечного или счетного числа событий Е^\ Е^\ ... соответственно в выборочных пространствах R^\ R^\ ...
Примеры. В качестве иллюстрации понятия декартова произведения выборочных пространств и событий рассмотрим частный случай, когда 7?(1), Rm, Ет и Е^— множества точек на вещественной оси Rv Пусть Rm— замкнутый интервал [ап ^] на е(1)-оси, R^ — замкнутый интервал [я2, 62] на е(2)-оси, Ет— замкнутое множество в 7?{1) и Е^— замкнутое множество в Rt2\ Эти множества показаны на рис. 1.2. Декартово произведение R = Rm х R^ состоит из всех точек большого прямоугольника ABCD, включая его граничные точки. Цилиндрическое множество Ет X R^ есть множество точек, содержащихся в заштрихованных на рис. 1.2 вертикальных полосках.
Множество точек, содержащихся в покрытых штриховкой Горизонтальных полосках, есть цилиндрическое множество Rm х Еи\ Наконец, декартово произведение Е = Е^пхЕ^ состоит из точек четырех зачерненных прямоугольников. Таким образом, Е оказывается пересечением двух указанных цилиндрических множеств в R, т. е. Е=ЦЕШ х ^(2)) П (Я(1) X Ек2^.
Следует, однако, иметь в виду, что операция образования декартова произведения событий может быть применена к событиям более общей природы, чем те, которые изображаются при помощи вещественных чисел, являясь множествами точек на прямой, плоскости или в многомерном эвклидовом пространстве. Предположим, например, что из каждой из двух колод, содержащих по 52 игральные карты, извлекается наудачу 13 карт. Пусть е(1) означает набор карт, взятых из первой колоды, и е(2) — набор карт, взятых из второй колоды. Тогда число выборочных точек £(1) и е(2), образующих соответ- /52\
ственно пространства Rm и Rk2\ в каждом случае равно I I. Кроме того, /52\2
II пар наборов (е(1), е(2)) могут получиться после извлечения карт из обеих (52\2
выборочным точкам декартова произведения про
странств /? = /?(1) х RtaV Таким образом, если Е(1) есть множество в 7?(1), состоящее из всех тех наборов карт, которые содержат точно 2 туза, и Е(2) есть множество в Rt2\ состоящее из всех тех наборов, которые содержат точно 3 короля, то E=EnixEw будет множеством в R, состоящим из всех таких пар наборов (еи\ е(2>), что первый набор еП) содержит точно 2 туза и второй набор е(2) содержит точно 3 короля. Подобных пар наборов, иначе выборочных точек в Е> всего
G) (”) С) О-
Пусть R^ и R^— два выборочных пространства и о®^1)), ^ (У(2)) — борелевские поля, порожденные ' булевыми полями, множеств ^(1) и ^(2) соответственно в 7?(1) и Rw. В пространстве d — R^XR^ рассмотрим класс ^о всех множеств вида Е = ^Е^ХЕ^, где Е^^^^1^ и Е^^^^^У Класс 5% мы
используем как начальный класс для образования наименьшего боре- левского поля множеств в R, по-прежнему обозначая это поле
(1.6.4)
Можно показать, что на самом деле борелевское поле (1.6.4) есть не что иное, как борелевское поле, порожденное начальным классом 5% множеств вида Е^ХЕ^\ где Е^ ^^^ и Е^ ^^\
Рис. 1.2. Рисунок, иллюстрирующий прямое произведение событий и выборочных пространств.Рис. 1.2. Рисунок, иллюстрирующий прямое произведение событий и выборочных пространств.
Рис. 1.2. Рисунок, иллюстрирующий прямое произведение событий и выборочных пространств.
Рис. 1.2. Рисунок, иллюстрирующий прямое произведение событий и выборочных пространств.
Произведения вероятностных мер. Предположим теперь, что Р^ п Р^— вероятностные меры соответственно на ^(^^) и о^^^у для любого множества Е=Е^ ХЕ^ из ^о> где Е^^^(У^) и Е^ £ <SB (^Wy определим число, вероятность множества Е, формулой ,
Р (Е) = Р^ (Е^) Р™ (Е^У (1.6.5)
Можно показать, что Р представляет собой булеву вероятностную меру на ^0, допускающую единственное расширение на о®(^0).
(1.6.6)(1.6.6)Всякий раз, когда некоторая вероятностная мера Р, заданная на борелевском поле Q®(3\y удовлетворяет (1.6.5) для любого множества Е=Е^ХЕ^\ где Е^^^^) и Е^^^^У мы будем роворить, что составляющие вероятностные пространства (/?(1), о®^1)), р(0) и (/^(2), ^(З^у pW^ являются ^статистически^ Не зависимыми. Вероятностное пространство
(1.6.6)
(1.6.6)
(/?, ^№ ?У
где Р есть вероятностная мера, определенная формулой (1.6.5), называется декартовым произведением двух составляющих вероятностных пространств
^\ ^(^(0), р(П) и ^^ ^(^Wy р^у
Понятие статистической независимости пространств естественным образом обобщается на случай более чем двух вероятностных прост* ранств.
Случайные величины
Пусть (R, о>9, Р) — вероятностное пространство. Рассмотрим вещественную однозначную функцию х (е), определенную во всех выборочных точках е £ R, обладающую тем свойством, что для каждого вещественного числа b множество Еь всех е £ R, в которых х(е)^Ь, принадлежит о®. Функция х (е) называется случайной величиной относительно Si. Часто также говорят, что х(е) ^-измерима. Заметим, что если {£&} — класс событий в R, отвечающих всем вещественным числам Ь, то о® ({£*;,}) есть борелевское поле, порожденное этим классом. Множество значений, которые может принимать х(е), когда е пробегает все пространство R, удобно называть выборочным пространством случайной величины х(е).
Таким образом, если о®! есть класс борелевских множеств на вещественной прямой Rv то случайная величина х(е) отображает выборочные точки е из R в выборочные точки х на^р причем, каково бы ни было борелевское множество Е' £ ^®v событие Е, состоящее из всех выборочных точек в R, для которых х(е)^Е\ содержится в о®. Указанное событие выгодно обозначать символом х-1 (Е'). Исходя из вероятностного пространства (R, Si, Р), связанного с основным выборочным пространством R, мы можем определить вероятностное пространство (Rv Six, Р'у связанное с вещественной прямой Rv полагая Р (Е^ = Р (л^1 (£'))• В этом случае можно говорить, что (Rv S8V Р) индуцируется случайной величиной х(е) из пространства (R, Si, Ру Проверка того факта, что (Rv Siv Р) есть вероятностное пространство, предоставляется читателю в качестве упражнения.
Если xt (е), ..., хк (е) — А случайных величин в данном вероятностном пространстве (7?, а®, Ру то событие Ebtьк в R вида
\е: x^e^^bv Z=l, ..., Ц,
где bv . ••> bk— произвольные вещественные числа, также принадлежит Si и Р (Ebt, ь^ = Р(хх (е) bv . •., хк (е)Ь^. Кроме того,
если ЕТ есть любое множество из Sik (класса борелевских множеств A-мерного евклидова пространства Rk\ то в Si содержится и множество Е всех точек е, для которых (х^ (е), ..., хк (е)) £ Е\ так что, полагая по определению Р (Er) = Р (Еу мы получаем вероятностное
пространство (Rk) ^к, Р\ индуцированное упорядоченным набором случайных величин (^(е), ..., хк^ из пространства (/?, е®, Р\ Удобно называть (х^е), ..., хк(^ k-мерной или векторной случайной величиной относительно S3 или просто ^-измеримой A-мерной случайной величиной.
Если для всякой выборочной точки e^R мы имеем |д;(е)КЛ1, где ЛК^сю, то х(у) называется ограниченной случайной величиной, A-мерная случайная величина ограничена тогда и только тогда, когда ограничена каждая из ее компонент.
Примеры. Понятие случайной величины, возможно, приобретет дальнейшую ясность в результате рассмотрения нескольких простых примеров.
3 Рассматривая все возможные наборы из 13 карт, вынутых наудачу из колоды в 52 карты, мы получаем множество выборочных точек е основного выборочного пространства R, состоящее из ^^ таких наборов. Если х (е) — случайная величина, которая представляет число тузов, содержащих в е, то х (б) оказывается определенной в каждой выборочной точке пространства R и принимает там одно из значений 0, 1, 2, 3 или 4. Таким образом, х (е) отображает каждую выборочную точку е £ R в одну из точек 0, 1, 2, 3, 4 на вещественной прямой /?Р Так как число выборочных точек в R конечно, класс всех возможных событий в R (включая само R и пустое множество) образует булево поле ^. Множество точек е £ R, в которых х (е) ^ Ь, очевидно, является одним из событий класса ^ при любом вещественном Ь. Если каждой выборочной точке из R приписана некоторая вероятность (в случае «идеально» перетасованных карт всем им приписывается значение . ~ , мы имеем булево вероятностное пространство (R, У, Р), которое позво-
ляет определить вероятность события Еь = {е : х (е) ^ Ь^ каково бы ни, было вещественное число Ь. Отсюда, если Е'— произвольное (борелевское) множество в Rb его вероятность определяется вероятностным пространством №, <£ВЬ Р’), индуцированным величиной х (е) из (R, &\ Р). Разумеется, теми немногими множествами из ^п которые представляют здесь интерес, являются множество {0, 1, 2, 3, 4}, состоящее из пяти точек, и все его подмножества, т. е. выборочное пространство величины х (е) вместе со всеми своими подмножествами.
Если (xt (е), х2 (в)) — двумерная случайная величина, где ^(5) обозначает число тузов и х2 (е) — число пик, содержащихся в выборочной точке е, то вероятность Р ^xt^^bu х2/^)^^2) может быть вычислена, исходя из , булева вероятностного пространства (/?, ^ Р\ При соотнесении указанной вероятности интервалу [—со, —со; Ъп Ь2\ для всех пар вещественных чисел (Аь А2) с помощью векторной случайной величины ^xt (е), х2 (е)) индуцируется вероятностное пространство (Ru ^2t Р'), которое определяет вероятность любого события Е в <^2. Вновь обратим внимание на тот факт, что из событий EcR2 практическое значение имеют лишь события в множестве {(^i, х^гх^О, 1, 2, 3, 4; х2 = 0, 1, ..., 13, но 0 ^^ + х2 ^ 14}, состоящем из 62 точек, причем исключаются точки (4, 0) и (0, 13), т. е. выборочное пространство двумерной величины (xt (е), х2 (е)) вместе со своими подмножествами.
Возьмем другой пример. Допустим, что две электрические лампочки BY непрерывно горели в течение всего срока службы, который оказался по^НЫМ ^ и ^2’ соответственно* Основное выборочное пространство R есть зрительный квадрант ^-плоскости, а выборочные точки есть точки го квадранта. Событие, заключающееся в том, что ни одна из лампочек
не будет гореть дольше другой более чем на b единиц времени, состоит из всех точек в R, для которых | ^—t2\^b. Таким образом, мы получаем случайную величину х (е), совпадающую с | ^ — f21 в каждой точке е = (^, ^2) £ R. Вероятность неравенства х(^^Ь может быть вычислена как только будет определено вероятностное пространство (/?, 33, Р), где о®— борелевское поле, содержащее события | ^— Z2|^^, каково бы ни было вещественное число Ь, и, конечно, Р—вероятностная мера на 33. Случайная величина | ^—^| отображает точки пространства R в точки вещественной прямой Rb так что Р* ^Е’^ = Р (Еь), где Е’ь есть интервал (—оо, ^] с cz Rlt а Еь—множество в R, для которого | ^— t2\^b, и b— произвольное вещественное число. Начальный класс событий \Еь:Ь—вещественное} вместе с вероятностями {Р(Е6)} может быть использован для образования наименьшего борелевского поля о® ({Е^}) и вероятностного пространства (Р, 38 ({£&}), Р), из которого величиной х (г) индуцируется вероятностное пространство (Ri, ^п Рг) и которое доставляет вероятность того, что Ki—*21 принадлежит любому множеству Е* £ 33 v
Если положить xt (е) =/2-|-^з и х2 = ^—^2, то получаются две случайные величины, определенные в каждой точке R. Пусть вероятностное пространство (R, 38 ({^, б2})> Р) порождено начальным классом событий ^bltb2* ^и ^2 — вещественные} и их вероятностями ^Р (ЕЬь 6g)}, где Еь^ &2= = {е: Xj (е)^^п х2(е)^^2}. Тогда величина (Хц (5), х2 (е)) индуцирует из ^Rv38<\Ebv bJ) Р) вероятностное пространство (Р2, <^2, Р’^ доставляющее вероятность того, что (^ + /2, ^i — ^2) принадлежит любому множеству Е* из 382.
L8. Интегрирование случайных величин
В этом параграфе, пользуясь вероятностной терминологией и без доказательства, мы воспроизведем некоторые основы теории интеграла Лебега — Стилтьеса. Необходимые доказательства могут быть найдены в книгах Халмоша (1950), Лоэва (1955), Макшейна и Вотса (1959) и Сакса (1937)._.
Предположим, что (/?, 38, Р) есть вероятностное пространство и х(е) — случайная величина относительно о®. Если х(е) принимает только конечное число различных значений xv ..., хл, так что х(в) = х£ для всех е^Е^ 1 = 1, ..., k, то х(е) называется простой случайной величиной. В этом случае мы полагаем
^х^АР^^Рф^.(1.8.1)
Вообще, если Е— любое множество из 38, мы пишем
\х^йРф)=^х1РфС\Е1').(1.8.2)
- Еi=l
Теперь рассмотрим случай, когда х(е) является ограниченной и может принимать бесконечное число значений. Можно показать, что существует такая последовательность простых случайных величин х^е), х2(е), ..., что'
lim ха (е) = х (е)(1.8.3)
а-* оо
LSI
равномерно для всех е ^ R, и, кроме того, для каждого Е £ о® преДелИш tx (e)dP(e)(1.8.4)
существует и не зависит от выбора частной последовательности, удовлетворяющей (1.8.3). Этот предел, который мы будем обозначать
5x(e)<ZP(e),(1.8.5)
Е
называется интегралом Лебега — Стилтьеса от величины х(е) относительно (R, &, Р), взятым по множеству Е. В случае простой величины х (е) интеграл Лебега — Стилтьеса от х (е) по множеству Е дается формулой (1.8.2).
В более широких условиях, когда величина х(е) не обязательно является ограниченной, но является неотрицательной, она будет интегрируемой, если существует такая последовательность ограниченных случайных величин хх (е) ^ ^ (^) ^..., где неравенства выполняются для всех e^R, что
Нш ха (е) = х (е),е £ R,(1.8.6)
а—► оо
И
Hm ^ха(^)йР(е)<оо.(1.8.7)
Этот последний предел и называется интегралом от х(е) относительно (Р, о®, Р), взятым по множеству Е, и обозначается как
$х(е) dP(e\
Е
При этом можно показать, что для любого Е ^<53
lim \xa^dP^(1.8.8)
существует и не зависит от выбранной частной последовательности xi(^)^х2(^)^.которая удовлетворяет (1.8.6) и (1.8.7).
Наконец, когда величина х(е)— произвольная ^-измеримая функция, то говорят, что она интегрируема, если ее можно представить в виде разности х'(е)— х"(е) двух неотрицательных интегрируемых случайных величин х'(е) и х" (е\ В этом случае по определению
5 х (е) dP (е) = ( У ^dP (е) — (х" (е) dP (е).(1.8.9)
ЕЕЕ
Можно проверить, что значение левой части (1.8.9) не зависит от частного выбора хг (е) и (е).
Интеграл Лебега — Стилтьеса обладает следующими важными во ствами, которые мы выразим в терминах случайных величин. ус1ь Е есть произвольное множество из о®.
2 С Уилкс
Если x(e) = k для всех e^R, где к — некоторая постоянная, то
\x(e)dP(e) = kP(E).
Е
Если а^х(е)^Ь для всех е ^ R и а и b — постоянные, то аР (Е) ^2 J х (е) dP (е)ЬР (Е).
Е
Если хх(е) и х2(е) интегрируемы паи b — произвольные постоянные, то случайная величина ахх (е) -L Ьх^ (е) интегрируема и
$ <ахх (е) + bx^ (е)) dP (е) = а $ хх (e) dP О) + b $ х^ (е) dP (е).
еЕЕ
Если хх(е)^х(е)^х%(е) для всех е £ R, где хх(е), х^(е) и х(е) интегрируемы, то
$ хх (е) dP (е)^х (е) dP (е) ^ $ х^ (е) dP (е). ЕЕЕ
х(е) интегрируема тогда и только тогда, когда интегрируема ее абсолютная величина |х(е)|. Кроме того,
ip^dP^j^lx^IrfP^).
Если xt(e\ х^е), ...— такая последовательность случайных величин, что для всех е ^ R
Н™^« ^ = Х ^ И 1* ^ ^’
где у(е) интегрируема, то х(е) также интегрируема и
^ 5 I ~ х ^ I ^ ^ = 01
В частности,
Нт ( ха^ dP (е) = \х (е) dP (е)
равномерно по всем Е из ^В.
Пусть (.R^ <S3h> Р^) — вероятностное пространство, индуцированное векторной случайной величиной (хх (е), ..., хк (е)) из вероятностного пространства (R, ^В, Р). Пусть функция g(xx,... . ..,xk) измерима относительно <S8k (и, следовательно, g{xx{e), ... ...,хк (е)) измерима относительной) и Ed.R — такое множество, для которого (xj (е), ..., хк(е)) ^ Ек. Тогда
^(•^1(4 xk(e^dP(,e)= 5^4ь • x^dP^Xx, .... хк\
причем если один из двух интегралов конечен, то конечен и другой и оба интеграла равны.
В заключение заметим, что если в формулировке свойств 1.8.1 — 1 8.6 заменить выражение «для всех е £ Р» выражением «для всех *^ Ry за исключением, быть может, точек е, образующих множество F, для которого Р(Р) = О», то все утверждения останутся
верными.
L9. Условная вероятность
Пусть (Р, о®, Р)— некоторое вероятностное пространство, Е^ и Е^— события из о® и Р^^^О. Запишем
(1.9.1)
Это отношение называется условной вероятностью события Е^ при условии, что событие Ех наступило.
Можно проверить, что для любого фиксированного события Р^о®, для которого Р(В1)^>0, (Р, о®, Р (• | Pi)) является вероятностным пространством. Здесь P(-|Pi) обозначает меру, принимающую на £2 ^ о® значение Р (Е^ | Е^.
Заметим, что мы вправе переписать (1.9.1) следующим образом:
Р(Ех№ = Р(Ех)Р(Е.\Ех).(1.9.2)
Если Р (Е^ | Ег) = Р (Р2), то (1.9.2) приводится к случаю независимых событий Ех и Е2, и тогда
Рфх А Е,) = Р(Ех)Р(Е,У(1.9.2а)
Вообще же можно показать, что
Если Ev Е^ ...— конечная или счетная последовательность событий из <2®v для которых P^J^O, Р фх А Е^) > О, ^йА^П^^О, то
P(W3AA=
= Р №) р № IЕ^ Р (Е^ I Ег (ЛЕ.)... Рфп I Ех №(\. .А Е^У .. (1.9.3)
В случае взаимной независимости событий ЕХ) Е^ ... (1.9.3) превращается в соотношение
Р (^ А ^ А • • .) = P(Ex)P(E^ ...(L9.3a)
Приведем еще один полезный результат.
Если Ev Е^ ...— конечная или счетная последовательность попарно не пересекающихся множеств из 93у имеющих ненулевые вероятности, причем \JEO — R и Е — любое множество из 93} ^о
Р(Е) = Р (Ex) Р (Е | Ex) + Р №) Р (Е | 5Д+...(1.9.4)
Проверка этого утверждения предоставляется читателю»
2»
1.10. Условные случайные величины
Допустим, что (х^), х2(^)) является двумерной случайной величиной относительно S3 для данного вероятностного пространства (R, S3, Р). Если в качестве множеств Ех и Е^ в (1.9.1) выбрать соответственно множества точек е, для которых xv(e)^Ey и х2(е)£ ^Е^ где E't и Е^ содержатся в S3V то (1.9.1) становится формулой условной вероятности, касающейся случайных величин. Она дает условную вероятность события х^(е)^Е^ при условии, что X! (^) ^ £ E'v В частности, пусть Е’х содержит единственную точку, например xv Если Р (хх (^)-= хх) 2> 0, то применение формулы (1.9.1) не вызывает никаких затруднений. Однако если Р (хх (е) = х^ = 0, встает вопрос: существует ли вообще какая-либо возможность придать смысл условной вероятности Р (х^ (е) £ Е* | хх (е) — х^
В большинстве случаев, представляющих интерес в математической статистике, этой условной вероятности, как мы покажем в § 2.8, можно дать истолкование с помощью весьма элементарных соображений. Но при условиях более общих ответ на наш вопрос доставляется теоремой Радона — Никодима, которая может быть сформулирована следующим образом.
.1. Если (R, S3, Р) — вероятностное пространство и Q — такая (конечная) вполне аддитивная функция множества на S3, что Q(E) = 0 для каждого множества E^S3, для которого Р(Е) — ^, то существует случайная величина g(e) такая, что
<№ = ^^йр (1.10.1)
Е
для любого E^S3. Кроме того, если g(e) и h(e)— две случайные величины с этим свойством, то P(g(e)^fc Н(е)) = ^.
Мы опускаем доказательство этой теоремы, отсылая читателя к- Халмошу (1950), у которого он найдет несколько более общую формулировку теоремы и ее доказательство. Следует лишь заметить, что значения Q не обязаны быть неотрицательными.
Если две вполне аддитивные функции множества Р и Q, определенные на S3, таковы, что Q(E) = 0 для каждого множества Е, для которого Р(£) = 0, говорят, что Q абсолютно непрерывна относительно Р.
Предположим, что (R, ^, Р) — вероятностное пространство и х (е) — случайная величина. Пусть для данного Е £ S3 и фиксированного числа хх мы хотим найти условную вероятность P(f|x(e)= = хх). Как мы выдели, определение (1.9.1) теряет смысл, если Р(х(е) = = х1) = 0.
Тем не менее, следуя интуиции, было бы желательно определить эту условную вероятность как нечто аналогичное «пределу» вероятности Р (е | х (е) ^ Ntt (х^) при а —> оо, где Nx (х^, N^ (Xj), ... представляет последовательность окрестностей точки хг, стягивающуюся
к Хр Вообще говоря, всюду этот предел существовать не будет. Но веДь интуитивно правдоподобно, что если он существует в некоторой достаточно хорошей области, содержащей F, где F ^^, то должна быть возможность получить P(E\x(e)^F) посредством подходящего усреднения Р(Е\х(е) = хх) по всем xv лежащим в F.
Вообще говоря, трудно установить предел такого рода, о котором шла речь выше, если не считать особо благоприятных случаев. Однако Колмогоров (1933а) предложил следующий подход.
Для любых множеств E^S и F ^ <£ЙХ положим
Q^ = PVE^\X”4E^(1.10.2)
Если Р^х 1 (Т7)) = 0, то и Q(F) = 0. Ясно, что Q — вполне аддитивная функция множества на о®ь Согласно теореме 1.10.1 существует такая вещественная ^-измеримая функция Дх\ что
QtMM^W-(1.Ю.З)
F
где Р' (F) = Р (х1 (F)) для всех множеств F £ <33 v Следовательно, если мы обозначим ^(^)=/(х(е)), то будем иметь
р№'О= 5 gtw(1.10.4)
и g(e), иначе, f(x(ej) есть «условная вероятность события Е относительно х(^)». Следует заметить, что f(x(e)) единственна в том же смысле, что и функция g*(e) в теореме 1.10.1. Исходя из этого определения «условной вероятности Е относительно х^е)», можно показать, что всюду в Rv за исключением разве лишь точек, образующих множество нулевой вероятнос!и,
^(^ = 11^(5\х(е) £ МДх^),(1.10.5)
где ^Na(xx\ а=1, 2, ...} есть последовательность измеримых окрестностей точки xv стягивающаяся к xv
Рассмотренный выше подход естественным образом распространяется на случай векторной величины (xt (е), ..., хк (е)).
ЗАДАЧИ
Из списка, содержащего N различных имен, «наудачу» выбираются Два имени и располагаются в алфавитном порядке. Описать выборочное пространство, порождаемое этой операцией, и подсчитать, сколько выборочных точек оно содержит. Рассмотреть обобщение на случай, когда из списка N имен берутся «наудачу» п имен.
и р1е^е Регистрируются дни рождения (месяц и день месяца) двух лиц А и о, выбираемых «наудачу» из книги «Who is who». Опуская високосные г°да, описать выборочное пространство, порождаемое этой операцией, и
подсчитать число выборочных точек в нем. Указать число выборочных точек следующих событий:
«Л и В имеют один и тот же день рождения».
«Дни рождения А и В разделяют не более чем г дней».
«Дни рождения А и В относятся к различным месяцам».
Магазин открывается в 9 часов утра и закрывается в 5 часов вечера. Взятый «наудачу» покупатель входит в этот магазин в момент времени х и покидает его в момент времени у (как х, так и у выражаются в часах на оси времени, где 9 часов утра служит началом отсчета). Описать выборочное пространство переменной (х, у). В терминах х и у описать следующие события:
«Покупатель находится в магазине менее одного часа».
«В момент времени х покупатель находится в магазине».
«Покупатель вошел в магазин до момента времени и и вышел после момента времени у».
В ящике, содержащем N электрических ламп, имеется г (г < N) ламп с дефектной нитью накала, и некто испытывает их поочередно, фиксируя при этом, зажигается лампа или нет, до тех пор, пока не обнаружит какую-нибудь неисправную лампу (т. е. лампу с дефектной нитью).
Описать выборочное пространство, порождаемое этой операцией. Сколько точек в выборочном пространстве? Дать обобщение на случай^ когда лампы испытываются поочередно до тех пор, пока не будет обнаружено точно s неисправных.
Пусть 7?—множество всех студентов университета А. Обозначим через Е! множество тех из них, которые подписались на журнал Мп через Е2 — множество подписавшихся на журнал М2 и через Е3 — множество подписавшихся на журнал М3.
Описать словами следующие множества:
е^е^е,; ^п^п^; /?~№U^2);.
^lU^sU^a» ^П^П^ ^ПДП^.
Выразить посредством операций над /?, Ev E2t Е3 следующие множества:
Множество студентов, которые подписались по крайней мере на два из трех журналов.
Множество студентов, которые подписались на более чем один из трех журналов.
. Рассмотрим множество всех возможных наборов, содержащих 13 карт из обычной колоды игральных карт. Пусть Еь Е31 Е3, Е4— множества различных наборов из 13 карт, в которых находятся соответственно туз пик, туз червей, туз бубен и туз треф.
Описать словами следующие множества и подсчитать, сколько наборов заключается в каждом из них:'
£1А£2; Е^Е^Е,); (Exf\E8[\E3>\jE4;
Е1\3(ЕаПЕД (Е^Е^-Е,; Е^Е,, Et П (Е3 U Е3);
(Е, IJ Е, U Е-Й - Е4; R - RE, U Е^ П (^з U ^Н--
В игр} крэпс играют с помощью двух обычных 6-гранных игральных костей следующим образом. Если игроку выпадает 7 или 11 очков, он выигрывает и игра оканчивается. Если ему выпадает 2, 3 или 12 очков, он проигрывает и игра также заканчивается. Если же ему выпадает 4, 5, б, 8, 9 или 10 очков, он должен продолжить бросание костей, пока ему не выпадет
7 очков или число очков, выпавших в самом начале. Если сначала появ- чяется 7 очков, он проигрывает. Если появляются очки, выпавшие вначале, он выигрывает. Описать соответствующее выборочное пространство и, считая кости вполне правильными, показать, что вероятность выигрыша игрока равна 244/495.
Показать, что если выборочное пространство R состоит из N выборочных точек, то общее число событий в булевом поле, порожденном этими N точками, равно 2^.
и у следующие мно-и у следующие мно-Рассмотрим две бесконечные последовательности множеств Еп Е^ ... и Fu Fa, ... на ху-плоскости, где Еп— множество точек, для которых v2 __l у^ < ^ "^—- , и Fn—множество точек, для которых х2+у2 ^ ^ ^ — . П)сть Еп означает дополнение Еп до полной х^-плоскости; аналогичным
и у следующие мно-
и у следующие мно-
образом определяется и Fn. Описать в терминах х- жества:
limEa; lim^; lim F^ lim Fa; lim Ea (J Fa. aaaaa
Если Eb..^En—произвольные множества в выборочном пространстве R и Еп ..., Еп — их дополнения, то множества
пп_
U ,5а И П А
a = 1a=1
не пересекаются, их объединение есть R, так что
Р( 0 Ее)=1-Р( П А-
а—1а=1
События Еь ..., Еп таковы, что вероятность совместного наступления любых г фиксированных среди них равна рп г=1, ..., п. Показать, что
а) Вероятность наступления по крайней мере одного из событий Еп..< , Еп равна
Вероятность наступления по крайней мере т из событий Еи ..., Еп равна
Вероятность наступления точно т из событий Еь ..., Еп равна
/т+Ц/ п \.. , 1хп_т
\т/ \т/\ т
На предприятии, производящем корнфлекс, в каждую коробку <ладется случайная карточка с одним из чисел 1, 2, ..., г, причем все числа должны попадать в коробку с одинаковой вероятностью. Пусть куплено ши Г К0Р°б°к корнфлекса. Тогда вероятность того, что из чисел, имею- Щ хся на карточках в этих коробках, можно будет составить по крайней
мере один полный набор, равна
Из урны, содержащей N фишек, занумерованных числами 1,2N, одна за другой (без возвращения) извлекаются две фишки. Обозначим через е произвольную точку в выборочном пространстве А порожденном этой операцией, и через х (е)— абсолютное значение разности чисел на двух фишках, представляющих е. Пусть все точки е в выборочном пространстве R имеют одинаковые вероятности. Показать, что х (е) есть случайная величина. Описать ее выборочное пространство и вычислить вероятность Р (х (е) = хг\
Допустим, что в задаче 1.4 всем возможным последовательностям, в которых могут быть обследованы N имеющихся электрических ламп, соответствует одна и та же вероятность. Какова вероятность того, что, желая обнаружить s (s ^ г) дефектных ламп, мы встретим s-ю дефектную лампу при обследовании с порядковым номером х? Определить диапазон значений х, для которых эта вероятность является положительной.
Монета бросается последовательно п раз. Пусть е—выборочная точка в пространстве R, порожденном этой операцией, которое содержит 2Л точек, и х (е)— число гербов в е. При условии, что все выборочные точки в R равновероятны, показать, что х (е)— случайная величина. Описать выборочное пространство величины х(е) и найти выражение для вероятности Р(х(е)=х').’
Предположим, что элементы е выборочного пространства R являются внутренними точками квадрата на иу-плоскости с вершинами (0, 0), (0, 1), (1, 0) и (1, 1). Введем функцию х (e)=u-yi)) где и и у — координаты точки е. Определяя для любого треугольника или четырехугольника EcR вероятность Р (Е) как площадь Е, показать, что х (е) есть случайная величина, для которой вероятность Р(х(е)^х’) может -быть вычислена при каждом вещественном х’. Описать выборочное пространство величины х (е) и найти выражение для Р(х(е)^х') в виде функции от х’.
и
Пусть F—множество точек в R, где -уСУСй. Вычислить значение интеграла(х (е) dP. Вычислить также значение интеграла ^x(e)dP.
Е/?
(Продолжение). Введем у(е) — — . Показать, что у (е) является случайной величиной, для которой вероятность Р (у (е) ^У) может быть вычислена при любом вещественном у, и найти выражение для вероятности Р^^^УУ
(Продолжение). Показать, что (х (е), у (е)) есть двумерная случайная величина, для которой вероятность Р (х (е) ^х\ у(е)^у’) может быть вычислена при любых вещественных хг и у, и найти выражение для этой вероятности.
(Продолжение). Пусть Ет п=\) 2, ..., — треугольники в R, задаваемые неравенствами и > 0, о>0, u-Vo^Чему равен ‘ предел
lim Еп*> Показать, что lim Р (Еп) — Р (lim £„)=-—. Убедиться, что беско- п-*ооп-*ооя-*ао9
нечная последовательность Еи Е21 ... удовлетворяет формуле (1.9.3).
Доказать теоремы 1.9.1 и 1.9.2.
Пусть (R, <59, Р)—вероятностное пространство и х (е) — неотрицательная случайная величина относительно <£&. Обозначим через 1^а интервал (аЬ, («+1)6), а = о, 1, 2, ... и S>0, и через 1^а то множество из d®, для точек которого х (е) £ 1^.
Кроме того, для Е £ ^ положим
Л (6) =5 «8Р(ЕЛ ед- а=1
Предполагая Л (6) для некоторого значения 5 конечным, показать, что lim Л (8) существует и равен интегралу Лебега—Стилтьеса от х (е) по мно- 5-0 жеству Е.
Пусть Eu...tEn—произвольный набор событий и рт (ап ..., аг)— вероятность наступления по крайней мере т из событий £а1, ..., Еаг. Показать, что
(к + 1 — rn) SA+Jt рт(ап ..., аА+1) ^ (п — к) ^крт (ап ..., а^, где £=1, ..., п— 1, 1 ^m^k и ^ i — к, к-\- 1 означает, что суммирование ведется по всем (”) возможным группам I целых чисел из множества {1, 2, ..., п} (Чжун (1941)).
ГЛАВА 2
ФУНКЦИИ РАСПРЕДЕЛЕНИЯ
Предварительные замечания
Как мы видели в § 1.7, одномерная случайная величина х(е) индуцирует из основного вероятностного пространства (А?, 33, Р) вероятностное пространство (Rx, 33х, Ргу связанное с вещественной прямой Rv Аналогичным образом A-мерная случайная величина (•^i (^), • • • > хк (^)) индуцирует из ^R, 33, Р) вероятностное пространство (РА, 33к, ру связанное с евклидовым пространством Rk.
Имея дело со случайной величиной х^ёу мы обычно будем пропускать упоминание о случайной точке е ^ R и просто обозначать эту величину буквой х ). Пусть х — одномерная случайная величина, вероятностное пространство которой есть (Рь 33х, Ру и Е— произвольное множество из 33х. Чтобы избежать путаницы, мы иногда будем обозначать событие Е символом х^Е и вместо Р(Е) писать Р (х £ Е\ В частности, если Е представляет собой интервал (а, Ь"\, мы условимся, что вероятность Р(х^Е^ может быть записана в виде P(a<^x^by если Е состоит из единственной точки х\ мы можем писать Р(х = х'У обозначая вероятность того, что в данном опыте реализуется значение х' случайной величины х. Если х есть ^-мерная векторная случайная величина и если в целях большей ясности желательно указать координаты х, мы будем обозначать событие Е £ 33 к символом (xv ..., х^ £ Е и вместо Р (х £ Е^ или Р(Е) использовать запись Р^хх, ..., х^^Еу Если Е есть ^-мерный интервал <ах, ..., ак; Ьх, ..., ЬД, иначе Е = (а; Цк, то, разумеется, вероятность Р((хр ..., хк^^Е^ может быть также записана в виде PVai^Xi^bt, /=1, ..., ку
Рассматривая ^-мерную случайную величину (xv • • • > хку мы в некоторых местах предпочтем говорить о ней как о «^-мерной случайной величине с компонентами хь ..., хк» или как о «случайных величинах хх, ..., хк».
Часто мы будем заниматься ограниченными множествами в Rk.
Множество Ef CL Rk является ограниченным, если оно содержится в некотором конечном ^-мерном интервале (а; Ь\к (где все ар ..., а^, bv • • ^конечны). Если случайная величина (xv ..., х*) обладает тем свойством, что P((xv > ^k)^(a^ ^Ю=Ь где ^Цк— конечный интервал, то говорят, что (xv ..., хк) является ограниченной с вероятностью единица.
Функции распределения одномерных случайных величин
Допустим, что х — одномерная случайная величина, вероятностное пространство *) которой есть (Яр <2®р РУ Мы покажем, что распределение вероятностей в выборочном пространстве Я1 величины х может быть также описано с помощью функции распределения F (хУ определенной в каждой точке из Я1 и удовлетворяющей некоторым условиям.
Для любого интервала (— оо, х'] на прямой Rv который, конечно, принадлежит <9&х> положим-
F^ = PV- 6о<х^х'У(2.2.1)
Ясно, что F (х) — однозначная, вещественная и неотрицательная функция от х на Яр
Если х">^, то из теоремы 1.4.2
F (х") — F (х') = Р (— о® < х х') — Р (— оо < х х') =
= Р (х' < х х") 0.(2.2.2)
Следовательно, F(x)— неубывающая функция от х.
Если мы обозначим интервал (— оо, а] через Еа, то будем иметь следующую стягивающуюся последовательность множеств:
ЕлЭЕ.О ...
Очевидно, ИшЕа=0. Следовательно, из теоремы 1.4.5
F (-оо) = limf(-a) = lim Р^) = Р(lim 5..,) = Р (0) = О, п-*соа-*ооа—*оо
т. е.-
F(—оо) = 0.(2.2.3)
Подобным же образом мы имеем расширяющуюся последовательность множеств
- EtCE^Q...,
*) Начиная с этого места, если не оговорено противное, Е (а не Е') бу- °бозпачать множество из ^ (и в более общем случае — из ^к). Кроме го, мы опускаем штрих у Р.
для которой lim Ea = Rv Поэтому из теоремы 1.4.5 а-* оо
F(-f-oo)= lim F(a) = lim P(5a) = P( lim E^ = P(R^ = 1, а—юоa-*ooa-*oo
t. e.
F(+oo)=l.(2.2.4)
Теперь рассмотрим убывающую последовательность вещественных чисел xv х^предел которой lim ха = х'. Тогда EXv ЕХу ... будет стягивающейся последовательностью множеств, имеющей предел, равный Ех>. Вновь применяя теорему 1.4.5, мы получаем
lim F(x^= lim Р (Fx ) = F (lim E,)=P^=FW a~*coa—>ooa—юо
ИЛИ
F(x' + 0) = F(x').(2.2.5)
Другими словами, функция F(x) является непрерывной справа в каждой точке х.
Читатель должен отметить, что (2.2.5) есть следствие исключительно определения Р(х') как вероятности, заключенной в полузамкнутом интервале (— оо, х']. Если бы мы предпочли определить F(x') как Р(— оо^х^х')» тогда мы бы имели F^х* — 0) = F(x'), т. е. F^ была бы непрерывной слева в каждой точке х. Таким образом, определение 'F^x') как вероятности, заключенной в полузамкнутом интервале (— оо, х'У а не в открытом интервале (— оо, х') и, как следствие (2.2.5), нужно считать результатом соглашения. В действительности это — весьма распространенное соглашение.
Итак, если х — случайная величина, имеющая вероятностное пространство (7?ь о®1, РУ то существует функция F(x), определенная формулой (2.2.1) (штрихи мы опускаем) в каждой точке х £ Rx и обладающая свойствами (2.2.2) — (2.2.5).
Обратно, если имеется функция* F(x), определенная формулой (2.2.1) и удовлетворяющая условиям (2.2.2) — (2.2.5), она задает вероятностное пространство (Rv ^у РУ В самом деле, мы можем рассмотреть в качестве начального класса ^0 множеств в Rx класс полузамкнутых интервалов (— оо, х], где х — произвольное вещественное число, и назначить интервалу (— оо, х] вероятность, равную F(x). Этот начальный класс множеств ^0 порождает борелевское поле (J*o), являющееся по определению классом <2ВХ. Используя свойства (2.2.2)—(2.2.5) функции F (х), можно показать, что, исходя из F(x), может быть построена единственная вероятностная мера на борелевском поле, порожденном ^0.
Подытоживая предыдущие рассуждения, мы получаем следующий результат.
Вероятностное пространство (Rx, <53v Р) случайной величины х с помощью формулы (2.2.1) определяет, в точках
л- ^ Ri единственную однозначную, вещественную и неотрицательную функцию F(x), имеющую следующие свойства*.
(a) F^x")— F(xr)^0, если х^^х',
(Ь)^(—)=о. (2.2.6) (с) F(+co)=l, V ’
(d) F(x + O) = F(x).
Обратно, функция F(x), обладающая этими свойствами, единственным образом определяет вероятностное пространство (Ri. <^i> Р)> для которого P(Ex) = F(x).
F(x) называется функцией распределения (ф. р.) или кумулятивной функцией распределения (к. ф. р.) одномерной случайной величины х. Обычно мы будем использовать второе наименование. Если мы считаем, что общая вероятность, распределяемая по оси х, равн! единице, то F(x) есть просто доля вероятности, лежащая на (— оо, хД.
Таким образом, мы располагаем двумя различными путями для описания вероятностей, связанных с одномерной случайной величиной х. Мы можем описывать эти вероятности, во-первых, посредством вероятностного пространства (Rv ^, Р) и, во-вторых, посредством к. ф. р. F (х), определенной в каждой точке х ^ R^ и удовлетворяющей условиям (2.2.6). Описание с помощью к. ф. р. более удобно при анализе случайных величин в большинстве вопросов и, начиная с этого момента, будет использоваться нами почти всюду.
Следует заметить, что если мы имеем основное выборочное пространство R и случайную величину х(е\ определенную в точках е £ R, то у этой случайной величины существует к. ф. р. F(x), которая дается выражением
P(x(e)^x) = F(x).
Обратно, предположим, что у нас есть некоторая к. ф. р. F (х) безотносительно к какому-либо основному выборочному пространству R. Мы всегда можем определить случайную величину х, к. ф. р. которой есть F^x), рассматривая вещественную ось в качестве основного выборочного пространства R. Выборочными точками будут в этом случае вещественные числа, и, каково бы ни было вещественное х\ мы назначим нашей случайной величине х(е) значение х\ т. е. положим х(х') = х'. Тогда мы будем иметь Р (х (е) ^ х') = F (х).
Вероятность Р(х^Е\ глеЕ — произвольное множество из <33 ь существует и может быть вычислена на основе F^x). Например, вероятность Р^хТ <^х ^х^ получается из Р(х) посредством формулы (2-2.2). Другое полезное вероятностное утверждение относительно случайной величины х, которое может быть проверено читателем
с помощью методов, аналогичных использованным прр выводе (2.2.5), заключается в следующем., Имеют место формулы:
p^x = x^ = F (У) — Р^У — 0),(2.2.7)
Р (У < х < х") = F (х* — 0) — F (У),(2.2.8)
Р (У < х < xff) = F (х* — 0) — Р(У — 0),(2.2.9)
Р (У ^ х ^ х") = F (х*) — F (У 0).(2.2.10)
Заметим, что, если х — ограниченная случайная величина, то существуют такие конечные числа а и Ь, а<^Ь, что Р(а) = 0 и F{b)= 1; b™ а называется размахом величины х.
Общие типы одномерных случайных величин
Большинство одномерных случайных величин, которые встречаются в математической статистике, принадлежит к одному из двух типов: дискретному или непрерывному. Функция распределения F(x) и, разумеется, вероятностная мера Р(Е) для этих двух типов случайных величин, как. мы вскоре увидим, могут быть определены в терминах, если не более простых, то во всяком случае исключающих друг друга функций.
Дискретный тип. К. ф. р. F(x)> принадлежащая дискретному типу, является ступенчатой функцией, т. е. F(x) постоянна в окрестности каждой точки х £ Rv за исключением конечного или счетного числа точек УЧ х^\... (в последнем случае эти точки не имеют предельной на конечном расстоянии), где происходит скачок или изменение Р(х\ Скачки р(х^у р(х^\ ... даются формулой (2.2.7):
р (У^) =p(x = x^) = F (х^ — F (У а) — 0).(2.3.1)
Во всех других точках У £ Ry р(У) = Р(х — У) = 0. F (У) может быть выражена с помощью этих скачков следующим образом:
FU)= 5 Р^^,(2.3.2)
х^а^х
где суммирование совершается по всем значениям а, для которых х^^х. Устремляя х к бесконечности в (2.3.2), мы видим, что должно иметь место равенство
f(oo) = 2p(x(a))=l.(2.3.3)
Поскольку полная вероятность 1 распределяется только по точкам УЧ х^\ ..., принято говорить об этих точках как о точках сосредоточения вероятности или точках сосредоточения массы. Множество точек скачков и образует выборочное пространство случайной величины х, имеющей к. ф. р., указанную в (2.3.2).
При рассмотрении какой-либо дискретной случайной величины х всегда будет ясно из контекста, каковы ее точки сосредоточения массы. Следовательно, не возникает никакой двусмысленности, если мы опустим а и будем просто писать р ^х\ Функцию р (х) мы назовем функцией вероятностей (ф. в.) величины х. Теперь мы можем утверждать следующее.
К. ф. р. Р(х) дискретной случайной величины, х единственным образом определяется посредством ф. в. р(х) и обратно.
Рис. 2.1. График к. ф. р. F (х) одномерной дискретной случайной величины х.
I I I I I I । । ।
Хш Х(2>. . -Х(а) • • •1
Рис. 2.2. График ф. в.р(х), соответствую-щей к. ф. р. F ^, изображенной на рис. 2.1.
В задачах, включающих дискретные случайные величины, обычно большее удобство доставляет работа с ф. в. р (х), чем работа С к. ф. р. F(x).
К. ф. р. F(x) одномерной дискретной случайной величины х может быть графически представлена в виде ступенчатой функции, со скачками размеров р(х^\ р(х^\ ... соответственно в точках сосредоточения массы х^\ х(2), ..., как это показано на рис. 2.1.
Ф. в. р^ случайной величины, к. ф. р. которой изображена на рис. 2.1, может быть представлена графически посредством отрезков вертикальной прямой длин р(х^), р(х^), расположенных соответственно в точках сосредоточения массы х(1\ х(2\ ... Во всех других точках р^ равна нулю (см. рис. 2.2).-
Если F (х) имеет лишь один скачок, например равный р(х^), происходящий в точке сосредоточения массы х^\ то величина х называется вырожденной одномерной случайной величиной; ее к. ф. р. мы обозначим через
...( 1,х^в^х^,
=(2-3.4)
Следует заметить, что к. ф. р. F ^х), определенная формулой (2.3.2), может быть выражена через е-функцию (2.3.4). Мы имеем
F (х) = ^р (х^) ^(х — х(а)).(2.3.5)
Примеры. Число примеров одномерных дискретных случайных величин в элементарной теории вероятностей очень велико. Приведем два из них. Если х — случайная величина, представляющая число очков, выпадающих при * бросании одной «правильной» шестигранной игральной кости, то точками сосредоточения массы будут точки х(1) = 1,..., х(в) = 6 и вероятности отдельных точек будут даваться ф. в. р (х^ равной ~ при х= 1, ..., би равной О при всех других значениях х. Если х— число тузов, встречающихся среди 13 карт, извлеченных «наудачу» из «хорошо перетасованной» колоды, содержащей 52 обычные игральные карты, то х(1> = 0, х(2) = 1, ..., х(&)=4 и вероятности назначаются с помощью ф. в.
(4\ ( 48
" Vj^ ,-^ = 0, 1, 2, 3, 4,
и р(х) = 0 для всех других значений х.
Дальнейшие примеры важных дискретных случайных величин будут рассмотрены в главе 6.
(Ь) Непрерывный тип. Для случайной величины, принадлежащей непрерывному типу, всегда существует такая измеримая по Лебегу функция f(x)^0, что
W= J f^(2.3.6)
— ОО
для всех х ^ Rv В этом случае производная ^ существует, причем
(2.3.7)
за исключением, быть может, множества значений х вероятности 0.
В действительности удовлетворяющая условиям (2.3.6) и (2.3.7) функция /(х) существует тогда и только тогда, когда F (х) абсолютно непрерывна*, случайная величина, имеющая абсолютно непрерывную к. ф. р., иногда называется абсолютно непрерывной случайной величиной.
Может оказаться, что мы рассматриваем случайную величину х, имеющую просто непрерывную к. ф. р. F(x), и здесь уже F (х) не обязана удовлетворять (2.3.6) и (2.3.7). Этот более общий тип случайных величин не следует смешивать с тем, для которого F(x) является абсолютно непрерывной. Однако случаи, когда F(x) просто непрерывна и в то же время не абсолютно непрерывна, редки, и поэтому принято опускать наречие «абсолютно» и говорить, что соответствующая величина х есть непрерывная случайная величину. Так
или иначе, всегда будет ясно из контекста, какой тип непрерывности имеет место в данной ситуации.
Ничего существенного не будет потеряно, если мы положим /(х)=0 в точках х, где (2.3.7) нарушается. Тогда /(х) будет единственным образом определяться к. ф. р. F(x) в каждой точке пространства Rx. рассмотрим выражение
F %Х(2.3.8)
Эго отношение в согласии с (2.2.6а) положительно и представляет среднее значение вероятности, приходящейся на единицу длины отрезка ^х\ х^у Если предел этого отношения при х” -^ х’ существует, мы получаем /(х')^0 и/(У) можно понимать как плотность вероятности в точке х — х\ Поэтому мы будем называть /(х) функцией плотности вероятности (ф. п. в.) случайной величины х.
Представляется полезным подвести итог сказанному.
К. ф. р. F ^х) непрерывной случайной величины х единственным образом определяется своей ф. п. в. /(^) и обратно.
В теореме 2.3.2 должно подразумеваться, что /(х) необходимо полагается равной 0 во всех точках, где не существует.
Если имеет место (2.3.7), то для любого борелевского множества Е на прямой /^
P^x^E^ = \f^d,x.(2.3.9)
Е
Из (2.3.7) немедленно вытекает, что если E=RV то ^ f(x) dx = 1.
Ri
Иногда удобно использовать обычное обозначение дифференциала и писать
р (^ <Сх ^ ^+^) = /М ^>(2.3.10)
помня, конечно, о той осторожности, которая должна иметь место при обращении с дифференциалами. Количество f(x)dx называется вероятностным элементом величины х (в. э.). Если F(x) просто непрерывна, удобно также обозначить Р (х' <^ х <^ xr + dx) через dF(x') и рассматривать это как в. э. величины х в точке х = х'.
Для любого числа р, лежащего в интервале (0, 1), p-я квантиль (100 p-я процентиль) хр непрерывной случайной величины х, имеющей к- ф. р. F(x), определяется как наименьшее число хр, для которого
Р(хр)=р. .. (2.3.11)
В частности, х0 й есть медиана, а х0>2В и х0 7В — соответственно ниж- няя квартиль и верхняя квартиль величины х. Для дискретной случайной величины х, если существует по крайней мере одно значе- Ние х, для которого F(x)=p, p-я квантиль есть наименьшее из таких значений х. Таким образом, квантили случайной величины здесь опре- Деляются только как точки сосредоточения массы.
При исследовании задач, включающих непрерывные случайные величины х, большей частью выгоднее пользоваться ф. п. в. /(х), нежели к. ф. р. F(x).
Графически к. ф. р. Н(х) одномерной непрерывной случайной величины и соответствующая ей ф. п. в. /(х) представлены соответ-
Рис. 2.3. График к. ф. р. F (х) одномерной непрерывной случайной величины х.Рис. 2.3. График к. ф. р. F (х) одномерной непрерывной случайной величины х.
Рис. 2.3. График к. ф. р. F (х) одномерной непрерывной случайной величины х.
Рис. 2.3. График к. ф. р. F (х) одномерной непрерывной случайной величины х.
Рис. 2.4. График ф. п. в. / (х) к. ф. р. F (х), изображенной на рис. 2.3.Рис. 2.4. График ф. п. в. / (х) к. ф. р. F (х), изображенной на рис. 2.3.того, что «случайная» точка попадаеттого, что «случайная» точка попадает
Рис. 2.4. График ф. п. в. / (х) к. ф. р. F (х), изображенной на рис. 2.3.
Рис. 2.4. График ф. п. в. / (х) к. ф. р. F (х), изображенной на рис. 2.3.
того, что «случайная» точка попадает
того, что «случайная» точка попадает
ственно на рис. 2.3 и 2.4. На рис. 2.3 значение Р (хг <^х ^х") изображается разностью между двумя ординатами F^x") и F ^х'\ в то время как на рис. 2.4
та же самая вероятность представлена заштрихованной площадью.
Пример. С несколькими важными специальными распределениями вероятностей непрерывного типа мы будем иметь дело в главе 7. Однако кажется уместным привести здесь следующий простой «тример. Пусть вероятность внутрь произвольной окружности
а ф. п. в. — вида ф. п. в. — вид2х г- ’0,2х г- ’0,0 < х ^ г,0 < х ^ г,х ^ 0, х > г.х ^ 0, х > г.радиуса 6, в свою очередь лежащей внутри некоторой даннойюкружности С радиуса г, равна ^ и мы интересуемся расстоянием от «случайной» точки до центра окружности С. Если мы введем в рассмотрение случайную величину х, представляющую это расстояние между «случайной» точкой и центром данной окружности, и для х’ £ Rv определим F (х') как вероятность Р(х^х'), то к. ф. р. величины х (при условии, что точка обязятсльно попадет внутрь С) будет иметь вид
а ф. п. в. — вид
а ф. п. в. — вид
2х г- ’
0,
2х г- ’
0,
0 < х ^ г,
0 < х ^ г,
х ^ 0, х > г.
х ^ 0, х > г.
Можно показать, что наиболее общей формой F(x) является выпуклая комбинация некоторой дискретной к. ф. р. Ft (х) и непрерывной (не обязательно абсолютно непрерывной) к. ф. р. F^ (х), т. е. F^ — aFY (л^ + ^з Сг)> где я, ^ ^ 0 и a -j— b = 1.
Функции распределения двумерных случайных величин
Общие свойства. Допустим, что (хь х2) есть двумерная случайная величина, имеющая вероятностное пространство (/?2, ^.^ Р). Пусть Evxvx^ означает интервал (—оо, —оо; хъ х2] С R^ и
F(x'v x^ = P(EVx;, х^ = Р(— oo<Xi^Xp — оо<х2^^). (2.4.1)
Ясно, что'Р^, х2)— однозначная, вещественная и неотрицательная функция точки (хь х^ в R^.
I2
Рис. 2.5. Диаграмма, связанная с формулой для Д) F(xt1 х2\Рис. 2.5. Диаграмма, связанная с формулой для Д) F(xt1 х2\^1^1
Рис. 2.5. Диаграмма, связанная с формулой для Д) F(xt1 х2\
Рис. 2.5. Диаграмма, связанная с формулой для Д) F(xt1 х2\
^1
^1
Любой интервал /2 вида (x'v х^; х^ х^ принадлежит о®2, так как к = (Е^х», хр Е^, х»^(^», х^ EVX'V х^-(2.4.2)
Кроме того, вероятность события (Хр х2) £ /2 должна даваться формулой
р ((-Vb Х^ £ 1^ = F (x"v х^) — F (Хр ^) —
— F(Xv х^-^-Р^х’у xi). (2.4.3)
Будет удобно обозначать выражение в правой части (2.4.3) через ^14Р(хь х2) и называть его второй разностью F{xb х^ над 1г. Мы имеем
р «ХЪ х^ £ /2) = А?2 F (хь х^ 0.(2.4.4)
^2 На рис. 2.5 представлены различные величины, связанные с uF ^xv х^). F(xp х2) и F(Xp х’^ суть массы вероятности, содержа- ихиеся в бесконечных областях (включая их границы), заштрихованных
соответственно вертикальными и горизонтальными линиями. F(x'v х2) есть масса вероятности, содержащаяся в дважды заштрихованной области (включая верхнюю и правую границы), и Д/2 F^p х2) есть масса вероятности, содержащаяся в незаштрихованной прямоугольной области (включая верхнюю и правую границы).
Теперь рассмотрим множества
Е^— at х^), а=1, 2, ...,
очевидно, образующие стягивающуюся последовательность множеств с пределом lim E^t х^ = ф. Тогда из теоремы 1.4.5 вытекает, что а—>со2
lim F(—а, х^) = lim Рф^-а, x^=pOim Е(-«. x’^ = p^ = °- а—>ооа—>оо“а—>оо“
Иначе, опуская штрих, '
F (— сю, х2) = 0.(2.4.5)
Аналогично
F^, —00) = 0.(2.4.5а)
Возьмем множества
Е^а, а)> а === Ь 2, . . .
Они образуют расширяющуюся последовательность множеств, причем Нт F^ а) =/?2. Следовательно, из теоремы 1.4.5 мы получаем
lim F(a, a)= lim P (EM)= P( lim ЕМ)=Р(£1)=1, a—>00a—>00a—*00
t. e.
F(+oo, +oo)=l.(2.4.6)
Рассуждая так же, как при выводе (2.2.5), можно показать, что F(xv х^ непрерывна справа по каждой переменной, другими словами, в каждой точке (хх, х2) £ R^
F (хх + 0, х^ = F (х„ х2 + 0) = F (хх, xj. (2.4.7)
Из (2.4.7), как легко проверить, следует, что F (хх -|- О, х2 -[- 0) = = F(xx, х^.
Таким образом, если (хх, х2)— случайная величина с вероятностным пространством (R^ ^^ Р), то существует единственная функция F(xy х^, определяемая формулой (2.4.1) (штрихи опущены) в каждой точке (хъ х^) ^ R^n обладающая свойствами (2.4.4) — (2.4.7).
Обратно, подобно тому как это было в одномерном случае, функция F(Xy х^, определенная формулой (2.4.1) и обладающая свойствами (2.4.4) — (2.4.7), единственным образом определяет вероятностное пространство (R^ <93^ Р\ Собирая вместе высказанные результаты, мы получаем двумерный аналог теоремы 2.2.1.
Вероятностное пространство (R^ S3^ Р) двумерной случайной величины, (Ху х^ посредством (2.4.1) единственным образом определяет в точках пространства R^ однозначную, веществен-
241 функции распределения двумерных случайных величин 53 ную и неотрицательную функцию Рфу, хД обладающую следующими свойствами*.
^F^x,, лг3)^О,
F (— оо, х^ = Р(хь — оо) = 0,(2.4.8)
Р(+оо, -|-оо)=1,
F (Ху + 0, х2) = F фу, х2 + 0) = F фу, х^.
Обратно, функция F фу, х2), обладающая этими свойствами, определяет единственное вероятностное пространство, для которого Р (^(^i > *2))Р C^i’ ^)*
F фц х^ называется функцией распределения или кумулятивной функцией распределения двумерной случайной величины фу, х2). Иногда уместно говорить, что Ефу, х%) есть к. ф. р. двух случайных величин xv и х^. F фу, х^) называется также двумерной к. ф. р.
Как и для одномерной случайной величины, мы имеем две альтернативные схемы для описания распределения вероятностей, соответствующего двумерной случайной величине; в основу одной кладется вероятностное пространство, другая оперирует к. ф. р. Мы будем пользоваться почти исключительно последней схемой.
Различные двумерные аналоги формул (2.2.7) — (2.2.10) могут быть сформулированы и проверены читателем. В частности, имеет место следующее соотношение:
Рфу = Ху, х^ = х^ = Ефу, х^) — F фу — 0, х^) —
— Ефу, х^ — О)-)-/7^ — 0, х^ — (У).(2.4.9)
Маргинальные распределения. Рассмотрим множества
E^x\ оф а = 1, 2, ...
Они образуют расширяющуюся последовательность, так что lim Е(х' а) Е^х’, оо)Ехгу'
а-» оо11!
где Ех. есть событие Ху^Ху, которое содержится в R2. Следовательно, применяя теорему 1.4.5, мы имеем
lim Рф;, а) = lim a)) = P(lim EVxv ^ = РфХ'\ а-*ооа-*оо 1а-юо 11
т. е.
F Фг + оо) = Рфх^ = Рфу^Ху).,(2.4.10)
Положим
Ефу, со) —Fу фу).(2.4.11)
Читатель может убедиться в том, что Fy (xj удовлетворяет всем У ловиям (2.2.6) от (а) до (d), налагаемым на к. ф. р. одномерной
Дайной величины. В действительности Fv (xj) является к. ф. р.
компоненты хх случайной величины (хр х^ и называется маргинальной к. ф. р. величины хх или просто к. ф. р. хх.
Подобным же образом•
^2 (^2) = ^ (оо, х2)(2.4.12)
есть маргинальная к. ф. р. величины х^. Если мы представим себе» что полная вероятность, распределяемая по (хь х2)-плоскости в соответствии с к. ф. р. Р(хь х^), равна единице, и если эта вероятность ортогонально проектируется на хгось Рх\ то Fx (xj) будет количеством вероятности, приходящимся на интервал (— 00, xj хгоси. Аналогичная интерпретация допускается, конечно, и для Р^(х^\
Из теоремы 2.2.1 следует, что маргинальные к. ф. р. Fx (xj и F2(x2) определяют соответственно вероятностные пространства (R£\ ^\ Р1) И (RA ^2), Р,2)).-
Статистически независимые случайные величины. Рассмотрим двумерную случайную величину (хь х2) с вероятностным пространством (R^ S8^ Р). Пусть компоненты этой величины хх и х2 — одномерные случайные величины, имеющие соответственно вероятностные пространства (R^11, ^®in* РГ) и №2> ^J2’, P2>\ Говорят, что хх и х^ статистически независимы (см. § 1.6), если для всякого множества Е в R^=R^ X Ri' вида Ev X ^(2)» гДе Ev и £(2) — боре- левские множества соответственно в R^ и R^, мы имеем Р(Е) = —pM^WypV^EWy '
Отбрасывание наречия «статистически» и просто указание на независимые случайные величины не вызовет никакой неопределенности.
Независимость величин хх и х^ может быть с большей пользой выражена посредством к. ф. р.
.2. Если (xv хО — случайная величина, имеющая к. ф. р. F (хь х^, то необходимое и достаточное условие для того, чтобы хх и хч были независимыми, заключается в выполнении равенства
^(хр х^ = Рх^ххур^х^,Х2-4-13)
где Fx (xj) и Р^ (х2) — маргинальные к. ф. р. величин хх и х2.
Чтобы установить теорему 2.4.2, мы обозначим, как обычно, выборочные пространства величин хх и х2 соответственно через RA и R\2\ Тогда
R, = RnXR^.(2.4.14)
Пусть Ех- есть событие хх ^хх в Rx\ а Е^ — событие х2 <С х2 в Rx\ Очевидно,
Е^=Ех;ХЕх-.(2.4.15)
Если хх и х2 независимы, то
Рф^;. хр) = Р<*> фх-) • PW Фх'>(2.4.16)
т. е.
F (х;, х^) = Fv (xj) • F4 ф»У(2.4.17)
Обратно, допустим, что F (х^ х^ ^(xj и ^ (х2) — к. ф. р., причем (2.4.17) имеет место для каждой точки (x'v х^) ^ R^ т. е. другими словами, (2.4.16) выполняется для всякого множества Е^х^ = ^Ех' X Ех*2- В таком случае из § 1.6 вытекает, что в R^ определяется единственное вероятностное пространство (R^ <SB^ Р), обладающее тем свойством, что для любого множества Е из о®2 вида £(i) XEW мы имеем Р(£) = Р(1) (Е(1)) Р(2) (£(^ ^п, Р^) и (RX^i^ Е^) — вероятностные пространства, определенные соответственно Ei (Xj) и F^ (х2). Последнее равенство эквивалентно независимости xv И Хч..
Общие типы двумерных случайных величин
Большая часть двумерных случайных величин, встречающихся в теории вероятностей и математической статистике,* относится к трем типам: дискретному, непрерывному и смешанному. Вместе с тем величины, принадлежащие смешанному типу, встречаются гораздо менее часто, чем величины первых двух типов. Имеет смысл рассмотреть названные типы достаточно подробно.
Дискретный тип. Для дискретной случайной величины (xv х2) к. ф. р. является ступенчатой функцией, точнее, для такой величины правая часть формулы (2.4.9) обращается в нуль всюду, за исключением конечного или счетного, но не имеющего предельных точек в R^, множества точек сосредоточения массы (х^Х х^), а=1, 2, ... В этих последних точках
Р (Xi = х^\ х^ = х^) = р (х^Х х^) (2.5.1) и, кроме того, - -
x£»)=l. (2.5.2)
Обратно, если имеется такая последовательность точек (х^, х^), что р^х^Х х^>^. а=1, 2, ... и р(хь х2) = 0 для всех других
точек в R^ то F(xv х2) есть ступенчатая функция и
F<xv х^^р^, х^,F<xv х^^р^, х^,(2.5.3)(2.5.3)
F<xv х^^р^, х^,
F<xv х^^р^, х^,
(2.5.3)
(2.5.3)
где суммирование ведется по всем значениям а, для которых xv^ *5 ^xb 1~ 1, э.
Случайная величина (Хр х2) является вырожденной^ если существует одна-единственная точка сосредоточения массы (х^Х х’^). В этом случае p(Xin, х2^) —— 1. Мы можем написать
^ (^i, х2) = е (X! — х,*’, х2 — х22)) =^ (^i, х2) = е (X! — х,*’, х2 — х22)) =х;=эх-", Z=l, 2,в противном случае.
^ (^i, х2) = е (X! — х,*’, х2 — х22)) =
^ (^i, х2) = е (X! — х,*’, х2 — х22)) =
(2.5.4)
Конечно, каждая из компонент ^хх, х2)ев отдельности, например xv может быть вырожденной случайной величиной с к. ф. р., определенной в (2.3.4). Мы будем предполагать, если не оговорено противное, что ни одна из компонент (хх, х^ вырожденной не является.
Не возникнет никакой путаницы, если мы опустим а и назовем р (хх, х^ функцией вероятностей (ф. в.) величины ^xv х^
Таким образом, имеет место следующий результат.
К.ф.р. F^xx, х^ дискретной случайной величина ^xv х^ единственным образом определяется ф. в. р (xv х^), и обратно.
При рассмотрении дискретной случайной величины ^xv х^ обычно более удобно иметь дело с р(хх> х^, нежели с F(xb х^).
Вообще если Е — произвольное множество в R^ то
P((xv х3)^£)=2Р^» х1^-
€ Е
В частности, маргинальная к. ф. р. Fx (х^ в любой точке хх = хх имеет значение
f1(x1')=p(x1^x;)= 2 р^^^^
Подобное же выражение определяет-и значение F^(x^).
Маргинальные к. ф. р. Fx (Xj) и F^ (х2) являются дискретными одномерными к.ф.р., для которых ^(Xj) и р2(х2) суть соответственно маргинальные ф. в.
Читатель без труда может проверить следующее утверждение.
Если (Xi, х2) — дискретная случайная величина с ф. в. р(хь х2), то необходимое и достаточное условие для независимости хх и х2 заключается в том, что р(хх, х^=рх^ххУр^^х<^.
Пример. Примеров двумерных дискретных случайных величин в элементарной теории вероятностей очень много. Рассмотрим следующий пример. Пусть хг означает число тузов, а х2— число королей, появляющихся среди 13 вынутых наудачу игральных карт. Тогда точками сосредоточения массы (х^, х^), а=1, 2, ..., 25, случайной величины (хи х2) будут точки (О, 0), (0, 1), (1, 0),, ... , (4, 4). При условии, что колода карт перетасована /52\
«идеально», т. е. когда всем I I возможным наборам карт разумно назначить равные вероятности, ф. в. есть
для (Хп х2) = (0, 0), (0, 1), ... , (4, 4) и, конечно, р (xv х2) = 0 для всех других точек в Ra. Маргинальная ф. в. хх дается формулой
Эта маргинальная ф. в. является ф. в. случайной величины хи числа появившихся тузов. Аналогичное выражение имеет место и для р2 (х2\ Заметим, что Xi и х2 не являются статистически независимыми, так как р^хи х2)^ ^Pi Cvi) ’Рз (х2)«
Другие примеры двумерных дискретных случайных величин будут приведены в главе 6.
(Ь) Непрерывный тип. Для непрерывной двумерной случайной величины (хр х2) существует такая измеримая по Лебегу функция /(Хр х2)^0, что хх х2
Flxvx^= $ J /фр y^dyx dy*(2.5.6)
— ОО —ОО
при всех Он л^) ^ R^. Одновременно ■ ^ ^Х^х^ существует и
их^ их2их^ их2(2.5.7)
их^ их2
их^ их2
всюду в R^ за исключением, быть может, точек, образующих множество вероятности 0.
Условия, которым должна удовлетворять F(xv х2), чтобы выполнялись формулы (2.5.6) и (2.5.7), есть двумерный аналог условий, указанных для одномерной случайной величины; читателю самому предоставляется разобраться в подробностях.
d2 F (х Хо)
Полагая /(хь х2) = 0 в тех точках, где производная —
не существует, мы однозначно определяем /(хр х2) в R^.
Возьмем теперь отношение
^/9 ^ (х1» хг)
т-^— г/ х[>Хр х2>х2,(2.5.8)
это отно-это отно-М — Xt) (х£ — Х2)1/
это отно-
это отно-
гДе выражение в числителе доставляется (2.4.4). Ясно, что шение дает среднее значение вероятности, приходящейся на единицу Площади /2. Если существует предел отношения (2.5.8) при Xj -> х^ и х^-^х^ то он равен /(Хр х2)^0, т. е. имеет смысл неотрица- тельная плотность в точке (Хр х2). Если в данной точке (хр х2) Функция /(хр х2) определяется посредством (2.5.7), мы будем говорить, что существует плотность вероятности в этой точке. Во в ех Других точках R^ /(Хр х2) = 0, как мы условились по произ-
ЛУ. Будем называть /(Хр х2) функцией плотности вероятности
(ф. п. в.) величины (хр х^ и /(хр x^dxxdx^— вероятностным эле-, ментом (в. э.) (хр х^.
Как и в одномерном случае,
К. ф. р. F (хр х2) непрерывной случайной величины (хр х^ единственным образом определяется ф.п.в. f(xu х^ и обратно.
Если Е — произвольное борелевское множество в R^ вероятность Р(Е) задается следующим лебеговским интегралом:
р (1^. ^г) Е £) = И / 01’ Л) d^i 4У*(2 5.9)
Е
В частности, для маргинальной к. ф. р. мы имеем
л' 00
F1(.x'1)=P(xx<:x'1) = Jj /(yv^d^dy».(2.5.10)
— ОО —00
Будем рассматривать интеграл в (2.5.10) как повторный интеграл. Тогда функция
ОО
/1(^1)= 5 f^xv ^й^(2.5.11)
— ОО
называется маргинальной ф. п. в. величины xv Маргинальная ф. п. в. случайной величины х^ определяется аналогично.
Нижеследующее утверждение доставляет полезный критерий статистической независимости двух случайных величин хх и х^ который будет нетрудно проверить читателю.
Если (хХ) х^) — непрерывная случайная величина и f^xXlx^ — ее ф.п.в., то равенство
x^=fx<x^-f4^
представляет собой необходимое и достаточное условие статистической независимости хх и х^
Пример. Предположим, что в интервале (0,1) независимо друг от друга' «выбираются» два числа, причем все числа имеют «равную вероятность» быть выбранными. В качестве простого примера двумерной непрерывной случайной величины может служить двумерная случайная величина (хь х2), где xv и х^ означают соответственно меньшее и большее из выбранных чисел. Определим ф. п. в. следующим образом: f (х^, х2) = 2 внутри треугольника на х^-плоскости с вершинами (0, 0), (1, 1) и (0, 1) и /(хп х2) = 0 во всех других точках плоскости. Читатель убедится, что маргинальная ф. п. в. величины хх есть
001
/i (-^i) ^ ^ / (^ь ^2) ^2= J ^ • dy2 = 2(1 Xi),— 00Х1
и точно так же /2(х2) = 2х2.
Ряд специальных случаев более важных двумерных непрерывных случайных величин будет обсуждаться в главе 7.
(с) Смешанный тип. Для случайной величины (xv х^ смешанного типа одна из компонент дискретна, а другая непрерывна. Более точно, если F^Xv х^ — к. ф. р. величины (xv х<^, где хх дискретна и х3 непрерывна, и если х^\ а=1, 2, ..., — точки сосредоточения массы случайной величины xv a рх (Xi) — ее ф. в., то существуют одномерные условные ф. п. в. / (х21 х^), а=1, 2, ..., определяемые формулой
Pl )2
такие, что
Р(^!, х3) = £ Рх^у $/(y|.r<aW.(2.5.13)
Маргинальные к. ф. р. Fv (xt) и F^ (х2) даются следующими формулами:^i(^)= S piW(2-5-14)
И
F3(x3) = 5p1(x(">). $/(.y|^W(2.5.15)
Таким образом, можно сформулировать теорему
К.ф.р. F(xb х2) случайной величины, (хь х2) смешанного типа, где хх дискретна, а х2 непрерывна, единственным образом определяется парами [р (х^^), f(x^ | х^)], а=1, 2, ..., и обратно.
В целях большей наглядности со случайной величиной (хь х2) смешанного типа, где хх дискретна с ф. в. р(хх), а х2 непрерывна с условной ф. и.в. /(х^х^, можно связать следующую интерпретацию. Сначала вероятность 1 подразделяется на отдельные количества, именно pi (х^), а= 1, 2, ..., которые помещаются в соответствующие точки сосредоточения массы х^\ а=1, 2, ... на хгоси. Затем эти количества вероятности непрерывно «размазываются» вдоль вертикальных линий xj = Xia\ a=l, 2, ..., так, чтобы в любой точке Х2) на a-й линии плотность была равна рх (х^) -f{x^ | х^).
Следует отметить, что если /(х21 х^) для всех а совпадают, то f(x3|x(11))=/3(x3),(2.5.16)
Где A (х2) — ф. п. в. величины хг и F (xv х<^ = Fv (х,) • F3 (х3), так что х, и х3 независимы. Обратно, если х, и х3 независимы, то (*i, х3) = рх (х,) • Р^ (х2) и (2.5.12) приводит к (2.5.16). Следовательно,
Если (хь х2) — случайная величина смешанного типа, г е Х\ дискретна, а х3 непрерывна, то павенство /(х31 х*"*) ==
=Л (х2), где f^ (х2) — маргинальная ф. п. в. величины х.ъ выполняемое для всех а, является необходимым и достаточным условием независимости х, и х^.,
Пример. Как утверждалось ранее, примеры случайных величин смешанного типа более редки, чем примеры величин дискретного или непрерывного типа. Однако следующий простой, хотя и несколько искусственный пример в этом направлении, возможно, послужит дальнейшему пониманию природы случайных величин смешанного типа. Предположим, что бросается игральная кость, и пусть хк будет случайной величиной, означающей число выпадающих очков. Далее, если оказалось, что хг =х^ (х^ = 1, ..., х^=6), выберем независимо друг от друга х^ чисел из «равномерного» распределения на интервале (0,1). Пусть .г2 означает наибольшее из этих х^ чисел, В таком случае (хп х2) будет случайной величиной смешанного типа, составленной из дискретной величины хи имеющей ф. в. pt (х^=^"> х^ =■ = 1, ..., х^ = 6, и непрерывной величины х2 такой, что для 0 < х3 < 1
f (х31 x^) = A (x2)xt = x« (x2) 1,
если ^ = 1, ..., x^~^ и в то же время для всех других значений х2 вне интервала (0,1) / (_rg | ^^) = 0. Распределением, возможно, представляющим интерес в этом примере, является маргинальная к. ф. р. Р2 (х2), которая имеет вид,
^2 U2) = у (х2 + xj 4-... + х^.
Отсюда мы находим ф. п. в. величины х2
/г2(х2)=1(1+2х + .. .4-6х|).
Другие примеры случайных величин смешанного типа встретятся нам в задачах 8.34 и 8.35 в конце главы 8.
Функции распределения ft-мерных случайных величин
(а) Общие свойства. Теперь мы покажем, как результаты §§ 2.4 и 2.5, относящиеся к двумерным случайным величинам, могут быть распространены на случай ft-мерных величин. Достаточно набросать это обобщение лишь в общих чертах. За более детальным анализом общих многомерных распределений мы отсылаем читателя к фон Нейману (1950).
Допустим, что (хр ..., х^ — ft-мерная случайная величина и ^Rh, <^к, Р) — ее вероятностное пространство. Пусть Е^ , ^ означает множество (—оо, ..., —оо; x’v ..., x^dRk. Тогда
Р (Хр .. ♦, х^ — Р ^Е^х< ..., х^ —■ Р ( оо ^^ ^^ ^^’ • • • > ^)*
1 (2.6.1)
яСН0, что F(xb ..., хк)— однозначная, вещественная и неотрицательная функция точки (хъ ..., х^ из Rk.
Любой интервал Ik С Rk вида (*v ...» хк\ х^ ..., хк"\ принад- лежит S3k, так как
^"^i-Ф ~ 1^р 4U • • • U ^Г 4x»-i, ха^‘
(2.6.2)
Кроме того, вероятность включения (хъ ..., хк) £ 1к может быть найдена с помощью F(xv ..., х^ в результате обобщения формулы (2.4.3) на случай к переменных. Мы имеем
Р((х^ хк) ^ к) = F (х^»^к)— [^ С^п ^2>^)4"--- +
Н~ F C^V 1 • • > ^щ> ^к^ Н~ [^ С^Р -^ -^3» • • • > ^^) “h • • • 4”
4-F^,х^, Л-I, х»)] +... + (- 1/F(x'v ..., х'кУ (2.6.3)
Правую часть последнего равенства удобно обозначить через Ц F(xv ..., хк) и назвать к-й разностью функции F(xp ..., хк) над 1к. Очевидно,
р ((*1, ... . х^ С 4)= Д 4 F (х„ ..., X»)0.(2.6.4)
Посредством аргументов, подобных использованным при выводе (2.4.5), мы получаем
F(—оо, х^ ...» хк) = . .. = F(xv х%» ...» хк_ь —оо) = 0.(2.6.5)
казать, чтоказать, чтоF(-|-oo, ..., -|“°э)=1.F(-|-oo, ..., -|“°э)=1.(2.6.6)(2.6.6)Также можно обобщить рассуждения, приводящие к (2.4.6), и по
казать, что
казать, что
F(-|-oo, ..., -|“°э)=1.
F(-|-oo, ..., -|“°э)=1.
(2.6.6)
(2.6.6)
Затем можно установить ^-мерный аналог формулы (2.4.7), т. е- формулу
F(xv ..., xuv Xt4-0, xw» ...» xk) = F(xv ...» х^» I— 1, ..., к»
(2.6.7)
и проверить, что значение F(xb ...» х^ не изменяется, если вместо любого набора х» например, вместо Хц» ...» xir взять соответствен-
Таким образом, если (xv ...» х^ — ^-мерная случайная величина с вероятностным пространством (Rk» S3k» Р)» то существует функция определенная в каждой точке (xv ..., х^ ^ Rk фор- мУл°й (2.6.1) и обладающая свойствами (2.6.4) — (2.6.7).
Обратно, если F (xlt ...» х^ задается посредством (2.6.1) и имеет свойства, выраженные в (2.6.4) — (2.6.7), мы получаем вероятностное пР°странство (Rk» ^к, Р). Резюмируя сказанное, мы находим ^-мер- к°е обобщение теоремы 2.4.1.
L^*^l- Вероятностное пространство (Rk, <0Вк» Р) к-мерной слу- иной величины (хг» ..., х^ единственным образом определяет
однозначную, вещественную и неотрицательную функцию Р{хь ...» х^» задаваемую формулой (2.6.1) в каждой точке пространства ^ и обладающую следующими свойствами*.
^ifeF^xv .... хк^0,.
F(—оо, х^ ...» xk) =.. . = F (хх, ...» хкЛ» —оэ) = 0,
Р(4~оо, .Ц-оо)=1,(2.6.8)
F (xh ..., xUb Xi + 0, хщ» ...» х^ =
= F^xv ...» xk)» /=1, ...» к.
Обратно» F (Хх» ...» х^» задаваемая равенством F (xv ...» хк) =
= Р Ф^хх,..., хк^ и обладающая этими свойствами» определяет единственное вероятностное пространство (Rk» 33 к, Р).
Функция F (хь...»хк) называется функцией распределения (ф. р.) или кумулятивной функцией распределения (к. ф. р.) ^-мерной случайной величины (х^» ...» хк). Иногда F(xv ...» х^ называют ^-мерной к. ф. р.
Заметим, что вероятность системы равенств х1 = х’1» ...» хк = хк получается в результате перехода к пределу в правой части (2.6.3) при х--^Хь /=1, ..., к» т. е.
Р<хх = х’х» ...» хк = хк) = Hm A^F^, ...» хк). (2.6.9) ^к "“ ~i-
1 ^ i < к,
Маргинальные распределения. Маргинальная к.ф.р. Fx^x^ случайной величины хг определяется следующим образом:
Fx(Xx) = F(Xx» + оо, ...» +оо),'(2.6.10)
причем другие маргинальные к. ф. р. Ft (х^, 1 = 2» ...» к» определяются аналогично. Вообще же маргинальная к. ф. р. системы величин (Хх» ...» хк1)» кх<^к есть функция
Fi^(Лп •••> Xfe) = F^xv ..., xUx, +оо, .... + 00). (2.6.11) Подобное определение имеет место, конечно, и для любого другого подмножества компонент величины (xt, ♦. •, х^.
Независимость двух и более векторных случайных величин. Пусть (Хр .хк^ и (xfel+1, .хк\ где к = кхД-к^» — век-, торные случайные величины, которые имеют соответственно вероятностные пространства (Rk , ^к{» Р(1)) и (Rk^» <33кч? Р^\ Говорят, что эти две векторные случайные величины независимы (см. § 1.6), если для любого множества Ек С Rk = Rkt X №2 вида Е^ X Е^г где Е^ и Ек суть борелевские множества соответственно в Rk^ и. R^» мы имеем Р (Ек) = Р^ (Ек1) • Р^ фч\,/
Подобно тому как это было сделано в двумерном случае, незаг висимость с большей пользой можно выразить в терминах к. ф. р^
чТо показывает следующая теорема, которая может быть проверена читателем.
Если (xv ..., х^ — случайная величина, имеющая к.ф.р. р(Ху, xky то равенство*
F(x„ • • •. x^ = Fx,...,kl (xb .... xfe) ■ ^j4.„ ..., » (x*1+l, ..., xA),
(2.6.12)
где две функции справа суть маргинальные к. ф.р. соответственно величин (х1? ..., xAj) и (х*]+р ..., xky является необходимым и достаточным условием для независимости (хп ..., хк^ и (^!+v • • •» х^*
Понятие независимости может быть очевидным образом обобщено на случай трех или ^олее попарно не пересекающихся подмножеств компонент величины (Хр ... r хку В частности, следует заметить, что хр ... , хк являются взаимно независимыми тогда и только тогда, когда
F(xv ..., xk) = F1(x1)...Fk(xky (2.6.13)
Общие типы 6-мерных случайных величин
Как и в двумерном случае, существует три общих типа 6-мерных случайных величин: дискретный, непрерывный и смешанный.
Для дискретного типа F (Хр ..., хк) является ступенчатой функцией такой, что правая часть (2.6.9) обращается в нуль во всех точках Rk, за исключением конечного или счетного, но не имеющего конечных предельных точек в Rk, множества точек (х^\. ..., х^У а=1, 2, ..., в которых
Р^хх=х^\ .... хк = х^)=р^\ .... 4а))>0,(2.7.1)
причем-
^р(х^,4е,)=1.(2.7.2)
Функция р^Ху, ..., хку которая имеет значение 0 всюду в Rk, за исключением точек (х^, .х^у а=1, 2, ..., где ее значение Дается (2.6.9) (что и выражается в (2.7.1)), есть ф. в. величины Ui, ..., хку В случае, если существует только одно значение а, например а=1, то pW, ..., х*’)=1 и (хр ...,хк) является вырожденной случайной величиной. Обобщение формулы (2.5.3) и теоремы 2.5.1 осуществляется непосредственно.
Читатель легко обнаружит, как нужно определить маргинальную Ф- в. pt (х,), или, более обще, р\, ..., к1 (хп ... , хкхУ и как можНо переформулировать теорему 2.6.2 в терминах ф. в. Определение вырождения может быть, конечно, дано и для маргинальных
распределений. В частности, важно отметить, что xv ..;, хк взаимно независимы тогда и только тогда, когда
Р <xv ..., хк1 =pt to) ... рк to)-(2.7.3)
В случае непрерывной ^-мерной случайной величины (х^ ..., хк) существует такая неотрицательная измеримая по Лебегу функция f<xv ..., х^ что.
хх хк
Р^!хк)= 5 ... $ f^i, ... > bWi ••• ^к (2.7.4) — ОО —ОО
для всех to, ..., х^^ Rk, где
дкР(хи ...,хк)дхх ... дхксуществует в Rk и
=№>(2 ? 5)
всюду в Rk, за исключением, быть может, точек множества вероятности 0.
В соответствии с соглашением, которое мы приняли в одно- и двумерном случаях, мы определяем f(xu ..., х^ так, чтобы иметь- значение 0 во всех точках Rk) в которых не существует Л-я производная левой части (2.7.4).
^-мерное обобщение теоремы 2.5.3 предоставляется читателю.
Маргинальная ф. п. в. fi(xf) любой компоненты хг величины ^xv ..., хк) или ф. п. в. любого подмножества компонент, например fi к1 (xv ..., хк^, определяется из соответствующих к. ф. р. очевидным образом.
Легко видеть, что для непрерывных случайных величин теорема 2.6.2 может быть переформулирована в терминах ф. п. в. Кроме того, компоненты xv ..., хк случайной величины (хь ..., хк) взаимно независимы тогда и только тогда, когда
• • • > хк>=/, to) • • • A Uк)-(2.7.6)
Если (xv ... хк1) — Лгмерная дискретная случайная величина и (х^+ь ..., хк), к = й1Ц-й^— ^-мерная непрерывная случайная величина, то (xv ..., хк) является ^-мерной случайной величиной смешанного типа. Такая случайная величина определяется условной ф. п. в. f<xkv^\, ..., xk\xv ..., х^ которая дается формулой
/(•^i + b •••> ^к | Х-^Хк^) =
=ГТ^Я' о, |4^'>f ^х*,ь ^
Р\к^'хкх)охк
где р\..... кг C^i, • • •, -VAj) есть ф. в. величины (хь ..., хк^ и
A^aj F<xtl ...,х^= lim [Д^ F (ХР ..., х^;(2.7.8)
Д/1 F(Xv • • • > ^^ представляет собой £.-ю разность функции F (хь..., хк) относительно (хь ..., xfel) над £гмерным интервалом (хь ..., х^; Хр ^i)’ где x^i + b^к считаются фиксированными.
^-мерные аналоги теорем 2.5.5 и 2.5.6 получаются путем непосредственного обобщения. Проверка гэтого предоставляется читателю в качестве упражнения.
Функции случайных величин
Функции одной случайной величины. Напомним, что в соответствии с § 2.2 всякая одномерная случайная величина х имеет вероятностное пространство (Rv ^р Р) или, что равносильно, к. ф. р. F(x). Часто приходится иметь дело с вероятностной теорией измеримой функции) g(x) случайной величины х, где^(х) вещественна, однозначна и определена в каждой точке х £ Rv за исключением, быть может, точек, образующих множество вероятности 0, причем множество точек в Rb для которых g(x)^y, каково бы ни было вещественное число _у, также принадлежит классу борелевских множеств ^ в Rv Например, если х — случайная величина, то такие элементарные функции, как полиномы от х, sin х, ех и т. д., очевидно, являются измеримыми.
Из того, что (Rv ^v Р) — вероятностное пространство случайной величины х, а также из определения функции g(x) следует, что для любого вещественного числа _у множество значений х, для которых g^x^^y, содержится в <98 х и, значит, вероятность, соответствующая этому множеству, доставляется пространством (Rb ^р Р)-
Обозначим вероятность неравенства g(x^^.y при фиксированном у через Я(». Тогда
ЯСУ) = Р №) ^ = ^ £ Е^(2.8.1)
где Е^— множество точек х £ Rx, для которых g(x)^y.
Легко можно проверить, что //(у) обладает всеми свойствами к- Ф- р., и, следовательно, мы имеем
Если х — некоторая случайная величина и g(x^=y— новая случайная величина, то Н(у\ определенная соотношением (^•8.1), является к. ф. р. величины у.
Теперь допустим, что g(x) строго монотонна и имеет непрерывнУю> не обращающуюся в нуль производную при всех х из некоторого открытого интервала А. Возьмем y = g(x^ и пусть В будет
образ (интервал) интервала А в пространстве у. Выберем / ^ Д и найдем у = g (У). Тогда для некоторого Ау^>0 существует единственное решение уравнения g^=y -\- &у, которое мы обозначим так: x = g-x^-y^y
Если к. ф. р. величины х равна F(x), то мы получаем
Н(У + Aj/) - Н^ = ± [F (Г1 (У + ДУ) - F (Г1 О'))]- (2.8.2) причем знак плюс имеет место тогда, когда g(x) монотонно возрастает, и знак минус, когда эта функция монотонно убывает.
Деля обе части (2.8.2) на Ау, мы можем написать
Н^+^-Ну _
Ау
_ Г Л£Ч£±^^Г^^У+а^-^ЧУ))]/о я
L £"ЧУ + Ау)— g-^’)AyI J
Если g(x) имеет в точке х = х' не образующуюся в нуль производную, то такую же производную имеет в точке у=У и функция g^ty). Переходя в (2.8.3) к пределу при Ау->0, предполагая затем, что f^ есть производная от F(x\ если х £ А, и опуская штрихи, мы находим
dy —
где справа х должно быть заменено на ^(у). Здесь мы применяем символ абсолютной величины, чтобы упростить правило выбора знака. Кроме того,
j /(х) йх = j /(g1 Су)) I d-^y | ^у.(2.8.4)
Итак, мы имеем теорему
Предположим) что х— непрерывная случайная величина с ф. п. в. /(х) и У — g(x) строго монотонна и имеет непрерывную, не обращающуюся в нуль производную в некотором открытом интервале А. Пусть В — образ А в пространстве у. Если y—g(x), то у есть непрерывная случайная величина, ф. п. в. h(y) которой существует в В и дается формулой
(У)—/(£”’(У)) | ■^"^^(2.8.5)
где ^(у) есть решение относительно х уравнения g(x)—y. Кроме того) имеет место (2.8.4).
Иногда мы будем пользоваться выражением: «преобразование x = g-Y(y) переводит вероятностный элемент /(х) dx р вероятностный элемент h (у) dy» или просто писать: «/(х) dx-^ h (у) dy», где h (у) определяется (2.8.5). Формула (2.8.5) представляет, конечно, хорошо известное правило замены переменной интегрирования в подынтегральном выражении (здесь функция плотности вероятности) обычного интеграла.
Пример. Чтобы пояснить правило, выражаемое (2.8.5), допустим, что х— непрерывная случайная величина, имеющая -ф. п. в. /(х) = — в интервале (О, ^) и/(х)=0 в других точках х.
k ’ Пусть желательно найти ф. п. в. случайной величины хп. В этом случае g^=xn и g-1(y) =у1/л. Следовательно, ио формуле (2.8.5)
1
для у С (0) яп) и А(у)=О в противном случае, т. е. для преобразования х=ух,п мы имеем
1 .1 d^x,n .1 1-1 .
— dx— dy = — у пdy.
a a dy J па*'
г (Ь) Функции двух случайных величин. Пусть дана двумерная случайная величина (х^ х2). Функция g(xb х^ от хх и х2 называется случайной величиной, если g^xv х^ вещественна, однозначна и определена в каждой точке /?2 х^-плоскости, за исключением, быть может, точек множества вероятности 0, и если для каждого вещественного j множество точек в R^ для которых g(xv х^^у, принадлежит борелевскому классу множеств о®2 в R^ Если g(xt, х2) — случайная величина, мы обозначим ее через у. Пусть Е^ — множество точек в х^-плоскости, где g^x^ х^)^у.
Так как случайная величина характеризуется вероятностным пространством (Т?2, о®2, Р) или даже просто к. ф. р. Р(х1? х2), то это пространство (и, конечно, также F(xv х2)) доставляет и вероятность включения (Xj, х2) £ Еу для любого вещественного числа у. Обозначим эту вероятность через Н(у). Мы имеем
н^ = Р № х4) ^ = Р Цх» х^ £ ЕуУ (2.8.6)
Можно проверить, что Н(у) есть к. ф. р., точнее, к. ф. р. случайной величины y = g(x1, х2).
Рассмотрим векторную функцию (д (хх, х2), ^2 (хр х2)) случайной величины (х1У х2), где gx(xv х2) и g^(xv х2) вещественны, однозначны и определены в каждой точке R^ за исключением, быть может, точек множества нулевой вероятности, причем множество точек на -^1Х2-плоскости, для которых gi(xv ^^Уь i = l, 2, принадлежит <^^ какова бы ни была пара вещественных чисел (д^, у^\ Обозначим последнее множество точек при данных ух и у2 через Е^ъ -у2). Гогда вероятность включения (хп х2) £ Е^ь^ определяется вероятностным пространством (/?2, о®2, Р^ случайной величины (j/p _у2). 1усть эта вероятность равна Щух> у0- Очевидно,
^01, ^ = Р (g, (Хр хО ^yb I = 1, 2) = Р {(хь х^ е Е^. у^. (2.8.7)
Легко убедиться, что Н(у1$ у9) обладает всеми свойствами дву- еРной к. ф. р. и, следовательно,
3*
Если (хр х^ — двумерная случайная величина и (ур у^ обозначает случайную величину (^ (Хр х^, g^ (х1? х2)), то Н(ух, у^, определенная посредством (2.8.7), есть к. ф. р. величины (ур у^.
Читатель должен заметить, что к. ф. р. какой-либо одной из компонент величины (j/p у^ например j/р определяется следующим образом:
Н1 (У1) = Р (& (х,, х^ < Ji) = Р (to, х9) £ Е^), (2.8.8)
где Eyv есть множество точек в Х1Х2-плоскости, для которых &(*!> x^yv
Важным обстоятельством, касающимся /71 (уД является то, что хотя эта функция в действительности представляет собой маргинальную к. ф. р. величины yv определяемую в результате перехода в к. ф. р. H^v J?) к пределу при у2->оо, она может быть получена без предварительного определения /7(ур у^. В самом деле (2.8.8) показывает, что введение случайной величины y^M = g^Vxv х0 не имеет смысла, если мы интересуемся только величиной ух.
Компоненты двумерной случайной величины (хь х2) линейно зависимы, если существуют не равные нулю одновременно веществен-’ ные постоянные сх и с2 такие, что случайная величина сххх-\-с^х% является вырожденной (обычно очень небольшой интерес представляет случай, в котором либо Ср либо с^ равно нулю, ибо в этой ситуации одна из компонент хх или х2 сама является вырожденной). Если CiXi ~р с^ — вырожденная величина, но ни cv ни с^ не равно нулю, мы будем говорить, что хх и х2 собственно линейно зависимы, это означает, что Р (сххх -(- СА = ^з) = L гДе сг — некоторая константа и прямая сххх -j- с2х2 = с^ не является параллельной какой-либо координатной оси. Если мы исключим случай, когда одна или обе компоненты величины (Хр х2) вырождены, станет ясно, что единственный тип линейной зависимости, который может иметь место, есть тип собственной линейной зависимости. Если хх и х2 не являются линейно зависимыми, то говорят, что они линейно независимы.
В частном случае, когда хх— х2 есть такая вырожденная случайная величина, что
Р (Xj — х2 = 0) = 1,
хх и х2 называются эквивалентными случайными величинами. Если F^x^ х2) есть к. ф. р. двух эквивалентных случайных величин хх и х^ то А(хх) и F2(x2) тождественно совпадают. Обратное утверждение было бы, конечно, неверным.
Две векторные случайные величины эквивалентны, если их соответствующие компоненты являются эквивалентными случайными величинами.
(с) Непрерывные функции двух непрерывных случайных величин. Важный специальный случай возникает, когда (хп х2) есть непрерывная случайная величина и преобразование yi = gl(xx, х^>
f=l> 2, взаимно однозначно отображает х1х2-плоскость на .у^-пло- скость. В этом случае при некоторых условиях регулярности мы можем дать точное выражение для ф. п. в. величины (j/p _у2) через ф. п. в. величины (хп х2) и первые частные производные от ^ (хп х2) и й (xij хз)’ именно> можно сформулировать следующее утверждение:
Предположим, что (хь х2) есть непрерывная случайная величина с ф. п. в. f(xu х^. Пусть & (xb х2), Z= 1, 2 — однозначные функции, имеющие непрерывные первые частные производные в некоторой открытой области А х ^-плоскости. Пусть у^ = = gi(Xv ^2), 2=1, 2, допускают единственное решение xt = ^gVtVv -V2)> 2=1, 2, для всех точек в А, В — образ А, лежащий в у^-плоскости, и J — якобиан, определяемый соотношением
J=l^|,/,/=1,2,(2.8.9)
имеющий во всех точках А значения, отличные от нуля. Ф. п. в. h(yv У^ величины (у^ у2) в любой точке (уп y<i)^B дается формулоййСУ1,Л)=№> ^)|/|.(2.8.10)
где в правой части (хп х2) должна быть заменена точкой
(st* 01. л). g?*Oi. л))-
Кроме того,
$ f(xv х2) dx dy = ^/(Хр х2) I J| dyx dy* (2.8.11) а' в
Теорема 2.8.4 представляет собой просто сформулированный в терминах функций плотности вероятности вариант хорошо известной теоремы (которая может быть найдена в курсах математического анализа) о замене переменных в двойном интеграле. Читатель, интересующийся подробностями доказательства, может обратиться, например, к Уиддеру (1947).
Пример. Допустим, что (хп х2)— случайная величина, имеющая ф. п. в. f(y ,ч_ I е-*1-*2. *15=0, х2^0, ( 0 в противном случае,
и нам нужно найти ф. п. в. случайной 'величины ^^х^, ~р Здесь мы имеем преобразование"
^1=*1 + *8,y»=v
и обратное преобразование
11 + Уз ’21 +У2 1
оторые устанавливают взаимно однозначное соответствие между точками ложительного квадранта х^-плоскости и точками положительного квад” Нта У1У2-плоскости. Абсолютная величина якобиана рассматриваемого
отображения для всех точек в положительном квадранте равна д (хп х2) _ у!
д (уи У^ (1 -У-УгУ '
Таким образом, для ф. п. в. величины (уп у^ мы получаем
.,.Л>°> У8>°>
МУь Ь) = |(Ч-Л)
0 в противном случае.
Попутно следует заметить, что в данном случае yt и у2 (см. теорему 2.5.4) являются независимыми случайными величинами.'
(d) Функции ft-мерных случайных величин. Предшествующие результаты естественным образом распространяются на большее число функций нескольких случайных величин. Если (хх, ..., х^ — ft-мерная случайная величина, то функция g(xv ..., хк), которую мы обозначим через у, будет также случайной величиной, если она вещественна, однозначна, определена во всех точках Rk, за исключением, быть может, точек множества нулевой вероятности, и если множество точек в Rk (х-пространстве), для которых g(xv ..., x/?)^j, принадлежит <98 к — борелевским множествам в Rk — при всех вещественных значениях J. Если для данного у мы обозначим последнее множество точек через Е^ то к. ф. р. величины j будет равна
Н^ = Р^Хтх^Е^.(2.8.12)
Определение линейной зависимости также обобщается на случай ft-мерной случайной величины. Величины хъ ..., хк являются линейно зависимыми, если сххх +... + скхк при некоторых константах сх, ..., ск, не обращающихся в нуль одновременно, представляет собой вырожденную случайную величину. Если ни одна из констант ct не есть нуль, мы имеем собственную линейную зависимость. Если хх, ..., хк не являются линейно зависимыми, говорят, что они линейно независимы.
Векторная функция (gx (хх, ..., х^, ..., gkx (хх, ..., хк^ случайной величины (хр ..., хк\ которую мы будем обозначать (j/p ..., ук1\ есть также Армерная случайная величина, если каждая из компонент gx (Хр ..., хк\ ..., gkl (Хр ..., хк) вещественна, однозначна и определена во всех точках (Хр ..., х^ £ Rk, за исключением, быть может, точек множества вероятности 0, и если множество точек Е^^ С R^ Для которых gt (Хр ..., хк) ^Уь I = 1,..., kx при любом наборе вещественных чисел ух, ..., ук1 принадлежит о®к.. Таким образом, вероятность события Е(у ееУм> определяется вероятностным пространством (Rk, <93 k, Р) или же к. ф. р. F(xx, ..., хк) случайной величины (Хр ..., х^. Функция Н^ух, ..., >*,), определяемая формулой,
н^^ = Р«х^ ....х^Е Е<?1№р), (2.8.13) есть к. ф. р. величины (у„ ..., уиУ
Теперь предположим, что кх = к и (хх> ..., хь)— непрерывная случайная величина с ф. п. в. f(xx, ..., х^. Пусть в некоторой открытой области А пространства х уравнения yi = gt(x1, ..., х^ i^X> *••> k> однозначно разрешимы относительно xv ..., xk;xi = ^gi1^^ “->У1^ i=X, ..., к, где g^xx, ..., хь^ обладают непрерывными первыми производными, причем якобиан J=|^|^£0 в Л. Обозначим через В образ Л в пространстве (у^ ..^у^* Тогда (yv . • • > Ук) будет непрерывной случайной величиной, имеющей ф. п. в., которая в точке (уъ ..., у^^В равна
(2.8.14)(2.8.14)(2.8.15)(2.8.15)^СУн ^/,)=/(^i,хл).|У|,
(2.8.14)
(2.8.14)
(2.8.15)
(2.8.15)
и, кроме того,
^/(Xt, .... Xf^dX! ... dXfe^y^Xt, ... хк)\J\dyx ... dyk.
Эти формулы представляют, конечно, A-мерное обобщение формул (2.8.Ю) и (2.8.11). Подразумевается, что хъ ..., хк в правой части (2.8.14) и (2.8.15) должны быть выражены через у^ ...,ук, именно, xi=gi1(yi^,)> /=1> .... к-
Условные функции распределения
Общие замечания. В § 1.9 условная вероятность была определена для событий из общего выборочного пространства R. Так как основной интерес представляют события, определяемые случайными величинами, полезно видоизменить идеи параграфа 1.10 для случая, когда события описываются случайными величинами. Допустим, что х есть случайная величина с вероятностным пространством (Rb ^^ Р)
(2.9.1)(2.9.1)или, что равносильно, с к. ф. р. F (х). Пусть G—произвольное событие из Жх, для которого P(G)^>0 и Ех* означает событие х^х\ Положим - р (£ ^
(2.9.1)
(2.9.1)
Читатель может проверить, что F(х | Q) удовлетворяет всем условиям (2.2.6) для к. ф. р.; эта функция называется условной к. ф. р. величины х при условии, что х ^ О. Обратно, с помощью теоремы 2.2.1 Функция F (х | Q) единственным образом определяет условное вероятностное пространство (Rv
Аналогично пусть (xV) ..., х^ — A-мерная случайная величина с к-ф. р. F(xv ..., х^. Мы можем определить условную к. ф. р. величины (xv ..., х^ при условии, что (усъ ..., xb) £ О, где О — °Релевское множество в Rfe, формулой
(2.9.2)(2.9.2)P^x ^Г\О)
(2.9.2)
(2.9.2)
F(xv ...» xk\G)= P(G)
пРичем P(G)^>0 и Е^х^ есть A-мерный интервал (— оо, х]^
В действительности мы будем интересоваться (2.9.2), имея в виду главным образом ситуации, в которых событие G состоит из сечений (хх, ..., ^-пространства, получаемых в результате закрепления одной или более компонент величины (хь ..., хк\
Одновременное обращение в нуль как числителя, так и знаменателя в правой части (2.9.2) приводит нас к трудностям, как, например, в случае, когда ^хх, ..., хк) есть A-мерная непрерывная случайная величина с ф. п. в. /(хъ ..., хк\ Рассмотрению этих трудностей посвящены последующие параграфы.
Условные функции распределения двумерных случайных величин. Рассмотрим две случайные величины хх и х^. Пусть 1Х ~ цилиндрическое множество в R^ для которого xx<^xx<^x’v и Р(/х)2>0. Тогда из (2.9.2) мы имеем
F (ХЬ I Л) = . (2.9.3)
Если F(xv х^) есть к. ф. р. величины (хх, х^ и F^xJ— маргинальная к. ф. р. величины хъ то F(xx> х2|А) можно записать в виде
Заметим, что F(xv X^IF) как функция от х% есть к. ф. р. Если существует предел правой части при хх->х^ обозначим его через F (х21 хх), т. е. положим
lim F (xv хй \IX) = F (х^ | хх). (2.9.5)
Если F(x2|Xj) существует для каждого х^ можно проверить, что F^x^x^ рассматриваемая как функция от х^ есть к. ф. р., т. е. она обладает основными свойствами, перечисленными в (2.2.6). Она называется условной к. ф. р. величины х2 при условии, что хх = хх. Для краткости, если только исключена возможность внести какую-либо двусмысленность, можно, опуская штрих, говорить, что F (х21 хх) есть к. ф. р. условной случайной величины x2|xle F(x2|Xj) есть к. ф. р., для которой xv по существу, играет роль параметра; хх иногда называется закрепленной переменной, чтобы подчеркнуть, что при определении F^ | хх) она не является случайной величиной. Символ х^ | хх можно рассматривать как одномерную случайную величину, чья к. ф.р» F^\x^ при фиксированном значении xv например xfv определяется во всех точках х^-плоскости, где xx = x’v таким образом, что, грубо говоря, F(x2|x^) представляет количество вероятности, расположенное вдоль части прямой xx = x’v для которой х2^х2, и выражается в виде доли вероятности от общего ее количества, лежащего вдоль всей линии.
Предшествующее обсуждение доставляет довольно элементарный подход к условным случайным величинам и их к. ф. р., являющийся
остаточным для почти всех распределений, встречающихся в математической статистике. Более общий подход может быть развит в результате применения теоремы Радона — Никодима 1.10.1.
? В случае двух измерений особого внимания заслуживают два важ- иЫх типа условных случайных величин.
Т и п А. Для этого типа компонента х1 случайной величины (xv х^ дискретна. Таким образом, в (2.9.2) при ^ = 2 мы считаем хг дискретной случайной величиной с точками сосредоточения массы х^\ а=1, 2, ... Пусть Q—множество в R^— выборочном пространстве величины (xv х^), для которого х1=х$\ Тогда
Р (G) = Р <xv = х^) = р (х^) > 0.
Используя (2.9.2) при к = 2, мы сразу находим
F№ хе\х1=^ =Ц^—^.(2.9.6)
Эту величину мы будем обозначать через F(xa1 х^). Функция F(xa |х^) есть к. ф. р., и мы будем называть ее к. ф. р. условной случайной величины х2|х^. Таким образом, для условной случайной величины типа А можно определить Г(х2|х</)) непосредственно из (2.9.2) при & = 2, беря G равным множеству точек в R^ для которых xt = x^\ Формула (2.9.5) также приводит к полученному результату для F (х21 х^)), если в определении 1^ выбрать х,1 = х^\
Заметим, что ^[^^ есть случайная величина, выборочное пространство которой располагается на прямой в х^-плоскости, задаваемой уравнением xt = x^\ К. ф. р. величины х21 х^ есть F(x21 х^). Если это не вносит путаницы, мы можем отбросить р и рассматривать F(x^\x^ как к. ф. р. условной случайной величины х2|хР
Тип А условных случайных величин включает два общих случая. Самым общим случаем является тот, в котором величина х2, так же как и хь дискретна. В этом случае, очевидно,
гДе р(хь х2)— ф. в. величины (хР х2) и р^х^— маргинальная ф. в. величины хР Удобно опустить верхние индексы и положить
(2.9.8)(2.9.8)
(2.9.8)
(2.9.8)
так что /?(х2|х1) будет ф. в. условной случайной величины х2|хР Заметим, что х21 xt будет вырожденной случайной величиной, если не найдется по крайней мере двух различных точек сосредоточения массы, имеющих данную координату xv
Формула (2.9.8) может быть переписана следующим образом:
(2.9.9)(2.9.9)Р (х1; Xi) —р (Xi I хг)-рх<хх).
(2.9.9)
(2.9.9)
Это доставляет метод нахождения ф. в. величины ^хХ) х^ в два этапа, т. е. посредством определения ф. в. величин xa|Xj и хх и последующего перемножения обеих ф. в. Маргинальная ф. в. величины х2, получение которой часто является целью в такой задаче, может быть тогда определена обычным путем, исходя из р(хх, х9).
Примеры. Предположим, что мы хотим найти вероятность/? (х2 1 xt) того, что среди 13 вынутых «наудачу» карт окажется х2 королей, если известно, что среди этих карт имеется хх тузов. Вероятность получить среди 13 карт точно хх тузов и х2 королей равна
Далее, вероятность того, что среди 13 карт будет содержаться хх тузов, есть рх (xj = 2 Р (xi, ^з), иначе ^2=0
pw 48 X
\^1/Хх)
P1 ( J ~/52\•
Поэтому по формуле (2.9.8) мы имеем
Р (х2 I хх) =Р (х2 I хх) =
Р (х2 I хх) =
Р (х2 I хх) =
Чтобы пояснить (2.9.9), рассмотрим другой пример. Пусть хх есть случайная величина, означающая число очков, выпадающих при бросании «правильной» кости. Если выпало хх = хх очков, то подбрасывается хх монет, и пусть х2 — случайная величина, означающая число появившихся гербов. Интересующая нас задача состоит в том, чтобы определить р2 (х2), т. е. вероятность того, что в результате целого эксперимента будет наблюдаться число гербов, равное х2. Мы имеем
Следовательно,Следовательно,И PtW^-y.И PtW^-y., х 1 fxA(\yi, х 1 fxA(\yi
Следовательно,
Следовательно,
И PtW^-y.
И PtW^-y.
, х 1 fxA(\yi
, х 1 fxA(\yi
Чтобы найти р2 (х2), мы х2 +1, ..., 6. Это дает/ х 63Р2^-384’Чтобы найти р2 (х2), мы х2 +1, ..., 6. Это дает/ х 63Р2^-384’складываем значения120996429384’ 384’ 384’ 384’складываем значения120996429384’ 384’ 384’ 384’Р С*!» *з) Для хх = х2181384’ 384’Р С*!» *з) Для хх = х2181384’ 384’
Чтобы найти р2 (х2), мы х2 +1, ..., 6. Это дает
/ х 63
Р2^-384’
Чтобы найти р2 (х2), мы х2 +1, ..., 6. Это дает
/ х 63
Р2^-384’
складываем значения
120996429
384’ 384’ 384’ 384’
складываем значения
120996429
384’ 384’ 384’ 384’
Р С*!» *з) Для хх = х21
81
384’ 384’
Р С*!» *з) Для хх = х21
81
384’ 384’
для х2 = 0, 1, 2, 3, 4, 5, 6 соответственно.
Второй, менее общий класс условных случайных величин типа А содержит величины, для которых F(x2\x^) абсолютно непрерывна по х2, т- е- обладает функцией плотности / (xj| х^), так что
f(x2|^=-^^^f fW№ (2.9.10)
Это следует, конечно, немедленно из (2.9.2) при к = 2, если Q означает множество точек в R^ для которых х^х^Х Выбирая / =х$\ можно получить то же самое и из (2.9.5).
Таким образом, х2[х^) является непрерывной условной случайной величиной с ф. п. в. /(х2|х^). Заметим, что представление функции /(-Kgl-^) чеРез ^С^р ^а) Дается формулой (2.5.12) при а = р.
Тип В. Для этого типа хк является непрерывной случайной величиной с ф. п. в. /х (Хх). Мы рассмотрим два полезных случая. В более общем случае (Хр х2) есть непрерывная случайная величина с ф. п. в. f(xv х2) и (2.9.4) дает
$ j / (хк> х2) dxk dxa
F (xv x21 Л) = -^^.(2.9.11)
j л (xj dxt
Если /i(-Ti) и J /(^i, х^йхг— непрерывные функции от xt — ОО
в точке х\ и /i(Xj')>0, то, переходя к пределу при х^-^Хр мы получаем
5 f(Xp x^dxa
F (^21 ^) = ’^Tj^)•■ (2-9-12)
Читатель заметит, что это выражение для F (х21 xj) в непрерывном случае подсказывается аналогичной формулой (2.9.7) в дискретном случае.
Если мы положим
^1^=/^^Г-(2-9-13)
То / С^ I ^i) будет ф. п. в., именно ф. п. в. условной случайной величины л:2|Х1. Если можно не опасаться путаницы, стоит отбросить штрих у Xj и переписать (2.9.13) иначе:
/(х„ x1)=f(x1\x1)./1(xt),(2.9.14)
что, конечно, представляет аналог формулы (2.9.9) для непрерывных СлУчайных величин.
Пример. Пусть xt— случайная величина, означающая число, выбранное «случайно» в интервале (0,1) (все числа интервала (0,1) должны рассматриваться равновероятными в элементарном геометрическом смысле), и ха— случайная величина, означающая число, выбранное «случайно» в интервале (х^ 1), где х;— реализованное значение xv Мы хотим найти ф. п. в. величины х2, т. е. /2(х2). Мы имеем
1,1,0 <xt < 1,0 <xt < 1,Л(х1)=^0Л(х1)=^0в противном случае;в противном случае;( 1 х<х<1 /(^1^)=^ 1 — xi(0 в противном случае.( 1 х<х<1 /(^1^)=^ 1 — xi(0 в противном случае.
1,
1,
0 <xt < 1,
0 <xt < 1,
Л(х1)=^0
Л(х1)=^0
в противном случае;
в противном случае;
( 1 х<х<1 /(^1^)=^ 1 — xi
(0 в противном случае.
( 1 х<х<1 /(^1^)=^ 1 — xi
(0 в противном случае.
Следовательно,
!
-,0<х1<Хо<1,
1—
0 во всех других точках.
Поэтому
аг2
Л(х2)=у^- = —log(l—х2),0<х2<1,
и /а (х2) = 0 для х2 вне промежутка (0,1).
Во втором случае условных величин типа В, встречающемся менее часто, хх непрерывна, а х% дискретна. Читатель может проверить, что если /Дх^ непрерывна в точке xx = x’v fi(x[y>Q и, кроме того, F (хь х^ и F (Xi, х2 — 0) обладают производными по хг в точке Хр то применение (2.9.4) и (2.9.5) дает
F(x3|xD = 2 Р*^\^’(2.9.15)
где
(2.9.16)
И
F^Xv ^a) = ^[^(^i> x^ — F<xX1 х, —0)].(2.9.17)
Заметим, что р*(<х^\х^ аналогична по структуре функциир^х<Дх^ которая определена в (2.9.8), если не считать, что р*^\х^ составлена из плотностей вероятности, а не самих вероятностей (в точках сосредоточения массы). Грубо говоря, мы можем вообразить, что вероятность 1 разделена на части ^(х^), P^^TY ••• и затем каждая из этих частей вероятности непрерывно «размазана» по прямым х2 = х^\ х^ = х^\ ...в соответствии с функциями плотности (но не ф. п. в.) /ЦХь x'^F^v х^1),...
Обобщение на ^-мерные случайные величины. Определение (2.9.5) условной к. ф. р. может быть непосредственно распространено на многомерные случайные величины. Рассмотрим случайную величину (Xjх*) с к. ф. р. F^Xx,.... хк\ Пусть Fxkl (xjxkl)-> маргинальная к. ф. p. величины (хх, ..., xkl\ kx<^k, k = kx-^-k4) и
/^ —цилиндрическое множество в Rfe, для которого х^ <^хг ^Хь 1^=\, • •♦> А. Проекция этого цилиндрического множества на Rkl— выборочное пространство точек (хр ..., хк1) — есть ^-мерный интервал (Хр ..., хк1; Хр ..., хД], который мы также обозначим через 1кр Пусть Д/Д Рь.... а, <хр ..., хк^ —- Л-я разность функции Рг^ (хь ... .^aJ наД интервалом 4Р определенная в соответствии с (2.6.3) и (2.6.4). Эта &гя разность есть не что иное, как Р(1к^ которая предполагается положительной. Теперь положим
р^хр._хлГ\1к)
F (хь| 4J =р^.(2.9.18)
В частности, мы имеем
F(х,х^р x*1+i, ..., хк | 7^)— ,y - (2.9.19)
где числитель в правой части представляет Лрю разность функции F(x1? ..., х^ относительно (хр ..., хк^ при фиксированных значениях (^a1+v хк\
Если существует предел правой части (2.9.19), когда xf-^Xp ... хк1^хкр т. е. если
Иш ^ С^1' • • • > Хкр •^АрЫ> • • • > ^к | ^к^ —■
Х( -*х^
i —1hi
= FtxkwX’ .... хк\хх, х^),(2.9.20)
то F(xkl+1, ..., хк\хх, ..., х&1) (штрихи опущены) называется к. ф. р. условной, случайной величины (х*1+), ..., х6|хь ..., хк1). Можно проверить, что если эта условная случайная величина существует, F (х^1+р • • • > хА | Хр'..., хк1) обладает всеми свойствами (2.6.8) ^-мерной к. ф. р. Если предел (2.9.20) не существует, требуется более общий подход, обсужденный в § 1.10.
В случае дискретной величины (хр ..., хк\ если Q в (2.9.2) выбирается в виде части Rk, для которой Xj = Xp ..., хк1 = хкр причем P(G))>0, то условная случайная величина (ха1+р ..., xjxp ... • хк^ существует и имеет ф. в., даваемую следующей формулой, являющейся обобщением (2.9.8):
,г к Р ^1>хк)
Р^Хк v . .., Х^|Хр . .., хк^)=-Т7(х' ЗрЛ • (^^2О
Опустим штрихи. р(Хр ..., х^ есть ф. в. величины (хь ..., хк\ а рх/г1(Хр ..., хк1) — маргинальная ф. в. величины (хр ..., хк^. В условиях, которые были высказаны ранее, можно также показать, цто к. ф. р. условной случайной величины (хА1+р ..., х/г I..., хД) [имеющая Ф- п. в. (2.9.21)] дается (2.9.20).
Читатель может проверить, что если величина (хр ..., х^ дискретна, мы имеем следующую формулу умножения для ф. в. в точках сосредоточения масс пространства (усх, ..., хку
p(Xi, .... хк')=р(.хк\х1xft_i)X
XPi k-i (x6-i I -«к • • •. ^-«) • • • Pi fo)- (2.9.22)
В случае, если (xx, ..., x^— непрерывная величина, мы имеем в согласии с (2.9.21) ф. п. в.
Rxk^, хк\хъ хк1)=-г^^2Е1^,(2.9.23)
где обе функции в правой части есть ф. п. в., определенные в § 2.7. Эту ф. п. в. можно получить из (2.9.20) путем непосредственного обобщения рассуждений и предположений, использованных при выводе (2.9.12).'
Аналогично (2.9.22) мы имеем, конечно, и для непрерывного случая следующую формулу умножения для ф. п. в.:
/(х„ ...» xk^=f^xk\xxхк^Х
X /1 к (xfe_! I Xixk_^ ... /1 (х,).(2.9.24)
считая, что ф. п. в. всех рассматриваемых условных случайных величин существуют.
Условные функции распределения в случае независимости. Рассмотрим сначала случайную величину (хх, х2). Пусть G—боре- левское цилиндрическое множество в Rg, параллельное х2-оси, и Р(О)^>0. Тот факт, что некоторая точка (Хр х^ содержится в Q, мы будем записывать просто: хх £ G; это не внесет никакой путаницы. Обозначим через 5^, ^) декартово произведение Ех^ X Ех^ где ЕХ1 — множество в Rx\ для которого хх^хх и Ех^— множество в Rx\ для которого Хд^х’д. Тогда
и из (2.9.2)и из (2.9.2)^;, ^') И О—фХ1 Q О) X 0*2
и из (2.9.2)
и из (2.9.2)
(2.9.25)*(2.9.25)*,, Р№х, C\G)XEx,)
(2.9.25)*
(2.9.25)*
F (Хр Хд | G) 1 р ^
Если хх и х2 независимы, вместо (2.9.25) мы будем иметь, , Р(ЕХ,ПО)
F^v ^|G) = —^Рфх)(2.9.26)
и, таким образом, мы получаем следующий результат:
. Если (хр х2)— случайная величина с к.ф.р. F(Xp х2), причем хх и Хд независимы, и если Q — произвольное (борелевское) цилиндрическое множество в Rg, параллельное Хд-оси, для которого Р(О))>0, то
F (Хр Хд | О) = F (хх | Q) • Fg (х2).(2.9.27)
Другими словами, условная вероятность того, что хй принадлежит к какому-либо заданному множеству при условии ^xv х^ £ О, где q— цилиндрическое множество, параллельное х2-оси, не зависит от G. Допустим, в частности, что Сесть множество, для которого хг принадлежит множеству Iv встречавшемуся в (2.9.3). Тогда, если хг и х^ независимы, то из теоремы 2.4.2 вытекает, что вместо (2.9.4) можно написать
F(x'v x^I^^F^x^(2.9.28)
В этом случае lim F^x’v ^lA) существует всюду, за исключением, быть может, множества точек х^ вероятности нуль, и равен F^x^. Таким образом, мы получаем следствие теоремы 2.9.L
а. Если xv и х^ независимы, тогда всюду, за исключением, быть может, множества вероятности О,
- F (Хч | х^ = F^ (х^.(2.9.29)
Ясно, что в случае, когда xt и х2 независимы, (2.9.8) приводится к соотношению
р (-^21 -^i) =№ (*2),(2.9.29а)
а (2.9.13) — к соотношению
f (^21 -^i) = /2 М-(2.9.29b)
Вообще
. Если (xv ..., х^— случайная величина с к.ф.р. F(xb ... ..., х^, причем случайные величины (Хр ..., хк^ и (х^1+р ..., х^ независимы, и G—произвольное борелевское цилиндрическое множество в Rk, определяемое некоторым множеством значений хь •xkv так что P(G)^>0, то
р(хь ..., хи\О) =
^1 &1 C^l)I О) ^61 + 1 k^hi-VX’ Xk)'(2.9.30)
Если G является интервалом, для которого (хр ..., Хк^ есть точка множества 7^, использованного в (2.9.19), и, кроме того, C^i, •.., хк^ и (уск^х, ..., х^ независимы, мы имеем
7*(Хр . . #) х^ | Ik^) —“ F\t , , , t k^ C^l> ♦ • • > Xk^ I lh^ * FAi-|-I, ... , ^C^i-l-b • • • > X^, так что (2.9.19) дает
^ C^V • • •, Xkp Xj^.^1, . . •, Xk I Z^t) — FAj-]-! ^ (*^Ax4*^ * * * ’ Xk)* (2.9.31) Переходя к пределам при x^-^x*v ...» xklXkP существующим почти везде, мы получаем как следствие теоремы 2.9.2 теорему
а. Если (хр ..., х^ — случайная величина с к.ф.р. F(xv ..., xkY причем (хр ..., Хк^) и (х^^ь ..., xfe) независимы, то всюду,
за исключением, быть может, множества вероятности 0,
•^ C^^i4-b • • •) Xk I ^р • • • ’ *^^i) — ^^14"Ь ..., a С^Лх рь • • • ? х^. (2.9.32)
Если (ад, ..., хк1) и (х^+ь •х^ независимы, из (2.9.32) следует, что вместо (2.9.21) и (2.9.23) мы будем иметь соответственно
Р^+ь ..., xk\xv ..., х^)^^к^хМ\, ..., хк) (2.9.32а) и
/(^^ь ..., X/Jx^ ..., х^^Д-р4x*1+i, ..., хк\ (2.9.32b)
2.10. Конечные случайные процессы
^-мерная случайная величина (xv ..., хк) часто называется конечным случайным процессом. Особенно это принято в приложениях, где компоненты xv ..., хк соответствуют измерениям, произведенным на исходах последовательности физических операций таким, конечно, образом, что ^-мерная к.ф. р. определяется.
Пример. Пусть хх— случайная величина, означающая число, взятое «наудачу» в интервале (0,1), причем все числа предполагаются «равновероятными», х2 есть число, взятое- «наудачу» из (ад, 1), и т. д., к таких чисел дают нам ^-мерную случайную величину (хИ ..., хк) с ф. п. в. /(л^, ..., хк\ которую можно найти, прилагая (2.9.24). Мы имеем
,(1—-«6-1) '
для 0< лгх <... <хк < 1 и /(хп ..., лг/.,) = 0 в противном случае. Мы можем тогда считать (х1? ..., х^ (конечным) случайным процессом для описания, результатов последовательности «зарубок» интервала (0,1), произведенных в соответствии с вышеизложенным.
Продолжая знакомство с этой книгой, читатель найдет в ней много примеров конечных случайных процессов. Бесконечные случайные процессы, т. е. многомерные случайные величины с бесконечным числом компонент, также встретятся в ряде мест. Опи будут определены и изучены в главе 4.
ЗАДАЧИ
Пусть F (х)— к.ф.р. сл>чайной величины а\ Рассматривая подходящие последовательности полуоткрытых интернатов и опираясь на теорему 1.4.5, установить формулы (2.2.7)— (2.2.10).
Рассматривая подходящую последовательность двумерных полуоткрытых интервалов, установить формулу (2.4.9).
Пусть Р\ (х) и F2 (х)— к.ф.р. соответственно дискретной и непрерывной случайной величины. Показать, что если а и b— неотрицательные числа, сумма которых равна единице, то функция
aFx (х) + bF2 (х)
обладает всеми свойствами к.ф.р.
Смешанная двумерная случайная величина (хь х2) такова, что xt дискретна с ф. ‘в. р (xt) = (, ^ = 1, 2, и х3 непрерывна, причем условная величина х2| xY имеет на интервале (0,1) ф. п. в. л^ (1 — -Г2)Х1— Показать, что ф. п. в. (безусловной) случайной величины х2 равна на отрезке (0,1) 2 0+х2)-2.._
Дискретная случайная величина ,vt имеет ф. в. qpXl~*, Xi = 1, 2, .... где 0<р< 1, ^ = 1—р. Кроме того, х2— непрерывная случайная величина, причем ф. п. в. для х2 | xt па (0,1) равна хх -л^1-1 и вне (0,1) —нулю. Определить безусловную ф. п. в. величины х2, ф. в. величины л^ | х2> к. ф. р. величины Xi и к. ф. р. величины х2.
Показать, что если
у . (П - (1 +- (1 + х2)"* + (1+ -Г2ГЧ хп х3 О,
Ии з в Пр0ТИВН0М случае,
где А>0, то G (хи х2) удовлетворяет всем условиям для к. ф. р. двумерной непрерывной случайной величины (хь х2). Найти ф. п. в. этой величины.
Показать, что если (х, у)—двумерная случайная величина с ф. п. в., которая равна /(х, у) при х>0, v>0 и равна 0 в противном случае, то
ф.п.в. величины и = ~ есть
ОО xf (х, их) dx, b
ф.п.в. величины и = х-^у есть
оо j / (х, у — х) dx,
ф.п.в. величины w — xy есть
ОО fl/ w\ , \ — / х, — dx. Л X х 1
Допустим, что случайная величина (хп х2) имеет ф. п. в., равную 1 -4-(х2+х|)
2^-б“в каждой точке (хп х2) х^-плоскосги. Показать, что
если случайные величины j^n у2 связаны с xL и х2 формулами
Xt ==^ cos^2,х2 =yt sin у2,
гДе ф. п. в. величины у^ равна у^ 2 1 для ^ > 0 и 0 для ^ ^ 0, а ф. п. в. величины у2 равна для 0<>3<2я и 0 в противном случае, то ух и у2 независимы.
Ф. п. в. трехмерной случайной величины (xn xs, х3) равна 6 в тетраэдре с вершинами (0,0,0), (0,0,1), (0,1,0), (1,0,0). Найти к. ф. р. и ф.п.в. следующих величин: (хп х3), хп х21 лги Х1Ц-х2> Xi-\-x2-]-xs.
Пусть (г„ х2, х3) — случайная величина с неотрицательными компонентами и ф. п в , равной ^^^i + ^s+^s). Найти ф. п. в. величины (и, х2, х8),
, где ы^^+^+^б. Исходя из ф.п.в. величины (хо х2, х8), найти ф.п.в. величин
и,
и | х2,
и | х2,х8,
(х2| и,х81 и).
Показать, что если (хь ..., х*)— случайная величина с к. ф. р. F(xn ..., х^) и все компоненты хи ...^ х^ независимы, то в (2.6.4)
^V (^, ..., xh) = ДР, (х.) • -. ДР» (х6), где
A^(xz) = ^.(xp-F.(x;)
и Fi(Xi) — маргинальная к. ф. р. величины х^.
Показать, что если (хп ..., х*)— й-мерная случайная величина с ф.п.в., симметричной относительно хп ..., х^ то Р(х1<х2<...<х^) = ■—.
Известно, что й-мерная случайная величина (xn ...t х^ имеет ф. п. в. вида
С(Л+х, + ... + х6)-*-в
для Xi>0, ..., хА>0, где А и В — положительные числа, и равна 0 в противном случае. Определить С. Найти ф. п. в. маргинального распределения величины (хь ..., хгУ г < к.
Показать, sto если хь ..., хк— независимые случайные величины с тождественно равными непрерывными к. ф. р. F (хху ..., F (х^у и
u = min(x1, ..., х^), v = max(x1, ..., х^У
то к. ф. р. величины (п, у) равна
[^W]*-^, у) VF^-FW> где
,хflДЛЯ Н<У,
v'(Одля н ^ у.
Найти маргинальные к. ф. р. величин и и у. Полагая, что F (х) имеет производную /(х), найти также ф.п.в. величин (и, у), и и у.
В урне находятся N шаров, занумерованных числами 1, ..., N. Извлекается один шар, и его номер регистрируется как значение случайной величины хи после чего шар возвращается обратно в урну. Затем извлекается второй шар, его номер регистрируется как значение случайной величины х3 и шар возвращается в урну. И так далее до тех пор, пока не будут получены значения к величин хи ..., х^. Приписывая равные вероятности появления всем номерам на каждом шагу и предполагая взаимную независимость величин хи ..., х^ выписать к. ф. р. ^-мерной случайной величины (хп ..., х^У Найти к. ф. р. и ф. в. величины у ^шах (хь ..., хку
(Продолжение). Допустим, что последовательно без возвращения извлекается к (< N) шаров, причем считается, что вероятность извлечения какого-нибудь шара, остающегося в урне на любом данном шагу, должна равняться вероятности извлечения любого другого шара, остающегося в урне на этом шагу. Сколько точек сосредоточения массы имеет величина (х1# .*• ..., хд)? Определить ф. в. величины (хп ..., хь). Показать, что ф. в. маргинального распределения любого набора^г (ск) х-ов остается неизменной при переходе к любому другому набору г х-ов.
Показать, что если (хп _ух), ..., (^, ук), к^^ — независимые двумерные случайные величины с тождественно равными к. ф. р. F(xu у^, ...
F^b Ук) (и тождественно равными ф. п. в. f (хь у^, ...» /(л;А, у^) и
u = max(^1, ..., хк), у = шах(^п ..., ук^
то ф. п. в. величины (и, у) равна
к (к- 1) F^ («, У)-£ . ^ + kF^ (и, V)f(u, У\
(Продолжение). Показать, что если w = max Lr, 4-у., хь + уй*
ТО ф.п.в. величины естьтл/
ОО W—xОО
ft [ 5 S f^x' ^) ^1 • J / (*» o’ —^) dx.
—•ОО —ОО—ОО
Показать, что если каждая из случайных величин хи ..., хк независима от остальных, то эти величины взаимно независимы.
Показать, что если F(xlt..., хк) — ^-мерная к.ф.р. с маргинальными к. ф. р. Ft (xt)Fk (xk)f то
F(xu .... х^^РЛх^.-РкМ^.
ГЛАВА 3
СРЕДНИЕ ЗНАЧЕНИЯ И МОМЕНТЫ СЛУЧАЙНЫХ ВЕЛИЧИН
Введение
В § 1.8 мы определили для данного вероятностного пространства (R, ^, Р) интеграл Лебега — Стилтьеса от случайной величины х(е) относительно Р, взятый по множеству Е £ ^.
Пусть Е*— борелевское множество в Rx и Е — множество в R, для которого х (е) £ Е\ Тогда, если F (х) есть к. ф. р. величины х (е), мы можем написать интеграл Лебега — Стилтьеса (1.8.5) от х(г) по множеству Е несколько иначе, именно
5 х (е) dP (е)=\х dF (х\'(3.1.1)
ьв*
Аналогично, пусть Е^ — борелевское множество в Rk и Е — множество в R, для которого (Xi (е),..., xft (е)) £ EV Если F(xp ..., х^)— к. ф. р. величины (Xi(^), ..., хк^ и функция ^(х^ ..., х^ измерима относительно ^к (так что gCx^e), ..., хк(е)) становится измеримой относительно а®), то
5 S^i (4 ■ • - хк (е)) dP (е) = J g(xxxk)dF (х„ ..., х^. (3.1.2)
Допустим, что в (3.1.2) Е'к есть множество точек Rk> для кото-' рых gXxt) ..., x^^EV где Е'г — борелевское множество в Rv В таком случае, если /т(у) — к. ф. р. величины g(xv ..., хк\ мы можем также написать‘
^(.Vp ..., x^dF^x^ ..., х^ = \ydH(y). (3.1.3)
Среднее значение случайной величины
В том случае, если в формуле (3.1.1) мы полагаем 5' = /?!, получающийся интеграл,
g(x)= f xdF<x\(3.2.1)
— ОО
определяет среднее значение случайной величины х.
Для дискретной случайной величины х с ф. в. р(х), введенной в § 2.3 (a), g (х) сводится к следующей сумме:
g (х) = 2 х W р (х^\(3.2.2)
где х^— соответствующие точки сосредоточения массы. Для непрерывной случайной величины х с ф. п. в. /(х) мы имеем
g(x)=i= J xdF(x) = $ x/(x)dx.(3.2.3)
В более общем случае, когда в качестве множества Е^ в формуле (3.1.2) берется все пространство Rk, мы получаем
(g(-Xv ... > -v»)) = $ g^, ..., х*) dF (х,, ..., хД (3.2.4)
Кроме того, из (3.1.3) следует, что если Eu — R^ то Е[ = RX и
§№- .... ^)) = Г ^^(j).(3.2.5)
— ОО
Обозначив g^xx, ..., х^ через у, мы находим, что интеграл в (3.2.4) есть просто g(y) и, следовательно,
Ш<А>^)) = S№(3.2.6)
Как и выше, для дискретной случайной величины (хр ..., хк) (3.2.4) сводится к сумме, а для непрерывной представляет ^-мерный интеграл по пространству Rk. •
Средние значения, если они существуют, обладают следующими полезными свойствами:
Если с — константа, то
^су^=с^у\
g (ay! 4“ ^Уз) = ^S СУ1) 4" ^§ (У4-
Если т^у ^М, то т^^{у)^М,
Если ух ^у^, то g (у О ^ g (у2).
|g(y)|^g(|y|).
Допустим теперь, что (хр х2) есть случайная величина с к. ф. р. F(xb х2), удовлетворяющей условию независимости хх и ха, и рассмотрим среднее значение произведения ххх2. Можно проверить, что
$(Х1Х2)= jj XidFAx^ 5 ^2^iUi) = S(-*i)S(<:i). (3.2.7) — ОО— 00
Таким образом, мы приходим к свойству
Если (х^ х^ — случайная величина, компоненты, которой Xi и х^ независимы, то
g(A71X2) = g(X1)g(X2).
Аналогичный результат, конечно, справедлив и для А взаимно независимых случайных величин.
Моменты одномерных случайных величин
В математической статистике имеется много задач, в которых трудно или даже невозможно полностью определить к. ф. р. случайной величины. В таких случаях часто, и не без пользы, удается в общих чертах описать распределение случайной величины посредством ее моментов и некоторых функций этих моментов.
Пусть х — случайная величина, имеющая к. ф. р. F(x). Среднее значение величины х, доставляемой формулой (3.2.1), обычно обозначается через g(x) или р,(х). Таким образом,
g (х) = [х (х) = $ xdF^xY(3.3.1)
— ОО
Дисперсия о2 (х) величины х определяется как среднее значение квадрата ее отклонения от р, (х), т. е. )
а2 (х) = g (х — jx (х))2.(3.3.2)
Число о (х), положительное значение квадратного корня из а2 (х), называется стандартным отклонением случайной величины х. Отношение Ь(х)]/р,(х) называется коэффициентом изменчивости величины х.
На языке элементарной механики, среднее случайной величины х можно истолковать как центр тяжести в Rx распределения вероятностей этой величины. В свою очередь дисперсию можно истолковать как момент инерции того же самого распределения вероятностей относительно центра тяжести. Дисперсия указывает на степень собранности (или концентрации) массы вероятности около центра тяжести.
При отсутствии каких-либо сомнений насчет того, о какой случайной величине идет речь, мы будем писать р, вместо р.(х)иа вместо а(х).
Используя (3.3.1) и свойства средних значений, выраженные в 3.2.1 и 3.2.2, мы получаем
а2 = g (X2 — 2Х[Х + р2) = g (х2) — [X2.(3.3.3)
Если мы рассмотрим среднее значение ^>(х— а)2, где а — произвольная постоянная, то точно так же найдем
g (х - а)8 = g [(х - р) 4- (р - а)]8 = а8 + ((л - а)8.(3.3.4)
Последнее соотношение позволяет сделать следующее утверждение.
L Минимум среднего ^(х— а)2 достигается при значении постоянной а, равном р, и этот минимум есть а2.
Полезная оценка вероятности, сосредоточенной на «хвостах» данного распределения, доставляется приведенным ниже неравенством Чебышева (1867).
2. Если х — случайная величина, обладающая средним р и дисперсией а, то,
Р(| х — [л | ^Хо)(3.3.5)
где X — любая постоянная величина.
Чтобы доказать это утверждение, мы сначала разобьем ось Rx на три непересекающихся интервала
/=(—оо, р— Ха], Г = (р— Ха, р. —]—Ха), Г = [р-j-Ха, оо).
Тогда дисперсия величины х запишется в виде
а2 = $(х —p.)W(x) + $(x —p.)W(x) + $(х — ^dP(x).(3.3.6)
Отбрасывая средний член в правой части (3.3.6), мы имеем
0^^(х — p.)8<ZF(x)+ $(х — р}ЧР(ху (3.3.7)
Поскольку в интервале I х — р ^ — Ха, а в интервале Г х — р ^ Ха, неравенство (3.3.7) только усилится, если в обоих его интегралах заменить (х — р)2 на XV. Таким образом,
о2 ^ aW (| х — р | ^ Ха),(3.3.8)
а это эквивалентно неравенству (3.3.5).
r-й момент рДх) случайной величины х, где г — целое положительное число, определяется как среднее значение, если оно существует, величины х\ т. е.
p;(x)=g(x7(3.3.9)
Для удобства мы изредка будем допускать, что г = 0; в этом случае РоС*0 = 1. Вопрос о том, существует ли и является ли конечным г*й момент рг(х), есть просто вопрос об интегрируемости переменной хТ по пространству Rv
r-м центральным моментом рг(х) случайной величины х называется среднее значение r-й степени ее отклонения от р, иначе,
^)=№-^Г].(з.з.ю)
Всякий раз, когда это не сможет вызвать никакой путаницы, мы будем несколько сокращать обозначение и писать [4 и р,г соответственно вместо рсДх) и р.г(х).
Ясно, что центральные моменты р,г, г=1, 2, ..., можно представить в виде полиномов от р.^ и наоборот. Учитывая равенство р^ = р,, мы имеем
1^1 = 0,
[^ = ^2 — ^,
р-з = р,3 — З^а 4- 2р.3,(3.3.11)
Обратно,
Р-з = 1лз4-Зр^рН-рЛ(3.3.12)
Очевидно также, что р,2 = а2.
r-й абсолютный момент ч^х^ задается соотношением
^(х) = $(|х|7(3.3.13)
Вместо уДх) мы будем просто писать Vn Величину
vr(x) = g(|x-pL|')(3.3.13а)
мы назовем абсолютным центральным моментом.
В общем случае, имея функцию ^(х), мы можем выразить ее дисперсию и моменты более высоких порядков через к. ф. р. случайной величины х. Например, используя (3.3.1) и (3.3.2), мы получаем для среднего и дисперсии величины g(x) выражения
l*(^W) = g[^Wl и *)) = №(4М^Ж (3.3.14)
В задачах определенного класса, включающих дискретные случайные величины, часто удобно находить моменты р.^, предварительно вычисляя так называемые факториальные моменты. Положим
хИ=х(х — 1)...(х — г 4-1).(3.3.15)
Тогда r-й факториальный момент есть число
MdW = &W(3.3.16)
Соблюдая известную осторожность, мы будем обозначать это число через р.[Гр Факториальные моменты легко выражаются через обычные, именно,
№1 = ^
(3.3.17)(3.3.17)Мз]— Н Pi’
(3.3.17)
(3.3.17)
Р[з]= Рз Зр.2 4” 2аР
Обратно,Обратно,
Обратно,
Обратно,
(3.3.18)(3.3.18)^ = №1 + Hip
(3.3.18)
(3.3.18)
Нз = Мз] + 3Р[2] + Н!р
Заметим, что мы определили различного вида моменты, рассматривая их как моменты случайной величины х. Иногда их называют моментами распределения вероятностей величины х, а если FQc)— к. ф. р- данной случайной величины, эти различного вида моменты выступают также как моменты к. ф. р. F(x).
Моменты двумерных случайных величин
Допустим, что (х^ х^ — двумерная случайная величина с к. ф. р. F(xv А\ Средние значения величин хг и х^ соответственно равны
И (хО = g (xj,р (х8)=g (х8)(3.4.1)
и обычно обозначаются просто через pt и р,2. Дисперсии этих величин равны
о2 (хО = g ^ - р,2)2, . а2 (х3) = g (х2 - ^(3.4.2)
и также кратко обозначаются через а* и of.
Конечно, полагая p-j вместо рДх^ и р.2 вместо р(х2), мы вступаем в конфликт с обозначением (3.3.10). Однако опасность недоразумения представляется незначительной, так как в смысле (3.3.10) ^ = 0 и Рз = Рз— рЛ и это обстоятельство будет ясно указываться при всяком рассмотрении, в котором могут появиться введенные символы.
Ковариация соу(х1? х^) между величинами х^ и х^ определяется равенством
cov(Xt, x2) = g[(xt —Р,)(х2 —pg)].(3.4.3)
Правую часть этого равенства можно упростить, после чего оно за- писывается в виде
cov (Хр x2) = g(Xi, х2) — g (xt) g (х2).(3.4.4)
Обратим внимание, что соу(х1? x2) = cov(x2, хД
Если Xi и х2 независимы, из 3.2.6 вытекает, что g(x1? х2) = ^ В G^) g (х2), и мы получаем следующий результат:
Если хх и х2 независимы, то
соу (хь х2) = 0.(3.4.5)
Замечание. Следует заметить, что условие соу (хп х2) = 0 отнюдь йе означает независимости величин хх и х2. Например, пусть компо- йенты двумерной случайной величины (х1? х2) с вероятностью единица
связаны чины xt
функциональной зависимостью х2 = sin xY и ф. п. в. вели-
есть
№1)=
2?> -*<*!<>
0 в противном случае.
Можно подсчитать, что cov(x13 х2) = 0, однако с вероятностью единица значение х^ можно точно определить, исходя из значения xv Коэффициентом корреляции между хг и хч называется величина
р(*„ ^>„™^'
(3.4.6)
которая в условиях, исключающих какую-либо двусмысленность, будет обозначаться через р12 или просто буквой р. Если р^, х2) = 0, величины xv и х^ называются некоррелированными.
Рассмотрим теперь среднее значение случайной величины
где t— вещественная постоянная. Мы имеем
g Р ^ _ ^ 4- (^-Ь^ J = Z2 + 2/р 4- 1 ^ 0.(3.4.7)
Очевидно, £2 -|- 2/р -|- 1 ^ 0, при всех вещественных t тогда и только тогда, когда р2—Г^О. Следовательно,
Коэффициент корреляции р удовлетворяет условию —1 <р^ 1.
Если величины хг и х^ собственно линейно зависимы [см. § 2.8 (Ь)], то Р (^2 = Ро + Рл) = Ь где pi ^ 0. Отсюда а2 (х2 — р0 — Рл) = 0 и тем самым р = -|—1 или р =— 1 в зависимости от того, какой знак имеет число рь плюс или минус. Обратно, если р = ±1, случайная величина.
(3.4.9)того, чтобы (собственно)определяются(3.4.10)(3.4.9)того, чтобы (собственно)определяются(3.4.10)(3.4.11)(3.4.11)
(3.4.9)
того, чтобы (собственно)
определяются
(3.4.10)
(3.4.9)
того, чтобы (собственно)
определяются
(3.4.10)
(3.4.11)
(3.4.11)
является вырожденной со средним значением нуль. Это означает, что
Таким образом,
Необходимое и достаточное условие для невырожденные случайные величины хх и х% были линейно зависимы, дается равенством р2=1.
Моменты ^ir2 и центральные моменты р,Г1Гз следующим образом:
Рт^а — & (-^i1^2)
и
Нпг2=® [ta — н)'1 (^ — н)Г21-
,3.5)
В этих обозначениях р.^ и р,^ являются соответственно средними, а и ^03 — дисперсиями величин х^ и х^. Ковариация между хг и х^ равна рн и коэффициент корреляции рц = Н1/Й^о^ог- ь Наконец, абсолютные моменты ^1Г2 и факториальные моменты
(3.4.12)(3.4.13)(3.4.14)(3.4.12)(3.4.13)(3.4.14)t^rilksl вводятся посредством соотношений
(3.4.12)
(3.4.13)
(3.4.14)
(3.4.12)
(3.4.13)
(3.4.14)
Vr^a == g (I ^1 1*1 К1 1-^2 Hs К2)» Мп11гз] = ®(^Г1ЦГ21).
Моменты ft-мерных случайных величин
Все предшествующие определения допускают непосредственное распространение на ft-мерные случайные величины. Так, например, если (хр ..., х^ — ft-мерная случайная величина, имеющая к. ф. р. F^Xv xk)^ среднее значение для xt дается формулой (3.2.6) при ^(Хр ..., х^ = хг или же формулой (3.2.5), в которой НСу) есть маргинальная к. ф. р. величины х^ Таким образом,
^ = ё (*0 = $ Xi dF (xv ..., х^) = ^ Xi dFi (x,-).(3.5.1)
Аналогично этому дисперсия of величины xt определяется через маргинальную к. ф. р. Ft ^х^ согласно (3.3.2) и ковариация между xt и xj — через маргинальную к. ф. р. Рц^х^ xj^ согласно (3.4.3).
Совокупность дисперсий ft компонент случайной величины (xt,..., xk) и всех ковариаций между ними образует симметричную матрицу
IM i,j=i, к,(3.5.2)
порядка ft X ft> называемую ковариационной матрицей. Здесь ои — дисперсия величины xt и oz-y, l^J, — ковариация между xt и Xj. Иногда, если вообще не исключена возможность внести путаницу в рассматриваемые случайные величины, мы будем писать ковариационную матрицу в виде ||o(xz, Ху)||.
Удобно говорить, что случайная величина (xv ..., х^ имеет среднее (рьп ..., р,й) и ковариационную матрицу Цо^Ц.
Мы будем существенно использовать не только ковариационную матрицу (3.5.2), но и обратную к ней матрицу, именно Ц^/Ц-1, котоРая будет обозначаться символом
Pt(3.5.3)
гДе формально о^ можно представить как отношение алгебраического Дополнения элемента ац матрицы (3.5.2) к |ау|— определителю этой атрицы. Заметим, что ||о^|| будет существовать, только если | а^| ^ 0. аметим также, что если матрица ||о/у|| имеет обратную Цо^Ц, то
|а'|=у—р Аналогичные утверждения справедливы для корреляционной матрицы Цр^Ц.
Напомним, что приведенное в 3.4.3 условие, необходимое и доста
точное для того, чтобы невырожденные случайные величины ^ и х2 были собственно линейно зависимы, есть р2=1. Равносильное необ
можно выразить равенствомможно выразить равенствомходимое и достаточное условие
можно выразить равенством
можно выразить равенством
°и о12
°81 °22
Полезно иметь критерий линейной зависимости и в случае ^-мерной случайной величины. Как было указано в § 2.8 (d), компоненты случайной величины (хр ..., х^ собственно линейно зависимы, если существует такой набор констант съ ..., ск, каждая из которых отлична от нуля, что величина сххх -|-... 4* скхк является вырожденной. Сформулируем критерий собственной линейной зависимости компонент ^xv х^ ..., хк) как результат следующего обобщения теоремы 3.4.3.
Необходимое и достаточное условие для того, чтобы компоненты случайной величины (хи ..., хД ни одна из кото* рых не является вырожденной, были собственно линейно зависимы, заключается в выполнении соотношения | а^у | = 0.
Сначала рассмотрим достаточность условия. Так как ни одна из компонент не является вырожденной, ай-^>0, 1=1, ..., к. Тогда, если | о^у | = 0, согласно хорошо известному свойству определителей существует набор вещественных отличных от нуля констант с^ п
1=1, ..., к, таких, что 2 аис1 = ^ Для /=Ь •••> ^- Умножая эти t=i
уравнения на Cj и затем суммируя по ], мы получаем
к
5 Wy = 0,(3.5.4)
• что может быть переписано в виде
к
(3.5.5) 1=1
Но левая часть (3.5.5) представляет собой дисперсию суммы ^ c^Xv z = l к
Поскольку она равна нулю, величина 2 cixi является вырожденной i—1
К тому же Ci ф 0, 1=1, ..., к, т. е. по определению величий х^,..., хк собственно линейно зависимы.
Теперь покажем, что условие теоремы необходимо. Если ..., jca находятся в собственной линейной зависимости, то по определению при некоторых вещественных и отличных от нуля константах ct случайная величина 2 xict является вырожденной. Следовательно, для этой величины
°9 (5^) = S °^у = 0.(3.5.6)
к
Рассмотрим, далее, величину ф^, ..., ck) = 2 °ijcicj как функ- i,j=V
цию от сь Так как ф(сп ..., ск) не может принимать отрицательных значений, она, очевидно, достигает своего минимума, равного нулю, в некоторой точке пространства всех c = (cv, ..., с^, умеющей по предположению ненулевые координаты с^ Но значения с^ минимизирующие функцию ф ^сг> ..., с^, удовлетворяют условиям
^ = 0, Z=l, А.(3.5.7)
Это приводит к системе уравнений к
У а^с, = 0,1=1, к,(3.5.8)
/=1
и для того чтобы эта система имела решение, отличное от нулевого, необходимо выполнение условия | а^у | = 0, что и завершает доказательство теоремы 3.5.1.&
Если для вещественных cv ...,ск квадратичная форма 2 QMctcj обращается в нуль (т. е. достигает абсолютного минимума) только при сх =. ,. = ск = Ь, она называется положительно определенной формой и ее матрица || а^ || — положительно определенной матрицей.
Один из простых критериев положительной определенности кова- - риационной матрицы можно сформулировать следующим образом.
Необходимое и достаточное условие для того, чтобы ковариационная матрица || aZy || к-мерной случайной величины (xv ... • • •, хк) с невырожденными компонентами была положительно определена, состоит в отсутствии линейной зависимости между этими компонентами.
Доказательство этого утверждения предоставляется читателю.
Приведем теперь одно свойство квадратичных форм, которое будет использовано в дальнейшем. к
Если форма 2 Qijcicj положительно определена, то
^акже положительно определена и квадратичная форма У ^цср i,j=x
Доказательство этой теоремы очевидно и потому опускается.
Моменты более высоких порядков р.^...r^ Р*^...r^ Vrv.eг ^rt...rkw ^il.. • 1^]> относящиеся к к случайным величинам (xv ..., хД определяются путем естественного обобщения формул (3.4.10)— (3.4.14),
Средние, дисперсии и ковариации линейных функций случайных величин
Наиболее часто встречающимся типом функции нескольких случайных величин является линейная функция. Ниже следует ряд полезных фактов относительно средних, дисперсий и ковариаций для таких функций.
Если (Хр ..., х^ — k-мерная случайная величина, имеющая среднее (рр ..., p.fe) и ковариационную матрицу Цо/уЦ, то среднее и дисперсия линейной функции'
к
L=^ciXi,(3.6.1)
i=l
где cv ..., ск— некоторые константы, соответственно равны
[X (£)=S ОД(3.6.2)^
i = 1 и
к
оЧП = 2 <^^.(3.6.3)
/ = 1
Доказательство предоставляется читателю.
В том случае, когда все хг независимы, так что согласно 3.4.1 0^ = 0, / ^ j, мы находим следующее важное следствие теоремы 3.6.1.
а. Если хр ..., хк — независимые случайные величины с дисперсиями ар ..., ад соответственно, то дисперсия линейной функции (3.6.1) дается формулой
.(3.6.4)
i=i
Сформулируем более общее утверждение. к
Если Lp = 2 cipxb Р=^> •••> s> есть линейные функции i=\
случайных величин Хр ..., хк, то величина (Lv ..., L$) имеет среднее (р (£0, ..., р (£s)), где
к
V-U-^^c^р=1, ...» s,(3.6.5)
i=l
и ковариационную матрицу к
|| а» (£„ L^ II = || ^ 5 t °ИЗД91| •(3.6.6)
Следует отметить, что если s^k, то величины Lp необходимо линейно зависимы.
Если xi статистически независимы и имеют дисперсии а^ 1 = 1,...
к, то ковариационная матрица ||о(Ар, А^Ц сводится к матрице II 2 ^^р^И *
Средние значения условных случайных величин
Случай двух переменных. Пусть х^\хх— условная случайная величина и F^lx^— ее к. ф. р., как это было определено в § 2.9 (Ь). Среднее значение величины х^ | xv если оно вообще существует, есть число
Р (х^ | xv) = g (х^ | JVi) = J x^dF ^\х^.(3.7.1)
— ОО
(3.7.2)(3.7.2)Это же число, рассматриваемое как функция от xt, называется функцией регрессии величины х^ на xv Образно говоря, она представляет положение центра тяжести распределения условной случайной величины х21 хх в зависимости от значения xv В частности, если
(3.7.2)
(3.7.2)
Р (^21 -^0 = Ро + Pl-*7!»
мы имеем функцию линейной регрессии величины х2 на хх; ро и ^ называются коэффициентами регрессии.
Более общо, среднее значение условной случайной величины 8*(^)|-^i выражается в виде интеграла
оо
§(§•(^2)1^1)= $ g^aF^\xxy(3.7.3)
— ОО
Например, дисперсия величины Хз]^ есть число
О2 (х21 х^ = g [(х2 — р (х21 х^ I xj.(3.7.4)
Иногда для обозначения р (х21 хх) и а2 (х21 хх) используются соответственно термины условное среднее и условная дисперсия величины х2 при данном хх. Кроме того, а2 (х21 хх) иногда называют Ос«гаточной дисперсией величины х2 на xv
Нижеследующее утверждение является следствием теоремы 3.3.1 и несет полезную информацию о взаимоотношении между a2(x2|xt) 11 ^(^Ixj).
Если x2|xt—условная случайная величина, введенная нами в § 2.9 (Ь), то наименьшее значение условного среднего § [(х2 — и (х^)2 | xj в классе вещественных однозначных функций и (xj достигается при и (х^ = р, (х21 х^, и это наименьшее значение равно а2(х2|х!).
Если о2(х2|х1) = 0 для всех точек xv в которых величина х21 xt определена, то, очевидно, Р [х2 = р (х21 х^ | xj = 1. Это, конечно, означает, что если значение случайной величины хх известно, тогда для всех исходов, которым это значение отвечает, за исключением множества их вероятности нуль, величина х2 равна р, (х2| хД
Полагая в формуле (3.7.3) g(x^ = x^ мы получаем r-й момент условной случайной величины х2|хР r-й центральный и факториальный моменты величины х21 xt определяются аналогичным образом.
При фактическом вычислении среднего значения функции g(xv х2) двумерной величины (хп х2) в отдельных простых случаях удобно переходить к повторному интегрированию. Условные случайные величины играют здесь важную роль, как это видно из теоремы, приводимой ниже без доказательства.
Пусть (хр х2) — случайная величина с к. ф. р. F(xv х2) и, кроме того, пусть x2|Xi и xtJxa — введенные в § 2.9 (Ь) случайные величины с к. ф* р. соответственно F (х2| xj и F (хх | х^. Тогда, если g(xv х2) является случайной величиной, то
$ g^i. x^dF(xv х^ = $ [ $ g^xv xi)dF(xi\xt)\dF1(xi)=
Ra—00—00
СО ОО
= $ [ $ S"(^1> x^dF^x^dF^x^ (3.7.5)
или в более компактной форме
§ (g(X1; Х^ = g(x,) [g(x2) (g^!, Х^ | Л',)] =
=: §(*з) [©(*1) Qg^Xv -*-а) I-^а)]-(3.7.5а)
Читатель легко может убедиться в справедливости этой теоремы для более простых и вместе с тем часто встречающихся типов условных случайных величин из числа рассмотренных в § 2.9.
Распространение утверждений 3.7.1 и 3.7.2 на более общий класс условных случайных величин можно осуществить на основе теоремы Радона — Никодима 1.10.1.
Случай нескольких переменных. Если хк\хг, ..., х^—‘ условная случайная величина с к. ф. р. F (xk | хр ..., хк-1) в смысле параграфа 2.9 (с), то среднее значение условной случайной величины g(xk)\x1, •••> хк-л дается равенством
g teC**) I *i>**-i) = $ gkx^dF<xfe\xX) ..., xk_v\ (3.7.6)
— ОО
В частности, среднее и дисперсия величины хк |хь ..., хк_х будут равныtk<xk\xv xk_;)=&kxk\xv хк_й ^ЛЛ')
И
a4Xk\xvХк_х) =
= 8 К^А — У Uk I ^1>Хк_х))2 I ^1- • • • ’ ^*-1]-(3-7‘8)
Читатель заметит, что теорема 3.7.1 может быть немедленно перефразирована для случайной величины хк\х^ ..., хк_х.
Вообще, если х^х, ..., xk\xv . ..> xkv к = кх-\-к^ есть ^-мерная условная случайная величина с к. ф. р. Р(хкк^ъ ..., хк\хъ . ..., хь^ соотношение
= 5 S'^i+b ^^C^ + b хк\хххк^ (3.7.9) Rk»
определяет среднее значение случайной величины
g'^^bХй)|Х1, ..., хкх.
Ясно, каким образом вводятся теперь такие количества, как ковариация между двумя условными случайными величинами, например, X/JXj, ..., хкл и X/^Jxp ..., хк_^ смешанные моменты и т. д.
Число ^(^1^, ..., хк_^ рассматриваемое как функция от xv ... ..., хк_ъ называется функцией регрессии величины хк на хь ..., хк_х. В том частном случае, когда
У (хк | хи ..., хк_х) = р04- Рл 4" • • • + Pz?-i^-i>(3.7.10)
величина хк обладает функцией линейной регрессии на xv • • •, xk_v Наконец, читателю следует обратить внимание, что рамки теоремы 3.7.2 можно расширить так, что в качестве обобщения формулы (3.7.5) мы будем иметь $ gkx\x^dF^Cx, ..., хк) =
= $ И gk«i- хк)ар(хк1Л.хxk\xb .... xfcl)lx
Rkx Rk*
XdFt61(^xkx^ (3.7.11) или, переходя к повторному интегралу, $ g(Xx, xk)dF(Xxхк^ =
Rk
^ $ ••• $ s<^ хк^ар<хк\хь ..., xk_^x
X ^^i,..,, A-i (^-i Ixk_<^ ... dPx<xx\ (3.7.12) Здесь, конечно, существует Л! мыслимых перемен порядка итерации
4 С Уилкс
Отметим, что путем использования теоремы Радона — Никодима формулам (3.7.6) — (3.7.12) можно придать Смысл и при более общих условиях, чем те, которые были наложены на F(x1}..., хк) в § 2.9 (с).
2 & [$“ (*2 | *1)]2 & [$“ (*2 | *1)](3.7.13)(3.7.13)(3.7.14)(3.7.14)Корреляционное отношение. Дисперсия условной случайной величины х^ | хх доставляет некоторую информацию о том, насколько точно может быть оценена компонента х^ выборочной точки в R^ когда нам известно значение компоненты хх этой точки. Если а2(х2| xJ) = 0, компонента х.2 определяется с верояшостью единица. Если а2 (х^1 X]) ^ 0, то известное представление о точности оценивания можно получить, беря отношение [о2(х.2 Ix^J/cr (х2), где, разумеется, о2(х2) считается отличной от нуля. Однако, за редким исключением, это отношение зависит от xv Более полезный критерий получается иногда в результате рассмотрения среднего значения этого отношения относительно xv Обозначая это среднее значение через т^.р мы имеем
2 & [$“ (*2 | *1)]
2 & [$“ (*2 | *1)]
(3.7.13)
(3.7.13)
(3.7.14)
(3.7.14)
где
ОО
g [о2 (^8 1^1)1= jj a-(-v2 I-Vj) tZT^! (jt-j).
Число 7]|-i называется корреляционным отношением величины х^ на xv Очевидно, O^^^^l. Кроме того, ^^ = 0, только если а2 (хй | х^ = 0, т. е. если Р [(х2 = р. (х21 xj) | xj = 1. С другой сто-' роны, iq2.! = 1 тогда и только тогда, когда р (х21 хД не зависит от Хр например, для независимых хх и х2.
Множественное корреляционное отношение есть число где
©[^(X/JXp ..., х/г-1)] =
= $ ач(хк\хихкЛ)<1Р1..дкл^ь .... хкЛ\ ^ЛА^
Как и в случае корреляционного отношения ^.р 0^^.i2...(6-i)^b причем значение 0 достигается, только если Р [(хл = р(хк |xv • •• хк_1))\х1,х^_1]=1, и значение 1, если, например, хк и
(Хр ..., хк_^ независимы.
Линейная средняя квадратическая регрессия
Случай двух переменных. Предположим, что в качестве функций и^х^ упоминаемых в теореме 3.7.1, мы рассматриваем только линейные функции вида Ро —Н Pi-^i- Определим величины ро и [Зр при которых функция g(x2— ро — PiXj)2 принимает наименьшее значение.
3.S)
Как обычно, мы считаем, что ни Хр ни х^ не являются вырожденными, е. обе дисперсии of и о^ положительны.
Обозначая эту функцию через ф(р0, Pi)» мы можем написать
ф (Ро’ Р1) = § [(Х2Нз) — (?0 — Р*2 + Р1Рч) — Р1 (^1 — Р*1)Л (3-8.1)
где ^^g^) и ^2 = §(^У Величины ро и рп минимизирующие ^(30, pj), будут удовлетворять уравнениям
^ = 0,^ = 0.(3.8.2)
УРоУР1
Используя обозначения § 3.4 и упрощая эти уравнения, мы получаем систему р0 — ^а + pi р., = 0,р01а4-М = °>(3-8-3)
которая имеет единственное решение
Р^^-Р^рь ^ = р^.(3.8.4)
Таким образом,
Линейная функция и(х^ минимизирующая среднее ^(х^— u^x^t дается формулой
и(Х1) = ^ + р^.(Х1 — р,).
а1
Прямая, имеющая уравнение
(3.8.5)
^з = Р-з + р^(^1 —Pi) или, в более симметричном виде,
(3.8.6)
(^2 — Ра) _(^1— Pt)
з2Р Ъ ’
(3.8.7)
называется прямой средней квадратической регрессии величины х2 на xv
Легко проверить следующее утверждение.
Минилсум среднего g(x2 — ро — р^)3, который достигается при значениях р0 и рь определяемых форлсулой (3.8.4), равен
^^(l-p3).(3.8.8)
Число o2ej называется средней квадратической остаточной дисперсией величины х2 на xv Оно обращается в нуль тогда и только тогда, когда р —±1, т. е. когда в согласии с теоремой 3.4.3 xv и °Ч (по предположению невырожденные) собственно линейно зависимы.
Меняя xv и х2 ролями, мы получаем прямую средней квадратической регрессии величины xt на х^
(^i~^i) — р.(3.8.9)
°1°2
Так как ни хъ ни х^ не являются вырожденными, ясно, что две линии регрессии (3.8.7) и (3.8.9) будут совпадать тогда и только Тогда, когда р = -ь 1.
4*
Естественно возникает вопрос, существуют ли специального вида двумерные распределения вероятностей, обладающие тем свойством, что для них функции средней квадратической регрессии тождественны с функциями действительной регрессии. Ответ на этот вопрос утвердительный. Одним из наиболее важных распределений в математической статистике, которое обладает этим свойством, является двумерное нормальное или гауссовское распределение. Эго распределение будет рассмотрено в § 7.3. К числу его свойств относится также независимость условной дисперсии ^(XglxJ от хх\ фактически она равна o^.v
Критерий, показывающий, насколько эффективно может быть использована прямая средней квадратической регрессии для определения значения х^ при некотором исходе, когда хх задано, состоит в свободном от влияния х^ сравнении дисперсии величины хй относительно функции ее средней квадратической регрессии на xv с обычной дисперсией этой величины, т. е. в сравнении of.! и of. Отношение этих двух количеств, которое мы записываем следующим образом:
J2-l(l) а|J2-l(l) а|1-р1,1-р1,(3.8.10)(3.8.10)
J2-l(l) а|
J2-l(l) а|
1-р1,
1-р1,
(3.8.10)
(3.8.10)
называется линейным корреляционным отношением. Если хх линейно
связана с х2, т. е. если xt и х^ суть случайные величины, находящиеся в собственной линейной зависимости, то р2= 1 и ^1(£) =0. Обратно, если р2=1 (и -^ =0), то хх и х2 линейно зависимы. В другом крайнем случае, когда хх и ^ независимы, р = 0 и ^ J(£)= 1, так что xt не дает никакой информации для определения х2.
ные функции виданые функции вида(3.8.11)(3.8.11)(Ь) Случай нескольких переменных. Рассмотрим теперь линей
ные функции вида
ные функции вида
(3.8.11)
(3.8.11)
Ро Ч- Pi -^i Ч- • • • Ч- Pa-i ^-i
и определим р0, ..., рД-1 так, чтобы они минимизировали функцию
ф (Ро> • • •> Ра-1) — S [^ — Ро — Pi ^1 — ♦ • • Pa-i xa-i]2- (3.8.12)
Будет удобно переписать (3.8.12) подобно тому, как это было сделано в двумерном случае:
— Р1 0^1 — Рч) — • • • — Рл?—1 VXk -1l1/? -1)Г‘(3-8.1 3)— Р1 0^1 — Рч) — • • • — Рл?—1 VXk -1l1/? -1)Г‘(3-8.1 3)Ф = S Wxu — Р-а) — (Ро — P-а Ч- PiР-1 Ч" • • • 4“ Pa-iPa-i)
— Р1 0^1 — Рч) — • • • — Рл?—1 VXk -1l1/? -1)Г‘(3-8.1 3)
— Р1 0^1 — Рч) — • • • — Рл?—1 VXk -1l1/? -1)Г‘(3-8.1 3)
Значения ро, ..., р^, которые минимизируют (3.8.13), получаются в результате решения уравнений
^- = 0, а = 0, 1, .... h — 1.(3.8.14)
^Ра
Первое уравнение -/- = 0ОроПервое уравнение -/- = 0Ороприводит к соотношениюприводит к соотношению
Первое уравнение -/- = 0
Оро
Первое уравнение -/- = 0
Оро
приводит к соотношению
приводит к соотношению
Ро — P-а 4“ Pi P-i 4“ • • • 4“ Pa-i P-a-i — 0.(3.8.15)
ЛИНЕЙНАЯ СРЕДНЯЯ КВАДРАТИЧЕСКАЯ РЕГРЕССИЯЛИНЕЙНАЯ СРЕДНЯЯ КВАДРАТИЧЕСКАЯ РЕГРЕССИЯ(3.8.19)(3.8.19)
ЛИНЕЙНАЯ СРЕДНЯЯ КВАДРАТИЧЕСКАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ СРЕДНЯЯ КВАДРАТИЧЕСКАЯ РЕГРЕССИЯ
(3.8.19)
(3.8.19)
3.8]
Учитывая этот результат, мы получаем из остальных (£—1) уравнений (3.8.14) следующие равенства:
Р1а11 + • • • + Pfe-l^l JM = ^Хк»
(3.8.16)
Р1а1 к 1+ а 1 = ^-1,/?,
где || <5ц ||, /, / = 1, • • • > £, есть ковариационная матрица компонент слу
чайной величины (хъ..., хк\ введенная выше, в § 3.5. Отсюда следует, что
Если \Qpq\#L^,p, q=\,. ..,к — \,и значения ро, Р1>...,Рд_ь минимизирующие ф, соответственно равны Р*> Р*> • • *> Рд-ь ^о
, Ро = № — Pi p*i — • • • — PLi^-p
о* ^П pq, z. 1(3.8.17)
₽;=2jW p—x> k~i’
где Ца^Ц— матрица, обратная к ковариационной матрице ||ор5||, р, q=l, ..., к — I.
Уместно вспомнить, что согласно теореме 3.5.1 условие | apq | ^ 0 означает отсутствие линейной зависимости между xv ..., xk_v
Наконец, мы можем утверждать, что гиперплоскость средней квадратической регрессии величины хк на xv ..., хк-1 имеет уравнение к-Л
^к = Р*к + 5 ^ ^Р ^р)*(3.8.18)
р=1
Уравнение (3.8.18) можно также представить в более удобной для запоминания детерминантной форме
°и аХк
ак-1, 1 °А-1, к
^1 — р-1) ^к — Vk)
Читатель докажет это, разлагая определитель по элементам нижней строки.
Рассмотрим, далее, задачу нахождения минимума функции ф(р0, ... • • •, р*_0 относительно р0,..., рй_Р Подставляя в (3.8.13) значения р*,... •••> PLi, взятые из (3.8.17), и обозначая минимум ф через al.12... (/г-ip мы имеем
Qk. 12 ... (к _ ij = g \к^кI1*)?* (-^1 ™ Р1)• • • ^^f 1 ^*“1 — P'ft-l)]21^
= aftft-2 2Mp+ S °pq№ (3-8.20) p = lP,q=X
причем л-iл-1
.Sv₽* = 5 <аР^(3.8.21)
Р=\р, q=\
Л-1Л-1Л-1Л-1
2 %q^Wq ~ 22 apqak^ak^arkask= 2 а^гка5к’ (3.8.22)
р, <7=1p,q=\r,s = \г, s = 1х
Л-1
ибо 2 °pq°f^ = %s> гДе ^5 — символ Кронекера, равный 1, если q = 5, p=i
и 0, если q ^ s. Крайний член справа в (3.8.22), очевидно, совпадает с правой частью (3.8.21). Следовательно,
Л- 1
°«-12 ... (ft - 1) = =М ~ 5 a^°pk°qk-(3.8.23)
р. q=x
Но
Л-1
а„к- 2 ’^^ = #4’(ЗЛ24)
P,q=XP<1
где I, j= 1, ..., к и р, <7=1, ..., к — 1, что можно усмотреть, разлагая определитель | oZy | по элементам последней строки, а затем и алгебраические дополнения этих элементов (за исключением алгебраического дополнения элемента Одд) — по элементам их последнего столбца [см., например, Бохер (1929)]. Таким образом, в результате мы получаем'
Минимальное значение функции ф(j30, fr, •••>.Pa-i)> обозначаемое через о^.12 ... (Л-d, определяется равенством
^...(й-п—^Ц.(3.8.25)
1 apq I
Число од.12... (Л- 1) называется средней квадратической остаточной дисперсией величины хк на xv ..., хи_х\ это — дисперсия величины хк относительно плоскости средней квадратической регрессии, уравнение которой дается (3.8.18).
Коэффициент корреляции между случайной величиной хк и функ- Л-1
цией регрессии р*л Ч- 2 ^ ^хр — ^ называется множественным р=\'
коэффициентом корреляции между хк и (xv ..., xk_^. Он обозначается символом рл-12... (л~1) и выражается через элементы матрицы И a/у || посредством следующей формулы:
(3-8.26)
Чтобы установить эту формулу, определим дисперсии величин h — \
. и [j.ft -j- 2 Рр ^хр — ^д) И ковариацию между ними. Мы находим р=1
а2(^) = °А»>
к-\А-1
s ?р(^-М1= S 3Ж
P = 1 »-1P'9=Vx
COV |4 + S $ ^Р-= 5 °Р^Р*
Р=1Р=1
Обращаясь к определению (3.4.6) коэффициента корреляции и используя формулы (3.8.21) и (3.8.22), мы можем написать
х Г к-\ptl2...(A- 1) = 1/2 QVkfpkQqk]°kkwЗаменяя здесь правую часть по формуле (3.8.24), приходим Из (3.8.25) и (3.8.26) вытекает, что4-12...(A-l) = °aaG — Pa.12...(a-1)).Линейное корреляционное отношение есть величинао4.12... (А-1).2'^.i2...(fe~i), (0=г-= 1 — Ра.12...(А-1).°ккх Г к-\ptl2...(A- 1) = 1/2 QVkfpkQqk]°kkwЗаменяя здесь правую часть по формуле (3.8.24), приходим Из (3.8.25) и (3.8.26) вытекает, что4-12...(A-l) = °aaG — Pa.12...(a-1)).Линейное корреляционное отношение есть величинао4.12... (А-1).2'^.i2...(fe~i), (0=г-= 1 — Ра.12...(А-1).°кк(3.8.27)(3.8.27)кк(3.8.26).(3.8.26).(3.8.28)(3.8.28)(3.8.29)(3.8.29)
х Г к-\ptl2...(A- 1) = 1/2 QVkfpkQqk]°kkw
Заменяя здесь правую часть по формуле (3.8.24), приходим Из (3.8.25) и (3.8.26) вытекает, что
4-12...(A-l) = °aaG — Pa.12...(a-1)).
Линейное корреляционное отношение есть величина
о4.12... (А-1).2'
^.i2...(fe~i), (0=г-= 1 — Ра.12...(А-1).
°кк
х Г к-\ptl2...(A- 1) = 1/2 QVkfpkQqk]°kkw
Заменяя здесь правую часть по формуле (3.8.24), приходим Из (3.8.25) и (3.8.26) вытекает, что
4-12...(A-l) = °aaG — Pa.12...(a-1)).
Линейное корреляционное отношение есть величина
о4.12... (А-1).2'
^.i2...(fe~i), (0=г-= 1 — Ра.12...(А-1).
°кк
(3.8.27)
(3.8.27)
к
к
(3.8.26).
(3.8.26).
(3.8.28)
(3.8.28)
(3.8.29)
(3.8.29)
Так же как в случае линейного корреляционного отношения для двух случайных величин, Скл^... (k-1) будет равна нулю тогда и юлько тогда, когда pLi2... (а-1) = Ь т. е. когда равна единице вероятность, сосредоточенная на плоскости регрессии величины Xj на (^d •. • > хк_^у
ЗАДАЧИ
Показать, что если х— случайная величина, у которой существует первый абсолютный центральный момент, то среднее а этой величины конечно и при X > О
Pdx-^KXvJI^l-l.
Показать, что если g (х)—измеримая функция случайной вели- чипы ^, то Р (I g (X) I За X) ^ g I g (х) l/X.
>. Показать, что если случайная величина обладает первыми г момеп- ами ^1, ••• , р-^ (и первыми г центральными моментами ptp ... , pir), то
i = 0Х 1 /
Показать, что у любой дискретной случайной величины с точками сосредоточения массы 0, 1, 2, ..., г все факториальные моменты порядка выше, чем [г], равны нулю.
Показать, что в случае существования моментов у.2п р.2гю Р^г+г(^2/4-1)" ^ Рагр2Г+2*
Доказать теоремы 3.5.2 и 3.5.3.
Показать, что если (хп ... , х^ — /г-мерная случайная величина, обладающая средними (р.п ... , р.^) и (положительно определенной) ковариационной матрицей H^yl], то
р ( 5 s"^ (^-^ < р) 1 -5>
где а1/—элементы обратной к ||azyj| матрицы.
Доказать теорему 3.6.1.
Показать, что если хи ... , х^ — независимые случайные величины со средними, равными нулю, и дисперсиями, равными единице, то
Р^х^Хк^Х.
Показать, что если х — случайная величина со средним р, диспер* сией а2 и к. ф. р. F (х), то
— результат, принадлежащий Крамеру (1946).
Показать, что если моменты порядка 2г случайных величин х и у конечны, то также конечен момент порядка 2г величины х+у.
Показать, что если х— случайная величина со средним р., дисперсией а2 и ф. п. в., достигающей абсолютного максимума в точке с, то
Р(Iх-сI X
— результат, принадлежащий Гауссу.
(Продолжение). Показать, что
f (I И 12г Ха)^ -д-р^Ерр">
где » = ^-^ и Х> | 81. [Крамер (1946)].
Опираясь на неравенство Чебышева, показать, что если хп ... , хп — независимые случайные величины со средними, равными ^ и дисперсиями, равными о2, то для любого 8 > 0
lim Р fl ^+^±^« _ J < 6 \ = L
71—*0О\|ПI /
Показать, что если (хп ... , хк)— ^-мерная случайная величина, причем коэффициент корреляции между любыми двумя ее компонентами равен одному и тому же числу р, то ~j—у^р^ + ^
К ^П РзК ^П РзПусть (лд, ... , хт) уд, ... , .yj — (т + п)-мерная случайная всли- а * причем дисперсии всех ее компонент равны единице, cov (xz-, xj) — рн rov (V», Л) = Рз и COV (,г;, ^) = Рз. Показать, что если и = х1 + ...Ц-хт и ^--уд +----hym то коэффициент корреляции между « и v равен
К ^П Рз
К ^П Рз
’ |/l+(m_l)pyi + (n_l)P;:
Показать, что если хь ... , хр, _уп ... , yqi zlf ... , zr— случайные величины и все дисперсии их равны .единице, а все ковариации — нулю, то коэффициент корреляции между и и у, где « = .Гд + ... + хр-|-У,1 + •••+У,^, у ^Xi + '-' + ^ + ^i+ --‘ + -2'г> дастся равенством
Пусть л*!, ... , хп— случайные величины, причем xt и х2 | ад, ... ..., хп\хп_х независимы. Показать, что если
gUi) = n( § (^ I ^J = л';_1( 5=2л,
И
8 (-V1 — Н)2= $ [Ое -х-^- |= «s, 5 = 2л,
то безусловное среднее и безусловная дисперсия величины хп соответственно равны р. и па2.
Показать, что если случайная величина обладает первыми 2^ моментами цд, ... , ц2/г> то матрица Нрдд/Ц, ц У = 1, • •• , ^, положительно определена.
Показать, чго если неотрицательная случайная величина, то
Пусть (ад, ... , хт)—/n-мерная случайная величина, представляющая зачеты ответов студента (взятого «наудачу» на курсе G) на т вопросов экзамена по предмету Л, и (уд, ... , уп)— n-мерная случайная величина, представляющая зачеты его ответов на экзамене по предмету В. Пусть, далее, Л =хг + ... + *т и Т^-Ух + --4“^п — общие оценки на экзаменах по А и В. Обозначим через а^ т и а^ mplf т соответственно средние арифметические дисперсий компонент х< и ковариаций между этими компонентами, а через а^ п и а| пр2 п — такие же характеристики величины (уд, ... , уп\ Кроме того, обозначим через а1} та2, Лр3, т, п среднее арифметическое всех ковариаций между х^, и yj. Показать, что если при т, и —> со а| т —► aj,
4 Pl.m — Рр ?8,«^Р8 и Рз,т,Я^Рз- где аРв2-РрР2, р8 —ПОЛОЖИтельные числа, то
Пш р(Г„ ГО = рз ■т.п-^соК Р1Р2
(Следовательно, если Т и Г*— оценки, полученные студентом на двух весьма продолжительных экзаменах по тому же самому предмету (Д или
то р (Г, Г*)^ 1.)
Рассмотрим трехмерную случайную величину (лд, х2, х8), имеющую (конечную) ковариационную матрицу П^уЦ и корреляционную матрицу Hpi/ll, I, у=1, 2, 3. Пусть Роз + Р^д — прямая средней квадратической рё- гРессии величины х^, на л^ и ₽оз + Р1зл1—прямая средней квадратической Р°грессии величины л;3 на хг Положим у2 —xtl — PJ2—р^л^ и ;у3 = л*3 — ^^оз—Рдз-^г Коэффициент корреляции между у^ и уу обозначаемый сим- в°лом р23.ь называется частным коэффициентом корреляции между х2 и
л*3 при фиксированном значении х^ Показать, что
„ ?23Р12р13
Обобщая предыдущую задачу, рассмотрим (£-(-1)-мсрную случайную величину (хп ... , х^ х^д с конечной ковариационной матрице?! ||оп|| и корреляционной матрицей Цр/уЦ, GJ = 1, ... , й, ^+1. Пусть Роа+Р^а^Ч* -}-... + Р^^ k ^a-i ^ плоскость средней квадратической регрессии вели- чины Xh на Xv .... Xk , и Р£ »+1 + 0f, 64а^+ "-+0iUi, н-1 жА-, —™^ скость средней квадратической регрессии величины хк^х на хр ... , а^ je Положим Л=-г*-Рой-₽1’Н1-----РГ|,Л-1 и Л=х*-1—Ро,»+г- — Р^ k j_1 хх — ... — pg _ 1 к ц_ i^_r Частный коэффициент корреляции р/ь^4-1).12 ^-\Хмеж^ Xk и х^х при фиксированных значениях хх, ..., л*д_1 есть обычный коэффициент корреляции между ух и у2. Показать, что
Р/г, (k 4-D • 12 • • • (/г-1)>
К ^кк^к^х, A+i
где Др<?, р, q = k, ^ + Ь — минор, получаемый вычеркиванием р-й строки и ^-го столбца в определителе
1Р12’ • • Р1, А+1
Р»11••• Р2, А+1
РА+1.1 Р/гн, 2 ••• 1
Показать, что если (л^, ..., х^ — ^-мерная сл}чайная величина, причем коэффициент корреляции между любыми двумя ее компонентами равен одному и тому же числу р, то множественный коэффициент корреляции между данной компонентой и всеми остальными компонентами есть
р у1+(й-2)Р;
Пусть в предыдущей задаче коэффициент корреляции между хх и каждой из остальных компонент .г2, ..., Xk есть рп тогда как коэффициент корреляции между любыми двумя компонентами величины (,г2, ... , х^ есть р. Доказать неравенство pip ^ 0 и тот факт, что множественный коэффициент корреляции между xt и ха, ..., Xk равен
/(А-1)р?
V l+(fe-2)p'
Будем считать в задаче 3.25 коэффициент корреляции между л^ и хг равным рг, г = 2, ..., к, и величины х^ • • , Xk взаимно независимыми. Показать, что множественный коэффициент корреляции между а^ и х2, ... ..., Xk есть К р!+ ••• +р1-
Привести к наиболее простому виду уравнения гиперплоскостей средней квадратической регрессии величины xt на х2, ... , Xk в .задачах 3.25 и 3.26.
Убедиться, что уравнения (3.8.18) и (3.8.19) эквивалентны,
f л А в A 4
ПОСЛЕДОВАТЕЛЬНОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН
Определение случайного процесса
Важный класс задач математической статистики образуют задачи, где требуется определить предельные распределения вероятностей некоторых функций п случайных величин, когда п-х^д. Более точно, пусть (Хр .. •, х^ — и-мерная случайная величина и gn^xx, ..., х^ — функция от ^хх, ..., х^> которая сама является случайной величиной. Задача заключается в том, чтобы найти предельную к. ф. р. величины ^(^i, ..., хп\ когда п-^оо, или по крайней мере выяснить некоторые свойства этой к. ф. р., если последняя существует. Разумеется, это означает, что мы должны рассматривать случайные величины, имеющие бесконечно много компонент. Такие случайные величины называются случайным процессом. Случайный процесс со строго счетным числом компонент часто называют последовательностью случайных величин.
Строго говоря, случайный процесс есть семейство случайных величин {ха; а ^ Л}, где параметрическим множеством Л может являться некоторый интервал вещественной оси или некоторая последовательность точек вещественной оси, как, например, последовательность целых чисел, или даже вообще произвольное множество точек, для которого каждый конечный набор компонент (ха1, ..., хат) есть множество случайных величин с заданной к. ф. р. Fab ... , ат (Хах> • • • ’ ^а^)* Естественно, что к. ф. р. конечных множеств случайных величин в целом должны быть согласованы в том смысле, что к. ф. р. любого конечного множества случайных величин, скажем, (ха1, ..., ха) должна совпадать с маргинальной к. ф. р. этого множества, получаемой из к- ф. р. каждого конечного множества случайных величин, которое содержит (ха1, ..., хат) в качестве подмножества.
Вероятностная мера для случайного процесса
Так как обычно мы будем иметь дело со случайными процессами С^ь х^, ...) со строго счетным числом компонент, можно, не опасаясь какой-либо двусмысленности, обозначить через R^ произведение пространств R^X М^Х---, г^е М^ Rx СУТЬ (одномерные) выборочные пространства соответственно величин xv х^ ... Тогда любая
счетная последовательность вещес1вепных чисел (йр &2, ...) будет, точкой пространства Roo, и обратно, всякая точка в R^ есть некоторая последовательность вещественных чисел. Пусть b означает такую точку из Rqq. Таким образом, каждая реализация случайного процесса (xv х^ ...), задаваемая значениями счетного числа компонент, представляет собой выборочную точку в R^. Мы можем называть Roo выборочным пространством нашего случайного процесса. z
Рассмотрим какое-либо конечное множество (6а1, ..., да^) координат точки У Это множество изображается точкой У в /п-мерном евклидовом пространстве R^’ * * *' ^ — R^ X ••• X R^m\ Точка У есть проекция точки b £ Roo в R^1“^• Этот факт мы можем'
записать следующим образом:
b' — h^am(b\(4.2.1)
Множество Е всех точек в R^, проектирующихся в данное множество Е пространства R^' а,п\ называется цилиндрическим множеством и может быть записано в виде
Е=Ь^....атФ'У(4.2.2)
Если Е — борелевское множество в R^1“^, то цилиндрическое
множество Е в Roo, соответствующее В (прообраз множества Е' в Roo), называется борелевским цилиндрическим множеством. Читатель должен заметить, что Ег есть просто проекция в R^“^ множества Е пространства Roo- Если мы распространим определение борелевского цилиндрического множества на случай, когда т = оо, то, очевидно, Roo само будет борелевским цилиндрическим множеством. Кроме того, если для конечного т множество Е — борелевское цилиндрическое, то таково же и множество Е.
Допустим теперь, что Е и Е"— борелевские множества в 7?^iат) и R^v • • • ’ V, г Ex и Е^ — соответствующие им цилиндрические множества в Roo- Рассмотрим множество EV\J E^d Roo- Это— цилиндрическое множество в Roo, соответствующее (по опре:. делению) множеству Е*, точек в 7?^7s}, где ^р ..., ^s — все
отличные друг от друга целые числа ряда aD ..., am, рр ..., рл. Тогда R^y *** * am) и R^v * * * ’ V суть маргинальные выборочные пространства для 7?(07^и Е* = Е* (J Е", где Е*— цилиндрическое
множество в 7?^’ ’ * ’ ’7^, соответствующее Е С R^am\ и Е"— цилиндрическое множество в 7?^7^,соответствующее E'd
d R^1Рд) • Множество Е^ Q Е^ есть цилиндрическое множество в Roo, соответствующее Е* Q Е" С ^J1Тл) • Следует отметить, что Ег и Е^ не пересекаются тогда и только тогда, когда Е* f) Е” = 0.
421вероятностная мера для случайного процесса 109
Если Б и Е' являются борелевскими множествами соответственно в ^(«г • • • • ^ и ^v • • * * и их прообразами в R^v служат множества Е* и Е", то Е* (J Е" также будет борелевским множест- вом в R^v ’ ^ • Следовательно, Ev |J Е^ как цилиндрическое множество в R_ соответствующее Ё* IJ Е", есть борелевское цилиндрическое множество. Таким образом,
Класс боре ле веках цилиндрических множеств в R^ об- уазует булево поле множеств 3\
Однако мы в первую очередь заинтересованы в борелевском расширении этого поля У, которое мы назовем о^оо- Такое борелевское поле <^оо определяется как наименьший борелевский класс множеств о R^, который содержит булево поле ^". <53 ^ называется классом борелевских множеств пространства R^ и включает все борелевские цилиндрические множества в R^
Далее, пусть Е — борелевское множество в пространстве R(ai“^ и Е — прообраз этого множества в Rqq. Для того чтобы назначить вероятность борелевскому цилиндрическому множеству Е, мы воспользуемся обычным правилом, именно положим
Р^ = Раха^,(4.2.3)
где Роa (Е) — вероятность, сопоставляемая множеству Е в результате подсчета по к. ф. р. величины (х^^п)’ К0Т0Рая обра
зуется выделенными компонентами случайного процесса (хр х^,...). Возникает вопрос, как определяются вероятности множеств из о®^ которые не являются борелевскими цилиндрическими множествами. Ответ на этот вопрос дается следующей теоремой расширения, принадлежащей Колмогорову (1933а).
Пусть (ха1, ..., ха^ — какой-либо конечный набор компонент случайного процесса (хь х2, ...) и R^ат) — выборочное пространство величины (ха1, ..., xa^). Пусть Е — борелевское цилиндрическое множество в R^, соответствующее некоторому борелевскому множеству Er CZ ^г * * * * “^ • Назначим множеству Е вероятность Р(Е) согласно правилу (4.2.3). Тогда на 53^ борелевских множествах пространства Roa, существует единственная вероятностная мера, сужение которой на классе Цилиндрических множеств в Roa есть функция множества, определенная (4.2.3).
Доказательство этой теоремы мы опускаем. Читатель, заинтересованный в доказательстве, может найти его в книгах Дуба (1953) и Колмогорова (1933а).
В практических задачах, предлагая случайный процесс со счетным числом компонент в качестве математической модели, мы часто (как
и в случае конечномерной величины) действительно имеем дело с физическим процессом определенного рода, который «порождает» последовательность компонент xv х^ ... таким образом, что условия теоремы 4.2.2 можно считать выполненными.
Примеры. Пусть многократно бросается «правильная» игральная кость. Тогда мы можем определить очень простой случайный процесс (хь х2, ...), где ха есть случайная величина, обозначающая число очков, выпавших при а-м бросании, и к тому же при любом выборе г целых чисел ап ... , аг г-мерная случайная величина (л*ар ... , л*а/.) имеет ф. в. р. р (л*а1, ... , ха^ равную g- в каждой из 6Г своих точек сосредоточения массы.
Если мы допустим, что xt— случайная величина, имеющая равномерное распределение на интервале (0, 1), .г2— случайная величина, имеющая равномерное распределение на интервале (xn 1), и вообще ха — случайная величина, имеющая равномерное распределение на интервале (.ra-1, 1), а = = 2, 3,..., мы получим пример важного вида случайного процесса (хп х2, ...), называемого цепью Маркова порядка 1. Заметим, что при любом а ф. п. в.
условной случайной величины ха | ха_п именно :, в точности совпадает с ф. п. в. условной случайной величины ха Ara_n Xpp ... , хр , где
?!,•••> ₽г — произвольный набор г<«—1 целых чисел из ряда 1,2,... ..., а — 2. Цепь Маркова порядка к есть случайный процесс, обладающий тем свойством, что при любом а условная случайная величина xa\xa_lt ... , ха_ь имеет то же самое распределение, что и условная случайная величина ха I ^ai> ••• > ^а-Ь *рр ••• > х^ где рп ... , рг— произвольный набор г <« — — к целых чисел из ряда 1, 2, ... , а— к—-1. За сведениями, касающимися общей теории цепей Маркова или процессов Маркова, читатель отсылается к книгам Дуба (1953), Феллера (1957) и Лоэва (1955).
Когда мы имеем случайный процесс (Xp х^ ...) и вынуждены рассматривать вероятности, сопоставленные борелевским множествам в (евклидовых) пространствах, отвечающих конечным наборам х, мы всегда можем перейти к прообразам этих множеств в R^ и, следовательно, всегда можем говорить о множествах в R^ и о сопоставленных им вероятностях. Например, вместо того чтобы говорить о (борелевском) множестве на хтх„-плоскости, для которого \хт — хпК <^с, мы можем говорить о (борелевском цилиндрическом) множестве в Roo, для которого \хт— хп\<^с.
Вероятности, назначаемые двум этим множествам, равны по определению. В некоторых ситуациях возможность рассмотрения прообразов событий в Roo, минуя события в особых конечномерных пространствах, отвечающих конечным наборам компонент процесса (xv х^ ...), представляет известное удобство. R^ есть фиксированное выборочное пространство, в котором имеют место события относительно (xv х^ ...), в то время как выборочное пространство величины (xD ..., х^ меняется вместе с п. Однако, помимо удобства, существуют и другие причины для рассмотрения R^. В самом деле, как будет показано, только в пространстве R^ и можно сформулировать некоторые задачи и теоремы.
Сходимость по вероятности
Некоторые критерии сходимости по вероятности. Допустим, что (х, xv х^ ...)— случайный процесс, причем для любого е^>0
lim Р(\хп — х|^е) = 0.(4.3.1)
п —* со
Тогда говорят, что ^xv х^ ...) сходится стохастически или сходится по вероятности к случайной величине х. Факт сходимости этого типа мы иногда кратко записываем следующим образом:
р lim хп = х.(4.3.1а)
п-* со
Если х — вырожденная случайная величина, так что Р (х = х0) = 1, то случайный процесс (хь х^ ...) сходится по вероятности к постоянной х0. Одним из простейших и наиболее важных примеров сходимости случайного процесса к постоянной величине служит слабый закон больших чисел, выражаемый теоремой
Пусть (xv , х^, ...) — последовательность независимых случайных величин, имеющих нулевые средние и дисперсии о*, а|,... Положим хЛ = -^-(х14". • • + -^J и сп — а1 + • • • + ^- Тогда, если
С2--
lim -2=0, то случайный процесс (хп х^х ...) сходится по ве- м—»• со
роятности к нулю.
Чтобы доказать эту теорему, заметим, что g(xJ = 0 и g(x„) = с2
= —. Следовательно, по неравенству Чебышева (3.3.5) при любом
С2
Таким образом, если -4~>0, когда п^оо, мы имеем limP(|xrt|<^
<^е)=1, что и завершает рассуждения.
Теорема 4.3.1 фактически остается справедливой и в том случае, когда равны нулю все ковариации между компонентами процесса (a*j, х^, . . .).
Если Fx(x\ F^ (х), ’.. суть к.ф. р. компонент процесса (xv х<2,...) и lim Fn(x) = F (х) в каждой точке непрерывности F(х), мы гово- П-* со
Рим, что (хр х2, ...) сходится к F(x) по распределению.
Ниже следует несколько теорем относительно сходимости по вероятности и сходимости по распределению. Они используются в бо- лее поздних главах.
Один из простейших критериев сходимости по вероятности можно сформулировать'1 в виде следующего утверждения:
Пусть (х, хр х2, ...) — случайный процесс и
lim g(x„ —х)2 = 0.(4.3.2)
п—* со
Тогда процесс (хп х2, ...) сходится по вероятности к случайной величине х.
Из неравенства Чебышева, установленного в § 3.3, следует, что
(4.3.3)
но, поскольку (4.3.2) предполагается выполненным, мы имеем lim Р(\хп — х|^е)^0, что в свою очередь влечет (4.3.1).
Л —* ОО
Говорят, что (хъ х^ ...) сходится в среднем к величине х, если (х, xv х2,...) есть случайный процесс, который удовлетворяет (4.3.2), причем g(x£Xoo, n=h, 2, ... и g(x2)<^oo. Для краткого обозначения этого вида сходимости иногда применяется запись
l.i.m. хп = х.(4.3.2а)
п —* оо
Если (х, х\ xv х2,...)— случайный процесс и (хр х2, ...) сходится по вероятности как к случайной величине х, так и к величине х\ то эти последние являются эквивалентными.
Чтобы это установить, мы прежде всего заметим, что
р[|х-У|>1)=р[|(х„-х')-(х„-х)|>1). (4.3.4)
Пусть теперь Е, Е\ ЕП— множества точек в выборочном пространстве /?оо процесса (х, х\ хп х2, ...), для которых соответственно I (-^л ‘ х ) ^хп *^) I > /7 ’ । Хп । > 2N и ।Хп х । ^ 2/V * Тогда, очевидно, Е С (Er U Ег,у Следовательно, Р (Е) ^ Р (Е') -|- Р (Е"), т. е.
По предположению при п-^оо оба члена в правой части этого неравенства имеют предел, равный нулю. Таким образом, р(|х-х'|>1) = 0.
Обозначив через GN множество в R^ для которого |х — х^^^г, мы находим, что Ох CZ О2 CZ...» причем lim 0^=0, где G есть мно- N со
жество всех точек в Roa, для которых х ^ хг. Поэтому по теореме 1.4.6 для случая множеств из е®оо
P(x^x') = P(Q1UG2U...)<P(GJ) + P(O2)-^... (4.3.6)
] 3]СХОДИМОС lb но вероятное ГН1 13
Цо F(Gi) = F(G2) = . . . = 0. Отсюда Р^х ф ^) = 0 и, следовательно, случайные величины х и х' эквивалентны [см. § 2.8(b)].
Другой полезный результат состоит в том, что сходимость по вероятности влечет сходимость по распределению, или в более точной формулировке:
Пусть (х, xv х^ ...) —случайный процесс с компонентами, имеЮ1цими к.ф.р. соответственно F (х), F^x^ F^(x), Если (Xi, ^ •••) сходится по вероятности к случайной величине х, то последовательность к.ф.р. F^x), F^^xy ... сходится к F(x) в каждой точке непрерывности этой функции.
Как обычно, пусть R^ означает выборочное пространство случайного процесса (х, xv х^...). Предположим, что F^ непрерывна в точке х = х0. Выберем константу х'<^х0 и рассмотрим следующие три события в R^: х ^ х', хп ^ х0 и | хп — х | ^> (хп — х'). Первое событие содержится в объединении второго и третьего. Отсюда
F (х') = Р(х ^ х^ ^ Р(хп < х0) + Р( | хп — х | > (х0 — х^у (4.3.7) Теперь перейдем к пределу при» л -> оо. Поскольку (хь х2, ...) схо- дигся по вероятности к случайной величине х, lim F(|xn— х|^> > (х0 — х')) = 0, так чтоп-*оо
F^)^ lim infFn(x0).(4.3.8)
Л ~► СО
Подобным же образом, выбирая константу х^^х^, мы находим, '"°F^Sslimsup^^)(4.3.9)
Л —* ОО и, следовательно,
* F (х') ^ lim inf Fn (х0) ^ lim sup Fn (x0) ^ F (x").(4.3.10)
Л —♦ ООл —♦ co
Но так как F(x) непрерывна в точке х = х0, мы имеем lim F(xr) = = lim F(x") = F(x0). Таким образом,^->х0
lim Fn (х0) = F (х0),(4.3.11)
Л —> ОО
что и завершает доказательство теоремы 4.3.4.
Сходимость функций от компонент случайных процессов. Рассмо1рим случайный процесс (хь х2, ...), сходящийся по вероятности к случайной величине х. В этой ситуации нам иногда требуется знать, какие условия будут обеспечивать сходимость по вероятности нового процесса (^(хД, g^x^ ...) к величине g(x). Мы приведем несколько теорем, относящихся к этому и подобным этому вопросам, которые будут использованы в дальнейших главах.
Пусть (х, xv х2, ...) — случайный процесс, для ’ которого С^ь х2, ...) сходится по вероятности к случайной величине х, 11 пусть g(x) — непрерывная в Rx функция от х. Тогда
р lim ^(х„) = ^(х).(4.3.12)
Л -> ОО •
Если х—вырожденная случайная величина, именно постоянная с, то (4.3.12) просто означает, что (g(xj, g(x^, ...) сходится по вероятности к постоянной g(c).
Чтобы доказать теорему 4.3.5, мы заметим, что ^(х) равномерно непрерывна в любом замкнутом интервале, например в интервале [—М, MY Так как х является случайной величиной, мы можем для произвольного е^>0 выбрать М, удовлетворяющее условию
Р(|х|>Л4)<у.(4.3.13)
Для выбранных е и Л/ найдется такое 8 (г, Af), что, как только (I)| х | ^ Af,
00 |х„-х|<8(е> М), так сейчас же
(П1)|^(х„) —^(х)|<е.
Если мы обозначим через Еъ Е^ и Е^ множества в R^ для которых имеют место соответственно I, II и III, то сможем написать Е^С2? CIE.VJE^ Отсюда Р ф^ < Р (ЁО + Р (Ё^ т. е.
/Ч1^)~^(*)1^)<Р(|хЛ^^Л4)) + Р(|х|>УИ).
(4.3.14)
Но по условию теоремы существует столь большое пф 8, М), что при гГ>пф 8, 714)
/>(1^-х|^8(е, М))<^(4.3.15)
Поскольку М было выбрано так, чтобы удовлетворить (4.3.13), мы, в конце концов, получаем для тГ>пф 8, М)
^С^Х) — £(•*)! 2s е)<е,(4.3.16)
что эквивалентно (4.3.12) и доказывает, таким образом, теорему.
Следует отметить, что теорема 4.3.5 может быть сформулирована в более общей форме, если потребовать, чтобы функция g(x) был? непрерывна в замкнутом интервале/, для которого P(x^7)=L Так как это повлекло бы за собой только незначительные изменения вышеприведенных рассуждений, соответствующее рассмотрение предоставляется читателю.
'Иногда нам приходится заниматься проблемами сходимости, касающимися случайных процессов, компоненты которых суть векторы. Например, если (х, у хь у; х^ у; ...) — такой случайный процесс, нас могут интересовать условия, при которых (^(xb j^), g(x^ у), сходится по вероятности к g(x, _у). В этом случае /?«> есть выборочное пространство процесса (х, у xb j^; х2, у; ...).
Если (г; хъ Уь х^ у2; ...) — случайный процесс, причем для любого s>0lim Р( || >е) = О,
п—юо
в то время как одна из последовательностей (хь х^ ...) или (_уь ...) сходится по вероятности к случайной величине 2, легко можно убедиться, что и другая последовательность также сходится по вероятности к случайной величине 2. При таком положении вещей удобно говорить, что (xv х^ ...) и (уь № ...) одновременно сходятся по вероятности к случайной величине 2. Подобным же образом, если имеет место вышеуказанное предельное соотношение и одна из двух последовательностей сходится по распределению к F(xy мы будем говорить, что обе последовательности одновременно сходятся по распределению к F (х).
Мы можем следующим образом сформулировать обобщение теоремы 4.3.5 на случай нескольких последовательностей случайных величин:
Предположим, что (х(1\ ..., х^; х^\ ..., х^; х^\ ... ..., х^\ ...)— h-мерный векторный случайный процесс, который - сходится по вероятности к h-мерной случайной величине (а;^, ... .х^У Пусть g(x^\ ..., xw) — непрерывная в Rk функция от (.у^, ..., х^У Тогда
р limg(x^, ..., x^ = g^x\ ..., х^У (4.3.17) /г-кю
Доказательство этой теоремы аналогично доказательству теоремы 4.3.5 и предоставляется читателю.
Снова следует отметить, что мы можем несколько ослабить условия теоремы 4.3.6, требуя, чтобы функция g(x(1), ..., x(fe)) была непрерывна в замкнутом ^-мерном интервале Ik, для которого
Ниже приводится следствие теоремы 4.3.6, которое будет особенно полезно в дальнейшем.
. Если векторный случайный процесс (х, с; хъ ур х^, ур, ...) таков, что (xb ур х2, ур • •.) сходится по вероятности к (х, с), причем х имеет к.ф.р. F (х) и с — некоторая положительная константа, то в каждой точке непрерывности функции F (х)
11тР(А„+^„^г) = Г(г—с),(4.3.18)
л-*оо
limP(^„j„^z) = /7CV(4.3.19)
П->СО\ L /
VimP^^z^F^cz),(4.3.20)
п -+оо \ У И-/
limP(aA-„ + ^„<z) = Fp-^V(4.3.21)
п--*оо\ U J
?^е а п ь — константы и ^^>0.
Позже представит интерес следующая теорема:
Допустим, что (х^, ..., х^\ У/*, ..., у^> jc^, ..., х^, У2^> •••’ У^ •••) — векторный случайный процесс, причем
\У^ — с^\^\х^ — с^\, Z= !,...,£; л =1,2,..., (4.3.22)
и (а:^, ..., х^; х^\ ..., х^; ...) сходится по вероятности к векторной постоянной (№, .с^\ Пусть, кроме того, g^v\ . .х^)— однозначная функция, определенная во всех точках пространства Rb и непрерывная в некотором открытом к-мерном параллелепипеде, содержащем точку (с(1), ..., с^\ Тогда
pWmg^,..., ^ = g^\с^.(4.3.23)
л-*оо
Доказательство этой теоремы не содержит никаких особых труд-., ностей и потому опускается.
Следует указать на то обстоятельство, что условия теоремы 4.3.7 " можно ослабить, введя предположение, согласно которому функция ^(У1^ ..., х^) должна быть определена и непрерывна только в некотором замкнутом ^-мерном интервале 1Ь, содержащем точку (с(1), ... .с^\ для которого Р((х(1\ ..., Х^) £ 1^) = 1.
Пусть при каждом 0 из некоторого интервала (0', 6") последовательность (g(x, 0), g^xx, 6), g(x^, 0), ...) есть случайный процесс. Говорят, что (g(xx, 6), g^x^, 0), ...) сходится по вероятности к , "g(x, 0) равномерно относительно 0^(0', 0"), если для любого е>0 существует такое пе, что при п^>п^ для каждого 0 в интервале (0', 0")
р (I ^(^Л, 0) - Six, 0) I >s) < 8.(4.3.24)
Это понятие очевидным образом можно обобщить на случай, когда g^x, 0) является вырожденной, а также на случай, когда хп — векторная величина. Наконец, докажем еще одну теорему, которая будет использоваться в главах, посвященных теории статистического оценивания.
Пусть случайный процесс (хь х^, ...) таков, что процесс (Л (хх, 0), /2 (хъ х^, 0), ...) также случайный и, кроме того, сходится по вероятности равномерно относительно 0 £ (0', 0") к ко* печному числу ^(0), причем функция g^) непрерывна в точке О = 0о, 0О ^(0\ 0"). Пусть, далее, (0?^), 02(^ь х^, ...)— случайный процесс, который сходится по вероятности к 0О. Тогда процесс (/1 (хъ 0* (^])), /2 (хх, хъ 02 (хь Хч)), ...) сходится по вероятности к g<%Y
Так как процесс (0*(^i), 02(хп х^, ...) сходится по вероятности к 0О, то для каждого интервала (0о — г, 0о -[- е) С (^, 0") найдется такое пе, что при п^^
Р<%-е<0*(хх, ..., хл)<0о + е)>1-е.(4.3.25)
Пусть теперь gn(^) означает точную верхнюю грань, gz(e)— точную" нижнюю грань значений g(0) в интервале (0О — е, 0о-|-£)- Гак каК.
6» + е)р^А6) — е'</п^ъ6» + е)р^А6) — е'</п^ъ•> хп, e)<gzl(e) + e')>l — г\•> хп, e)<gzl(e) + e')>l — г\(4.3.26)(4.3.26)в свою очередь ЦХ^х, 6), /2(хь х^ 9), ...) сходится по вероятности к g^ равномерно относительно 8 ^ (^> 8"), то для произвольного s' найдется такое п£’, что при п^п^ и при любом 6 в интервале (90— е,
6» + е)
р^А6) — е'</п^ъ
6» + е)
р^А6) — е'</п^ъ
•> хп, e)<gzl(e) + e')>l — г\
•> хп, e)<gzl(e) + e')>l — г\
(4.3.26)
(4.3.26)
Далее, для любого п^>тах(ие, тц^ обозначим через Еп то множество в выборочном пространстве R^ процесса (хъ х ...), Для которого имеют место оба неравенства, фигурирующие в (4.3.25) и (4.3.26) под знаком вероятности. Очевидно, P^E^^l—г — s'. Но всякая ючка из Еп будет удовлетворять неравенству*)
Si (е) - * < Л (^i, ™,хп, 8*) < gtt (е) + s'*),(4.3.27)
где 6^ (А7Ь ..., х^ кратко записана как 9„. Следовательно, при я^>тах(пе, п^ вероятность этого неравенства по меньшей мере равна 1 — е — s'. Поскольку 8 и s' произвольны и lim (gt (е) — &(£))=° 6—>0
вследствие непрерывности ^(6) в точке 60, мы приходим к заключению, что (Л(Х1, ..., хп, 6*), п=1, 2, ...) сходится по вероятности к ^(М- Таким образом, теорема 4.3.8 доказана.
Принимая во внимание теорему 4.3.4, можно получить варианты теорем 4.3.5, 4.3.6, 4.3.7 и 4.3.8, в которых вместо сходимости по вероятности утверждается только сходимость по распределению.
Сходимость почти наверное
Определение. Пусть (хь х* ...) — случайный процесс и (Roo, 33^ Р) — соответствующее ему вероятностное пространство. Обозначим через Е множество всех сходящихся последовательностей (Ь^ Ь^...). Чтобы лучше представить себе это множество, рассмотрим в R^ множества Еп> Pi N точек, удовлетворяющих условию
i^+y-M<7p(4.4.1)
где N—целое положительное число.
При любом выборе чисел п, р и N множество Еп< Pt N является борелевским цилиндрическим в R^ и, конечно, принадлежит <33^.
Множества Ew= (J Н^п,p.n> N=l, 2, ..., также принадлежат п=1 р^1
^оо и образуют убывающую последовательность. Множество Е, введенное выше, есть предел этой убывающей последовательности, т. е.
f^lim^.(4.4.2)
А-юо
Следовательно, множество Е принадлежит о®оо и, таким образом, обладает некоторой вероятностью Р(Е\ Эта вероятность может быть названа вероятностью сходимости случайного процесса (хь х^, ...). Само Е называется множеством сходимости в пространстве R^.
Предположим теперь, что Р(В)=1. Пусть х— случайная величина, принимающая значение lim Ьт если (^, Ь^ ...) принадлежит <33^ п-юо
и значение 0, если (йь Ь^ ...) классу <33^ не принадлежит. В этом случае мы говорим, что последовательность случайных величин сходится почти наверное к случайной величине х.
Замечание, Понять смысл этого определения читателю поможет интерпретация сказанного на языке событий из исходного основного вероятностного пространства (7?, о®, Р). Обозначая, как обычно, выборочную точку R через е, можно записать данный случайный процесс в виде (xt (е), х2 (е), ...) (причем все компоненты измеримы относительно о®). Таким образом, мы имеем счетную последовательность случайных величин, которая отображает каждую выборочную точку пространства R в некоторую точку пространства 7?^. Если существует такая случайная величина х (е) (измеримая относительно 33\ что Пт хп (е) = х(О для любой точки е^Е', где Е*— прообраз п-^со•
в R множества Е в R^, мы говорим, что (х^е), х2 (е), ...) сходится к х (е) с вероятностью Р (Е'). Е* есть множество сходимости в пространстве R. Если Р (Е') =Р (Е) = 1, мы говорим, что (х^е), х2 (е), ...) сходится к х (е) почти наверное или сходится с вероятностью единица.
Соотношение между сходимостью почти наверное и сходимостью по вероятности. Необходимо отметить, что сходимость почти наверное относится к более сильному типу сходимости, чем сходимость по вероятности. В самом деле,
.1. Если случайный процесс (х, хъ х^ ...) таков, что процесс (хь х^ ...) сходится почти наверное к случайной величине х, то последний сходится к этой величине и по вероятности.
Пусть Е — множество сходимости процесса (xv хъ ...) к величине х. Тогда Е при любом е^>0 содержится в множестве, равном пределу расширяющейся последовательности следующих множеств в Roo* (1-^+/— x|<^s, у = О, 1, 2, ...], п= 1, 2, ... Обозначим через Еп и Еп соответственно множества [|хл+у— х|<^е, У = 0, 1, 2, ...] и [ | хп — х |< е]. Поскольку Еп С Fn,
р^\хп-х\<^Р<\х^-х\<6, / = 0,1,2,...). (4.4.3)
Устремляя теперь п к бесконечности, мы получаем
lim Р (| хп — х | < е) 5* Пт Р ( | хп^ — х | <^ е, У = 0, 1, 2, ...) = п-*соп->со
= Р (lim Еп) За Р (5)=1, (4.4.4)
П-* ОО г. е.
limP(|x„— х|<^е)=1.(4.4.5)
Последнее соотношение равносильно (4.3.1), что и доказывает теорему.
Неравенство Колмогорова
Следующее интересное распространение идеи, заложенной в неравенстве Чебышева, на целую совокупность неравенств предложено Колмогоровым (1928):
Пусть хь ..., хп — множество независимых случайных величин, имеющих нулевые средние и дисперсии Ор ..., о^. Положим с-}1 = ах -)-.. .4"ая« Тогда вероятность одновременного осуществления неравенств
|• 4”-^а I < а =!,...,#,(4.5.1)
по меньшей мере равна 1 — ^-.
Чтобы доказать этот результат, выделим в выборочном пространстве Rn события Fa, а=1, ..., п, отвечающие соответственно неравенствам
|хх + ..• + ха\^ХсП) а=1, ..., п.
Положим EX = FV E^ = FXC]F^ E3 = Fxf\F^C\F^...,Efl = Fxp\... ... P| Fn_x P Fn, и пусть Gn означает дополнение множества Ех IJЕ* (J... ... IJ Еп. Qn есть множество в Rn, для точек которого имеют место все неравенства (4.5.1). Множества Ех, ..., Еп) Qn не пересекаются и их объединение образует полное выборочное пространство Rn. Таким образом,
Р (Qn) = 1 - [Р ^ +... + Р (Еп)].(4.5.2)
Пусть га— случайная величина, принимающая значение 1 в каждой точке множества Еа и значение 0 в каждой точке множества Еа, а=1, ..., п, а z^— случайная величина, аналогичным образом связанная с Gn. Очевидно, можно написать
§ (^ 4~ * • • 4~ хп^ = ® [^i (-^i ~F • • •+х^\ 4~.. .^[^ (xj 4~ •.. 4~ х«)2] 4” 4™ & [^пд 1 (-^i 4^ • • • 4” xnfY (4.5.3)
Любая функция ga от переменных xv .ха является независимой от С^ьь хпУ Следовательно,
M&^^teJSCr^0’ р = а+1, ..., я, гак что мы имеем
& l^a (*) + • • • + Хп?\ = В [^ 1*1 + • • • + ^а)2] +
+ S [za (^«+1 + • • • + -Гл)2] ^ § [^а (^1 + • ■. + хауу (4.5.4) Н° (-Г1 + ... + ха)22$ Х8с„ в каждой точке множества Еа. В силу этого Для а= 1, ..., п
g [z, (х, +... + хп^\ ХМпР (PJ.(4.5.5)
Теперь вернемся к формуле (4.5.3). Отбрасывая в правой части последнее слагаемое, применяя к остальным неравенство (4.5.5) и,
наконец, используя тот факт, что £ИХ1 Ч~ • • • Н-хя)2 — ^ мы получаем
d^4 [Р (£,) +... + Р (£„)].(4.5.6)
Из (4.5.6) и (4.5.2) вытекает неравенство
Р(О„)^1-^,(4.5.7)
что и требовалось доказать.
Усиленный закон больших чисел
В § 4.3 мы уже упоминали о слабом законе больших чисел, согласно которому при некоторых условиях среднее арифметическое первых п компонент последовательности независимых случайных величин с нулевыми средними сходится по вероятности к 0. Возникает вопрос, можем ли мы сделать какое-либо вероятностное утверждение о том, что все средние арифметические, начиная с некоторого достаточно удаленного места в своей последовательности, произвольно близки к нулю? Ответ на этот вопрос дает усиленный закон больших чисел, который можно сформулировать следующим образом:
Пусть (хъ х^ ...)— последовательность независимых случайных величин, имеющих нулевые средние и дисперсии (а;, о|,...), со «
причем < оо. Положим хп = ~ (^i +... + ^)- Тогда (хр х2,...) «=1
сходится почти наверное к 0, т. е. для любых &^>0 и е>0 всегда найдется такое Д/^ 6, что
^(1^1 <е, n = N,N-V^^ 1 —8(4.6.1)
при всех N^> NSi6 и для каждого k.
Доказывая теорему 4.6.1, мы будем следовать цепи рассуждений, подобной той, которая была использована Феллером (1957). Обозначим через Еп, n = N, N-\-1, ..., N-^-k, соответственно события I^Ke, n = N, ^—|— 1, .., N-\-L Вероятность, указанная в (4.6.1) есть
Р(ЕМС\Е№1П...Г\Е№„У(4.6.2)
что в свою очередь равно
1 - р Cen (J en„ и • • • U en^.(4.6.3)
Таким образом, мы должны показать, что при A^^TV^g и любом k
P(BnUENhU --и W < 8.(4.6.4)
Разобьем совокупность всех целых положительных чисел на множества /ь 1г, .... где /а = {2“-14-1 2’’’4-2, ..., 2“}. Пусть Ра—
событие, состоящее в том, что по крайней мере одно из неравенств {l^l^6’ п^^«\ не имеет места. Тогда для некоторых аир
FaU^U ••• и^Э^и^и UE»* (4.6.5)
Но
Р (Fa U ^а+1 U ■ ' ' U Ftt^ ^ Р (F^ + . . . + Р (F^). (4.6.6)
по крайней мере для одного п £ 1а мы _ имеемпо крайней мере для одного п £ 1а мы _ имеемТем самым достаточно установить сходимость ряда ^ Р(Ра\ Согласно а— 1
по крайней мере для одного п £ 1а мы _ имеем
по крайней мере для одного п £ 1а мы _ имеем
определению Ра |хя|^е, иначе,
Из последнего неравенства вытекает неравенство
(
е . 2а-1\
2а /
где с^ = а2_р# >е_|_а2а) как это требуется в теореме 4.5.1. Используя эту теорему (неравенство Колмогорова), мы находим
4С2а
2.22а >
так что
(4.6.7)
Меняя здесь порядок суммирования по / и по а и замечая, что сумма 22-2а, взятая по всем положительным целым а, для которых 2a^z, не превосходит 2Г2, мы получаем
i = li = lНоНоОО
i = l
i = l
Но
Но
Следовательно, ряд ^ P(Fa) сходится, если сходится a= 1
в таком случае путем выбора достаточно большого а правая часть неравенства (4.6.6) может быть сделана меньше 8 для всех значений р, а тогда из (4.6.5) и (4.6.6) следует, что имеет место (4.6.4) и, значит, (4.6.1). Эти аргументы завершают доказательство теоремы 4.6.1.
Необходимо отметить, что если все компоненты процесса (xv х^...) °° а?
имеют одинаковые (конечные) дисперсии, условие 2^ ^^ Удов- i = 1
^створяется автоматически. В действительности можно показать, что С^ь х2, •••) сходится почти наверное к значению 0, если величины хь хъ ... независимы и одинаково распределены с нулевыми средними [см. Хинчин (1929)].
ЗАДАЧИ
4.1. Показать, что если (х, у; хи у^; х2, ^2; ...)—случайный процесс и процессы (хп х2, ...) и (уп у2) ...) сходятся по вероятности соответственно к случайным величинам х и yj, причем х и у эквивалентны, то для любого е > О
lim Р(|х„ —№|<е)=1.
п—*оо
4.2. (Продолжение). Показать, что если lim g (хл—у^)2 = 0 и процесс
(хь х2, ...) сходится по вероятности к случайной величине х, то процесс (Ул У», •••) также сходится по вероятности к этой величине.
4.3. Пусть (хь х2, ...)— независимые случайные величины, имеющие одинаковые к. ф. р./
F(x)=^ х,
1,
Образуем новый случайный процесс (ип «2, ...), где ил = тах(х1, ..., х„),
и положим -ип = п(\— и^. Показать, что последовательность (yD v2, ...) сходится по распределению к случайной величине х, к. ф. р. которой
Ft (у) = 1 — е"13.
4.4. (Продолжение). Показать, что если g (х)—произвольная однозначная дифференцируемая возрастающая функция от х в интервале (0, оо) и wn=g (п (1—ип))> то (^п w2, ...) сходится по распределению к случайной величине w, имеющей ф. п. в., равную
при w £ (g (0), ^(4-оо)) и нулю в противном случае; g-1 (w) есть обратная функция для g(x).
4.5. Известно, что дискретная случайная величина хт возникающая в теории крайних наблюденных значений, имеет к. ф. р.
п (п— 1) ... (п—г 4-1)
(п 4- пх) (п + пх — 1) ... (п -|- пх — г + 1)
где г^л4~^> причем точки сосредоточения массы величины хп суть
п * п
. Показать, что последовательность случайных величин (хь х2, ...)
сходится по распределению к случайной величине х, имеющей непрерывную к. ф. р.
F(x) =
(1+л-)-
4.6. Пользуясь теоремой 4.3.6а, показать, что если d—произвольная отличная от нуля константа, то
lim Р (хп + пуп ^ d) = 0.
П->00
Пусть (ад, лд,...) — случайный процесс, причем g (хп) = 0, о2 (хп) = а2, /z = f, 2, и cov (ад, лд) = ра2, i^j\ Z,/= 1, 2, ..., где а2 конечно и р С (6, 1). Положим
ик = -^ (^*1+'гз+ -“4-л‘2А-1)
у6 — -^ (х2 + А'4+ х2а) •
Показать, что векторный случайный процесс (нп Ур й2, у2; ...) сходится по распределению к (ы, у), где и и у—эквивалентные случайные величины, имеющие средние 0 и дисперсии о2р.'
Пусть лд, ...,хп—п независимых случайных величин, имеющих н)левые средние и единичные дисперсии. Рассмотрим неравенства
I -^а I < Х4=,«= 1,«.
У" где
” CV1 + • 4"-Га)>
и обозначим через Gn событие, состоящее в их совместном выполнении. Тогда Gn эквивалентно невыполнению по крайней мере одного из этих неравенств. Показать с помощью метода, подобного использованному при рассмотрении неравенства Колмогорова, что для любого X > 0
Р ^п) ^-=— ,
и+а2-1ш*|сЛ)
где а—случайная величина, обозначающая номер первого из указанных выше неравенств, которое не имеет места, и g (а | Gn) ■—условное среднее значение величины а при условии, что событие Gn уже произошло.
(Продолжение). Рассмотрим неравенства
Х24-...-]-л*2 < аХ2, а=1, ...,п.
Обозначив через Gn событие, состоящее в невыполнении по крайней мере одного из этих неравенств, показать, что Р (Gn) оценивается сверху точно так же, как и в предыдущей задаче.
, Показать, что если (хь ..., хп)—независимые положительные случайные величины, средние значения которых равны одному и тому же числу р., то для любого X > 0 вероятность совместного осуществления неравенств , X X 1
(Х!Х2 ... Ха)<Х^а, а=1, п,
ие меньше чем 1 —~,
Распространить усиленный закон больших чисел на тот случай, когда компоненты последовательности независимых случайных величин (ад, ' 2> ••) имеют (конечные) средние р.п ц2, ..., а также (конечные) дисперсии
ч 4*12. Показать, что если хь ..., хп—п независимых случайных вели- медианы которых равны нулю, то
Где8 (I -^1 + 4-хя |)(п) dt
^-^iSk.H—-+&IM
и
?(2*+l)=?(2* + 2) = ^±^!
— результат, принадлежащий Тьюки (1946).
Пусть (хп ..., хд)— ^-мерная случайная величина с вектором средних (0, ...,0) и ковариационной матрицей П^уП, где ац^а2 и а,у = о2р. Показать, что
Р (max | ха | ^ <=) ^^2 [(А- 0 Н^+УНТаП]
— результат, принадлежащий Олкину и Прэтту (1958).
Показать, что если два случайных процесса (хп х2, • ••) и (yD у2,...) сходятся по вероятности соответственно к случайной величине х и положи? тельной константе с, то имеют место четыре утверждения 4.3.6а: (4.3.18k (4.3.19), (4.3.20) и (4.3.21).
Доказать, что если (хи х2, ...)—последовательность случайных величин с ф. п. в. (Л (х), /2 (х), ...), причем lim /а (х) =/(х) для всех х £ Rb за исключением, быть может, множества их вероятности 0, где f (х) — также некоторая ф. п. в., то
Нт ( /а (х) dx = ( / (х) dx« —со £%
равномерно по множествам Е aR. Этот результат принадлежит Шеффе (1947/. Следует отметить, что условия теоремы Шеффе сильнее, чем условия теоремы 4.3.4. Рассмотрение различных условий сходимости распределений и их сравнение были осуществлены Роббинсом (1948).
Пусть случайный процесс (х, хп х2, ...) таков, что (хп х2, ...) сходится по вероятности к случайной величине х и ^ (х), g^ (х), ...—последовательность непрерывных функций, сходящаяся равномерно к функции g (х) в некотором ограниченном интервале. Показать, что (^ (х),^ (х),...) есть случайный процесс, который сходится по вероятности к величине g (х).
Пусть хь ..., хп—независимые случайные величины. Положим Л = ^п ^2 = ^i + х2, • • • > Уп = ^i + • ♦ • + хп и обозначим через F^ ^у^ к. ф. р. величины 6= 1, ..., п, а через F^y^ ..., у^— к. ф.р. величины (уп ... ,уЛ).
Показать, что
F^i> — , Уп^Р^) ... Fn(yn)
— результат, принадлежащий Роббинсу (1954).
Доказать теорему 4.3.7.
ГЛАВА 5
ХАРАКТЕРИСТИЧЕСКИЕ И ПРОИЗВОДЯЩИЕ ФУНКЦИИ
Случай одномерной величины
Одним из наиболее важных классов задач в математической статистике является класс задач на отыскание функций распределения измеримых функций случайных величин, т. е. таких функций случайных величин, которые сами суть случайные величины. Несколько методов исследования подобных задач было представлено в § 2.7. Однако часто эти методы технически трудны, чтобы их применять в конкретных случаях. В то же время отдельные ситуации, в частности включающие линейные функции независимых случайных величин, можно изящным образом исследовать, вводя характеристические функции данных функций рассматриваемых величин. Характеристические функции и связанный с ними аппарат в некоторых случаях оказываются полезными при решении таких задач, как задача воспроизведения моментов и кумулянтов распределений, а также задача проверки гипотезы независимости двух или более функций случайных величин. Настоящая глава будет посвящена методу характеристических функций и его приложениям.-
Характеристическая функция ср (О случайной величины х, имеющей к. ф. р. Р(х), определяется следующим образом:
$ e»*dF(x\(5.1.1)
--со
где i = )/—1 *) и t— вещественное число. Иногда удобно говорить, что ср(^) является характеристической функцией, соответствующей Р(х), и-ти, более кратко, характеристической функцией величины х.
Так как
e\tx — cos fx _|_ j Sjn fx
и обе функции cos tx и sin tx интегрируемы по пространству Нъ т° ф(£) есть комплексное число, вещественная и мнимая части которого конечны при любом значении t.
и *) На всем протяжении этой книги мы обозначаем V—1 через i, чтобы вбежать путаницы в связи с использованием в различных параграфах кур- ^ивной буквы i в качестве индекса суммирования.
Производящая функция моментов ф(£) определяется соотношением/ ? \
ф (0 = &(/*)=?(-[).(5.1.2)
Обычно мы интересуемся значениями ф(^) в некоторой окрестности точки ^ = 0. Но в отличие от ф(£) функция ф(£) при всех значениях t существует не для каждой к. ф. р.
Производящая функция факториальных моментов 0(£), если она существует, получается из (5.1.2) путем замены t на In ^, т. е.
9(0 = ф(1п^) = §(О.(5.1.3)
Если случайная величина х дискретна и ее точки сосредоточения массы суть целые положительные числа, то 9 (0, если она существует, также называется производящей функцией вероятностей случайной величины х. Ибо если 8 (£) разлагается в ряд по степеням t, то коэффициент при Iх равен р (х), представляя ф. в. величины х.
Если г-й момент р-Дх) существует, то мы можем продифференцировать функцию (5.1.1) h раз по переменной t и получить
(t) = j» ^ xhe«xdF (х).(5.1.4)
— ОО
Отсюда мы находим, что
=0<h=^r.(5.1.5)
Кроме того, для удобства положим ср(0) (f) = ср (£).
Аналогичным образом, если ф(£) существует при всех значениях t в некоторой окрестности нулевой точки, мы имеем
^(х) = ф(л)(0).(5.1.6)
Если все моменты величины х до порядка 2s включительно существуют, мы можем записать
оо2s— 1
ср(^)= ( I 1 + У Н^^чт (cos f х-|- i sin tn x)l dF (yc\
T v 7 j 1 h\ 1(2s)l v17J 4 7
— ооA— 1
(5.1.7)
где f и f' — числа, принадлежащие интервалу (0, ty Если теперь случайная величина х не является вырожденной, то ^ Ф 0 и, следовательно,2s — 1.,
^^= I + 2s>’(5-L8)
где gx(t, s)— комплексная функция, вещественная и мнимая, компоненты которой соответственно равны ' средним значениям $ xts cos fх j4-j и g ^№J sin t"x^y Ясно, что |gi(^ s)|^l*
Более того, поскольку оба числа, f и t”, лежат в интервале (0, /), lim g\ $) = 1.
Точно так же, если существуют все моменты до порядка (2s— 1)
включительно, мы можем написать
^=1<5Л-9)
где gi (^ s) — комплексная функция, вещественная и мнимая компоненты которой соответственно равны g ( x2s-1 cos tx х и
\v2s—1J
g/^x2^1 sin^x —], причем числа tx и ^s"-1 принадлежат интер-
\^S — 1 /
валу (0, 0 и ^2s—1 есть определяемый формулой (3.3.13) абсолютный момент порядка (2s—1), отличный от нуля, если х— невырожденная величина. Снова мы имеем | g^ (f, s) | ^ 1 и, сверх того, lim g^ (t, s) =
= —•, где этот предел, разумеется, конечен.
N2s- 1
Независимо от того, является момент самого высокого порядка четным или нет, мы можем утверждать следующее:
Если r-й момент случайной величины х существует, то в некоторой окрестности точки ^ = 0 функцию <?(£) можно представить в виде
г
-?(<)=1 + 2 -^!^ + о(П,(5.1.10)
h=\
lim —^ = 0.
Если представление (5.1.10) функции <p(f) законно, можно получить аналогичное представление логарифма этой функции
г
^(0=2 ^ ю)А+<чп. <5лл1)
А=1
Величины хл, первоначально введенные и изученные Сайилом (1903), называются семиинвариантами или кумулянтами к. ф. р. F(x).
, Заметим, что любой семиинвариант хА есть полином относительно Н> 14, ..и наоборот. Например,
Xi = р.; = р.,
хз = Рз — 3№i + 2 (р.^3,
Обратно,Обратно,Н = хн
Обратно,
Обратно,
(5.1.13)(5.1.13)1*9 = *9+ 4
(5.1.13)
(5.1.13)
1*3 ~ х3 Ч~ 3x^2 -|- Хр
Существует много задач в теории вероятностей и ее приложениях, особенно в теории выборочного метода, в которых совсем просто определить характеристическую функцию данной функции компонент многомерной случайной величины, в частности линейной функции. Возникает естественный вопрос: как найти к. ф. р. случайной величины по ее характеристической функции? Во многих случаях ответ на этот вопрос может быть дан следующей теоремой, принадлежащей Леви (1925):*
Пусть х — случайная величина, имеющая характеристическую функцию ср (0 и к. ф. р. F(x). Тогда, если х==У±8, 8 )> О — точки непрерывности функции F (х), то
А
F(x* — ^ = lim - ((5.1.14)
A^co ” J ‘
— A
oo
Кроме того, если выполнено условие ^ | ср (^) | dt < оо, то в точ- — оо
ке х = х' существует ф. п. в. f(x), причем
(5.1.15)(5.1.15)f (У) = А- ^ е ~ ‘tx’ <р (£) dt.— 00
(5.1.15)
(5.1.15)
Чтобы доказать эту теорему, рассмотрим интеграл в правой части (5.1.14) и заменим в нем функцию ф(^) ее интегральным выражением согласно (5.1.1). Пусть
A-f-oo'
0(х', А, 8) = ™^ -^L^-i/x’^ e^dF^dt. (5.1.16) — А—оо
Так как | ^^eu(x'~-v) | <3, мы можем изменить в (5.1.1G) порядок интегрирования и переписать эту формулу в виде
оо
Q(x', Л, 3) = ^ т^х, х\ Л, ^dF^xy
(5.1.1Я(5.1.1Я—оо
(5.1.1Я
(5.1.1Я
гае,
„(,. 3 A l)=4 ^=^-«i»—-idt =
— А А ,
= — \ —^— cos [7 (х — х)] at =
АА
= 1С jm^^+^L_ 1 С jinCr-£-8)£ ^
Л Jtл Jх 7
ОО
Если теперь перейти к пределу при Д->оо, то
lim G(x', А, 8) — $ limm(x, х', A, S)dF(x). (5.1.19)
Л-*оо„ооЛ-юо
V
С sin и , л
Но, используя известное соотношение hm \—-—a?z=—, можно V—► ОО j
показать, что ' 0, х<^х'— 8, х^>х'-)-о,
lim mix. x', A, 8)= x = x*— 8, x = x'-p^ (5.1.20) Л-*оо
. 1, x— 8<^x<^x'-]-8-
После подстановки найденных значений lim^z(x, х\ А, 8) в
Л-*оо
и учета непрерывности функции F (х) в точках х = х'±8, мы получаем
х* +б
lim G (У, Д, 8)= \ dF (х) = F (х* + 8) — F ^х? — 8),
А-оод.,18
что доказывает формулу (5.1.14).
Далее, деля обе части (5.1.14) на 28, мы имеем
^V^1±^TL^Zl1)= 1 F ^Le-\w ^^dt.(5.1.21)
zo2л J ot‘
— 00
Очевидно, I ~^-- в"1/др' <p (О <C I ? (О I- В таком случае, если
СО1’
$ 1?(0|^<ОО,И, кроме того, функция F\x) обладает в точке
— оо"
^^х' производной /(х'),
оо
.Im [0^1^1=31= ‘ ( ||га (S^-\«-»^mdL
— ОО
5 С. Уилкс
Но lim = l и, следовательно,
ОО
^^ = ^ ^ 6-Ux>^dt.
— ОО
что совпадает с формулой (5.1.15).
Если две случайные величины xv и х2 имеют одинаковые к. ф. р., то ясно, что их характеристические функции также одинаковы. Обратно, пусть случайные величины имеют одну и ту же характеристическую функцию ср (fy Тогда, если Рг (х) и F^ (х) суть к. ф. р. этих величин и [х'— 8, а/4*8]— любой интервал, на концах которого обе к. ф. р. непрерывны, из формулы (5.1.14) следует, что
F. (х' + 8) - Л (х' - 8) = F2 (х' + 8) - F^ (x' — 8).
Вместе с нашим соглашением считать все к. ф. р. непрерывными справа это приводит к тождеству (х) = F2 (х).
Таким образом, имеет место теорема.
К. ф. р. двух случайных величин xt и х^ совпадают тогда и только тогда, когда совпадают характеристические функции этих величин.
Это взаимно однозначное соответствие между к. ф. р. и характеристическими функциями весьма полезно для теории вероятностей, так как составляет основу, с помощью которой к. ф. р. можно опознать по соответствующим им характеристическим функциям.
Пример. Пусть хь ..., хк— статистически независимые случайные величины, имеющие ф. п. в.
/(л-п .... л>) =/(л-п .... л>) =- 5 xt
/(л-п .... л>) =
/(л-п .... л>) =
е le=1> х^О, i = 1, ..., k,
0в противном случае.
Положим L= ^ Xi и найдем моменты и ф. п. в. величины L. i = l
Характеристическая функция величины L равна
оо co S **/ i **/
11 dxx ... dxk = (\ — \tyA (5.1.22)
Применяя (5.1.5), мы получаем момент r-го порядка
^г^гГ (А)Г (А)
^г
^г
Г (А)
Г (А)
Ф. и. в. величины L согласно (5.1.15) дается выражением
Чтог интеграл можно вычислить путем контурного интегрирования в ком- Щенсной плоскости. Сделаем преобразование
z=— L(l —iZ).
f(L)=Lk-xe~L Н,f(L)=Lk-xe~L Н,Тогда
f(L)=Lk-xe~L Н,
f(L)=Lk-xe~L Н,
где // — интеграл Ханкеля,
(5.1.24)(5.1.24)Уиттекер и Ватсон (1946).]Уиттекер и Ватсон (1946).]— L — ioo
(5.1.24)
(5.1.24)
Уиттекер и Ватсон (1946).]
Уиттекер и Ватсон (1946).]
-£+1оо
значение которого равно р-^у. [См., например, Следовательно, ф. п. в. величины L имеет вид
(5.1.25)(5.1.25)«"Ж1''''"* £э=0'
(5.1.25)
(5.1.25)
f(L)=O,КО.
Случай ^-мерной величины
Допустим, что (xv ..., х^ — A-мерная случайная величина, имеющая к. ф. р. F (xv..., х^. Характеристическая функция <р &,•.. > ^) величины ^хъ ..., хк^ определяется формулой
А?№> .... Q = ^ [exp(i Х^')^1 = 1
= $ ехрА 2 ttxAap^Xvxk\(5.2.1)
Формула
Ф&>^) = =р^^(5.2.2)
определяет производящую функцию моментов величины (хр. ..,хл).
Подобно предыдущему, заменяя в (5.2.2) ^ на In ^, Z = 1, . •., 6, мы приходим к производящей функции факториальных моментов
Если смешанный момент ^ь..., Гд существует, он может быть получен в результате дифференцирования функции <? (^,..., £Д именно,
(5.2.3)(5.2.3)_(р(г1+-+гА) (00)
(5.2.3)
(5.2.3)
^Г1rh ~i^+-+^
Если р^г^ существует, то также существуют все смешанные мо- менты р!^нк> где 0<й^г, Z=l, ..., к.
Следует заметить, что характеристическая функция любого 'подмножества компонент случайной величины (xv ..., х^ получается из характеристической функции этой величины приравниванием нулю б*
значений tb соответствующих компонентам, не входящим в данное подмножество. Например, характеристическая функция случайной величины ^xv ..., хк1\ ^j<^^, есть ср(^, ..., t^, 0, ..., 0).
Распространение теоремы Леви на случай £ величин несложно. Мы сформулируем его следующим образом.
Пусть (xv, ..., хк)— к-мерная случайная величина с характеристической функцией ф (tb ..., t^ и к. ф. р. F (xv ..., х^. Обозначим через 1к интервал в пространстве Rk, задаваемый системой неравенств X;—В <^Х; ^x'i 4-8, Z=l, ..., к, 8>0, и предположим, что функция F (xv ..., хк) непрерывна на границе этого интервала. Тогда
Р ((Xv ..., х^) £ 4) = А А к
= Пт,-^ $ ... $ Д [^- е"1 ^] ф &,..., tk) di,... dtk. (5.2.4) — А—A 2 = 1
Кроме того, если выполнено условие J |ф(4,...,<>)|^-»-^а<С
<со, то в точке (хр ..., хк^ существует ф. п. в. f{xY, ..., х^, причем*
f (xv ..., Х^ =
оо оок
= 'хУ $ • • • S exp (— i 2 ti^i ) ? №, • • •, tk) dt,... dtk. (5.2.5) — 00 — COZ = 1'
Доказательство теоремы 5.2.1 аналогично доказательству теоремы 5.1.2 и потому опускается.
Теорема 5.1.3 о взаимно однозначном соответствии между к. ф. р. и характеристическими функциями может быть распространена на случай ^-мерных величин без каких-либо новых трудностей.
Характеристические функции независимых случайных величин
Характеристические функции иногда используются при выяснении вопроса о независимости двух случайных величин, позволяя избежать предварительного определения соответствующей двумерной к. ф. р» Приведем основной результат, на который при этом опираются.
Пусть (xv х3) — двумерная случайная величина и ф (4,4)— ее характеристическая функция. Величины xv и х^ независимы тогда и только тогда, когда выполнено условие
ф(^ ^) = ф&, 0)ф(0, t,).(5.3.1)
Заметим, что ф (tv 0) есть характеристическая функция величины xv а <р (О, Q— характеристическая функция величины ха. Удобно обозначить ф(^, 0) и <р (0, ^ соответственно через ф^^) и фа(^-
Чтобы убедиться в необходимости у слоям (5.3.1), мы предположим, что величины х^ и х2 независимы, т. е. F(Xj, x2) = Fx(x1)F2(x2). Тогда*
ср Д, t^ = J ^ixi+^2 dF (xv х2) = J e*Mi -№*2 d [Fi (x^ F2 (x2)] =
/?2Ra
= | ^1*1 dFx fo) J e1^ dF^ (x^, (5.3.2)
—oo—oo
иначе
?№>^) = ?i(^)?a(^).
Теперь покажем достаточность. Предполагая, что условие (5.3.1) выполнено, мы согласно формуле (5.2.4) при ^ = 2 имеем
Р(х\~ S^Xi^x'i-Vk, /=1, 2) =
А Л 2,
= lim -V t t Ш-^^П?^^^
2Л_
=П 1Ит т ^г Vi ^ ^ Ц • <5-3-3) LA — ooJ LiJ
х = 1—А
Или, в другой записи,
р «Xv х.) Ек) = Р to е Л”) Р to € ^’У(5.3.4)
где /^ есть интервал Хг — В/ <Xi ^ х< -^ 8/, Z=l, 2, и /2 — декартово произведение /^ X Л2’- Формула (5.3.4) приводит к соотношению
F(xv xi)z=F1(xl)Fi(xi),
из которого по теореме 2.4.2 вытекает независимость xt и х2.
Распространение теоремы 5.3.1 на любое (конечное) число случайных величин очевидно и предоставляется читателю.
Другое полезное свойство характеристических функций независимых случайных величин связано с рассмотрением линейных функций этих величин. Главный результат в этом направлении, который легко может быть проверен читателем, дается следующей теоремой.
Пустьи
L = ^ ctxt(5.3.5)
/=1
— линейная функция k независимых случайных величин хр ... • •. , хк. Пусть ср (0 — характеристическая функция величины L и ?t№) — характеристическая функция величины xb Z=l,..., к. Тогда.л
У(О = П<Р.(^).(8.3.6)
1—1
Предположим, что Xj и х2 — независимые случайные величины, которые имеют соответственно к. ф. р. F (х^ 9)) и F^x^ 93), где 9Х и 62 — значения параметра 6. Обозначим через L случайную величину Xi-|-x2. Тогда, если к. ф. р. величины L равна F (Ц 914"^)> то к. ф. р. F^x, 9) называется воспроизводящей по 9. Подобным же образом можно говорить, что ф. в., ф. п. в. или распределение, зависящее от 9, являются воспроизводящими по 9. Воспроизводимость представляет важное свойство, которое часто будет использоваться в более поздних главах. Понятие воспроизводимости можно без труда распространить на тот случай, когда либо величина х, либо параметр 9, либо и то и другое многомерны. В терминах характеристических функций можно сформулировать следующий полезный критерий воспроизводимости к. ф. р.
Пусть хх и х^ — независимые случайные величины, имеющие соответственно к. ф. р. F(xx;8x) и F(yc^ 92) и характеристические функции ср (f; 9j) и ср (f; 92), где 9Х и 92 — параметры. Для того чтобы функция F(x; 9) была воспроизводящей, необходимо и достаточно выполнение условия
?№ 61) ?№ 62) = ?tt 6i + 62).(5.3.7)
Доказательство этой теоремы несложно и предоставляется читателю.
Характеристические функции последовательности случайных величин
Как мы указали в § 4.1, одной из важных задач в теории вероятностей, а также в ее приложениях к теории выборочного метода и другим близким разделам статистики является задача сходимости по вероятности последовательности случайных величин. Так как к. ф. р. единственным образом определяются характеристическими функциями, задача сходимости по вероятности последовательности случайных величин часто может быть с большей легкостью решена ’ путем рассмотрения сходимости соответствующей последовательности характеристических функций, нежели путем непосредственного рассмотрения к. ф. р. случайных величин. Применяемый здесь фунда- ' ментальный принцип выражается нижеследующей теоремой, принадлежащей Леви (1937) и Крамеру (1937).
. Пусть (х1? х2, ...) — некоторая последовательность случайных величин и cpi(O> ?з(0> ••• — соответствующая последовательность характеристических функций. Последовательность (хп х2, ...) сходится по распределению к случайной величине х тогда и только тогда, когда при любом t последовательность ?i (О* ?з (0> • • • сходится к пределу ср (О и предельная функция ' непрерывна в точке t = 0. При этом условии предельная функция \ <р(0 совпадает с характеристической функцией величины х.
Сначала покажем, что условие теоремы необходимо. Пусть Fx ^х^ р. (х), .•• —к- Ф- Р- соответственно величин хх, х2, ... и F(x) — к. ф. Р- величины х. Предположим, что последовательность (хь х^ ...) сходится по распределению к величине х. Мы должны установить, что при любом t lim ^п (f) = у (t). Очевидно, можно написать п-*оо
срп(^)=cos tx dFn (х) -]- i J sin tx dpn (x).(5.4.1)
Так как cos tx для каждого t есть ограниченная функция от х ^ (— оо, -ф- оо) и, кроме того, последовательность Fx (х), F^ (х),... сходится к к. ф. р. Р(х) в каждой ее точке непрерывности, то по теореме Хелли — Брея [см., например, Лоэв (1955)]
сооо
Нт § cos tx dFn (х) = § cos tx dF (x).(5.4.2)
n ^OO —CO—oo
Подобным же образом мы находим
ОО00
lim ^ sin txdFn (х) = ^ sin tx dF (х).(5.4.3)
/1->ОО_оо—QQ
Но (5.4.2) и (5.4.3), взятые вместе, эквивалентны соотношению lim e^xdFn(x) = eVxdF (х)>
а это й означает, что
lim ^n(t) = (?(().
Теперь рассмотрим достаточность условия. Пусть lim ^ntt^ = n-*oo
= <р(0 при любом t и функция cp(f) непрерывна в точке ^ = 0. Можно показать [см., например, Крамер (1946)], что последовательность к. ф. р. Fx(x\ Р^(х\ ... всегда содержит подпоследовательность Fnt(x\ Fn^(<x\ ..., которая сходится к неубывающей непрерывной справа функции F(x) в каждой ее точке непрерывности. Наша ближайшая задача состоит в том, чтобы убедиться, что функция F(x), обладающая указанными свойствами, удовлетворяет и остальным условиям, налагаемым на к. ф. р., именно, F(— оо) = 0 и ^(4-00)= 1. То, что 0^Р(х)^1, сомнений не вызывает.
С помощью аргументов, аналогичных использованным при доказательстве формулы (5.1.14), можно показать, что для с^>0
с0оо
с [~ $ ^ О) ^ - т $ F"i W <4=4 $(О di. (5.4.4)
О—с—оо
Следует отметить, что если в первом интеграле слева у рассматривается как случайная величина непрерывного типа, имеющая ф. п. в., равную у в интервале (0, с), то Рл<(у) будет случайной величиной, зависящей от параметра п^ Так как последовательность Рп (х), РП2 (х), ... сходится к f(x) в каждой точке непрерывности последней и все значения этих функций заключены в интервале [0, 1], мы имеем
сс
lim Т(F(j?)dj>.
<—*оо С XX
Точно так же
оо
lim Т F„(y)d.y = l F(y)dy.
/-►ОО С JL J
— С— С
Аналогичным образом можно оправдать и переход к пределу при /—> оо под знаком интеграла в правой части (5.4.4). В результате из (5.4.4) вытекает сОоо
С[1 ^ F^dy — $ FO)^] = 1 $ Lz^^dt (5.4.5) бС—00
Полагая t = ~ и деля обе части (5.4.5) на с, мы получаем
с0оо
1 С п / \ j ’11 г^ / х л 1 fl COS И IЧ \ л
— \F(^d^ — -\F^d\) = -\ -5— <р -\du. (5.4.6)
О—с—оо
Устремим теперь с к бесконечности. Поскольку Р(у)— неубывающая функция, предел левой части (5.4.6) равен F(-|-oo) — — Р(— оо). Далее, так как ср(£) непрерывна в точке t = 0, мы имеем lim ср (—) = ср (0) при всяком и. Но последовательность срх (fy ср2 (^),... всюду сходится к ср(£). В частности, lim ср„ (0) = ср (0). Замечая, что Л-►ОО
при любом п срд(0)=1, мы находим ср(0)=1. В итоге переход к пределу при с-^оо в формуле (5.4.6) дает нам соотношение
F(4-oo) — F( — оо) = 1X”c^-“-du=1.(5.4.7)
—00
Так как функция f(x) неотрицательна, неубывающая и не может превосходить единицу, мы должны заключить, что F(-|-oo)=l и F ( — оо) = 0. Следовательно, F (х) (предел последовательности Fni(^\ РпЛх^ ...) есть к. ф. р., а <р(/) (предел последовательности ?Л1 (0> ?«2 (0> • • •) есть характеристическая функция этой к. ф. р. С другой стороны, пусть какая-либо другая подпоследовательность
последовательности F^ (х), F^ (х), ... сходится к некоторой неубывающей функции, которую мы обозначим через F*(x), в каждой ее точке непрерывности. Тогда, повторяя предыдущие рассуждения, можно показать, что F* (х) есть к. ф. р., а ср (О есть ее характеристическая функция. Вследствие того, что F(x) и F*(x) оказываются к. ф. р. с одинаковыми характеристическими функциями, по теореме 5.1.3 они обязаны совпадать, F (х) = F* (х). Это означает, что каждая сходящаяся подпоследовательность последовательности ^(х), F%(x\ ... сходится к к. ф. р. F(x\ что, разумеется, эквивалентно сходимости к F(x) самой последовательности Рг (х), F^ (х),... Последние аргументы завершают доказательство теоремы 5.4.1.
Приведем следствие теоремы 5.4.1, представляющее интерес при решении задач, в которых требуется установить сходимость по вероятности к константе.
а. Условие, необходимое и достаточное для сходимости последовательности случайных величин xv х^, ... , имеющих соответственно характеристические функции срх (f), у3 (fy ... , к константе с, заключается в выполнении предельного соотношения Пт ^n^ = eXct. п-*со
Нетрудно получить A-мерные аналоги теорем 5.4.1 и 5.4.1а. Их формулировка и доказательство предоставляются читателю.
Определение функций распределения моментами
Определение к. ф. р. последовательностью моментов. В § 5.1 было показано, что моменты функций распределения, если они существуют, можно найти путем дифференцирования характеристических функций; формула (5.1.10) выражает связь между характеристическими функциями и теми моментами, которые действительно существуют. Однако иногда моменты к. ф. р. случайной величины могут быть более эффективно найдены методами, отличными от дифференцирования характеристической функции. Имеется ряд ситуаций, где последовательности моментов случайных величин и функций случайных величин легко определяются тем или иным способом. С этими ситуациями мы встретимся в дальнейших главах. Но основной вопрос заключается в следующем: при каких условиях последовательность моментов р,р р.3, ... случайной величины х единственным образом определяет к. ф. р. этой величины? Ниже формулируется полезный Достаточный критерий, принадлежащий Крамеру (1946).
^оЧ" Ф- Р;^оЧ" Ф- Р;1. Пусть F (х)— к. ф. р. с моментами р^ г —0, 1, 2,..., из которых конечен. Если при некотором с^й ряд сходится абсолютно, то Р^х) является единственной обладающей указанными моментами.
^о
Ч" Ф- Р;
^о
Ч" Ф- Р;
Исходя из определения (5.1.1) характеристической функции, соответствующей F (х), мы подобно формуле (5.1.7) можем написать
ООп— 1
?е+«)= St1+2
—ООГ = 1
4* хп (cos и’х 4~ i sin n"x)J eUx dF(x\ (5.5.1) где и* и и” — (вещественные) числа, лежащие в интервале (0, ы). Если п-й момент существует, можно теперь воспользоваться (5.1.4) и получить
п—1, „
^WW2^(5.5.2)
г=0
где q— комплексная функция, причем |^|^Ь и <п — д-й абсолютный момент величины х. Пусть п четно. Тогда Vn = ^’,u и из пред- <пип
положения нашей теоремы вытекает, что -^j— q -> 0, если | и | < с и п->оо. Рассмотрим, далее, остаточный член при нечетном п. Заметим, что для любого вещественного X
Г/1 — 1/г 4-И2
• ФИ 2 + W 2 J = ХЧ-1 + 2Х^ + ^+1^0, (5.5.3) т. е. мы должны иметь’
v« ^<_1<+ь(5.5.4)
Но в таком случае можно написать
(3.5.5)
п\ L\(«—1)1/\("+1)!)\ П )\41
Так как Vn_\ = p.’n_\ и v^i = p.n_|_i, правая часть этого неравенства стремится к нулю, когда п-^со. Тем самым стремится к нулю и остаточный член в формуле (5.5.2), когда п-^оо (п четно)., Следовательно,
ОО
(pP + ^l + ^cp^tO,(5.5.6)
г=1
причем ряд сходится по крайней мере для |г4<^. Полагая ( = 0 и используя (5.1.5), мы находим соотношение
ОО ,
?(Н)=1+ 2 £»г>(5.5.7)
г=1 ’
которое означает, что для значений | и | <^с функция <р (гг) единственным образом определяется моментами р4- С помощью процесса ана-
литического продолжения можно показать, что формула (5.5.7) имеет место для всех значений и. В самом деле, например, в точке и = = ^^-с существуют и могут быть вычислены из (5.5.7) все производные функции ср (и). Тогда при |м|<^г функции ?^С~Н^ и ? (—^С-Нн) можно единственным образом представить в виде ряда (5.5.6), где t соответственно равно ^с и —-с. Последнее рав- посильно утверждению, что (5.5.7) справедливо при |иКу£. Последовательно продолжая эту процедуру, мы, очевидно, придем к заключению, что (5.5.7) имеет место для всех и. Таким образом, в условиях нашей теоремы характеристическая функция единственным образом определяется всей последовательностью моментов, а характеристическая функция в свою очередь единственным образом определяет к. ф. р. F(x\ Теорема 5.5.1 доказана.
Приводимое ниже следствие теоремы 5.5.1 представляет интерес при решении вопроса об определении к. ф. р., заданных на конечных интервалах, последовательностью моментов соответствующих распределений.
(а) Если х— ограниченная случайная величина, то ее к. ф. р. F (х) единственным образом определяется своими моментами p,n r = 0, 1, 2, ...
Если х — ограниченная величина, то найдутся такие конечные числа а и Ь, а<^Ь, что F(a) = 0 и F(0=1. Обозначив через Л1 наибольшее из чисел | а | и | b |, мы имеем
ь
| р,' | ^ $ | х |r dF (х) = Vr ^ МГ(5.5.8)
а
И
Поскольку величина справа в (5.5.9) конечна при всех значениях с, достаточное условие теоремы 5.5.1 оказывается выполненным, что Доказывает нашу теорему.
Обобщая теоремы 5.5.1 и 5.5.1а, можно указать условия, при которых к. ф. р. ^-мерной случайной величины (хъ ..., х^ единственным образом определяется моментами р,^Гд. Формулировка и Доказательство этих обобщений предоставляются читателю.
(Ь) Определение предела последовательности к. ф. р. моментами. Допустим, что (хъ х^ ...) есть последовательность случайных величин, у которой заданы последовательности моментов каждой компоненты. Существует ли простой критерий, основанный на этих
моментах, для того, чтобы решить вопрос о сходимости по распределению последовательности (хь х^ ...) к некоторой случайной величине х? Простая теорема Кендалла и Рао (1950), касающаяся сходимости по распределению к некоторым к. ф. р. подпоследовательностей последовательности (х^ х^, ...) и использующая только моменты второго порядка, может быть сформулирована следующим образом:
2. Пусть р2 (х^ — второй момент п-й компоненты последовательности случайных величин (хь х^ ...). Если для п= 1, 2,...
|^)<К<оо,(5.5.10)
то всегда существует подпоследовательность данной последовательности, которая сходится по распределению.
Докажем эту теорему. Пусть Fn(x) означает к. ф. р. величины хп. Так как для любого Xj^g
ОО— .ViОО
К>^^^ = $ x4F„(.x)^xa1 $ dFn(x)-^x4^ dF„(x), (5.5.11) — ОО— ООXj
мы можем записать
^>^(-*i)+l-^(*i),л=1,2,...(5.5.12)
Следовательно, для данного е^>0 можно выбрать такое xt^>0, что 1—[^(х)— Fn(—х)]<^е для всех п, если только x^>xv Далее, последовательность к. ф. р. Fx (х), F^ (х), ... всегда содержит подпоследовательность, которая сходится к некоторой неубывающей функции О(х) во всех ее точках непрерывности [см., например, Крамер, (1946)]. Ясно, что при x^Xi мы имеем 1 — [О(х)— О(—х)]<е, откуда О(—оо) = 0 и Q(4-oo)=±l. Таким образом, G(x) сама есть к. ф. р., т. е. действительно некоторая подпоследовательность последовательности (хп х2, ...) сходится по распределению к случайной величине.
Предположим теперь, что для каждой компоненты хп последовательности случайных величин (хь х2, ...) мы имеем полную последовательность моментов р^(хл) = р^п, r = 0, 1, 2, ..., причем все эти моменты конечны и Нт р^д = р^, r = 0, 1, 2, ..., где последо- л-*оо'
вательность пределов р,, r = 0, 1, 2,..., единственным образом определяет к. ф. р. F(x\ Спрашивается, какие условия будут гарантировать сходимость по распределению последовательности (хъ х^ ...) к случайной величине х, имеющей к. ф. р., тождественную с F (х)?
Ответ на этот вопрос дается теоремой, принадлежащей Кендаллу и Рао (1950).
3. Пусть каждая компонента хп последовательности случайных величин (xv х2, ...) имеет конечный момент r-го порядка р^л, r = 0, 1, 2, ..., и Нт р^л = р^, где все эти числа также ’п-*оо
конечны. Тогда, если (xv х8, ...) сходится по распределению к F (хУ ' |ij, • • • представляет собой последовательность моментов F(x). Обратно, если эта последовательность моментов единственным образом определяет некоторую к.ф.р. F(xy последняя является предельной для (хь хъ ...) в смысле сходимости по распределению.
Чтобы установить теорему 5.5.3, мы сначала допустим, что последовательность ^Xv хъ ...) сходится по распределению к некоторой к.ф.р. F^xy и покажем, что ^= Нт |хДл, г=1, 2, ..., являются п-*оо
моментами F(x\ Другими словами, мы должны доказать, что если рп (х) — к. ф. р. величины хп, п = 1, 2, ..., то
Нт |x^F^x^— $ xrdF(x)\ = 0 для r = l, 2, ...(5.5.13)
д—>СО —QQ—оо
Заметим, что для любого К2>0 ОООО
I 5 xrdFn^- $ x^F(x)|<A4-^2+X3, — ОО—ОО
где
кк
Л = К х^Рп (х) - ^ xrdF (X) I, - -к-к
Л = | $ xrdFn(x)\,(5.5,14)
Ек
Л3 = | ^r<ZF(x)|,
Ек
и Ек есть множество значений х, удовлетворяющих неравенству |х|^>^ На основании неравенства Шварца
Л1 ^ ^ ^ dF„ (х) $ dF„ (х),(5.5.15)
ЕкЕк
причем оба интеграла в правой части неотрицательны. Так как моменты р»2г, п при любом г имеют конечный предел, когда п-^оо, первый интеграл является ограниченным относительно п и К. Но Fn (^) -> F (х), когда п->оо,и, следовательно, второй интеграл справа, а вместе с ним и Д, можно сделать сколь угодно малым одновременно для всех п, выбирая достаточно большое К.
Учитывая конечность р-^г и выбирая достаточно большое К, можно сделать сколь угодно малой и величину Л3.
Поскольку Fn (х) -> F (х), когда п->оо, и как р.^>П) так и ^конечны, очевидно, что, каково бы ни было К, величина Д может быть сделана произвольно малой, если только взять достаточно большое п.
Из всего этого мы заключаем, что формула (5.5.13) имеет место и Рч> №» • • • есть последовательность моментов F (х) — к. ф. р., к которой сходится по распределению последовательность (хь х2, ...).
Теперь рассмотрим обратное утверждение. Предположим, что р.^ р^, ... единственным образом определяют некоторую к. ф. р. F (х). Мы должны показать, чго последовательность р/^х), Р^^х\ ... сходится к Р(х) во всех ее точках непрерывности. Из теоремы 5.5.2 мы знаем, что всякая сходящаяся подпоследовательность данной последовательности Рх (х), Р^ (х), ... сходится т< некоторой к. ф. р. и по только что доказанному предельная к. ф. р. должна обладать той же самой последовательностью моментов, именно р»^ р.^, .... Но предполагается, что эта последовательность моментов определяет к. ф. р. единственным образом. Поэтому всевозможные предельные к. ф. р. тождественны с F (х), т. е. с к. ф. р., имеющей моменты p-р р^, ...
Наконец, следует отметить, что условие конечности моментов р^, п при всех п и г можно, не нарушая справедливости теоремы 5.5.3, заменить условием конечности р^ п при каждом г и всех п, ббльших некоторого целого числа п*, возможно -зависящего от г.
ЗАДАЧИ
Показать, что если случайная величина х имеет ф. п. в. (или ф. в.), которая симметрична относительно начала координат, то ее характеристическая функция <р (^) принимает только вещественные значения.
Случайная величина х имеет характеристическую функцию
Показать, что ф. п. в. величины х при любом значении x^Rt равна -^-Г^.
Характеристическая функция случайной величины х равна ^(1_^) п(1— е^) *
Показать, что х является дискретной случайной величиной с ф. п. в. р (х) =— для х= 1,, п.
Показать, что если е 2 —характеристическая функция случайной величины х, то ф. п. в. этой величины равна (2к) де.
Доказать теорему 5.2.1.
Показать, что если хп ..., х^ — независимые случайные величины,' к. ф. р. которых равна одной и той же функции F (х), то характеристическая функция суммы Xi-j-.-. + x^ есть [<р (0]\ где <р (I) — характеристическая функция любой из величин х/, Z=l, ..., к.
Говорят, что случайная величина х имеет распределение Коти (1853), если ее ф. п. в. равна•
— со<л<оо,
где к и [л—вещественные константы и й>0. Показать, что характеристическая функция величины х дается соотношением
^(0 = ^-6!^,
следовательно, если хь ..., хп-—независимые случайные величины, ка- я(дая из которых имеет указанное распределение Коши, случайная вели-
а ? ^ + --‘ + хп) также имеет то же самое распределение Коши.
Используя характеристические функции, показать, что если а'п ...
у — независимые случайные величины в Rv имеющие одинаковые ф. п. в., пменно —1=5 2 , то ту же самую ф. п. в. имеет и случайная величина 4=(х1 + -" + х")-
Пусть х — случайная величина, означающая число бросаний игральной кости, которые-должны быть сделаны, чтобы первый раз получить одно очко. Определить производящую функцию вероятностей 6 (/) этой величины. Исходя из 0 (/), найти среднее и дисперсию случайной величины х.
Пусть х—случайная величина, означающая число бросаний «правильной» монеты, необходимых для к выпадений герба. Показать, что если р(х,к)— к. ф. р. величины х, F(x, к) является воспроизводящей по к.
Показать, что если х—случайная величина, означающая число пик в наборе из 13 обыкновенных игральных карт, то производящая функция веооятностей 6 (Л величины х дается коэффициентом при у18 в разложении
F-Му)18 (1 Ц-у)89А
выражения !’—— по степеням у. Исходя из 0 (f), найти сред- ^52
нее и дисперсию величины х..
Случайная величина х имеет моменты
r=l, 2,
где к > 0. Показать, что ф. п. в. величины х дается выражением
, ч ( х^1 для 0 х 1,
(0 в противном случае
и что это распределение определяется единственным образом.
Показать, что если х—случайная величина, имеющая моменты
А! ’
причем к — положительное целое число, то ф. п. в. этой величины равна
m=4m=4о, хк _х к\ € 1о, хк _х к\ € 1х ^0,х > 0,х ^0,х > 0,
m=4
m=4
о, хк _х к\ € 1
о, хк _х к\ € 1
х ^0,
х > 0,
х ^0,
х > 0,
и это распределение определяется единственным образом.
Пусть х — случайная величина, означающая общее число очков, которые выпадают при одновременном бросании п «правильных» игральных костей. Показать, что производящая функция моментов ф (/) величины х равна ^. А)" (1 _ ety (i _ ^п и что ее распределение является вос- НрОИЗВОДЯЩИМ по и.
В последовательности ^хи х2) ...) случайная величина хп имеет п- в., равную п (1 —х)л-1, если х принадлежит интервалу (0, 1) и равную
нулю в противном случае. Пусть ^п — ^п* Используя характеристические функции, показать, что последовательность (^,^2, •••) сходится по распределению к случайной величине у с ф. п. в.
т=4т=4е^, 0<v<co,
т=4
т=4
О в противном случае.
В последовательности случайных величин (лгп х2, ...) величина хп имеет характеристическую функцию
?»(<>=?»(<>=sin ntntsin ntnt
?»(<>=
?»(<>=
sin ntnt
sin ntnt
Показать, что ф. п. в. величины хп равна — в интервале (—и, и) и 0 в противном случае и,' следовательно, хотя последовательность характеристических функций и сходится к некоторому пределу <р tt\ последовательность к. ф. р. не сходится к к. ф. р. Какое условие теоремы 5.4.1 здесь нарушено? [Крамер (1946).]
Используя характеристические функции, показать, что если хъ ... ..., х^—независимые дискретные случайные величины, причем ф. в. величины Xi равна
PiW = jj—, х = 0, 1, 2, .... ^>0,
то ф. в. случайной величины х=. хг-\-...-\-хп дается формулой
p^=S—1—-х, Z = o, 1, 2,
Последовательность неотрицательных случайных величин (xt) ха,...) такова, что r-й момент величины хп дается формулой
, г\пг(п — г — 1)!_. п
(п—1)!’»>r—1, 2,
Показать, что данная последовательность случайных величин сходится по распределению к случайной величине х, имеющей ф. п. в.
х/0,х^О,
х 'I хе~\ х > 0.
Показать, что это предельное распределение определяется единственным образом.
Рассмотрим случайный ветвящийся процесс, где некоторый объект, может порождать другие объекты, каждый из которых в свою очередь может порождать новые объекты и т. д., подобно тому как это имеет место для самцов (или самок) в последовательно сменяющих друг друга поколениях или для нейтронов в процессе ядерного деления.
Пусть хг—случайная величина, обозначающая число объектов, которые производит некоторый начальный объект (нулевого поколения). Пусть ха — случайная величина, обозначающая число объектов, которые производит каждый из объектов первого поколения. Вообще пусть хпЛА—случайная величина, обозначающая число объектов, которые производит каждый из объектов я-го поколения. Предположим, что ф. в. величин хъ х2, ... тожд^
ственны между собой и равны р(х), х —О, 1, 2, ... Введем случайную величину^— общее число объектов, произведенных в n-м поколении, и обозначим через 6П(^) производящую функцию вероятностей этой величины.
ОО
[Заметим, что 0O(Z) = ^ и 61(£) = ^ ^Pto- Считая все ряды, представляющие производящие функции, сходящимися, показать, что
Оли (0 = 91 [0« (0L
Показать, что если ц—среднее, а о2 — дисперсия величины у^, то 8М = ^П,
°2 Ш=^2> ^=1,
°2 (Уп)=а2^п 1 (l^1—1)/(у—1), ^ 1-
[Харрис (1948).]
казать, что производящая функция вероятностей 0n (t) величины ул даетсяказать, что производящая функция вероятностей 0n (t) величины ул даетсяформулойформулойпричемпричемМ0 = 9?1в*{- 0ИО •••}].М0 = 9?1в*{- 0ИО •••}].{Продолжение). Пусть случайные величины хп ..., хп имеют различные ф. в., например, соответственно рх (х), ..., рп (х). Обозначим через 6^), •••> 0« (0 соответствующие производящие функции вероятностей. По
казать, что производящая функция вероятностей 0n (t) величины ул дается
казать, что производящая функция вероятностей 0n (t) величины ул дается
формулой
формулой
причем
причем
М0 = 9?1в*{- 0ИО •••}].
М0 = 9?1в*{- 0ИО •••}].
8 {Уп)НРз ••• Pti>
где |х1} ..., рп суть соответственно средние величин хи ..., хп.
Установить формулу (5.4.4).
Пусть х—случайная величина с ф. в. р (х) и к. ф. р. F(x). Пусть выборочным пространством этой величины является множество неотрица- оо
тельных целых чисел. Обозначим через 0*^)= ^ tx F{x) производящую х=0
функцию для F {х). Показать, что если 6 (£)—производящая функция вероятностей величины х, то при 1t1 < 1
Показать, что если хп ...» х^ — независимые случайные величины, выборочные пространства которых суть множества неотрицательных целых чисел и производящие функции вероятностей которых равны соответственно 0i (0> •••. 0ft (0> то производящая функция вероятностей суммы xt-V ...Ц-хь есть 0Х (^ ...^b{t).
ГЛАВА 6
НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ ДИСКРЕТНЫЕ РАСПРЕДЕЛЕНИЯ
Цель настоящей главы — представить несколько наиболее важных в математической статистике распределений вероятностей и при этом не только сообщить основную информацию о самих распределениях, но и проиллюстрировать ряд понятий, принципов и методов из предшествующих глав с большей полнотой, чем это было сделано до сих пор посредством примеров. Рассмотренные в данной главе распределения и некоторые их основные свойства будут также использованы во многих местах на протяжении оставшейся части книги. Кроме того, их обсуждение покажет, что, вопреки общим принципам и методам, введенным в более ранних главах, исследование специальных распределений часто требует особых методов и аппарата.
Гипергеометрическое распределение
Случай одномерной величины. Функция вероятности р^х\ приведенная в конце § 2.3 (а), является простым случаем гипергеометрического распределения. Вообще пусть мы имеем совокупность элементов Я, причем каждый элемент принадлежит либо классу С, либо классу С. Обозначим через N-p число элементов, принадлежащих С, и через N- q — число элементов, принадлежащих С; р + q = 1. Предположим, что из П извлекается n(^N) элементов, и пусть х есть случайная величина, означающая число тех из них, которые принадлежат С. Мы хотим найти ф. в. величины х. Всего имеется См различных множеств из п элементов совокупности П и среди них Cn-p-Cn^q будут насчитывать точно х элементов, принадлежащих С.
Следует отметить, что в данных условиях основное выборочное пространство R, рассмотренное в главе 1, состоит из выборочных точек, причем каждая выборочная точка является множеством, содержащим п элементов из П. Событие, описываемое неравенством х^ х\ включает все выборочные точки в R, для которых насчитывается не - более чем х' элементов, принадлежащих С.
Назначая всем выборочным точкам в R равные вероятности, мы получаем следующее выражение для ф. в. величины х:
/NpW Nq \
Р^=^—рГ\ ’(6ЛЛ)
причем точки сосредоточения массы вероятности для х (точки выборочного пространства /^ этой величины) являются целыми числами, удовлетворяющими как неравенству O^x^Np, так и неравенству О Nq.
Функция (6.1.1) называется гипергеометрической функцией вероятности. Будет удобно называть распределение, имеющее такую ф. в., гипергеометрическим распределением H^N, п; р).
Чтобы убедиться в том, что сумма значений р (х) по всей указанной области изменения х равна единице, рассмотрим тождество
(н 4- г/)4^ 5 = (и + г>)л (и 4- ®)в,
где А и В — целые положительные числа. Раскрывая обе части этого
выражения, мы имеемвыражения, мы имеем
выражения, мы имеем
выражения, мы имеем
Так как это — тождество по и и v, коэффициент при и *и в левой части должен совпадать с коэффициентом при иг<иА^в в правой части. Поэтому
(6.1.2)(6.1.2)
(6.1.2)
(6.1.2)
ssгде 5 означает суммирование по всем целым s, удовлетворяющим
s
s
Теперь ясно, чтоТеперь ясно, что(6.1.2а)(6.1.2а)неравенствам O^s^A и О^г—s^B.
Теперь ясно, что
Теперь ясно, что
(6.1.2а)
(6.1.2а)
и, следовательно, сумма значений р^ху распространенная на все выборочное пространство величины х, равна единице.•
Это гипергеометрическое распределение доставляет нам пример распределения, для которого характеристическая функция как инструмент для нахождения моментов фактически ничего не стоит. Но мы можем определить факториальные моменты цр.] следующим довольно естественным способом.
Сначала заметим, что
причем область изменения х совпадает, с указанной для формулы (6.1.2а).
На основании (6.1.2) сумма в правой части равна I у Если мы IN\
разделим (6.1.3) на I я 1» выражение в левой части определит нам
Мн, т. е.
N
п
В частности, мы имеем
№1 = ^№1 = ^r_np(Np~\)№-~2)™ — N(N— 1)
№1 = ^
№1 = ^
и, кроме того, выражения для среднего и дисперсии
(6.1.5)(6.1.5)Р (х) = пр, ае (х) = ^—Y npq.
(6.1.5)
(6.1.5)
Гипергеометрическое распределение является одним из наиболее важных распределений в элементарной теории вероятностей. Оно выступает как основное в связи с вычислением вероятностей в задачах, возникающих в большинстве карточных игр, при извлечении выборок из партий изделий массового производства, среди которых есть дефектные, и из других конечных совокупностей и т. д.
Ф. в. и к. ф. р. гипергеометрического распределения (6.1.1) были табулированы в широких пределах Либерманом и Оуэном (1961).
Случай fe-мерной величины. Распределение вероятностей (6.1.1) может быть обобщено на случай к величин. Пример в конце § 2.5(a) доставляет частный случай двумерного гипергеометрического распределения. Вообще говоря, пусть П есть совокупность N элементов, причем N-Pi элементов принадлежит классу С/, Z=l, 2, ..., ^+1; Р\ Ц-Рз-Н • .-h^+i= 1. Это означает, что классы Q, ... ..., С^х взаимно исключающие, т. е. каждый Элемент из П принадлежит одному и только одному из этих классов. Далее, предположим, что из П извлекается п элементов. Пусть xb х2, ..., хк+1 — случайные величины, обозначающие числа извлеченных элементов, принадлежащих соответственно Q, С2, ..., СА+1. Эти случайные величины линейно зависимы, так как их сумма равна п. Мы можем считать первые к величин xv ..., хк линейно независимыми и (&-]-1)-ю случайную величину хк4д писать в виде п — хх — х^ —... — хк.
Имеется всего I I различных n-элементных множеств, которые могли бы быть образованы из /7, иначе, Cn выборочных точек в основном выборочном пространстве RN. Из этого числа выборочных точек
/Npi \(NPk+i \
... I насчитывают точно xv элементов, принадлежащих
\х / \xfe+l /
Q, ..., ^+i элементов, принадлежащих См. Назначая всем этим ^ ) выборочным точкам равные вероятности, мы получаем следую- тую ф. в. величины (xv ..., хк\.
/Npt \ /Afc^ \
Р (хь =.(6.1.6)
где хк^ = п — xv —... — хк. Это — h-мерная гипергеометрическая функция вероятности. Точками сосредоточения массы (выборочными точками) этого распределения являются те точки пространства Rk с неотрицательными целыми координатами, которые находятся в сим- k
плексе хг^^, 2=1, ..., k, 2 xi^n и удовлетворяют системе i=i
неравенств 0^xi^Npi» 2=1, ..., А-|— 1- Будет удобно называть распределение вероятностей, имеющее ф. в. (6.1.6), h-мерным гипергеометрическим распределением H(N, п; р^ ..., ркУ
Средние, дисперсии, ковариации и моменты высшего порядка распределения (6.1.6) могут быть определены через факториальные моменты. Обозначая факториальный момент ©(х^11 ... х1'^) через цр. 1[/-д], мы находим в результате прямого обобщения метода,
использованного при выводе (6.1.4),
ИМ1М= (N\• <6L7>
\п у
где 0 ^Tt^Npp 1=1, ..., h и rx-\-.. .4-гк^п. Исходя из формулы (6.1.7), можно проверить, что
^х^прь ^{xi) = npi(\—pi)1^Y,'
cov(Xi, Ху) = — пр,ру^у.(6.1.8)
Биномиальное распределение
Допустим, что некоторая «операция» или «испытание» при своем °существлении будет иметь один из двух возможных исходов: С или С. Например, при бросании игральной кости мы можем обозначить Через С выпадение одного очка и через С — выпадение любого дру- г°го количества очков. Предположим, что р есть вероятность исхода ^ и ^ — вероятность исхода С. Тогда p-^-q= 1.
Если «испытание» будет осуществлено п раз, мы получим последовательность, состоящую из п чередующихся исходов С и С. Всего имеется 2Л различных последовательностей; они образуют основное выборочное пространство R, причем каждая выборочная точка представляется одной из возможных последовательностей. Пусть х— случайная величина, значение которой для любой данной последовательности равно числу исходов С в этой последовательности. Если мы предположим, что все п «испытаний» статистически независимы, то вероятность, приписываемая любой из последовательностей, для которой х = х\ будет равна
рх’ .qn-x^(6.2.1)
как это можно увидеть, заменяя в последовательности С на р и С / п\
на q и перемножая полученные числа. Всего имеется I i последовательностей, для которых х = х\ и, значит,
[п \
Р(х = У) =\Л.рх’ -qn-~x', У = 0, 1, ..., и. (6.2.2)
Итак, х есть дискретная случайная величина, ф. в. р(х) которой дается правой частью формулы (6.2.2). Следует отметить, что р(х) представляет собой общий член в разложении бинома (q-\-pT по степеням р и q. Отсюда сумма значений р (х), взятых из (6.2.2), по всему выборочному пространству случайной величины х равна ^-VqY> что, конечно, есть единица, так как p-^-q=L В соответствии с этим распределение, имеющее ф. в. вида (6.2.2), называется биномиальным распределением и будет обозначаться Bi (п, р). (Мы 'используем символ [Bi (а, 6) для обозначения биномиального распределения и символ Be (а, 6) для обозначения бета-распределения, которое должно быть введено в главе 7.) Последовательности независимых испытаний, из которых каждое приводит к одному из двух возможных исходов с постоянными вероятностями, не зависящими от номера испытания, часто называются испытаниями Бернулли по имени Я. Бернулли (1713), изучавшего их впервые.
Характеристическая функция распределения (6.2.2) равнап / \п \
<Р (0 = g ^tx) = > 1e'tx. pxqn~x = (? + pe'T(6-2.3)
x = 0 ' '
откуда, прилагая (5.1.5), можно найти моменты р.^. В частности, мы имеем
У [ = $J21=пр, ^—2-^ — пр (^ 4- пр), (6.2.4) что дает возможность определить среднее и дисперсию распределения (6-2-2)'р.(х) = пр, o4(x) = npq.(6.2.5)
Будем теперь рассматривать п в (6.2.3) как параметр и вместо ср(^) писать ср(^; я). Функция ср(^; п) удовлетворяет (5.3.7), и потому, если Хх и х^— две независимые случайные величины, имеющие соответственно биномиальные распределения Bi (и^ р) и Bi (п^ р), сумма x^Xx-Vx^ имеет биномиальное распределение Bi (nt + п* р\ Интуитивно этот результат очевиден. Следовательно,
Биномиальное распределение Bi (л, р) является воспроизводящим по п.
Необходимо указать на то, что биномиальное распределение (6.2.2) является предельным для гипергеометрического распределения (6.1.1), когда N-xx>. В самом деле, (6.1.1) можно переписать в следующем* виде: -
/л \
nX VqX (6-2.6) /
Отсюда, полагая х и п фиксированными, мы заключаем, что
. 6.2.2. Пределом ф. в. гипергеометрического распределения H(N, п; р) при N-> оо является ф. в. биномиального распределения Bi (п, р).
Поскольку число точек сосредоточения массы для биномиального и гипергеометрического распределений конечно, из теоремы 6.2.2 вытекает, что если Рн(х^Е) и Рв(х^Е) суть вероятности некоторого события Е, вычисленные, исходя соответственно из H^N, п; р) и Bi (л, р\ то lim Рн (х £ Е) = Рв (х £ Е). Для после- ^-► ОО
довательностей случайных величин это означает, что если xN— случайная величина, имеющая гипергеометрическое распределение H(N, п; р), то последовательность случайных величин (хх, х^ ...) сходится по распределению к случайной величине х, имеющей биномиальное распределение Bi (л, р).
Биномиальное распределение является одним из весьма важных распределений в статистике. Как ф. в. (6.2.2), так и к. ф. р. были широко табулированы, причем наиболее обширное табулирование было осуществлено Артиллерийско-технической службой армии. США (1952), Вычислительной лабораторией Гарвардского университета (1955), Национальным бюро стандартов (1949) и Ромигом (1953). *
Мультиномиальное распределение
Теперь предположим, что каждая «операция» или «испытание» будет приводить к одному и только одному из взаимно исключающих событий Сх, ..., Q+i и вероятности, соответствующие этим событиям,
равны ръ ..., jyA+1> где ^1 + - --+^+1= 1- Пусть осуществляется п испытаний. Введем (А 4- 1)-мерную случайную величину (хъ ..., ^+1), компоненты которой хь ..., хкАЛ означают числа испытаний, приводящих соответственно к Q, ..., Q+p Компоненты хъ ..., х&+1 линейно зависимы, так как +—п* Основное выборочное
пространство R состоит из (&~40п выборочных точек, каждая из которых есть последовательность п выборов из множества {Сь ... ..., СА+1}, причем допускаются повторения. Вероятность, связанная с любой выборочной точкой, представляемой хх событиями Сь ..., хкл.х событиями Q+1, есть
p^-.-P^V(6-зл)
а число таких выборочных точек в R. очевидно, равно
Отсюда следует, что ф. в. случайной величины (хь ..., х^ дается формулой
р^,ха=^-^г^*рж <6-3-3)
где необходимо положить хм = п — хх —... — хк и pk.vX = 1 —рх — — ... — рк. Можно заметить, что выражение для р (хь ..., х^ представляет собой общий член в разложении мультинома (pi4*• ••+^+1)" по степеням ръ р^ ..., рклЛ. В соответствии с этим распределение, имеющее ф. в. (6.3.3), называется к-мерным мультиномиальным распределением. Будет удобно обозначить его через Л4 (п; ръ ..., р^. Точки сосредоточения массы для этого распределения, т. е. точки выборочного пространства величины (хъ ..., х^, совпадают с узлами решетки в Rk, содержащимися в симплексе Х/^0, Z = l, ..., к, к
2 Xi^n, иначе, с точками этого симплекса, координаты которых
суть целые положительные числа или нуль.
Характеристическая функция мультиномиального распределения имеет вид
?(^ У = S(X!х.)=
где суммирование совершается по всем точкам выборочного пространства величины (xv ..., х^. Но это просто равно сумме всех членов в разложении мультинома (р^1 ^ 4” • • • +pkev ^ 4“Рь^ по степеням Q>xex zi), ..., (j)kex fy, ркЛ.ъ т. е.
Т (tv ..., tk) = (рхехРкеХ 4“ Pk*i)n-(6.3.4)
Прилагая (5.2.3), мы можем найти смешанные моменты величин хр ... х^ В частности,
(Х;) = npt, О8 (Х,) = npt (1 — р,),
cov(xb х^ =— nptpj.(6.3.5)
Если n в (6.3.4) рассматривается как параметр, то можно доказать, что
Мультиномиальное распределение Л4 (zz; pv • • •, рк) является воспроизводящим по п.
Распределение Пуассона
Предположим, что при фиксированном х в биномиальном распределении (6.2.2) мы устремляем п к бесконечности, а р к нулю таким образом, чтобы для соответствующих значений пир было пр = ^ где р» — некоторая константа. Тогда пределом для (6.2.2) оказывается следующая функция вероятности:
р^=^- (6А1)
Это — ф. в. так называемого распределения Пуассона, с именем которого связано его первое (1837) исследование. Будет удобно обозначить распределение Пуассона, имеющее ф. в. (6.4.1), через Ро(р.). [Мы вставляем букву о, т. е. пишем Ро (р.), чтобы избежать путаницы с обозначением вероятности Р(р-).] Так как при получении (6.4.1) допускается, что п неограниченно возрастает, мы можем при желании положить х равным любому целому числу. Таким образом, 0, 1, 2,... суть точки сосредоточения массы величины х. Чтобы установить (6.4.1), заметим, что правая часть формулы (6.2.2) может быть записана в виде
Устремляя п к бесконечности, а р к нулю так, чтобы было пр = ^, мы действительно находим, что пределом распределения (6.4.2) является распределение (6.4.1). Можно легко проверить, что Сумма вероятностей, даваемых (6.4.1) для х = 0, 1, 2, ..., равна единице;
Характеристическая функция распределения Пуассона есть
ф(0= 2 х\ е-|*(1-еи),(6.4.3)
а4(х) = р,.а4(х) = р,.р,(х) = р,,р,(х) = р,,х — О откуда мы получаем
а4(х) = р,.
а4(х) = р,.
р,(х) = р,,
р,(х) = р,,
Считая в выражении (6.4.3) для характеристической функции р. параметром, можно обнаружить, что функция (6.4.3) удовлетворяет (5.3.7) и, следовательно,
L Распределение Пуассона Ро (р) является воспроизводящим по р.
Замечание. Так как гипергеометрическое распределение при больших N является приближением к биномиальному, а биномиальное распределение при больших п и малых р является приближением к распределению Пуассона, можно ожидать, что при некоторых условиях гипергеометрическое распределение должно быть близким к относительно простому распределению Пуассона. Фактически, грубо говоря, это имеет место, если (I) п велико, (II) р мало (и пр = р) и (III) N значительно больше п. Эти условия достаточно хорошо выполняются в таких важных приложениях, как извлечение выборок из партий изделий массового производства. Здесь N—объем партии, п— объем выборки из партии и р — доля дефектных изделий в партии.
Подобно биномиальному распределению, распределение Пуассона является очень важным в приложениях теории вероятностей и статистики. Имеется много задач, связанных не только с распределением чисел дефектных изделий в выборках из партий промышленной продукции, но и, например, с распределением колоний бактерий, приходящихся на единицу объема выращиваемой культуры или жидкости, числа телефонных вызовов, посту- < пивших в единицу времени, числа бомбовых осколков, поражающих цель, на единицу площади и т. д., где появляется распределение Пуассона. Во всех этих задачах мы, по существу, имеем большое число п независимых или почти независимых «испытаний», малую вероятность р «успеха» в любом данном испытании, и нам требуется определить вероятность получения х «успехов» в п испытаниях.
Ф. в. и к. ф. р. распределения Пуассона были в широких.пределах табулированы Молина (1942).
Дискретные распределения времени ожидания
Гипергеометрический случай. Предположим, что совокупность П coctowv из N-p элементов Си N-q элементов С, где^^>0, <7 3> О и ^4-^=1. Пусть из 77 один за другим извлекаются элементы до тех пор, пока не появится точно к элементов С. Мы хотим определить вероятность того, что нужно будет извлечь точно х элементов, чтобы достигнуть этой цели. Случайные точки нашего основного выборочного пространства R будут представлять собой все возможные последовательности элементов С и С, которые могли , бы быть образованы в результате последовательного извлечения из П всех N элементов. В R имеется всего
выборочных точек.
В каждой выборочной точке значение нашей случайной величины х равно числу элементов, которые нужно было извлечь из 77, чтобы получить точно к элементов С. Для любого значения х\ удовлетво-
ряющего неравенствам О^А—1^х'—1 и O^Np — k^N—х\ число выборочных точек, где х = х\ очевидно, должно быть равно
'х' — 1 \Л — 1/'х' — 1 \Л — 1//N —х* \Np-k/N —х* \Np-k(6.5.2)(6.5.2)
'х' — 1 \
Л — 1/
'х' — 1 \
Л — 1/
/N —х* \Np-k
/N —х* \Np-k
(6.5.2)
(6.5.2)
как это следует из комбинаторного анализа. Если всем выборочным точкам в R приписываются равные вероятности, именно “7^т~, мы
имеем
(х’— 1 \ (N —х'\
\ Ъ I / \Ъ /
Р^х = ^ =1 Д R),(6.5.3)
что и дает нам ф. в. р (х) случайной величины х. Распределение, имеющее в качестве своей ф. в. функцию (6.5.3), будет называться гипергеометрическим распределением времени ожидания. Заданное значение х' случайной величины х есть, по существу, число испытаний, которые мы должны пронаблюдать, чтобы получить точно к элементов С.
Для того чтобы убедиться в том, что
(6.5.4)(6.5.4)
(6.5.4)
(6.5.4)
показать, чтопоказать, что(6.5.5)(6.5.5)является ф. в., где выборочное пространство величины х есть множество целых чисел к, &4~Ь • NqY^ l^A^ Np, мы должны
показать, что
показать, что
(6.5.5)
(6.5.5)
Заметим, что для р |<^ 1 мы имеем со ,
х — к^
(1 — f)-№-* + i)= ^ ^ ^Nq-yA-k (6.5.6)
(1(1ty W + l)ty W + l)у (np-^zV Al ^ )у (np-^zV Al ^ )
(1
(1
ty W + l)
ty W + l)
у (np-^zV Al ^ )
у (np-^zV Al ^ )
Из этой формулы можно увидеть, что коэффициент при tNq в разложении бинома (1—^-W + l) п0 степеням t равен I. Перемно- \Np)
жая оба равенства в (6.5.6), мы получаем
(1^0-№+»(1^0-№+»л^+^-л. (бб8)л^+^-л. (бб8)
(1^0-№+»
(1^0-№+»
л^+^-л. (бб8)
л^+^-л. (бб8)
X у ‘X/
Коэффициент при tNq в разложении бинома (1—fp^ + ^ 0Пя (jQ
IX k — 1/
(N —A
^y взятой по всем возможным парам целых чисел (^А для которых х=^> т. е. равен
Поскольку одно разложение (6.5.7) дает в качестве коэффициента (дА
, тогда как другое дает (6.5.9), мы заключаем, Np)
что (6.5.5) имеет место и, следовательно, р {х\ представляемая (6.5.4), есть ф. в.
Распределение, имеющее ф. в. (6.5.4), доставляет нам еще один пример дискретного распределения, характеристическая функция которого не приносит никакой пользы при нахождении моментов. Но моменты могут быть найдены методом, подобным использованному' в § 6.1. В этом случае возможно проще вычислить g[(x — А)И], г-й факториальный момент величины х относительно k, а затем, исходя из этих факториальных моментов, найти обычные моменты. Мы имеем
х в А• W*P / \х в А• W*P / \АПNp)АПNp)
х в А• W*P / \
х в А• W*P / \
АП
Np)
АП
Np)
Если мы теперь воспользуемся формулой (6.5.5), то увидим, что сумма, / N \
заключенная в фигурные скобки, равна .. Следовательно,
\Np-Y-r/
§[(д;-А)И] = (А + г§[(д;-А)И] = (А + г-И 1 VH-\Np-Vr)l\Np)-И 1 VH-\Np-Vr)l\Np)
§[(д;-А)И] = (А + г
§[(д;-А)И] = (А + г
-И 1 VH-
\Np-Vr)l\Np)
-И 1 VH-
\Np-Vr)l\Np)
Полагая в этом выражении г=1,2, можно найти, что среднее значение случайной величины х равно
и дисперсияи дисперсия(6.5.12)(6.5.12)^(^ — 1)^ (/?+!) ! £(2^ + 1) (ДГ-Н)^(^ — 1)^ (/?+!) ! £(2^ + 1) (ДГ-Н). W + 2)(Afr+l). W + 2)(Afr+l)А^+1 -^Т^-^^+О-(6.5.13)А^+1 -^Т^-^^+О-(6.5.13)
и дисперсия
и дисперсия
(6.5.12)
(6.5.12)
^(^ — 1)^ (/?+!) ! £(2^ + 1) (ДГ-Н)
^(^ — 1)^ (/?+!) ! £(2^ + 1) (ДГ-Н)
. W + 2)(Afr+l)
. W + 2)(Afr+l)
А^+1 -^Т^-^^+О-(6.5.13)
А^+1 -^Т^-^^+О-(6.5.13)
Биномиальный случай. Предположим, что последовательно осуществляются некоторые «испытания» и исход каждого из них есть либо С, либо С, причем все испытания независимы. Пусть Р(С)=р и P(O — q, p-^-q=l. Наше основное выборочное пространство представляет собой множество всех возможных последовательностей (выборочных точек) исходов С и С> которые могли бы наступить в неограниченно длинном ряду испытаний. Введем случайную величину х, определяемую для каждой выборочной точки как число испытаний, необходимых для того, чтобы получить точно к исходов С.
Пусть Е— событие в R, состоящее в наступлении (А—1) исходов С в (х—1) первых испытаниях, и F— событие, состоящее в наступлении исхода С в испытании с номером х. Если событие G обозначает тот факт, что потребуется точно х испытаний, чтобы получить точно к исходов С, то G= Е Q F и P(Q) = Р (Е f) F) = Р (Е) X ХР(Р\ЕУ
Но P(F\E)=p и
Р(^)Р(^)(6.5.14)
Р(^)
Р(^)
(6.5.15)(6.5.15)Таким образом, если р^ есть ф. в. величины х> мы имеем р(х) = ~P(G), т. е.
(6.5.15)
(6.5.15)
p(^)=L. bpV
— 1/
Заметим, что выражение для р(х) совпадает с (х— ^+1)-м членом разложения функции р*(1—qyk в ряд по степеням q. Сумма значений р^х) по х = к, ^4^1’ ••• равна р*(1—qyh =ркр"к =\.
Распределение, имеющее ф. в., определенную формулой (6.5.15), будет называться биномиальным распределением времени ожидания. Ф» в. р (х) есть просто вероятность того, что мы должны ждать окончания испытания с номером х, чтобы получить к исходов С. Это Распределение также называется отрицательным биномиальным распРеделением или распределением Паскаля.
Характеристическая функция распределения (6.5.15) равна
^рех(У (qeuy~fe = ^реХ1У (1 — qextyk.
что приводит к формуле
(6.5.16)(6.5.16)?(0=/(^ — qYk-
(6.5.16)
(6.5.16)
С помощью обычной процедуры дифференцирования можно убедиться в том, что
= (6-5.17)
Обратим внимание, что среднее и дисперсия являются здесь предельными выражениями для (6.5.12) и (6.5.13), когда N-^oo. На самом деле ф. в. биномиального распределения времени ожидания (6.5.15), как можно предполагать, есть предел ф. в. гипергеометрического распределения времени ожидания (6.5.3) при N-^oo. Для читателя будет поучительно проверить эти утверждения.
Мы рассмотрели лишь простейший случай дискретного распределения времени ожидания. Возникают задачи, в которых мы хотим знать не только функцию вероятностей числа испытаний, требующихся, чтобы получить заданное число исходов С, но и функцию вероятностей числа испытаний, необходимых для получения заданных чисел исходов С и С Далее, в случае более чем двух классов мы можем хотеть определить функцию вероятностей числа испытаний, необходимых для получения заданных чисел исходов из каждого класса. Задачи этого типа являются значительно более сложными, чем те, которые мы уже обсудили. Некоторые из этих задач были рассмотрены Гиршиком, Мостеллером и Сэвиджем (1946), Холдэйном (1945), Лапласом (1814) и Маккарти (1947).
Распределения, встречающиеся в теории серий
Теория серий, как мы увидим в последующих главах, играет важную роль в некоторых задачах непараметрического статистического вывода. Но основные распределения, встречающиеся в теории серий, можно с известным удобством ввести в настоящий момент. Результаты, которые будут представлены ниже, принадлежат главным образом Муду (1940).
Серии, образованные из элементов двух видов. Рассмотрим выборочное пространство R, выборочные точки которого суть мно- (п \_
жества всех перестановок nv элементов С и л2 элементов С, где \пм
nv-\-n^ = n. Любая данная выборочная точка есть последовательность элементов С и С, которая состоит из чередующихся серий этих эле-
ментов. Длиной серии называется число элементов в ней. Обозначим через гм число серий длины у, образованных из элементов С, и через г^ число серий длины /, образованных из элементов С. Например, для последовательности
с с с с с с с с с с с с с с
мы имеем* и^ — 8, н^— 6, Гц—1, г^ — 2, г^—1, r2j— 2, г^ — 2, причем все другие значения Г/у равны нулю.
Из определения чисел п^ п^ rxj и г^ следует, что 2/г1у = ^1 j
и ^JrM = n^ пУСть n = 2rV и r2 = 2rV означают общие числа jiJ_
серий, образованных соответственно из элементов С и С. Каковы бы ни были вероятности, назначенные выборочным точкам в R, мы можем ввести случайные величины Пу и г2у, которые будут иметь определенные значения, установленные выше для любой данной выборочной точки в R. Наша задача заключается в том, чтобы найти ф. в. этих случайных величин, когда всем выборочным точкам в R назначаются равные вероятности. Для данного множества значений г^ число способов расположения г^ серий элементов С равно
Гц!... г1лг±!еГц!... г1лг±!е(6.6.1)
Гц!... г1лг±!е
Гц!... г1лг±!е
Аналогично этому число способов расположения г2 серий элементов
(6.6.2)(6.6.2)С равно
(6.6.2)
(6.6.2)
nJ ... г^^
Заметим, что г^ и г2 не могут отличаться друг от друга более чем на единицу, ибо в противном случае по крайней мере две серии элементов одного вида должны были бы оказаться примыкающими, а это не соответствует определению серии. Если гх = г^ данное расположение серий элементов С можно двумя способами сочетать с данным расположением серий элементов С, так что полная последовательность элементов С и С будет начинаться либо с серии элементов С, либо с серии элементов С. Если мы определим функцию I (г 1, 1\\ значение которой в точке (п, г2) есть число способов расположения п неразличимых объектов одного вида и г2 неразличимых объектов другого вида, где никакие два объекта одного и того же вида не находятся рядом, то мы будем иметь
Т(П> г^ =
О, 1, 2,
|П — П|>1,
|П —r2|=l, П = П-
Таким образом, общее число способов получить г^ серий элементов Сдлин/=1, .#i и г^ серий элементов С длин у=1, ... ..., п^ равно'
г 1- г^- 7 (ri> г^гл л дх
\
Но существует всего возможных расположений пх элементов С
и п^ элементов С, т. е. 1 выборочных точек в R. Если всем этим расположениям назначаются равные вероятности, то (пх -|- п2)-мерная случайная величина (r,-/ j= 1,..., nb Z = l, 2) будет иметь следующую ф. в.:
,((г })== п! ^. ^ . 7(г„ ,,).(6.6.5)
Если мы интересуемся лишь ф. в. величин rxj— чисел серий элементов С длин у=1, ..., пх,— мы должны определить из (6.6.5) маргинальное распределение величины (ги, ..., гХп^ т. е. просуммировать р ({г,/}) по г21, ..., г^. Это означает, что мы должны взять сумму значений (6.6.2) по всем r3j, ..^г^ для которых ^jr^ = n^ j
и ^г^ = г^ Для того чтобы сделать это, мы воспользуемся еле- j
дующим тождеством относительно $, имеющим место для значений s, близких к нулю:
ОО
(s + ^ +..у» = sr^(\-sy^ = ^ У ^^"тг^ (66-6> ^ = 0
Теперь коэффициент при s”2 в левой части (6.6.6) есть сумма значений (6.6.2) по г21,..., г^ при ограничениях ^jr^ = n^ и 5 f^ = r*
значениезначениеНо коэффициент при s"2 в левой части (6.6.6) должен быть равен коэффициенту при s”2 в правой части этого тождества, который имеет
значение
значение
(6.6.7)(6.6.7)(п2-1)1
(6.6.7)
(6.6.7)
(г8 —1)! (л, —г8)Г
Следовательно, ф. в. величин ^гХр j=A, ..., п^ и г^ есть
₽ «г-^-Г1)=,;к^ ■ тгт^г^я -т1^г» <м-8'
Наконец, чтобы получить ф. в. величин {fiy}, мы должны просумми-
G.6]
ровать (6.6.8) по г2. Применяя (6.6.3), мы находим после некоторых упрощений
V («2 — 1)1/ X _«$+1_+ Ц
Z (г2-1)!(«2-г2)! ' № ПЦ/ь-Л+О! ~ I г, Г
Г2 — 1'
'(6.6.9)
Таким образом, ф. в. величин (rJy-, /=1, .пх) дается формулой
hi о -]- 1 \
р ({п,}) = ——г ••(6-6-1 °)
4 ги! ... г1Я1!/п\47
Подобный же результат имеет место, конечно, и для ф. в. величин
Другим важным распределением является распределение величин гх и г^. Ф. в. этого распределения получается суммированием значений (6.6.8) по rXj при условиях ^jrVj = nx и ^rM = rv Порядок дейст- *j-/
вий здесь подобен тому, который был использован при выводе (6.6.8) с помощью суммирования (6.6.5). Этим путем мы приходим к формуле
Mi —ЦМ2 —п
р (Гр г^= ^‘-/^-^ Т (п, Г2).(6.6.11)
Просуммировав (6.6.11) цо г2, мы заключаем, что ф. в. величины П— общего числа серий элементов С—есть
Mi — Ц Ms +1 \
Я М =Л .(6.6.12)
Аналогичное выражение справедливо для ф. в. величины г2.
Чтобы проверить, что сумма значений р (rj по всему выборочному пространству величины гх равна единице, мы рассмотрим соотношение
(6.6.13)(6.6.13)у / А \/В\/А4-В\г^+и\и^+в)’
(6.6.13)
(6.6.13)
полученное в результате приравнивания коэффициентов при sfe в тождестве
(l+^(l+l)’S<l+^±i.(6.6J4)
6 С Уилкс
Из (6.6.13) следует, что
VI /^1 1 \ /^2 Ч~ 1 \/ Я \
а это равносильно утверждению
2 p(ri)=i-Г1== 1
Самый легкий путь найти моменты величины гх состоит в использовании факториальныхмоментов.Для g-roфакториальногомомента
р.^] мы имеемп
№ — ®И1z 1г —1Д г— У Г(6-6л5>
Их/
Но из (6.6.13) вытекает, что
у /»1— Л/««+ 1 — §\(п — ^r™gVi— 1Д ^—g )\ni — g)'
Поэтому/п ^Л
НИ = («2 + 0^,(6.6.16)
МЧ) откуда мы находим
(r^EiIrij), О2(Г1)==(^2±^Ц^.(6.6.17)
пп (пр 1
Такие же формулы существуют и для факториальных моментов, среднего и дисперсии величины г2.
Аналогичным образом, учитывая (6.6.11), можно показать, что смешанный факториальный момент величин (п—1) и (г2—1) дается выражением
8 [(П — 1)[г11 (Г2 — 1 F2|J = ^ — Х1-82^”.Х1!?} /” — S'1 ~^ (6.6.18) Г )\ «!—й )■
\«1/
В некоторого рода задачах представляет особый интерес случай* ная величина u = rt-\- гй — общее число серий. '
Среднее и дисперсия величины и могут быть немедленно полу* чены из (6.6.17) с помощью формул (3.4.2) и (3.4.3). Мы имеем
нао==н(г1)+н(г8)=2-^+1.
а»-(Н) = а»(Г|)-|-о»(г2) 4-2cov(гп ru) = 2п^^2^1. (6.6.19),
6.6J
На самом деле ф. в. величины и можно определить из (6.6.11), суммируя ^(гр г^ вдоль прямой линии и = Гх-^-г^ на г^-плоскости. Можно показать, что если и четно, то существует только одна точка, в которой p(rv ri) имеет значение, отличное от нуля. Если и нечетно, т0 существуют две точки, обладающие этим свойством. Ф. в. величины и может быть сразу записана в виде
р^=р^=если и четно,если и четно,(6.6.20)если и нечетно.(6.6.20)если и нечетно.
р^=
р^=
если и четно,
если и четно,
(6.6.20)
если и нечетно.
(6.6.20)
если и нечетно.
Этот результат был первоначально получен Стивенсом (1939). Разнообразные таблицы, касающиеся р^и\ были составлены Сведом и Эйзен- хартом (1943).
Во всех предыдущих рассуждениях nt и - л2 были постоянными числами. Если мы условимся считать их случайными величинами, то распределения, ф. в. которых выражаются формулами (6.6.5), (6.6.10), (6.6.11) и (6.6.12),. будут условными распределениями при фиксированных значениях Пх и л2. Если бы ф. в. величин пх и п^ равнялась р*(пх, /?3), то произведение каждой из указанных четырех ф. в. на р* (щ, п^ дало бы ф. в. соответствующих величин г и ^ и и2. Чтобы получить ф. в. величин г в любом случае мы должны были бы просуммировать относящееся к этому случаю произведение по всей области изменения Пх и л2. В частности, если бы мы рассмотрели данное множество независимых испытаний, каждое из которых приводит либо к С, либо к С, то пх и л2 были бы линейно зависимыми случайными величинами, удовлетворяющими условию л1-|-Лв = п и Л1 имело бы биномиальное распределение Bi (л, р), где р есть вероятность появления С в отдельном испытании. В этом примере
P*<nv П^ = ^рп4п^ n^n — Hv (6.6.21) Чтобы найти здесь g-й факториальный момент величины гр мы умножили бы выражение в правой части (6.6.16) на (6.6.21) и просуммировали бы по пх от 0 до п, разумеется, понимая, что члены этой суммы, отвечающие п = 1, ..., g—1, равны нулю.
Серии, образованные из элементов 6 типов. Предыдущие Результаты допускают непосредственное распространение на случай серий, образованных из элементов нескольких типов. Предположим, что имеется некоторое множество п элементов, состоящее из nY эле-
6»
ментов Ср .пк элементов Ск> где пх~У.. .-\- пк = п. Пусть r,v — случайная величина, означающая число серий элементов Q длины у, и ri=^rtj — общее число серий элементов Cz. Муд (1940) показал, что ф. в. множества величии г^ равна
”(I г,; I) =[ jj 75-!Lr] т (г,г Д(6.6.22)
= 1
где т(Гр ..., гк) есть число способов, которыми можно так расположить гх объектов первого вида, ..., гк объектов Л-го вида, что никакие два соседних объекта не будут иметь один и тот же вид. Функция т(гр ..., гк) совпадает с коэффициентом при хг^ ... хгь в разложении произведения
С^1 + • • • + хкУ 0^2 + -^3 Н” • • ♦ + хкУХ ~ 1 X
X to+*^з • • •+-^У*8 1 • • • Vxi*VX^"V* • * А-хклУк 1 (6.6.23)
по степеням хХ) ..., хк. Доказательство формулы (6.6.22) заключается в прямом обобщении доказательства формулы (6.6.5) и предоставляется читателю. Подобным же образом обобщение рассуждений, использованных при переходе от (6.6.5) к (6.6.11), дает ф. в. величины (Гр .. Аг^
/,({га) = '2-Ь^[Д("*^ г„у (6.6.24)
Моменты величин могут быть найдены из (6.6.22) и (6.6.24) аналогично тому, как это было сделано в случае k = 2.
ЗАДАЧИ
Показать, что если х— случайная величина, имеющая гипергеометрическое распределение Н (N, п; р), то
8 [(я — х)и] = (Nq^ Р ^ / О ‘
\ И — Г \п/
Урна содержит /п-|-л фишек, занумерованных числами 1, 2, ..., тЦ-п. Случайным образом из урны берется множество п фишек. Показать, что вероятность того, что х из взятых фишек будут иметь номера, превосходящие номера всех оставшихся в урне фишек, равна
(т-Уп— х— 1\ 1(т-\-п\ '\ т—1)l\ т /
Показать также, что
g[(m + « — х + г— 1)И]=а:(т4-Г_ 1)1,1(тУУ)1(туУ
\ туг л \ п /
Определить отсюда среднее и дисперсию случайной величины х»
Показать, что если (хп ... , х^ — ^-мерная случайная величина, имеющая A-мерное гипергеометрическое распределение Н (N, п; рп ..., р^), то маргинальное распределение величины (хр ..., хк^ k^ck, есть гипср- гсомстричсское распределение
Н (N, п; pv ... , рк).
(Продолжение). Показать, что условная случайная величина
^к I -^п • • • > ^-1
имеет одномерное гипергеометрическое распределение
И \ N ^Рк+p*+i)> n — Xt — ... — xk_p, ^—).
\Рк'ТРкл-х)
(Продолжение). Показать, что величина хх -}-... +хк имеет одномерное гипергеометрическое распределение И (N, п; Р1-\-...+Рк)«
Показать, что результатом формального суммирования значений р (xv ... , л-д), определяемых формулой (6.1.6), по всему выборочному пространству является единица.
Доказать теорему 6.2.1.
Доказать теорему 6.3.1.
Доказать теорему 6.4.1.
Показать, что если п—*оо и каждое из ръ ... , Рк—*0> причем прг = = p.n ... , npk — ^k) то предел ф. в., определенной в (6.3.3), есть произведение ф.в. независимых распределений Пуассона Ро (рч), ... , Ро (р^).
Показать, что биномиальное распределение времени ожидания, ф.в. которого дается формулой (6.5.15), является воспроизводящим по к.
Используя характеристические функции, показать, что если (хь ... ... , хк) имеет ^-мерное мультиномиальное распределение
M<,n;pt, р^,
то маргинальное распределение величины (хр ... , хк^ к1<_к1 есть ^-мерное мультиномиальное распределение
М (п; ри ..., ркх).
(Продолжение). Показать, что распределением условной случайной величины хк\хи ..., хк-1 является биномиальное распределение
(Продолжение). Показать, что величина ^1 + ---+^1, кг<к, имеет биномиальное распределение Bi (п; P1 + ---"hPk1V
Показать, что предел гипергеометрического распределения времени ожидания, определенного в (6.5.3), при N—*оо есть биномиальное распределение времени ожидания (6.5.15).
Проверить формулу (6.6.12).
Проверить формулу (6.6.18).
Показать, что если х— случайная величина, имеющая распреде- ление Пуассона Ро (ц), и условная случайная величина ,у|х имеет биномиальное распределение Bi (х, р), то безусловное распределение величины у есть распределение Пуассона Ро (рр).
0 6-19. Доказать, что если х имеет биномиальное распределение времени когИда11Ия (6.5.15) и у = х — к» то предельное распределение величины у, огда а —оо, q — о и kq — ^ есть распределение Пуассона Ро(р.).
Показать, что если х имеет распределение Пуассона Ро (р.), то к. ф. р. величины х дается формулой
со
С е-2 • 2х dz.
.г! Jи
Зависящее от случайных параметров распределение Неймана типа Л. Предположим, что х есть случайная величина, имеющая распределение Пуассона Ро (р^), и у—случайная величина, для которой у | х имеет распределение Пуассона Ро (р.2хУ Показать, что характеристическая функция безусловной случайной величины у дается формулой
? (t) = ехр {— н 1“ е^ 1 }•
Показать также, что
8(УГ=№>
°2(у)=№ (1+^з)-
Показать, что если х— случайная величина, имеющая биномиальное распределение Bi (и, р^ то к. ф. р. величины х дается формулой
(п —х)(п —х)(1— yydv.(1— yydv.
(п —х)
(п —х)
(1— yydv.
(1— yydv.
Задача проверки крови. Лица, составляющие большую совокуп-- ность, проходят анализ крови группами по к человек одновременно следующим образом. У всех к лиц берутся образцы крови и смешиваются. Если анализ смешанной крови отрицателен, одна проверка оказывается достаточной для данных к лиц. Если анализ положителен, кровь каждого лица проверяется отдельно. Показать, что если q— вероятность отрицательного анализа крови любого выбранного наудачу лица, то значение к, минимизирующее ожидаемое значение общего числа анализов, есть положительное целое число, для которого интервал
(у , 1 ~ у q Л
содержит q. Показать,что если q близко к единице, то известным приближением к к служит решение уравнения
^25felng+l = 0 [Дорфман (1943)].
Предположим, что урна содержит п фишек, занумерованных числами 1, 2, ... , п* Некоторое лицо вытягивает одну фишку, возвращает ее обратно в урну, вытягивает снова одну фишку, опять возвращает ее обратно и т. д., пока не появится фишка, которая уже была вынута раньше# и тогда процесс извлечения фишек заканчивается. Пусть х— случайная вели-- чина, означающая число извлечений, необходимых для достижения этой цели. Показать, что ф. в. величины х имеет вид
х = 2, ..., л+1.
Убедиться, что ^ Р И32!* Показать, что х—2
В рамках биномиального случая, рассмотренного в § 6.5, предположим, что х есть число испытаний, необходимых для получения к последовательных успехов. Показать, что производящая функция моментов величины х
Ф W = (ре^ (1 — р^ (1 — +/>Vft+1,<)"1-
Показать также, что
Задача распределения случайных объемов групп — мультиномиальный случай. В мультиномиальном распределении, имеющем ф. в. (6.3.3), положим,
Пусть r0, гп ..., гп означают соответственно количества компонент величины (хп ..., х^), которые равны 0, 1, ..., п. Показать, что ф. в. величины (г0, ги ..., гЛ) дается формулой
(0!)''° (11)Г1(n!)''» г0!г„! ’
причем r0, rn ..., гп подчинены условиям
G + 2г2 + • • • + пгп = п.
Кроме того, показать, что
1(0!)$0(ll)$1...(n!)$"(n —Л)!(А4-1—В)!
где А — S1 -|-2s2 + -“ + ^sn и B = s04-s1-|-... + sn. Найти отсюда значения М а2 (га и cov (г/, г„) [Тьюки (1949b)].
Задача распределения случайных объемов групп — гипергеометриЧеский случай. Предположим, что колода, содержащая Al(^-f-l) карты, имеет М карт каждой из й-]-! отличных друг от друга «мастей» и после Нательного тасования «игроку» сдается п карт. Пусть r^ 1 = 0, 1, ..., п, означает число мастей, каждая из которых представлена I картами, доставшимися игроку. В частности, г0 есть число отсутствующих мастей. Показать, То Ф- в. (^+1)-мерной случайной величины (г0, гп ...; гп) дается формулой
г^г^ •r„! [О! (М — 0) 11го [ 1! (М — 1) ЦГ1... [zz! (М — л)!]г” '
Кроме тбго, показать, что
\ п— А /
(ft + 1 — 5) 1 ^ ^^ *^ [О! (М — 0) !]$»... [я! (М — я) !]$" ’
где A = st 4- 2s2 -]-••• + nsn и В = s0 + sx -4-... 4- sn. Найти отсюда значения 8 07), °2 М и cov (rh гп) [Тьюки (1949b)].
Задача совпадения для двух колод карт. Пусть А — колода, содержащая N карт, каждая из которых имеет одну и только одну «масть» 8а ..., Зд, причем количества карт, имеющих эти масти, равны соответственно mv ..., тд. Аналогично пусть В — вторая колода, содержащая А карт, из которых пп ..., пд имеют соответственно масти За ..., Зд. Колода А перетасовывается и карты сдаются, располагаясь открыто в одну линию. Точно так же и колода В перетасовывается и карты сдаются, располагаясь открыто в линию непосредственно ниже линии, образованной картами колоды А. Пусть х — случайная величина, означающая число пар карт в двух колодах, которые оказываются сравнимыми по масти. Назначая всем возможным перестановкам карт равные вероятности, показать, что ф. в. величины х дается коэффициентом при*
кк<>/=*<>/=*А”' а^ьп^ ... в разложении функции
к
к
<>/=*
<>/=*
где
4 I 1, i=j,
тх\ ... т^п^ ...пд! ‘
Вывести отсюда, что r-й момент' ^ величины х есть коэффициент при а^1... а^Ь^1 ••• ^к в разложении функции'
р^Ф!
В частности, установить, чток2т;П;
ккк
°8<-г)=^4—))[(2 min^-N 2 <"'<"»+тАЧ+^2 2т<"']
[Бэттин (1942) и Капланский и Риордан (1945)].
г Л Л В A 7
НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ НЕПРЕРЫВНЫЕ РАСПРЕДЕЛЕНИЯ
В настоящей главе мы рассмотрим ряд важных непрерывных распределений вероятностей, встречающихся в математической статистике, вместе с некоторыми их свойствами. Многие из приведенных результатов будут использованы в последующих главах.
Равномерное распределение
Простейшее непрерывное распределение, которое мы считаем полезным здесь определить, задается следующей ф. п. в.:
f^=f^=(7.1.1)(7.1.1)
f^=
f^=
(7.1.1)
(7.1.1)
Будет удобно называть распределение вероятностей с данной ф. п. в. равномерным распределением 7?(^, со). Среднее и дисперсия этого распределения равны соответственно
Параметр со называется размахом распределения.
Следует отметить, что если х— случайная величина, имеющая равномерное распределение /?(р», ш), то
, 1
х —
является случайной величиной, имеющей равномерное распределение (т* 1) > Ф- п- в- которого отлична от нуля на интервале [0, 1].
Важный случай величины, имеющей равномерное распределение ^^, 1), находит выражение в следующем утверждении.
Если х — случайная величина, имеющая непрерывную к. ф. р. F (х), то случайная величина y = F(x) имеет равномерное распределение R.
Доказательство этой теоремы немедленно вытекает из того факта, что к. ф. р. величины у равна
1, ^>Ь
Н^ — Р^^У^Н^ — Р^^У^У, 0<j^l, 0, у ^ 0,У, 0<j^l, 0, у ^ 0,
Н^ — Р^^У^
Н^ — Р^^У^
У, 0<j^l, 0, у ^ 0,
У, 0<j^l, 0, у ^ 0,
Рис. 7.1. График ф. п. в. нормального распределения (7.2.1).Рис. 7.1. График ф. п. в. нормального распределения (7.2.1).
Рис. 7.1. График ф. п. в. нормального распределения (7.2.1).
Рис. 7.1. График ф. п. в. нормального распределения (7.2.1).
т. е. является к. ф. р. равномерного распределения
Нормальное распределение
Наиболее важным распределением непрерывной случайной величины является нормальное или гауссовское распределение. Ф. п. в. этого распределения может быть записана в виде
при оо < jc < оо, где р. и а2 — параметры. Ниже будет показано, что эти два параметра фактически равны соответственно среднему и дисперсии ф. п. в. (7.2.1). Будет удобно называть распределение, имеющее ф. п. в. (7.2.1), нормальным распределением Nly*» °2) или просто
распределением N^> °2)> так как это распределение встречается весьма часто. График функции (7.2.1), изображенный на рис. 7.1, симметричен относительно прямой х = р« и имеет максимальную ординату ■ _=~ у 2тсо в точке х==р. При х = [л±а график содержит две точки перегиба.
Очень удобной для целей табулирования является форма нормального распределения, соответствующая случайной величине у = ^^-< Ф. п. в. величины у определяет нормированное нормальное распределение ^(0, 1). Заметим, что
1
Р(х^х') = Р(у^у') = -7= \ е Му, —ОО
где у = —.
К. ф. р. Ф (х) нормированного нормального распределения, задаваемая формулой
Ф(х) = -^= ^ ^ dy,(7.2.1а)
" —ОО
протабулирована в широких пределах. Превосходные таблицы подготовлены Национальным бюро стандартов (1942). Обширный указатель различного вида табуляций дали Гринвуд и Хартли (1961).
Сначала мы покажем, что интеграл от нормальной функции распределения (7.2.1) по всей х-оси равен единице. _х—и
Полагая v =, мы можем написать
_1(Х^.”1 2
е 2 ^ dx = ^= \ е ^ dy. (7.2.2)
1/2л J
— ОО
Пусть I означает интеграл в правой части (7.2.2) ^без константы
Наша задача состоит в том, чтобы показать, что /=V2ir. /2я/ Очевидно,
r= J 5 e-^^^dyidy».(7.2.3)
— ОО —ОО
Вводя полярные координаты у^ = г cos 9, j/a = rsin9, мы получаем 2л оо _ 1 о
Р=^ге V drd9 = 2t,■(7.2.3а)
О о
и, следовательно, /=)/2it.
оо 1 С ’^Fs; J 6оо 1 С ’^Fs; J 6Рассмотрим теперь характеристическую функцию распределения (7.2.1). Мы имеем
оо 1 С ’^Fs; J 6
оо 1 С ’^Fs; J 6
1 (*-н)2
2°2 dx,(7.2.4)
что можно переписать в виде
;/1Л'а2/3]?_ ' (x-^-iaa/)»/^
?p(Z) = f2_____ \ е 2дх (7.2.4а)
У2ла J
— 00
Интеграл в (7.2.4а) прёобразовывается в интеграл от функции е 2а2, где г — комплексная переменная, взятый в комплексной плоскости вдоль прямой, параллельной вещественной оси, именно прямой У = — i Л, и можно показать, что такой интеграл равен интегралу °т той же самой функции, взятому вдоль вещественной оси, т. е.
ООX2
равен ^ е ^ dx. Но последний интеграл имеет значение ар^Зк.
— ОО
Таким образом,
Характеристическая функция распределения N^ °2) есть
(7.2.5)
С помощью обычной процедуры дифференцирования мы находим, что среднее и дисперсия распределения Nky^ о2) равны соответственно
р, (х) = [х, о2 (х) = о2.(7.2.6)
Считая р. и о2 в выражении для характеристической функции (7.2.5) параметрами, мы очевидным образом обнаруживаем, что характеристическая функция (7.2.5) удовлетворяет (5.3.7) и, следовательно,
Распределение N(y, °2) является воспроизводящим по (р,, а2).
На самом деле распределение N^ °2) обладает более сильным свойством, чем просто воспроизводительное™. Это свойство можно сформулировать следующим образом.
Предположим, что Xj и х2 — независимые случайные величины, имеющие соответственно распределения N{^ Oi) и N(y* о2). Пусть L = cxxv-\- с^х^ где сх и с2— вещественные константы» не равные нулю одновременно. Тогда величина L имеет распределение N^c^^c^^ ^О1 + с|о|).
Самый быстрый путь проверить это утверждение — найти характеристическую функцию величины L. Согласно (5.3.6), .
<pz (O = <Pi(fiO-Va(caO>
где ср1(О, ?з(0 и ^l№ сУть соответственно характеристические функции величин хь х2 и L. Поскольку
?/(^) = ^ 77 27=1, 2,
мы имеем
WL ^ = еХР [’ (^1 + <^) 1 — 4 ^ + ^ ^] ’(7'27)
что, как видно из (7.2.5), является характеристической функцией нормального распределения N(^ip-i + с^, с^ + с^). Доказательство теоремы 7.2.3 завершает ссылка на теорему 5.1.3. Доказанная теорема может быть немедленно перенесена на случай к независимых величин, имеющих нормальное распределение. Это обобщение предоставляется читателю в качестве упражнения.
Двумерное нормальное распределение
Нормальное распределение занимает такое важное место в теории вероятностей и статистике, что, прежде чем перейти к ^-мерному случаю, будет полезно достаточно подробно рассмотреть случай двух измерений. Наибольшее удобство представляет следующая форма ф. и. в. двумерного нормального распределения*.
f ^v х^— ^ е,(7.3.1)
где (xv х2) — произвольная точка в /?2 и
<2 (^i> -*з) = °и (*i — Р-1)2 + 2°13 Ui — Р-1) (*3 — Ра) + °22 (^8 — Ра)2-
(7.3.2)
Ниже мы покажем, что ^ и р,2 суть средние соответственно величин xt и х^ и матрица ||о^||, Z, /=1, 2, где ан = а21, является обратной [см. (3.5.3)] к ковариационной матрице Цо^П этих величин. Излишне упоминать, что мы предполагаем матрицу Но/уЦ положительно определенной. Это влечет положительную определенность матрицы ||а^||, т. е. положительную определенность квадратичной формы Q(xp х2).
Мы считаем удобным обозначить двумерное нормальное распределение, имеющее ф. п. в. (7.3.1), через 7V({pt-}> H^/ll), U j=V 2.
Сначала проверим, что
$ /(Хр х^ dxx dx^ = 1,(7.3.3)
Ra
т. е. убедимся в справедливости соотношения
\ \ е 2 dxydx^ = —=.ПЗА\
J 'К|аО|v 7
— 00—00
Полагая ух = хх— pj и уг = хг— р2, мы можем записать левук часть (7.3.4) в виде
00 ОО "
~ ОО — со
— j Ьз V 13dl/a"]21 d^v dy...(7.3.5)
Делая преобразование
2ц = |/an(ji +J.V2),^=1/^-1^,(7.3.6)
якобиан которого равен
^УлА) = 11&лЛх) I ’ — 2_
d(Zi, zj ^(Уп у2)|Г|°,71’
мы приводим левую часть (7.3.4) к интегралу
в 2 1- dzxdz^
Но из (7.2.3) и (7.2.3а) мы знаем, что написанный двойной интеграл имеет значение 2к. Таким образом, соотношение (7.3.4) действительно справедливо.
Чтобы показать, что р^ и р.2 суть средние величин хх и х^ продифференцируем обе части (7.3.3) по [1! и р,2. Мы получим
g [о11 ^хх — pq) -]- а12 (х^ — р.2)] = О,
g [а21 (Xj — |ii) + а0-'2 (х3 — р.3)] = О, что можно переписать следующим образом:
ang (хх — pq) 4" a12g (хй — р.2) = О,^
a21g(x, —цО + а3^^ —р.3) = 0.
Это — система однородных линейных . уравнений относительно g (Xi — p.i) и g (х2 — р2), и поскольку | ом | # 0, она допускает единственное решение
g(x, — н) = °> g (х3 — р.2) = 0.(7.3.8)
Из этих формул вытекает, что
Р-1 = © C^i)» Рз= & (-^з)>(7.3.9)
т. е. pq и р,2 суть средние соответственно величин хх и х2.
Теперь рассмотрим дисперсии и ковариации. Если мы продифференцируем обе части (7.3.4) по о11 и затем умножим их на V| аь |/ir, мы получим
кг®77! с Г/ х» --^^'^д®82
— 00—00
Но левая часть есть выражение для7 g(Xi — pq)2, дисперсии вели* чины хх. Обозначая дисперсию через оп> мы имеем
а22
Обозначая ковариацию между хх и х2 через о12 и дисперсию величины х2 через о>2, мы подобным же образом находим
_а12_ а11
=18—— Р/|,«8-2 — рТ|-
Следовательно, ковариационная матрица || а^ || выражается через параметры о11, а12, с22 в (7.3.2) посредством формулы
II ^11 = II «^II ^(7.3.Ю)
Таким образом, мы имеем следующий результат.
Постоянные ^ и ц2 в (7.3.2) суть средние величин xv и х<ь а матрица ||а^|| является обратной к ковариационной матрице || ^t/II этих величин.
Если мы обозначим дисперсии величин хг и х^ через of и з2, а ковариацию через аь а2, р, где р — коэффициент корреляции между X] и х^ то двумерную нормальную ф. п. в. (7.3.1) можно будет переписать в другой часто используемой форме:
Г /К '1"9" Q(*h -*2). О Ч 1 X
/ (хь х^ — --_-_- е,(7.3.11)
^лз^з у 1 — р2
где
Q (хь х2) = д-ЦгГ^-^)3 + i^ZJ^ _ 2рI
(1 —P2)L °i 1°! r <W J
(7.3.12)
Следует отметить, что нормальная ф. п. в. постоянна на любом эллипсе вида Q(xb х2) = const. Кроме того, наибольшее значение функции /(хь х2) достигается в центре тяжести распределения, именно в точке (р.ь р.2). Найдем, далее, характеристическую функцию ср(^, 1^ величины (хь х^). Очевидно,
^2) = $ $ e^i-H^/Qa, x^dxxdx3. (7.3.13)
Снова полагая ух = хх— р»! и у3 = х2 — р,2, мы получаем
М =—vr^i' \ Vd.Vidy3, (7.3.14)
где
Q’ Оь Л) = °“>! + °22^ + 2а18^2 — 21^, — 211^.
Но Q'(yb уз) можно записать в виде
Q' СУ i > Л) = г1 “h г2 4“ (°ii^i + 2o12f ^2 -]- а22ф,(7.3.15)
ГДе/а12\
z, = V о“ (^1 + ^-1 Л —^п)»
У а» ^4 I [77]) •
Якобиан преобразования, которое связывает (уь _у2) и (zb z^, равен
I д (го z2) I j/| ov | ■
Используя (7.2.3) и (7.2.3а), мы из (7.3.14) находим, что
Характеристическая функция двумерного нормального распределения (7.3.1) или (7.3.11) дается формулой
<p(fb <2) = exp^1(^4-1*2^) — -2-(°h<i + °22<2+ 2oia^2)j. (7.3.16)
Мы должны обратить внимание, что обе переменные zx и г2 яв- ляются комплексными и каждый из интегралов ^ ^ dzx и ^е 2 dz^ полученных в результате перехода от (уь _у2) к (zb z^), фактически берется вдоль прямой в комплексной плоскости, параллельной вещественной оси. Но все такие интегралы совпадают с интегралом, взятым вдоль вещественной оси.
Следует, в частности, отметить, что матрица квадратичной формы переменных tx и £3. в выражении для характеристической функции (7.3.16) есть ковариационная матрица ||o/J|, в то время как матрица квадратичной формы переменных хх и хй в выражении для ф. п. в. (7.3.1) есть матрица ||о^||, обратная ковариационной.
Для читателя будет поучительно проверить, применяя обычную процедуру дифференцирования к (7.3.16), что ^ и р,2— средние величин хх и х^ а || а^Ц— их ковариационная матрица.
Если в формуле (7.3.16) мы положим £2 = 0, то получим характеристическую функцию величины хх, именно
.,,2
?(^, О)^”112 °и s(7.3.17)
откуда в силу теоремы 7.2.1 вытекает
Маргинальное распределение величины хх для распределения А^({рч}> IHvH), /,/=1,2, является распределением N^x,axx\ Аналогичное утверждение, конечно, справедливо и для маргинального распределения величины х^.
В более общем случае характеристическая функция величины L = сххх -)- ^2» где постоянные сх и с^ обе не равны нулю, дается формулой
? (ctt, cj) = exp £i (C1[X, + c2|4) t — у (on^ + Sa^c» -|- atoc^) ^j,
(7.3.18)
и мы имеем следующий результат:
Если хх и х2 — случайные величины, имеющие распределение Л^Рч}, || Ozy 11)>величина L = cxxx-]-c^
имеет распределение Nv^ с^, 2 Qtjcicj\
i = i ;, у= i]
Заметим, что .теорема 7.2.3 есть частный случай теоремы 7.3.4, возникающий, если о12 = 0 при обозначениях ои = о| и о22 = о|.
Рассмотрим теперь условную случайную величину х^Хр когда (хх, х») имеет двумерное нормальное распределение. Маргинальная ф. п. в. величины хх равна
_ 1 ^i—^i)2
Ш^-^-е 2 а. ,(7.3.19)
где о, = ап = о8 (х,).
Используя выражение (7.3.11) двумерной нормальной ф. п. в., мы
ИЗ (2.9.13) получаем_ i Q(x„Xs)+
И 2л а2И 1 — Р
где Q(^i> х^ определяется равенством (7.3.12). После простых алгебраических преобразований мы находим
КХг | х,) = ^^
X ехР I- 20| (1р2) ^(-^з P's) Р” (.Xi nOj 11(7.3.20)
и, таким образом,
Если (хъ х^ — случайная величина, имеющая двумерное нормальное распределение с ф.п.в. (7.3.11), то условная случайная величина х^ I xL имеет распределение
N^+^tx,-^, »«(1 — р3)) -
Из соображений симметрии ясно, что аналогичное утверждение имеет место и для условного распределения величины хх | х^.
Следует обратить внимание, что среднее значение величины х^ | хъ т. е. функция регрессии величины х^ на хъ в случае ф. п. в. (7.3.20) является линейной функцией от хь именно
И (Х2 I+ р ^- (Х, — ^J.
Отсюда уравнение линии регрессии величины х^ на хъ
х% = ^2 -{“ Р " (xi — Рч)>(7.3.21)
как легко видеть, в точности совпадает с уравнением (3.8.6) прямой средней квадратической регрессии величины х2 на xv Все это подтверждает замечание, сделанное в § 3.8(a), которое мы теперь можем сформулировать более точно.
Двумерное нормальное распределение обладает тем свойством, что обе его функции регрессии линейны и тождественно совпадают с прямыми регрессии, полученными по методу наименьших квадратов. Кроме того, дисперсии условных случайных величин х^ | Xt и Xi | хй совпадают соответственно со средними квадратическими остаточными дисперсиями а|. х и ^. 2, определенными формулой (3.8.8).
Многомерное нормальное распределение
(а) Структура ф. п. в. Л-мерного нормального распределения. Многомерное, или ^-мерное, нормальное распределение и его свойства получаются в результате прямого обобщения случая Л = 2, рассмотренного в § 7.3.
Ф. п. в. ^-мерного нормального распределения задается соотношением
№=(7.4J)
где (xv ..., хк) — любая точка в Rk и
Q(Xj, х*) = ^ ^Xi — P-iH-Kj— ?•/)>(7-4.2)
i. j= 1
причем ||ov|| — матрица, обратная ковариационной матрице ||oZy|| и p,z- — средние величин хь
Мы считаем, что матрица, ||ov|| положительно определена, т. е. | оМ | ^ 0, а следовательно, и | а^ | ^ 0. Распределение, имеющее ф. п. в. (7.4.1), будет называться k-мерным нормальным распределением и будет обозначаться 7V({|iJ, ||о<;||), Z, J = L • ••> & Выборочное пространство соответствующей случайной величины (хъ ..., х^ совпадает со всем ^-мерным пространством Rk.
Пусть yi = xl — р^, /=1, ..., к. Тогда, чтобы показать, что интеграл от функции (7.4.1) по пространству Rk равен единице, нужно убедиться в справедливости равенства
к— к
(ехр(~ Т 2 ^мА1?' ••• 4s>=^=m'<7'4-3)
аиа17V1" ’аиа17V1" ’Очевидно,
аиа17
V1" ’
аиа17
V1" ’
Полагая к
/=2
I, j = 2, к,
мы имеем
У =^^ = ^1+ s °U)Wi,j=Xi,j=^
Продолжая этот процесс и вводя обозначения
(Р-1)
причем
мы приходим к равенству
J—11=1
гдеи
^=У^(у<+^^^Л"■ <7-4-4)
Можно проверить, что поскольку ||ам||— положительно определенная матрица, все величины а11, Оц), ..., а^^ положительны.
Процедура, которую мы только что описали, фактически доставляет линейное преобразование, приводящее положительно определенную квадратичную форму, фигурирующую в (7.4.3), к сумме квадратов, и известна как метод Лагранжа. Заметим, что существует целое семейство линейных преобразований, обладающих этим свойством.
Якобиан преобразования (7.4.4) есть
II = I ^(^> •1
I д(^1,..., zA) Iyfe) I'
вследствие чего левая часть (7.4.3) принимает вид оо сок
■1 ^ .. Д ехР (— 4- У . dzfe. (7.4.5)
К а °(D ••• °(£—1) —oo —ooi=l
Применяя формулу (7.2.3a), мы видим, что А-кратный интеграл (7.4.5)
равен (2и)2. Наша задача сводится, таким образом, к доказательству соотношения. - =. ои.f7.4.6)
Но определитель
1 О1-? | можно
записать следующим образом:
а11 а12 ...
о16
1 а13 ..
. а1к
о31 а33 ...
а86
2— О29
..агк
1^1
=
....
^а11
°Х
(7-4.7)
ак1 акг ..,
. акк
V =6'2. а11
,.окк
Умножим 1-й столбец определителя, стоящего в последней части равенства (7.4.7), на о12 и вычтем из 2-го столбца, затем умножим 1-й столбец на о13 и вычтем из 3-го и т. д. В результате мы получим
а«
kikiв"в"О38О38О33 е.# дЗАО33 е.# дЗА(7.4.8)(7.4.8)
ki
ki
в"
в"
О38
О38
О33 е.# дЗА
О33 е.# дЗА
(7.4.8)
(7.4.8)
0^*2 0^3 ^кк
Продолжая этот процесс далее, мы находим
что и требовалось доказать.
Теперь убедимся в том, что |xz—действительно средние случайных величин, имеющих ф. п. в. (7.4.1). Для этого, как в двумерном случае, возьмем частные производные по ц,-, /=!,...,£, от обеих частей тождества
— к
(2к)2 Rk
Это даст Л уравнений
к®[5^/-^)1=о,а,
7=1
которые можно переписать в виде
к
=(7.4.9)
7=1
Так как мы предположили, что матрица || а^ ||, а следовательно и || аи ||> положительно определена, то | У71 = 0, и поэтому (7.4.9) имеет только нулевое решение
g(xz — p,z) = 0 или SGvz) = p,z,/=1,..., Л, (7.4.10)
т. е. числа р^,..., р^ в формуле (7.4.1) суть средние соответственно величин хх, ..., xk.
Для того чтобы проверить, что ||oz7||— матрица, обратная к ковариационной, мы воспользуемся соотношением
\еdxx... dxk =•(7.4.11)
)1 к ^1v 7
Дифференцируя обе части (7.4.11) по alJ и затем умножая на — (1 ^S^X
X -^-^ где ^7 — символ Кронекера, мы получаем формулу
(2л)2
g [ (^ - yij <xj - ^.)] = oi?(7.4.12)
справедливую как при l—j, так и при l#^j. Таким образом, имеет место теорема
Константы p,j, ..., рА в выражении (7-4.1) являются средними величин xv .... хк, а матрица ||oz7|| квадратичной формы — обратной ковариационной матрице ||а/;1| этих величин.
Если мы обозначим дисперсии величин xt через at и ковариации между xt и Xj через с^р^, то (7.4.1) можно будет записать в форме, впрочем, довольно громоздкой, представляющей собой ^-мерный аналог (7.3.12). Оставляем это читателю в качестве упражнения.
(Ь) Характеристическая функция fe-мерного нормального распределения. Рассмотрим теперь характеристическую функцию ^-мерного нормального распределения. Мы имеем
кк<рА ..., ^^expli^Mi<рА ..., ^^expli^MiTh2L(271)2кTh2L(271)2ккк~2 ^Q (•*-!> • • • > хк) 21 2 ^Xt~2 ^Q (•*-!> • • • > хк) 21 2 ^Xt\...dxk, (7.4.13)\...dxk, (7.4.13)
к
к
<рА ..., ^^expli^Mi
<рА ..., ^^expli^Mi
Th2L(271)2к
Th2L(271)2к
к
к
~2 ^Q (•*-!> • • • > хк) 21 2 ^Xt
~2 ^Q (•*-!> • • • > хк) 21 2 ^Xt
\...dxk, (7.4.13)
\...dxk, (7.4.13)
где Q (х^ ..., xk^ дается формулой (7.4.2).
Чтобы вычислить интеграл (7.4.13), осуществим ^-мерный вариант «дополнения до полного квадрата», которое мы использовали при переходе от (7.2.4) к (7.2.4а). С этой целью, положив yi = xi— р.ь / = 1, ..., к, заметим, что
ккк
2 °'7 [^—1S°«a] [л—1S Mg\=
I, j=\h=\g=\
ккк
= 2 а^,^ — 1 2 °А АУ; — * У ^gjigyt — i, /=1i, b h—\i, j, g=l
к
- s ^ihOgjtgth. <1АЛ^ i, j, h, g=\
кк
Так как аг) = а^ и, разумеется, aZy = oyZ, суммы a^^ih И 2 ^^gj i=lj=\
равны соответственно bjh и BZg, и поэтому правая часть равенства (7.4.14) сводится к выражению кк
Q 0^1’ • • * > ^к)^i^ ^i^i S аЧ^^Г
i=li, j=±^\
Следовательно, кк
Q(xb ..., xft) —2i2^.yi = Q,(x1, ..., x^-V J] otjiitj, (7.4.15) r=li, / --=-1
где через Q^v • ••> xk) обозначена квадратичная форма, стоящая в левой части (7.4.14). Пользуясь этим, (7.4.13) можно записать в виде
кк
<р(^, .... ^) = ехр(12н<Л —4 2 °!М^ н' (7.4.16) 1=1i, /=1
где
Н= -5-!—р- \ е 2dxt... dxk.
(2«) = 6 Rk
Qr(xx,...,xk) есть квадратичная форма комплексных переменных (х{— ^04"^’ /=1, ..., к, где В{— вещественные числа, с матрицей || огУ ||, тогда как Q^, ..., х^) — квадратичная форма, получаемая из Qr(xv ..., хк) при Bi = 0. Далее, если мы обозначим (xt— |xf)-|-i5z через ^ и в (7.4.4) заменим yt на У, то Q'^b хкк очевидно, к
приведется этим преобразованием к сумме квадратов ^^f. Величины i=i
Zi в этом случае будут, конечно, комплексными переменными, и интегрирование по каждому zt будет вестись параллельно вещественной оси этого переменного. Но, как мы указывали для одномерного и двумерного нормальных распределений, такие интегралы равны интегралам от тех же самых функций вдоль соответствующих вещественных осей. Следовательно, Н сохраняет свою величину при замене Q'(-Vp ..., хк) на Q(xp ..., хД т. е. Н=1. Таким образом,
Характеристическая функция распределения N({p-J, П^/Н), /, у = 1, ..., к, равна
кк
Положив в (7.4.17) ^1 + i = . .. = ^ = 0, мы будем иметь
kiki*i
ki
ki
?(<!,..., tk, 0, .
Следовательно,
Если (хп ..., хл) — векторная случайная величина, имею- гцая k-мерное нормальное распределение W({p4> II °v ПЬ ^ / = 1> * о к» то маргинальное распределение величины (xv .. •, х^ кх < к, является камерным нормальным распределением, ^({uj, П^/Н), Ц у = 1, ..., kv
(с) Распределение линейных функций нормальных случайных величин. Если в (7.4.17) мы положим ti = cit, /=1, ...,к, где константы ct не равны нулю одновременно, то получим выражение к
для характеристической функции ср (/) линейной функции L = ^ c^f.
к ?(0 = ехр Г1(5к ?(0 = ехр Г1(5кк^i i^ Г^i i^ Г(7.4.19)(7.4.19)
к ?(0 = ехр Г1(5
к ?(0 = ехр Г1(5
к
к
^i i^ Г
^i i^ Г
(7.4.19)
(7.4.19)
Применяя теперь теорему 7.2.1, мы приходим к следующему результату:
Если (xv ..., хА) имеет k-мерное распределение М({|ч}, ||0.у. ||), I, у= 1, . ..,ft, то форма L = cxxx-\~* ••А”скхк имеет распределение
N^c^, 2 °Ucicj\
t=l z, j-=\
Аналогичным образом можно установить более общую теорему
Если Lp = срХхх +... + сркхк) p=\,..%)s, s^k,—линейно независимые случайные величины и (хХ1 ..., х^ имеет распределение N({|iJ, Н^уН), U j=L ..., к, то величина (Lx, ..., L$) имеет s-мерное распределение
kк
^({2 CPiV-iY || S CijCpiCqj II), P* q = 1, • • ■ > S.
z=li, 7=1
(d) Условные распределения, связанные с ft-мерным нормальным распределением. В заключение рассмотрим ф. п. в. условной случайной величины хк | хХ) ..., хк_х для ft-мерного нормального распределения. По определению
Ц*к \xv..„ xk_^=-vf^’;x,,XkVb . ,(7.4.20)
/12 ... (Л-1) И1> •••> хк-\)
где Дхъ .... хк) — ф.п.в. (7.4.1) и /1а ... (к_^(хь ..., хьД — маргинальная ф. п. в. величины (хь ..., хк_х\ т. е.
Аз ... (Л-1) 0^1 > • “ ’ -^Л-1) =
= Х^ехрГ 12 ^(^p-^)(^-^)l, (7.4.21) (2^*''
причем || а?» || означает матрицу, обратную ||ар9||, р, q=l, .... к— 1. Заметим, что в случае матрицы |J о</1| и обратной ей матрицы Ца^Ц мы имеем I, j=X, ..., к.
Пусть yl = xi — р,г, 1=\,...,к, Легко можно проверить тождество к. а-iб-i
2 аи^. = окк [л - ^ (3*^ J + 2 «Wq’ <1А-^
i, /=1Р=1Р, ?=1
где
Л-1
^p = ^fqp»=!,...,А-1.(7.4.23)
Кроме того,
где I, j= 1, ..., к и р, q= 1, ..., к— 1.
Подставив выражения для /(Хр ..., хк) и/12... ^-^(Xv..., хкл) в (7.4.20) и воспользовавшись (7.4.22) и (7.4.24), мы найдем f • • • > -1) ==г
= ехр [ (хк - ^) - 2 К (^ - ^)] } • (7.4.25) 71р=1
Последняя формула приводит нас к теореме
Если (хр ..., хк^ — векторная случайная величина, имеющая h-мерное распределение N({[iJ, Цо^П), Ц j=l> ..., h, то распределение условной случайной величины, xk\xv ..., хкЛ есть
/г — 1
где величины ^ даются формулой (7.4.23).
Следует отметить, что у (х* | хь ..., хкЛ) для распределения (7.4.25) является линейной функцией от xv ..., хкЛ и тождественно совпадает с правой частью выраже^я (3.8.18), определяющего плоскость средней квадратической регрессии величины хк на xv ..., xk_v Кроме того, с^(хк\хь ..., хкЛ) в этом случае имеет значение, равное ^, чго в свою очередь совпадает с величиной средней квадратической остаточной дисперсии хк на Хр ..., хкЛ, определяемой формулой (3.8.25).
Таким образом, мы установили следующий важный факт.
В случае h-мерного нормального распределения среднее и дисперсия условной случайной величины xk\xv ..., хкЛ совпадают соответственно с функцией средней квадратической регрессии и средней квадратической остаточной дисперсией величины хк на Хр ..., xk_v
Гамма-распределение
Обычно гамма-функция Г (g) определяется для комплексных чисел g вещественная часть которых положительна, с помощью интеграла
r(^) = f x^e^dx.(7.5.1)
о
На самом деле мы будем интересоваться только вещественными и положительными значениями g.
В результате интегрирования по частям мы находим
r^)=U-i)ru-i),
откуда следует, что если g—положительное целое число, то
rU) = &-l)L
Если g^> 0, но не является целым числом, то r(g) = (g-l)fe'-2) ...8Г(8),
/ 1 \ г —
где 0<8<^1. В частности, Г =У к. В этом можно убедиться, заметив, что /=2тсГ^), где I берется из формулы (7.2.3).
В задачах математической статистики наиболее важными значениями g, как мы увидим в последующих главах, являются значения, 1
кратные у •
В задачах, где рассматриваются суммы квадратов и квадратичные формы нормально распределенных случайных величин, часто появляется распределение, которое имеет ф. п. в.
г Иг И(7.5.2)(7.5.2)
г И
г И
(7.5.2)
(7.5.2)
О,О,х^О
О,
О,
при |а^>0. Будег удобно называть это распределение гамма-распределением О(ц). Его также называют распределением Пирсона типа III. r-ый момент гамма-распределения равен
и'—1(dx— ГОЛ + Г)Г7 5Ч^
Г(р) )Х6 аХ~ Г (ц)^М
б откуда
g(^) = ^о2(х) = р,(7.5.4)
т. е. как среднее, так и дисперсия гамма-распределения равны, р.. Как мы помним, этим свойством обладает также распределение Пуассона (6.4.1), которое, конечно, является дискретным распределением. Полагая в (7.5.2) ^л =/?, мы получаем функцию^
<и’ = Г(Я-1)$ хРе’Х dx'
О
названную Карлом Пирсоном (1905) неполной гамма-функцией. Он протабулировал (1922) ее для комбинаций значений и и р при и от О До 12 и р от 0 до 50.
Рассмотрим характеристическую функцию гамма-распределения °(р):
ОО
ср(а = —L-- ( xv- ~x е~ -Xlx~xridx.(7.5.5)
Полагая ^(1 — i^)=j/, мы находим ?(0 = (1 — ii)(7.5.6)
Если считать р, параметром гамма-распределения, то, очевидно, характеристическая функция удовлетворяет (5.3.7) и, следовательно,
Гамма-распределение G(p.) является воспроизводящим по ц. Как мы уже указали, одно из важнейших приложений гамма-распределения связано с рассмотрением задач нахождения распределений некоторых квадратичных форм нормально распределенных случайных величин. В общем случае Л-мерной нормально распределенной случайной величины, имеющей ф. п. в. (7.4.1), представляет интерес квадратичная форма, стоящая в экспоненте самой ф. п. в., именно форма Q^, ..., хк\ определяемая (7.4.2).
Рассмотрим характеристическую функцию формы yQ^,..., х^
ср (£) =\ е 21 я дх^ , , дх^ (7.5.7)
(2л) 2 ^ ^
Сделав преобразование yi = V1 — i f (X/ — р,), z = 1, ..., к, мы приведем (7.5.7) к виду
ф (0 = _Й£±. (1 _ }t) ” "2"6 ( expf — у 2 ^Л') ^1 • • • ^- (7-5-8)
Используя теперь (7.4.3), мы получаем
=?(/) = (!<715-9)
что является характеристической функцией гамма-распределения ^(т)* Таким образом,
Если (хь ..., хк) — векторная случайная величина, имеющая к-мерное распределение ?/({[!,}, || Qij || ), /, /= L . к, то фопма у Q (хь ..., хк) имеет гамма-распределение О ^у).
Задачи другого типа, в которых встречается гамма-распределение, связаны с непрерывным распределением времени ожидания. Как мы знаем из § 6.5, (6.5.14) представляет собой вероятность того, что необходимо осуществить х испытаний, прежде чем получить к событий С. Теперь предположим, что события С могут наступать в любой момент времени, и найдем, как долго мы должны ожидать, чтобы получить к событий С. Пусть (0, t) — интервал времени, в течение которого событие С наступило точно (к—1) раз, и (t, t-\-M)— интервал, в течение которого С наступило к-й раз. Разобьем интервал (0, f) на ~ интервалов длины А. Условимся считать, что вероятность наступления С в течение заданного интервала времени М равна
\М-уО^Г), где X — некоторая постоянная, именно равная среднему числу наступлений С в единицу времени. Кроме того, предположим, что наступление любого числа событий С в интервале I не зависит от наступления какого-либо числа событий С в интервале Г, не перекрывающемся с /. Мы хотим определить вероятность того, что необходимо будет ждать в течение времени от t до 1-\-^> чтобы наступило последнее из к событий С. Эта вероятность равна произведению вероятности наступления (Л—1) событий С в ~ интервалах, на которые мы разбили (0, t\ и вероятности наступления Л-го события С в течение интервала (t, t-^-M). С точностью до членов порядка М мы получаем эту вероятность, полагая в (6.5.15) ^ = ^ и р = ХЫ. Это дает
'1 — 1 \ (Ш)* (1 — iMyw-*=
t 1/
= (£zzM^^_l^L^^х*-* (1 — XMyW~кШ. (7.5.10)
Разделив (7.5.10) на М и устремив М к нулю, мы находим ф. п. в.
Л0=Л0=X (КГ^е-^(^-1)10,X (КГ^е-^(^-1)10,^>0, ^0.^>0, ^0.(7.5.11)(7.5.11)
Л0=
Л0=
X (КГ^е-^(^-1)1
0,
X (КГ^е-^(^-1)1
0,
^>0, ^0.
^>0, ^0.
(7.5.11)
(7.5.11)
Функция f(f) при тех предположениях, которые были сделаны, является ф. п. в. времени ожидания, необходимого для того, чтобы наступило точно Л событий Сг
Из (7.5.11) ясно, что XI есть случайная величина, имеющая гамма-распределение 0(A).
Наконец, будет полезно сформулировать следующий результат, оставляя его проверку читателю.
Если х— случайная величина, имеющая равномерное распределение R^» 1)> ^о случайная величина у=—1пх имеет гамма-распределение 0(1).
Бета-распределение
Другим непрерывным распределением, которое часто встречается в математической статистике, является распределение, имеющее следующую ф. п. в.:
/и =/и =■г hits»<,<!, (7.6.1)
/и =
/и =
0в противном случае,
гДе vj и у2— положительные вещественные числа. Мы будем называть эго распределение бета-распределением Be (vb ^).
Убедимся, что интеграл от /(х), взятый по интервалу (0, 1), равен единице. Применяя (7.5.1), мы имеем
Г (vj) Г(у2) = 55 хр - !х^ -" X^dxv dx^ (7.6.2)
’ о б “
что после преобразования
xv = г2 cos2 0, х2 = г2 sin2 О с якобианом
^^р = 4Гз sin 9 Cos 9 дает
2 оо
Г (vj) Г (v2) = 4 5 5 (cose^i-^siire)^-^^^(7.6.3)
о о
Производя в интеграле
2 5 ?-2v1 + 2v2 — 1е—г2 Дг о
замену г = Уу> мы приводим его к выражению, определяющему Г (vj-j—v2). Поэтому (7.6.3) приобретает вид
-^р^^ = 2 J (cos 6)2'1 -1 (sin 6)2'2 -1 d9.(7.6.4)
б
Наконец, делая в (7.6.4) замену переменной интегрирования по формуле cos& = ]/x, мы получаем
г W г (у8) _ сГ^+^2) ~ Jг W г (у8) _ сГ^+^2) ~ J1
г W г (у8) _ с
Г^+^2) ~ J
г W г (у8) _ с
Г^+^2) ~ J
х^-1 (1 —xys-Xdx,(7.6.5)
т. е. действительно интеграл от f^ по интервалу (0, 1) равен единице.
К. ф. р. F (х) бета-распределения Be(vb v2), обозначаемая через ^(^ь ^з) и называемая неполной бета-функцией, была табулирована под руководством Карла Пирсона (1934) для значений х от 0,01 до 1,00 и vb у2 от 0,05 до 50.
Функция от Vj и v2, равная определенному интегралу в правой части (7.6.5), называется бета-функцией от vt и у2; она имеет классическое обозначение B(vb v2).
Бета-распределение доставляет еще один пример непрерывного распределения, для которого характеристическая функция не приносит пользы при нахождении моментов. Простейший путь найти эти мо*
менты — обратиться к непосредственному вычислению. Так, если ^ — г-й момент распределения (7.6.1), мы имеем
^ = Т7§тЙг S х''1+г^' 0 - x)^-'dx.(7.6.6)
0
Использу мента:
я (7:6.5), мы получаем следующее выражение для r-го мо
и' — г 6ч +'^ Г G1 + г)/у g ух
Рт г (^+^ + г)Г(^) ’
откуда
(л(х)=--^ , e3W = 7—С-(7-6.8) ^"HsV(^1+^)-(^1+''2+1)
Бета-распределепие "возникает в различных ситуациях, встречающихся в математической статистике, в частности, в теории порядковых статистик и некоторых статистических критериях. Мы обсудим эти ситуации в более поздних главах. Один из наиболее важных случаев возникновения бета-распределения выражается теоремой
Если хх и х%— независимые случайные величины, имеющие соответственно гамма-распределения O(vj) и G(v.2), то случайная величина
имеет бета-распределение Be(vb v2).
Это утверждение проверяется непосредственно. В. э. двумерной случайной величины (хх, х2) равен
гТТГГаП х, ^-'x^-^i -^ dx, dx^.(7.6.10)
Х VI/ Х V2/,
Если в (7.6.10) сделать замену переменных
« = х д\ ", ® = ^>(7.6.11)
мы получим в. э. величины (и, у)
1- —
т. / \ z \(1 —м)-(ъ+Ое 1 - и du dv,(7.6.12)
Г (vj Г (м2)47
Распределение и является маргинальным для распределения, имеющего в- э. (7.6.12). Интегрируя (7.6.12) по и от 0 до оо, мы обнаруживаем, что и имеет бета-распределение Be(vb v2).
Замечания. Прежде чем закончить параграф, посвященный бета-распреДелению, будет полезно указать на две важные формулы, касающиеся гамма- Функции, полученные соответственно Лежандром и Стирлингом. Эти формулы можно вывести из бета-распределения путем элементарных рассуж» Дений.
Формула удвоения Лежандра для гамма-функции. Предположим, что в (7.6.5) ^ = ^2=^. Тогда
12
Г2 СС
\ х^О-лГ^^-ЗХ ^x-x^dx. (7.6.13)
0'о
Переходя в последнем^ интеграле к новой переменной* у = 4 (х — л2) при
у, т. е. полагая х = —(1—V1—у), мы находим
^^^Лу-Ц!-^) гйу = *2>-»-,]<(7.6.14)
('4+±)
и, поскольку Г
92V-1/1 \
r(2v) = £— ГМГк+4).(7.6.15)
У тс \/
Эта формула и называется формулой удвоения Лежандра для гамма-функции; она понадобится нам в последующих главах.
Формула Стирлинга для больших факториалов. Используя некоторые предельные свойства бета-распределения, мы можем установить с помощью элементарногсг анализа чрезвычайно важную аппроксимацию для Г (g) для больших вещественных значений g.
Возьмем в формуле (7.6.1) ^ = £и »2 = ^+l и сделаем замену переменной х = —. Тогда п п
о
для всех значений п. Поэтому предел левой части (7.6.16) при п —оо равен единице. Следует заметить, что подынтегральное выражение в (7.6.16) сходится к у^е-У при п -* оо равномерно в любом конечном интервале (0, К). Выбрав п достаточно большим, мы можем сделать разность
mln (я, К)К
С у£-1(1 -™)" <ty — § yg'le-y аУ оо
произвольно малой. Но К можно заранее фиксировать так, чтобы интеграл
min(«, К)
I у^" 1 — — ) dy
J\ -п )
о
также был произвольно мал. Следовательно, пОО
(7.6.17)(7.6.17)lim С у^"1 fl —~V dy = f yg^e-^ dy^T (g). n oo j \ tl ).)
(7.6.17)
(7.6.17)
Таким образом,Таким образом,1,1,оо
Таким образом,
Таким образом,
1,
1,
(7.6.18)(7.6.18)(7.6.19)(7.6.19)(7.6.20)(7.6.20)Пусть теперь•$п (£)==£ In Л + S I'1® — S ,nfe+a)- a — 1a = 0Дифференцируя (7.6.19) no g, мы находим na = 0Пусть теперь•$п (£)==£ In Л + S I'1® — S ,nfe+a)- a — 1a = 0Дифференцируя (7.6.19) no g, мы находим na = 0гдегдеп + уР 1 С /1”2 J \^+^ —п + уР 1 С /1”2 J \^+^ —, 1 n-V-^, 1 n-V-^22dx1 х~2dx1 х~2Обозначая In п —Обозначая In п —) через Ап (g) и прибавляя Ап (g) ко) через Ап (g) и прибавляя Ап (g) ковсем частям неравенства (7.6.21), мы имеемAn(g) - Вп (g) <№)<\ (g) - Сп (g).всем частям неравенства (7.6.21), мы имеемAn(g) - Вп (g) <№)<\ (g) - Сп (g).(7.6.22)(7.6.22)Устремляя здесь п к бесконечности и учитывая вид Ап (g), Вп (g) и Сп (g\ приходим к неравенствуУстремляя здесь п к бесконечности и учитывая вид Ап (g), Вп (g) и Сп (g\ приходим к неравенствуIng —Ing —1 —1 —г&)г&)11(7.6.23)(7.6.23)
(7.6.18)
(7.6.18)
(7.6.19)
(7.6.19)
(7.6.20)
(7.6.20)
Пусть теперь
•$п (£)==£ In Л + S I'1® — S ,nfe+a)- a — 1a = 0
Дифференцируя (7.6.19) no g, мы находим n
a = 0
Пусть теперь
•$п (£)==£ In Л + S I'1® — S ,nfe+a)- a — 1a = 0
Дифференцируя (7.6.19) no g, мы находим n
a = 0
где
где
п + у
Р 1 С /1
”2 J \^+^ —
п + у
Р 1 С /1
”2 J \^+^ —
, 1 n-V-^
, 1 n-V-^
2
2
dx
1 х~2
dx
1 х~2
Обозначая In п —
Обозначая In п —
) через Ап (g) и прибавляя Ап (g) ко
) через Ап (g) и прибавляя Ап (g) ко
всем частям неравенства (7.6.21), мы имеем
An(g) - Вп (g) <№)<\ (g) - Сп (g).
всем частям неравенства (7.6.21), мы имеем
An(g) - Вп (g) <№)<\ (g) - Сп (g).
(7.6.22)
(7.6.22)
Устремляя здесь п к бесконечности и учитывая вид Ап (g), Вп (g) и Сп (g\ приходим к неравенству
Устремляя здесь п к бесконечности и учитывая вид Ап (g), Вп (g) и Сп (g\ приходим к неравенству
Ing —
Ing —
1 —
1 —
г&)
г&)
1
1
(7.6.23)
(7.6.23)
что можно переписать в виде
Г (g) = lim —7—г—тт7—;—г.
Очевидно,
lim S„(g)=lnr(g) и lira S;(g)=£^.
л —* ооД —> ОО1 kg)
Далее, как можно показать посредством элементарных вычислений, п
a — 0
(7.6.24)(7.6.24)(7.6.25)(7.6.25)
(7.6.24)
(7.6.24)
(7.6.25)
(7.6.25)
из которого вытекает соотношение
T(g) *
Интегрирование (7.6.24) no g дает
1п Г (g) =^In g—zz —
где C— не зависящая от g постоянная. Мы можем определить значение С, воспользовавшись формулой (7.6.15). Для этого заменим в этой формуле -v иа g и возьмем логарифм. Тогда
■ 1пГ(2^) = (2^-1)1п2 + 1пГ(5) + 1пГ^+ 1)-1щл. (7.6.26)
Подставив сюда вместо In Г (2g), In Г (g) и InT^g+^j их выражения из (7.6.25) и перейдя к пределу при g-^oo, мы получаем С = -2*1п2л.
Таким образом, окончательно
г (g) -V^g* ^e-g (14-0 (lj) .(7.6.27)
Неравенство (7.6.21) слишком грубо, чтобы дать нам коэффициенты при различных степенях — в 0( —) из формулы (7.6.27). В1 . 1 8 "Неравенство (7.6.21) слишком грубо, чтобы дать нам коэффициенты при различных степенях — в 0( —) из формулы (7.6.27). В1 . 1 8 "действительностидействительностиОО12g 288g212g 288g2, но чтобы установить это,, но чтобы установить это,требуются болеетребуются болеесильные аналитические методы, чем использованные нами.сильные аналитические методы, чем использованные нами.По этому поводу можно, например, обратиться к Уиттекеру и Ватсону (1946) или КрамеруПо этому поводу можно, например, обратиться к Уиттекеру и Ватсону (1946) или Крамеру(1946). Для больших значений g асимптотическая формула(1946). Для больших значений g асимптотическая формулаr(g)^l^/ Ver(g)^l^/ Ve(7.6.28)(7.6.28)
Неравенство (7.6.21) слишком грубо, чтобы дать нам коэффициенты при различных степенях — в 0( —) из формулы (7.6.27). В
1 . 1 8 "
Неравенство (7.6.21) слишком грубо, чтобы дать нам коэффициенты при различных степенях — в 0( —) из формулы (7.6.27). В
1 . 1 8 "
действительности
действительности
О
О
12g 288g2
12g 288g2
, но чтобы установить это,
, но чтобы установить это,
требуются более
требуются более
сильные аналитические методы, чем использованные нами.
сильные аналитические методы, чем использованные нами.
По этому поводу можно, например, обратиться к Уиттекеру и Ватсону (1946) или Крамеру
По этому поводу можно, например, обратиться к Уиттекеру и Ватсону (1946) или Крамеру
(1946). Для больших значений g асимптотическая формула
(1946). Для больших значений g асимптотическая формула
r(g)^l^/ Ve
r(g)^l^/ Ve
(7.6.28)
(7.6.28)
достаточна для большинства приложений. Если g—целое положительное число и, следовательно, Г ( g-|- 1) = g\, мы имеем формулу Стирлинга для больших факториалов
g1 ^ V^gg^eS. (7.6.29)
Распределение Дирихле
Многомерным аналогом (7.6.1) является распределение, имеющее ф. п. в., равную
—(7-7Л)
в любой точке симплекса ^ = {(Х!, ..., x^yXi^O, 1=1, ..., А, 2 xi ^ О и равную нулю в других точках Rfe. Здесь все vz — веще- Z — 1
ственные положительные числа. Мы будем называть распределение с ф. п. в. (7.7.1) к-мерным распределением Дирихле D(yb ..., ^; ^м^ Заметим, что если А=1, (7.7.1) сводится к ф. п. в. бета-распределения, т. е. D (Vb v2) совпадает с Be (v1? v2). Распределение Дирихле является основным в вероятностной теории порядковых статистик, как мы увидим это в § 8.7.
С целью убедиться в том, что интеграл от f(xv ...,х^ по симплексу Su равен единице, сделаем в (7.7.1) замену переменных
^i==6i, ^а = 9.2(1 — xj), .... хк = 9к(\ — Xi —... — хкЛу
В результате мы получим
/(xjx^dx^ ..dxk =
Г (^ + -” + ч*+1) fl’l-l/i(n’» + - + ’bn-l|l’2-l у
81 (]~81) _ 02 х
Х(1-ЛХ: + '" + ^‘ L.0?Al-6»)',*+,~ld6i...d9»> (7.7.2)
где (9j,..., О*) принадлежит h-мерному единичному кубу {(Ор ..., дку. О^О^Ь /=1> ..., h\. Применяя (7.6.5), мы имеем
^(хр xk)dx{...dxk г (^...Г^^ц/ X
(7.7.3)(7.7.3)v 2M^±222±2h±lL ^Ы^ЫД
(7.7.3)
(7.7.3)
Ясно, что правая часть после сокращения дает единицу. Интеграл
хр-1 ...х^-1 (1 — х, —— х^^^' dxy...dxk, фЛА)
равный по доказанному
Г (vi + ... + ^+i)
был впервые исследован Дирихле (1839) и известен как интеграл Дирихле. Этим и объясняется название, данное нами распределению, имеющему ф. п. в. (7.7.1). Аналогичным образом ранее был введен термин «бета-распределение».
(7.7.6)(7.7.6)Нетрудно проверить, что смешанный момент р^... г^ ^-мерного распределения Дирихле выражается формулой
(7.7.6)
(7.7.6)
Xrv-rk r(Vi + _+^.i + ri + _ + r^)rM"^,
откуда мы находим средние, дисперсии и ковариации величин хр.
р (xz) = —3, I = 1, ..., h,
1=1, .... А, (7.7.7)1=1, .... А, (7.7.7)rW г Ч —>f (»i + - + ^i —>t)
1=1, .... А, (7.7.7)
1=1, .... А, (7.7.7)
v °(^+...+W^i+- + ^+i + i) ’
а(х, ху)—•(^^^^..х^^ i^j-X, к.
Можно сформулировать следующий ^-мерный аналог теоремы 7.6.1:
Пусть хь ..., хн1 — независимые случайные величины, имеющие соответственно гамма-распределения G(vi), ..., O(v^M), и
’П + -“~Ьл^-ы ’’П + -“~Ьл^-ы ’I = 1, ..., h.I = 1, ..., h.(7.7.8)(7.7.8)
’П + -“~Ьл^-ы ’
’П + -“~Ьл^-ы ’
I = 1, ..., h.
I = 1, ..., h.
(7.7.8)
(7.7.8)
7 С. Уилкс
Тогда ^ух, ..., ул) имеет к-мерное распределение Дирихле D(yx, ...
^; v*+i).
Теорема 7.7.1 доказывается непосредственно. Это доказательство мы оставляем читателю в качестве упражнения.
Положим в формуле (7.7.6) г д1+1 =... = гк = 0, кх<^к. Мы получим смешанный момент р-^.. 1Г^ маргинального распределения случайной величины (хр ..., х^ для A-мерного распределения Дирихле D (v„ ..., ^; v^), причем
Но именно так записываются смешанные моменты Агмерного распределения Дирихле D (v1? ..., >>&;, уд1+1 +... + v*+1). С другой стороны, согласно многомерному аналогу теоремы 5.5.1а распределение Дирихле однозначно определяется своими моментами. Таким образом,
Если (хр ..., х^ — векторная случайная величина, имеющая k-мерное распределение Дирихле Ь(ух, ..., v^; Уд+1), то маргинальное распределение случайной величины (хп ..., х^, кх<^к, является камерным распределением Дирихле D^v> •••> ^др ^i+i + • • • + vm)»
Теперь мы можем выписать ф. п. в. условной случайной величины хк | хх,..., хк_х для A-мерного распределения Дирихле, взяв отношение ф. п. в. распределения D (у^ ..., у^; yft+1) и ф. п. в. распределения D(yx, ..., Nk_x; уд4~уд+1). После некоторого упрощения мы получаем следующее выражение для в. э. условной величины хк | хх, .. •, хк_х.
Лр^у I уУ \ Т (уд4"^А+1) /Хк\ х/
dF\xk\xv— г г ^_ Хк J X
" X (1 - Г х-к^^dL, - -х»”)’ (7-7Л0)
Из (7.7.10), очевидно, вытекает
Если (хр ..., хк) — векторная случайная величина, имеющая к-мерное распределение Дирихле D(^x, ..., Уд; у*+]), то условная случайная величина
:—— _ Xj, . . . , Хк_Х
имеет бета-распределение Be(vA, vft+1).
Следует заметить, что в соответствии с (7.6.8) среднее и дисперсия величины хк\хх, ...» хк_г даются формулами
^(xjx.,-V».!) = ^(1 — Xt —— Хк_хУ
<3Ч {хк I Хь . .., Хк_х) = , Г П-^ — Х* — • • • — Xh-^’
v е|" '^k-V^y (yk+^1 + i)
(7.7.11)
Другое полезное свойство A-мерного распределения Дирихле можно сформулировать в виде теоремы
Если (хр ..., х^— векторная случайная величина, имеющая k-мерное распределение Дирихле D (vp ..., vft; ул+1), то сумма Xi + --- + ^ имеет бета-распределение Be(vj4--.« + v^ у&+1).
Эта теорема следует из того, что r-й момент величины 1 — (xt 4-... ..- + ^) равен
У (vA+i "к ^) ^ (^1Г • ■ -4' Чч-i) г1 п
тСч++ г) г C^+i) ’’ ’
и, значит, по теореме 5.5.1а величина 1—(•^1 + --< + ^) имеет бета-распределение Be (ул+1; Vj 4* • • • + ^)- Поэтому сумма хх Ц-... 4- xk имеет бета-распределение Be (vt 4- • • • 4“v^ Ча-^* '
Теорема 7.7.4 может быть обобщена следующим образом.
Если (хь ....х^ — векторная случайная величина, имеющая k-мерное распределение Дирихле D(vb..., vA; у*+1), то случайная величина (zx, ..., zs\ где zA = хх-\-.. .-\-Xkv г2 = хЛ1+14-• •. ... 4“ Xkx + ka> • • • > 2S = Xkt 4- ... 4- ks l 4-1 4” • • • 4" ^^ 4- • • • 4- ks 11 ^1 • • • • • • + bs ^ k, имеет s-мерное распределение Дирихле D (v(1),..., v(s); V(s+1))> где v(i) = vi + --’ + ^p v(s) — ^14~... + Vi4-i + -’- + + ^t +... + ^ v(5ЧЛ) = vfc 14- • • • 4-Л 4-1 + ‘ ‘ • + v*+i-
Действительно, в результате прямых вычислений, использующих (7.7.1), мы имеем
§ [^‘-Н*... 46 (1 — ^1 — ^»1 +1 — • • • — **)'“’] =
(7.7.12)(7.7.13)(7.7.14)(7.7.12)(7.7.13)(7.7.14)_0_E<W£^^i±idL£*i±iL2i£^+^^
(7.7.12)
(7.7.13)
(7.7.14)
(7.7.12)
(7.7.13)
(7.7.14)
r<\i)+^I4-i+---+^+v*+i+'\+»+‘"+r*+r(i)) ’
гдеG r(\i)+^+-+-+M
Но правая часть формулы (7.7.12) равна среднему
& К*1.# • • -^о — zi — ^*1+1 —... — ^)r,,,J. вычисленному, исходя из ф. п. в.
f(Z!, xftl + b .... Xb)=GZi'l>~V£l^\..X^ X
Х(1 — ^1 —х&1+1 ——^)'*+‘-1,
причем последняя определяется моментами единственным образом, так как (zv Xk^y ..., х^) — ограниченная случайная величина.
Мы можем, далее, повторить рассуждения, вводя z^ и т. д.
В конце концов мы получим
f^vf^v_ Г (v(I, + ...4-^<i+i>)
f^v
f^v
-Г(У1П)...Г(>($+П)
(7.7.15)(7.7.15)х 4,п-1 • • • г?"1 (I - ^ -... - zs$'sw
(7.7.15)
(7.7.15)
что и доказывает теорему 7.7.5. 7»
В приложениях к порядковым статистикам, в частности в § 8.7, оказывается полезным другое распределение, тесно связанное с ^-мерным распределением Дирихле. Пусть (хь ..., х^ — векторная случайная величина, имеющая Л-мерное распределение Дирихле D(yv ••• ..., ^; v^). Введем новые величины
^1 = ^П
. (7716)
Nk = Х1 Ч~ • • • -Г Хк*
Так как якобиан этого преобразования равен единице, ф. п. в. величины (.Ун • • •, .У*) будет иметь вид
\1-^ (7.7.17)
где область изменения у описывается неравенствами 0<^yt<^... • • •< У к <С 1- Удобно называть распределение, имеющее ф. п. в. (7.7.17), порядковым h-мерным распределением Дирихле D* (vp ..., v^; чклЛ\ Заметим, что при h = 1 (7.7.17) сводится к ф. п. в. бета-распределения Be(vb v2).
Иногда представляет интерес маргинальное распределение некоторого подмножества s величин уг. Приведем результат, который найдет применение в задачах, касающихся порядковых статистик.
Если (jp ..., j^) — векторная случайная величина, имеющая порядковое h-мерное распределение Дирихле D* (vb ..., ^; ^+i), fno маргинальное распределение величины ^kv ykt-vk^ • •• ..., J^ +... + л ) является порядковым s-мерным распределением Дирихле В*(уъ ..., v(s); v^i)), где v(1), ..., v(s+1) — числа, определенные в теореме 7.7.5.
В самом деле, случайные величины у^, ..., у^^ .^и^ которые определены в (7.7.16), имеют то же самое распределение, что и случайные величины zt, 2^ —]— 2*3, ..., ^ -}-•.• + zs, определенные в теореме 7.7.5. Так как (гь ..., 2S) имеет s-мерное распределение Дирихле В(у^,..., у(5); V(5+i)), то по определению (zb Zx-^-z^, ..., ^—|—., • ... + ^) имеет порядковое s-мерное распределение Дирихле D* (v(1),..,
Следует отметить, что теорема 7.7.6 также может быть установлена прямым интегрированием ф. п. в. (7.7.17) по всем уь за исключением у^, уи^ь, • • •> ^+ •••+ AS* Интегрирование ведется сначала последовательно по yb ...,yfel_i в области О <^уг <^... <УкР затем последовательно по yk^v • ^н ь-i в области Ук^у^-н^ <...<^ + ^ и т. д.
7.8. Распределения, встречающиеся в дисперсионном анализе
В дисперсионном анализе, а также в других основанных на нормально распределенных случайных величинах статистических процедурах, которые будут рассмотрены в дальнейших главах, фундаментальную роль играют три распределения, тесно связанные с гамма- и бета-распределениями, именно, %2-распределение, распределение Стьюдента и распределение Снедекора. Удобно привести здесь эти распределения в их основных формах в качестве новых примеров важных непрерывных распределений.
^-распределение. Сделав замену переменной
Хе=2х
в в. э. гамма-распределения G(p-), мы получим
zxV*1 ~7z2 \ 9 )
<7-8Л)
Это выражение определяет в. э. ^-распределения с 2р. степенями свободы. Если случайная величина имеет распределение с в. э. (7.8.1), мы будем говорить, что она имеет ^-распределение С (2р.). В большинстве статистических приложений этого распределения 2р. является
ОО
целым положительным числом. Значения %«, для которых ^dF^Q^ =
Ха
= а, для различных значений а от 0,001 до 0,99 при 2р.= 1, 2, ..., 30 были табулированы Фишером (1925а). Более обширные таблицы изданы Пирсоном и Хартли (1954)..'
Следует отметить, что характеристической функцией х2-распреде- ления С (2р.) будет функция
?(0 = (1—W,(7.8.2)
которая получается путем замены в (7.5.6) t на 2£
Из (7.8.2), очевидно, вытекает теорема
^-распределение С(2р.) является воспроизводящим по р..
(7.8.3)(7.8.3)Поскольку -^ имеет гамма-распределение О(р-), применяя (7:5.3), мы находим r-й момент величины X гт^+г) Г to • Отсюда для ^-распределения С(2р.)
(7.8.3)
(7.8.3)
&(Х2) = 2^> с3(ха) = 4р.
Обозначение у2, введенное К. Пирсоном (1905), довольно неудобно, но мы будем продолжать им пользоваться, так как оно глубоко укоренилось в статистической литературе.
Возвращаясь к задаче распределения формы Q^, ..., хА) и учитывая теорему 7.5.2, можно установить следующий факт.
Если (хь ..., х^ — векторная случайная величина, имеющая k-мерное распределение A^dp./}, || 07 ||), /,/=1, ..., к, то
форма ^ ^^i — kOC*/— Ру) имеет-^-распределение С^к\
Приведем важное следствие этой теоремы.
. Если х — случайная величина, имеющая распределение N(0, 1), то хч имеет -^-распределение С(1).
Причина, по которой с параметром 2ц, связывается термин степени свободы, становится понятной, если заметить, что указанное в теореме 7.8.1 число степеней свободы совпадает с числом случайных величин в рассматриваемом (невырожденном) нормальном распределении. Разумность выбора этого термина станет еще яснее, когда мы познакомимся в дальнейших главах с некоторыми приложениями ^-распределения.
Распределение Стьюдента. Математическую сущность этого распределения и его отношение к распределениям других случайных величин можно выразить следующим образом.
Пусть и — случайная величина, имеющая распределение N(9, 1), и v — случайная величина, имеющая ^-распределение С(к\ Если и и v независимы, случайная величина
имеет ф. п. в.имеет ф. п. в.
имеет ф. п. в.
имеет ф. п. в.
Формула (7.8.4) и определяет ф. п. в. распределения Стьюдента с к степенями свободы. Для краткости мы будем называть это распределение распределением Стьюдента S(k). Различные его приложения рассматриваются в §§ 8.4 и 10.4.
(7.8.5)(7.8.5)Чтобы получить распределение (7.8.4), применим к в. э.
(7.8.5)
(7.8.5)
2/2. Г (А)
случайной величины (и, у) преобразование
(7.8.6)
Г к и найдем затем маргинальное распределение t.
и, следовательно,
Якобиан преобразования (7.8.6) равен в. э. величины (s, f) будет иметь вид
(7.8.7)
Ф. п. в. величины 1, и притом тождественную (7.8.4), мы получим, вычислив маргинальный в. э. t, т. е. проинтегрировав (7.8.7) по s от О до сю.
Величины t^ для которых Р (1t1 > t^ = а, были табулированы Фишером (1925а) для различных значений а от 0,1 до 0,99 и k = = 1, 2, ..., 30. Соответствующую таблицу можно найти также у Пирсона и Хартли (1954).
Отметим, что все нечетные моменты распределения, имеющего ф. и. в. (7.8.4), если они существуют, равны нулю. Что же касается существующих четных моментов, то
1^4, = ^ = ^
Далее, так как и и v независимы,
Но и2 и и имеют соответственно ^-распределения С(1) и С (Л). Отсюда, используя (7.8.3), мы находим
(7.8.8)(7.8.8)
(7.8.8)
(7.8.8)
Одновременно обнаруживается, что ^ существует в том и только том случае, если —1<^2г<^Л.
Среднее и дисперсия распределения Стьюдента даются равенствами
Нижеследующее утверждение устанавливает связь между распределением Стьюдента и бета-распределением.
Если t — случайная величина, имеющая распределение Стьюдента S(k), то х = —имеет бета-распределение '+т
Ве(^т)-
Распределение Снедекора. Математическую сущность и происхождение этого распределения выясняет теорема
7.8.5. Пусть и и у— независимые случайные величины, имеющие соответственно ^-распределения C(k^ и C(k<^. Тогда случайная величина пki ка7.8.5. Пусть и и у— независимые случайные величины, имеющие соответственно ^-распределения C(k^ и C(k<^. Тогда случайная величина пki каимеет в. э.имеет в. э.dF,,. •.№ =dF,,. •.№ =г(±»1+1б,)т(4».)т(-Нг(±»1+1б,)т(4».)т(-Н-4—d^.-4—d^.(7.8.9)(7.8.9)Это — в. э. распределения Снедекора со степенями свободы kv и к^. Для краткости мы будем называть это распределение распределением Снедекора S^kv k<^. Его приложения рассматриваются в §§ 8.4, 10.4 и 10.6.Распределение Снедекора можно получить, применяя к в. э./1 у?*1-1/! ук2-х(7.8.10) "(Те-)Г(2-Й-)случайной величины (и, ^) преобразованиеЭто — в. э. распределения Снедекора со степенями свободы kv и к^. Для краткости мы будем называть это распределение распределением Снедекора S^kv k<^. Его приложения рассматриваются в §§ 8.4, 10.4 и 10.6.Распределение Снедекора можно получить, применяя к в. э./1 у?*1-1/! ук2-х(7.8.10) "(Те-)Г(2-Й-)случайной величины (и, ^) преобразованиеи вычисляя маргинальное распределение ^. В. э. величины (^, ^) будет равени вычисляя маргинальное распределение ^. В. э. величины (^, ^) будет равен
7.8.5. Пусть и и у— независимые случайные величины, имеющие соответственно ^-распределения C(k^ и C(k<^. Тогда случайная величина п
ki ка
7.8.5. Пусть и и у— независимые случайные величины, имеющие соответственно ^-распределения C(k^ и C(k<^. Тогда случайная величина п
ki ка
имеет в. э.
имеет в. э.
dF,,. •.№ =
dF,,. •.№ =
г(±»1+1б,)т(4».)т(-Н
г(±»1+1б,)т(4».)т(-Н
-4—d^.
-4—d^.
(7.8.9)
(7.8.9)
Это — в. э. распределения Снедекора со степенями свободы kv и к^. Для краткости мы будем называть это распределение распределением Снедекора S^kv k<^. Его приложения рассматриваются в §§ 8.4, 10.4 и 10.6.
Распределение Снедекора можно получить, применяя к в. э.
/1 у?*1-1/! ук2-х
(7.8.10) "(Те-)Г(2-Й-)
случайной величины (и, ^) преобразование
Это — в. э. распределения Снедекора со степенями свободы kv и к^. Для краткости мы будем называть это распределение распределением Снедекора S^kv k<^. Его приложения рассматриваются в §§ 8.4, 10.4 и 10.6.
Распределение Снедекора можно получить, применяя к в. э.
/1 у?*1-1/! ук2-х
(7.8.10) "(Те-)Г(2-Й-)
случайной величины (и, ^) преобразование
и вычисляя маргинальное распределение ^. В. э. величины (^, ^) будет равен
и вычисляя маргинальное распределение ^. В. э. величины (^, ^) будет равен
Интегрируя (7.8.12) по ^ от 0 до оо, мы придем к в. э. величины У> совпадающему с (7.8.9).
При условии —кг<2г <А распределение Снедекора обладает
г-м моментом/1\ / 1\
^= Г WHW = \tA - -/1 \ X (7.8.13)
Для среднего и дисперсии величины -У мы имеем
^ ’к»-^ °v ’ к^—^Чк^—Ау^ ’к»-^ °v ’ к^—^Чк^—Ау(7.8.14)(7.8.14)
^ ’к»-^ °v ’ к^—^Чк^—Ау
^ ’к»-^ °v ’ к^—^Чк^—Ау
(7.8.14)
(7.8.14)
Между распределением Снедекора и бета-распределением существует связь, которая может быть выражена следующей теоремой.
.6. Если ^ — случайная величина, имеющая распределение [' ^ 5Г*1-1
1 + *4— имеет бета-распределение^ f4-^3, X^J, и случайная величина ttv-»— бета-распределение Ве^-^, у^.
Распределение Снедекора с практической точки зрения оказывается несколько более удобным по сравнению с распределением, первоначально введенным Фишером (1924) для целей дисперсионного анализа. Случайная величина х, предложенная Фишером, связана с величиной У равенством
z = yln^. (7.8.15)
Фишер (1925а) табулировал значения ха, для которых Р^х">х^ = а, для а = 0,01, 0,05, kt=A, 2, 3, 4, 5, 6, 8, 12, 24 и Л2=1, 2, ... ..., 30, 60, оо. Снедекор (1937) табулировал значения ^в, соответствующие ха (т. е. ха = ^-\пЗг^ для а = 0,01, 0,05, ^ = 1, 2, ..., 12, 14, 16, 20, 24, 30, 40, 50, 75, 100, 200, 500, оо и А3= 1, 2, ..., 30, 32, 34, 36, 38, 40, 42, 44, 46, 48, 50, 55, 60, 65, 70, 80, 100, 125, 150, 200, 400, 1000, оо. По вопросу дальнейшего табулирования см. Гринвуд и Хартли (1961).
• ^2^а«—^(1~-Ха)*• ^2^а«—^(1~-Ха)*2 ^32 ^3Если ^ имеет распределение Снедекора 8(къ к^, то, как это видно из теоремы 7.8.6, ^а можно найти по таблицам неполной бета- функции Карла Пирсона (1934), поскольку P(^)>^a) = /Xa^i,
• ^2^а
«—^(1~-Ха)*
• ^2^а
«—^(1~-Ха)*
2 ^3
2 ^3
ЗАДАЧИ
Доказать теорему 7.2.2.
Показать, что если х есть случайная величина, имеющая нормальное распределение N (р, а2), то
g(l*—
Показать, что если х есть случайная величина, имеющая ф. п. в. /(л:), то g(|x~c|) достигает минимума с = х0.5, где х0,5 — медиана.
Пусть х — случайная величина, имеющая нормальное распределение N (р, 02) и Xgl^x — условная случайная величина, имеющая нормальное распределение N(xu о2). Показать, что (хь х2) имеет двумерное нормальное распределение N(p., ц; ||а;/||), где
а2 а8
1-2.4
Пусть f^xu х^ — ф. п. в. двумерного нормального распределения ^({0}, || а;/||) с круговой симметрией. Показать, что интеграл от /(хп х^
по квадрату (—к, —к), (—к, + ^), ^ —^), (^, ^) меньше интеграла по кругу х^ + х2 < 4k2lKt и, следовательно,
к 1
4='\е"^ dt<^V\-e^
/2я J2 -
' о
— результат, принадлежащий Уильямсу (1946).
Пусть f(xD Хо)— ф. п. в. двумерного нормального распределения
W({0}, ||а;/||), где„
Пусть FY (х) и F2 (х)— к. ф. р. маргинальных распределений соответственно величин xt и х2. Показать, что коэффициент корреляции между случайными величинами ^ (xt) и F2(x2) равен — snr1^-pj.
Показать, что если (хп х2)—двумерная случайная величина, имеющая распределение 2V({0}, ||afy||), где
то отношението отношениеIl-7ll=|‘Il-7ll=|‘р1р1имеет ф. п. в.имеет ф. п. в._ут=?_ л [1 — 2pz4-z2]_ут=?_ л [1 — 2pz4-z2][Филлер (1932)].[Филлер (1932)].
то отношение
то отношение
Il-7ll=|‘
Il-7ll=|‘
р
1
р
1
имеет ф. п. в.
имеет ф. п. в.
_ут=?_ л [1 — 2pz4-z2]
_ут=?_ л [1 — 2pz4-z2]
[Филлер (1932)].
[Филлер (1932)].
Показать, что если xt и х2— независимые случайные величины, каждая из которых имеет распределение 7?^, 1^, то величины V—21nxt cos2kx2 и V—2 In ^ 81п2лх2 независимы и каждая имеет распределение N (0, Г) [Бокс и Маллер (1958)].
Показать, что если xt и х2— независимые случайные величины, имеющие соответственно гамма-распределения G (kJ и С(к2)> то величины Xi + x2 и р— независимы и имеют соответственно гамма-распределе- “Хх~^-Х2
ние G (kt + kJ и бета-распределение Be (kt 4- ^2)-
Показать, что если xt и х2— независимые случайные величины с гамма-распределениями G М и ^^ + уУ то случайная величина у = = 2^X11 х2 имеет гамма-распределение (7(2^).
Двумерная случайная величина имеет ф. п. в.
0 < а^ < х2 < оо,0 < а^ < х2 < оо,J1 (у у \^2 1 р «К 2
0 < а^ < х2 < оо,
0 < а^ < х2 < оо,
0 в противном случае.0 в противном случае.Г(^)Г(^2) Д1е ’
0 в противном случае.
0 в противном случае.
Показать, что маргинальные распределения величин хх и х2 суть соответственно гамма-распределения G (кх) и G^-^-ks).
Пусть непрерывная случайная величина х такова, что для некоторого положительного целого к величина кх имеет гамма-распределение О1к\ Пусть, кроме того, у | х — дискретная условная случайная величина, имеющая распределение Пуассона Ро (х). Показать, что безусловное распределение величины у есть биномиальное распределение времени ожидания.
Показать, что если xt и х2 — независимые случайные величины, имеющие бета-распределения Be (^, n2) и Ве^+у, ^sj , то Ух^ имеет бета-распределение Be (2^, 2v2).
Показать, что если хгх&— независимые случайные величины, каждая из которых имеет равномерное распределение Re
— In (л? • -Xk) имеет гамма-распределение G (к).
Воспользовавшись характеристическими функциями, показать, что если и — случайная величина, имеющая ^-распределение С (&), то предельное распределение величины ~у= ПРИ ^~*°° есть N (0, 1).
Пусть х — случайная величина с к. ф. р. F (х) и характеристической функцией cp(f). Если для каждого положительного целого числа п [ф^)]” является характеристической функцией некоторой случайной величины, то х называется безгранично делимой случайной величиной, т. е. для каждого п F (х) представляет собой распределение^ суммы п независимых случайных величин, из которых каждая имеет [<р (0]Л своей характеристической функцией. Показать, что случайная величина, имеющая распределение Пуассона, гамма- или нормальное распределение, является безгранично делимой. [По поводу теории безгранично делимых случайных величин см. Гнеденко и Колмогоров (1949).]
Показать, что при к-*со ф. п. в. ^-распределения Стьюдента (7.8.4) сходится к ф. п. в. распределения N (0, 1) для любого t.
Показать, что если хи ..., хь— независимые случайные величины, каждая из которых имеет распределение N(р, а2), и, кроме того, си ..., с^— кк
вещественные константы, причем 2«г=1 и 2с1= 1, то форма с^х^-^-...
i = l/= 1
♦ .*-VckXk также имеет распределение N^ а2). Показать, что этим условиям не может удовлетворять никакой набор строго положительных констант с^
Пусть xD ..., х^— независимые случайные величины, каждая из которых имеет распределение N(0, 1). Пусть, далее, уп ..., ySl s^k, — новые случайные величины, определенные формулой ур = ср1х1 -]-... + Ср^х^ Р=1, ..., s, где 2 cptcqi = 4q (символ Кронекера). Показать, что ^,..., ys z = 1
независимы и все имеют распределение N (0, 1).
С помощью соответствующего дифференцирования характеристической функции (7.4.17) /^-мерной случайной величины (х1э ..., х^), имеющей распределение W({^}, ||^/||), показать, что ^(х^—щ и g(xz —р£) х X <Xj ру) = а^у.
Используя характеристические функции, показать, что если (xv ... •♦•, xk) и (х\ ..., л-р — независимые A-мерные случайные величины, имеющие Распределения ^({p/}, II ^/ll) и W({^}, II az/ II)» то ^-мерная случайная величина (х^х^ ..., хк-^х'к) имеет нормальное распределение ЛЧ^+ р-/}> II aijA"°ij II )• Другими словами, Л-мерное нормальное распределение является воспроизводящим по вектору средних и своей ковариационной матрице.
Пусть р— «истинная» длина основного стержня. Обозначим через *i случайную величину, равную длине копии стержня, которую будем счисть копией первого порядка. Обозначим через х2 случайную величину, Равную длине копии xD которую будем считать копией второго порядка, и т. д. Величина х^ будет, таким образом, длиной копии основного стержня
Л-го порядка. Показать, что если (лу — р), (л2— xj, ..., (х^ — х^)— независимые случайные величины, каждая из которых имеет нормальное распределение N(0, 1), то величина (хп ..., х^) имеет ^-мерное нормальное распределение W({pi}, ll^yll), где Pi—P и
..11
12 2...22
12 3...33
1 2 3 ... к — 1 к— 1
2 3 ... к— 1 к
Показать, что если (хп ..., х^ — векторная случайная величина, имеющая ^-мерное сферическое нормальное распределение ^ ({рг-}, ||^уа2||), где ^j—символ Кронекера, и, кроме того,
г = [(^1 — to)2 + • • • + — to)2] 2,
Пусть в некотором классе объектов действует «закон смертности» так, что вероятность взятому наудачу объекту «умереть» в течение интервала времени (^, t-^-df) (в соответствующим образом выбранных единицах времени) равна " '
Г (ft) dL
Как только объект «умирает», он заменяется другим того же самого типа. Как только этот новый объект «умирает», он снова заменяется объектом того же типа и т. д. Показать, что вероятность «смерти» в течение интервала (^, t + dt) r-го объекта в такой последовательности есть
trfe-ie-t
Г(гА) dL
(Продолжение). Процесс восстановления с фиксированным общим «законом смертности*. Пусть f(t)dt есть вероятность того, что некоторый объект в начальном (нулевом) поколении должен быть заменен «наследником» в течение интервала (£, t-\-df^ и gn (т) dt есть вероятность того, что некоторый объект в n-м поколении должен быть заменен «наследником» в течение интервала (т, т—|—дГт:). Предполагая, что объекты в любом поколении имеют тот же «закон смертности», что и в начальном поколении, показать, что
t
и, следовательно, если существует «установившийся» закон замещения объектов g(t)b он должен удовлетворять интегральному уравнению g^)^
= tg (т) / (t — т) dt [Лотка (1939) и Смит (1958)].
о4
•7.26. Пусть хп..., хд+1— независимые случайные величины, каждая из
которых имеет распределение N (0, 1). Введем новые величины
А.
yi = ^+-+4+1 •
Показать, что (уп..., у к) имеет ф. п. в., равную к\ внутри симплекса {0'1, • • • > №) :5»1 > о, • • • ,№ > о, Л + • • • +№ < 1} и равную 0 вне его. Другими словами, (^п...,.уд) имеет /г-мерное распределение Дирихле /)(!,!,..., 1;1).
Доказать теорему 7.7.1.
Пусть у/^ = ^т, где т — случайная величина, имеющая распределение Снедекора S (кп к2У Показать, что последовательность случайных величин (У1,^2, •••) сходится^по распределению к случайной величине, имеющей %2-распределение с kv степенями свободы.
Пусть (хп..., хд) ^ /^-мерная случайная величина, ф. п. в. которой равна g (pvxi -|-... + а^х^ в области xt > 0,..., х^ > 0 и равна 0 вне ее, где av..., а^ суть положительные константы. Показать, что ф. п. в. случайной величины у = 0рГ1 -]-...-(-а^х^ дается выражением
Пусть (хп ..., хд) — й-мерная случайная величина, имеющая ф. п. в. вида g(y), где у = 2 аих1хр причем матрица констант ||a/yj| симметрична и положительно определена. Показать, что случайная величина у имеет ф. п. в.
ТС 2Л— 1
—/ ь < У2 g(y)>У^°-
Kl^i/I Г \"2")
Показать, что если (хп..., хд)—^-мерная случайная величина, имеющая распределение N ({н}> II °ull)’ то условная ф. п. в./(хп ... ,xs | х^,...
хд) есть ф. п. в. s-мерного распределения N (у.*э... ^*; 11 °р^ || )> где значение р* дается уравнением
Qpk° s-и, к = 0,Qpk° s-и, к = 0,p= 1,..., s, и гдеp= 1,..., s, и где(^р Рр) CpsA-l
Qpk
° s-и, к = 0,
Qpk
° s-и, к = 0,
p= 1,..., s, и где
p= 1,..., s, и где
(a*s+i — P-s+i) ся i, s+i
Uk — Pk) ak, s-vi akk
GG* pq* pqapqaps+l••* Qpk 'aSA-vq °S+i} S+l • • • °S+1, кakqaks+i••• akkas+^,s+i алЧ1. кapqaps+l••* Qpk 'aSA-vq °S+i} S+l • • • °S+1, кakqaks+i••• akkas+^,s+i алЧ1. кp>q=is.p>q=is.
G
G
* pq
* pq
apqaps+l••* Qpk '
aSA-vq °S+i} S+l • • • °S+1, к
akqaks+i••• akk
as+^,s+i алЧ1. к
apqaps+l••* Qpk '
aSA-vq °S+i} S+l • • • °S+1, к
akqaks+i••• akk
as+^,s+i алЧ1. к
p>q=is.
p>q=is.
ak, sn • • • ^kk
Процесс Пуассона. Рассмотрим следующий подход к формуле (7.5.11). Обозначим через Е событие, состоящее в том, что в течение интервала времени (О, ^4-Д/) события С произошли точно к раз. Тогда Е бул.^ объединением взаимно исключающих событий Ей> Еь..., Ед,, где Ej состоит в наступлении С точно i раз в интервале времени (^, ^+Д/) и точно (к ~~ i) раз в интервале времени (0, ty Поэтому
Р (Е) = Р (Ео) + Р (Е^ + .+ Р (Е.у
206 НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ НЕПРЕРЫВНЫЕ РАСПРЕДЕЛЕНИЯ [ГЛ. 7 Если мы предположим, что наступление любого числа событий С в течение интервала I не зависит от наступления того или иного числа событий С в течение интервала /', где I Q Г = ф, то вероятности наступления точно 0, 1,..., к событий С в течение интервала (Z, ^ + Д0 будут равны соответственно
1 — ХМ + о (ДО, ХМ 4- о (ДО,..., (АДО + о ((ДО2)»
и, обозначив Р (Е) через Д (/ 4- ДО» мы имеем
р №) -fk (0 (1 - ХМ) + о (ДО, Р Ф1) =fk^ (О (ХДО + о (М), тогда как P(E2),...t Р (Ek) будут величинами высшего порядка малости по сравнению с М. Отсюда вытекает уравнение
fk (t + до =fk (0 (1 - ХМ) 4-/^ (0 хм + О (ДО
для к = 1, 2,... (Заметим, что для к == 1 /^ (0 = 0.)
Показать, что решениями этого множества дифференциальных уравнений служат функции fk (0, даваемые (7.5.11). Обратим внимание, что {/НО : ^> 0} доставляет нам пример случайного процесса с непрерывным параметром t. Этот частный процесс называется процессом Пуассона.
Процесс рождения (Юл (1924)). Допустим, что мы имеем совокупность объектов, которые могут производить (или «рождать») новые объекты, причем никакие объекты из совокупности не исчезают (не «умирают»). Обозначим через fk (t) вероятность того, что в совокупности в момент времени t будет находиться точно к объектов. Пусть Е — событие, состоящее в том, что в момент £4“^ совокупность насчитывает к объектов. Тогда Е составляется из несовместных событий Ей) Ev..., Ек, где Е^ есть* событие, состоящее в том, что в момент времени t в совокупности имеется к — I объектов и в течение интервала (£ —]—ДО рождается еще I объектов. Введя предположения относительно независимости наступления рождений в двух неперекрывающихся интервалах времени, подобные тем, которые были сделаны при рассмотрении наступлений событий С в задаче 7.32, показать, что fk (t) удовлетворяет системе дифференциальных уравнений
fk (0 = ^ - 1) Xfk^ (0 -^А (0»* = L 2,
Показать, что если к = т в момент ^ = 0 и fm (0)= 1, fk (0) = 0, к — т, m-V 1,, то решение системы дифференциальных уравнений дается фор
мулой
fk (t) = ( кт"1^е~п*К‘ (1 — e-xt)b*m.
Простая очередь. Предположим, что среднее число посещений клиентами пункта обслуживания, приходящихся на единицу времени, есть X, а среднее число уходов клиентов (после завершения обслуживания) на единицу времени есть pi. Пусть fk (t) означает вероятность того, что в момент t на пункте будет существовать очередь *), состоящая из к клиентов. Таким Образом, fk (/ 4- М) есть вероятность, что в момент t-\-M очередь будет насчитывать к клиентов. Если Е — событие, состоящее в том, что в момент 14“М очередь насчитывает к клиентов, и Е^^.^ — событие, состоящее в том, что в момент t очередь насчитывает к — l+j клиентов и в течение интервала времени (Л ^-]-Д0 на пункт прибудут точно I клиентов, а точно j клиентов покинут его (после обслуживания), то события Ец^^ не пере-
секаются и их соединение равно Е. При этом (Z, j) суть пары неотрицательных целых чисел таких, что к — Z+)^0. Следовательно, мы имеем
fk (t 4- A/) = Р (Е) = 5 Р <Eijlfe_uhY
i, J
Допустим, мы теперь сделаем предположения относительно независимости прибытий и отбытий клиентов в неперекрывающихся интервалах времени, подобные тем, которые были сделаны для наступлений событий С в задаче 7.32. При этих предположениях единственными событиями, вероятностями которых нельзя пренебречь, будут события
^оо (А), ^о (/г-1)>^01 (й+в-
Их вероятности равны Д (Z) [1 — (^ + ^) AZ]-|-o (AZ), Д_х (t) X AZ + о (AZ) и fk^i (О Iх AZ-]-o (AZ). Вероятности всех других событий будут иметь порядок (AZ)2 или выше. Показать, что Д (Z) удовлетворяют следующей системе дифференциальных уравнений:
fk Ю = \4k-i W +^+1 (0 - a +^)/к (0L к =1,2,...^
За более подробной теорией очередей читатель отсылается к работам Феллера (1957), Кендалла (1951, 1953) и Морса (1958). Книга Морса содержит важную библиографию.
(Продолжение). Показать, что в случае установившегося режима, где fk (Z) = 0, решение соответствующего разностного уравнения
V^-i + pA+i — (^+р-)Д = о,
где/_! = 0, имеет вид Д = р^Д, где р = — . Если условия позволяют иметь очередь лишь длины п, то
f -
' 0 — ! _ рЛ+1 •
Показать также, что средняя длина очереди в случае установившегося режима равна
_ р_(„+1)р/н-1 + лр,г+2
(1 _ р)(1 _ р/х-И)
и средняя длина очереди для случая р=1 (средние скорости прибытий и отбытий равны) равна -^ п, а для р<Рпри м = со равна —. Кроме того, показать, что среднее g (Z) числа клиентов Z, ждущих обслуживания, дается формулой
п
Z= 1
Г Л А В A 8
ТЕОРИЯ ВЫБОРОЧНОГО МЕТОДА
8.L Определение случайной выборки
Пусть х — одномерная случайная величина, заданная в Rb с к. ф. р. F(x\ Случайной выборкой объема п из совокупности с^к. ф. p.F^ называется n-мерная случайная величина (хъ..., х^ с к. ф. р.
п
ТР(^),(8.1.1)
определенная в выборочном пространствеRn = Ra' X R^ X * “X Rxn\ где Ra' — одномерное выборочное пространство (вещественная прямая) переменной х^.
Следует специально отметить, что элементы или компоненты хъ..., хп выборки взаимно независимы и имеют одинаковые к. ф. р. В математической статистике такое определение случайной выборки было впервые введено Фишером (1915), хотя он в действительности не использовал термин «выборочное пространство» по отношению к Rn. Однако до 1940 года термин «выборочное пространство» употреблялся в этом смысле, а затем уже в более широком смысле, указанном в главе 1. Слово «случайная» было введено в основном с описательной целью и в дальнейшем обычно будет опускаться. Мы также часто будем сокращать запись, обозначая выборку ^хх...., х^ через Оп. Для краткости мы будем обычно говорить, что (хь..., х^ (или 0^ есть выборка объема п из F(x). Заметим, что выборка объема п из F(x) является простым примером конечного стохастического процесса. Иногда она называется простым случайным выбором.
Если х — случайная величина дискретного типа (дискретная случайная величина) с ф. в. р^х\ то выборка имеет ф. в.
п
П/^)-(s-i^)
определенную на Rn.
Если х — случайная величина непрерывного типа (непрерывная случайная величина), то выборка имеет в. э.
/(^1).. J<x^ йхг... dxm(8.1.3)
определенный на Rn.
Для краткости мы будем часто ссылаться на (хъ..., хл) как на выборку из р(х) в дискретном случае и как на выборку из /(х) в непрерывном случае.
Замечание. xv удобно понимать как случайную величину, обозначающую значение х, получающееся при первом «выборе» из данной совокупности, Го — при втором «выборе» и т. д.
" Например, если мы бросаем ^правилькую^ игральную кость последовательно п раз, то мы можем рассматривать х^ как случайную величину, обозначающую число очков, выпадающих при £-м бросании, $=!,.,., п. Наша выборка Оп в этом случае будет состоять из независимых случайных величин ,гп..., хт каждая из которых имеет ф. в.
Х=16.
Функция вероятности выборки Оп определена в каждой из 6Л точек сосредоточения массы Rm координаты которых соответствуют 6П возможным последовательностям граней, получающимся при и-кратной бросании игральной кости, и равна в этих точках
В теории выборочного метода обычно интересуются распределениями различного рода функций от п случайных величин, входящих в выборку. Этими функциями могут быть, например, выборочная сумма пп
z = ^ х^ выборочное среднее значение х = -- ^ х^ выборочная
п
дисперсия ^=~_ 1 ^ (х^ — х)3, наименьший элемент выборки ^=1
min(xb..., х^ наибольший элемент выборки шах(хь..., х^ и т. п. Вообще, если ^(хъ..., хп) — функция, которая сама является случайной величиной, то мы будем обычно заинтересованы в нахождении ее функции распределения. Такая функция g(xb..., хп) называется статистикой, и ее к. ф. р. (будем обозначать ее н(у^\ представляет собой частный случай (2.8.12), т. е.
H^ = P<g^xx,..., хп)^у)= $ dF(xxV.dF(x„), (8.1.4) g 1 О1)
где gx (j) есть множество в Rm для которого £(хь..., х^^у. Аналогично, если ^(хь..., х^, /==!,.,., s^n, есть s (функционально независимых) статистик, то мы заинтересованы в определении к. ф. р. этих статистик. Функция распределения &(хь..., х^ задается формулой
н<^ъ..., У1)=Р(§1^Ь .... х^^Уь Z=l, .... s) =
=$ dF\xvY..dF^xn\ (8.1.5)
g-1 (Уь^.УпУ
где g 1 (уь..., j/„) есть множество в Rw для которого
Случайная величина х может быть ^-мерной случайной величиной (хь..., хк) с к. ф. р. F(xh..., хД определенной в Rk. В этом случае выборка Оп есть ^л-мерная случайная величина (хц,..., хк* 5=1,.,., л) с к. ф. р. п'
^(8.1.6)
определенной в Rnk = R^ X • • • X R^\ где /4 — выборочное пространство вектора (х^,..., хк^ 5=1,.,., л. И снова задача теории выборочного метода состоит в нахождении функции распределения различных функций от nk случайных величин х^ Z = 1,..,, А; 5 = 1,..., л. Например, мы можем интересоваться распределением таких статистик, как выборочная сумма zt= ^ х^, выборочное среднее зна- 5=1 п
чение Xi = — ^ х^ или элементы
п
Sij== п J ^ ^Ч ^i^j^ ^Й
£ = 1
выборочной ковариационной матрицы и т. д.
Иногда мы будем иметь дело с теорией выборочного метода для функций двух или более случайных выборок. Например, предположим, что О^ :(хп,..., х1П1) и Опа :(^2ь--> ^^ суть выборки объема Л1 и л2 из совокупностей с к. ф. р. Fx (к) и F^ (х) соответственно. Мы рассматриваем тогда (хи,..., х1Пр х%ъ..., х^пЙ как (лх-Р^)- мерную случайную величину с к. ф. р., равной
п-х .па
П^^оП^^(8Л-7)
^i=ie2=i
в Rni 4- па- Одной из существенных проблем теории выборочного метода, с которой мы столкнемся, будет нахождение распределения одной или более функций от компонент этой (п^ 4~ лДмерной случайной величины, или по крайней мере выяснение некоторых свойств этого распределения. Подобные замечания имеют место и для случаев трех и более выборок.
При решении задач математической статистики, включающих нахождение функций распределения, мы обычно встречаемся с относительно простыми статистиками, такими как: средние, суммы кваД-
ратов, частные, ковариации и т. д. Простые и явные выражения для ф. в. и ф. п. в. таких выборочных распределений существуют, как это будет видно из последующих разделов, только для некоторых специальных распределений. Однако можно найти среднее значение, дисперсию, ковариацию (смешанный второй момент) и некоторые другие младшие моменты этих статистик и для гораздо более общих распределений совокупностей, применяя результаты §§ 3.3, 3.4 и 3.5. Мы рассмотрим некоторые из наиболее важных результатов этого типа в следующем параграфе.
Средние значения и дисперсии выборочных среднего, дисперсии и других симметрических функций
Среднее значение и дисперсия выборочного среднего. Пусть (хъ..., хл) —выборка из популяции, распределение которой имеет среднее значение р. и дисперсию а2. Рассмотрим задачу нахождения среднего значения и дисперсии выборочного среднего значения 5с.
По определению
*=^-(*1 +(8.2.1)
Беря среднее значение от обеих частей (8.2.1), найдем
Р (*)=В ^ = ^- [g (хО +... + g (хл)].(8.2.2)
Но так как хь..., хп — независимые случайные величины, имеющие одну и ту же к. ф. р., то‘
g(x1) = ... = g(x„) = (i..
Подставляя эти значения в (8.2.2), получаем
р(х) = р..(8.2.3)
Не останавливаясь здесь специально на обсуждении основных понятий и принципов статистического оценивания, мы заметим только, что (8.2.3) утверждает, что х есть несмещенная оценка для ц. Обсуждению оценок будут посвящены главы 10, И и 12.
Теперь рассмотрим дисперсию 5с. Имеем
aa(x) = g|x —[1(х)]а
НО_1 VI
л: — [л (х)=(-\ — У)-
Следовательно,
О*2 (х) = §[1- 2 (^ — И) У =
=4 2 ^ ~ ^ + ?? 2 § ^Л ~ ~ ^
6
Так как хь..., хп независимы и одинаково распределены, то
g[(^ — Р-Х^ — ^1 = 0, 5^4-( ' ‘
Поэтому
=Чх) = ^.(8.2.5)
Среднее значение и дисперсия выборочной дисперсии. Рассмотрим теперь выборочную дисперсию, которая определяется ' как s2==^ri^-^2-(8-2-6)
e=i
Мы можем записать (8.2.6) в виде
sa=^~г 2 [(^ ~т 2 ~11)12=
= Г 2 ^ ~11)2 ~ »(Д1) 2 (хе ~ ^ ^'i- 14 (8-2-6а)
Беря среднее значение и используя (8.2.4), имеем
g(s2) = o2.(8.2.7)
Заметим, что причиной, по которой в знаменателе (8.2.6) стоит п— 1, а не п, является желание сделать p.(s2) в точности равным а2, т. е. сделать тем самым s2 несмещенной оценкой для о2.
Проводя вычисления аналогично тому, как было сделано при определении среднего значения, найдем после некоторых преобразований, что
g[(s2)a]=^-i-^^^^4^- °4>(8-2-8)
где р<4 — четвертый центральный момент распределения совокупности.
Подставляя (8.2.7) и (8.2.8) в
С2(83)=^[(87]-[|Ц53)Г,
находим для дисперсии s2 выражение
(8.2.9)
Мы можем зеперь сделать следующий вывод.
.1. Если (хь ...,хп)— выборка из распределения со средним значением р., дисперсией а2 и четвертым центральным, моментом р.4, то выборочное среднее х имеет среднее значение и дисперсию.
p(^) = fr а2(х)=^-,
а среднее значение и дисперсия выборочной дисперсии равны соответственно
р. (S2) = О3, О2 (s2) = — ( р.42—5_
п — 1/
А-статистики Фишера. Необходимо отметить, что первые два выборочных момента^ а именно выборочное среднее значение и выборочная дисперсия, обладают тем свойством, что они являются несмещенными оценками для среднего значения и дисперсии соответственно. Возникает вопрос: обладают ли этим свойством более старшие центральные выборочные моменты? r-й центральный выборочный момент определяется как
п
Ответ на этот вопрос отрицательный, независимо от того, какая функция от п стоит вместо множителя--.
Фишер (1928а) ввел функции Аг (хь../, хЛ), г=1, 2,..., являющиеся наиболее общими однородными полиномами степени г от переменных хь ..., хп и подчиняющиеся при этом следующим условиям: 1) функция кг (хь • > хп) симметрична относительно хъ ..., хп; 2) & (кг) = кП где кг согласно определению (5.1.11)— г- й семиинвариант распределения, из которого взята выборка. Такие функции кг^хъ ..., х^ называются k-статистиками. Для того чтобы выяснить метод определения коэффициентов в кг в общем случае, достаточно привести построение первых трех А-статистик. Читатель, интересующийся дальнейшими деталями построения А-статистик и теорий выборочного метода для них, а также связанными с этим проблемами, отсылается для консультации к работам Крейга (1928), Фишера (1928а), Корниша и Фишера (1937), Двайера (1938) и Кендалла (1943).
Первые три А-статистики, как можно заметить, имеют вид
где [л\, р/3 и р/3 —первые три момента распределения совокупности, мы определим искомые коэффициенты. Подставляя таким образом найденные коэффициенты в (8.2.10), мы получаем в качестве первых трех ^-статистик
Ь = „(Д,)- («^ - ^) = ^(8.2.12)
дз =- Злзд -f- 2г?),
где ^=2^ t = l, 2, 3.
Отметим, что первые две А-статистики — это просто х и s2, чьи средние значения есть у, и а2, являющиеся в свою очередь первыми двумя семиинвариантами кх и к^.
Среднее и дисперсия некоторых симметрических функций выборки. Необходимо заметить, что выборочное среднее значение X, выборочная дисперсия $2, выборочные моменты и выборочные ^-статистики все являются симметрическими функциями элементов выборки (xv..., хпу Теперь рассмотрим задачу нахождения среднего значения и дисперсии более общего класса симметрических функций выборки.
Пусть (xv..., хг)— выборка объема г из к. ф. р. F(x) и g^x^...
..., хг) — функция от (^..., хг) такая, что
.( Si, /=1,
х,))^^ 1 = г(8.2.13)
где 0! и 63 конечны. Для выборки (хр..., х^ объема и, где п^г, определим функцию
^^г ) = тг2 ^(^^ * * *' ^^г^(8.2.14)
*р
где т]!,..., т]г — набор г целых чисел из 1,..., п таких, что t]i<\.. • ••^^ и 2 03начает суммирование по всем т\ перестановкам^,... р
..., Q набора (Hi,..., т^). Заметим, что goG^f-» хч )— симметрическая функция (х^,. . ., Х-^ У ПустьГ
rj Sb С^ч, > • • • > -^ )>(8.2.15)
с
где 7 означает суммирование по всем I г наборам (т]1,..., т)г) из с
(1,..., ny Q[rj(хр..., х^ есть симметрическая функция компонент выборки (Xj,..., хпУ Тогда g (g (х^р..., х^г) У которое предполагается конечным, имеет одно и то же значение, а именно 6Ь для всех
перестановок (х£1,..., ^) элементов выборки Ctb ..., х^. Более того, очевидно, что
©(gb^,.-.-. ^г)) = -рг2®^(^1>---’ ^r))=9b (8.2.16) р
а также
$ (Зи (^ь..., ^)) = (")-1 V g (go (Д^, •. •, ^г )) = 9j. (8.2.17)
С
Рассмотрим теперь дисперсию Q[r](^j,хп\ Имеем
о» (Q) = g (Qfr] (Х„..., х„)) — 6!.(8.2.18)
Но
№ to,. •.. ^„)) = (”) 2's ^ ^^ §6 (^i,..., -г с,)),
(8.2.19)
где 7]ь..., 7]г и Сь..., ^г — два набора из целых чисел 1,..., п такие, что ^^.--^Лг и Ci <•••<£;•> а 5Г означает суммирование с
п\ (г\ (п — г^л v V—j)п\ (г\ (п — г^л v V—j)но всем парам таких наборов. Очевидно, что если %,..., т]г и £р... ...Лг — пара наборов с у общими целыми числами, то тогда g (g0 (х^,... ..., х^) go (х^ ,..., х<,г)) имеет одну и ту же величину, скажем Фу, для всех таких пар наборов. Из неравенства Шварца следует, что если 9) и 62 в (8.2.13) конечны, то все еру, у = 0,1,..., г, также конечны. Из комбинаторных рассмотрений очевидно, что имеется
п\ (г\ (п — г^л v V—j)
п\ (г\ (п — г^л v V—j)
таких пар наборов и у может принимать значения
0,1,..., г. Поэтому
S(<№-„.^)=ti"' 2(/)(г-/)^(8-2-20)
Таким образом, получаем
^Н;)42 (J)(r-/X~0?-(8-2-21)
Если gto,,..., д^) выбрать так, чтобы 91 = 0, то тогда, так как <р0 = 61, o2(Q[r]) приводится к виду
(Qw)=(;f 2 (у)(г~rjу(812-22)
/ = о
Этот результат принадлежит Гофдингу (1948а).
Суммируя, получаем следующую теорему.
.2.2. Предположим, что (хь ..., х^ — выборка из произвольного распределения, и пусть g(xb ..., хг) — функция, имеюгцая
конечные первый и второй моменты Gj и 62. Для выборки (хъ ..., хп\ п^г, из этого же распределения пусть Q[r] (хъ ..., х^ определено согласно (8.2.15). Тогда Qp-j С^ь ..., х^ есть несмещенная оценка для Gt и дисперсия этой оценки дается (8.2.21).
Гофдинг показал, что если Gj и G2 конечны, то асимптотическое распределение VnAQvx—0)/а(9и) НРИ п-^оо есть ^(0,1). Он обобщил этот результат, так же как и 8.2.2, на случай, когда Qp-] C^i, •х^ есть вектор.
Теория выборочного метода для выборочных сумм и средних значений
(а) Итеративный метод. Мы рассмотрим сначала итеративный метод для нахождения функции распределения выборочной суммы или среднего значения. Это даст нам прямой подход к исследованию проблемы, который в некоторых специальных случаях довольно просто приводит к решению.
Рассмотрим случай выборки объема 2. Если G^z^— к. ф. р. случайной величины z, то
^(г) = Р(х1 + х2<г)== V^F^ Р<х%^(8.3.1)
Е
где Е—событие в R^ для которого xt + х^ ^ z. Если теперь мы применим 3.7.2 для случая, когда хх и х^ независимы, и положим g(xb х2)=1 для всех точек в Е и g^xx> х<^ = 0 для всех точек в Б» то сможем написать
$ d(Fto)Fto)) = $[*]** dFto)]dFto)=
Е—оо —оо
= f F (z — х^ dF (xj. (8.3.2)
Таким образом, для выборки объема 2
03 (г) = J F (г — х^ dF (х}).(8.3.3)
Обобщая эти рассуждения на выборку объема п и обозначая через Qn (z) к. ф. р. z, аналогично находим, что Gn (z) может быть выражено следующим повторным интегралом:
СО 2—Хх ••• Хп_3 2 Xi ... Хп_2
a„(z)=S...$5 Р^ — Хг — .-. — х^Х
— ОО—оо—ОО
X dF (x^) dF (хп_ъ) ...dF to)(8.3.4)
Функция .распределения выборочного среднего значения х (обозначим ее через Н^х^ определяется соотношением Hn^=Gn(jixY Поэтому 8.3.1. Если^хъ ..., х„)— выборка объема п из к. ф. р. F(x\ то Оп(х) — к. ф. р. выборочной суммы z дается выражением (8.3.4), а Нп (х) — к. ф. р. выборочного среднего значения — соответственно соотношением Нп(Х) = Оп(пХУ
О функции распределения Gn(z) часто говорят как о свертке функций распределения F^x^y ..., F(xn). Аналогичный процесс применяется и непосредственно для получения свертки п независимых случайных величин с произвольными к. ф. р. Fx (хД ...,Fn (хп). Свертка в этом случае есть к. ф. р. суммы п независимых случайных величин.
В случае выборки из совокупности с дискретным распределением, ф. в. которого равна р^ху можно утверждать, что ф. в. z, скажем рп^У удовлетворяет следующему уравнению:
Рп k^^P^- X^pn_v (X),Рп k^^P^- X^pn_v (X),(8.3.4а)(8.3.4а)
Рп k^^P^- X^pn_v (X),
Рп k^^P^- X^pn_v (X),
(8.3.4а)
(8.3.4а)
где р^х^р^х).
Аналогично, если мы имеем выборку из популяции с непрерывным распределением, ф. п. в. которого равна /(х), то ф. п. в. z, назовем ее fn^y дается следующим соотношением:
(8.3.4b)(8.3.4b)А (г) = $ f{z — x^fn_x (х) dx,
(8.3.4b)
(8.3.4b)
где fv^=fixY
Пример. Интересен частный случай (8.3.4b), в котором /(х)—ф. п. в. равномерного распределения R f у, 11. В этом случае
( °,( °,Л (2) =/(2) = h ( О,Л (2) =/(2) = h ( О,Л (2) =Л (2) =z — 2(2 — 1), О,z — 2(2 — 1), О,
( °,
( °,
Л (2) =/(2) = h ( О,
Л (2) =/(2) = h ( О,
Л (2) =
Л (2) =
z — 2(2 — 1), О,
z — 2(2 — 1), О,
и, применяя метод математической индукции, получаем
fn k^ =[ ^ - (?) kz - I)""1 + Q (^ - 2)"-* -+
+ H)* (2)(г~^*]
Для k Cz^k + 1, k = 0, 1, ..., n — 1; и fn (2) = 0 для ^^0 и z> n. Функция вероятности (ф. в.) х равна, как можно увидеть, nfn (пх) для k/n<zx^ ^(& + 1)/л, А = 0, 1, ..., п — 1. Этот результат принадлежит Лапласу (1814).
(Ь) Применение характеристических функций. Характеристические функции дают во многих случаях простой и мощный метод нахождения функций распределения выборочных сумм и средних значений.;
Обращаясь к (5.3.2), мы, очевидно, получим как следствие теорему
8.3.2. Если (хь ..., х^ — выборка из к. ф. р. F (х) и характеристическая функция F(x) есть ^(t\ то характеристическая функция выборочной суммы z равна
[?(0Г
и характеристическая функция выборочного среднего значения х равна
Функция же распределения (и ф. п. в. в непрерывном случае) z или х может быть определена, во всяком случае теоретически, с помощью своей характеристической функции применением 5.1.2.
В реальных случаях, за исключением некоторых специальных, вычисление интеграла в правых частях (5.1.14) или (5.1.15) затруднительно. Ирвин (1930) интенсивно использовал технику характеристических функций для нахождения распределений выборочных средних значений для различных к. ф. р. Однако для более важных специальных случаев, которые возникают в теории выборочного метода, мы можем найти функцию распределения z и х применением 5.3.3, используя воспроизводящее свойство функций распределения. Предположим, что. (хъ ..., х^ — выборка из к. ф. р. F(x; 6), характеристическая функция которой равна ср (f; 6). Если z — выборочная сумма, то, как мы знаем из 8.3.2, характеристическая функция z есть [ср (/; в)]". Но, если <р (£; 6) удовлетворяет критерию воспроизводимости по отношению к 9 согласно (5.3.7), то
[<р (£; 6)]л = <р(£; п^.(8.3.5)
Это означает, что z имеет к. ф. р. F(z; пб). Но так как z = nx> где х ■— выборочное среднее значение, то к. ф. р. х есть F (пх; лб).
Мы можем суммировать результат следующим образом.
8.3.3. Пусть (хь ..., х^ — выборка из к. ф. р. F (х; 6) и характеристическая функция F (х; 6) есть срф 6). Тогда) если [<?(/; 0)]л = = ср (£; п6\ то функция распределения выборочной суммы z и выборочного среднего значения 5с есть F ^ п^ и F (пх; nty соответственно.
Необходимо отметить, что справедливо обобщение этого результата для случая выборок из совокупности с A-мерной функцией распре- п деления. В этом случае z есть вектор ^ъ ..., zk\, где Zi — ^ х^ . е»1 Параметр 6 также может быть вектором с некоторым числом компонент.
Приводимые ниже следствия 8.3.3 дают информацию о теории выборочного метода для выборочной суммы в случае некоторых важных специальных распределений, которые будут использоваться в дальнейшем.
8.3.3а. Если (хь ..., х^- выборка из биномиального распределения Bi (т, р), то распределение выборочной суммы z есть биномиальное распределение ЪХ^тп, р).
Характеристическая функция биномиального распределения Bi (/л, р) равна (q-\-eupy\ откуда следует, что характеристическая функция для z есть (^ -]- еХ1рУп и, следовательно, действительно, z имеет распределение Bi (/ил, р). Отметим, что для т=\ мы делаем выборку из биномиальной совокупности, имеющей ф. в.
р(х) =р(х) =(8.3.6)(8.3.6)х = 0;
р(х) =
р(х) =
(8.3.6)
(8.3.6)
х = 1,
и, следовательно, биномиальное распределение, имеющее ф. в. согласно (6.2.2), есть, по сути дела, распределение выборочной суммы
г = 2 х^> где каждое х^ принимает значения 0 или 1 с вероятностями q или р соответственно.
8.3.3b. Если (хц, ..., хк£ ;=1, ..., п)— выборка из мультиномиального распределения М (т; рь ..., рк\ то распределение вектора выборочных сумм (zb ..., z^ тоже мультиномиальное М^тп\ ръ ..., рк\
Это утверждение проверяется аналогично 8.3.3а. Заметим, что для т=Х мультиномиальное распределение Ж (л; рь ..., р^ представляет собой распределение выборочной суммы из мультиномиального распределения 7И(1; рь ..., р^ для к случайных величин, имеющих ф. в.
Р (^ь • • •, ^k)=^ • - -Р^ (1 - Pi - • • • -Рь)1 ~ ^ " * ‘ •" хь , (8.3.7) где хь ..., хк— случайные величины такие, что хх + ... + хк^ 1, принимающие каждая значения либо 0, либо 1.
8.3.3с. Если (хь ..., хп) — выборка из распределения Пуассона Ро (р.), то выборочное распределение z есть тоже распределение Пауссона Ро(лр.).
Действительно, характеристическая функция распределения Пуассона Ро(р.) равна e”"^^x~eXt^ , откуда следует, что характеристическая функция z есть е~ ^ 6 -eU) . А это — как раз характеристическая функция распределения Пуассона Ро (ир.), откуда следует, что z имеет распределение Пуассона Ро(лр.). .
8.3.3d. Если (хъ ..., х^ — выборка из нормального распределения N(p, а2), то выборочное распределение z есть N(n^ п^). Выборочное распределение х есть N^> s^nY
Действительно, вспоминая > из раздела 7.2, что характеристическая функция нормального распределения 7V(p,, о2) равна exp (i^ — у^’)> получаем, что характеристическая функция z равна exp (i (n^)t — — у(о2п)^2). А это не что иное, как характеристическая функция N(np«, na^Y и, следовательно, Л^Аф, ла2) — выборочное распределение z. Характеристическая функция х получается заменой t на tin в характеристической функций z, что дает exp(i|^ — у (о2/^2)- А это есть характеристическая функция ^^, ~-),и, следовательно, N^ ^ — выборочное распределение X.
Сформулируем соответствующее утверждение для нормального распределения ^-мерных случайных величин.
8.3.3е. Если (х^ ..., xfe^ 6=1,..., п)— выборка из к-мерной нормальной совокупности ^({р*,}, Н^/Ц), то распределение вектора выборочных сумм (zb..., zk) есть 7V({np»z}, || па^ ||). Распределение вектора выборочных средних (хь ..., Х^ есть AZ({Vz}, II °о7ЛID-
Теорема 8.3.3е проверяется аналогично 8.3.3d, и мы оставляем ее как упражнение для читателя.
Приведем, наконец, следствие 8.3.3 для гамма-распределения, доказательство которого мы также оставляем читателю.
8.3.3L Если (хь.,., хп) — выборка из гамма-распределения G(p-), то выборочное распределение z тоже есть гамма-распределение О(и|1). '
Если функция распределения совокупности, из которой берется выборка (хь ..., х^, не воспроизводящая, то характеристическая функция не очень удобна, вообще говоря, для нахождения функции распределения выборочной суммы или среднего значения.
Иногда мы встречаемся с линейными функциями от средних значений выборок из нормальной совокупности. Следующее утверждение дает полезный результат относительно распределения таких линейных функций. - ,
8.3.4. Пусть (х1Ь ..., х1п^ ..., (л:А1, ..., хкп^ — к (независимых") выборок из N(pb а*), ..., ^(^, а2^) соответственно. Пусть Яь ..., Xk — средние значения этих выборок соответственно и пусть сь ..., ск— постоянные, не все равные нулю. Тогда
... + скХк имеет выборочное распределение N f У с^ь У —) • 1=1 1=1
Доказательство этого утверждения прямо следует из метода характеристических функций, и мы оставляем его как упражнение для
читателя. Заметим особо, что если ri — 1, с^ = — 1 и с^ =... — Ck = О, то легко получить как следствие, что
8.3.4а. Выборочное распределение разности х^ — х« между средними значениями двух (независимых) выборок (Хц, ..., х1П1) и (х^ь х*п^ 113 АЧуч, а;) и N(^ ар соответственно есть N(\H~— №> aifni + ^^Ч)-
Теория выборочного метода для некоторых квадратичных форм в выборках из нормального распределения
Основные факты теории выборочного метода для сумм и средних значений выборок из нормальных распределений были даны в 8.3.3d, 8.3.3е, 8.3.4 и 8.3.4а. Настоящий параграф содержит теорию выборочного метода для сумм квадратов, выборочных дисперсий и других квадратичных форм выборок из одномерного нормального распределения. Теория выборочного метода, соответствующая выборкам из нормального распределения ^-мерных случайных величин, более сложна, она принадлежит к многомерному статистическому анализу и будет рассмотрена в главе 18.
Одним из основных результатов теории выборочного метода для сумм квадратов элементов выборки является следующий:
Если (хь ..., хл) — выборка из нормального распределения N(^ а2), то выборочное распределение суммы квадратов п
-^-^ (х^— р,)2 есть -^-распределение С(п).
Е=1
Чтобы доказать это утверждение, достаточно заметить, что если ф. п. в. нормального распределения М(р., а2) подставить в (8.1.3), то в экспоненте плотности функции распределения выборки появится п
квадратичная форма -^-^ (^ — р-)2- Как следует из 7.8.2, эта квадра-
гичная форма имеет ^-распределение С(п). Результат, сформулированный в 8.4.1, впервые был получен Хельмертом (1876а). В определении (8.2.6) выборочной дисперсии s2 участвует сумма квадратов п
2 С*£ — ^Л где х — выборочное среднее. Результат теории выборочного метода для этой суммы квадратов в выборках из нормального распределения может быть изложен следующим образом:
84.2. Если (хь ..., х^ — выборка из нормального распределения ^(р., о2), то Vn^— Р-)/° и (п—1)$2/а2 статистически независимы и их выборочные распределения суть N(0, 1) и -^-распределение С(п— 1) соответственно.
Мы уже видели на основании 8.3.3d, что х имеет распределение N({л, a2/n), что эквивалентно утверждению о том, что Vп ^ — w)!3
имеет распределение ^(0, 1). Чтобы установить справедливость 8.4.2, остается показать, что j/л (х— р,)/а и (л— 1)$2/а2 независимы и последнее имеет ^-распределение С(л— 1). Для этого рассмотрим характеристическую функцию этих двух величин, а именно
У^ь ^) = & ехР ^iC^^^—Н^9*—^—^^('И^ J
X ( expJ —4-(Qo^i,х„) —2i^(x —р)Killdxb .... dx„,
JLa J )
(8.4.1) где
QoUi■*,) = 1 2 (x{-p)*-^^ (x^ -X)*. (8.4.2)6=1e=i
Введя
^ = ±[1-2^(1-111,
V 2it '<8A3>
t« = ^ = ^,^=1,...,*,
мы получаем
Qo (xb..., x„) = ^ ^ (x^ — [i) (x, — fi).,(8.4.4)
Используя (7.4.15), замечаем, что
Qo (xb. ..,x„) — (Я — p) К n =
=qua^+(2^)5- <8A5) '6, 4 = 1
где
Qi (xb..., x„) = Qo (Xi — igiX„ — ig^ (8.4.6)
И n
Необходимо отметить при этом, что матрица П^Н имеет вид
а b . . . b
b аЬ[
,(8.4.7)
b Ь а
так что ее детерминант
ная матрица || т^ ||-1 = || ^
равен (а — б/1'1
„ имеет вид
А В ... В
[а —f— (тг— 1)6] и ее обрат-
В
А ... В
,(8.4.8)
В В Агдед —а-Укп-^Ъ-Ь
(а —6) [а+(и—1)6] ’(а—6)[«+(я —1)6] •
(8.4.10)(8.4.10)Поэтому а2 (1—21 ТК = (I—2rt„)’
(8.4.10)
(8.4.10)
-о2 (21 А)
^^ (1 — 2«2) ’^4=1,..., «
S т$ч = яол 6, Л=1
Подставляя (8.4.11) в (8.4.5) и затем выражение, полученное в правой части (8.4.5), в интеграл в (8.4.1), получаем
Следуя тому же методу, с помощью которого было показано, что в (7.4.16) Н= 1, можно увидеть, что интеграл в (8.4.12) равен ]/(2^)” X 1
X 1 ^ | 2. Но
Поэтому
где
1^1 = -^- kx-W-v
(8.4.13)
п
<₽■ (X) = ^ 2 ‘l
(8.4.14)
(8.4.15)
Так как cp(fb Q разлагается на множители, как указано в (8.4.13), ТО из 5.3.1 следует, что У п(х— р.)/а и (и—V^jc1 независимы,, а их характеристические функции (8.4.14) и (8.4,15) такие же, как у
распределения N (0,1) (см. (7.2.1)) и ^-распределения С (п—1) (см. (7.8.2)) соответственно. Так как эти распределения однозначно определяются своими характеристическими функциями, то тем самым доказательство 8.4.2 закончено.
Следующий важный результат следует из 8.4.2 и § 7.8(b):
Если (хь..., хп)— выборка из N^, о2), то
/ = V п\х — ^s(8.4.16)
имеет распределение Стьюдента S^n—1).
Действительно, если в (7.8.3) мы положим и = V п (х — р,)/о и v = (/z—l)sV°2> т0 будем иметь 1 = —т=^== V п (х — р)/5- Но м/ (и D
если выборка взята из JV(p., о2), то, как мы знаем из 8.4.2, и и v независимый имеют соответственно распределения ^(0,l) и %2-рас- пределение С(п—1). Итак, применяя 7.8.3, мы получаем 8.4.3.’
Замечание. Результат, сформулированный в 8.4.3, был впервые предсказан Госсетом (1908), который писал под псевдонимом «Стьюдент». Этот результат, так же как сформулированный в 8.4.2, был позднее доказан Фишером (1926а), который связал имя «Стьюдент» с отношением (8.4.16), так же как и с распределением, имеющим плотность (7.8.4). Тот факт, что у имеет ^-распределение с (п— 1) степенями свободы, был впервые установлен лельмертом (1876b).
Необходимо заметить, что утверждение, обратное 8.4.2, также справедливо. Это утверждение, по существу, гласит, что, если х и s2 суть среднее значение и дисперсия выборки объема п из плотности функции распределения f(x) и если 5с и s2 статистически независимы, то / (х) — плотность нормального распределения. Этот результат впервые был получен Гири (1936) и сравнительно недавно Навага и Сакамото (1949) и Лукачем (1942). См. задачу 8.3.3.
Еще более глубокий результат был получен Крамером (1936),- который показал, что если хг и х2— независимые случайные величины, сумма которых имеет нормальное распределение, то хг и х% каждая имеет нормальное распределение. Этот результат по индукции обобщается на случай нескольких (более чем 2) случайных величин.
Как мы увидим в следующих главах книги, важной особенностью отношения t, определенного формулой (8.4.16), для статистических выводов является независимость от а2 как его самого, так и его распределения (в предположении, что выборка взята из распределения N(y.> а2)).
Вспомним теперь, что плотность функции распределения выборки из N(ji, а2) содержит под знаком экспоненты сумму квадратов Q=^
= ^2(-г£ — Iх)2’ и> как мм знаем из 8.4.1, Q имеет %2-распределе- ние С (п). Заметим, что Q может быть разложено следующим образом*
Q = Q, + Q9,(8А17)
гдеп
Qi=04-2^-^'3’^=5<8А18)
e=i.
Как мы видели, V п^х— р.)/о2 имеет распределение ^(0,l) и, как следует из 7.8.2а, [У п(х— р-)/°]2, т. е. Q2 имеет ^-распределение С(1). Так как Qi и У4(х— р.)/а независимы, то Qt и Q2 также независимы. Таким образом, случайная величина Q, имеющая ^-распределение С(п), разложена па сумму двух компонент Q1 и Q2, которые статистически независимы и имеют ^-распределения С (л— 1) и С(1) соответственно. Это приводит к вопросу о том, при каких условиях сумма квадратов под знаком экспоненты ф. п. в. выборки из нормального распределения может быть разложена на сумму нескольких независимых компонент, имеющих ^-распределения. Ответ на этот вопрос содержится в следующей теореме, принадлежащей Кочрэну (1934). Достаточно рассмотреть случай, когда выборка взята из нормального распределения N(0,l).
Если (хь ..., хп)— выборка из распределения N(0,1) и пk
^ xf = Jj ^ь г&е Qi — неотрицательная квадратичная форма от ^=it=i
хъ ..., хп, матрица которой имеет ранг п^ то для того, чтобы Qi были независимы и имели распределения С(п$, Z=l,..., h, k
необходимо и достаточно, чтобы ^Uj = n.
— 1
Во-первых, покажем, что это условие необходимо. Итак, предположим, что Qi независимы, имеют ^-распределения С^), i = 1, ... X к
и мы должны показать, что^Л/ = л. Но, как следует из свойства I — 1
воспроизводимости х2- распределения, сумма Qi -|- ... + Qk имеет х2* •п
распределение С^ -|- ... + л^)- Но Qi -}- • • • + Qk =2 х^ и так как
выборка взята нз нормального распределения N (0,1), то на основа- п
нии 8.4.1 2 х? имеет х2-распределение С(п\ которое должно поэтому е = 1к
совпадать с С (/^4- • •• +^)- Следовательно,^ni = n.
i= 1
Для установления достаточности условия, сформулированного в 8.4.4, предположим, что ^4™ • ♦• 4"пк = п» и тогда мы должны показать, что существует невырожденное линейное преобразование
п
Е = 1п,(8.4.19)
8 С. Уилкс
которое преобразует Qb ..., Qk к виду
Qi=J^i+ +Хр
Q^ Vm^+i Н • • • |т"З^л^па’^g ^ 20)
Qa ~ Уп^ . . . + пк_ХА1 4~ •••4"
где ^i-]- ... -\-nk = n и j/b ... ,уп— п независимых случайных величин, имеющих распределение N(0,l). Если это действительно можно сделать, то такое преобразование переводит э. в. (хь ... , х^ в э. в. выборки (уъ ... ,уп) из распределения ^(0,l). Таким образом, Qb .
Qk, будучи суммами квадратов соответственно пъ ..., пь различных независимых одинаково распределенных нормальных случайных величин, независимы и согласно 8.4.1 имеют ^-распределения С^пх\ ..., С (п^) соответственно.
Так как Qj — неотрицательная квадратичная форма с матрицей ранга пъ то существует пх линейно независимых комбинаций уь ..., уП1 переменных хь ... ,хт именно
^ = 5^^,^=(8.4.21)
= 1
таких, что
Q.=^++Л-(8.4.22)
(См., например, Бохер (1929) или Биркгоф и Маклейн (1953).)
Аналогично для Q3,..., Qk имеем соответственно наборы п^ ..., nk линейно независимых линейных комбинаций переменных хХ) ..., х^.
\ = 5 ^^т^ = Л1 + 1,... , «1 + «а>
^=^1+ ••• +«л-1+ h ...» ^1 +
• • • 4~ пкл 4" пк-(8.4.23)-
Мы показали, что не может существовать линейной зависимости среди у, связанных с данным Q. Мы должны теперь показать, что не может быть линейной зависимости и среди у, связанных с двумя или более разными Q. Если бы это было не так, то можно было бы выразить линейные формы (8.4.22), связанные с одной из матриц Qb ..., Qk, например с Q*, как однородную линейную комбинацию форм, связанных с одной или более из матриц Qb ..., Q^ отличных от Q*. Это означало бы, что Qi 4~ • • • 4" Qa можно предоставить как неотрицательную квадратичную форму от (самое большее) (п—1) форм (8.4.22). Так как каждая форма представляет собой однородную линейную комбинацию хъ ..., хп, то Qi 4" • • • 4" Qu была бы
гогда неотрицательной квадратичной формой относительно х с матрицей ранга не более п—1. Но мы знаем, что матрица Q14- ••• + Qk п
есть матрица квадратичной формы ^ х* ранга п. Полученное проти- .1
воречие и доказывает, что не может быть линейной зависимости между формами, связанными с различными матрицами из Qp ..., Q^ Следовательно, матрица
невырожденная. Поэтому преобразование
также невырожденное и имеет единственное обратное
^ =71=1п’
п
переводящее 2 х^ т. е. Qi ... -|- Q^ в
1
(у 1 + ... +^1) + CV^i-ы + • • • +^1+^2) + • • • + (Xi+.. *1*
Это преобразование, как легко видеть, ортогональное и, следовательно, _ур .. * уп — независимые случайные величины с распределением М(0,1). Поэтому Qp ..., Qfe имеют распределения, совпадающие с распределениями W + ... + А),..., (у«1+ ... +пд_1+1 + • - +^л) соответственно, которые в свою очередь являются независимыми случайными величинами с %2-распределениями С(^), ..., С^п^. Это завершает доказательство. достаточности условия и тем самым доказательство 8.4,4.
Теорема Кочрэна имеет важные приложения в дисперсионном анализе и в теории нормальной регрессии, как мы увидим в главе 10.
Выборочный метод для конечной совокупности
(а) Одномерный случай. При определении случайной выборки (хь ..., хп) в §8.1 мы предполагали, ^чтo ее элементы являются независимыми случайными величинами с одной и той же к. ф. р. F (х). Теория выборочного метода, основанная на этом определении, иногда называется теорией простого выборочного метода для бесконечной совокупности Лоо с к. ф. р. F(x\ Эта терминология обусловлена тем, что элементы выборки х^..., хп рассматриваются как последовательность независимых случайных величин с тем же распределением, что и совокупность. Поэтому хь ... t хп можно понимать как результаты
следующего один за другим «извлечения» из совокупности, причем распределение совокупности остается неизменным при этих «извлечениях». Говоря о выборочном методе для бесконечной совокупности, мы, как правило, будем иметь в виду выборку объема п из этой совокупности.
Существует также теория простого выборочного метода для конечной совокупности гс^, состоящей из конечного числа N объектов Ор ..., oN. Если мы рассматриваем icN как основное выборочное пространство с выборочными точками оь... ,oN и полагаем, что х(о) —- случайная величина, определенная в каждой выборочной точке, т. е. xV°t^ = xob t=\, ..., N> то х(о) отображает оъ..., oN на точки xoV • • • >xon в ^ь Заметим, что х01,..., xoN могут рассматриваться просто как значения функции х в N точках пространства icN (^-значения N объектов в к^). Удобно, и это не ограничивает общности, предположить, что объекты в тс^ занумерованы так, что хо1^.. .^xoN. Если мы припишем точкам оь ..., oN равные вероятности-^ и обозначим случайную величину х (о) через х, а ее ф. в. через р (х), то точками сосредоточения массы (т. е. выборочное пространство х) будут хо1,... ..., xon и в каждой из этих точек
Pto=jp (8.5.1)
В случае, если х(о) имеет одно и то же значение для двух или более элементов из те^, то р(х) для этого х(о) есть произведение ^ на соответствующее число элементов. Конкретнее, если х(о) = х'
популяции.популяции.для г элементов из гс^ то р(х') = ^. Мы можем думать об х как о случайной величине, обозначающей х-значение одного объекта, «выбранного случайно» из *kn. Удобно называть р(х\ определенную согласно (8.5.1), функцией вероятности (ф. в.) конечной
популяции.
популяции.
Теперь предположим, что (от^,.. п объектов из ^в гс^ СуществуетТеперь предположим, что (от^,.. п объектов из ^в гс^ Существует. ,о^^ есть некоторая перестановка ^У™^у таких п-перестановок. Рас
Теперь предположим, что (от^,.. п объектов из ^в гс^ Существует
Теперь предположим, что (от^,.. п объектов из ^в гс^ Существует
смотрим теперь эти ^-перестановки как выборочные точки в основ
ном выборочном пространстве R. Если (о71,..., о-^ — выборочная
точка е в R, то пусть хх (е),..., хп^ — случайные величины такие, что xt (е) = х0Т1,..., хп (е) = х0Чп. Обозначив (xj (е), ..., хп (е)) через (хь ..., хп), будем говорить об этой и-мерной случайной величине как о выборке объема п из конечной совокупности ^N. Мы можем тогда думать об xt как о случайной величине, означающей х-значение первого объекта, «выбранного случайно» из тс^, о х2 — соответственно для второго объекта,..., о хп для л-го объекта, причем объекты выбираются из ic^ без возвращения. -
Очевидно, что (хь ..., х^ — дискретная n-мерная случайная величина. Если мы припишем всем выборочным точкам е в R одинаковые вероятности, а именно ^_пу*
■—•<8-5-2)
то рС^ь •.•> х„), Ф- в. (хъ ..., х^, равна ^'^i^1 в каждой точке
сосредоточения массы.
На самом деле удобно, не ограничивая при этом общности, рас
смотреть ^-значения N объектов разными и объекты обозначить тогда как хоХ <^... < xoN. Тогда точки сосредоточения массы случайной величины х^ есть хоХ,..., xoN, 1=1,..., и. Пусть 7?^— вещественная ось, соответствующая случайной величине х^ и пусть Ev^ обозначает последовательность точек - хоЪ..., x0N в 7?^. Пусть Еп — прямое произведение Ev^ X • • • X Е^ и Rn — прямое произведение ^р X • • • ... X R^- Тогда точки сосредоточения массы (хь...,хп) образуют множество Е’п, состоящее из тех точек Ет у которых нет двух оди-
и имеется взаимно и ^-точками в R.и имеется взаимно и ^-точками в R.паковых координат. В Е п точно ^_ П)( точек однозначное соответствие между точками в Е’п
и имеется взаимно и ^-точками в R.
и имеется взаимно и ^-точками в R.
Другими словами, ^-мерная случайная величина (хх (е),..., хп (е)) отображает е-точки R в точки множества ETnczRn. Таким образом, ф. в. ^х^е.^х^ определены для точек в своем выборочном пространстве Rn выражением '
Р<хъ...,х^ =Р<хъ...,х^ =кМ-прN\ ’кМ-прN\ ’Х\ -А • • - ^ хп,Х\ -А • • - ^ хп,О в остальных случаях.О в остальных случаях.(8.5.3)(8.5.3)
Р<хъ...,х^ =
Р<хъ...,х^ =
кМ-пр
N\ ’
кМ-пр
N\ ’
Х\ -А • • - ^ хп,
Х\ -А • • - ^ хп,
О в остальных случаях.
О в остальных случаях.
(8.5.3)
(8.5.3)
Точка сосредоточения массы (хь..., хп\ соответствующая объектам °Т1 ’ • • • ’ °W есть С^ь ’ • • • ’ Х»^‘'
Заметим, что маргинальная функция вероятности (хь..., хп_х) в (8.5.3) есть сумма р(хъ...,хп) по хп, что дает
Р1 • • • (П-1) С^Ь • • • > *^П-1) (^ п 4~ 1) jyj yyj
в каждой точке f^ X • • ♦ X Е1"-^, у которой (и—1) координат различны, и рх... ^^ (хь..., хп_х\ равное нулю во всех остальных точках ^р X ... X Е^—х\ В более общей форме — маргинальная функция вероятности (х^,..., х^ есть
Рц.^Дхц,...,х^=^^(8.5.4)
в тех точках £^) X • • • X Е^н, у которых все координаты разные, и нУль во всех остальных точках множества В1^ X • • • X Е^г\ Функция вероятности компоненты х^ вектора (хъ..., х„) дается выражением (5.5.1), так что1'
^е) = 7/>(8-5-5)
при этом точки сосредоточения массы х^ суть хоЪ... >xoN. Таким образом, любая компонента (хъ..., х^ имеет такое же распределение, что и совокупность.
Среднее значение р,^ и дисперсию <^N распределения совокупности определим следующим образом:
NN
Pw= "N 5i х°ь ^лг= N — 1 5 (хо< Pw)2-(8.5.6)
/=1/=1
Мы будем обычно опускать значок N и вместо р.^ и а^ писать соответственно р. и а2. Очевидно, что для £=1,...,д
М-*е) = 1*>(8.5.7)
Полезно найти маргинальную функцию вероятности (8.5.4) при г = 2, т. е. для каких-либо двух компонент (х^х^) из (х^..., xN\ Находим।
Р^ СкЕ> хт)) = 77pV—а) >(8-5-8)
а точки сосредоточения массы суть (х^ХоД t ^f=\)...,N. Ковариация между х^ и х^ дается выражением
COV (ХЕ, х,) =2 (Х^ — р) (хч — р) р^ (xv X,) =
N
VI (Xot — р.) (хоС — р.)
—N (N — 1)“
NN
= — 2 N(N—V) + ^(^— 1) [2 ^o/ ~ ' (8’5'9)
Используя же (8.5.6), находим, что
cov^x^x^^ — ^.(8.5.10)
Заметим, что коэффициент корреляции между х^ и х^ имеет величину р(хгхч) = -^.(8.5.11)
Напомним, что на основании (8.2.4) cov (х^ х^) = 0 в случае выборки из бесконечной совокупности.
В итоге получаем следующий результат:
Если (хь...,х„) — выборка объема п из конечной совокупности тс^, то
x^x^ = v., <^(х^ = ^-^-^,Е=1,...,и;
cov(x5,x4) = —^, р(х6,хч)= — ^у,^i) = l,...,/z,
где (л и а2 определены согласно (8.5.6).
Построение теории выборочного метода для некоторой функции g^Xv-.x^ от выборки ^^...^х^ из конечной совокупности 1CN сводится к нахождению функции распределения для g^xx,_ .,х^ где (Xi,..., х^ — случайная величина, имеющая ф. в. (8.5.3). Аналогичное замечание справедливо, конечно, и для теории выборочного метода для двух или более функций выборки.
(Ь) Среднее значение выборочного среднего значения и дисперсии. Для иллюстративных целей сначала рассмотрим две специфиче- п
ские функции ота именно, х и s2. Так как 5^ = ^^1Х^
e=i
то получаем
р, (х) = gf— ^ х J = — 2 ® (-^р •(8.5.12)
Но g(x^) = p при 6=1,...,п. Следовательно,
р.(х) = ^(8.5.13)
е. 5с— несмещенная оценка для ц.
Для о2(х) получаем
°2 (^)=8 (^ — ^)а=8 [у 2 (х{ — р) J =
^8 ^6 ^ + п5 2 ® ^ ^ ^ч ^‘
Но g(X? — р.)2=^^1о8 при 6=1,..., п, а ДЛЯ 6 #: 7]
8(*5~ н)(^ — |*) = cov(^, х7))=-^.
Следовательно, о3(х)=(1-1)с».(8.5.14)
Рассмотрим теперь среднее значение s2. Имеем
т2 ^ ~ ^ = Т2 ^е ~ ^’ ~ Я(п —1) 2 ^ ~
Беря от этого выражения математическое ожидание и используя явно 8.5Л, находим, что
g(s2) = p(s2) = o2.(8.5.15)
Следовательно, s2 — несмещенная оценка для а2.
В итоге получаем следующий результат.
Пусть (хь..., хп) — выборка из конечной совокупности ic^, имеющей среднее значение р, и дисперсию а2. Тогда
р.(х) = р.,а3(х) = (1 — 1) а3,р.(з2) = а3.
Необходимо заметить, что среднее значение и дисперсия выборочной суммы определены выражениями
о3(г) = п3 — Т) о3.(8.5.16)
Наконец, необходимо заметить, что если р.^ и о2^, определенные согласно (8.5.6), имеют конечные пределы при ^->oo (обозначим их через р и о2), то можно показать, что пределы р.(х) и а2(х) в 8.5.2 при ^->oo совпадают с величинами р.(х) и о2(х) для выборок из бесконечной совокупности, которые определены согласно 8.2.1.
(с) Средние значения некоторых симметрических функций от выборки из конечной совокупности v^ Основные идеи § 8.5(b) могут быть обобщены, чтобы получить средние значения некоторых общих симметрических функций от выборки. Итак, пусть (хъ..., хп) — выборка из конечной совокупности ^N и g (х^, ..., х^г) — такая функция, что $i ^ $2 ^ ... ф ^г и г <^п. Тогда с очевидностью из вида функции вероятности (х^,..., х^Д даваемого (8.5.4), следует, что
©к^р--.,(8-5-17)
где 2/ означает суммирование по всем величинам ^,..., tr таким, что tx ф ^ Ф ... ^ tn и каждое t пробегает все значения 1,..., N. Образуем теперь следующую симметрическую функцию от (хь..., хл):
Qki^ — ^Г^Х^1’"1’ Х^>(8.5.18)
где ^ имеет аналогичное значение в терминах 5Ь..., ^П что и 2/ для tv..., tr.
Если вычислить математическое ожидание от Q(xb..., х^ то получим
S(Q(*!,фф2$- Х^Ь <8Л19)
Но g[g(xeP..., хег)] для всех части (8.5.17). Так как имеется ..., ^п то получаемНо g[g(xeP..., хег)] для всех части (8.5.17). Так как имеется ..., ^п то получаем^ ф ^ф ...ф £г равняется правой^ ф ^ф ...ф £г равняется правойп\(П — Г)!п\(П — Г)!таких наборов величин Еь...таких наборов величин Еь...
Но g[g(xeP..., хег)] для всех части (8.5.17). Так как имеется ..., ^п то получаем
Но g[g(xeP..., хег)] для всех части (8.5.17). Так как имеется ..., ^п то получаем
^ ф ^ф ...ф £г равняется правой
^ ф ^ф ...ф £г равняется правой
п\
(П — Г)!
п\
(П — Г)!
таких наборов величин Еь...
таких наборов величин Еь...
®(QC^i,• • ^пЙ — уу|8^oti>• • • > я01й — Q(-^оь• • • > ^on^
1(8.5.20)
так что Q (хъ..., х^ — несмещенная оценка для Q (хоЪ..., xoN)-
Таким образом, получаем следующий результат:
Если (хь..., х^ — выборка из конечной совокупности t:n и если Q (хь..., хп) — некоторая симметрическая функция (хь... ..., хп) типа (8.5.18), тогда Q (хь..., х^ — несмещенная оценка для Q (-^оь • • • > ^onV
Более того, как следует из 3.2.1 и 3.2.2, справедлива следующая теорема:
Если Qv (xv..., х^,..., Q$ (хь..., х^ — симметрические функции выборки? (хъ..., х^) типа (8.5.18) из конечной совокупности ^N, то для любого набора постоянных db...,ds d^Q^ (xb..., x^ -|- -]-... ~p dsQs (xb..., xn) — несмещенная оценка для d} Qj (xob... • • • > xon) ~T • • • 4“ ^sQs C^ol’ • • • > XonV
Если в (8.5.18) возьмем g(x^p..., x^r) = x^.. .x^, где cb..., cr — положительные целые числа (или нули), то получим класс симметрических функций {Q(xb..., хД такой, что выборочное среднее значение, выборочная дисперсия, ^-статистики и другие полиномы от выборочных моментов могут быть выражены как линейные комбинации от функций Q этого класса. Этот факт вместе с теоремами 8.5.3 и 8.5.4 делает, как показал Тьюки (1950, 1956а), теорию выборочного метода для среднего значения, дисперсии и более старших моментов, особенно ^-статистик, весьма простой.
Пример. Для иллюстрации определим величину g (х3). Имеем
п
Х3=Дг V Хе Хс Хг =
П3ц2 ^3
5Ь 5а» 5з = 1
п
=^ [ 2 ч+3 2х^ + 2 j= 5i = l517^52517^2^53
_ 1 п. ч I 3(^—1)^ (, (п — 1) (п — 2) ~
^2 01 (^"1> ■ • ’» ^п) 4”^2 Оа (-^и • > хп) 4”^2 Qa C^i, •*• > Хп),
где
п.
51=1
Q2 = ——-—— V xt x- , п (п— 1) 517^52
9з=: п(,г — 1)(п — 2)2 Xt-X^XV
т. с. функции типа (8.5.18).
Применяя 8.5.4, мы получаем тогда
(*3) = ^2 01 (ХО1> ••• , ХО^ 4" "~Ц^2—' 0а (^000> xon) +
+ -^2^У^^<?з(.Го1xoNy
Если положим
N , _ 1 V г ^ xot ’ /=1 то нетрудно заметить, что
01(^01,..., хоЛГ) = рз,
Qa^ob ••• > a'on) ^ дг । (М^рЛ — ^3) ,
Оз ~ (*^о1>1 ^on) ^ (дг 1)(W2)" ^^ ^ + ^^ 3Wp.2p.iJ,
и, следовательно, g (х3) может быть выражено полиномом от трех первых моментов совокупности.
(d) ft-мерный случай. Теперь рассмотрим тот случай, когда случайная величина х(р), введенная в § 8.5(a), есть вектор с ft компонентами ^(о),..., хк(о\ Тогда каждый обьект в ^N «измеряется» ft числами. Таким образом, если х^о^ = хоц> то мы можем говорить о xoit как об .^-величине о/, и если векторы для N объектов в ттдг все различны, то наша векторная случайная величина (^(о), ..., хк (о)) отображает объекты из ^N в N точек из Rk, причем координаты образов точек о( есть (хои, ..., xokt\ ^=1, ..., N. Если вероятности, соответствующие всем этим N точкам, выбрать равными, а именно ^ то получим ft-мерную случайную величину (хъ..., х^ с ф. в.
p(xv..., xk) = ^(8.5.21)
и точками сосредоточения массы (xoU,..., xokt\ t= 1,..., N. Мы можем говорить тогда о p(xv..., xk) как о ф. в. конечной совокупности 1СДГ.
Рассмотрим теперь основное выборочное пространство RN^(N—/г)! перестановок, введенное в § 8.5(a), так что (<?т1,..., оЛп) — типичная выборочная точка е. Пусть (хп (г),..., xin (г); i = 1,..., ft) — пк случайных величин таких, что хп^ — х0^х^..,х1п^ = х0^п. Если обозначить ^хи (г),..., xin (г); 1= 1,..., ft) через (х^, 1= 1,... ,ft; 5=1,... ..., п\ то мы будем говорить об этой /zft-мерной случайной величине как о выборке объема п из k-мерной конечной совокупности^, с функцией вероятности (8.5.3). Для этих nft-мерных случайных величин в Rnk имеется M/(N—и)! точек сосредоточения масс, в каждой из которых выбранная нами вероятность равна (N—ri)^NL Точке, (о^,..,, о1п) соответствует точка (хо1и1..., х0^п, 1=1,...^).
Сказанного выше достаточно, чтобы построить теорию выбором-, ного метода для различных функций от нашей выборки. А именно, для таких функций, как векторы выборочных сумм и средних
значений
Е=1Е=1(8.5.22)(8.5.22)
Е=1
Е=1
(8.5.22)
(8.5.22)
и выборочная ковариационная матрица ||srvll> где
Sij = ^гу 2 (хч — х^х^ — хД I, j = 1,..., к. (8.5.23) Е=1
Определим вектор средних значений (р.ь..., ^) из hn как
i-V^k,(8.5.24)
/=1 и ковариационную матрицу ||<у//|| из ic^ как
°И = jv~T 2 ^х°и — ^Х°Н — ^’/,/=!>.., к- (8.5.25)
Тогда, вычисляя среднее значение, аналогично тому как это было сделано в (8.5.12)—(8.5.15), можно показать, что
р№) = ^>—/=1,..., к\
cov^ь х^ = ("^) «и» 1чЧ=1к; (8-5-26)V-(stj) = °U>1> /=1к.
Матричный выборочный метод
Матричные выборки второго порядка. Предположим, что и и т — независимые случайные величины, имеющие к. ф. р. Fv (я) и РДчД Пусть х(и, г»)— случайная величина, для которой
р = §(х(я, г»)),
4-00
р.„.= J х(и, -о)4Рг(т),(8.6.1)
— 00+ оо
|Л.„= 5 х1п’ ^^Рх^Д
— ОО
Далее, пусть ев„ £.„ и ей„ — случайные величины такие, что
ей- = Ни- — Р"
=— Р>(8.6.2)
бит> = х<и, г») — ря. — р-.т + Р"
Тогда, очевидно, среднее значение каждой из этих случайных величин равно нулю и ковариация между любыми двумя из них тоже равна нулю.
Таким образом, имеем следующую теорему разложения:
Если случайная величина х (и, v) есть функция независимых случайных величин и и тг, то имеет место следующее разложение*.
xQu, у) = [л “р ги. -]- г.^ -|- ги1П(8.6.3)
где ги., г.^ гии определены согласно (8.6.2) и имеют среднее значение, равное нулю, и нулевые ковариации. Более того,
аг(х(и, ^^^(еа^^а^г.^^а^вт,').(8.6.4)
Замечание. Необходимо отметить, что более общая форма этой теоремы (и последующих теорем этого раздела) справедлива, когда и и у рассматриваются как независимые выборочные точки в произвольных выборочных пространствах Rm и 7?(2), а не как просто случайные величины. В таких пространствах мы должны, конечно, иметь вероятностные меры и х (и, v) должна быть случайной величиной, измеримой по отношению к прямому произведению этих двух вероятностных мер.
Удобно сократить обозначения для дисперсий следующим образом:
а2(х(«, т0) = °2,
а4(е«.) = ^,(8.6.5)
a8(e.T) = a2.,
a2(s«®) = 0--
Тогда (8.6.4) переходит в
о2 = а?0 + о2,=о!..(8.6.4а)
Пусть теперь (иъ ..., иг) и (-иь ..., т\) — независимые выборки с к.ф.р. Fx (и) и F^ Qu) соответственно. Функция распределения этих двух выборок тогда равна
ГS
П^П(8-6-6)
e=ii-i
Пусть (x(zz^, т^); 5=1, ..., г; т)=1, ..., s) — новое множество случайных величин, которое может быть представлено прямоугольной таблицей с г строчками и s столбцами. Эта таблица будет называться матричной выборкой второго порядка. Необходимо отметить, что эта выборка зависит только от гЦ-5 случайных величин, а именно, их, ..., иг и ур ..., *us.
Замечание. Матричные выборки играют фундаментальную роль в таких областях, как психометрика и планирование эксперимента. В психометрике, например, строчки могут представлять данную совокупность экзаменующихся, которые получили определенный тест, столбцы—данную совокупность вопросов. Таким образом, х (и^, 1)^ будет представлять отметку лица, для которого и = и^ за ответ на вопрос, для которого d=.d^. Если тест из s вопросов задается группе из г экзаменующихся, то совокупность отметок этих
лиц на каждый из s вопросов и составляет матричную выборку х (и^ v„), £ = 1, ..., г; tj = 1, ..., s.
Лорд (1955) рассмотрел теорию выборочного метода для различных линейных и квадратичных функций от х (и^ у^), которые встречаются в психометрике.
В случае планирования эксперимента строчки могут представлять совокупность операторов, работающих на некоторого типа машинах, а столбцы — совокупность этих машин. Таким образом, если мы выберем случайно г операторов и s машин, то можем считать х (и^, v^) случайной величиной, представляющей выход (продукцию) рабочего дня оператора с номером $ на машине с номером *q. Такой эксперимент требует, конечно., для своего выполнения s рабочих дней. Приложение теории матричного выборочного метода в планировании эксперимента будет обсуждаться в разделах 10.6 и 10.7.
Чтобы сократить наши обозначения, положим
^=^(«е, ^),
^1= х^ р*>
(8.6.7)(8.6.7)= — У X- ,rs 51’
(8.6.7)
(8.6.7)
^• = "Т ^^ev
1 Г М ’
где 6=1, ..., г; ri = 1, ...,$.
Необходимо заметить, что для каждого бит] (8.6.3) можно пере-
писать
в виде
х^ч — ^ + s^ + £-ч + е^е
(8.6.8)
Пусть
теперь
^Т = Jj (Х^^“^
8.0= У (х^. -К-О2, So. = 2^^i
5- = 2 (^ — ^. — З-Т. + Х..)\
(8.6.9)
Легко
видеть, что
при этом
ST = S.0-}-S0. + 5...
Иногда удобно называть S.o, So. и S.. строчной, столбцовой и остаточной компонентами полной суммы квадратов ST. Мы будем рассматривать далее среднее значение и дисперсию х.. и среднее
значение ST, S.o, So. и S.., при этом все средние значения берутся относительно к. ф. р. (8.6.6). Так как
=5=1, ..., г; 7)=1,
то, очевидно,
g(^,.) = p,.
При нахождении средних значений величин 5 из (8.6.9) мы увидим, что они могут быть получены как линейные функции от следующих выражений четырех типов:
4 = V>^(8.6.10)71 = 7],7] ^ V.находим(8.6.11)уравнения4 = V>^(8.6.10)71 = 7],7] ^ V.находим(8.6.11)уравненияS^, х^)=б-- + ^о + !3о-«=?';
4 = V>
^(8.6.10)
71 = 7],
7] ^ V.
находим
(8.6.11)
уравнения
4 = V>
^(8.6.10)
71 = 7],
7] ^ V.
находим
(8.6.11)
уравнения
= ”•0.6 = В';
= «о.
= 0^Г;
Вычисляя средние значения, мы действительно g(S.e) = s(r-l)(»?0 + 4), g(S0.) = r(s-l)(4 + 4), §(S..) = (r-l)(s-l)a?.,
в то время как g(ST) может быть определено из
g (ST) = g (S.o) + g (So.) + g (S..).
Аналогично дисперсия X» есть линейная функция четырех типов средних значений, упомянутых в (8.6.10), что дает
aW==^ + 4 + 4.(8.6.12)
В итоге
Пусть (нь ..., и^ и (т^, ..., у5) — независимые выборки из бесконечных совокупностей. Пусть (х^; 5=1, ..., г; 4=1, ..., $) — матричная выборка, среднее значение которой определено согласно (8.6.7), а строчная, столбцовая и остаточная компоненты полной суммы квадратов ST, S.o, So. и S.. соответственно определены формулой (8.6.9). Тогда g(x..) = ti, а ^(Х..) определено согласно (8.6.12), и средние значения So, So., S.. даются выражениями (8.6.11).
Случай конечных совокупностей строчек и столбцов. Предыдущие результаты могут быть перенесены с помощью аналогичного метода на случай, когда (нь ..., иг) и (т^, ..., Dg) — независимые случайные выборки из конечных совокупностей тс^ и те^. Этот случай был рассмотрен Хуком (1956а) и Тьюки (1950).
В случае конечных совокупностей мы можем, без ограничения общности, считать, что элементы в тс^ имеют различные значения, так что иох <\. .<^и0^}> Аналогично мы можем рассматривать раз-
личные ^oi <^ • • • <^^олг2’ Удобно использовать в дальнейшем следующие обозначения:
^оЬ ^ой == ^oip
^oij= ^oij Ру>(8.6.13)
и тогда в соответствии с (8.6.1)
W/i^-^^oU-(8.6.14)
==: д\ 2 x°ij*
В случае конечных совокупностей строчек и столбцов мы можем существенно упростить формулы для средних значений, определив о}, а).о, о)о-> °/-- следующим образом:
21 v '2
°/— N^,— 1 Z Х°1’ ’
°^0 = М(М — 0.2~ ^^(8.6.15)
= Nt (Na— 1) 2^/v ~
°/” = ^ _ 1) (^2 _ i) 2 ^X°lj—— ^v + Р-/)2-
Заметим, что уравнение, связывающее а), а).о, а)0. и а}.., именноЗаметим, что уравнение, связывающее а), а).о, а)0. и а}.., именноММ—1 2 мм 0/ММ—1 2 мм 0/(М"Р(М"РММа2 I (М 1) s I (М 1) (М—1) а а/-0 -Н Na °/о- Н щ0/.а2 I (М 1) s I (М 1) (М—1) а а/-0 -Н Na °/о- Н щ0/.
Заметим, что уравнение, связывающее а), а).о, а)0. и а}.., именно
Заметим, что уравнение, связывающее а), а).о, а)0. и а}.., именно
ММ—1 2 мм 0/
ММ—1 2 мм 0/
(М"Р
(М"Р
М
М
а2 I (М 1) s I (М 1) (М—1) а а/-0 -Н Na °/о- Н щ0/.
а2 I (М 1) s I (М 1) (М—1) а а/-0 -Н Na °/о- Н щ0/.
•(8.6.16)
переходит в пределе при М, М->со в (8.6.4a).
Нас интересуют среднее значение и дисперсия х.. и средние значения So„ <$.» и 5... Чтобы вычислить эти средние значения, оказывается удобным определить следующие величины:
7(..) = 5(^,
7'('01= У XoijXot;.,(8.6.17)
г, j ф j’
Т(^.^ = 2 ^oij^oi'jy
^(00)===5 ^oij^oi'j’t
1Ф1*иФГ
при этом, как можно показать,
(-о) Ч~ Т(о.) + Т(оо) = [2 хоч Р = °-(8.6.18)
М
Поскольку оу.0, о/о* и а)..—линейные функции от Т^.у Т^.^у Т^.) и 7(00), то, выражая Т через о и используя (8.6.18), получаем
Т?) = (М - 1) (М - 1) [а).. + -^Др а%. 4- ^-р а).о],
ТН) = (М - 1) W - 1) [- а}.. - ^^ а)0. + Ма|.о],(8.6.19)
Ло.) = (/V, - 1) (М - 1) [- о).. + М=)о. ~ ^Т о}-о , Tw = (М - 1) (М - 1) М-. - N^,. - MoV "
Как и в случае бесконечных совокупностей строк и столбцов, пусть (х^; 5=1, ..., г; iq=l, ..., s) — матричная выборка величины r-\-s и Т.., 7.0, Го- и Гоо выражены через х^ определенные в (8.6.7), аналогично тому как Т^.у Т(.О), 7'(0.) и Т^ выражены через Хоу. Заметим при этом, что выборочные случайные переменные Г.., Т.о, Го. и Гоо не удовлетворяют, конечно, (8.6.18).
Можно легко показать, что
О (Т Ч Г8 1)„
— NiNa ]) 'ео)>
9(т ' — rs<r~ о -г(8.6.20)
© / Т" ч^ (Г 1) (б 1)™
© V' оо) — NiNs! ^ _ J) ^Na _ J) / (00) •
Эти формулы являются основными в проблеме нахождения средних значений S.o, So. и S... Действительно, S.o, So. и 5.. являются линейными функциями от Т.., Т.о, Т#„ Тм:
So- = ^г1 (7'.. + Го.) —^ (т-.о + Тое),(8.6.21)
(Г-1)(8-1) т (Г-1) т (8-1) п. . J_-rs •• rs -о rs 0*"i rs zoo-
Вычисляя математические ожидания от этих выражений, используем (8.6.20) и подставим величины Т^..у Т^ и Tw из (8.6.19). Тогда получаем следующие выражения для искомых средних значений:
g (S. 0) = s (Г - 1) [ о) . о + (1 - ^-) a). J, g(50.) = r(s- n f^o. + fy-^j^..].(8-6122)
§(S.) = (r-l)(s-l)o)...*'
Значение же g(ST) может быть найдено из уравнения
g (ST) = g (S.o) + g (So .) + S (S .)•
Заметим, что эти уравнения переходят в (8.6.11) при Nb N^-^oo, если о^#? ^2fQ., о), о имеют своими пределами а\, oq.> ^ о соответственно.-
Чтобы определить дисперсию х? мы должны найти среднее значение (х—ру)2, которое в свою очередь может быть представлено в следующем виде:
- и/)2 = ^ [T. + Т. о + То . + 700].(8.6.23)
Вычисляя математические ожидания от обеих сторон (8.6.23) и явно используя (8.6.19) и (8.6.20), находим
(8.6.24)
Читатель может заметить, что эта формула переходит в (8.6.12) при Nb N^->oo.
Формулировку итогового утверждения, аналогичного 8.6.2, для теории матричного выборочного метода в случае конечных совокупностей строк и столбцов мы оставляем читателю.
Матричная выборка третьего порядка. Идеи, изложенные на предыдущих страницах, распространяются без особых трудностей на случай матричных выборок третьего и более высоких порядков. Чтобы отметить возникающие особенности, достаточно кратко рассмотреть матричные выборки третьего порядка. Здесь мы будем иметь дело со случайной переменной х (ц, tj, w), где и, tj, w — в свою очередь независимые случайные величины с к. ф. р. F^a), F%(y), F3(w) соответственно.
Для х(и, чз, w) определим следующие средние значения:
p, = g(x(zz, -и, w)),
^п.. = ^х(и, v, w)dF3(v)dF3(w),(8.6.25)
|x/n,.= ^x(w, -и, w)dF3(w)
—ОО
(р.^., p,..w, pu.w, p.vw определяются аналогично (8.6.25)) и случайные величины:
^-^Рй- —Р>
ей^« == ^«и* Рй- •Р»®* Н” Р>(8.6.26)
£U1)W ^^ ^ (И’ ^’ ^) Р«^’ V*U‘WP"VW”|- Рй-• ~|~ р.^. -f- P».«w Р*
(e.v., E..w, ^i-wt &«™ определяются аналогично (8.6.26)).
Тогда получаем следующее обобщение 8.6.1.
Если и, v, w — независимые случайные величины и х (и, р, w) — некоторая случайная величина, то
X(U, 7), ^) = р,4~ £й-- Н-б.у. 4~6**w 4"е«*- 4~ ^-w 4" е-^ 4" zitvw
где все е — случайные величины с нулевыми средними значениями и нулевыми ковариациями, определенные согласно (8.6.26). Более того,
ь\х(и, «и, w)) = a2(e„J4-a2(e.vJ4-o^^
4~ °2 (Лит). ) 4” ^ ^H-w) 4" ^ (£-Uw) 4™ °2 С8//?^)*(8.6.27)
Удобно ввести следующие величины:
о2(х(п, V, w)) = o2,
^2 (еы..) = ^оо> о2 (е.т.) = a§.o, о2 (е. .^) = ago., о2 ^ит>.) = ^-о,о2 (еи. w) = а?0о о2 ^.-dw) = ^о-о
°" (£/гуф) =z: О?.. •
Тогда (8.6.27) может быть записано как
о2 = о?оо 4~ °о-о 4“ °оо- 4“ а-*о Ч~ °’0« 4" <• 4"а-• **(8.6.28)
Пусть теперь (иъ ..., ur\ (vb ..., х^), (wb ..., wz)— независимые выборки из бесконечных совокупностей, имеющих к.ф.р. Рг (и), F^ (у) и F^ (w) соответственно. Функция распределения выборки равна
fl F, (и ) П F4 ^ П F3 (^)-(8.6.29)
^=17J = IС=1
Наша матричная выборка третьего порядка есть множество случайных величин
(х(г^, ^, wc); ^=1, ..., г; т]=1, ..., s; С=1, ..t), которое может быть рассмотрено как матрица третьего порядка с г строками, s столбцами и t слоями.
Для этой выборки определим х^, х^ и различные выборочные средние х_, х^..г х^., х..с, х^., х^, х.^ с помощью непосредственного обобщения определений (8.6.7). Каждая х^ есть сумма случайных величин, имеющих свойства, сформулированные в 8.6.3, и мы можем написать
^^ =р»4"е^- 4~s-v4~s-^ Ч-3^* 4“£v^ 4~8-^4~е^- (8.6.30)
Более того, определим следующие суммы квадратов:
S.qq = 2 (^•• — ^...У (аналогичноопределяются 5о.о и 5оо.), е, ч, с
5..о = 2 ^т).—х?..—хЦ. ~Р^.У (аналогично опреде- (8.6.31)
ляются 5.о. и 5о..)>
5=2 (Х^г — Х$гг — х^ — Х.^-\- Xt.. + x.v + ^-’C — ^У.
Как нетрудно увидеть, они удовлетворяют соотношению
8Т = 5.оо 4~ *S*o-o ~4~ 5оо» 4" 5..о 4" ^« о- 4” *5*о • • 4" 5 ев. (8.6.32)
Обычно 5.оо называют строчной компонентой 8Р 5о-о и 5оо.; 5. .о — строчно-столбцовой компонентой взаимодействия 8Т (аналогично называются 5.о. и 5о..) и 5 —остаточной компонентой 5Г
Очевидно, чтоg^ j_^
При нахождении средних значений
всех 5 можно
увидеть,
что они
представляют собой линейные функции от
величин
типа:
§ (х^х^^'^) — о2;
5 = 5',
С = С',
= о!.о + <^00 + °о- о;
B = V,
^=v>
с ^ с>
= о?о. + с^оо + ооо.;
е=е'.
4 7^ V,
с=с,
= а§.. oq-o "~h ооо.;
с=с,
(8.6.33)
= о?оо;
5=^,
с #- С',
= оо.о;'
5 ^ В',
7] = V>
; с,
= ооо.;
с=с,
= о ;
ч ^ ^»
с^с,
где о2 определено выражением (8.6.28).
Действительно, производя вычисления, получаем
(8.6.34)(8.6.34)© (5оо-) = rs $ — О °оо- 4" у °о- 4” у о?0. + у- о?. © (5о.о) = ^ (S — 1) Со.о "Н у °0- - + У °2.о4-уг О?. &(5.оо) = ^(г— 1) о?оо + у °-о-+ У^-^ + у-0-- g(Sb..) = r(s— 1)0 — 1)[о8„+уа?.. , g(S.o.) = s(r - 1)0- Оро. + т°*4’
(8.6.34)
(8.6.34)
g (5. ,0) = t (г - 1) (S - 1) р.о + у а!..], g(S...) = (r-l)(s-O0-l)^..,
и, конечно, значение g (Sr) есть сумма величин правых частей (8.6.34).
Аналогично дисперсия х... есть линейная функция величин типа (8.6.33) и оказывается равной
а2 (х...) = — о!оо 4™ — ао-о 4" "Г аи°- Н™ 7s а"° + °*0* +
+ я'*'+г-В1'-' <8Л35>
Мы оставляем читателю возможность сформулировать обобщение 8.6.2 на случай, когда в матричной выборке третьего порядка совокупности строчек, столбцов и слоев бесконечны.
Если читатель сравнит структуру соотношений (8.6.11) и (8.6.22), то ему нетрудно будет догадаться, почему справедливы соотношения (8.6.34) в том случае, когда в матричной выборке {х (11^*0^ wc)} (иъ...,иг\ (т^ь...,^) и (Wv...,^^— независимые выборки из конечных совокупностей строк, столбцов и слоев соответственно. Аналогично, сравнивая (8.6.12) и (8.6.24), читатель легко сделает вывод формулы (8.6.35) для о2 (х...) в случае конечной совокупности. Мы оставляем читателю в качестве упражнения доказательство и исследования этих формул. "
(d) Сбалансированные неполные матричные выборки. Вернемся теперь к случаю матричных выборок второго порядка (х$Т); $= 1,..., г; t]=1,...,s), которые мы обозначаем через {х^}. Выделим подвыборку {х^}*, состоящую из s' элементов из каждой строки и 7 элементов из каждого столбца {х^}. Если п — объем выборки, то и, г, s, г', s' должны быть положительными целыми числами, удовлетворяющими соотношению
п = г s' = r's. (8.6.36)
Пусть множество пар величин (5,7}) для такого выбора обозначено через G*. Мы будем называть такую подвыборку сбалансированной неполной матричной выборкой. Приведем примеры, в которых могут быть сделаны такие выборы G*: п =12, r = 3, s = 6, г'= 2, s'= 4; и=16, r = 4, s = 8, 7 = 2, 7 = 4; п = ^, r = 5, s = 10, 7 = 4, s'= 8. Читатель, интересующийся деталями конструкции специальных образцов выбора в таких выборках, отсылается к статьям Боуза (1939), Коннора (1952), Шрикхэнда (1952) и к книгам Кочрена и Кокса (1957), Кемпсорна (1952).
Пусть среднее значение неполной выборки, среднее значение В-й строки и к]-го столбца обозначены через х*, х*, х"^ соответственно, " "УС’ЬS? = 2*(^-^)-,
s?o=xs(A--^-)3>
= 2* (х?ч — х*.)2,(8.6.37)
О* О*
Of О Г O.Q ОО.,
где 2* означает суммирование по всем ($, iq) £ G*, а 8 *е — остаточная сумма квадратов.
Рассмотрим дисперсию х?. и средние значения величин S в случае бесконечных совокупностей строк и столбцов. Тогда все эти средние значения есть линейные функции от величин типа тех, что мы имеем в (8.6.10). Вычисление о2(х;\), g(S/), g(S?o) и g(S£) приводит к соотношению
g (Sf) = g №) - g (S?o) - g (So* У(8.6.38)
Выбирая r's = rs' = n и опуская детали выкладок, получаем
aS№ = l^+l0*o + la8.,
g (S?o) = (Г — 1) о!, + (г — 1) sV.o + (г — О ^.,(8.6.39)
g (So*.) = (s - 1) а?. + (s - s') o% + (s - 1) r'<,
g(S|) = (n — г — 5+1)Л — (s — s')a!0 — (r — r')4..
Заметим, что если r' = r и s' = s, то эти уравнения естественно переходят в (8.6.12) и (8.6.11).
Сбалансированные неполные матричные выборки, взятые из матричных выборок третьего и более высоких порядков, в общем случае должны удовлетворять некоторым дополнительным условиям и описываются значительно сложнее. Поэтому мы ограничимся обсуждением только одного специального случая матричных выборок третьего порядка, который, однако, играет основную роль в теории планирования экспериментов.
А именно, рассмотрим матричную выборку третьего порядка с г строками, г столбцами и г слоями, т. е. {x^J, В, ^Л= 1,..., г. Наша сбалансированная неполная матричная выборка {x^J* связана тогда с таким выбором из {х^}, что она включает один элемент из каждой комбинации величин £, ^ один элемент из каждой комбинации величин 5, С и один элемент из каждой комбинации величин ^ £.
Число элементов в так построенной выборке {x^J* равно г2, так что {х^}* включает в себя только «скелетный» выбор из {x^J. Однако сбалансированность, соответствующая такой выборке {х^}*, очень примечательна. Действительно, если все элементы из {x^J* спроектировать на «плоскость» $т] (плоскость строк-столбцов), то в каждой строке спроектированной {х^}* найдется один и только один элемент из каждого из г слоев {x^J. Аналогично в каждом столбце «плоскости» $7] найдется один и только один элемент из каждого из г слоев {x^J. Более того, аналогичные утверждения справедливы, если {x^J* спроектировать на «плоскость» ^^ или на «плоскость» т] С, заменив при этом соответствующим образом слова «строка», «столбец» и «слой». Каждая из этих спроектированных форм «выборки»
{^J* может быть названа выбором строк, столбцов и слоев согласно методу латинского квадрата.
Пусть О* — множество величин ($, т], Q, использованных в некотором специальном отборе неполной выборки. Существует много способов выбора элементов в G*. Читатель, интересующийся построением различных О* (построение латинских квадратов), отсылается к работам Боуза (1938) и Манна (1943).
Мы будем интересоваться только средним значением х*. и средними значениями х*., х?^. и х*^ элементов $-й строки, ц-го столбца и (-го слоя соответственно, в случае неполной выборки, и величинами 5^=5* (xw -х*.:у,
Е.
S*oo = S*
58.о = 5* (xV-X*.)3,(8.6.40)
Е.
s&.=5* (^-с—^*-)2,
$5 = $? — £*00 — So* 0 — Sob.,
где 2* означает суммирование по всем (£, ^ () £ О*.
Но дисперсия х*. и средние значения всех S* в (8.6.40) суть линейные функции только величин первых четырех типов, указанных в (8.6.33). Вычисляя средние значения, опуская при этом детали выкладок, находим
g (S*oo) = (г - 1) о£ + (г - 1) с!оо,
g (So* 0) = (г - 1) а^ + (г - 1Ио ,(8.6.41)
g(So%) = (r~l)^ + (r-l)a8o.,
-g (S|) = (г - 1) (г - 2) о2д + (г - 1 )2 [afoo + <о + ago.], где а^ удовлетворяет условию
о2 = о> + а!оо + о§.0 + *00..(8.6.42)
Необходимо отметить на основании (8.6.27) и (8.6.28), что о| есть сумма четырех компонент, а именно
^ = о!.. + о!.0 + о!0. + □§...(8.6.43)
Теория выборочного метода для порядковых статистик
Пусть (хь..., хи) — выборка из совокупности, имеющей непрерывную к. ф. р. f (х). Расположим элементы xv...,xn в порядке их возрастания и обозначим полученные упорядоченные величины через
х^у.. ^х^у где jc(t)<\. .^х^у Эти новые случайные величины называются порядковыми статистиками выборки, х^ называется k-й порядковой статистикой, часто к называют номером порядковой статистики и статистику (х(1),.. .,х^— вариационным рядом. Интервалы (—оо,х(1)], [a\i ),.Г(2)], ♦.♦,(.£(„), 4~оо^ называются выборочными блоками Вк\\..., Д(я11) соответственно, а функции F^x^, F (x(2)) — F(^(i)),..., 1 — F(х^) этих блоков называются долями Ux,...^^ соответственно. Поскольку сумма всех и равна 1, то мы будем обычно опускать unW Значок у В обозначает размерность. Выборочные блоки для размерностей 2 и более будут определены в § 8.7 (с). Заметим, что доля для данного выборочного блока есть просто сумма вероятностей в распределении популяций (Р-мера), попадающих в этот выборочный блок, и является случайной величиной.
Теория выборочного метода для порядковых статистик и долей имеет фундаментальное значение при исследовании непараметрических статистических выводов, которые будут обсуждаться в главах 11 и 13. В этом разделе мы рассмотрим часть основных результатов теории выборочного метода для порядковых статистик. Читатель, интересующийся более подробными деталями, может почерпнуть их из книг Фрезера (1957), Гамбела (1958) и Кендалла (1953). Полная библиография публикаций в этой области приведена в работе Сэвиджа (1953).
Выборочные распределения порядковых статистик. Если F (х) непрерывна, то, как установленно в 7.1.1, случайная величина y = F(x) имеет равномерное распределение R^, lj. Пусть теперь у.—р(х,), £=1,...,п. Тогда (Ун--->^) есть выборка объема п из 6'/ 1 \
совокупности, имеющей равномерное распределение R^» 1).
Элемент вероятности (э. в.) этой выборки равен
1 -dyY...dyn(8.7.1)
внутри единичного «куба» {(^i,... ,J^):0<j^< 1, Е= 1,...,/г} в выборочном пространстве Rn и 0 -^ . ..dyn вне этого куба. Пусть _у(1) < ^♦•^Лл)— порядковые статистики выборки. Рассмотрим теперь задачу нахождения э. в. этих порядковых статистик. Вероятность того, что два или более элементов выборки (yb. ..^J равны между собой, есть нуль. Значит, мы можем рассматривать только те точки в единичном кубе, координаты которых не равны между собой. Допустим, что CVi>... ,у^— такая точка Р. Элемент вероятности, связанный с этой точкой, есть 1 • dyx... dyn. Но при перестановках координат Р мы получаем в единичном кубе п\ таких точек. Если взять новые случайные величины у^у такие, что _у(1) — наименьшая координата этих п\ точек, у^ — следующая наименьшая координата и т. д., то ф. п. в. случайной величины (у(1),... ,yw\ компоненты которой представляют собой порядковые статистики выборки (vb... ,уп\ равна
сумме ф. п. в. для этих п\ точек. В результате э. в. CP(i)>... ^(^j) есть
n\dyw...dyw(8.7.2)
внутри {(J(i),..., Л»)) :0<Ло<-••<>(«) <4 и O-^w-^t») вне этой области. Это есть и-мерное упорядоченное распределение Дирихле D* (1,..., 1; 1), определенное в (7.7.17). Поэтому мы получаем следующий результат:
. Если (^(1),...,^(;г)) — порядковые статистики для непрерывной к. ф. р. F (х), то случайные величины F (х(1)),..., F (х^) имеют упорядоченное п-мерноераспределение Дирихле D* (1, 1, ..., 1; 1).
Распределение для любой подпоследовательности из этих случайных величин можно получить отсюда с помощью 7.7.6. Так чю для одной из этих величин справедливо утверждение
. Случайная .величина F(x^, l<^k<^n, имеет бета-распределение Ве(£, п— А4~1)-
Для s таких случайных величин можем получить результат:
. Случайные величины F (ус^, F (х(^1+д2)),..., F (^1+... ^5) имеют упорядоченное s-мерное распределение Дирихле D* (Аь..., А/, п — kv —— ^+1).
Необходимо еще раз подчеркнуть, что в 8.7.1, 8.7.2 и 8.7.3 мы предполагали только, что F (ус^ непрерывна. Если же мы теперь сделаем более сильные предположения, а именно, что существует ф. п. в. /(х), то сможем найти э. в. порядковых статистик х^, ..., х^ и подпоследовательностей этих статистик. Так что в соответствии с 8.7.1, 8.7.2 и 8.7.3 получаем следующий результат:
а. Если (X(d, ..., х^ — порядковые статистики выборки объема п из совокупности, имеющей к. ф. р. F (х) и ф. п. в. f(x), то элементы вероятности порядковых статистик суть
n\f[x(^.. .Rx^ dxw ... dxw,(8.7.3)
и выборочное пространство (х(1),..., х^ представляет собой область в Rn, для которой —
а. Вероятность xw, i^k^n, при условиях, сформулированных в 8.7.1а, есть
ТД1ДДЬ^ [F (Х("))Г ‘11 ~ F (Х<6,)Г ^^^ AxW ^ и выборочное пространство для х^ есть R^
а. Плотность вероятности для (х^, x^klyk2y ... .х^.^ ...у k$0 при условиях, сформулированных в 8.7.1а, равна
"Г (AJ ... Г Г А, —... — ks^ "))I*1 ‘[^ (х(*1 +*2)) —
- F (^о)]*2 - ’ - ■ • [1 - F (х^ к1 +... +^)р - ^ ~ - -ksf(x(kl))... X
X/G*7^ + - Т^)) ^(*1) • • • ^xikt ^_-v-ks^ (8.7.5)
и выборочное пространство для (х^), х^^^...» ^iH-...+^s)) есть область Rs, в которой
00 ^-^i)• ^^(^1 4- - +^s)°°*
Формулы (8.7.3), (8.7.4) и (8.7.5) впервые были получены Крейгом (1932) и представляют интерес в различных частных случаях. Например, если в (8.7.4) мы положим ^=1, то получим элемент вероятности для наименьшего элемента из выборки, а при k = n находим элемент вероятности наибольшего элемента из выборки. Если п — нечетное и k = n-Y^y то получаем элемент вероятности для выборочной медианы. Если в (8.7.5) s = 2, kx = 1, к^ = п— 1, то получим э. в. наибольшего и наименьшего элементов в выборке:
И (и — Wl^~F^^Y"4<x^(8.7.6)
Распределение выборочного размаха w может быть получено из (8.7.6). Для этого надо использовать преобразование
XW=-U,. Xw=V-[-W
и взять безусловное распределение w, т. е. проинтегрировать по -и.
(Ь) Выборочное распределение одномерных долей. Распределения, появляющиеся в 8.7.1, 8.7.2 и 8.7.3, имеют более широкое значение, чем это может показаться с первого взгляда. Допустим, что мы сделали преобразования
У(1) = иь
^^ = Ui"V11^(8.7.7)
У (л) — ^14"... + ^.
Элемент вероятности случайных величин иъ ..., ип будет равен п\ dux ... dun(8.7.8)
п
в симплексе ^{(нь ..., и^: и^ > 0, ^=1, ..., п, ^^<^4 и
О • dux ... dun вне Sn. А это есть не что иное, как л-мерное распределение Дирихле 0(1, ..., 1; 1), определенное в (7.7.1). Заметим теперь, что случайные величины их, ..., ип есть доли, введенные в рассмотрение в пункте 8.7 (а). Распределение долей, как мы видим, не зависит от к. ф. р. F (х) совокупности, которая по предположению непрерывна. На основании этого можно сказать, что доли ведут себя независимо от распределения.
Мы можем в итоге сформулировать следующее утверждение.
Пусть (х(1), ..., х^ — порядковые статистики выборки с непрерывной к. ф. р. F (х\ Тогда доли ux=F ^х^, 1Ц = Р(х(2))— — F(x(1)), ..., un = F^x^— F(x^n_x^ есть случайные величины, имеющие п-мерные распределения Дирихле 0(1, ..., 1; 1).
Отметим, что распределение долей, как видно из 8.7.4, полностью симметрично относительно своих переменных. Этот факт дает основание говорить иногда о выборочных блоках В^, ..., S^+^y соответствующих долям ии ..., ипА.ь где ип^ = 1 — их —... — ип, как о статистически эквивалентных блоках. Из упомянутого факта и из 7.7.2 следует, что
Любая k-sv (к ^ п) доля, упомянутая в ЗЛА, имеет к-мер- ное распределение Дирихле D(l, ..., 1; п— #-|-1).
Применяя также 7.7.4, получаем
Сумма любых к долей из упомянутых в ЗЛА имеет бета-распределение Ве(&, п— Л-^!).
Можно заметить, что 8.7.2 есть частный случай 8.7.6, так как F^x^ есть сумма первых к долей их, ..., ик.
Окончательно находим, что применение 7.7.5 ведет к следующему результату:
Если щ,...,^ — сум мы къ..., ks долей, упомянутых в 8.7.4, причем нет долей, принадлежащих более чем к одному *и, тогда распределение (рх, ..., vj есть s-мерное распределение Дирихле D(kiks\ n — kt — ... — к^у
(с) Выборочные распределения многомерных долей. До сих пор мы рассматривали порядковые статистики выборок из одномерных распределений. Результаты, которые были сформулированы в 8.7.4, 8.7.5, 8.7.6 и 8.7.7, остаются в силе, если обобщить определения выборочных блоков и долей на случаи распределений двух или более измерений. Рассмотрим случай двух измерений. Мы предположим, что (хц, х^.; 5=1, ..., п) есть выборка из непрерывной двумерной к. ф. р. F (хъ х^- Мы введем упорядочивающую функцию h(xx, х^) такую, что w = h(xb х^ есть случайная величина, которая имеет непрерывную к. ф. р. H(w). Тогда случайные величины w^ = h(xY^ х^, 5=1, ..., п составляют выборку из совокупности, распределение которой равно и(усг, х^, и эта выборка может быть упорядочена. Пусть порядковые статистики выборки (wb ..., w^ есть (W(1),..., 4S)wy Доли U\ = H(50W), i^ — Hiw^ — Hfw^)4=
— H^w^rj) и случайные величины, связанные соответственно с двумерными блоками В^, ..., В^х\ на которые разделена упорядочивающими «кривыми» w^ = h(xY, х^, 5=1, ..., п, плоскость хг, х» изображены на рис. 8.1.
Из предыдущих исследований очевидно, как надо определить доли и’\, ..., ип для ^-мерных выборочных блоков В^\ ..., В^х\ полу* ченных с помощью ^-мерной упорядочивающей функции h(xx, ..., х^ с непрерывной к. ф. р. H(wy Если u^ = h(xv^ ..., хь^, 5=1, .•• ..., п, и (Wp}, ..., w^j)— порядковые статистики, соответствующие выборке (wh ..., wn), т. е. (w(1), ..., w^) — порядковые статистики совокупности, распределение которой совпадает с распределением h (хь ..., хк\ то получаем следующий результат:
Доли иь ..., Un для k-мерных блоков, определенных с помощью упорядочивающей функции h(xb ..., хп), имеют те же свойства распределений, что it те, которые характеризуют распределения долей иь ..., ип и которые были сформулированы в 8.7.4, 8.7.5, 8.7.6 и Ш.
Определение долей для двух и более измерений более общо, чем может показаться сначала. Вальд (1943) дал метод построения
Рис. 8.1. Выборочные блоки и доли для случая двух измерений
а) 6-я упорядочивающая функция: А ^хи х^) = ы^;
6-я доля: и^ = $ dF(xn х2).
в^ (5)
долей, основанный на прямоугольных выборочных блоках, который был существенно обобщен Тьюки (1947). ,
Мы рассмотрим метод Тьюки для случая двух измерений. Вместо одной упорядочивающей функции Н^х^ ^з) Для п выборочных точек (Хц, х2р, 6=1, ..., п, мы можем использовать п таких функций ^(х^ х<^, 7)=!, ..., п. Предположим, что каждая из функций h^(xb х^) имеет непрерывную функцию распределения и функция распределения совокупности F(xb х2) также непрерывна. Некоторые или все эти упорядочивающие функции могут совпадать между собой. Если мы возьмем ^ = Ач(х^, х2р, то для каждого значения к] будем иметь множество порядковых статистик w^, Е=1, ..., п. Разделим теперь плоскость хх, х^ следующим образом: кривая wfi) =hv(xb х^) Делит ^Хз-плоскость на два множества В^ и В^, где В^ —множество точек, для которых hx (xD х^<^^. Определим первую Долю, назовем ее ut, как P-меру (вероятность, определенная из Т7^, х2)) выборочного блока В^. Кривая wfo =h^xb х^ делит множество В^ на два множества В^ и В^ таких, что для В^
h^x^ x^<jw^v Пусть доля ti2 есть P-мера В^. Продолжая этот процесс, мы соответствующим образом определим множества В^, В^, ..., В^ такие, что В^ С В^, *. *, В^ С В^~х\ Останется, конечно, остаточное множество Р^~Н) такое, что В^ (J.. .U^s^U^s1^ = = /?2. P-меры В^, ..., В^ есть определенные общим образом доли uL ..., и*. Рис. 8.2. показывает пример для п= 10, когда упорядочивающие функции h^x^ х^, iq—1, 10, суть прямые линии, составляющие с ХрОСЬЮ углы (7]—1)90°.
Рис. 8.2. Пример двумерных выборочных блоков, порожденных горизонтальными и вертикальными линиями, являющихся по отдельности графиками упорядочивающих функций.
Определение Л-мерных аналогий долей wf, ..., и* получается самым прямым путем, и мы оставляем это читателю. Справедливо следующее утверждение.
Распределения долей и*,..., и* для к-мерных блоков (определенных указанным выше способом) обладают теми же свойствами, что и распределения^ долей иь ..., ит именно, указанными в теоремах %ЛА, 8.7.5, 8.7.6 и 8.7.7.
Для доказательства 8.7.9 достаточно показать, что ut, ..., Un имеют и-мерное распределение Дирихле Z)(l, ..., 1; 1) для к = 2. Если F (хь х^) — функция распределения совокупности, из которой взята выборка (Хц, х^ 5=1, ..., и), то э. в. этой выборки, которую мы обозначим через Оп, есть
п
jl<ZF(x1$, х2£).(8.7.9)
Пусть (Хр, х^ — элемент выборки, который доставляет наименьшее значение hx(xb х^) среди всех и элементов выборки, и пусть (хЦ,, x^v ^1= Ь..., п—1) суть п—1 элементов выборки, обозначенные через 0^, полученные выбрасыванием (Хр, х$) из Оп. Элемент вероятности (Хр, Хр) и (х^, х^; ^=1,..., п—1) есть
nd?№ х^П^Ю ^Vt)-(8.7.10)
51=1
Пусть теперь их—доля, связанная с множеством Вх' в плоскости (хь х^, для которого /z^Xp х2)<hx (хр, х$\ Из 8.8.2 следует, чго распределение их дается распределением Ве(1, и), т. е. э. в. их есть
п(1 — и№ху-Ыих,(8.7.11)
где
и[ = $ dp(xt, х8), du^dp^, х^).(8.7.12)
я»11
Рассмотрим теперь (2п — 2)-мерную условную случайную величину (хЦ,, х^21 хх*\ х$; £ = 1,..., и). Элемент ее вероятности дается отношением (8.7.10) к (8.7.11), что сводится к
п—1
IP^ № «(8.7ЛЗ)
ei=i где
F'n №.(8.7.14)
Это означает, что для фиксированных величин (Хр, х^ и, следовательно, для фиксированного значения пх, остающиеся и — 1 элементов исходной выборки ведут себя как выборка Оп_\ из и — 1 элементов совокупности, имеющей функцию распределения
(8.7.15)
Эта функция распределения получается приписыванием нулевой вероятности для В^ и нормировкой на единицу части исходного распределения совокупности, соответствующей В^\
Теперь мы повторим описанный выше процесс. Пусть (хр, Хр) — элемент выборки, который доставляет h^^x^ х^) наименьшее значение среди п — 1 элементов OW-v и пусть (х^2, х^; ?2 = 1,..., п — 2), обозначенные через Оп-^ су^ъп— 2 элементов из 0^—2 > полученных выбрасыванием (Хр, Хр). Элемент вероятности (Хр, Хр) и (хх^ ^2; $2= 1,.,,, п — 2); равен
(и — 1) dF™ (х^, х’^ П dF1’ (х^> х^).(8.7.16)
^2—1
Пусть В^ — подмножество В^> для которого h^xb х2)<^Н^(х[1\ х$), и пусть ul = ^dFv (хь х^)—условная доля, связанная с В^ и опре- в^
деляемая Fm(xv х^ В качестве частного случая 8.7.2 получаем, что и^ имеет элемент вероятности
(п — 1) (1 — м^)"'2 du^(8.7.17)
a (^llg, ^Ig |х!*, х$; $2=1,..., п — 2) — элемент вероятности
«—2
П^’С^ ^Ь(8.7.18)
^2“ 1
где•
^(1) /д-(2) х<2) )
^’ № ^ =x^f— •(8.7.18а)
Таким образом, при фиксированных величинах ^х'^, Хз») и W*’, х^') элементы Оп-% ведут себя как элементы выборки из совокупности, имеющей к. ф. р.
х»^^’^^.(8.7.19)
Распределение и^ и^ и элементов Оп-% равно тогда произведению (8.7.11), (8.7.17) и (8.7.18).
Продолжая описанный выше процесс, мы получаем последовательность долей и^..., uh, имеющую распределение с э. в.
п\ (1 — О""1... (1 — uhTn dul... duh- (8.7.20)
Выражая их в терминах долей и^, $=1,..., п, для которых справедливо 8.7.9, получаем
ul = м* >
:(8.7.21)
Применяя это преобразование к (8.7.20), получаем
п\ dut...di4(8.7.22)
Но это есть не что иное, как элемент вероятности л-мерного распределения Дирихле D(l,..., 1; 1), что и доказывает утверждение 8.7.9.
Дальнейшие результаты в теории выборочного метода для долей были получены Фрезером (1951, 195 3), Фрезером и Гаттменом (1956) и Кемперманом (1956). В частности, они показали, как получать статистически эквивалентные блоки, используя упорядочивающие функции, связанные с упорядочивающими функциями, которые применялись
для определения выборочных блоков. Расширение понятий выборочных блоков и долей в случае разрывных функций распределения рассматривалось Тьюки (1948).
8.8. Порядковые статистики в выборках из конечных совокупностей
Пусть кЛГ — конечная совокупность, х-величины элементов которой различны, т. е. хо1 <...<xoN. Пусть (х(1),..., х^ — порядковые статистики выборки объема п из nN. Мы рассмотрим теорию выборочного метода для порядковой статистики х^ ^-го порядка. Из комбинаторных соображений очевидно, что
(N—t\
Р (^) = ^) = ^4^=^- =Pn. п, к (О,(8.8.1)
,\п)
где i = k, к -|- 1,..., N— к-\-к. Таким образом, мы можем рассматривать pNltl.k^4 либо как (i) ф. в. случайной величины х^к\ ее точки сосредоточения массы есть xot, t — k, A-|-l,..., N—п-\-к, либо как (ii) ф. в. случайной величины t Последняя же есть ранг х-величины в ic^, который совпадает с порядковой статистикой ^-порядка в выборке. Проще иметь дело со случайной величиной t, чем со случайной величиной xVk> так как точки сосредоточения массы t есть следующие друг за другом целые числа к, &-|-1,..., АЛ— и-4 к, в то время как для х^> они сосредоточены в х0>ь •^о^-ь!» ♦ • • > ^о, N-пл-к*
Факториальные моменты t довольно легко найти. А именно, используя обозначения (3.3.15), получаем
N-n-^k
§№ + г-1)И)= 5 (Hr-^pN.n,fe(t) = t=k
N-n+k
[NA~r\ Г”— 1\ IN— t\
(^ + r — 1)и \ nA-г) X \k-V-r — \)\n — k) /oo9x
\n) L*J
t=k
Но сумма в правой части равна 1. Поэтому
g ^+г -1)ri) = tiL_A_k+d.(8.8.3)
\п)
Выбирая г = 1 и г = 2, находим среднее значение и дисперсию
о //лМ^ + 1)2(*х^ (^+ ^) (N—n) (п-кА-^ /g $ 4}
(л+1) ,° (0— (л + 1)2(л + 2)•
В итоге
1. Если -kn — конечная совокупность, х-величины элементов которой, все различны, хоХ <^.. .<^xoN, и если (х(1), ..., х^ — порядковые статистики выборки из ic^, то ф. в. xk дается (8.8.1), точки сосредоточения массы при этом есть xot, t = k, A-|-L ..., N—п-\-к. Значение §№4~г—0^) дается выражением (8.8.3).
Если мы рассмотрим бесконечную последовательность случайных величин
»ь№=4’ N=k,k^\,...,(8.8.5)
то lining есть доля х-величин из бесконечной совокупности, кото- N-*co
рые превышают х^у Интуитивно очевидно, что lim ukt N соответствует ДГ-юо
F(^;^)) для случая выборки из бесконечной совокупности, имеющей к. ф. р. Р(ху В согласии с 8.7.2 F(x) должно быть бета-распре- делением Be (Л, п— А+О* Чтобы убедиться в справедливости этого утверждения, рассмотрим
//—►со х 1^-*со \1У//—►со х 1^-*со \1У(8.8.6)(8.8.6)\_T(n + \)T(k + r) ] — T(k)T(n + r+l)
//—►со х 1^-*со \1У
//—►со х 1^-*со \1У
(8.8.6)
(8.8.6)
Но это есть Л-й момент случайной величины, имеющей бета-распределение Ве(&,п— Л—|— 1). А из 5.5.3 следует, что последовательность случайных величин (8.8.5) сходится по распределению к случайной величине с этим бета-распределением. Поэтому
2. Пусть ти^, N = n, n—|— 1, ... — последовательность конечных совокупностей таких, что х-величины элементов в ^N все различные, хо1<^...<^xoN. Пусть (х^, • •., х^ — порядковые статистики выборки объема п из nN и пусть ukN—число элементов в itN, х-величины которых превышают х^ку Последовательность случайных величин ukN, N=n, п-\- 1, ..., сходится по распределению к случайной величине, имеющей бета-распределение Ве(&, п— А 4" 1).
ЗАДАЧИ
Пусть (хп ..., Xfd — случайная выборка из совокупности, распределение которой имеет конечные моменты |л2, ..., ^г относительно среднего значения распределения, и пусть
5=1
Показать, что
б2 (т^ = -^- [^ir — ^ + Фг-1 (П*2 V-r-i — 2(Лг+1)1 + О f ^.
Пусть хи х2— выборочные средние значения и sf, s| — выборочные дисперсии двух независимых случайных выборок объема nY и л2 из Л^п °2) и ЛЧ^2, °2) соответственно. Показать, что при ^гих условиях
1(^1—^s) — 0*1—f*s)l
1/7 _L 4. _Ц [(«i-i)sf+(«2-i) si-i-/s
имеет распределение Стьюдента £(^4-^2— 2).
Пусть (хи,..., х1п) и (х21, ..., х2п)— независимые выборки из N (^ц о?) и N (|12, о2) соответственно и пусть хь Я2— выборочные средние п
значения, s?, s|— выборочные дисперсии и г = ^^ — ^(^ig-^i) X
X (x2t— х^ — коэффициент корреляции между двумя выборками. Показать, чт0— ^2) —— ^2)] Уп"
М + $1 — 2rs1s2] */*
имеет распределение Стьюдента S (л—1).
Предположим, что xY и х2— средние значения независимых выборок объема ^ и п2 соответственно из распределений, имеющих одинаковые дисперсии, равные а2. Пусть х— среднее значение двух выборок, объединенных в одну выборку объема л14~^2. Показать, что дисперсия х— ^j равнаа2Яа
[и, (П1 + я2)1 "
Пусть х— случайная величина, имеющая распределение ^(p., о2), и F (х)—функция распределения этой нормальной величины. Показать, что коэффициент корреляции между случайными величинами хи F (х) равен У?-
Пусть (х, v) —пара случайных величин, имеющая некоторое двумерное нормальное распределение с коэффициентом корреляции р, и пусть ^ М — функция распределения у. Показать, что коэффициент корреляции между случайными величинами х и F(y) равен j/^—р,
Используя 8,2.2 при г = 2 и g (х^х^ =xtx2l построить Q^j (^п ••• •••, х^ для выборки объема п из распределения, имеющего конечные первый и второй моменты Цр ^ найдя тем самым несмещенную оценку для (t4)2- Найдите дисперсию этой оценки.
Пусть ^xv...tx^—простая случайная выборка из конечной популяции лN объема N, имеющей дисперсию а2. Показать, что для любых (вещественных) ПОСТОЯННЫХ Сп ..., Сп дисперсия С^ 4” С2Х2 + + спхп есть
Требуется показать также, что дисперсия разности между средними значениями двух случайных выборок объемов Л1 и л2, П14-п2 <М взятых без возвращения из л^, равна a2 f— -|—-Л.
\ ^1 ^2 /
Допустим, что выборки объемов лп ..., лд— независимые выборки ИЗ одного нормального распределения N (у, о2). Пусть хп ..., X/,— средние значения, a s^, ..., s|—дисперсии этих выборок.
9 С. Уилкс
Пусть
“ = ф[(«1~ l)s? + -- + (»6 —1) sy,
» = 4" (”1 (^1-^)2 + -- + п*(^-^П.
ю = ф[« (-^-р-)2],
где X — среднее значение простой выборки, составленной из всех выборок, так что п = т^-|-... 4-л^* Требуется показать с помощью теоремы Кочрена или с помощью аппарата характеристических функций, чго ы/у и zy— независимые величины, имеющие ^-распределения С (ni + .-. + ^J^ — ^)> С (к — — 1) и С (1) соответственно. *
Пусть (yif.tXn)—независимые случайные величины из N (p+pxf, о2), ..., W (р + ^хп\ а2) соответственно, где р, Р, хп ..., хп постоянные. Пусть р и р —значения р и р, которые минимизируют сумму квадратов
5 (у?—и—₽х02> Е-=1
и пусть
Требуется показать, что (р, В) имеет двумерное нормальное распределение АГ({М}; 1Ы1), где
(У! хрд2 Ха2
11^/11 =11^/11 =win57
11^/11 =
11^/11 =
ап ап
и ^«=2 (^ —^)2* и что у имеет х2“Распределение С (п— 2). Далее пока
зать, что (р, р) и у независимы.
Пусть (хи ..., х^—выборка из N (р, о2). Показать, что характеристическая функция
п
Е = 1 равна г = 0
где р2 = и&2/о2, и, таким образом, что ф. п. в. и равна
г=0
где fnv^r («)”Ф- п-в- Для X2 с (« + 2г) степенями свободы. (Распределение и впервые было получено Фишером (1928b) и называется нецентральным •^-распределением с п степенями свободы и параметром р2.)
Пусть п> х, s2— объем, среднее значение и дисперсия выборки из N (р., а2). Показать, что распределение
гдегдеs имеет ф. п. в.s имеет ф. п. в.
где
где
s имеет ф. п. в.
s имеет ф. п. в.
и 7 = )Лп 6/с (это распределение было получено Тэнгом (1938) и называется нецентральным распределением Стьюдента с (п — 1)" степенями свободы и параметром 7).
Найти вид формул (8.6.34) и (8.6.35) в случае конечной совокупности, если число элементов в совокупности строк, столбцов и слоев равно Nn N2 и Na соответственно.
Пусть (хп..., хп)— выборка из равномерного распределения 7? ^ 6, 6 ). Показать, что выборочное распределение и = max (xD ..., хл) имеет ф. п. в. пи^1^ на (0, 6) и 0 вне (0, 6).
Пусть из равномерного распределения ^^, 1) взята выборка объема (2n-j-l). Показать, что медиана этой выборки имеет бета-распределение D / 1 1 I
Be (n + L 1).
Пусть (хь ..., хп) — выборка из равномерного распределения 7? (р, со). Показать, что п. ф. р. размаха выборки г равна
п (п— 1) (г \п~2 Lг \
(О\ (О )\(О )
для г £ (0, со) и О для г £ (0, <о).
Пусть (Х(П,.. . >х(пд —порядковые статистики выборки объема п из совокупности, имеющей непрерывную к. ф. р. F^xY Показать, что ковариационная матрица ^F^x^, F(x^t где l^k1<ha^n) равна
Pi (1 —Pl) Pi (1 —Р^
(л + 2)(п + 2)
Pl (1— Ла)Рэ (1 ~Ла)
(п + 2)(п + 2)
«'Р. = +г.л = +г-
Пусть (х(1),..., х(л))— порядковые статистики выборки из совокупности, имеющей непрерывную к. ф. р. F (х). Показать, что среднее значение размаха R = (xmi— хш) равно
§ (/?) = Y { 1 - F" (л) - [1 - л (+ 1"} dx.
—ОО
Этот результат получен Типпетом (1925).
9*
(Продолжение.) Показать, что к. ф. р. R равна п "^ { F (х + Д)—F (х)dP (х).
—ОО
Пусть х(1) и х^— наименьшие и наибольшие порядковые статистики выборки объема п из равномерного распределения R (р, со). И пусть г=|д- (^nj+^d)) —У j / (хкт— х(П). Показать, что элемент вероятности для г равен
^(г) dr = (n-l) (1+2|г|)~Мг
на интервале (—со, +со) (Карлтон (1946)).
Пусть х(1), х№— наименьшая и наибольшая порядковые статистики выборки объема п из непрерывной к. ф. р. F (х). Показать, что случайная величина 2п V" F (х(П) (1—Fix^^ имеет предельное распределение
17С$
при и—>оо со средним значением у л и дисперсией 4j- (Элфвинг (1947)).
Пусть (х(1),..., х(П))—порядковые статистики выборки из совокупности, имеющей п. ф. р. / (х), где
' 1 — (х —р)/т
/(х) =/(х) =и пустьи пустьX > р,,Жр,X > р,,Жр,
/(х) =
/(х) =
и пусть
и пусть
X > р,,
Жр,
X > р,,
Жр,
е=2
Показать, что п. ф. р. случайной величины t
равна
t>0,
10, 1?<0
(Гаттмен /1960)).
Пусть (хп ..., хп) — n-мерная случайная величина, имеющая п. ф. р. f(xD ..., хп), симметричную относительно хп..., хп. Показать, что порядковые статистики (х(П,..., хкп^ из (хп ..., х^ имерт ф. п. в. п!/ (х(П,..., хкП^ в области, где —со < х(1) < ... <х(Л) < + °°> и 0 вне ее.
Пусть (хп..., х^—выборка из равномерного распределения 7? ^, 1 ) и пусть1
Р=кхх...Х^П •
Показать что ф. п. в. ^ равна
«ТЪмП-Х
на (0, 1) и 0 вне (0, 1).
Пусть имеется т независимых выборок объема п из равномерного т
распределения Т?^, М и пусть ы = | | ^, где zXl...,zm —наибольшие
порядковые статистики в т выборках соответственно. Показать, что ф. п. в.порядковые статистики в т выборках соответственно. Показать, что ф. п. в.и равнаи равнаптпт(т-1)!(т-1)!“" 1 ( — log а)"1-1“" 1 ( — log а)"1-1
порядковые статистики в т выборках соответственно. Показать, что ф. п. в.
порядковые статистики в т выборках соответственно. Показать, что ф. п. в.
и равна
и равна
пт
пт
(т-1)!
(т-1)!
“" 1 ( — log а)"1-1
“" 1 ( — log а)"1-1
на (0, 1) и 0 вне (0, 1). Результат получен Райдером (1955).
Пусть (хп... ,х^— выборка из гамма-распределения б? (у.) и пусть h (xv ..., х^— случайная величина такая, что h^Xv-i хп) = h (схп .... схп) для всех с>0. Показать, что (xL 4* • • • + хп) и ^ (^о • • • > ^/г) независимы (Питмэн (1937а)).
Пусть (хп..., х^— выборка из совокупности, имеющей ф. п. в. f (х), и пусть отношение (с^ +... + спхп) / (xv 4-хл) и сумма ^хг 4- ...Д-х^ независимы для любого набора постоянных q,...,^, не равных 0 одновременно. Показать, что / (х) есть ф. п. в. для гамма-распределения (Лага (1954)).
Пусть (х(1),..., х(л)) — порядковые статистики выборки объема п из совокупности, имеющей непрерывную к. ф. р. с конечным средним р. и дисперсией а2. Показать, используя неравенство Шварца, что
8 (^(n)) ^ Р- 48 (^(n)) ^ Р- 4(я— О»/2л—1 "(я— О»/2л—1 "
8 (^(n)) ^ Р- 4
8 (^(n)) ^ Р- 4
(я— О»
/2л—1 "
(я— О»
/2л—1 "
Результат, незначительно отличающийся от результата Хартли и Дэвида (1954).
переменныепеременныеПусть (х^),..., х^) — порядковые статистики выборки объема п • из непрерывной функции распределения F (х). Показать, что случайные
переменные
переменные
F tot+i)) JF tot+i)) JZ= 1,..., п — 1,
F tot+i)) J
F tot+i)) J
независимы и распределены согласно ^^jl у (Реньи (1953)).
Пусть (хп..., хл) — выборка из равномерного распределения ю 4" ^)» гДе м>0и 0<-^- 8<со. Пусть 1^— случайный интервал
(хг-±8, ^+-Ь)(хг-±8, ^+-Ь)п
(хг-±8, ^+-Ь)
(хг-±8, ^+-Ь)
и пусть Е есть событие J 7^ и 7—интервал (0, со).
Показать, что
(Роббинс (1944а)).
Пусть п точек взяты случайно на отрезке длины L. Показать, что вероятность события, состоящего в том, что не найдется двух точек, лежащих на расстоянии, меньшем d, равна
(L — (n—\) d)nILn,
если 0 < d < L I (п — 1) (Парзен (1960)).
Пусть (хп..., х^ — выборка объема п из совокупности, имеющей среднее значение р. и дисперсию о2, и пусть d— выборочное среднее отклонение относительно ц, определяемое согласно -
d=42|^v|-
Показать, что
Пусть х— случайная величина с ф. п. в./(х), имеющая среднее значение р, и дисперсию а2. Пусть ср (£)— характеристическая функция х, а х и s8 — выборочное среднее и дисперсия выборки объема п из/(х). Показать, что если х и s2 независимы для любого гц то ф (t) удовлетворяет дифференциальному уравнению•*
+»V=o.
Решением этого уравнения при граничных условиях <р (0) = 1 и ср' (0) = ip. является’
<р(О=е ’•
и, таким образом, f (х) является ф. п. в. для нормального распределения N(p^) (Лукач (1942)).
Пусть х^ — порядковая статистика к-го порядка из выборки объема т с непрерывной к. ф. р. F (х). И пусть задана вторая независимая , выборка объема п с той же самой к. ф. р. F (х). Обозначим через у случайную величину, равную числу х во второй выборке, не превышающему х^. Показать, что ф. в. этой случайной величины у есть
к,
НГ ^О’1"’
а также что r-й факториальный момент у равен
8 (уИ) = _2?!41Lh£izlL , 7(к— l)!(m + r)!(n — г)’’
(Эпстейн (1954)).
(Продолжение.) Пусть вторая выборка составлена из элементов, выбираемых по одному до тех пор, пока у элементов выборки меньше, чем A'^. Показать, что объем п этой второй выборки есть случайная величина, имеющая ф. в.
ттт + п — 1\(т-^-п) ’т + п — 1\(т-^-п) ’п=у»у + 1,...,п=у»у + 1,...,
т
т
т + п — 1\(т-^-п) ’
т + п — 1\(т-^-п) ’
п=у»у + 1,...,
п=у»у + 1,...,
а также что
.цп лг\х_^А-г-\УЛк-г-\^^т-к^г^
8 К” У) 1-(у—1)! (А—1)! (т —*)!’ r^R 1
(Уилкс (19Ь9Ь)).
Пусть конечная совокупность к^ состоит из N предметов, занумерованных через 1,2,..., N. И пусть из этой конечной совокупности к^ взята выборка объема п без возвращения. Обозначим через х наибольшее число (из 1, 2,..., N), оказавшееся среди номеров предметов в этой выборке Показать, что ф. в. случайной величины х есть
= П,... , М
8 W-„+l (М+1),0 (х) — (я_|_1)1(я + 2> .
(Продолжение.) Пусть из конечной совокупности лN взята без воз
вращения выборка объема 2п + 1. И пусть у—медиана этой выборки. Показать, что ф. в. у равна
У = «+ 1.У = «+ 1.N—n,N—n,
У = «+ 1.
У = «+ 1.
N—n,
N—n,
а также чтоа также что°2 60 =°2 60 =
а также что
а также что
°2 60 =
°2 60 =
(N — 2п — 1)(А+1)
Sn + 12
(Продолжение.) Пусть s и t — порядковые статистики порядка кх и к2 соответственно (^<£2) из выборки объема и, взятой из uN. Показать, что ф. в. (s, t) есть
Is — 1 у ^s — 1 у N—tyiN\
Показать также, что
а2 ^ _ к№-«)(^+ 1)(« - А. + D(л+1Г(л + 2)
cov (s, <)cov (s, <)_ Ах (п — й, + 1) (ЛГ — п^п + 1)(„ + 1)2 (п + 2)
cov (s, <)
cov (s, <)
Пусть р (л*) и q (х) —два дискретных распределения, имеющих одинаковые точки сосредоточения масс х^.^хь. И пусть От и Оп—независимые выборки объема т и п из р (х) и q (х) соответственно. Пусть (т^ ..., т^)— число компонент От> которые оказываются в точках хр..., х^ при этом mt 4* • • • + тк = т- Аналогично определяется (пь ..., пь). Если гт,п — коэффициент корреляции между (У mJ т,..., Ут^т) и (У njn,..., Уп^п), то показать, что при р (х) = q (х) и для произвольного Х>0
Этод результат принадлежит Матусита (1957).
к2
(Продолжение.) Если ^ ^К рТ^У — V Я (хй ) ^°2>где 8>0, то
показать, чтопоказать, чтоk—Yk—YУ т У п ) ’У т У п ) ’
показать, что
показать, что
k—Y
k—Y
У т У п ) ’
У т У п ) ’
Этот результат также принадлежит Матусита (1957).
Показать, что к. ф. р. величины z для распределения, описанного в § 8.3 (а), есть
^^^М(г->)”+ (")(г-2)”-...+ (-1)й(") (г-6)"],
k<z^k-Y\, к = 0, 1,..., п— 1,v х (0 для 2^0,^^ = \\ для 2>п.
Пусть (л'ш,..., х<пд— порядковые статистики выборки объема п из равномерного распределения 7?^, lj. И пусть (нп..., ип)— п-мерная случайная величина, обозначающая сегменты (х(1), х^ — хт, ..^х^ — хкп_и\ а у = шах (ып..., ип\
Показать, что к. ф. р. случайной величины у есть
Г„И=ь[1-(") (1-У)" + (”) (1 —2»)" —... + (— 1)» (”) (1-Мя],
г |-т < Д ^ 4 , к — п — 1, п — 2,... ,1’
и
Р м-1 0 лля “^°>
—t 1 для «> 1.
(Результат предыдущей задачи полезен для решения данной задачи.)
(^Продолжение^) Распределение наибольшего сегмента, порожденного п случайными точками в интервале (0,1). Порядковые статистики (х(1),..., хт^ делят интервал на (n + l) непересекающихся сегментов ип...,ип4.1э при этом, конечно, их + ••• 4*un+i = 1- Пусть о = шах (их,..., ип + 1\ Показать, что к. ф. р. со есть
^n(“) = [l- (”+1) (1-«)« + (”+’) (1 — 2б>)” —
k = n,1
Иz1
(О для (0^—j—7,F„(co)="+*
(1 для со 2> 1.
Пусть (х(П, х^И хт, а:(4)) — порядковые статистики выборки объема 4 из N (0, 1) и У = ^ ^(3)+^(4)) — ^ Cra)+*(2)V Показать, что к. ф. р.
^(у) случайной величины у есть
.^ 3 j.^ 3 j
.^ 3 j
.^ 3 j
О, J^^o
(Уолш (1946)).
Пусть (a^d, л(2))— порядковые статистики выборки объема 2 из /У(|л, аа). Показать, что средние значения этих порядковых статистик суть
([Л — а/j/тс , (Л-/с// тс).
ГЛАВА 9
АСИМПТОТИЧЕСКАЯ ТЕОРИЯ
ВЫБОРОЧНОГО МЕТОДА ДЛЯ БОЛЬШИХ ВЫБОРОК
'Геория выборочного метода, изложенная в главе 8, была основана па рассмотрении конечных выборок объема п. Сейчас мы будем выяснять, какие результаты можно получить относительно выборочных распределений, если устремить и к бесконечности. Пусть (хъ х^...) — стохастический процесс, элементы (компоненты) которого взаимно независимы. Любое множество п таких элементов есть выборка объема п из совокупности, имеющей функцию распределения F(x). Этот стохастический процесс иногда называют простым случайным выбором из бесконечной совокупности или случайным выбором из вероятностного распределения. В этой главе мы рассмотрим некоторые предельные теоремы и результаты, которые полезны при аппроксимации распределений различных функций от выборок в случае больших выборок.
Сходимость по вероятности выборочного среднего значения
Один из простейших результатов относительно выборочного среднего значения дается следующей теоремой Хинчина (1929).
Если (^!,...,хл) — выборка из совокупности с к. ф. р. F(x), для которой g(x) имеет конечное значение у, то выборочное среднее значение х сходится по вероятности к р, при п->го.
Для доказательства заметим сначала, что если среднее значение р. существует, то, как следует из (5.1.10), характеристическая функция <р(х), соответствующая F(x\ может быть записана в виде
? (0=1 + 1^ 4-0(0.? (0=1 + 1^ 4-0(0.(9.1.1)(9.1.1)
? (0=1 + 1^ 4-0(0.
? (0=1 + 1^ 4-0(0.
(9.1.1)
(9.1.1)
Используя тот факт, что на основании 8.3.2 характеристическая ,_ Г / ^VI”
функция х равна <р 1 — 1 , находим
(9'L2>
где л-о^~) оремигся к нулю при п-^то для всех Л Переходя к пределу при п -> оо, получаем
(9.1.3)(9.1.3)г / t \1« • ,Нт ф — = ^,n->coL \ я /J
(9.1.3)
(9.1.3)
что есть не что иное, как характеристическая функция, вырожденного распределения е(х— р.), определенного в (2.3.4). Применяя 5.4.1, получаем тогда, что при п-^оо распределение Зс сходится к е(х — р), а это эквивалентно утверждению о том, что 5с сходится по вероятности к р при п->оо, что и завершает доказательство 9.1.1.
Если в теореме 9.1.1 предположить, что случайная величина х обладает как конечным средним р, так и дисперсией а2, то можно довольно просто доказать, используя неравенство Чебышева (3.3.5), что 5с сходится по вероятности к р. Как мы знаем из 8.2.1, р(х) = р и а^ =-^-. Применяя (3.3.5), мы можем сказать, что для любого е> О
справедливо соотношение е \\2
l^-^l^^-j-^j^J=£4 (9Л-4)
Отсюда ясно, что
lim Р(|Х —fi|^e) = O,(9.1.5)
п—>оо
т. е. 5с сходится по вероятности к р.
Обобщение 9.1.1 на ^-мерный случай очевидно. Его формулировку и доказательство мы оставляем читателю.
Теорему 9.1.1 иногда называют ослабленным законом больших чисел. Ее основное утверждение состоит в том, что при п->оо распределение х сосредоточивается в сколь угодно малой окрестности точки J = p. Условия, которые гарантируют такое поведение распределения 5с, — существование (конечность) среднего значения.
Распределение Коши. Примером распределения, которое на первый взгляд имеет ожидаемые свойства, а на самом деле для его выборочного среднего значения не имеет места обсуждавшееся выше свойство сходимости по вероятности, служит распределение Коти (1853) с плотностью функции распределения
= л №+(х—о,)2]1(9-1
Область изменения х— вещественная прямая (—00,4-00), а 0п 08— вещественные числа и О2>0.
Можно показать, что характеристическая функция <?(£), соответствующая (9.1.6), равна
? (<) = Л 'z - 62 |Z'.(9.1.7)
Следовательно, характеристическая функция X для выборки объема п —
[,(4)]- = [Л"'-'-»"р = .к<).<9.1.8)
Другими словами, X имеет ту же самую характеристическую функцию, что и х. X это означает, что выборочное распределение X при произвольном п такое же, как и распределение х в совокупности. Читатель может заметить, что / (х) — симметрическая функция относительно х = 0и однако 0д не есть среднее значение распределения. В этом случае среднего значения не существует. Не существуют также и моменты более высоких порядков. Величина 6Х имеет смысл медианы и центра симметрии распределения, а 02 — межквартильного расстояния, т. е. расстояния между x0f25 и х0>75.
Предельное распределение выборочных сумм и средних значений
Одномерный случай. Если у распределения совокупности существует как среднее значение, так и дисперсия, то мы можем многое сказать о характере поведения распределения х при л->оо. Фундаментальной теоремой в этой области, является теорема Линдеберга (1922), которая может быть сформулирована следующим образом:
Если z и х — соответственно сумма и среднее значение выборки объема п из распределения с конечной дисперсией о1 и средним значением р,, то
ИшР =Иш Р Vnkx — У) <<j = _L— С е 2 “ du.
п-*со _ V U а _ п-*со _ а J V 2л J
(9.2.1)
Если (9.2.1) имеет место, то принято говорить, что z распределено асимптотически нормально N^n^, о^) для больших п (или х распределено асимптотически нормально ДЛр., — j для больших л).
Случайную величину (г — n\^[V по можно записать в виде V п^х— р.)/а. Будем пользоваться этой последней записью. Пусть ?л(0 — характеристическая функция (г—-п^У по. Мы имеем
?„ (t) = £ [еа v-nv-MV „ о] = g [exp (iZ 5 (*= — V^V»=)] = [? №
*(9.2.2)
где <p(f) — характеристическая функция (х— ^]Vпо. Из (5.1.10) получаем
?(0?(0<-у8<-у8(9.2.3)(9.2.3)
?(0
?(0
<-у8
<-у8
(9.2.3)
(9.2.3)
где n*oгде n*oО при n -> oo для любого t^ti. Если t = 0, то
где n*o
где n*o
о - =0.
V)
l"^^/2.l"^^/2.(9.2.4)(9.2.4)Следовательно, для любого t
l"^^/2.
l"^^/2.
(9.2.4)
(9.2.4)
limcp„(^)=1im 1 —
П-*СОп -ЮЭ '
Но, как мы знаем из 7.2.1, е"Г1Р — характеристическая функция нормального распределения ^(0, 1). Поэтому из 5.4.1 следует, что функция распределения (z — n^/Vпо при п ~> оо сходится к функции распределения ^(0, 1), что эквивалентно утверждению, сформулированному в 9.2.1. Теорема 9.2.1 доказана.
Важное следствие 9.2.1—теорелт Мравра—Лапласа.
. Если z— случайная величина, имеющая биномиальное распределение Bi (п, р), то z асимптотически распределена согласно N(np, npq).
Из частного случая теоремы 8.3.3а при т=\ следует, что если выборка объема п взята из биномиального распределения Bi(l, р^, то выборочная сумма z имеет биномиальное распределение Bi(n, р\ Применяя тогда 9.2.1, мы получаем 9.2.1а. Результат 9.2.1а был сформулирован Муавром (1718), однако был точно доказан только век спустя Лапласом (1814), Гаусс (1809 b) пришел к теореме 9.2.1 из эвристических соображений, связанных с теорией ошибок.
теоремы, которая утверждает, что при определен-.Vтеоремы, которая утверждает, что при определен-.V12 л12 л(Ь) Центральная предельная теорема. Теорема 9.2.1 представляет собой частный случай гораздо более общего результата — центральной предельной ных условиях
теоремы, которая утверждает, что при определен-
.V
теоремы, которая утверждает, что при определен-
.V
1
2 л
1
2 л
е 2 du, (9.2.5)е 2 du, (9.2.5)Г п „Г п „lim Р
е 2 du, (9.2.5)
е 2 du, (9.2.5)
Г п „
Г п „
п-*со
—ОО
где (хь хъ...) — последовательность независимых случайных величин со средними значениями (р.ь р,2,...) и дисперсиями (а^, о^,...) соответственно. Различные варианты условий, при которых имеет место утверждение теоремы, были получены Чебышевым (1890), Феллером (1935), Леви (1935), Линдебергом (1922),- Ляпуновым (1900, 1901), Марковым (1900) и другими. Исчерпывающее и глубокое изложение центральной предельной теоремы и связанных с ней проблем было дано Гнеденко и Колмогоровым (1954). Современный вариант центральной предельной теоремы в общем случае может быть сформулирован следующим образом.
Пусть (xv х^,...)— последовательность случайных величин, имеющих функции распределения (Ft (х), Р^ (х),...), средние значения (уь р2,...) и дисперсии (Ор aj,...). Пусть zn — xx-\-... ... -V хп, сл=р-14™... 4~ ^т тп=°2i 4-. • • + °п и тл2=°?2 -г • • • 4™ °«2’ где при произвольном е^>0
»Г = $ (x-y^dF^xX Е=1п. (9.2.6)
1Ч ” 6Тп
Необходимые и достаточные условия для того, чтобы
ИшИшп -*ооп -*оор ( ^п ^п\ ^пр ( ^п ^п\ ^п(9.2.7)(9.2.7)
Иш
Иш
п -*оо
п -*оо
р ( ^п ^п
\ ^п
р ( ^п ^п
\ ^п
(9.2.7)
(9.2.7)
состоят в выполнении соотношении
*2
(9.2.8)(9.2.8)Пт -^-= 1
(9.2.8)
(9.2.8)
Я-ЮО ^п
и Итт^ = оо для любого е^>0. я -► со
Доказательство теоремы 9.2.2 достаточно длинное и здесь будет опущено. Достаточность условия (9.2.8) была получена Линдебергом (1922), а необходимость его — Феллером (1935).
Читатель без больших затруднений сможет вывести, что если (хь х*...)— последовательность независимых случайных величин, имеющих все одно и то же распределение с дисперсией с9, то условия (9.2.8) будут выполнены.
(с) й-мерный случай. Аналог 9.2.1 в A-мерном случае может быть сформулирован следующим образом:
Допустим, что (х^,..., хц, $ = 1,..., п) — выборка объема п из h-мерного распределения, имеющего конечные средние значения |i., /=1,..., h, и положительно определенную ковариационную матрицу На^Ц, /,/=!,..., h. Пусть (zx,..., zk)— выборочные суммы и (хъ ..., хк) — выборочные средние значения, определенные в § 8.1. Тогда {zb..., zk) и (Хь..., 5с к^ в качестве своих асимптотических распределений имеют h-мерные распределения А^({^;}, || ла,v ||) и N Ы ^ соответственно, т.е.
\ п п /
llmpfc^<jlb 1=1, к\ =
Л-оо \ Уп/
= HmP((^i — (л,-) Vn < yit 1=1, ..., k^ = П—* ОО
= ^-Ц-1 f f exp ~ ^ G^u^Xdux ._duk. (9.2.9)
Метод доказательства 9.2.3 является естественным обобщением метода доказательства 9.2.1. Главная идея состоит в том, чтобы показать, что для характеристической функции ^п^ ..., tk) А-мерной случайной величины справедливо соотношение
к
Иш ^nitv, я -♦ ооИш ^nitv, я -♦ оо(9.2.10)(9.2.10)у = ехр(— у ^ °-'М)-
Иш ^nitv, я -♦ оо
Иш ^nitv, я -♦ оо
(9.2.10)
(9.2.10)
i, /=1
Это соотношение с помощью A-мерного аналога 5.4.1 приводит к (9.2.9). Детали доказательства (9.2.10) достаточно ясны, и мы оставляем их читателю.
Одним из наиболее важных приложений теоремы 9.2.3 является обобщение теоремы Муавра 9.2.1а на A-мерный случай:
. Если (хц,... ,хк^ 5=1,..., и) — выборка объема п из мультиномиального распределения Л4 (1; ръ..., рк\ то выборочные суммы C^!,..., ^) имеют при больших п в качестве асимптотических распределений ЬК\прУ П^СРх^у—Р/Ру) ||), где Ъц— символ Кронекера.
Доказательство этого утверждения как следствия теоремы 9.2.3 не представляет труда и сводится к проверке того, что для плотности функции распределения мультиномиального распределения 44(1; pv* ...,р^ (см. (6.3.3))
§ (.V'z) —рь С? (Xi, Xj) = Оц —Pi^ij — PiPp(9 2.11)
Асимптотическое распределение функций от выборочных средних значений
(а) Общий случай. Часто бывают важными сведения относительно асимптотическою распределения некоторых функций от выборочного среднего значения, назовем эти функции g(x). Полезным при рассмотрении этих проблем является следующий результат:
9.3.1. Допустим, что (х^..., х^ — выборка из распределения с конечным средним значением р и дисперсией а2. Пусть g(x) — функция, которая имеет в некоторой окрестности точки x = \l первую производную такую, что g (р)^ 0. Тогда ^(х) асимптотически распределена при больших п в соответствии с N^giy^y [°/ (9)РМ"
Докажем этот результат. Пусть У(р)— окрестность точки х — р, для которой g' (х) существует для всех значений х из V(p). Так как функция распределения совокупности, из которой взята выборка, имеет конечное среднее значение р и конечную дисперсию о2, то, как следует из 4.6.1, для любого е^>0 существует такое п6, что при п^п^
Р(х £ V(p) для всех п—е.(9.3.1)
Для любой точки х = х из V(p) мы можем написать
g(X) = gfa) + g' (A'*) • (x — [л),(9.3.2)
где х* — случайная величина такая, что | х* — р | ^ | х — р |. Соотношение (9.3.2) можно представить и в следующем виде:
(g(x) — g(p-)) У” = g' (**) (■* — н) У" •(9-3.3)
Пусть теперь случайная величина, стоящая слева в (9.3.3), обозначена через ип, а в правой части — через *ип. Вероятность того, что (9.3.3) имеет место, превышает 1—е для всех п^п^ Так как £ произвольно, то последовательности случайных величин (мь и^,...) и (у^ *и^...) образуют стохастический процесс такой, что (иъ и2,...) и (^i, v2,...) сходятся друг к другу по распределению, если один из них сходится по распределению. Так как о2 конечно, то, как мы знаем
из 9.2.1, последовательность случайных величин Vm(^ — Р*), л=1> 2,..., сходится по распределению к нормальному закону ^(0, а2). Поскольку ^О) существует во всех точках V(pO> то она непрерывна в V(p-) и, в частности, при х = р,. Из 4.3.7 следует тогда, что ^(х*) сходится по вероятности к ^(р-).
Поэтому
Нш Р Qon < w) = Р (/ (р,) 5 < w),(9.3.4)
л—* со
где s имеет распределение N(0, а2), что приводит к тому, что limP(«„O) = P0<a>),(9.3.5)
Л—>00
где t имеет в свою очередь распределение N(0, (^ О))2)- Но (9.3.5) эквивалентно утверждению, что асимптотическое распределение g(X) при больших п есть как раз N(g(yY [^ (P*)1VZO- Таким образом, теорема 9.3.1 доказана.
Обобщение 9.3.1 на ^-мерный случай может быть сформулировано следующим образом:
9.3.1а. Допустим, что (х^,..., х^, $=1,..., п)— выборка из k-мерного распределения с конечными средними значениями {р-;} и положительно определенной ковариационной матрицей Ю,-у||, /,/=!,..., к. Пусть g (xv..., х*) — функция, имеющая первые производные ^-^g^ 1=1,..., к, во всех точках некоторой окрестности точки (р.ь..., p-J и ^ = gi{^y.^, р^)- Тогда, если по крайней мере одна из величин gl не равна нулю, то g(xu..., xk) имеет для больших п асимптотическое распределение
k
(Ь) Квадратичные функции выборочных средних значений и сумм. Сначала заметим, что соотношение (9.2.9) означает, что имеется последовательность независимых ^-мерных случайных величин
filialп=1, 2,...,(9.3.6)
\ VnVn )
или, чго эквивалентно, последовательность /г-мерных независимых случайных величин
^i — ^YVn,..., (Хь — ^к)Уп\п=1, 2 (9.3.7)
которые сходятся по распределению к ^-мерному нормальному распределению Л7({0}, || сц ||). Удобно для дальнейшего обозначить к. ф. р. случайной величины (9.3.6) (или (9.3.7)) при фиксированном п через ТгДуь..., у^, а к. ф. р. Л7({0}> || o,v ||), вид которой определен (9.2.9), через ФО!,..., ук\
В 7.8.2 было показано, что если (хъ..., xk) имеет распределение ^({i^}, || «v ID’ то У °‘Ч^1 — Рч)1 ^Xj — р.,) имеет %2-распределение С(А). Рассмотрим квадратичную форму
=2 °и ^‘уи^ CV^O=п^ °и ~—(9-з-8)
Последовательность случайных величин Qm п—1, 2, ..., сходится по распределению к ^-распределению С (Л) при л^оо. Действительно, на основании 4.3.6 следует, что так как стохастический процесс (9.3.6) (или (9.3.7)) сходится по распределению к ^-мерному -нормальному закону N({0}, || о// ||), то последовательность Qn Q2, ... сходится по распределению к ^-распределению С(Л).
Таким образом, приходим к следующему результату:
9.3.2. Если (хц, ..., хк^ $ = 1, ..., и) — выборка из к-мерного распределения с конечными средними значениями ^b г=1, ..., к, и конечной положительно определенной ковариационной матрицей ||о//Ц, то Qn) определенные согласно (9.3.8), имеют при больших п в качестве асимптотического распределения ^-распределение С)О т. е.
Hm P^Qn^=—nг Ы е йи' (9*3*9) л-*оо2Г
Необходимо заметить, что Qn — функция от xv ..., х*, для которой нарушено условие теоремы 9.3.1а о том, что по крайней мере одна из ее первых производных, вычисленных в (р.ь ..., цД не равна нулю. Однако Qn при п->оо имеет предельное распределение С (к), которое обладает хорошими свойствами.
(с) Критерий согласия -^ Пирсона. Мы имеем важный частный случай 9.3.2, когда ^-мерная совокупность, из которой берется выборка, подчиняется мультиномиальному распределению 714(1; рь ...,р^. Средние значения и ковариационная матрица при этом даются выражениями (9.2.11). Тогда, как можно показать,
II »и II = WPi^U —PiPj 1Г1 = l| ^ + ^7- II.(9.3.10)
Подставляя || ^и]рг + х)Рм II вместо <зи и рг вместо ^ в (9.3.8), находим, что Qn могут быть записаны следующим образом:
Z?H-1*пk
Qn= ^ ^‘1^"’ rue zk+i=^xk+u=n—^Zi. (9.3.11)
i = l ‘5 = 1i=l
Вспоминая на основании 8.3.3b, что если выборка объема п взята из мультиномиального распределения 714(1; pv ..., р^, то выборочные суммы имеют распределение M(ji\ рь ... ,pk\ получаем следствие из 9.3.2:
9.3.2а. Если (zv ..., zk)— k-мерная случайная величина, имеющая мультиномиальное распределение 714 (и; рь ..., рь\ то
*+1
(9.3.12)(9.3.12)) = У ^ ~ ПР^пnpi
(9.3.12)
(9.3.12)
i — 1
асимптотически при п—>со имеет ^-распределение C(k).
Заметим, что (9.3.12) есть сумма квадратов разностей между выборочными «частотами» zt и их средними значениями, взвешенных с помощью этих средних значений. Эта величина как раз и используется в хорошо известном /^-критерии согласия, впервые введенном К. Пирсоном (1900). Можно смотреть на эту величину как на показатель «коллективного отклонения» гг от соответствующих средних значений. Вероятность Qn для достаточно большой выборки можно вычислить из ее асимптотического распределения, т. е. из ^-распределения. Дальнейшее рассмотрение этой проблемы приводит нас к теории испытания статистических гипотез, которая рассматривается в главе 13.
Асимптотическое разложение распределения выборочной суммы
Теорема 9.2.1 устанавливает предельную форму распределения (г — пр^(У по ПРИ п~>оо. Одна из проблем, возникающих при этом, состоит в определении для достаточно больших п лучшей аппроксимации распределения (z — пр»)} У па, чем ПРИ замене его распределением ^(0, 1). Мы будем сейчас исследовать эту проблему.
Допустим, что центральные моменты р,1? ..., р,г, г>2, совокупности, имеющей к. ф. р. F(x), существуют и конечны. Тогда, если Ч>(0 есть характеристическая функция (х— р,)/ Уп о, то для нее имеем
?(0=1-?(0=1-2п 1 2жМ2п 1 2жМИ 1 \г\AXVnjpИ 1 \г\AXVnjp(9.4.1)(9.4.1)
?(0=1-
?(0=1-
2п 1 2жМ
2п 1 2жМ
И 1 \г\AXVnjp
И 1 \г\AXVnjp
(9.4.1)
(9.4.1)
2 -
(9.4.2)(9.4.2)где «у = ^а*, an2 -о ${ VпУ) стремится к нулю при п->оо Для любого t ф 0. Но характеристическая функция (z — n^f Vno> обозначим ее через <р„(0> дается тогда выражением
(9.4.2)
(9.4.2)
?„(0=[?(0Г.
Беря логарифм, находим
где k*j— семиинварианты'распределения величии (а; — р.)/а в популяции. Поэтому
^=е"^‘ exp[«^r^'+«-4(^(9.4.4)
что можно записать в виде
^п\^ = е+ ^^у^у +л-о у j ],(9.4.5)
где Uj(if) — полиномы степени 3/ от (if). Коэффициенты полиномов суть функции k*j, по они не зависят от и. Наименьшая степень if в uj(it) равна / + 2-
Положим
Fn^ = pfcM^x\(9.4.6)
\ У П а /
и выберем в (5.1.14) У = (x-|-jy)/2, 8 = (х—_у) /2. Тогда, если х
и _у — точки непрерывности Fn (а;), то
Fn^-Fn^ =Fn^-Fn^ =-1-со-1-со» ^АЛ)» ^АЛ)
Fn^-Fn^ =
Fn^-Fn^ =
-1-со
-1-со
» ^АЛ)
» ^АЛ)
Подставляя выражение для ^^(f) из (9.4.5) и сделав ряд упрощений, получаем
4"00
гп W Fn О') — я У' 2 (— i<)’
-ОО
Нетрудно показать, что
—j—ОО
\Lx^-i/yx 1-/2
-^r^1Le 2 dt= ФЮ-ФОА (9-4-9)
—со
где Ф(-к) — функция распределения N(9, 1). Все остальные члены в (9.4.7) имеют следующую форму, с точностью до постоянного множителя:
00-1
1 Г»;— /2
— V ( — иУ(е~1<х — <?~^) е 2 сЩ
— со
иго даег
-J-CO-{-00
I* i/x - - /- 111 dl С _ i/y/2
(9.4.10)
где(
Ф J+i) ( -) =(х) = 44-7^ е"4X1)(9.4.11)
Т^кл.я ибразом, для (9.4.7) находим
г — 2
(9.4.12)(9.4.12)Fn W - F« О') = Ф (.к) - Ф О') + 2 -^Й^
(9.4.12)
(9.4.12)
7 = 1
где и)(х) и и* (у)— функции, которые получаются заменой (i^ в и^^ на Фр+1(х) и Ф^Су) соответственно.
Если мы в (9.4.12) положим _у->— сю, то получим следующее асимптотическое разложение Fn(x):
г —2.г —2.(9.4.13)(9.4.13)
г —2.
г —2.
(9.4.13)
(9.4.13)
Если Fn (х) имеет плотность функции распределения /л (х), то, беря производную от (9.4.13) по х, находим, что
г-2 лм-=ф,1,(^)+2 мг-2 лм-=ф,1,(^)+2 мУп) "ГУп) "Г/ 1 \ \Упг"2/ 1 \ \Упг"2(9.4.14)(9.4.14)
г-2 лм-=ф,1,(^)+2 м
г-2 лм-=ф,1,(^)+2 м
Уп) "Г
Уп) "Г
/ 1 \ \Упг"2
/ 1 \ \Упг"2
(9.4.14)
(9.4.14)
где и*’(х) — первая производная и^х).
На самом деле, даже если Fn(x) не имеет плотности (т. е. Fn(x) может быть дискретной функцией распределения), (9.4.14) все равно будет хорошей аппроксимацией. В этом случае правая часть (9.4.14) Дает представление такой плотности функции распределения, которая, если ее проинтегрировать о г — оо до х, хороню аппроксимирует Fn (х).
Мы не будем выписывать наиболее общего вида функции и*(х). Однако интересно выписать выражение для правых частей (9.4.13) и (9.4.14) с точностью до членов порядка л~2. Оказывается, что
Fn (X) = Ф(х)-^ ^ Ф'8’ (х) +1 [1 («4 - 3) Ф- (X) +
+ ^ а»Ф“» (х)1 - Л [1 (as - 1 Оаз) Ф'8' (х) + § а3 (а4 - 3) Ф'” (х) +
J П2 L
+ ^а8Ф-«-(х)] + О(^)(9.4.15)
И
fn (X) = Ф-- (X) - -^ (5) Ф'81 (х) +1 [1 (а4 - 3) Ф*8’ (X) +
+ ^ «зфт w] - ^ [| («5 - 1 О^з) Ф" (X) + ^ «3 («4 - 3) Ф!8’ (X) +
+ ^а:Ф'‘”(х)] + о(^).(9.4.16)
Мы можем суммировать эти результаты, которые были впервые получены Эджвортом (1905), следующим образом:
. Если (хь... ,х^— выборка из распределения, имеющего конечные моменты р^ ,..., р-г (г > 2), то функция распределения Fn (х) величины (г — n^jV па может быть разложена согласно (9.4.13). С’точностью до членов порядка п-3^ Fn(x) дается выражением*) (9.4.15).
Величины а3( = р,3/а) и а4—3( = р,4/о4— 3), обычно обозначаемые через 71 и у2, часто называются асимметрией и эксцессом распределения, имеющего среднее значение р., дисперсию а9 и третий и четвертый центральные моменты р3 и р,4. Эти две постоянные играют большую роль для характеристики точности, с которой функция распределения Fn(x) может быть аппроксимирована функцией распределения Ф(х) нормального распределения ^(0, 1). Из рассмотрения формулы (9.4.15) можно заметить, что в общем случае Fn(x) аппроксимируется Ф(х) с точностью до членов порядка
Однако сформулированное ниже следствие 9.4.1 дает условия, при которых аппроксимация справедлива с точностью до членов более высокого порядка.
а. Если асимметрия распределения, из которого взята выборка (xv...,xn), равна нулю, то Fn(x) аппроксимируется с помощью |Ф(х)| до членов порядка —.Если равны нулю и асимметрия и
*) На самом деле теорема 9.4.1 (и ее следствие 9.4.1а) имеет место при условии, что Иш sup |/(0 I < 1>где f (t)—характеристическая функция. Это
эксцесс, то Fn(x) аппроксимируется с помощью Ф(х) с точностью до членов порядка L_ .
У п8
Необходимо подчеркнуть, что пионером в исследовании порядка точности приближения распределения х в случае больших выборок
нормальным распределением был Ляпунов (1901). Крамер (1937) показал, что остаточный член в (9.4.13) и (9.4.14) того же порядка, что и первый отброшенный член. Эссеен (1944) провел новые исследования точности подобных асимптотических разложений. ,1
Асимптотические разложения по степеням -7=- для отличных от
V п
выборочного среднего значения статистик были исследованы Крамером (1937), Сюй (1945а, 1945b), Чжуном (1946) и другими. Обстоя
тельная статья относительно асимптотической аппроксимации распределений с довольно обширной библиографией была опубликована Уоллесом (1958).
Предельные распределения линейных функций в случае больших выборок из больших конечных совокупностей
Выше мы исследовали предельные распределения сумм и средних значений выборок из бесконечных популяций. Теперь рассмотрим предельные распределения линейных функций от элементов выборок из конечных совокупностей, когда объем выборки и объем совокупности бесконечно растут. Общая теорема, имеющая основное значение при исследовании этой проблемы, была получена Вальдом и Вольфовитцем (1944) и может быть сформулирована следующим образом:
т №т №. Пусть (a№...,aNN) и (х№..., xNN\ N— 1, 2,...,—-два набора последовательностей вещественных чисел таких, что для г = 3, 4,... и больших N
т №
т №
(9.5.1)
и
mrN toVM<‘8mrN toVM<‘80(1),0(1),(9.5.2)(9.5.2)
mrN toVM<‘8
mrN toVM<‘8
0(1),
0(1),
(9.5.2)
(9.5.2)
где
и аналогичным образом определены mrN(x) и xN. Пусть для любого значения N (хъ..., xN)— векторная случайная величина,
выборочное пространство которой есть множество всех N! перестановок в (^f,... ,xNN\ и
N
^л ~ 5j аМ xi*(9.5.4)
Тогда
^L^Na^x(9.5.5)
и
°2 (L^ = N=T mi. N (й) ”4 N W(9-5-6)
Более того,
lim p[b^lbL^z\ = -^- f е~^“2 du. (9.5.7)
Доказательство 9.5.1 довольно прямолинейное, но громоздкое. Процедура доказательства начинается с введения множества величин
ащ —, Xni = —=====.
V»Ч, N^У *4 N ^
Тогда множества последовательностей ^амр ..., а’кк) и (^агр ..., x^n\ N=lt 2, ..., удовлетворяют условиям, аналогичным (9.5.1) и (9.5.2). Если ^съ ..., х'^— такая же перестановка в (x'nu •••> ^nn\ что и
АГ
(хъ ..., х^ в (х^, ..., xNN\ то, положив Ln=5j aNtXb получа
ем g(Z,;v) = O и
^N ^дг § (^дг)
Опуская детальные вычисления моментов, которые были проделаны Вальдом и Вольфовитцем (1944), находим, что для любого положительного целого числа h
^^=^^А-оШS = 2k,
=^о^\ .$ = 2А+1(9.5.9)
и, следовательно,
lim gN -► ооlim gN -► ооs = 2k, (9.5.10)s = 2A+ 1.s = 2k, (9.5.10)s = 2A+ 1.’ L" V _ 1im p^-g^V —(2А)! ^o; ~ ^ ®oobv «(l^ ; -w.'
lim g
N -► оо
lim g
N -► оо
s = 2k, (9.5.10)
s = 2A+ 1.
s = 2k, (9.5.10)
s = 2A+ 1.
Тогда при N-*oo s-й момент [^ — ^(Т,у)1/а(^л-) сходится к з-му моменту случайной величины с распределением ^(0, 1). Поэтому, как следует из 5.5.3, предельное распределение [£v — ®(АЛ,)]/а(АЛ) при N—> со ecib Л/(0, 1).
Если в определении величины LN согласно (9.5.4) мы выберем 1=1, п, и aNi = 0, 1 = п-\-1, ..., N, то Ln будет иметь смысл среднего значения выборки объема п из конечной совокупности чьи N элементов имеют х-значения х№ ., xNN. Более того, g(£v) = !\v> где Vn=-^ 2 Хт И °2^= (^~^)0?/’ где .1=Л
^ и о^ в свою очередь — среднее значение и дисперсия тслг, определенные в § 8.5. В этом случае (9.5.1) сводится к условию о том, чтобы при и, N->oo предел
i(9.5.11)
НМ'"1
был конечен для г ^ 3. Можно показать, что это имеет место, если
Пт — = С, где -{-1 <^С<-рос. Таким образом, получаем след- N, п -* оо п ствие 9.5.1.
а. Допустим, что {ir^, N= 1,2,...} — последовательность конечных совокупностей таких, что nN имеют средние значения ^N и дисперсии ах, и пусть хп— среднее значение случайной выборки объема п из icN- Тогда, если (х№ ..., xNN, N=l, 2, ...) удовлетворяет при больших N условию (9.5.2) и если N, п-^оо, так что lim ^- = С, где + 1<С<-]-оо, то
Асимптотические распределения, связанные с порядковыми статистиками
Предельные распределения для сумм долей. В 8,7.2 было показано, что если (х(1),..., х^)— вариационный ряд выборки с непрерывной к. ф. р. F^x), то случайная величина у^ = F (х^) имеет к. ф. р. „
Dn^^ ~ г (^) Г \п — к + 1) ^ Х 1 t1 Х^ к ^Х* (9-6.1)
Необходимо помнить, что, .как следует из 8.7.6, (9.6.1) определяет функцию распределения суммы некоторых к из /z-f-l долей F(x(1p, F\x^ — F(x(1)), ..., 1—F^x^. Величина F(x{s+k))~ F(x{s}) есть как раз такая сумма, когда 0<^з<^п— к. Рассмотрим теперь слу-
чайную величину wk = ny^y Если мы обозначим через Яп(^й)к. ф. р. wk, то будем иметь
Нп ^ = Dn ^ = ^ h„ О) dy,(9.6.2)
гдегде6
где
где
, , чГ(л+1)
h,t ^ “ п*Г (А) Г (л — к 4- 1)
Очевидно, что при п->оо последовательность /^(y), п = к,
равномерно в интервалеравномерно в интервале/г+1, .стремится к функциирт^У"1^ у (0, wk) и, следовательно,
равномерно в интервале
равномерно в интервале
wk
(9.6.3)(9.6.3)Нш Нп^=^- ^ /^e^dy.п-*оох W Л
(9.6.3)
(9.6.3)
Таким образом, получаем следующий результат.
Если (х(1), ..., х(п)) — вариационный ряд выборки из совокупности с непрерывной к. ф. р. Р(х), то при фиксированном k nF^x^Y п = к, А+1, ..., есть последовательность случайных величин, сходящаяся по распределению к гамма-распределению G(k\
Необходимо заметить, что 9.6.1 имеет место и в том случае, если Г (а?(Д)) заменить на сумму некоторых к долей F(x^,Р(х^—F(x^,..., 1 — Р^юУ Например, 1 — F (x„_ft+1) или F (x^k>) — F (xw\ Утверждение остается также справедливым, если заменить Р(х^) некоторыми к долями, определенными для выборки объема п из совокупности, которая имеет непрерывную многомерную к. ф. р. (см. § 8.7 (с)).
Теорема 9.6.1 может быть обобщена на случай двух и более сумм от фиксированного числа долей. В случае двух таких сумм аналогичный результат может быть сформулирован следующим образом.
Допустим, что (х(1),..., х(й))— порядковые статистики выборки из непрерывной к. ф.р. Р(х\ Тогда, если кх и к^— фиксированные целые числа, то последовательность пар случайных величин (пр(х[к^, nF<Хдкк_'Гк^\ п — т, т-\-\, ..., где т^кх-\-к^, сходится по распределению к распределению, плотность которого
f (wlt wg) = г ^^ ^у ^‘ ""Ч^» — w,)** -1 е- ^
в области 0 < ^ < w2 < со и /(wb w2) = 0 вне этой области плоскости (^b w2).
Доказательство этого утверждения аналогично доказательству 9.6.1, и мы оставляем его читателю. Необходимо особо отметить, что 9.6.2 имеет место, если F^x^^ заменить на сумму некоторых кх долей и Р^х^^к^ — суммой некоторых кхЦ-к^ долей, которые включают в себя первые кх долей.
Рассмотрим теперь предельное распределение у^ при д^оо не для фиксированного к, а для увеличивающейся последовательности к/ 1 \*
величин к и п такой, что — =рп=р^О\—у Рассмотрим последовательность случайных величин ^л = ^^пРп) — Р) V и, п = т, т-^- 1э...; т^прп, vns y{nPn} = F(x(nPn^. Обозначая к. ф. р. vn через НЦ-и)
имеемимеемhh^=dJp+^Y\ V п/hh^=dJp+^Y\ V п/(9.6.4)(9.6.4)
имеем
имеем
hh^=dJp+^Y
\ V п/
hh^=dJp+^Y
\ V п/
(9.6.4)
(9.6.4)
(9.6.5)(9.6.5)(9.6.6)(9.6.6)где Dn (У(прп)) определено согласно (9.6.1). В свою очередьDn (р + ^iVп) может быть представлено в виде
(9.6.5)
(9.6.5)
(9.6.6)
(9.6.6)
—pV п
где
"^ Уhг (А) г (я—6 + 1) v "*"/«) V р уи)
= _^+1Н£±£О2_ г„р„ л _pVX
/пТ (рпп) Г (.(l-pn) п + 1) L^ V М Jх[(-+;йП'-^^ГТ
Так как р„—р -]- О ^) то справедливо соотношение
\ —рУп) \(1— р) У п J \2яр(1—/)) * rv ’ 'Г
(9.6.
где <p (z, п) таково, что lim n^(z, n) — Q для любого значения z.
П^*СО
Используя формулу Стирлинга (7.6.27), для Г(^) при больших g находим, что
—,Г(я-Н)г р _ ^-рп-^п =
УпТ(рпп)Т((1-рп) п + D '^
В итоге получаем последовательность
(9.6.9) которая равномерно сходится при /z^-оо к функции
h* (z) = —1 -г2/2р °(9.6.10)
К 2^ (1 -р)V 7
И П > п^И П > п^(9.6.12)(9.6.12)(9.6.13)(9.6.13)lim Рп—> ООlim Рп—> ООУ^^кПр^ P1VпУ^^кПр^ P1VпVpkX~P^VpkX~P^\1W =-—//2я\1W =-—//2яW 1(•L й2\ г 2 du.W 1(•L й2\ г 2 du.(9.6.14)(9.6.14)— ОО— ОО
И П > п^
И П > п^
(9.6.12)
(9.6.12)
(9.6.13)
(9.6.13)
lim Р
п—> ОО
lim Р
п—> ОО
У^^кПр^ P1Vп
У^^кПр^ P1Vп
VpkX~P^
VpkX~P^
\1
W =-—
//2я
\1
W =-—
//2я
W 1
(•L й2
\ г 2 du.
W 1
(•L й2
\ г 2 du.
(9.6.14)
(9.6.14)
— ОО
— ОО
в любом интервале (—К, v). Для любого s^>0 мы можем выбрать К так, что
- к
J h*(z)dz<^-.(9.6.11)
— ОО
Более того, существует п^^К^р1 такое, что для любого ^
-к-к
Поэтому ДЛЯ П^П^
| $ h*(z)dz —$ Кп (г) dz | < е
“°0—pV~n
и, следовательно,
Подводя итоги, получаем следующий результат:
Если (л:(1), ..., х^— порядковые статистики выборки из непрерывной к. ф.р. F(х) и прп — целое число такое, что рп=р -р 4- О ^), где 0<р<\, то для больших п случайная величина F^) асимптотически распределена согласно N ^р, ^~р^) •
Можно заметить, что 9.6.3 остается справедливым, если заменить F^x^p^ иа сумму некоторых прп долей в случае одного или более измерений.
Утверждение 9.6.3 может без особых трудностей быть обобщено на случай нескольких сумм долей. Достаточно сформулировать результат для случая двух сумм, а его доказательство мы оставляем читателю.
Если {х^, ..., х^) — вариационный ряд выборки из совокупности с непрерывной к. ф. р. F (х) и если прХп и прм — целые числа такие, что рХп=рх-\- О ^^> P^—P^-VO ("п )’ г^в О<^Р1<^р<1<^Х) то для больших п двумерная случайная величина F(x<np^), F(x(nmn0 имеет N^ptY, Ц^Ц) в качестве своего асимптотического распределения, где ап-—^(1—р^, aJ2 = 52i = =/’1(1 —№) и 0»=?»^ — Pi)-
(b) Предельные распределения порядковых статистик. Предельные распределения, полученные в 9.6.1, 9.6.2, 9.6.3 и 9.6.4, имеют непосредственное отношение к свойствам распределений сумм долей и только косвенно характеризуют свойства распределений самих по-
рядковых статистик в случае больших выборок. Поскольку распределение совокупности F(x) по предположению непрерывно, можно получить некоторые утверждения относительно предельных распределений самих порядковых статистик. Например, пусть в теореме 9.6.1 F^OO— функция, обратная к F(x). Естественно рассмотреть последовательность значений п, для которых F 1 1 — 1 имеет единственную обратную. Так как F(x) непрерывна и определена для всех значений х, то, очевидно, существует бесконечная последовательность таких значений п, назовем их п^ п^ ... Тогда, как следует из 9.6.1, для любого фиксированного к и
lim Р h6) < Г1 М) = ^ ^ -УМ ^^(9-6Л5)
и, следовательно, при больших п
nF(v)
p^xw^^^ ^(9.6.16)
Для х^^-ц при фиксированном к* могут быть получены формулы, аналогичные (9.6.15) и (9.6.16). Асимптотические результаты этого типа, особенно для А=1 (наименьшая порядковая статистика) и для К=\ (наибольшая порядковая статистика), были детально рассмотрены Доддом (1923), Фишером и Типпетом (1928), Фреше (1927), Гамбелем (1935, 1958) и Смирновым (1935).
На основании 9.6.3 мы можем написать
lim PtxZ —♦ СО \lim PtxZ —♦ СО \wVp(l—p) \wVp(l—p) \ntnt
lim Ptx
Z —♦ СО \
lim Ptx
Z —♦ СО \
wVp(l—p) \
wVp(l—p) \
nt
nt
и для больших пи для больших п(9.6.17)
и для больших п
и для больших п
(9.6.18)
где
Ур^-р)
Формулы (9.6.16) и (9.6.18) без особых трудностей могут быть обобщены на случай двух и более порядковых статистик. В двумерном случае результаты непосредственно следуют из 9.6.2 pi 9.6.4.
Из (9.6.14) с очевидностью вытекает, что при п-^оо F^x^np ^ сходится по вероятности к постоянной р. Допустим теперь, что уравнение F{x)—p имеет единственное решение, т. е. существует един-
ственная квантиль хр. Тогда, так как функция F(x) непрерывна, то х^прп^ СХ°ДИТСЯ по вероятности к хр. Таким образом получаем следующий результат.
Если к предположениям, сформулированным в 9.6.3, добавить предположение о том, что существует единственная квантиль хр, то при п-^ оо х^р^ сходится по вероятности к хр.
Аналогичный факт имеет место в случае двух порядковых статистик х^р^ и х^п^ и вообще для любого числа аналогичных порядковых статистик.
Допустим теперь, что в некоторой окрестности V(xp) точки х = хр функция F(x) имеет производную /(х), причем /(^р)^>0. Тогда существует единственная p-я квантиль хр и, следовательно, на основании 9.6.5 х^пр^ сходится по вероятности к ху Если х^пр^ — некоторая точка в V^x^, то мы можем написать
f C^W =/> + / ^*) ^^п> - ^'(9-619)
где х* — случайная величина такая, что | х* — хр | < | х^прп^ — хр |. Но так как х^р^ сходится по вероятности к квантиле хр при л->оо, то для произвольного е^>0 мы можем выбрать такое пй, что
Р (F (х(пРп)) =р+/(**) (х<пр^ — х^ для всех и > и,) > 1 — е.
(9.6.20)
Отсюда следует, что последовательности
U4xmp> — Р^У"п
-"—,п = т, m-V\, ...; т^прт (9.6.21) V Р (1 — Р)
и
/ (.X*) (Хщр }Хр) V п
, п = т, т-И, ...; m^snpn, (9.6.22) р)
образуют стохастический процесс такой, что они обе сходятся по распределению к нормальному закону М^> 0-
Тот факт, что F (х) имеет производную f(x) в V(xp\ означает, что f(x) непрерывна в V(xp) и, следовательно, при х = хр. Поэтому на основании 4.3.5 /(х^р^) сходится по вероятности к постоянной f^p^ и на основании 4.3.7 f^x*^ также сходится по вероятности к Дхр) при п-^оо. Наконец, на основании 4.3.3 можно видеть, что последовательность случайных величин (9.6.22) и последовательность
/(хр)(х(ПРп1-х^ОТ3^„, (9.6.22а)
V р^х —р)
составляют стохастический процесс такой, что эти две последовательности сходятся вместе по распределению к N(0, 1).
Подводя итог, получаем следующий результат.
Р(1 — р) \ п/2(хр) ГР(1 — р) \ п/2(хр) ГЕсли дополнительно к предположениям, сформулированным в 9.6.3, мы добавим предположение о том, что F(x) имеет производную f(x) в некоторой окрестности V^x^ точки х = хр такую, что J(xp)^>0, тогда для больших п х^прт^ асимптоти
Р(1 — р) \ п/2(хр) Г
Р(1 — р) \ п/2(хр) Г
чески распределено согласно N{xp,
Пример. Интересный частный случай 9.6.6 имеет место при р = ^-е В этом случае xvn$>n^ является выборочной медианой, и мы видим, что ее асимптотическое распределение есть ы(хм,Если распределе-
\(Хо> б)/
ние популяции есть N (у, а2), то выборочная медиана при больших п в ка- / тса2\
честве асимптотического распределения имеет N (р, ту— .
Утверждение, аналогичное 9.6.6, имеет место, конечно, и для совместного распределения двух и более порядковых статистик. Так, в случае двух порядковых статистик х^пр л) и х^пр ^ мы можем сказать, что
Если дополнительно к предположениям теоремы 9.6.4 мы добавим предположение о том, что F(x) имеет производную f(x) в окрестности каждой из точек х = хР1 и х = хра, О ^Pi ^Ръ < Ь причем f^xp^ > 0 zz /Схр2) 2> 0, тогда при больших п случайная величина (х^пр пу х^пр^ асимптотически распределена
согласносогласнооцоцА О—А)А О—А)^ ) / /=1, 2, где* Pl о Ра)12 — f<Xp)f^Xp^ ’^ ) / /=1, 2, где* Pl о Ра)12 — f<Xp)f^Xp^ ’* Ра (1 Ра)22 — f4xp^ •* Ра (1 Ра)22 — f4xp^ •
согласно
согласно
оц
оц
А О—А)
А О—А)
^ ) / /=1, 2, где
* Pl о Ра)
12 — f<Xp)f^Xp^ ’
^ ) / /=1, 2, где
* Pl о Ра)
12 — f<Xp)f^Xp^ ’
* Ра (1 Ра)
22 — f4xp^ •
* Ра (1 Ра)
22 — f4xp^ •
Теоремы 9.6.6 и 9.6.7 были установлены Смирновым (1935), хотя формулы для дисперсий и ковариации х^пр^ и х^пр^ были впервые получены К. Пирсоном (1920). Мостеллер (1946) обобщил теорему 9.6.7 на случай любого числа порядковых статистик.
ЗАДАЧИ
Сформулировать и доказать ^-мерный аналог 9.1.1.
Пусть (х^, ..., х^; 5=1, ..., п) — выборка из ^-мерного распределения, имеющего конечные средние значения (рч, ... , пл) и конечную ковариационную матрицу П^уН, и пусть (Яп ... , Я*)— вектор средних значений выборки. Показать, что для произвольного 6z>0, i=l, ..., k,
P^Xi-^^t, t = l, й)^1-1^ + ... + ^
и? следовательно, что (Xv ..., ^) сходятся по вероятности к (уп ..., ^).
(Продолжение.) Показать, что для произвольного 62 > О
р (2 °'7 № ~ (Xj ~ < 82) 51" ^ -
7 = 1
где || аг71| == || о-уЦ-^ и, следовательно, что (Xlt ..., Х^) сходится по вероятности к (^, ..., ^).
Доказать 9.2.3.
Пусть (хп ..., х^ — выборка из распределения Пуассона Ро (р). Показать, что для больших п 2]/х имеет асимптотическое распределение N ^2)^11, -^. Показать, что этот же результат имеет место, если (хп ... ..., х^—выборка из гамма-распределения G (р).
Пусть (хп ..., хп)—выборка из биномиального распределения Bi (1, р). Показать; что для больших п асимптотическое распределение для sin-1 (2^— 1) есть
Arsin'1 (2^-1), 1).
Пусть (хь ..., хп)—выборка из распределения времени ожидания, имеющего функцию вероятности
qpx"\ х = 1, 2, ...,
где 0<р<1,/? + ^=1. Показать, что для больших п асимптотическое рас-
Пусть xv ..., хп — выборка из равномерного распределения 2? ("5" ^ ^) * доказать, что для больших п асимптотическое распределение для V12 log (22) есть
Пусть (хп ..., хп) — выборка из распределения, имеющего конечное среднее значение р и конечную дисперсию о2. Показать, что выборочная дисперсия s2 сходится по вероятности к а2 и что для больших п асимптотическое распределение V^i (X — p)/s есть N (0, 1). -
Пусть пь Хь s2—объем, среднее значение и дисперсия выборки из распределения, имеющего среднее значение pt и дисперсию aj, а п2» ^»» s| — объем, среднее значение и дисперсия независимой выборки из распределения, имеющего среднее значение р2 и дисперсию а|. Показать, что предельное при пи п2—* со распределение величины
(■^1 ^s) (Pl " Р-г)
V nv ' tU
есть N (0, 1). ~ .
Пусть х — медиана выборки объема п из распределения, имеющего непрерывную к. ф. р. F (х). Показать, что для больших п асимптотическое распределение Е(х) есть ^^, 4—).
Пусть (л(1), ..., х^— порядковые статистики из выборки с распределением, имеющим непрерывную к. ф. р. F(x). Показать, что при л —* оо распределение
n(l— j dF (х)')
есть гамма-распределение G (2).
Пусть (хь ..., х2л+1)—выборка из распределения, имеющего плотность функции распределения \e-Xxt х > О, X > 0. Показать, что при больших п медиана х выборки в качестве асимптотического распределения имеет
^(log2/X, 1/(2Х2И)).
гдегдеПусть х ил* — среднее значение и медиана выборки объема п из совокупности, имеющей распределение N(р, а2). Показать, чю для больших п асимптотическое распределение (х, х) есть
где
где
G2 О2l^/l^ ""
Я IIа2 тса2
п 2п
(Преобразование Фишера (1925a) коэффициента корреляции.) Известно, что распределение выборочного коэффициента корреляции г в выборках из двумерного нормального распределения, коэффициент корреляции которого р, при больших п переходит в асимптотическое распределение, равное *Л^(р, (1 — pa)ajn). Показать, что асимптотическое распределение
I у ■■■ I при больших п есть
1 , Л+р\ 1 \jV hr log.
\ 2 ь \1 — V! и /
Доказать 9.6.2.
Доказать 9.6.4.
ГЛАВА 10
ЛИНЕЙНОЕ СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
Вводные замечания
В главах 8 и 9 мы изложили ряд результатов теории выборочного метода, т. е. вероятностной теории некоторых функций от элементов выборки из совокупности F(x). В задачах прикладной статистики функция F ^ обычно неизвестна и-главная цель выборочного метода состоит в получении информации, на основании которой можно высказать некоторые утверждения или сделать выводы относительно F^ или некоторых ее свойств. Эти выводы делаются в терминах некоторых функций от элементов (компонент) выборки и формулируются в виде вероятностных утверждений. Условия, налагаемые на F (х) до получения каких-либо выборочных данных, могут быть совершенно различными, начиная от самых общих предположений о том, что F^ удовлетворяет лишь основным ограничениям, которые согласно 2.2.1 налагаются на к. ф. р., до предположений, которые полностью определяют всю F ^ для всех х в Rv Вообще говоря, условия, налагаемые на F(x) в реальных ситуациях, лежат между этими крайними предположениями. Например, можно предположить, •что F(x) имеет конечные, но неизвестные среднее значение р. и дисперсию а2, причем задача состоит в нахождении оценок для р. и с2 как функций от элементов случайной выборки из F(x). Так, в § 8.2 было показано, что выборочное среднее значение х и выборочная дисперсия $2 выборки из бесконечной совокупности являются несмещенными оценками для р, и а2, т. е. g (х) = р. и g (s2) = о2. В более общем случае задача состоит в том, чтобы, используя информацию, содержащуюся в выборке, выяснить, какими свойствами обладает функция F(x), помимо тех, которые оговорены в предположении.
Во многих задачах прикладной статистики обычно достаточно найти на основании выборок несмещенные оценки параметров распределений совокупностей таких, как средние значения, дисперсии и коэффициенты регрессии. Класс относительно простых оценок таких параметров, известных как линейные оценки, представляют собой линейные функции элементов выборки. Для его построения не требуется более сильных предположений, чем конечность моментов первого и второго порядков компонент выборки. Существуют, конечно, и другие классы оценок, которые будут рассмотрены в главах П и 12. Оценка параметра совокупности 6, вообще говоря, есть на-
блюдаемая случайная величина, определяемая по выборке, т. е. заданная функция элементов выборки, которая используется вместо неизвестного истинного значения параметра, подлежащего оцениванию. При конструировании оценки на основании выборки для параметра 6 важно выбрать ее такой, чтобы ее распределение было сконцентрировано, как это только возможно, около истинного значения 60> характеризующего распределение совокупности, из которой взята выборка. Как мы в дальнейшем увидим, очень естественной мерой концентрации оценок в случае линейных оценок является дисперсия оценки. В настоящей главе мы уделим основное внимание теории линейных оценок, методам построения этих оценок и применениям их для некоторых важных статистических задач. Аналогичное обсуждение для других классов оценок будет изложено в главах 11 и 12.
Как уже было отмечено в §§ 8.2 и 8.5, выборочное среднее значение, которое, конечно, есть линейная функция от элементов выборки, является несмещенной оценкой для среднего значения совокупности как в случае конечной, так и бесконечной совокупностей. Однако выборочное среднее значение есть только одна из возможных линейных оценок для среднего значения совокупности, которые мы можем построить. Например, если (хь ..., х^ — выборка из совокупности (конечной или бесконечной) со средним значением р., то аххх + • • • + апхт очевидно, является несмещенной оценкой для р., если ах, ..., ап— заданные постоянные, такие, что at-p.. .-\-ап = 1. Оценки такого типа называются несмещенными линейными оценками. Если среди всех известных линейных несмещенных оценок для р, выбрана какая-то определенная оценка, то необходимо указать критерий, на основании которого этот выбор был сделан. Один из широко применяемых критериев состоит в выборе той оценки, которая обладает наименьшей возможной дисперсией. Такая оценка называется линейной оценкой с минимальной дисперсией.
Аналогично, если ^xv ..., х^— выборка из конечной или бесконечной совокупности, которая имеет среднее значение р. и дисперсию о2, то любая квадратичная форма ^ ^ (-^ — ^(^ — х\ среднее значение которой равно о2, есть несмещенная квадратичная оценка для а2. Если существует единственная несмещенная квадратичная оценка для о2, имеющая наименьшую возможную дисперсию, то она называется квадратичной оценкой с наименьшей дисперсией для а2. Необходимо при этом отметить, что любая квадратичная оценка есть линейная функция от квадратичных членов, и поэтому бблыпая часть результатов теории линейных оценок, полученных в настоящей главе, может быть применена к квадратичным оценкам.
Линейные оценки с наименьшей дисперсией обычно сами имеют Дисперсию, которую можно несмещенно оценить с помощью квадратичных оценок.
10 С. Уилкс
В настоящей главе мы будем иметь дело с теорией линейного оценивания и ее применениями для оценивания средних значений и дисперсий распределения совокупности. Для этих задач в рамках теории линейного оценивания не требуется каких-либо предположений относительно распределения случайных величин, более сильных, чем конечность средних значений и элементов ковариационной матрицы этих случайных величин. Случайные величины, лежащие в основе квадратичных оценок, являются квадратичными формами компонент выборки.
Иногда удобно использовать обозначение &-1(9) для несмещенной оценки 6. Таким образом, если Т— наблюдаемая случайная величина, которая является несмещенной оценкой параметра 6, т. е. если
%Т = 6, то мы можем написать
Простая, но фундаментальная теорема теории линейного оценивания, которая будет часто использоваться при исследовании линейных и квадратичных оценок, формулируется следующим образом.
Допустим, что (хъ ..., х^— случайные величины, средние значения которых равны
%xi='^aij$j, 1=А, .к,
где 0Ь ..., 9^— неизвестные параметры и Ц^/уЦ — невырожденная матрица с известными значениями элементов (т. е. они не зависят от параметров 6t> ..., 6А). Тогда
являются несмещенными оценками для 0ь ..., дк соответственно, где ЦаУЦ-Ца^Ц-1.
Доказательство этой теоремы мы оставляем читателю.
Оценки с наименьшей дисперсией для среднего значения и дисперсии совокупности
Линейная оценка с минимальной дисперсией для среднего значения совокупности. Допустим, что (хъ ..., х^ — выборка из распределения, имеющего среднее значение р и дисперсию о2. Как мы уже видели в § 8.2, выборочное среднее значение является несмещенной оценкой для р. Мы покажем сейчас, что 5с является линейной оценкой с наименьшей дисперсией для р. Пусть g-1(p)—не' которая несмещенная линейная оценка для р, т. е.
^1^ = axx1-V...A-anXw(Ю.2.1)
^ + ... + ^=1.(10.2.2)
Для дисперсии В-1 (у) на основании 3.6.1а имеем
^ (Г1 М) = М +... + ^Н9.(10.2.3)
Можно видеть, что a2 (g"1 (у.)) имеет единственный минимум, который соответствует*
а1 =(10.2.4)
Но при таком выборе коэффициентов ак ^(у) совпадает с х. Таким образом,
. Если (хъ ..., хк)— выборка объема п из распределения, имеющего среднее значение у. и дисперсию а2, то х является линейной оценкой для у с наименьшей дисперсией.
Можно показать, что это же утверждение справедливо, если (хъ ..., х^ — выборка из конечной совокупности. Доказательство этого факта мы оставляем читателю,
(Ь) Квадратичная оценка с наименьшей дисперсией для дисперсии совокупности. При исследовании проблемы квадратичных оценок удобно рассмотреть сначала следующую теорему, содержащую общие результаты теории несмещенных оценок, полученную Халмо- шем (1946).
. Пусть (хь ..., хп)— выборка из совокупности с к.ф.р. ^(а;) и g^v •••> ^п) — некоторая статистика, имеющая среднее значение 6 и конечную дисперсию. Пусть (ib ..., 1^— l-я во множестве (соответствующим образом занумерованном) всех п\ перестановок целых чисел 1, ..., п и пусть gi(xb ..., х^ = =g^ty • • • > xin\ Если g— ^ ^ gi (Xiх^, тогда Eg = 9 и дис-
_<=1
Персия g меньше, чем дисперсия g(xb ..., хп), если g(xlf ..., хп) не является симметрической относительно хь ..., хп функцией. Если g(xb ..., хп) — симметрическая, то g совпадает с g(xb... • * * ’ -^п)*
Для доказательства 10.2.2 сначала заметим, что так как (хь ..., хп)— случайная выборка из Р(х), то Eg^ = ^, i=l, ..., п\. Поэтому Eg = ^e Дисперсия g дается выражением
п\
°4 ^=® [^ 2gi ^Г - °4-(I0-2-5)
Но из неравенства Шварца следует, что
g[^2^(xi^Г^^^ШТ^Й^2^1^)].о°.2.б) iii
причем знак равенства имеет место тогда и только тогда, если
gt(xvxtt) = ^,1=1,(10.2.7)
для всех точек (хь ..., х^ в выборочном пространстве Rn (за исключением множества меры нуль), где С=С(хг, ..., х^— симметрическая функция наблюдений. Это условие фактически означает, что ^(хь ..., х^ — симметрическая функция относительно (хъ ..., х^. Отсюда утверждение 10.2.2 сразу же следует. Следствие 10.2.2а, которое мы ниже сформулируем, утверждает, что при определенных, довольно слабых ограничениях выборочная дисперсия есть квадратичная оценка с наименьшей дисперсией для дисперсии а2 распределения совокупности. Доказательство этого следствия вполне аналогично доказательству 10.2.2 и требует небольших обобщений, которые мы оставляем читателю.
а. Если (А7Ь ..., хп)— выборка из совокупности F(x\ имеющей среднее значение р, и дисперсию о2, а также конечные третий и четвертый моменты, и если {^$ч} — некоторый набор постоянных, для которых
Q = S —х^хТ —х)
имеет среднее значение а2, то значения величин {а^}, для которых Q имеет минимальную дисперсию, определены выражениями
В этом случае Q сводится к выборочной дисперсии s2.
Читатель заметит, что 10.2.2 имеет место, если предположение о том, что (хь ..., х^ есть выборка из Е(х), заменить на предположение о том, что (хь ..., хп)— векторная случайная величина,,функция распределения которой симметрична относительно хъ ..., хп. На основании этого обобщения 10.2.2 можно увидеть, что справедлива следующая версия 10.2.2а, утверждающая, что при выборе из конечной совокупности выборочная дисперсия s2 является несмещенной оценкой с минимальной дисперсией для дисперсии о2-совокупности.
b. Если (хь..., х^ — выборка из конечной совокупности, которая имеет дисперсию а2, и если {а^} — набор постоянных, для которых
Q = S а^х^ — 5сНхч — ^ Е,
имеет среднее значение а2, то величины {а^}, для которых Q имеет минимальную дисперсию, определяются согласно 10.2.2a, a Q в этом случае сводится к выборочной дисперсии s2.
(с) Интервальные оценки для р и о2 в случае нормального распределения. Если сделать предположение о том, что (xv ..., х^ — выборка из нормального распределения N(y«> а2), то в этом специальном случае мы можем получить так называемые интервальные оценки р, и о2. Этот случай заслуживает особого внимания. Как мы знаем из 8.4.3, -— ^—— имеет распределение Стьюдента 8(п—1) и, следовательно,
р {^ < ^"^-^ <^} = $ Л_1 (0 41 = Т-(Ю.2.8)
где /n_i (0 задается выражением (7.8.4), а ^ и f2 выбраны так, что интеграл в (10.2.8) имеет величину 7. Но утверждение
р Ь Vn (я р) 1
эквивалентно утверждению
pj^-f ‘ <^<^-(’1=^(Ю.2.9)
I V пV п^
Таким образом, ( х— ^-7=, х— ^1-7=-) является наблюдаемым \ Vп V.u /
случайным интервалом, причем вероятйость того, что этот интервал включает точку р, равна у. Этот интервал называется 1 ОО^-процент- ным доверительным интервалом для параметра р, а 7 называется доверительным коэффициентом. Этот пример указывает идею метода оценивания параметра с помощью (наблюдаемых) случайных интервалов, при заданной вероятности попадания истинного значения параметра в этот интервал. Такие интервалы часто называются интервальными оценками. Мы отложим дальнейшее обсуждение интервального оценивания при более общих условиях до глав 11 и 12.
В частном случае, рассмотренном выше, длина интервала равна (^2 — ^1) S
-—7=и ее среднее значение минимально, если, при заданном т,
Vn
^1 и Ц выбраны так, что ^2 = — ^ = ^_lf т, где ^_i, т удовлетворяет условию
$ А_1(0^ = т-(10-2.10)
В этом случае 100у-процентный доверительный интервал для р представляет собой интервал
Центрированный относительно х.
Аналогично, если (xt> ..., х^ — выборка из совокупности с распределением N^t а2), то мы можем построить интервальную оценку для а2, используя тот факт, что ^—^Д^- имеет ^-распределение С(п—1) (см. 8.4.2). На основании этого
2Z|
^{z?<(n^P s2<x§}= р^-.С?)^(10.2.12)
где d.F„_i(x2) дается выражением (7.8.1). Но (10.2.12) эквивалентно
тому, что
р J («-1)$8(n-l)s’| _
1 XiX? 1~Т’
отсюда очевидно, что ((и—1)$2/ха> (я—l)sVZi) есть ЮОу-процент- ный доверительный интервал для а2. Вообще говоря, существует много способов выбора х? и Хз> для которых имеет место (10.2.12). На практике обычно это делают так, чтобы
X?со
f «’'V1 (х*>= S IF-to—^?,(10.2.13)
8й
хотя доверительный интервал с наименьшей средней длиной получается, если выбрать -^у минимальным при условии (10.2.12).
Xi Хз
Оценивание параметров в линейном регрессионном анализе
Оценки коэффициентов регрессии. Рассмотрим теперь обобщение теоремы 10.2.1, связанное с задачами оценивания в регрессионном анализе, планировании экспериментов и др. Пусть yv ..., у^ n^k,— независимые случайные величины, дисперсии которых одинаковы и равны а2, а средние значения задаются функцией регрессии
В (^) = Р^ц + • • • + ^kxk^ (10.3.1)
6=1, ..., п, где (Хц, ..., х^)— известные (вещественные) векторы, pi, • • • > Ра — неизвестные (вещественные) постоянные, называемые коэффициентами регрессии и подлежащие оцениванию. Параметр о2, обычно неизвестный, называют остаточной дисперсией. Векторы (хг^ ..., хк^)э 5=1, ..., п, можно рассматривать как п частных значений вектора фиксированных переменных (xv ..., xj. Обычно полагают х1$=1, 5=1, ..., п, но мы здесь не будем вводить это предположение. Покажем, что при некоторых слабых условиях существует как оценка рь ..., р^ с минимальной дисперсией, так и довольно простая несмещенная оценка параметра а2.
Обратимся сначала к оцениванию параметров рь ..., р^. Пусть ^(pi) — произвольная линейная несмещенная оценка р,-, т. е.
1=^...^.(Ю.3.2)
Тогда
©(^0=52?/^^(i°-3-3)
откуда ясно, что с^ должны удовлетворять условию
2^^=^(10-3-4)
где йц— символ Кронекера. Дисперсия g-1(pz) равна
W))==1?K<10-3-5)
Минимизируя o2(&-1(pz)) относительно с^ при условии (10.3.4), найдем, что с^ должны иметь вид ♦
с^ = ^ихз^^ 6=1’ п’ (10.3.6)
где Xz/ определяются уравнениями
S^v = 8v(Ю-3.7)
и где
afj ^^ S xj4 ^^*(0.3.8)
Если матрица ||я/у|| неособая, что имеет место тогда и только тогда, когда векторы (Хц, ..., х^ 6=1, ..., и, линейно независимы, то решением системы (10.3.7) будет
11^7 II = 11 «.7 Г1 = 11 ^11-(Ю.3.9)
Следовательно, оценка с минимальной дисперсией для pz, которую мы будем обозначать Ьь равна
й,. = 2а%’(10.3.10)
j
где случайные величины ау0> /= 1, ..., к, определяются равенством
а^^х^у^а^.(10.3.11)
Чтобы найти дисперсию Ьь подставим значения Хц из (10.3.9) в (10.3.6) и полученные значения с^ в (10.3.5). Это дает
к
«9№) = 2 аи а1р аггзг = ог^аи ^ = аи .з\ (10.3.12) Л /'=1j
Аналогичным образом найдем, что матрица ковариаций оценок Ь^ 1 = 1, ..., к, равна
Ца^аа||.(10.3.13)
В итоге мы приходим к теореме Маркова (1900).
Пусть у, 6=1, ..., п, — независимые случайные вели- 6к
чины со средними значениями 2 ^ixt^ 6=1, п^к^ и оди- i =1
наковыми дисперсиями с2, а(усх^ ..., хкй\ 6=1, .гц— известные линейно независимые векторы. Тогда линейные оценки b^ Z=l, ..., к, с минимальной дисперсией коэффициентов регрессии pz даются формулой (10.3.10). Матрица ковариаций bt равна Ца<УааЦ. где ^/=2^^ I, j=h, .... к, и II ^11 = 11^7 К
Оценки наименьших квадратов для рь ..., Рд определяются как значения рь ..., рл, минимизирующие сумму квадратов
Q=5 О6 - ?i^e - • • • - ^^-(10-зл4>
Если матрица || ^/1| неособая, то оценки наименьших квадратов совпадают с bt. Это утверждение доказывается непосредственно, и мы оставляем доказательство читателю. Имеем, таким образом, следующую теорему о линейных оценках коэффициентов регрессии.
В условиях теоремы 10.3.1 линейные оценки коэффициентов регрессии с минимальной дисперсией совпадают с оценками наименьших квадратов.
Подход к оцениванию параметров ^ь основанный на минимизации дисперсии, принадлежит Маркову (1900), в то время как метод наименьших квадратов появился значительно раньше, у Гаусса (1809а). Комбинация теорем 10.3.1 и 10.3.2 обычно называется теоремой Гаусса — Маркова.
Во многих задачах регрессии х1£=1, 6=1, ..., п, т. е. средние значения величину предполагаются равными [Чkr^*
Применяя теорему 10.3.2, найдем, что в этом случае линейная оценка bt параметра ^ с минимальной дисперсией имеет вид
Ь1=У — Мг —... — bkxk, к
ЬГ = 2 А1'3' -Ал,j' = 2
где
ЕЕ
И
Л/'у- = 2 (-^г^ ^г)^/^ •*•/')> l> j =2, к,
Е_(10.3.16)
Ар = S (Х/'Е ~
(10.3.17)
Полагая в выражении для axl х^ = 1, 5=1, ..., п, получим с помощью (10.3.13), что матрица ковариаций bv> V = 2, ..., А, равна
|^,vq2||, Г, / = 2, ..., А,(10.3.18)
а
(10.3.19)(10.3.19)<? (^) = [14- 2°4-
(10.3.19)
(10.3.19)
v,j' = 2
к
g№> М=[ £ А1’1’ Мл
/' = 2
Замечания о теореме Гаусса — Маркова и задача о взвешивании. Предположим, что величины рп ..., рд из (10.3.1) представляют собой «истинные» веса к предметов оп ... , Од. Рассмотрим взвешивание различных комбинаций этих предметов на точных весах (представляющих собой две чашки для взвешивания, левую и правую, и шкалу, причем показание шкалы равно весу предметов на левой чашке минус вес предметов на правой). Пусть z^ = -f-1, если предмет О[ положили на левую чашку, х^ ——1, если О/ положили на правую, и х^ = 0, если О/ не участвует в 6-м взвешивании. Тогда PiX^ 4~ • • • + Ра^ есть «истинное» показание шкалы при 6-м взвешивании, если распределение предметов задается числами хх^ ... , х^. Для N различных взвешиваний получается матрица планирования взвешиваний II х^ |(, t = l, ... , к, 6=1, ... , Nt элементы которой суть —1, 0, -j-L
Если шкала не имеет смещения, то «фактическое» показание ее yg при 6-м взвешивании можно рассматривать как случайную величину со средним значением PiXie + -‘ + ?A^6» ^сли предположить уп ...,yN независимыми случайными величинами с одинаковыми дисперсиями а2, то оценки минимальной дисперсии Ьь ... , Ьь «истинных» весов рп ... , р^ предметов ои ..., о^ определятся формулой (10.3.10), а матрица ковариаций этих оценок — равенством (10.3.13). Отметим, что к является наименьшим значением N, для которого вообще можно построить матрицу планирования взвешиваний, позволяющую получить оценки для всех рп ..., рд. Задача нахождения таких матриц планирования взвешиваний, которые приводят к «наилучшим» в различных смыслах оценкам для рп ... , р^, подробно исследовалась Хотеллингом (1944), Кишеном (1945), Мудом (1946) и другими.
(Ь) Оценка остаточной дисперсии а2. Рассмотрим задачу построения несмещенной квадратичной оценки остаточной дисперсии а2. Пусть
к ^=^-5^Г(10.3.20)
i = 1 к Л= 2 biXi ,(10.3.21)
пп
s = 5 ^ S1= s ^-5^ 6 = 16 = 1
к
52= 2 аи №-?/)(»/ -РА(10.3.22)
t, /=1
Имеем
S=S1 + S2.(10.3.23)
Но
gS=ла2(10.3.24)
и, обращаясь
к матрице ковариаций (10.3.13), находим, что к
gs2= 5 ^Зач=? = к^.(10.3.25)
i,j=\
Так как gS = g^ 4” gS2, то
g,Si = (n — fe)o\(10.3.26)
Величина $ свободна от параметров рь ..., рА и а2 и, следовательно,
может служить для оценивания. Итак,
В условиях теоремы 10.3,1 —^_^^ является несмешанной оценкой а2.
Средние значения S, St и S2 равны соответственно ла2, (л— А) а2 и Аа2. Числа л, л— k, k называются степенями свободы S, S1? S2.
Преобразуя выражение (10.3.22) для Sp получим
Si = а№ — 2 aijbibj = аео — У о?3 ама}й, (10.3.27)
т. е. Sj можно представить в сравнительно простой форме: с I «iOJO I1- hyl ’т. е. Sj можно представить в сравнительно простой форме: с I «iOJO I1- hyl ’(10.3.27а)(10.3.27а)где «оо = У Я иЕгде «оо = У Я иЕI а/о/о I —I а/о/о I —«00 «01 • • • а^и «ю ап ... а^«00 «01 • • • а^и «ю ап ... а^(10.3.28)(10.3.28)
т. е. Sj можно представить в сравнительно простой форме: с I «iOJO I
1- hyl ’
т. е. Sj можно представить в сравнительно простой форме: с I «iOJO I
1- hyl ’
(10.3.27а)
(10.3.27а)
где «оо = У Я и
Е
где «оо = У Я и
Е
I а/о/о I —
I а/о/о I —
«00 «01 • • • а^и «ю ап ... а^
«00 «01 • • • а^и «ю ап ... а^
(10.3.28)
(10.3.28)
а№ аМ • • • ahh
Эквивалентность (10.3.27) и (10.3.27а) легко доказать с помощью окаймляющего разложения определителя (10.3.28) по первому столбцу и первой строке [см., например, Бохер (1929)].
Если некоторые из коэффициентов регрессии, например рЛ1+1, р^з, ♦ • ♦ > ?ь известны, то в предыдущих параграфах можно заменить • ^ на уь где ,
3^5 ^^fc pAi+l ^i+l,•^к^к^
и затем повторить весь анализ, заменив к на кх. При этом получатся очевидные модификации теорем 10.3.1, 10.3.2 и 10.3.3.
(с) Распределение оценок в теории нормальной регрессии. Сделаем следующее допущение, что у^ 5=1, ..., п, независимы и нормальны ^(p1Xц4^• •-~h Рй^> а2). Мы получим результаты, весьма важные в прикладной статистике. Пусть случайные величины z. определяются согласно (10.3.20). Тогда элемент вероятности z^ 5=1,... ..., п, равен
dF (z,z^f 1_ V exp (— Л У И) dzv ... dzn. (10.3.29)
Из (10.3.22) найдем, что
$i=Sk- S ^SwW3’ - (10-3-30)
^2 == S 2 а ^^^^"^t 1) Ь /
так что Si и S2 суть квадратичные формы переменных zv ..., zn, матрицы которых имеют ранги п— k и к. Поскольку S — квадратичная форма от zx, ..., zn с матрицей ранга п, то по теореме Коч- 88
рена 8.4.4 ^ и ~ независимы и имеют ^-распределения С (л — Л) и С(Л) соответственно. Далее, из (10.3.10) и (10.3.11) имеем
6i = 5Sa'VVE> /=1,(10.3.31)
причем средние значения Ьг равны $ь а их матрица ковариаций задается (10.3.13). Следовательно, по теореме 7.4.4, если матрица ]|а/у|| неособая, то величины Ь^ имеют ^-мерное нормальное распределение М({^}, lla^°2ll)‘ При нашем предположении о нормальности _уь ..., ^nSx и (6Ь ..., Ь^ оказываются независимыми. Это можно доказать вычислением характеристической функции g [exp (i/Sj + i (txbx +... ••• + Vjfe))] случайного вектора (Sb bv ..., Ьк\ которая равна
(l-2a8i0 2 "expj-^^^ + ^M- O°-3-32)
^7i
Итак, мы имеем следующую важную теорему в теории нормальной регрессии.
Если случайные величины у^ ^=1, ..., п, независимый нормальны Af^iX^-p. • • + ^кхк^ °2)’ $=!>..., п, матрица ||azvl|, z, /=1, ..., к» определенная в (10.3.8), неособая, то
Определенные в (10.3.10) величины Ьг являются линейными несмещенными оценками коэффициентов регрессии ^ь /=1,..., к, и имеют к-мерное нормальное распределение A^({P/}> ||al7o2||);
St и (Ъь ..., bk^ независимы; S S
-т й -т независимы и имеют ^-распределения С(п— А) и С (ку °°
Оценивание параметров в теории нормальной регрессии посредством интервалов и эллипсоидов
Так как в условиях теоремы 10.3.4 Si и (^, ..., Ьк^ независимы, то Si и любая заданная величина bt также независимы. Но bi имеет распределение N(bb all^y а ^— ^-распределение С(п— к). Следовательно, по теореме 7.8.3 величина
^-(10.4.1)
имеет распределение Стьюдента 8(п— к), и с помощью рассуждений, аналогичных использованным при построении доверительного интервала (10.2.1), устанавливаем, что
bi + t^y ^(10.4.2)
является ЮО^-процентным доверительным интервалом для р£, где 1п_кл удовлетворяет условию (10.2.10) с заменой п—1 на п— к.
Если построить доверительные интервалы (10.4.2) для 1= 1,..., к, то станет ясно, что среднее значение числа интервалов, накрывающих соответствующие значения ^it равно ^к. Но это мало что говорит о вероятности одновременного накрытия доверительными интервалами соответствующих параметров (за исключением случая независимости ^1, ..., Ьк, что имеет место для диагональных матриц || а131|). Возникает вопрос: можно ли построить некоторую простую случайную область R^ в ^-мерном пространстве значений параметров, накрывающую параметрическую точку (рь ..., PJ с вероятностью у? Такую область 88
можно легко построить, исходя из того, что -у и ^ независимы и имеют ^-распределения С (п— к) и С (ку Действительно, по теореме 7.8.5 величина
SLZ^L^(10.4.3)
имеет распределение Снедекора 8 (к, п— Ку Подставляя выражение для 5*2 из (Ю.3.22), получим
к
7=1
^к, п-к) т
=$ dFk.n_k<F),(10.4.4)
о
гдеdFkn_k(F)— элементвероятности распределенияСнедекора
8 (к,и— кууказанный в (7.8.9).Но (10.4.4) можно записатьв виде
т,...меят)-!.(ю.4.5)
где R^ — случайный эллипсоид в пространстве значений (рп ..., £л) с центром в точке (бр ..., Ь^у задаваемый уравнением
к
2 “и (Pi - bi) ^J - bj) = -^^^^.(10.4.6)
Этот эллипсоид является 100 у процентной доверительной областью для (рп ..., РД Таким же образом можно построить оценку посредством эллипсоида для части параметров рп ..., ^к.
Понятие доверительного эллипсоида было введено Хотеллингом (1931) в связи с предложенным им обобщенным распределением Стьюдента, которое рассматривается в главе 18.
Одновременное оценивание посредством доверительных интервалов: множественное сравнение
Выше мы видели, как использовать вектор выборочных коэффициентов регрессии (6Ь .,,, Ь^ для построения доверительного эллипсоида для вектора (рь ..., р^) коэффициентов регрессии совокупности. Однако в некоторых задачах, в частности в задачах дисперсионного анализа, рассматриваемых в последующих параграфах, желательно строить доверительные интервалы, одновременно накрывающие несколько линейных комбинаций (с известными коэффициентами), составленных из компонент параметра. Эту задачу рассматривали Данкен (1952), Двасс (1959), Рой и Боуз (1953), Рой (1954), Шеффе (1953), Тьюки (1953) и другие.
Неравенство для вероятности одновременного накрытия параметров доверительными интервалами. Получим прежде всего неравенство для вероятности одновременного накрытия h параметров соответствующими доверительными интервалами. Обозначим через Р-i, ..., р.д неизвестные параметры и через (р.ь £$), ..., (р.А, р.д) — случайные интервалы, каждый из которых накрывает свое значение
Р-1, • • • > Р^ с вероятностью 1 —• Пусть Ei — событие, состоящее в накрытии интервалом (р.,-, pz) параметра pz, a Et — дополнение к Е^ /=1, ...» Н. Тогда
Р№)=1(1-т), i=i,
Вероятность совместного осуществления событий Ех» ...»Eh равна р^А-.-А^)- но__
PO-.A^i-^U-UA (Ю.5.1) И
Р фх и... и Вд) ^ Р №) +... + Р <EhY(10.5.2)
Тогда__
Р фх А.. • А Е^ 1 - [Р №) +... + Р (fA)J. (10.5.3)
Следовательно,
Р^А^-А^^Т(Ю.5.4)
Мы получили следующий результат Тыоки (1953):
Пусть р^, ..., р.л— неизвестные параметры» a (p-i, ?i),... ..., (р,л, рл) — 100 [1 — -^- (1 — ^-процентные доверительные интервалы для р.1, ..., рл соответственно. Тогда с вероятностью» не меньшей 7, эти интервалы одновременно накрывают соответствующие параметры.
Рассмотрим теперь одновременное накрытие большим числом доверительных интервалов при некоторых специальных условиях, выполненных в задачах модели I дисперсионного анализа.
(Ь) Метод Шеффе. Основной результат Шеффе (1953) может быть сформулирован в следующем виде. .
Пусть ^их, ...» и^— k-мерная случайная величина» имеющая распределение ^({ р,£}, || а^ ||), I, у = 1, ..., к» где || ац || — известная неособая симметричная матрица, а2 неизвестно. Пусть» далее» ^ — не зависящая от (их, ...» и^ случайная величина с %2- распределением с т степенями свободы» a Fk^m^—ЮО^-процент- ная точка распределения Снедекора S (к, т) и о = у ^^^2.1. Если ^ — множество всех вещественных векторов (сь ..., с^» кроме нулевого, то с вероятностью 7 одновременно для всех векторов из ^ выполняется неравенство
5 С,^ ~ 8 j/^ аИС1Ч S Ci^l S CiUi + 8 V^ aijCiCj‘ ^10‘5'5^
Отметим, что в тривиальном случае равенства нулю всех сх». ..^ск неравенство (10.5.5) выполнено с вероятностью 1.
Для доказательства теоремы (10.5.2) заметим, что ^ ^ аЯ X
X(ui — V*iHnj — Р7) и ™5 являются независимыми случайными величинами, имеющими ^-распределения с к и т степенями свободы соответственно. Поэтому
j
имеет распределение Снедекора 8 (к, т\ Следовательно, если Ffe>m/X — 100 ^-процентная точка этого распределения, то
Р{ 5 аУ (й/ - н) ^ - у./) < 8* } = т,(10.5.6)
где
кв^£ р ъ — т
В дальнейшем удобно пользоваться геометрической терминологией. Множество точек (р^ ..., р,Д для которых
2 а^ (р. - пД (^у - и^ < 8*,(10.5.7)
представляет собой внутренность 100 ^-процентного доверительного эллипсоида с центром в точке (пр ..., ик^ для параметра (рц,..., р,Д Рассмотрим теперь множество точек (р^, ..., p.fe), лежащих между всеми парами (Л— 1)-мерных параллельных гиперплоскостей, касательных к эллипсоиду (10.5.7). Эго множество совпадает с внутренностью эллипсоида (10.5.7). Осталось показать только, что при любом выборе (сн •••> с^ в ^ параллельные гиперплоскости, задаваемые уравнениями
S СЙН = S CiUi ± 8 1/"S aijCiCh (Ю.5.8) iI' i. j
касательны к эллипсоиду
5a^-Hz)(^-Hy) = 88.(10.5.9)
Очевидно, что всякая точка (р^, ..., р.Д лежащая между гиперплоскостями (10.5.8), удовлетворяет неравенству (10.5.5). Положим p-z- — ul=yi. Тогда (10.5.9) запишется в виде
^a^yiyj = 83,(10.5.10)
а уравнение произвольной гиперплоскости в пространстве (у!,.. .,j^) как ^Ciy^d.(Ю.5.11)
Мы должны найти два значения d, для которых гиперплоскость (10.5.11) касается эллипсоида (10.5.10). Вводя множитель Лагранжа X, мы сводим задачу к нахождению в пространстве значений (jp ..., уА) стационарных точек функции'
Ф = 1 X (б2 - ^ «^/) +2С^(10.5.12)
i. ji
Дифференцируя no j/y, получим
— Х2а‘7^4-су = 0
i или
У1=Т^аИсР(10.5.13)
j
Подставляя это в (10.5.10), будем иметь
X = d-^-y^’^iatjcicj .(10.5.14)
Из (10.5.14), (10.5.13) и (10.5.11) находим
== ± 8 ^/"5^^/^^
Подставляя эти значения d в (10.5.11) и вспоминая, что ^г = ^ — иь убеждаемся, что (10.5.8) представляют собой уравнения касательных гиперплоскостей для заданных (ср ..., с^»
Отметим, наконец, что если взять только конечное число N векторов из ^, то множество тех точек (цр ..., рьл), которые лежат между' всеми N парами гиперплоскостей, отвечающих выбранным N векторам, образует случайный многогранник ОА, описанный около эллипсоида (10.5.9). Поскольку Qk содержит эллипсоид, любое конечное число N неравенств, отвечающих N векторам из ^, выполняется одновременно с вероятностью, не меньшей 7. Например, если положить q=1, Cj=—1, а все остальные компоненты равными нулю, t ^>]= = 1, ..., А, получим подмножество из N=^™—~ векторов ^. Следовательно, с вероятностью, не меньшей 7, одновременно выполняются ——- неравенств
<34 — «у) — 8 У аи + ауу — 2о/у^р^— р.у
(и,- — и/)Ц-8V ^и + a-jj — ^tp O>J = ^ k. (10.5.5a)
(с) Метод Тьюки. Результат, аналогичный (10.5.5а), по использующий в качестве оценки о «стьюдентизованный размах», был получен Тьюки (1953). Пусть (гр ..., z^— выборка объема k из совокупности N^ бРо2), где d2— известная положительная постоянная,
и JL — случайная величина, не зависящая от (гр ..., г^) и имеющая ^-распределение с т степенями свободы. Обозначим через R размах выборки (гр..., zk\ т. е. /? = тах(гр ..., zk) — min (гп ..., zk\
V tnRао
Величина —=— называется стьюдентизованным размахом Rk т. у vd
Для заданного коэффициента доверия у пусть RkinM будет верхней 100 ^-процентной точкой распределения Rktm, т. е.
P№,m^,m,7) = T.(10.5.15)
Результат Тьюки (1953) формулируется следующим образом.
Пусть (щ, ..., ик) — к-мерная случайная величина с распределением ^({|гf}, |kvo2||), где аи = а^, aij = aji = pa%, l^j=\,к, причем величина р известна.
Пусть, далее, р — случайная величина, не зависящая от (Ыр..., ик) и имеющая ^-распределение с т степенями свободы. Если ^о — множество вещественных векторов (cb ..., ск), для которых 2^ = 0, исключая нулевой вектор, то с вероятностью т i
неравенства.
^iP't ^ zj ci^i 4“ D (10.5.16)
выполняются одновременно для всех векторов из ^0, где
D = ^.m.iy^p)--^\ei\.(Ю.5.17)
Заметим, что в тривиальном случае равенства всех с^..., ск нулю неравенство (10.5.16) выполняется с вероятностью 1. Для доказательства 10.5.3 положим иг — р,;=_ур /=1, ..., к. Тогда (yD ...у^ будет иметь распределение ^({0}, || а^ ||), где а^ определены в теореме 10.5.3. Пусть w =У14" • • • 4~>к и zt —У1 + ^’’ где постоянная h удовлетворяет квадратному уравнению
/^144Л— 1)р]4~2/ф+(Л— 1)р]^(10.5.18)
^причем — ^-2. J) <Р ^ ^ так как матрица || а^-1| положительно определенная). Тогда zv..., zk — независимые величины, одинаково распределенные по закону ^(0, aV(l—р)). Рассмотрим неравенства \zl — zj\^H, i,j=l,...,k.(10.5.19)
R^H.R^H.Эти неравенства выполняются совместно тогда и только тогда, когда размах R удовлетворяет неравенству
R^H.
R^H.
(10.5.20)
Вспоминая, что у/о2 не зависит от (г^ ..., 2^) и имеет ^-распределение с т степенями свободы, и рассматривая (гь ..., х^ как выборку объема k из совокупности N (0, о2а2 (1—р)), получаем, что "|/~^ (Г—р) является стьюдентизованным размахом Rfei т. Пусть теперь (cv ..., с^ — произвольный вектор из ^0. Если обозначить через 2' суммирование по всем значениям Z, для которых с/>0, и i
через ^ —суммирование по всем значениям Z, для которых — С/^О,
то будем иметь
2' С1=^к-сй = ^\сД = К.(Ю.5.21)
Далее,
^i^i == ^i^i ^ ( СЙ ^j ==
=42'2 c^-c^^t-z^
i j
Если |z;— Zj\^H, i, j=\, ..., к, to
12^ ^^ISS
^^22z^^h.k.
Следовательно,
0(10-5-22)
для всех векторов из ^0. Но (10.5.22) выполнено для всех векторов из ^0 тогда и только тогда, когда выполнено (10.5.19), которое в свою очередь выполняется одновременно с (10.5.20). Следовательно,
Р (| 2 CiZi | ^ Н^ 2 I ci I для всех (с1>ch')^.<§^ = P<R^H^.
*‘(10.5.23)
Выше мы получили, что
RRm=V i p"1 Ч(Ю.5.24)
представляет собой стьюдентизованный размах. Если мы выберем
^^тт]/"^1^,(Ю.5.25)
где Rk,m,i определена в (10.5.15), то получим
/>{Я < Як.тА У= Ъ(Ю.5.26)
и, следовательно,
Р(ISciui I D для всех ск) €^ = Т> (10.5.27) где/) определена в (10.5.17). Но 5с<г/= S с, (у; + Ztty) = — ^^iC'i— Рч"). и ПОЭТОМУ
p(|S CiUi ~ SciV-i I ^D для всех (сь ^)Е^о) = Т. (10.5.28) i
Это как раз эквивалентно тому, что с вероятностью у неравенства (10.5.16) выполняются одновременно для всех (съ ..., ^^^о- Доказательство теоремы 10.5.3 закончено.
Следует отметить, что с вероятностью, не меньшей у, неравенства (10.5.16) выполняются одновременно для любого конечного множества векторов из ^0. В частности, с вероятностью, не меньшей 7, неравенства
(«г — И/) — Rk. т, т У ^^^р., — |Ay (Ui — Пу) 4-
I р дГ S2«(l—р) "ТКь.-М У „ выполняются одновременно для всех I )>/=!, ..., к. Это, конечно, эквивалентно тому, что
I W — Uj) ZE Кд, тп, 7 у ^у
являются доверительными интервалами для (р.^ — р,у) соответственно при всех /)>/ = !, ..., к, одновременно накрывающими соответствующие разности p,z — ру, У>] = 1, ..., к, с вероятностью, не меньшей у.
Двасс (1959) рассмотрел обобщение задачи об одновременном накрытии интервалами, содержащее результаты Шеффе и Тьюки в качестве частных случаев. Следует отметить, что основная идея об одновременном накрытии доверительными интервалами в случае доверительной области для линии регрессии принадлежит Уоркингу и Хотеллингу (1929).
Ю.6. Линейный регрессионный анализ в предположении нормальности и планирование эксперимента
В этом параграфе регрессионный анализ, изложенный в § 10.3, будет применяться к довольно простому вероятностному описанию планирования эксперимента, известному как Модель I. Мы рассмотрим только три простых плана: двухфакторный, трехфакторный,
латинские квадраты. Читатель, интересующийся более подробным рассмотрением этих планов, а также статистическим анализом других планов, должен обратиться к книгам Фишера (1935а), Кочрена и Кокса (1957), Грэйбилла (1961), Кемпсорна (1952), Манна (1949), Шеффе (1959). Таблицы планов эксперимента составлены Фишером и Иэйтсом (1938) и Китагавой и Митоме (1953). Путеводитель по литературе, посвященной планированию эксперимента, имеется в книге Гринвуда и Хартли (1961).
Линейный регрессионный анализ применяется также к так называемому анализу поверхностей реакции. Введением в этот круг вопросов могут служить работы Бокса (1952, 1954), Бокса и Хантера (1957), Бокса и Уилсона (1961).
(а) Полный двухфакторный план эксперимента. В эксперименте такого рода предполагается, что имеется множество rs независимых случайных величин {х^; 5=1, ..., г, т]=1, ..., $} с одинаковыми дисперсиями а2 и средними значениями
§(^7)) —P' + r* + р--^ (10.6.1) где
2^=2^ = °. (Ю.6.2) e=i Ч=1
Из (10.6.1) видно, что для любых 5 и к] g(x^) оказывается при условии (10.6.2) линейной функцией (r-f-s—1) коэффициентов регрессии р,, р^., р.ч вида (10.3.1), причем все фиксированные переменные имеют одно из значений 0, 1,— 1.
Такую схему удобно представить себе прямоугольной таблицей из г строк и 5 столбцов, причем г строк ассоциированы с г фиксированными уровнями Rx,..., Rr фактора R, a s столбцов — с s фиксированными уровнями Съ ..., Cs фактора С. Случайная величина х^ описывает реакцию, вызываемую комбинацией (R^ С^) факторов R и С; она называется реагирующей случайной величиной.
Замечание. Для иллюстрации этих идей рассмотрим следующий пример.
Пусть имеется г операторов /?п ...,Rr и s машин С1# ..., Cs, s^r, производящих изделия некоторого вида. Если каждый оператор может работать на каждой машине в течение рабочего дня, а х^ обозначает производительность оператора R^ на машине С^, то мы имеем двухфакторный эксперимент, который может протекать в течение s рабочих дней.
Коэффициент регрессии р в (10.6.1) называется общим средним значением реакции, р$. — дифференциальным эффектом, вызываемым R^, р.ч— дифференциальным эффектом, вызываемым С.^ Мы хотим найти линейные оценки с наименьшей дисперсией для р, рг, р.^, дисперсии этих оценок, а также оценку для о2.
Для множества случайных величин {^5Т)} определим средние х.., j , х.ч точно так же, как в (8.6.7). Далее, положим
т = х.., т^. = х^.—X.., £—1, ..., г,(10.6.3)
т>ч = Х.ч— X.., 7]=1, ..., s,
и
s = 2 (^чр--*п)2>
Ч
— m — — S.o Он-) = S 0”е-—(10-64)
& Ч6, Ч
So- (Р'-ч) = 5 ^-Ч^-ч)^ ^00 (р-) = 2 (^ — Р*)2,
е, чt ч
С помощью элементарных выкладок выводим, что
S= S- + S.o (р^.) + So. (p».iq) + Soo (^(10.6.5)
Заметим, что S.. совпадает с S.. из (8.6.9), aS.o(O) = S.o, So.(O) = = S0., где S.o и So- также из формулы (8.6.9). Отметим также, что S.. —|— S.q + So- (0) = <Sj из (8.6.9).
Из теоремы 10.3.1 мы знаем, что линейные оценки р,, р.^. и р..^ с минимальной дисперсией суть значения р,, р^. и р,.ч, минимизирующие S в (10.6.4). Применяя 10.3.1 и 10.3.2, убеждаемся, что процесс ми
нимизации приводит соответственно к т, т^. и т.^ в качестве линейных оценок для р,, р,^. и р..^ с наименьшей дисперсией. Из 10.3.3 следует, что -,гг-^ттнесмещенная оценка а2.
v — 0(8 — 1)
Предоставляем читателю проверить, что матрица ковариаций оце
нок т, т^. и т.^ имеет следующие элементы:
ай(т)=^, а^т, т^^а^т, т.-^ = 0,
(10.6.6)(10.6.6)по-по-а2 (т Л = -—- а2, а2 Un .J = а2,
(10.6.6)
(10.6.6)
по-
по-
V £ 7 rs » х Ч/ rs ’
oktn^ m.^ = o(jn.^ щ.^=—^, ^фЧ, -4^^,
с(/иг т.-^ = 0.
(r-l)(s-l)(r-l)(s-l)Заменив в формулах для каждого элемента а2
(r-l)(s-l)
(r-l)(s-l)
лучим несмещенные оценки элементов этой матрицы. Отметим, что
ковариация любых двух оценок из различных множеств т, ^та., т.^ равна нулю.
Итак, получен следующий результат.
Пусть {х^; 5 = 1, ..., г; т]=1, ..., $} — независимые случайные величины с одинаковой дисперсией £ передними gx^ =
= р. —|—р.^. —|—ри.ч, У, р,д. = У, ц.^ = 0. Линейные оценки для пара- метров р., р,^, р,.^ с наименьшей дисперсией равны т, т^ т.п соответственно, а ^^'^^ 1)' служит несмещенной оценкой а2, где 8.. определена в (10.6.4). Элементы матрицы ковариаций величин т, т^ т.^ приведены в (10.6.6).
Если сделать дополнительное предположение, что величины х^ имеют нормальные распределения Л^ + р^. + Р’чр ^2), то аналогично теореме 10.3.4 можно доказать следующий результат.
Пусть {х^; 6 = 1, ..., г; т]=1, ..., $} — независимые случайные величины, распределенные по законам ^(p.-рР'^ + р*-^ °2), где J^ р,е. = J^ р,.^ = 0. Тогда т, {^.}, {/я.^} представляют собой три независимых множества нормально распределенных случайных величин со средними р., {р.^.}, {р..^} соответственно и матрицей ковариаций (10.6.6). Распределения величин {т^\ и {т.ч} — вырожденные и сосредоточены на поверхностях 51П^= ®>
V гх и $•• S.0 ^6- ) > т.ч = 0. Наконец, ^-,V гх и $•• S.0 ^6- ) > т.ч = 0. Наконец, ^-,а2а2S0. ^-^ $оо №S0. ^-^ $оо №а2а2а2а2являются не-являются не-1зависимыми случайными величинами, имеющими ^-распределения С((г—1)($—1)), С^г—1), C^s—1), С(1) соответственно.С помощью этой теоремы можно строить доверительные интервалы' для параметров р; рь, ..., рг.; р.ь ..., р..$. Например, 100 ^-процентные доверительные интервалы для р, р^. и р.^ имеют вид1зависимыми случайными величинами, имеющими ^-распределения С((г—1)($—1)), С^г—1), C^s—1), С(1) соответственно.С помощью этой теоремы можно строить доверительные интервалы' для параметров р; рь, ..., рг.; р.ь ..., р..$. Например, 100 ^-процентные доверительные интервалы для р, р^. и р.^ имеют вид
V гх и $•• S.0 ^6- ) > т.ч = 0. Наконец, ^-,
V гх и $•• S.0 ^6- ) > т.ч = 0. Наконец, ^-,
а2
а2
S0. ^-^ $оо №
S0. ^-^ $оо №
а2
а2
а2
а2
являются не-
являются не-
1
зависимыми случайными величинами, имеющими ^-распределения С((г—1)($—1)), С^г—1), C^s—1), С(1) соответственно.
С помощью этой теоремы можно строить доверительные интервалы' для параметров р; рь, ..., рг.; р.ь ..., р..$. Например, 100 ^-процентные доверительные интервалы для р, р^. и р.^ имеют вид
1
зависимыми случайными величинами, имеющими ^-распределения С((г—1)($—1)), С^г—1), C^s—1), С(1) соответственно.
С помощью этой теоремы можно строить доверительные интервалы' для параметров р; рь, ..., рг.; р.ь ..., р..$. Например, 100 ^-процентные доверительные интервалы для р, р^. и р.^ имеют вид
^ — ^(г — 1Н$— ". Т^ — ^(г — 1Н$— ". Тт^. ±#(r—ij(sт^. ±#(r—ij(sS..(г—1) (s—1) ’S..rs (s — I) ’S..(г—1) (s—1) ’S..rs (s — I) ’(10.6.7)(10.6.7)
^ — ^(г — 1Н$— ". Т
^ — ^(г — 1Н$— ". Т
т^. ±#(r—ij(s
т^. ±#(r—ij(s
S..
(г—1) (s—1) ’
S..
rs (s — I) ’
S..
(г—1) (s—1) ’
S..
rs (s — I) ’
(10.6.7)
(10.6.7)
^^('’-iHs-i).! У” rs(r—l)
соответственно. Аналогично можно получить доверительные интервалы для разностей рЕ.— р^., 6 ^ Ч, или для других линейных функций. С помощью теорем 10.5.2 или 10.5.3 можно строить доверительные интервалы для р^. — р$.,, 6 > Ч = 1, ..., г (или для р.ч — — P'-Y» Ч^Ч^Ь •••> 5Ь одновременно накрывающие соответствующие разности с вероятностью, не меньшей ?.
Для одновременного оценивания двух и более параметров р, рь, • • • > рг., р.ь ♦ р.$ можно строить доверительные области, аналогичные (10.4.6). Особенно важен случай одновременного оценивания всех р,^ (или р.^). Согласно теореме 10.6.2 >0^^ и ^ независимы и имеют ^-распределения С (г—1) и С ((г—l)(s—1)); из 7.8.5 тогда
(s — l)5o(pij
следует, что ^-=— имеет распределение Снедекора S((r— 1),
(г—1)($—!))• Пользуясь обозначением из (10.4.6), будем иметь
/(s — IJS.n^c.)\
Р("< F'~*• (г -1) (»-D. т) = I-(ЮМ)
Но это можно записать в виде
Р((Н-..., ^.)€^т) = Т>(10.6.9)
где /?7— (г—1)-мерная ЮОу-процентная доверительная сфера для (р-ь, ..., p-г.), задаваемая уравнением
^^.-^ = ^ рг-1. «-ixs-D. т (Ю.6.10)
при условии 5^е*— ^-) —0. Если мы специально интересуемся возможностью обращения всех р^. в нуль, то следует проверить, содержит ли сфера (10.6.10) точку (0, ..., 0). Это сводится к проверке неравенства
(s — 1) S.o (0) _ „
S^ <^Fr-\, <r-\Hs-1), 7 •(10.6.11)
Если (10.6.11) выполнено, то говорят, что значения {х^} согласуются со статистической гипотезой о равенстве всех ^. нулю на 100у-процентном доверительном уровне. При выполнении (10.6.11) говорят также, что т^. (оценки для р^.) значимо не отличаются от нуля при 100(1 —^-процентном уровне значимости. Существенно, что фигурирующая в (10.6.11) случайная величина ——^--°^ наблю- даема.
Аналогичным образом проверяется, что значения {х^} согласуются со статистической гипотезой о равенстве нулю всех параметров р.т
Обычно составляющие полного двухфакторного плана Модели I в предположении нормальности собирают в таблицу дисперсионного анализа, помня, что S,o(O)==S.o и So. (0) = Sq., как показано в таблице 10.1.
Первое отношение Снедекора F.o служит для проверки гипотезы о том, что все р^. равны нулю, а второе — для проверки гипотезы о равенстве нулю всех р..^.
Расположение составляющих дисперсионного анализа в форме таблицы 10.1 предложено Фишером (1925а), который разработал также теорию и приложения Модели I дисперсионного анализа.
(Ь) Полный трехфакторный план эксперимента. Идеи § 10.6(a) непосредственно переносятся на планы более высоких порядков, т. е. на экспериментальные схемы с тремя и более факторами. Здесь мы имеем множество из г st независимых случайных величин {х^с; 5 =
Таблица 10.1
Модель I дисперсионного анализа Таблица полного двухфакторного плана эксперимента
Источник дисперсии
Степени свободы (С. С)
Сумма квадратов (с. к.)
Среднее суммы квадратов (с. с. к.)
Отношение Снеде- кора
Строки
Столбцы
Остаток (ошибка)
Г— 1
S — 1 (Г-1) (S-1)
S.0
So.
8..
S.Q Г— 1
Sp.
s — 1
8.. (г-1) ($-1)
(S-!)$„_„
S..Г‘°
(r-DSo. .
8..°*
Сумма
rs — 1
8Г
= 1, г; т]=1,$; (=1, ..., t\ с одинаковыми дисперсиями
а2 и средними значениями
S xw = И + ^- + Н-ч- + Н-х + Н^- + Н5х + Р^г (1 °-6-12) где
2 Не”S ^'1*2j ^“С^’ 2 Р^Ч’ 5 ^ЁЧ* === ^’
ЕЧСЕ^
ЕСЧС
Такую схему можно представить себе в виде г строк, s столбцов и t слоев, где г строк ассоциированы с г заданными уровнями Rb ..., Rr фактора R, s столбцов — с 5 уровнями Сь ..., Cs фактора С, a t слоев — с t заданными уровнями Ьъ ..., Lt фактора L. Постоянная р.^.. представляет собой дифференциальный эффект, вызываемый уровнем R^, аналогично интерпретируются р,^. и р,„с; р,ЕТ есть дифференциальный эффект, вызываемый сочетанием (R^, CJ, или взаимодействие между R^ и С^ с аналогичной интерпретацией р^.с и р,^. Характеристики X..., Х^.., Х.^, Х..^ Х^, Х^ и Х.ч определим вполне аналогично (8.6.7). Далее определим*
т = Х ...,
т^..= Х^.— X..., и аналогично m.v и т..^,(10.6.13)
w^. = ^7). — х^..— x.v + J..., и аналогично т^ и т.^.
Определим также4
^= S ^w I1 ^“Р*-ч-^‘х P'gTf Нех Н^^)2»
Е, С
S... = 2 (Xw — т — тг — т.^. — т.х — т^. — т^ — т.^ е, ч.с
и
S-oG^T^ S (от£т— ^а и аналогично S-O.(p-e.c), ^„(Р^), М. <
S-oo(^")= У, (^r — ре.)а И аналогично 50.0(р.ч.)> SOo-(p-c)>
, с
(10.6.14)
5ооо(Ю=£ <т-^.
Отметим, что 5... совпадает с S... из (8.6.31), a S..o(O) = S..o, S.oo(O) =
= S.Oo и т. д., где S..o, S.oo и т. д. определены в (8.6.31).
Имеем следующее разложение для S:
£=£... + S-o (р-^.) + 5.о. (р*^) + 5о- (р--^) + 5.00 С\») +
+ 5о-о (Р* • ^ -) + 5оо- (р-с) + 5000 (рО-(10.6.15)
ш.ш.Г’Г’чточтоИз 10.3.1 получаем, что линейными оценками для р,, ^.., р,.^., р,..с, р-^., р^.с р-^с с минимальной дисперсией являются т, ~^ m..r т., т, т. . соответственно. Из 10.3.3 следует, V '
ш.
ш.
Г’
Г’
что
что
-77ri—;—несмещенная оценка а2..
[(г—1) (s — 1) (t — 1)]
Для описания матрицы ковариаций оценок т, ..., т.^ достаточно привести только следующие ее ненулевые элементы, так как остальные ненулевые элементы этой матрицы получаются по соображениям симметрии:
n z х а2 О z ч (г— 1) а2
v 7 rst 1 v Е 7 rst ’
/x °2 t 72/ x O'—1) (s—1) a3
E ’ E 7 rst’v E7!7rst 1
,.(r— 1)g2, ,
°- rst •’(1|
а (/«„., m^ = -^r^- S', 7] Ф V-
Ковариация любых двух величин из различных множеств \пг\, {^..}, {м.ч.}, \т.х\, {т^> {т.^ равна нулю.
Несмещенные оценки дисперсий и ковариаций из (10.6.16) получаются заменой в соответствующих формулах о2 на ^-^ — 1)] *
Формулировку теорем, аналогичных 10.6.1 и 10.6.2 для случая трехфакторного эксперимента, предоставляем читателю.
В связи с обобщением теоремы 10.6.2 на трехфакторный план эксперимента отметим, что если случайные величины {^J независимы и распределены по законам
ЛЧ|а + |\-- + 1М‘+1л-х + ^е7г + ^е-с + 1^ °2)’ (10‘6-17)
314Линейное статистическое оценивание[гл. ю
то величины
5- S-о (р.^.) S.o. (^.с)80„ (р..^)
(10.6.18)(10.6.18)а2 ’^>^»^>
(10.6.18)
(10.6.18)
.оо (^-.) So.oto^.) soo.(^.c)S 000 to
а2 ’ а2 ’ а2 ’ а2
независимы и имеют ^-распределения с количеством степеней свободы
(Г-1)(8- 1)^-1), (Г— 1)(S— 1), (г- 1)^-1), ($-1)^-1), (г_1), (5-1), (#_1), 1(1 ьлу)
соответственно. Для каждого из параметров р., ..., р^_ отдельно можно строить доверительные интервалы, аналогичные (10.6.7), а также аналогичные (10.6.10) доверительные области для одновременного оценивания нескольких параметров из р., ..., р,.^. Используя теоремы 10.5.2 или 10.5.3, можно строить доверительные интервалы для разностей
{р*^. Ру»4 £ > ^1>f}> {Р*^' P'fc'ip ^ ^ ^ 1>^}>
т] фиксировано, одновременно накрывающие соответствующие разности с вероятностью, не меньшей заданной.
Предоставляем читателю построение таблицы, аналогичной таблице 10.1, для полного трехфакторного плана.
(с) Схема латинского квадрата. Описанный выше полный трехфакторный план эксперимента требует наблюдения такого числа случайных величин, которое в некоторых приложениях недопустимо. Уменьшение количества наблюдений может быть достигнуто с помощью сбалансированных неполных трехфакторных планов. Простейший из них — и единственный, который будет рассмотрен, — план латинского квадрата, выбирающий сбалансированную неполную матрицу {^J* реагирующих случайных величин из трехмерной матрицы {-^J, состоящей из г строк, г столбцов и г слоев.
В плане латинского квадрата рассматриваются три фактора R, С и Ц каждый из которых имеет г уровней. Можно ассоциировать R. с £-й строкой^ С^ с tj-m столбцом и Ц с См слоем трехмерной прямоугольной таблицы. Каждой ячейке этой таблицы соответствует случайная величина х^. Случайные величины {^J* выбираются так, чтобы каждая комбинация значений (£, т]) участвовала только один раз, точно так же по одному разу должны входить комбинации (5, С) и (ty Q (см. § 8.6 (d)). Обозначим выбранное множество из г2 значений (5, т), Q через G*.
Далее предполагается, что выбранные г2 случайных величин {^J* независимы и имеют нормальные распределения N(Exа2), причем для (5, т], Q ^ G*
Exw = И + Н5- • + Р-т + Н- -с(10.6.20)
где S^.^S^^S^-c^0- 'о0-6-21)
Сравнивая это с (10.6.12), мы видим, что предполагается равенство нулю всех попарных взаимодействий р.^., р,5< р..чС План латинского квадрата дает относительно простые линейные оценки с минимальной дисперсией параметров из (10.6*20). Определим х*., ^. , х.^., х*с аналогично (8.6.40), а т*, т*^ т\^ т*.^ определим через {^J* точно так же, как т, т^ т.^ т..^ были определены в (10.6.4) через {^^^}*
Заменим в (10.6.4) т, т^., т^., т..^ на т*. Tn\^ т\., т*.<. соответственно и будем суммировать по (5, ц, С) £ G*; полученные величины обозначим через S*o(p^..), So.o(p4’)> Soo. (р-..с)> So*oo(p,)- Положим
^* = 5Г (хяс ~ ^ ~ IV — н-т — и-с)2’
(10.6.22)
S*.= S ^^ — т* — т*.. — т\. — т*.^\
где, как и в (8.6.40), ^* означает суммирование по всем (Е, tj, Q £ £0*.
Получаем теперь следующее разложение для 8*:
8* = 8*.. +S.*oo(Hr) + So*.o(^.) + SJ). (^.х)+5$юМ> (Ю.6.23)
где компоненты справа имеют соответственно (г — 1)(г — 2), (г—1), (г— 1), (г — 1), 1 степеней свободы.
Применяя 10.3.2, находим, что т*, т^ т^., т*^ являются ли
нейными оценками параметров р,, р,.., р,.^., р,.. с минимальной дис- 8*.6
Персией, а у-—тт^—~г несмещенно оценивает а2.
V U V
Ненулевые элементы матрицы ковариаций оценок т*, т*., т\м т*ч равны
=a(w*) = ^, 02(ot*.) = 02(W?4.) = 04(/»?.c) = ^02, (10.6.24)
о(^*м mt’.?^^^*^ т\.) = ^{т*^ т*.^ = — ^-,
Несмещенные оценки этих дисперсий получаются заменой а2 на 8*
(^1)(г —2)е
Формулирование утверждений, аналогичных 10.6.1 и 10.6 2, для плана латинского квадрата предоставляется читателю, так же как и построение таблицы, аналогичной таблице 10.1.
Оценка компонент дисперсии по наблюдениям над линейными комбинациями
Во многих статистических задачах, встречающихся в планировании эксперимента, теории ошибок, психологическом факторном анализе, ситуация такова, что наблюдаемыми оказываются только линейные комбинации, но не сами случайные величины. С таким примером мы встречались в (8.6.3), где наблюдаемая случайная величина х(п, *и) представлялась линейной функцией от р. и ненаблюдаемых случайных величин еи., е.^, еЙТ,.
В таких ситуациях основной задачей является построение оценок для дисперсий (ненаблюдаемых) компонент по наблюдениям над линейными комбинациями этих компонент.
Пусть наблюдаемые случайные величины х^ $=1, ..., и, имеют ВИДт
^Е = Р-+ S ag^gv ^=1,т, (10.7.1)
g=l
где
g(s^) = O, g(s^) = 4 g=l, ..., т; 5=1, .... «>
& С8^8^')= S (®^Е8г'О = ®>5 ^ $,
tz^— известные постоянные, причем ранг матрицы ||^|| равен т. Не предполагается, что eg$ наблюдаемы, так что они могут быть функциями неизвестных параметров.
Ясно, что выборочное среднее 5с является несмещенной оценкой р,. Дисперсия ее равна
g 5
Далее, если s2 — выборочная дисперсия, то
^(^=^22^^(10-7-4)
g Е'
Заметим, что sa является несмещенной оценкой для ^22ам;
g е следовательно, — будет несмещенной оценкой для аа(х). Однако мы желаем оценить дисперсии of, ..., а^ компонент по выборке (хъ ..., хп\ Для этого рассмотрим полную сумму квадратов
Sr=2(^-^)a.(10.7.5)
Справа стоит квадратичная форма от случайных величин (хх— ^),... ..., (хп — 55), которую можно представить в виде квадратичной формы от (Xj — р.), ..., ^хп — р,) с матрицей ранга (п—1). Если п—1 ^ ^> то с помощью элементарной теории положительно полуопределенных
квадратичных форм можно показать, что Sr (несколькими способами)
представляется в видепредставляется в виде8^ — Si 4“ • • • 4" 8т,8^ — Si 4“ • • • 4" 8т,(10.7.6)(10.7.6)
представляется в виде
представляется в виде
8^ — Si 4“ • • • 4" 8т,
8^ — Si 4“ • • • 4" 8т,
(10.7.6)
(10.7.6)
где Sv -^8т — положительно полуопределенные квадратичные формы от (Xi — 5с), ..., (хп — 5с), которые можно представить в виде ква- драгичных форм от (хг— р,), ..., (хп— р.) с матрицами рангов пь ... .пт (все nh^\) соответственно, Л14~~- ..4-пт = п—1. Тогда
(1077)
где ЦХ^И — симметричная матрица ранга nh, элементы которой — известные числа. Подставляя значения (х^— р,) из (10.7.1) в (10.7.7) и беря средние значения, получим
№) = S^4>(10.7.8)
g
где
Bhg=^<a^.(10.7.9)
Из свойства матрицы ЦЛ^Ц и наших предположений о ||я^Ц следует, что ||5Ag||— неособая матрица. Применяя 10.1.1, получаем из (10.7.8) следующие несмещенные оценки для о®, ..., а^:
F4^ = ^h.Sh.(10.7.10)
Несмещенная оценка для а2(х) получается заменой а| в (10.7.3) на $-1(а1), £=1> • •*, ^- Суммируем теперь все полученное.
Пусть х^ 5=1, ..., п ^ т, — наблюдаемые случайные величины видат
^=^+ 2 а§^в^
g=\
где eg^ — случайные величины, средние значения и ковариации которых равны нулю, ^^^) = а^ причем р. и а|— неизвестные параметры, ag^— известные числа, и ранг матрицы ||а^|| равен т. Если 5с — среднее значение выборки (хь ..., х^, a ST, оь ..., 8т — квадратичные формы величин (хх — 5с), ..., ^хп — 5с), определенные в (10.7.5) и (10.7.6), то 5с— несмещенная оценка для р., а
к
являются несмещенными оценками для о|, ^=1, ..., т, где
11^11 — матрица квадратичной, формы Sh.
Во многих задачах, где требуется оценить компоненту дисперсии, матрица Ца^Ц имеет специальную форму, из которой непосредственно получается разложение (10.7.6) для 8Г
В следующем параграфе мы рассмотрим некоторые приложения сформулированных выше принципов к планам эксперимента.
Оценки компонент дисперсии в планах эксперимента
В этом параграфе идеи оценивания компонент дисперсии мы применим к некоторым простым планам эксперимента. Будут рассмотрены только полный двухфакторный, сбалансированный неполный двухфакторный, полный трехфакторный планы и план латинского квадрата с точки зрения анализа компонент дисперсии. Читатель, интересующийся предметом более подробно, должен обратиться к книгам Коч- рена и Кокса (1957), Грэйбилла (1961), Кемпсорна (1952) и Шеффе (1959). Мы рассмотрим только задачу построения несмещенных оценок компонент дисперсии, входящих в планы эксперимента, и не будем заниматься дисперсиями этих оценок. Последние изучались в статьях Хука (1956b), Шеффе (1959) и Тыоки (1956b, 1957а, 1957b). Доверительные интервалы для компонент дисперсии рассматривались Балмером (1957), Моригути (1954), Шеффе (1959) и другими.
Вероятностное описание планов эксперимента, основанных на наблюдаемых линейных функциях от случайных величин, иногда называют Моделью II в отличие от Модели I, базирующейся на теории нормальной регрессии и рассмотренной в § 10.6. Термины «Модель I» и «Модель II» для двух схем дисперсионного анализа введены Эйзен- хартом (1947).
Полный двухфакторный план эксперимента. Основные положения выборочного метода, требуемые для описания модели I полного двухфакторного плана эксперимента, содержатся в изложенной в § 8.6 (а) теории матричных (второго порядка) выборок. Мы будем пользоваться здесь обозначениями § 8.6 (а).
Поясним сначала основное различие между подходами к полному двухфакторному плану эксперимента, основанными на модели I и модели II. В модели I полного двухфакторного плана эксперимента, рассмотренной в § 10.4 (а), предполагалось, что уровни Rv ..., Rr фактора R и уровни Съ ..., С$ фактора С фиксированы для всех экспериментов, описываемых реагирующими случайными величинами х^. Но в некоторых ситуациях уровни фактора R или уровни фактора С, или те и другие вместе, представляют собой выборки из совокупностей уровней, которые могут быть конечными или бесконечными. В таких задачах схема регрессионного анализа (Модель I) не подходит. Мы рассмотрим случай, когда совокупности уровней бесконечны. При подходе, основанном на Модели II, мы предположим, что для любого уровня и фактора R и любого уровня v фактора С реагирующая случайная величина х(и, v) имеет форму (8.6.3). Ее
дисперсия дана в (8.6.4) или, в более коротких обозначениях, в (8.6.4а), т- е'03 = а!о + ®8-+°.2.,(10.8.1)
где о!о — компонента строки (фактора R\ eg. — компонента столбца (фактора С), а2— остаточная компонента.
Если г уровней фактора R и s уровней фактора С выбираются случайно, те и другие из бесконечной совокупности, то реагирующие случайные величины образуют матричную выборку {а;^; 5=1, ... ..., г; ц=1, ..., s}, определенную в § 8.6(a), где х^ независимы и представляются в форме (8.6.8), т. е.
^ = р -J- ее- 4“ е-ч 4“ е£т(10.8.2)
Здесь р.— среднее значение совокупности, е^., е.ч, е^— случайные величины с нулевыми средними и нулевыми ковариациями.
Дисперсия а2 величины х^ задана в (10.8.1). Основная задача анализа Модели I состоит в оценивании а?0, eg. и о2 по выборке {х^}.
Для этого возьмем х.Л ^. и х.^ из (8.6.7) и S.o, «So., S. из (8.6.9). В условиях 8.6.2 согласно (8.6.11)
g(S.0) = (r-l)(sa?04^
g(S0.) = (s— l)(ra§.+a2),(10.8.3)
g («S..) = (r — 1) (s — 1) a2.
Применяя 10.1.1 (или 10.7.1), получим следующие несмещенные оценки для a!o, eg. и о2:
Оценкой для р, будет х„, ее дисперсия равна, как показано °^о°о-°2
в (8.6.12), у* 4" "J" 4"• Несмещенная оценка этой дисперсии по
лучится при замене а:0, а§. и а2 на их оценки из (10.8.4).
Обычно составляющие Модели II собирают в таблице дисперсионного анализа по образцу таблицы 10.2.
Наконец, заметим, что в случае конечных совокупностей уровней факторов R и С оценки для компонент дисперсии, т. е. в этом случае для о/.о, a/о. и а}.., получаются заменой уравнений (10.8.3) на (8.6.22) и применением 10.7.1. Таблица, аналогичная 10.2, может быть, конечно, построена и в этом случае.
Сбалансированный неполный двухфакторный план эксперимента. Выборочный метод, входящий в описание Модели II сбалансированного неполного двухфакторного плана, дан в § 8.6(d)
Таблица 10.2
Модель II дисперсионного анализа
Таблица полного двухфакторного плана эксперимента
Источник дисперсии
Степени свободы (с. с.)
Сумма квадратов (с. к.)
Среднее суммы квадратов (с. с. к.)
Среднее значение с. с. к.
Строки
Г— 1
S.0
S.Q
Sa.§ + ®«
Г— 1
Столбцы
S—-1
?
Sq.
Г^. + а2
S— 1
Остаток
(Г— 1) (S —1)
8..
8..
а2
(ошибка)
(r-l) (S —1)
Сумма
rs —-1
8Г
Этот план выбирает подвыборку {^}* объема n = rs' = s'r из реагирующих случайных величин матричной выборки {л;^}, как это сделано в § 8.6(d). Каждый элемент в {^}* является линейной комбинацией (10.8.2) случайных величин. Дисперсия х^ £ {^l* равна а2 и представляется в виде суммы трех компонент (10.8.1).
Основная задача анализа Модели II сбалансированного неполного двухфакторного плана состоит в построении несмещенных оценок для р. и компонент дисперсии а?о> о?., а2 по данным подвыборки
Среднее значение х* выборки {х^}* является несмещенной оцен. кой и, с дисперсией а« а« 02
оЧ^Э-^ + у + т- <10-8-5)
как было показано в (8.6.39).
Заметим, что три последних уравнения (8.6.39) относительно s?o,
со., о.2, имеют при теперь 10.1.1 (или и а.2;
г'2>1> $'^>1 единственное решение. Применяя 10.7.1), получим следующие оценки для а!о, $8.
ГЧ^о) = ^^-Г(».2.),
Г1 (а§.) =- Г1 (о2),(10.8.6)
Г1 (а’) = 1 [ Л^. + SS*o + CSS], где
Л=^Ч, В= —-, С=Л4-5—1,п— г ’п— s’1
К=п— г — »4" 11
Несмещенная оценка для о2(х*) получится после подстановки ^'Ца^о), ©"Ч0?-) и ^Ч0.2.) вместо а?о> о2 и а2 соответственно в (10.8.5).
Предоставляем читателю в качестве упражнения построить таблицу неполного двухфакторного плана в Модели II дисперсионного анализа, аналогичную таблице 10.2.
Полный трехфакторный план эксперимента. Теория матричных (третьего порядка) выборок, лежащая в основе оценивания компонент дисперсии в полном трехфакторном плане, изложена в § 8.6 (с). Мы используем обозначения этого параграфа. С полным трехфакторным планом эксперимента ассоциируется матричная выборка {^J> образованная реагирующими случайными величинами. Мы предполагаем, что г уровней фактора R, s уровней фактора С и t уровней фактора L сами суть выборки из бесконечных совокупностей. Тогда каждый элемент ^с выборки {х^} является в соответствии с (8.6.30) суммой случайных величин с нулевыми средними и ковариациями:
^w = Р + ®&- • + ®-т + £--с + ®ЕТ + ®ес + %с + SE4C* С1 °-8-7) а дисперсия о2 (х^:) — суммой семи компонент, согласно (8.6.27) или (8.6.28):Оз = в?ю + о8 о+^ ^^^ +о§ ^(10 8 8)
Применяя теперь 10.1.1 (или 10.7.1), мы с помощью величин 5.00, So.o, Soo-jS-o’ &о-> So.., 5..., определенных в (8.6.31), построим оценки компонент дисперсии:
8"- Т б" «>'< 1а8'9>
8” <*)=Н^П) - 7 8” «■> " 7 8"' ^ - А 8"
8Ч<°W=rtti-n - 7 Г' (»!-) - у Г‘ (Ло) - i S’1 «Л / 1 1 у&IIV
Г W=^i^n - т ^ <0-°-> - т ^ (°--°) - 1JЬОои
Несмещенной оценкой р будет х..., дисперсия этой оценки дается формулой (8.6.35). Несмещенная оценка для а2(х...) получается заменой в (8.6.35) компонент дисперсии их оценками (10.8.9).
Рекомендуем читателю построить таблицу полного трехфакторного плана в Модели II дисперсионного анализа, аналогичную таблице 10.2.
11 С. Уилкс
Отметим также, что оценивание компонент дисперсии в полном трехфакторном плане в случае, когда совокупности уровней факторов R, С, L конечны, производится вполне аналогично изложенному. Подробности оставляем читателю.
План латинского квадрата. Как отмечалось в. §§ 8.6(d), 10.6(c), план латинского квадрата представляет собой специальный случай сбалансированной неполной матричной (третьего порядка) выборки, именно случай s = t = r и j = f = f =\. Определенная в § 8.6(d) выборка {х^}* из реагирующих случайных величин для плана латинского квадрата такова, что каждая величина х^ £ {-^J* имеет вид (10.8.7), а ее дисперсия представляется в виде суммы (10.8.8) семи компонент. Но если полную сумму квадратов St разложить на суммы квадратов S*oo, S*.o> Soo. и Se в соответствии с (8.6.40), то, как можно увидеть из (8.6.41), оценки существуют только для следующих компонент из (10.8.8):
оЬ, а?оо, <о, ago., (10.8.10) где
Qe = о?.. 4“ а?.о 4” °-о* 4" °о-••
Другими словами, мы можем оценить индивидуально только компоненты строк, столбцов и слоев и сумму остальных четырех компонент. Эти оценки получаются применением 10.7.1 к (8.6.41), что
Г1 «о) = ^ - Г1 (<М(Ю.8.11)
з к S?Qo + SQ.o + S§0.S£
8—2r__1(2r — 1) (r—I)*
Построение таблицы плана латинского квадрата в Модели II дисперсионного анализа предоставляется читателю в качестве упражнения.
Линейные оценки для средних значений расслоенных совокупностей
Определения и обозначения. Во многих практических задачах, связанных с выбором из конечной совокупности гс^ ситуация такова, что -kn разлагается на т дизъюнктных слоев ir^, ..., ^m, где N=Ny~V * --"VNm» среднее и дисперсия слоя ^Ng равны ^ и a|, g=l, ..., т. Если среднее и дисперсия ^ равны р. и а2, то легко проверить, что
с^о^-^аЪ(10.9.2)
где
^=2^-^, ^=л^т2^^~^ а°-9-3) gg
pg=-£.от-0°-9-4)
Отметим, что а- оказывается суммой двух компонент: внутрисловной компоненты eV и между слойной компоненты од.
Если Опр . Оп —независимые выборки объемов пъ ..., пт из слоев 1Гдгр ..., ^л^ соответственно, то будем обозначать через Xv • • • > ^т средние, а через $р .... s^ — дисперсии выборок ОПр ... .Оп . Взятые вместе ОЛ1, ...,ОЛ образуют расслоенную выборку объема п из -kn.
Основная задача здесь — нахождение наилучших линейных оценок для у, зависящих от средних значений выборок из слоев, при различной информации относительно Ng) ^, <^g1 g= 1, ..., т. На самом деле мы рассмотрим две постановки этой задачи:
известны объемы слоев Nv •••> N^
известны объемы слоев и дисперсии слоев of, ..., с?т.
Если совокупность icN нерасслоенная, то мы уже видели в § 10.2, что линейной оценкой р. с минимальной дисперсией по данным простой случайной выборки Оп из ък будет х, причем дисперсия X равна ^—^) °2- Эта дисперсия является, так сказать, «стандартом», с которым можно сравнивать дисперсии оценок, полученных в условиях (i) или (ii).
Расслоенные выборки широко используются при выборочном обследовании в управлении, коммерческой деятельности, промышленности; имеется обширная литература, посвященная этому предмету. Здесь мы дадим только введение в математическую теорию такого рода выборок. Дополнительные сведения можно найти в книгах Коч- рена (1953), Хансена, Гурвица и Мэдоу (1953), Стефана и Маккарти (1958), Сукхатмэ (1954), Иэйтса (1949).
Линейная оценка для среднего значения совокупности по данным общей расслоенной выборки* В этом случае предполагается только, что объемы слоев Nv • • •, Nm известны. Пусть (^ь • • • •**>xgn^— выборка Ong объема ng^2, g=l, ...,т. Множество этих выборок из слоев называется общей расслоенной выборкой из ic^. Пусть L — линейная функция всех элементов выборки, т. е.
m ng
L^HWr(10.9.5)
НН “
Мы хотим определить cg^ так, чтобы L была несмещенной оценкой р. с минимальной дисперсией. Запишем условие несмещенности:
т ng
g(£) = ^=
g^i ^ig
т. e.
ng
У Cg^ =Pr £= L • ■ •. m-(10.9.6)
E=1
Поскольку выборки из различных слоев независимы, дисперсия L равна
m^ng
°’(0 = 2Н2с«Ь^(2(10.9.7)
g=ie=i^=i
Легко проверить, что значения cg^ удовлетворяющие (10.9.6) и минимизирующие (10.9.7), равны
С8г=^-,1=1,11g, g"=lт. (10.9.8)
Подставим эти значения в (10.9.5) и обозначим полученную оценку для р через gj1^)- Тогда
^Ч^=Р1^1А-----\-РтХ.т-(10.9.9)
Дисперсия ^(р) равна
W Ш = ^8 ^ - ^ 4-(Ю-9.10)
g
откуда непосредственно получаем, что
2Mi-iH (10'9“)
g
является несмещенной оценкой для a2 (gj1 (р.)).
Итак,
Пусть ^N— конечная совокупность с дизъюнктными слоями ъ^ ..., ^Nm известных объемов] среднее и дисперсия слоя ^Ng Равни Р^> ag> g= L • пг. Если Onv ..., ОПт — общая расслоенная выборка из nN и xg — среднее и Sg— дисперсия выборки Ong> g—\y ..., т, то оценка gl1^), определенная в (10.9.9), — линейная несмещенная оценка среднего р совокупности ^N с минимальной дисперсией.
Дисперсия gj1^) указана в (10.9.10), а несмещенная оценка этой дисперсии — в (10.9.11).
Отметим, что в предыдущих рассуждениях объемы пх ^ 2, ... ..., пт ^ 2 выборок из слоев задавались произвольно.
В специальном случае, когда объемы п^ ..., пт выборок из слоев пропорциональны объемам слоев, т. е. ng=pg*n, ^*=1, ..., т, имеем пропорциональную расслоенную выборку объема п из itN (на практике, конечно, pg*n округляется до ближайшего целого). При таком выборе ng, ^=1, ..., т, будем обозначать gj1^) через S7p(l4 Дисперсия g^(|x) равна
=Чбз№)) = ^-^^Р^’(10.9.10а)
g
а
^-т№^(10-9Л1а)
g
служит несмещенной оценкой для ^^(^(р,)).
Эффективность gjp (р) относительно х — среднего значения простой случайной выборки из t:n—как оценки р определяется отношением
eff(gj;(|x))-^^ = 1 А-К,(10.9.12)
при этом,
среднего значения совокупности ^ зависит от отношения -^-. Если а^ = 0, т. е. средние значения всех слоев одинаковы, то пропорциосреднего значения совокупности ^ зависит от отношения -^-. Если а^ = 0, т. е. средние значения всех слоев одинаковы, то пропорциоИз (10.9.12) видно, что преимущество пропорциональной расслоенной выборки над простой выборкой при линейном оценивании
среднего значения совокупности ^ зависит от отношения -^-. Если а^ = 0, т. е. средние значения всех слоев одинаковы, то пропорцио
среднего значения совокупности ^ зависит от отношения -^-. Если а^ = 0, т. е. средние значения всех слоев одинаковы, то пропорцио
нальная расслоенная выборка не дает выигрыша по сравнению с простой случайной выборкой. Подытожим все сказанное.
Линейная оценка gjp(p), построенная на основе пропорциональной расслоенной выборки с ng=pg-n, g=l, ..., т, имеет дисперсию (10.9.10а). Несмещенной оценкой этой дисперсии служит (10.9.11а). Эффективность ®7р(р) относительно х— среднего значения случайной выборки объема п из совокупности ^N— как оценки среднего совокупности uN дается формулой (10.9.12).
Линейная оценка с минимальной дисперсией среднего значения совокупности, когда объемы и дисперсии слоев известны. Если известны не только Мь • • > Nmt но и аь ..., ат> то можно подобрать объемы выборок из слоев «лучшие», чем при пропорциональном выборе из слоев. Возникающая здесь задача равносильна минимизации выражения (10.9.10) по пь ..., пт при условии «!-]-••• ...-^-пт = п. Предположим на время, что пъ ..., пт изменяются непрерывно. Тогда легко проверить, что требуемые значения пь ...
(10.9.14)(10.9.14)пт суть
(10.9.14)
(10.9.14)
ng = bg-H)1, ...3 т.
где
(10.9.15)
g
Для этого оптимального выбора пх, ..., пт будем обозначать ©^Чр) через ^(P-)- Тогда после упрощений имеем
(^о* М) = 4 (2^У - ^ ^рА-(10.9.10b)
tg
(На практике, конечно, в качестве ng выбираются ближайшие к nbg целые числа.)
Можно показать, что
(10.9.16)(10.9.16)
(10.9.16)
(10.9.16)
причем равенство имеет место тогда и только тогда, когда □! = ... . .. = ат. Действительно, сравнивая (10.9.10) и (10.9.10а), видим, что (10.9.16) эквивалентно неравенству
^IPg^ ^^Pgalrt
т. е. неравенству
Вр8<М^р*№ ?А (10.9.17) ggg
так как ^pg=X и все pg положительны. g
Но (10.9.17) — частный случай хорошо известного неравенства Шварца; в нем знак равенства достигается только при ог = .. . = <зт.
Расслоенная выборка объема п из совокупности тс^ для которой ng определяются согласно (10.9.14), называется иногда оптимальной расслоенной выборкой объема п из nN.
Итак, получен следующий результат Неймана (1934):
Пусть nN— конечная совокупность с дизъюнктными слоями ic^, ..., тс^, объемы которых Nb ..., Nm и дисперсии Ор • •> 4 известны. Тогда расслоенная выборка объема п из itN, приводящая к линейной оценке ^(Р*) с минимальной дисперсией среднего значения совокупности icN, определяется объемами ng выборок из слоев, задаваемыми формулой (10.9.14). Дисперсия оценки ^(р.) указана в (10.9.10b). ^(p) и S^p (Р*) одинаково эффективны, как оценки среднего совокупности -kn тогда и только тогда, когда дисперсии слоев равны.
Линейная оценка с минимальной дисперсией среднего значения совокупности при фиксированной суммарной стоимости. На практике часто встречаются ситуации, когда стоимости выбора из различных слоев значительно разнятся между собой. В этих условиях желательно подобрать объемы выборок из различных слоев
так, чтобы минимизировать выражение (10.9.10) для ^(^(р)) при фиксированном значении суммарной стоимости получения выборки. Более подробно, пусть cg — стоимость одного наблюдения в выборке объема ng из слоя icN . Стоимость С получения всей выборки равна С=с\пг-\-. ..-^стпт.(10.9.18)
Легко находим, что минимум ^(©«ЧЮ) ПРИ условии (10.9.18) дости
гается пригдегается пригдеng=CBg, g—т,ng=CBg, g—т,(10.9.19)(10.9.20)(10.9.19)(10.9.20)
гается при
где
гается при
где
ng=CBg, g—т,
ng=CBg, g—т,
(10.9.19)
(10.9.20)
(10.9.19)
(10.9.20)
Отметим, что описанный подход предполагает известными объемы
Nv • ••> Nm и дисперсии а|, ..., 0%, слоев и стоимости сь ..., ст.
При выборе значений ng согласно (10.9.19) будем обозначать ^‘(р) чеРез §«(!*)• Тогда
^ м)=^ (2У w?) - ^2^(10-9-21)
gg
Обобщение результатов на расслоенные выборки из бесконечных совокупностей. Теоремы 10.9.1, 10.9.2, 10.9.3 могут быть очевидным образом перенесены на расслоенные выборки из бесконечной совокупности при условии, что pg и ag сходятся к положительным значениям, a |ig — к конечному пределу, когда Ni^oo, ... ..., ^->оо, g=l, ..., т. Эти обобщения предоставляются читателю в качестве упражнения.
Линейная оценка среднего значения расслоенной совокупности при двухступенчатом выборе
Двухступенчатый выбор. Если совокупность icN состоит из большого числа слоев, то выбор из каждого слоя может оказаться неосуществимым по экономическим соображениям. В этом случае можно воспользоваться двухступенчатой выборочной процедурой, при которой сначала с помощью случайного механизма определяются слои, из которых будет производиться выбор, а затем из каждого из этих слоев извлекается случайная выборка. Данные выборки используются для получения линейной оценки для р,, дисперсии линейной оценки и оценки для этой дисперсии.
Для простоты рассмотрим случай, когда объем каждого слоя кратен некоторому целому числу -и, т. е.
Ng = Mg*4), £=1,..., т. (10.10.1) Будем называть -и выборочной единицей. Тогда g-й слой можно рассматривать состоящим из М8 выборочных единиц. Общее число выбо-
рочных единиц в совокупности itN равно, следовательно, A^-j"--^
-^Мт = М и
N=Mx>.(10.10.2)
Рассмотрим теперь случайный процесс, предложенный Уилксом (1960b) для определения числа выборочных единиц, которое следует извлечь без возвращения из каждого слоя совокупности, при условии, что суммарное число извлеченных выборочных единиц должно равняться и. Предположим этот процесс таким, что каждая из М выборочных единиц имеет одну и ту же вероятность оказаться извлеченной. (На практике это осуществляется с помощью случайных чисел.) Пусть 8g—случайная величина, равная числу выборочных единиц, подлежащих извлечению из слоя ic^. Тогда (8Ь ..., 8т) будет (т— 1)-мерной случайной величиной, имеющей (w— 1)-мерное гипергеометрическое распределение с функцией вероятности
/АГА /М^Х
8т) = 'Ц-^А,(10.10.3)
\и)
где 8j +... Ът = и.
Таким образом, в результате первого шага мы определяем, что выборка объема 8^ должна быть извлечена из слоя *rn , g= 1,..., т.
Второй шаг состоит в извлечении выборок объемов 8^, ..., 8mv из vNV ..., ^Nm соответственно. Эта процедура дает двухступенчатую выборку объема та из совокупности ъ№ которую можно рассматривать как расслоенную выборку, когда слои, из которых осуществляется выбор, определяются с помощью случайного механизма. На практике, когда число слоев велико, многие среди 8Ь ..., 8W равны нулю, так что многие слои не участвуют в выборке. Общее число слоев, из которых извлекаются выборки, равно числу не равных нулю среди 8Ь ..., 8W.
Линейная оценка среднего совокупности. Пусть g^1^)"- следующая линейная оценка для р,:
$-1 ^)_ (M)^i + --- + (8m^)-^т )
т. е.
^*^)=МН^±±»^.(10.10.4)
Имеем
№(^)=2Ц^)-(10лаб)
В соответствии с 3.7.2 для ^=1, ..., tn
8 ^^ = I ®<м tM^ (^ I ML(10Л0-6)
где g^ ^xg | В^) — условное математическое ожидание величины Xg относительно 8^, a g(8^) [ ] — (безусловное) математическое ожидание п0 Но^)(W)=^,
и из (6.1.8) следует, что
^gAM=pg'u-
ПоЭТОМУg (g^‘ (ц)) = £№=р,(10.10.7)
g
так что ©^(р.) оказывается несмещенной оценкой р,.
Дисперсия g^1^) равна
^o^-g ЕС-^—^^)]2=
+2й -^М • <1оло'8) gg
После некоторых преобразований получим
^= ЩЮ) [-^Г- (V + °в)мг2 °4 О °-1 °-9)
g
Обращаясь к (10.9.3), мы видим, что о2 (g2* (р.)) является линейной функцией величин
24 М. 2/*~р-)8.(10.10.10)
ggg
Образуем функции Qb G2, О3 от элементов двухступенчатой выборки, -и ^2:
Oi=28^’ q»=Tn^ Q^=^g^g-r?W. (io.io.li) gg gg
Можно проверить, что g(Gi), g(G2) и g(O3) являются линейными функциями величин (10.10.10), так что существует линейная функция от Оь Gg, G3, несмещенно оценивающая о2^^^))-
Фактически же несмещенная оценка о9^1^)) получается при замене о^> ав и 2°1 в (Ю.10.9) их несмещенными оценками:
8 ГЧ^) = 1ГТЛ^7[у(С1-^)-
g 1 (ay = ^р^Л)Тр/ " [ цо^_ 1) (01 — °2) ”
” ^"t2”(Ю.10.12)
g
Суммируем полученные результаты в виде теоремы
10.1. Пусть itN— конечная совокупность с дизъюнктными слоями гс^, ..., itNm, где Ng = Mgv, g= 1, ..., т и у— заданное целое (выборочная единица). Если из t:n извлечена двухступенчатая выборка из и выборочных единиц, то ^(Р-) будет несмешанной линейной оценкой для среднего значения совокупности t:n. Дисперсия ^х(^) указана в (10.10.9), причем правая часть (10.10.9), с заменой а2^, g^ 2°^ их несмеЩенными оценками (10.10.12), ока-
g.
зывается несмещенной оценкой для о2 (g21 (ц)), когда у 2.
Случай бесконечной совокупности. Если слои представляют собой, бесконечные совокупности такие, что pg и a2g сходятся к 'положительным значениям, a ^g — к конечному пределу, когда Ng~>oo, g= 1, ..., т, то (т—1)-мерная случайная величина (8Ь ..., В^), 8t -р. • •*V^m = u> имеет мультиномиальное распределение с функцией вероятности
Дисперсия ^‘(ц) в этом случае равна
°W(t))=—+^,(10.10.14)
где ° v=S pg°g’^=5 pg ^g—^
g• g
При этом л + у — 1. у2у V1L„
—/—Н7—г—rvG3;—j—гг 7 S-Sa(I0.10.lo)
ип(п-\-Х)1n(n+l) dun(n-V\) Lipg gv 7
оказывается несмещенной оценкой для ^(gg1^)), n = iru. Заметим, что св* = <^-^0 ^) и о^ = ow + О ^^.
Линейная оценка с минимальной дисперсией среднего значения совокупности, когда суммарная стоимость фиксирована. Предположим, что объем выборки гго фиксирован, iw = n, и запишем ^(ёзЧр-)) в виде
оЧ^*М)=^—-^^--в^,(10.10.16)
где
Л = а^,В = ав- — -^ ^ °g■(10.10.17)
g
Из (10.10.16) видно, что, поскольку v должно быть положительным целым числом, значение ч), минимизирующее о2 (§21 (р)), есть »=1, конечно, при условии А-VNB^O и п слоях. Но тогда двухступенчатая выборка из itN сводится к простой случайной выборке объема п из ic^. В частности, заметим, что в этом случае дисперсия
gs^p), задаваемая формулой (10.10.9), приводится к ^—^ о9, где о9 определена в (10.9.2).
Эти рассуждения показывают, что в рассматриваемой ситуации выбор значений и и у не может основываться на критерии минимума бЧ&зЧн)) ПРИ фиксированном значении и-и, так как этот критерий приводит ку=1. В реальной обстановке критерием для выбора и и v может служить такой: минимум ^(^^(р)) при фиксированной суммарной стоимости. Простейшее предположение здесь состоит в том, что стоимость одной выборочной единицы равна Сь а стоимость одного элемента выборки — Q. Тогда суммарная стоимость С бУдетС=С^1^Сч1ги.(10.10.18)
Если о2^1^)) из (Ю.10.9) минимизируется при условии (10.10.18), то, допуская непрерывное изменение и и у, найдем, что минимизирующее значение у — обозначим его у — равно
N
■" =7/" н\, в х. (Ю.10.19)
1+у v+S" N)V+^Nj
где
Q=N^, H^N^—X,(10.10.20)
а А и В определены в (10.10.17). Соответствующее значение и, которое обозначим й, получится подстановкой й вместо -и в (10.10.18) и последующим решением уравнения относительно и. Если в рассматриваемой ситуации ввести обозначение &2с (рО Аля оценки g^fa), т0 ^3(&2с(р)) определится, конечно, формулой (10.10.9) с заменой и и на й и у. Аналогично, если значения й и v подставить вместо и и v в (10.10.12), получим несмещенную оценку для a2 (g^1 (р)). При больших N,
5=^/§+°Ш'(10-,0-21)
c^^Vcaав,
ЗАДАЧИ
Доказать 10.2.1 в случае, когда X— среднее значение выборки объема п из конечной совокупности объема N.
Пусть (хп ... , хп)— л-мерпая случайная величина, среднее значение Xi равно р, дисперсия xt — а2, ковариация каждой пары xt и ху равна ра3. Доказать, что линейной оценкой р с минимальной дисперсией является
п
Показать, что если X и X*— средние значения независимых выборок объемов п и п* из совокупностей со средними р и р' и дисперсиями а2
и а'2 соответственно, то х— X' будет линейной оценкой [л— р/ с минимальной дисперсией.
Пусть Tv ..., Тд — несмещенные оценки параметра 0 с (неособой) матрицей ковариаций || а/у||, для которой ||с^||— обратная; /а ... , 1к— постоянные, сумма которых равна 1. Доказать, что в классе оценок пара- к
метра 6 вида 2 ЦТ^ минимум дисперсии достигается при /z- = 2^/2^,
1= 1, ... , к, и этот минимум равен 1 /У]аЧ
Доказать, что утверждения 10.2.2 остаются справедливыми в случае, когда (хп ..., хл)— n-мерная случайная величина, к. ф. р. которой F (хп ... , х^ симметрична относительно хи ... , хп.
Пусть пп хп з2— объем, среднее значение и дисперсия выборки из совокупности N (р.^ a2), a n2, Х2, s^ — те же характеристики для независимой выборки из Д/(|л2> ®2). Показать, что
(X, — х2) нн t , п . \ 12/ — Л1^_Лз_2, у
являются ЮО^-процентными доверительными пределами для щ—jx2, где («i-i)s!+(ng-l)s«
#1 “Ь ^2*2’
а ^Л1 + лз_2 и 7 определены в (10.2.10).
Доказать 10.3.2.
Показать, что если в 10.3.1 единичные векторы (хи, ... , х1л), ... ..., (хкп -.., хйл) выбраны попарно ортогональными, то линейные оценки S^e^ f=l, ..., к» с минимальной дисперсией для рп ... , Рд соответственно, имеют одну и ту же дисперсию о2, а все ковариации равны нулю.
Обращаясь к 10.3.4, показать, что
служит ЮО^-процентной доверительной областью для (Рр ... , fy^), кг^к, где
значение Рк^ п_к ч выбрано так, чтобы
Здесь dFkl n_k(F)— элемент вероятности распределения Снедекора S(£n п— к).
Доказать, что две гиперплоскости в jRn, параллельные гиперплоскости„
2 ьг=к
6=i
и касательные к сфере радиуса г с центром в точке (аи ... , а^, задаются уравнениями
2/E(^-«t)=±r]/2^1-
Показать, что с вероятностью 7 неравенства
5 с А — 8 |/ 5 °UCiCj < 2 С'^ < 2 Cibi + 8 ]/2 аИС1С)
для всех вещественных векторов (сп ... , с^, отличных от нулевого, выполняются одновременно, где
82(п — к) Рк.п-М>
bv р., Sj и Fk n_k определены в теореме 10.3.4 и (10.4.4).
Пусть (яп ... , и^ имеет распределение М({|л/}; || ®zy||)> вектор (р.п ... , ^) неизвестен, а матрица || сг^Ц известна, уД 7 — 1607-процентная точка '^-распределения с к степенями свободы. Доказать, что с вероятностью 7 неравенства
S С^^3 7 1/” 2 aijcicj< 5 CiUt ^ S С^1 + ^^з 7 1/"S aijC^CJ
iV i,JiiV i, j
выполняются одновременно для всех вещественных векторов (q, ... , с^> отличных от нулевого.
Вывести формулы (10.6.5) и (10.6.6).
В задаче 8.20 показать, как получить 1007-процентный доверительный интервал для р.
Вывести (10.6.15) и (10.6.16).
Сформулировать аналоги 10.6.1, 10.6.2 и построить таблицу дисперсионного анализа в Модели I для полного трехфакторного плана эксперимента..
Сформулировать аналоги теорем 10.6.1 и 10.6.2 и построить таблицу дисперсионного анализа в Модели I для плана латинского квадрата.
Построить таблицу дисперсионного анализа в Модели II для неполного сбалансированного двухфакторного плана эксперимента, описанного в § 10.8 (Ь).
Проверить, что оценки (10.8.6) компонент дисперсии для неполного сбалансированного двухфакторного плана эксперимента переходят в оценки (10.8.4) для полного двухфакторного плана, если s' = s и г'==г.
Написать оценки, соответствующие (10.8.4), и аналог таблицы 10.2 для случая конечных совокупностей из Nt уровней фактора R и N2 Уровней фактора С.
Построить таблицу дисперсионного анализа в Модели II для полного трехфакторного плана эксперимента.
Построить таблицу дисперсионного анализа в Модели II для плана латинского квадрата.
Пусть в полном двухфакторном плане эксперимента в Модели I ^ = 0, ^=1, ..., s, тогда план можно описать как s повторений полного
S*
однофакторного плана. Показать, что в этом случаеивляется не“
смещенной оценкой о3, где S* = S„-|-So. W- Предполагая нормальность рас-
пределения, как в 10.6.2, показать, что 1007-процентными доверительными интервалами для р и в этом случае будут
Доказать далее, чго (г—1)-мерная сфера
^ (r* ^-У— г ^|) 5^ • Fkr-1^ r (s-1)
при условии, что 2 Са> — те.) = 0 накрывает (^ рг.)с вероятно-
е=1
стыо 7.
Пусть в полном трехфакторном плане эксперимента в Модели I все р..с, Р*.^, Р^с равны нулю, тогда имеем t повторений полного двухфактор- ного плана из г строк и s столбцов. Показать, что в этом случае ^ (/' —1)] будет несмещенной оценкой а2, где S* ==S... + So.,(O) + S.o. (O) + Soo. (0). Показать также, что величины
^8*. ^s..o(^.),l^^.)
независимы и имеют //-распределения с rs it— 1), (г—1) (s — 1), (г—1), (s— 1) степенями свободы соответственно. Построить таблицу дисперсионного анализа в Модели I для проверки гипотез: (i) что все ^ф равны нулю; (И) что все р^., равны нулю, (Ш) что все р.^ равны нулю.
Обращаясь к § 10.6 (Ь), доказать, что с вероятностью, не меньшей 7, доверительные интервалы
(т^. — т^.) + 6 У
одновременно накрывают (р^—Р^.), 6^6'= 1, ... , г соответственно, где
a Fr_v (г-н (s-п т — 1007-процентная точка распределения Снедекора S(r—1, (г-Г) 6-1)).
Пусть Хр ..., хк и sf, ... , s| — средние значения и дисперсии не
зависимых выборок объемов nv ... , пк из совокупностей N (рп а2), ..., N (р^, о2) соответственно. Доказать, чго с вероятностью, не меньшей 7, доверительные интервалы (xt— ^у) ±: 8 j/"^--[--^- одновременно накрывают соответствующие значения (^ — ру), Z>y=l, ... , к, где
82 = ^ №1 -!) Sf + ••' + ^ - V 41Fк, п-к, т
a F^ п-к. 7 — ЮО 7-процснтная точка распределения Снедекора S (к, п— к).
В обозначениях §§ 10.5 (с), 10.6 (а) показать, что с вероятностью, не меньшей у, неравенства
(^• — ^,-)— D < (f^.—i^,-) < (х,. —^,.)4-Z)
выполняются одновременно для всех ^^^=1, ... , г—1, где
^— Rr-s. (г-1) (S-D, т^— Rr-s. (г-1) (S-D, тrs (г— 1) (s —rs (г— 1) (s —1) •1) •
^— Rr-s. (г-1) (S-D, т
^— Rr-s. (г-1) (S-D, т
rs (г— 1) (s —
rs (г— 1) (s —
1) •
1) •
В обозначениях §§ 10.5 (с), 10.6 (Ь) показать, что при фиксированном V] с вероятностью, не меньшей у, выполняются одновременно неравенства
(m . — т d — Dcty., д <(т . — т .)+/)$7]$'7) 74 $7)Г£'Т} '4$7}$'71 7 1
(r-2) S..rst (r — 1) (t — 1) •(r-2) S..rst (r — 1) (t — 1) •для всех £ ^£ $' = 1, ... , г, где
(r-2) S..
rst (r — 1) (t — 1) •
(r-2) S..
rst (r — 1) (t — 1) •
D ~ Rr-^ kr-ius-iHi-t^^
В ситуации § 10.9 (а) предположим, что объемы, средние значения и дисперсии слоев неизвестны и используется следующая схема двойной выборки. Сначала извлекается простая случайная выборка объема г из и^ в которой оказывается гп ... , гт элементов из слоев к^, ... , л^ соответственно. Затем извлекается расслоенная выборка объема п из itN так, что п^ —п, пт =п элементов извлекаются наудачу из слоев тс„ , ... , тс _ соответственно. Пусть
W Nm J
g
где xg — среднее значение выборки объема ng из к^ . Показать, что X’— несмещенная оценка среднего значения р, совокупности i^N и дисперсия X’
равна
°2 (х')°2 (х')
°2 (х')
°2 (х')
_ г (N — п — 1)+п
~ rnN ^
т
rN в rnN(N—\) g = 1
{Продолжение). Пусть N достаточно велико, так что можно пренебречь членами порядка ^, тогда
СО =СО =°U7'П°U7'П
СО =
СО =
°U7'П
°U7'П
где a^r„ а-в, определены в (10.10.14). Предположим, что стоимость извлечения одного элемента первой выборки сп а одного элемента второй с2. При фиксированной суммарной стоимости c — ctr -V сйп определить выбор г и п, минимизирующий а2 (х').
Пусть (хп ... , хп)— выборка из совокупности со средним значением р. и дисперсией а2, а и — произвольная линейная несмещенная оценка р. Показать, что коэффициент корреляции между X и и равен ^ ^ .
Пусть Lx и L^—две линейные несмещенные оценки среднего значения совокупности, построенные по одной и той же выборке. Предположим, что дисперсии Lt и L^ равны а| и а|, а коэффициент корреляции между Lv и Z,2 равен р. Определить постоянные сх > 0, с2>0, f1-j-c2 = l так, чтобы c1L1 -J- c2L2 имела минимальную дисперсию.
Пусть и, х, s2— объем, среднее значение и дисперсия выборки из нормальной совокупности. Показать, что с вероятностью 7 результат следующего независимого наблюдения над этой же совокупностью попадет в интервал х ± ^_ь 7 s "|/~ — ^- , где tn_u т определена в (10.2.10).
Поправки Шеппарда для моментов. Пусть хи ..., хп— выборка из совокупности с п. в. / (х); h— сл}чайная величина, не зависимая с (хи ... , х^) и имеющая равномерное распределение R^ Ъ). Образуем интервалы Itt=^h-\-M^-6, А —|— ^ос —|—^)> « = ..., —2, — 1, 0, -|-1, •♦• и пусть па — число элементов выборки, попавших в /в. Величина
равняется r-му выборочному моменту, если элементы выборки округлены до ближайшего кратного 8, причем начало h выбирается «случайно». Показать, что характеристическая функция <р (Z) величины NVr g равна
dh.dh.
dh.
dh.
где ра = ^f(x)dx. Пользуясь этой характеристической функцией, показать, что
(^1, б)—Р-р$ (^2, б)—Р-гН" у2»& (^з, б)—Из Ч ^,
и вообще
где р.р ц», ... — моменты случайной величины х и
4-00
8 ^ ±у 8 j = ^ ^ + У 6 )/ (х) dx.
— ОО
Следовательно, Мр5, М2> 8^, ^з, 8 — ^Ьб-д-, ••• будут несмещенными
оценками для Цр [Лд, ^3, ... [Шеппард (1898)].
Пусть функция /(хп ... , х^ такова, что 0 </(хп ... , х&) <0^ в ^-мерном параллелепипеде /к = Цхп ... , х^): 0^х<^аь /=1, ... , Л}.
Тогда интеграл "1 ак '
/ = б jx^dxi dXk
существует. Предположим, чтол;^,..., х^^ — независимые случайные вели
чины с равномерными распределениями R ^ аи а^ , ... , R ^ а^.и ,ад+1) ,
6=1, ... > п. Образуем случайную величину
Г 1, если xvkw^f(xlv ... , х^,
5 to, если х(й+11£>/(хц, ... , хк^,
6=1, ... , и, и положим п
2=lyz_.
п <
Показать, что («! ... а*+1) 5 служит несмещенной оценкой / с дисперсией, не превосходящей1
4п *
ГЛАВА 11
НЕПАРАМЕТРИЧЕСКОЕ
СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
Вводные замечания
В главе Юмы рассматривали задачи построения линейных и квадратичных оценок таких параметров конечных и бесконечных совокупностей как средние дисперсии, ковариации и коэффициенты регрессии. Как мы видели, процесс линейного оценивания, на котором основываются эти оценки, является сравнительно простой процедурой, требующей лишь мягких условий на входящие в оценку случайные переменные, а именно нужна конечность средних и матрицы ковариаций этих переменных.
В этой главе мы будем рассматривать другой класс довольно простых оценок для квантилей к. ф. р. изучаемых совокупностей. Как мы обнаружим, эти оценки не зависят от функциональной формы к. ф. р. совокупности, из которой извлечена выборка. Оценки этого типа иногда называют непараметрическими оценками, чтобы противопоставить их параметрическим оценкам, обсуждаемым в главе 12. Параметрические оценки, как мы увидим в главе 12, встречаются в задаче оценивания неизвестных параметров к. ф. р., имеющей специальную функциональную форму и зависящей от этих параметров.
Основные случайные переменные в непараметрическом оценивании— это определяемые выборкой порядковые статистики (вариационный ряд) и определяемые ими доли. Выборочная теория вариационного ряда и долей обсуждалась в § 8.7, и некоторые ее результаты используются в последующем изложении.
Доверительные интервалы для квантилей
Случай малых выборок. Пусть мы имеем бесконечную совокупность с непрерывной к. ф. р. F ^ху Сначала мы будем рассматривать задачу построения доверительных интервалов для данной квантили хр по вариационному ряду выборки из F(xy
Более подробно, пусть (хъ ..., х^ — выборка из F(x) и (х(1),... ..., х^ — вариационный ряд (порядковые статистики) этой выборки, определенный в § 8.7. Пусть х^ и х^^^— две любые порядковые статистики. Мы знаем из 8.7.3, что случайные переменные u = F ^х^У *и = р ^х^^^, равные суммам долей, подчиняются двумерному рас-
пределению Дирихле D* (Ар А2; п — kv — А2 -j- 1), следовательно, в. э. случайной величины (п, у) равен
/(w, у) du (fo —
= Г (А,) Г (А„) Г (и — — Йо + 1) “^ 1 (» — «) *2 1 О ~ у)" 41 *2 dll dv
(11.2.1)
при O^z^^^^l и равен 0 при других значениях и и -и. Рассмотрим теперь неравенство
F (+(«,)) <P<F ^('ч^)-(11.2.2)
Так как F(x) непрерывна, (11.2.2) выполняется тогда и только тогда, когда
(11.2.3)
Следовательно, вероятность выполнения (11.2.3) равна вероятности выполнения (11.2..2). Поэтому можно написать
1 р
р(^(б1)<:Кр<+(б1.|.й2)) = $ ^/(и, v)dudv. (11.2.4) р о
Ио f
$$/(«> и) du dv^ ^ f(ii, v)dvdu — ^ §/+ ^dudu. (11.2.5) p0Ou00
Делая замену переменных и = г, у = 1 — s (1 — г) в первом интеграле правой части (11.2.5) и u = rs, *u = s во втором, находим ^(^1)<^р<^Ц-62)) = /р(*1’ « — *1+0 —
^р(*1'~I-*2> «*1 — *2~Н0>(11.2.6) где Ip(^v v2)— неполная бета-функция
р
Как следует, в частности, отметить, вероятность того, что интервал (x(fel), х(Л1+*2)) содержит квантиль хр, не зависит от F(x\ поэтому этот интервал является доверительным интервалом для хр при доверительной вероятности, равной правой части (11.2.6).
Результат можно сформулировать следующим образом.
Если (хр ..., х^ — выборка из распределения с непрерывной к.ф.р. F^ и если х^ и х^^к^— кгя и (кх-\-к%)-я порядковые статистики этой выборки, то (x(fel), х(^1+д2))— доверительный интервал для квантили хр при доверительной вероятности 1р(кь п— At—}— 1) — 1р^к\А~^> п—^i — ^2+О»
Нужно заметить, что, поскольку kv и к^ — (положительные) целые числа, доверительные интервалы для хр можно найти, используя ва-
риационный ряд, лишь для таких доверительных вероятностей у, которые принадлежат области значений правой части (11.2.6). Можно, конечно, построить доверительные интервалы, для которых доверительные вероятности не менее у для определенных областей значений *[. Более того, две выделенные порядковые статистики произвольны: (11.2.6) справедливо для любых двух членов вариационного ряда х^^ и -^(А1+й2)- Обычно для данного 7 выбираются две порядковые статистики с наиболее близкими номерами, т. е. выбираются кх и к^ так, чтобы Л2 было как можно меньше. Например, при построении доверительных интервалов для медианы х05 обычно выбирают наибольшее значение к, для которого
^ (*^(6) < ^Еол < -^(п_^+1)) ^ Т* 0 *2.8)
Наир (1940) табулировал величины к, для которых выполняется (11.2.8) при п = 6, 7, ..., 81 и ^ = 0,95 и у = 0,99. Точное значение вероятности P(x(fc)<Jc0 B<^(„_6+1)) равно 1—2/од(А, и —£+1), как независимо обнаружили Томпсон (1936) и Сэйвер (1937).
Случай больших выборок. Пусть (хъ ..., х^ — выборка из совокупности с непрерывной к. ф. р. F(x) и хр— квантиль, отвечающая уровню р. Если пх — число компонент выборки, меньших хр) то #1 — случайная величина, распределенная по биномиальному закону Bi (я, рУ Мы знаем из 9.2.1а, что для больших п статистика пх распределена асимптотически по закону N(np,np(\—р)). Следовательно, для данной доверительной вероятности у мы имеем
\ Vnp(\-p) 1 '
где
2,”^ = т. (11.2.10)
Таким образом, для больших п приближенный 100 ^-процентный доверительный интервал (/?т, рч) для р образован множеством всех значений р, удовлетворяющих неравенству в (11.2.9) для фиксированных пъ п и _ут, т. е. рч и р^ являются двумя решениями уравнения
относительно р. Поэтому для больших п
р^<р<Р^^(11.2.12)
(11.2.13)(11.2.13)что эквивалентно равенству
(11.2.13)
(11.2.13)
р (-Ч^ <С ^р^ x\npV> = т-
Итак, две порядковые статистики (^([^]), х^п~ 1)) образуют приближенный 100 ^-процентный доверительный интервал для квантили хр, где Упр^ и [пр7] — ближайшие целые соответственно к пр^ и npv
Доверительные интервалы для интервалов квантилей
Пусть хР1<^Хр2 — любые две квантили, х^ и х(^1+^2) — две порядковые статистики выборки объема и. Тогда аналогично тому, как мы вывели (11.2.4), мы найдем
pi 1
^(x(*i)<C^Pi<^p2<x(*i+*2)) = S \ f(u, ^dud-o; (11.3.1) .0 Ра
левую часть можно переписать в виде
Р^ЛрР ^р^СК^^ЧУ -^(^1+^2))) =
= Ц 2 IHiTijT(11.3.2)
t = 0“
Если для данного у существуют такие величины Ль Л2 и л, что вероятность, выраженная равенством (11.3.2), принимает значение 7, то мы будем говорить, что (jc^, jc^.^)—100 ^-процентный внешний доверительный интервал для интервала квантилей (хРр хР2\
Аналогично 100 ^-процентный внутренний доверительный интервал (х^ку х^1.ъ^) для (хрр хр^ определяется, исходя из соотношения
,pa -у
Р(^pi<*^(М^*^(^11-^2)^^ps)™ $ §/(м> 'o)dudvi (11.3.3) pi Pi
где hv к^ и п имеют значения, при которых вероятность (11.3.3) равна у и f(u, у) определена по (11.2.1).
В случае внешнего (внутреннего) доверительного интервала за «наилучшие» кх и к^ принимаются такие, при которых к^ минимально (максимально). Например, если pY—p, р%=1—р, 2р<^1, можно показать, что «наилучшему» в указанном смысле выбору kY и к% как для внутренних, так и для внешних доверительных интервалов отвечают статистики х^ и х^^-ц.
П.4. Доверительные интервалы квантилей конечных совокупностей
Пусть *kn — конечная совокупность с N различными значениями •Voi <\. .<^x0N. В §8.8 было показано, что ф. в. к-й порядковой статистики х^ выборки объема п из nN равна
^N, п, k (О^N, п, k (О(11.4.1)(11.4.1)
^N, п, k (О
^N, п, k (О
(11.4.1)
(11.4.1)
причем точки сосредоточения вероятностей для величин х^ равны х0/, t = k, А—|- 1, ..., N—п-\-к* Для любого фиксированного значения t, скажем f,
Р^х^х^ — 2 Pn, n. к (О-(11.4.2)
t = к
Если для фиксированных N, гц V и у^>0 существует наибольшее к, скажем к', такое, что
5(11.4.3)
t = к'
мы будем рассматривать х^ как «наилучший» нижний 100у-про- центный доверительный предел для х0^. Мы можем рассматривать хм, как квантиль совокупности ^ отвечающую уровню f/M Как можно показать, такие доверительные пределы существуют для фиксированных величин, за исключением неинтересных малых значений N, л, t и 1 — у. *
Подобным же образом «наилучший» верхний 100 у-процентный доверительный предел для xot< получается выбором наименьшего к, скажем кг\ для которого
N-n-Vk”
2<>N.n,k"^^.(И-4.4)
t = v
Можно также выписать «наилучший» 100 у-процентный доверительный интервал для х0^, т. е. одновременно верхний и нижний доверительные пределы, однако при этом ф. в. оказывается более громоздкой, чем ф. в. pN> п> к (fy и мы не будем ее выписывать.
Можно показать, что если в совокупности *aN элементы х принимают различные значения х01<\. .<^xovv, а х^ и х^1+^2) — указанные порядковые статистики выборки объема п из ^, то
Нт Р (^i) < ^о uw < ^(»i+»8)) =
= /p(Ai, п — А, —|— 1) — Ip^ki-Vkh и — Aj — А3 —|— 1). (11.4.5)
Таким образом, для больших N интервал (x^j, х^1 + ^2)) является доверительным для х^^ с доверительной вероятностью, примерно равной правой части (11.4.5).
Толерантные пределы
Случай малых выборок. Пусть (хъ ..., х^ — выборка из совокупности с непрерывной к. ф. р. F(x) и Ьх^хъ ..., хл)<^ < £2 (хъ ..., х^ — две любые симметричные функции наблюдений (хь ..., хп\ такие, что распределение величины F(£2)— Р(Ц) не
зависит ОТ F ^ и для О <С ₽ <С 1
Р [(F(Z.3)-F (А,)) ^р] = т- (И-5.1)
Тогда Lx и L^ будем называть 100 ^-процентными независимыми от распределения толерантными пределами на уровне у. Это понятие ввел Шьюарт (1931).
Как было показано Уилксом (1941, 1942), порядковые статистики можно использовать для независимых от распределения толерантных пределов, если F^ непрерывна. Чтобы увидеть это, допустим, что (х(1), ..., х^— вариационный ряд выборки из неизвестного распределения с к. ф. р. F(x\ Для любых двух порядковых статистик х^у х^к^ь^ вероятность, сосредоточенная в интервале (х(/г1), х^^^), сосчитанная по данному распределению, является случайной величиной, которую мы обозначим ^2. Из § 8.7 (Ь) видно, что Uk> равна сумме Л2 долей и что
1/&2 = ^С^и-м) ^ (x(*i))* (11.5.2)
Как следует из 8.7.6, Uk2 имеет бета-распределение Be (Л2, п — Л2 -|- 1), конечно, не зависящее от к. ф. р. F(x) совокупности. Теперь допустим, что для данных значений р^О и у^>0 существуют и, кг и Ло такие, что
^(^2^Р) = Т (11.5.3)
Тогда х^ и x^1+^— ЮО p-процентные независимые от распределения толерантные пределы на уровне у. Заметим, что Uk2 — частный случай выражения F(L^)— F(Lx) в (11.5.1). Роббинс (1944 b) показал, что, если F(x) абсолютно непрерывна, т. е. имеет производную, то Lx и L^ — необходимо члены вариационного ряда.
Пусть kY = c и к^ = п— 2с “Р 1, что делает интервал симметричным относительно вариационного ряда. Если использовать обозначение неполной бета-функции, то (11.5.3) сведется к
1 — 1Дп — 2с + 1, 2с) = т. (11.5.4)
Для фиксированного с может не существовать такого объема выборки п, чтобы это равенство выполнялось точно. Однако, так как сосредоточенная в интервале (1—е, 1) вероятность, рассчитанная по бета-распределению Be (п— 2с + 1, 2с), для любого £^>0 может быть сделана как угодно близкой к 1, если взять достаточно большое п, существует наименьшее п, для которого
1 —7р(я —2с+1, 2с)^т. (11.5.5)
Например, если irfbi выберем ^ = 0,99, у ==0,95 и с=1 (т. е. А,= 1, кг = п—1), найдем п = 473. Мёрфи (1948) табулировал и представил в графической форме значения р, для которых (11.5.3) выполняется Прии=1 (1)10(10) 100(100)500, f = 0,90,т = 0,95,f = 0,99 и
п — k^ + 1 = п = 1 (1) 6 (2) 10 (5) 30 (10) 60 (20) 100. Сомервилл (1958) расширил таблицу Мёрфи.
Понятие независимых от распределения толерантных пределов для одномерных распределений с непрерывными к. ф. р. обобщается на случай многомерных распределений с непрерывными к. ф. р. Пусть мы имеем выборку объема п из бесконечной совокупности с непрерывной ^-мерной к.ф.р. F(xb ..., хк\ Пусть ^-мерное выборочное пространство (хь ..., хк) разбито на (/г4~0 не имеющих общих точек и заполняющих все пространство выборочных блоков В&\ ..., B^ + 1) с помощью упорядочивающих функций, как это описано в § 8.7 (с). Возьмем любое правило выбора некоторых г из этих блоков и обозначим их объединение Тг Пусть сумма долей для выбранных блоков будет Ur т. е.
Ur=\d,P(хь ..., х^.(11.5.6)
Тг
Тогда Ur — случайная величина, и из 8.7.9 следует, что Ur имеет бета-распределение Be (г, п— г+О- Если для данных р>0 и т^>0
—(11.5.7)
то Ur можно назвать ЮОр-процентпой независимой от распределения толерантной областью на уровне у. Если для любого фиксированного положительного целого с мы выберем г = п — 2с~рЬ то (11.5.7) сводится к (11.5.4), к тому же уравнению, котороемы имели для одномерных толерантных пределов.
Случай конечных совокупностей. Если f выбрано так, что fjN=l— р, то (11.4.2) можно переписать в виде
^(А') ^ хо (лг (1 - ₽)))Т-(11 -5-8)
В этом случае можно рассматривать ху^ как 100 ^-процентный нижний толерантный предел на уровне у, т. е. с вероятностью, не меньшей 7, доля элементов тс^ значения х которых превышают х^ равна р.
Аналогично, если f — ^N, мы можем переписать (11.4.4)
Р (х^,^ 5? -^о(^)) ^ Ъ(11-5.9)
т. е. Ху^—100 p-процентный верхний толерантный предел на уровне у.
Ясно, как определить 100 ^-процентный толерантный интервал на уровне у..
Если для большей совокупности t:n, элементы которой принимают различные значения х, мы обозначим ^2< N часть величин х, лежащих в интервале (х(Л1), Jt;^-}-^)), можно показать, что предельное распределение Uka,N ПРИ N-^co — Be (^2, п— А24"1)- Следовательно, при больших N указанный интервал является приближенным 100 р-про- центным толерантным интервалом на уровне 7.
Односторонние границы для непрерывной функции распределения
Одной из основных проблем применения выборочной теории вариационного ряда к статистическим выводам представляется построение функций F^(x) и F^(x) по выборке из совокупности с непрерывной к. ф. р. F(x) таких, что для данного у
Р (Fn (хА ^ F (х) для всех х) = т,
х(11.6.1)
P(Fn(x)^F(x) для всех х) = у.
Такие функции Fn (х) и Fn (х) будем называть соответственно верхней, и нижней 100 ^процентной доверительной границей для F(x).
Асимптотическое решение этой проблемы для больших п было первоначально получено Смирновым (1939а). Позднее Бирнбаум и Тинджи (1951) получили сравнительно простое точное выражение для вероятностей (11.6.1), которое мы и приведем).
Пусть (X(t), ..., х^ — вариационный ряд выборки из бесконечной совокупности с к. ф. р. F (х). Эмпирическая к. ф. р. Fn (х) строится по вариационному ряду следующим образом:
F„W =F„W =1 = 2, ...,п,(11.6.2)1 = 2, ...,п,(11.6.2)
F„W =
F„W =
1 = 2, ...,п,(11.6.2)
1 = 2, ...,п,(11.6.2)
Для 0 <^ d < 1 и любого х пусть
(11.6.3)(11.6.4)(11.6.3)(11.6.4)Fn(x, d) = min [F„ (х) + d, 1],F„(x, <Z) = max [F„ (x)— d; 0]
(11.6.3)
(11.6.4)
(11.6.3)
(11.6.4)
£>J (d) = sup (F^ (x, d) — F (x)),
Dn (d) = inf (F„ (x, d) — F (x)).
X
Заметим, что P фп (d) > 0) — вероятность того, что график F„(x) + d нигде не имеет общих точек с графиком F(x); аналогично Р фп (d) < 0) — вероятность того, что график Fn(x)— d не имеет общих точек с графиком F(x).
Основной результат Бирнбаума и Тинджи можно сформулировать так:
1L6.L Пусть (х(1), ..., х^ — вариационный ряд выборки из совокупности с непрерывной к. ф. р. F (х), Fn (х, d) и Fn (х, d) —
построены, из эмпирической к. ф. р. Fn^ по формуле (11.6.3).
Тогда Рфи<1У>^ = Рфп^^где
[л(1-^1 , х
/ \n-i /; \ z-1
^„№=1-^ 2 M(i-^-y (rf+y <iL6-5>
Z = 14 '
и [n(l—rf)] — целая часть числа п(1—d\
Чтобы доказать 11.6.1, перейдем сначала к новым случайным переменным у(1), ..., у^ по формуле
У(е) = ^ (-^Q))»^=b(11.6.6)
Тогда мы знаем из (8.7.2), что _у(1), ..., у^ имеют в. э., равный
п\ dyw... dyw(11.6.7)
в области О <0(1) <•.. <^У{п) < 1 и О ПРИ Других значениях переменных.
Сначала рассмотрим Р фп (d) > 0). Очевидно, что вариационный ряд х(1), ..., х^ будет удовлетворять неравенству Dn^dY>^ тогда и только тогда, когда вариационный ряд j^, ..., у^ удовлетворяет следующим неравенствам:
У(е_1)<Ле)<"^ Vй’ 5=1^+1,(Ц.6.8)
У(Е-1)<Л£)<1>е = ^ + 2п,
где к — целая часть числа и(1 —d) и _у(0) = 0. Аналогично В7г(ф)<^0 удовлетворяется в том и только том случае, когда
^-<t<Ao<3W г — п — к, п, (пбд) °О(6)О(№). $=1> и —^ + 1,
где j/(zl+1)= 1. Но если сделать замену переменныху^ = 1 — Хд_$ч-1)> 6=1, ..., п, то случайная величина (^п? • ••> У<гф будет иметь в. э. (11.6.7) и неравенства (11.6.9) сведутся к (11.6.8)., Следовательно, Р фп (d) > 0) = Р фп (d) < 0). Общее значение этих вероятностей, обозначим его Рп№, получается интегрированием в. э. (11.6.7) по области, определяемой неравенствами (11.6.8) и принадлежащей области 00(1)<...<^(я)<1, т. е.
Р„ (d) = ni Qn (k, d),(11.6.10)
где
dVd ^d i i
G»№^) = $ S ••• S S ••• S ^yw...dyw. (11.6.П)
Интегрируя по >(л), ..., .у^у находим
^^^ $ S (1(7-t-Vr^(и.6.12)
° ЛиУ^
Отсюда значение О„(А, </) можно найти по индукции. Так, интегрируя по _y(W) в О„(Д—|— 1, d), найдем
Л d ^П”-^1
Qn (к + 1, ф = Gn (A, d) - A(-^.^Н„ (к, d\ (11.6.13) где
d^ + d ^ + d
Н^к, d) = \ $ ... $ d^v^y (11.6.14) 0 -V(l) У;к>
Опуская детали математической индукции, находим
№ ,9=-^-^ 2 (-ly^f^+^t^)6, (П.6.15)
что можно записать в виде
НДк, <0 = —^^^{А ' п ) [(1_е л) —(11.6.16)
Но
{S" ^^ + "^' ~ ^ ZJA+,}<-» = 01(1L6J 7)
Поэтому
Подставляя значение Hn(k, d) в (11.6.13) и замечая, что
ол(0, <0=^—^^ол(0, <0=^—^^(11.6.19)(11.6.19)
ол(0, <0=^—^^
ол(0, <0=^—^^
(11.6.19)
(11.6.19)
находим по индукции значение Qn^ d\ Подставляя O^^, d) в (11.6.10) и замечая, что к — целая часть числа л(1—d), мы завершаем доказательство 11.6.1.
Бирнбаум и Тинджи табулировали значения d, для которых Pn(d) = ^ при 7 = 0,90; 0,95; 0,99; 0,999 и п = 5, 8, 10, 20, 40, 50. Для значений п, превышающих 50, асимптотическая аппроксимация Смирнова (Н.6.22) дает хорошее приближение для d^
Теперь рассмотрим предел Рп(^ при /г-^оо. Положив d = -—t У п можем переписать (11.6.5) в следующем виде:
[« —ZnX]/ А
\V П) I ^V/\ Vn п) \К л ”//
(11.6.20) где Ду = —. Применяя приближение Стирлинга для больших факториалов (7.6.29), можно убедиться в том, что сумма в фигурных скобках сходится к интегралу
1Х2-—в ^^ — ^ Дм1Х2-—в ^^ — ^ Дм(11.6.21)(11.6.21)
1Х2
-—в ^^ — ^ Дм
1Х2
-—в ^^ — ^ Дм
(11.6.21)
(11.6.21)
при я —>• оо, который после интегрирования дает
1 —2X2 х е
Таким образом, имеем следующий результат:
В условиях 11.6.1
(11.6.22)(11.6.22)\1— 2X2
(11.6.22)
(11.6.22)
11Ш Р„ -— = 1
п^оо \Уп]
Этот результат был первоначально установлен Смирновым (1939а), но более прямой вывод его из (11.6.5) дал Демпстер (1955).
Доверительные полосы для непрерывной функции распределения '
Задача нахождения двусторонних границ, или доверительной полосы, для F(x\ т. е. определения вероятности
Рфп<А(11.7.1)
где
Z)„ = sup | F„ (х) — F(x)|,X
для произвольного Д более трудна, чем задача установления односторонней границы, обсуждавшаяся в предыдущем параграфе. Колмогоров (1933b) дал асимптотическое решение проблемы для больших п и рекуррентные формулы, по которым можно сосчитать величину (11.7.1) для конечных п. Вальд и Вольфовитц (1939) дали решение для конечных п в детерминантной форме. Позднее Масси (1950) нашел довольно простое решение проблемы, если п конечно и Д кратно -i-. Его решение имеет вид рекуррентных формул, которые мы здесь и приведем. Результат Масси можно сформулировать так.
1 \. , — с ф. в.п )1 \. , — с ф. в.п )деление м(п: — \ пделение м(п: — \ пр(гь ..., г^— ^ ,Гп\ппр(гь ..., г^— ^ ,Гп\пп(11.7.7)(11.7.7)
1 \
. , — с ф. в.п )
1 \
. , — с ф. в.п )
деление м(п: — \ п
деление м(п: — \ п
р(гь ..., г^— ^ ,Гп\пп
р(гь ..., г^— ^ ,Гп\пп
(11.7.7)
(11.7.7)
Пусть (Х(!), ..., х^— вариационный ряд выборки объема п из совокупности с непрерывной к. ф. р. F (х) и
Dn = sup\Fn(x)-F(x)\,(11.7.2)
X
где Fn(x) определяется по (11.6.2). Тогда
Р^рп<^ = ^пи^, п\ ^=1л-1,(11.7.3)
где U(j, лг-|~О> /=12А— 1; т = 0, 1, ..., п— 1, удовлетворяют системе уравнений
(/и, „+1)='2Т^У5Г(11.7.4)
с граничными условиями
U(i, т) = 0,i^m-^k,
£7 (t, 0) = О, Z= 1, ..., k — 1,(11.7.5)
U (6, 0)=l.
Докажем этот результат. Пусть (хъ ..., хп)— выборка из распределения с непрерывной к. ф. р. F(x). Для удобства произведем замену переменной y = F(x\ Случайная величина у имеет равномерное распределение R^» 1) на интервале (0,1). Пусть G(y) — к. ф. р. величины у и Gn (у) — эмпирическая к. ф. р., построенная по вариационному ряду (_У(1), ..., „У(п))‘ Само собой разумеется, что
(11.7.6)(11.7.6)Р (оп < 4) = Р (sup I О„ (у) - ОМ I < AV
(11.7.6)
(11.7.6)
Разделим интервал (0,1) на п равных интервалов ^ = ^——, ~j, 6=1, ..., п. Пусть случайная величина (п, ..., г^ (вырожденная, удовлетворяющая условию rv +.. * + Гд=и) указывает, сколько элементов выборки (jn ...,>п) попали соответственно в 1Ъ ..., 1п. Величина (гь •••, Гд) имеет, очевидно, (и—1)-мерное полиномиальное распре
и однозначно определяет Gn(y\ Поэтому P\Dn<^ — J находится суммированием p(rv ..., rn) по всем точкам выборочного пространства (rv ..., гл), для которых |(?д(^)—О(^)К^- Для всех у. Если Двигаться слева направо по графику Gn(y\ лежащему полностью внутри полосы Е, для которой | Gn (у) — G (у) | при у = ~, 1,
IV IV lv IV
то график должен проходить через одну из точек (~,—1—1,
1, ..., 2Л — 1. Назовем эти точки Д (/, zn), 1 = 1,..., 2Л— 1. Пусть
(И-7.8)
где ^ означает суммирование по всему множеству значений ^гь..., гп\ (0
для которых график Gn(^) приходит в А(ц т\ оставаясь внутри полосы Е. Тогда, так как Оп(^) не убывает, график может достичь Л(/, ^ + 1), только пройдя через одну из точек Д(1, т\ Л (2, т\ ... ..., Л(/+1, т\ причем гт+1 примет соответственно значения у, /—1, ..., 1, 0. Следовательно, мы должны иметь -
UU, /„ +1)UU, /„ +1)(11.7.9)(11.7.9)Щ', т) , и^ т) ,, ^/(./+1, т)
UU, /„ +1)
UU, /„ +1)
(11.7.9)
(11.7.9)
Д (7-1)!0!
для /=1, 2, 2А—1 и т = 0, 1, ..., п—1, причем, конечно, UQ, уп) = 0, если l^yn-\-k. Более того, очевидно, что tZ (Z, ^удовлетворяет следующим граничным условиям:
(11.7.10)(11.7.10)U^ 0) = 0,/=1, ..., к— 1,
(11.7.10)
(11.7.10)
U (к, 0)=1.
Если решить систему разностных уравнений (11.7.9) для U(k, п) с граничными условиями (11.7.8), мы получим для P^Dn<^-^ формулу (11.7.3), что и доказывает 11.7.1.
Значения Р (ип < ~Д для п = 5(5)80 и к =1(1)9 были табули
рассчитал величинырассчитал величиныРРрованы Масси, и по этим значениям с помощью интерполяции он
рассчитал величины
рассчитал величины
Р
Р
для п = 10(10)80 и Х = 0,9(0,1)1,40.
Асимптотический результат Колмогорова (1933b), упомянутый ранее,
найден в условиях 11.7.1 и имеет вид
lim Р(Dn7l-*OO \lim Р(Dn7l-*OO \1)^-2,8X81)^-2,8X8(11.7.11)(11.7.11)
lim Р(Dn
7l-*OO \
lim Р(Dn
7l-*OO \
1)^-2,8X8
1)^-2,8X8
(11.7.11)
(11.7.11)
Доказательство Колмогорова сложно. Более простое доказательство найдено Феллером (1948). Дуб (1949) и Донскер (1952) провели доказательство с применением теории гауссовских случайных процессов. Дарлинг (1957) опубликовал обзорную статью по данной и связанной с ней проблемам с большой библиографией.
Заметим, что из (11.7.11) следует для произвольного е^>0
Нт Рфп<^=\,(11.7.12)
тх-юо
т. е. Еп^ сходится по вероятности к F (х) равномерно по х при п->схх
ЗАДАЧИ
Пусть Е—множество точек, удовлетворяющих условию u<.pt в выборочном пространстве (ы, у) с в. э. (11.2.1), F—множество точек, для которых у >р. Вывести (11.2.6) из основного вероятностного закона Р (Е U F) = ^P(E)+P(F)-P(E[)F).
Показать, что вероятность (11.2.8) равна
Р (-^(Ь < ^0,5 < a*tn-k*i^ — 127о>5 (пк -|- 1, к).
Пусть (х(1), ..., хкт)— вариационный ряд выборки из распределения с непрерывной к. ф. р. F (х). Показать, что с вероятностью 1—пР”-1 4+ (”-1)^
Р (^(Л)) Р (-^(1)) > ?
(т. е. сумма долей, содержащихся между крайними членами вариационного ряда, превосходит р с вероятностью 1—п^п-1-\*(п—1) рл). .
(Продолжение). Показать, что для любых положительных Bj и \, удовлетворяющих условию &1 + &2<1, вероятность совместного выполнения двух неравенств
P^U^^^U1^ (^(Л)) ^ ^2
равна
1 ~ (1 - М" - (1 - М"+(1 - \ - М”.
(Продолжение). Показать, что для любого фиксированного целого к < ~ максимум вероятности Р (xkk+n <x0j5 <х(Л^+г+п) по всем возможным значениям г (положительным и отрицательным целым числам и нулю) достигается при г = 0, причем F(x0f5) = 0,5.
(Продолжение). Показать, что
р ^tki<xp) = !p(k, п — &+1), где F (Хр) =р.
(Продолжение). Показать, что интервал (х^ъ ^(л-д+п) можно рассматривать как доверительный при доверительной вероятности
п — к
Тт — 2 Рт ^t=k
для медианы новой независимой выборки объема 2m-[~ 1 из того же распределения. Здесь
/2ш + 1\ /п\
„ (а ('«+В\ т /V/
"mW —/2тН-я-|- 1\ *
\ tn -}- t —|— 1 /
Показать, что предел ^т при т — оо равен 1—2/0)5 (п— ^+^» ^)*
В (11.2.6) показать, что при р = 0,5
614^-1 /х
/1\л
Р ^х№0 <-«» < xUh +*sP= \ 2 /2, I е 11
E=*i Х Z
Если (х(1), ..., х(п>) — вариационный ряд выборки объема п из конечной совокупности объема 2тп-|-1, элементы которой принимают различные значения х, то показать, что (х^ ... ,x(rt_^+n) —доверительный интервал
для медианы совокупности при доверительной вероятности ^т1 совпадающей с аналогичной величиной предшествующей задачи.
Если выборка объема и извлечена из совокупности с непрерывной к. ф. р., показать, что с вероятностью
/т\
п(п— 1)\ t /
(т^п) fm + п — 1 \
\m — ^+1 /
t величин x в другой независимой выборке объема tn окажется между крайними членами вариационного ряда первой выборки.
(Продолжение). Пусть и1>п>т— доля х во второй выборке, лежащих между крайними членами первой. Показать, что предельным распределением П^п^т ПРИ т—*со является бета-распределение Be (л—1,2). Вообще, если (х)^ и х^^л^ — две порядковые статистики первой выборки и Uk^ ki + k2, т—доля х ВТ0Р0Й выборки, лежащих в интервале (х^х), xOt-Vk^)> показать, что предельным распределением U^ k^k^m является бета-распределение Be (А2, п — ^2-j-l).
Пусть выборка объема п из совокупности с непрерывной двумерной к. ф. р. представлена п точками в плоскости ху. Проведем вертикали через две точки с наименьшей и наибольшей координатой х. Горизонтали проведем через две точки из оставшихся (п — 2) точек с наименьшей и наибольшей координатой у. Рассмотреть долю U совокупности, заключенной в прямоугольнике, ограниченном этими четырьмя линиями. Показать, что с вероятностью
-з.Р+з.-SL-q
\4/г—3 п— 2 1 п — 1 п J
доля U превосходит р.
Определив Uw_kt как в параграфе 11.5 (а), показать, что для фиксированного к, п—^со. р—► 1, так что п (1—Р) — X,
ПтР(г/„+1_й>р) = 1-е-ф + Х+^ + ... + ^].
Проверить (11.4.5).
Проверить, что Нп(к, d) выражается по (11.6.18).
Показать, что выражение в фигурных скобках в (11.6.20) сходится к интегралу (11.6.21) при п—>со.
Пусть X и s2— среднее и дисперсия выборки объема п из N^a*) и G(x)— к. ф. р. N (щ а2). Пусть (Zn Z2)—интервал X ±As, Х>0. Показать, что G (Z2)—G (Lt) как доля имеет распределение, зависящее только от X, и что для Х = ^_1)Т у -"^-, где ^_i,T определяется по (10.2.10), ^(G(L2)— G(L1)) = t. [См. Уилкс (1941) и Вальд и Вольфовитц (1946).]
г л А В A 12
ПАРАМЕТРИЧЕСКОЕ
СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
Во многих задачах статистического оценивания приходится иметь дело с выборкой из совокупности с к. ф. р., имеющей конкретную функциональную форму ^(х; 9), где 9 — неизвестный (вещественный) параметр, истинное значение которого 90 нужно оценить по элементам выборки^,..., хп\ Истинное значение 0о— точка из параметрического пространства 2 значений 6, где 2— открытый интервал или область эвклидова пространства или же все пространство. Параметрическое пространство 2 иногда называют множеством допустимых значений 9. Нет необходимости говорить, что как х, так и 9 могут быть многомерными.
Имеются два важных типа параметрических оценок, именно: точечные оценки и интервальные оценки. При точечном оценивании оценкой для истинного значения 90 параметра 9 в F^x; 9) служит наблюдаемая случайная величина 9(хь ..., х^ функция элементов выборки (xv ..., хп\ распределение которой в некотором смысле концентрируется вокруг истинного значения 90 параметра 9. Как и при линейном оценивании, дисперсия точечной оценки часто дает разумный критерий для измерения ее концентрации.
При интервальном оцениваниимы строим две наблюдаемые случайные величины _9(^ь ..., х^ О^, ..., хп\ обычно сокращенно записываемые (9, 9), где 9<^б, такие, что с заданной вероятностью случайный интервал (9, б) содержит 90 и является в некотором смысле кратчайшим. Эти идеи обобщаются, конечно, на случай многомерного х или 9. Вместо того чтобы говорить «оценка 9 для истинного значения 90 параметра 9», мы обычно будем говорить «оценка 9 для 9».
Линейные оценки, рассмотренные в главе 10, дают примеры точечных оценок. Конкретные примеры интервальных оценок даны в §§ 10.2(c) 10.4, 10.5, 10.6 и 11.2(a) для выборок из нормального распределения.
В этой главе мы будем развивать идеи точечного и интервального оценивания в более общей постановке параметрического оценивания Для выборок из бесконечных совокупностей и затем изложим некоторые основные результаты для конечных выборок, а также некоторые асимптотические результаты для больших выборок.
Дифференцирование параметрических функций распределения
Случай одномерного параметра. При параметрическом статистическом оценивании, проверке параметрических статистических гипотез и в близких задачах нам понадобятся некоторые свойства
12 С. Уилкс
производных функций распределения, зависящих от параметра 6. Будет полезно обсудить здесь кратко эти вопросы.
Пусть х— случайная величина с к. ф. р. F (х; 9), где 6 — (действительный) одномерный параметр, принимающий значения из параметрического пространства 2. Для удобства будем считать х одномерной случайной величиной, хотя будет видно, что все полученные результаты справедливы при небольших изменениях в обозначениях и для ^-мерной случайной величины х.
Итак, для различных точек 9Ь 62, ... из 2 мы имеем соответствующий набор к. ф. р. F (х; 9J, F(x; 92),... Особенно интересен открытый интервал 20 из 2, содержащий точку 90 — истинное значение 9. Рассмотрим тождество
\dF(x; 6)=1.(12.1.1)
— ОО
Если формально продифференцировать обе части (12.1.1) дважды, мы получим
ОООО
^dF^x; 9) = J[^logrfF(x; 9)]<Z5(x; 6) = 0 (12.1.2)
И оооо
5 § dF (х; 6) = J [^ log dF (х; 6)] dF (х; 9) + — ОО—ОО
+ j [^ 1о§ № to6)]4 dF to 6)=°- (12.1.3) — оо
Для того чтобы исследовать (12.1.2) и (12.1.3) подробнее, и для дальнейших ссылок введем обозначения:
S(x; 6) = ^ log dF (х; 6),
(12.1.4)
S'to ^ = ^8(х; 6),
(12.1.5)
/7(9, 9') = ^logdF^; ^dF^x; 9), —oo
(12.1.6)
Д(9, 9')= ^S(x; 6')dF (x; 9), —oo
(12.1.7)
5^(9, 9')== ^(^ 0')]M5(x; 9), — OO
(12.1.8)
0(9, 9') = fs'(x; W^dF^x; 9),
(12.1.9)
—со
где 9 — любая точка из й0, а (0, 9') — любая точка из прямого произведения Йо X So-
Рассмотрим сначала S(x; 6) и S"(x; *0- Предположим, что F(x; 6) имеет первую производную по 9 в каждой точке 9 из Йо для всех х, за исключением, может быть, множества, имеющего вероятность нуль; очевидно, что S(x; 9) определяется как
(х'; 6)-F(x; 6)]
S(x; 9)=Jim(12.1.10)
где х<^х\ при условии, что написанный предел существует. Мы будем предполагать, что предел существует для всех 6 из 20 и всех х из /?t и что он не равен нулю на множестве значений х, имеющем положительную вероятность. S'(x; 9) определяется аналогичным образом. Если для 9 = 9' случайная величина х имеет к. ф. р. F(x; 9'), то S(x; 9) и У(х; 9) являются случайными величинами для 9 ^ Йо.
Заметим, что для дискретной случайной величины х с ф. в. р (х; 9)
S(^; 9)==llogp(x; 9)(12.1.10а)
и для непрерывной случайной переменной х с ф. п. в. /(х; 9)
5(х; 9) = ^log/(x; 9).(12.1.10b)
Аналогичные утверждения о S'(x; 9) справедливы для дискретной и непрерывной случайных величин.
Рассмотрим теперь Н$> 9'). Разобьем ось х на дизъюнктные интервалы /а = (хв, ха+1], а = ..., — 1, 0, 1, ... Тогда
Р (X е /а 16)=F (х^; 9) - F (ха; 9).
Аналогично выражается P^^/alS7)- Пусть Д = тах{/а} и а.
со
Яд(9,9')= 2 logP(xe7a|6')P(*eW) =
= log{ П СЕ Л19,)]Р(*'Ч-(12-I-11)
а = — оо
Ясно, что каждое слагаемое в верхней строчке (12.1.11) отрицательно и, следовательно, /Уд (9, 9') отрицательно. Чтобы избежать слагаемых, равных —оо, достаточно предположить, что не существует такого множества Е в пространстве х, для которого Р (х ^ Е|9) и Р (х £ Е | 9') не были бы одновременно равны нулю или положительны. Говорят, что два распределения Е(х; 9) и Е(х; 9'), удовлетворяющих этому условию, абсолютно непрерывны друг относительно друга. Это допущение несколько сильнее, чем здесь требуется, так как было бы достаточно абсолютной непрерывности F(x;9') относительно F (х;9), т- е. допущения, что не существует множества Е, для которого
Р^х £ 5| 9') = О, а Р^х £ F| 9)^>0, но это обобщение устраняется симметрией Р(х; 6) и Р(х; 9') в нашем случае.
Воспользовавшись тем фактом, что для любых двух наборов положительных чисел pv ..., рг и q^ ..., qr
pV(12.1.12)
мы увидим, что положительная величина в фигурных скобках в (12.1.11) не может возрастать при последовательном дроблении интервалов {/а}. Следовательно, если существует некоторый набор {/а} такой, что Нк^) 6') конечно, то конечная отрицательная величина /Уд (9, 6') не может убывать при А—>0 и, следовательно, Нт/Уд(9, 6') д-*о
существует для всех точек (6, 9') из Йо X ^о и неположителен. Как можно показать, этот предел не зависит от способа разбиения оси х при условии, конечно, что А —► 0.
Функция Н$, д') играет большую роль в связи с теорией информации, энтропией в статистической механике, оптимальным оцениванием и оптимальными статистическими тестами в статистических выводах.
Если для данной функции g(x; 6'), измеримой относительно Р^х; 6), существует неотрицательная функция к(х\ измеримая и имеющая конечное среднее значение относительно Р(х; 6) и такая, что
|^(^ 0,)Ю(*)
для (9, 9') ^ й0 X й0, мы будем говорить, что g(x; 9') мажорируется интегрируемой функцией Н(х\
Чтобы (12.1.2) было справедливо, достаточно, чтобы -^ log dp(х; 9') мажорировалась некоторой интегрируемой функцией hx (х). Аналогично (12.1.3) справедливо, если ^-2-logdF(x; 9') и [j^-, log tZF (х; 9')j мажорируются интегрируемыми функциями Л2(х) и й3(х). По общим теоремам о достаточности условий такого рода отсылаем читателя к книгам Макшейна (1944), Макшейна и Ботса (1959) и Сакса (1937) по теории интегрирования-и действительной переменной.
Выражая (12.1.2) и (12.1.3) в терминах средних значений, мы будем говорить, что F(x; 9) регулярна в смысле ее первой производной по 9 в Йо, если со
g(S(x; 6)) = ^ ^ДР^ 0) = О,(12.1.2а)
и регулярна в смысле второй производной по 9 в й0, если со '
g (S' (х; 0)) + g (S(x; 0))3 = ^ J ДР (x; 0) = 0.(12.1.3a)
—00
Возвратимся теперь к H^, 0'), определенной по (12.1.6). Если F(x; 0) регулярна относительно ее первых двух производных, можно
показать, что Н(9, 6') имеет первые частные производные по 9 и 6' в SoX^o- Более того, /7(9, 6') как функция 9' при фиксированном 9 имеет максимум при 9 = 9'.
Случай векторного параметра. Пусть F (х; 9) — к. ф. р. и 6 — r-мерный параметр с (функционально независимыми) компонентами (9П ..., 9Г) из параметрического пространства 2Г. Для удобства мы оставим х одномерным; тривиальные изменения обозначений показывают, что результаты остаются справедливыми, если х— /г-мерная величина. Достаточные условия, при которых мы можем дифференцировать оо
dF(x; 9)
—ОО
под интегралом один или больше раз по одной или более компонент 9, могут быть выведены без труда. Рассматривая только две типичные производные, мы получаем аналогично равенствам (12.1.2) и (12.1.3)
ОООО
^ f dF(x; 9) = f [^log^^; 9)1</Г(лг; 9) = 0, (12.1.13)
—ОО—ОО
ООоо
рР(х;е)= J [-^ log dF (х; «)]№(,:«) + —оо—оо
оо_
+ H^10g(/F(X; ^[^^^(^ ^J^^ 0) = °- (12.1.14)
• Мы заинтересованы в том, чтобы тождества (12.1.13) и (12.1.14) имели место для р, q—\, ..., г и всех точек r-мерного (эвклидова) открытого интервала 2г0.
Для удобства изложения и дальнейших ссылок выпишем выражения, аналогичные (12.1.4)—(12.1.9):
Sp(x; 0) =
^-log^(x; 9),
(12.1.15)
Spq(x; 6) =
(12.1.16)
/7(9, 9') =
J logoff*; ^)4F<x; в), —CO
(12.1.17)
Л (9, 93 =
f Sp(x; ^dF<x; 9),
—co
(12.1.18)
Виф, 93 =
\8Дх; 93S,(^; ^dF^x; 9), —oo
(12.1.19)
Dpq^, 93 =
\Spq(x; ^)dF(x; 9),
(12.1.20)
где р, ^=1, ..., г, 6 — точка из 2г0. Так как компоненты 0 по предположению функционально независимы, то компоненты случайной переменной (Sp(x; 6\ р=1, ..., г) линейно независимы и, следовательно, матрица ЦВр^С©, 0')|| оказывается положительно определенной для (6, 0') из 2r0 X ^го- В свете обсуждения случая одномерного параметра эти функции не требуют дополнительных пояснений.
Из одномерного случая очевидно, что для справедливости (12.1.13) достаточно, чтобы ^р" log dF (х; 0') мажорировались интегрируемыми функциями hVp(х), р = 1, ..., г. Аналогично для справедливости (12.1.14) достаточно, чтобы
дероуЮё^^ 9') И
rXlog dF ^х; б'ЯГ^ log</F(x; 6')
соответственно мажорировались интегрируемыми функциями h^pq(x) И ^pq^\ Р» q=^ Г.
Выражая (12.1.13) и (12.1.14) в терминах средних значений, мы будем говорить, что F^x; 0) регулярна в смысле ее первых частных производных по 0 в йг0, если
MSp<x; 6))=^- ^dF(x; 6) = 0,(12.1.13а)
—ОО
/7=1, ..., г, и регулярна в смысле ее вторых частных производных по 0, если имеют место следующие равенства;
ОО
&(Sp(x; ^S^x; 9)) + g(Sw(x; 0))=^^- j dF(x; 9) = 0. (12.1.14a) —co
Замечания, касающиеся обобщения на векторные случайные величины. Предыдущее обсуждение относилось к случаю одномерной случайной величины. С небольшими изменениями оно может быть обобщено на векторный случай. Основные изменения касаются определений S(x; 0) и Н(В> 0').
Пусть х — векторная величина (хъ ..., хк\ В этом случае простая разность [F(X 0) — F (х; 0)] на интервале (х, х'], входящая в (12.1.10), заменяется разностью функции F (хъ ..., хк; 0) на ^-мерном интервале (хъ ..., хк; x’v ..., Хь\. Предел, определяющий ™ log dF (xb ..., хк; 0), по предположению существует и обозначается S(х^, ..., хк, 0).
Аналогично разность Р(хаАЛ; 0) — F(xy, 0) функции F (х; 0) на интервале (ха; ха+1], появляющаяся в (12.1.11), заменяется Л-й раз-
ностью функции F(xb ..., ^; 9) на ^-мерном интервале (х1а,..., xkt а; Х1 а+1, ..., ^а+1], причем Д = шах{Да}, где Аа — наибольшая составляющая ^-мерного интервала. а
Остальные изменения в обозначениях очевидны.
Точечное оценивание
Определения. Пусть (хъ ..., хп)— и-мерная случайная величина с к. ф. р. Fn(xv ..., хп; 6), где 6 — одномерный действительный параметр с параметрическим пространством 2.
Пусть 9 (xv ..., х^, или кратко 9, — функция от (хъ ..., х^ и, таким образом, является случайной величиной. Если полученное (наблюденное) значение 9, соответствующее полученному (наблюденному) значению (хъ ..., хп\ используется вместо 90, истинного значения 9, то случайная переменная 9 называется точечной оценкой или просто оценкой для 90. Так используют 9, конечно, только в том случае, когда величина 90 неизвестна. Если при 9 = 9О g(9) = 90, что мы будем короче записывать в виде g(9|90) = 90, то 9 называется несмещенной оценкой для 90. Было бы точнее сказать, что 9 — оценка для 90, несмещенная в среднем. Если бы 9 была статистикой с к. ф. р. №(9; 90), непрерывной при 9 = 9О и такой, что W(90; 90) = у, мы сказали бы, что 9 — оценка для 90, несмещенная по медиане. Ниже, если не оговорено противное, несмещенная оценка будет пониматься как несмещенная в среднем.
Если оценка 9 сходится по вероятности к 90 при п—>оо, опа называется состоятельной оценкой для 90.
Если 9— несмещенная оценка для 90, имеющая конечную дисперсию, и при этом не существует никакой другой несмещенной оценки с меньшей дисперсией, то 9 называется эффективной оценкой для 90.
Если 9 — такая статистика, что для любой другой статистики 9 условная случайная величина 6[9 имеет распределение, не зависящее от 90, то 9 называется достаточной оценкой для 90.
Понятия состоятельности, эффективности и достаточности введены Фишером (1922, 1925b).
Для простоты случайного выбора, т. е. когда (х^ ..., х^— случайная выборка объема п из совокупности с к. ф. р. F(x; 9), понятия несмещенности, состоятельности, достаточности и эффективности имеют особое значение. В этом случае
РЛ*х^ 9) = (р(х; 9).(12.2.1)
5=1
п
Для данной выборки (хр ..., хп^ величина dFH^^dF(x;, 6) назы-
вается элелгенто.н правдоподобия 9 для (л*ь ..., х^.
Большая часть материала этой главы относится к простому случайному выбору.
Нижняя граница дисперсии оценки. Пусть (х1? ..., хп) — n-мерная случайная переменная с к. ф. р. Рп(хъ ..., х^ 9). Если 6(^1, ..., х^ — несмещенная оценка для 6, то
^ — ^dFn==0.(12.2.2)
Если F„(xb ..., х^ регулярна относительно ее первой производной по 9 в некотором (открытом) интервале 20, содержащем 90— истинное значение 9,— то мы можем дифференцировать (12.2.2) под интегралом и получить
^б-Э)^^, ..., х„; 9)dF„=l,(12.2.3)
где
х„; 9)=а1У"..(12.2.4)
Применяя неравенство Шварца к (12.2.3), получаем
1 = [ ^ (9-9)S„dF„]8< $ ф-^ЧР» ^ИР».^п^ПR«
Так как
<^(9) = $(9-9№,(12.2.5)
находим
причем равенство имеет место в том и только том случае, когда
Kfc xn)-9] = Sn(xb ..., хп; 0)(12.2.7)
в Rn с вероятностью 1, где К может зависеть о г 9, но не зависит от (хъ ..., хп\
Если равенство имеет место, то 9— эффективная оценка для 9> в этом случае (12.2.7) дает форму, которую имеет 9.
Если обозначить о2 (9) при 9==9О через о2(9|90), положив О —90 в (12.2.5), и взять соответствующее выражение для §(5д|90), то
Эффективная оценка для 0 обычно обозначается 9.
Таким образом, мы получили следующий результат:
Пусть (xv ..., хп)— случайная величина с к. ф. р. Fn^v ♦•♦> хт б)> регулярной относительно ее первой производной по 9 в 20, где 0 — одномерный параметр. Если 9(хр ..., х^— несмещенная оценка для 90, то о2 (О | 90) —-Х^гт, где 8„ дается выражением (12.2.4), причем равенство имеет место в том и только том случае, когда справедливо (12.2.7) с вероятностью 1 при 9 —90. Если эффективная оценка 0 для 0о существует, то ее дисперсия равна
Нижние границы для о2 (9 10о) без предположения регулярности получили Чэпмен и Роббинс (1951) и Кифер (1952).
Если существует эффективная оценка 9 для 90 и если 9— любая другая несмещенная оценка для 90, то эффективность 9 для оценивания 90 определяется отношением‘
еН(51ад=;Ж<12-2-8’
Случайный выбор. В этом важном случае имеет место (12.2.1) и
Se(^...,^9)=SS(jc;0),(12.2.9)
£=1 где
S(x; 9) = ^logt/F(x; 6).(12.2.10)
п
Сумма ^8(х.; 6) называется информантом для 9, основанным на Е=|'
(Хг, ..., х„У
Кроме того,
&(88п) = ng, (8^ = 11646. 6),(12.2.11)
где 53(9, 9) определяется по (12.1.8). Поэтому (12.2.6) сводится к
«’й^аНот(I2-2J2)
Этот результат первоначально был получен Фишером (1922). Позднее он был установлен Крамером (1946), Дюге (1937) и Рао (1945).
Равенство в (12.2.12) имеет место в том и только том случае, когда
К (9^8(Х- 6)(12.2.13)
Е=1'
на Rn с вероятностью 1, причем К не зависит от (хп ..., хп\
Таким образом, если существует эффективная оценка 9, то ею является статистика 6, удовлетворяющая (12.2.13), и ее дисперсия
дается равенствомдается равенством^(6)^(6)1пВ2 (6, 6) *1пВ2 (6, 6) *(12.2.14)(12.2.14)
дается равенством
дается равенством
^(6)
^(6)
1пВ2 (6, 6) *
1пВ2 (6, 6) *
(12.2.14)
(12.2.14)
Итак, мы имеем следующее важное следствие 12.2.1:
1 пВ2 (О1 пВ2 (Ои если 9 — несмещенная оценка для 60> ^° °'и если 9 — несмещенная оценка для 60> ^° °'а. Если (хь ..., х^— выборка из совокупности с к. ф.р. F (х; 6), регулярной относительно ее первой производной nobeQ^
1 пВ2 (О
1 пВ2 (О
и если 9 — несмещенная оценка для 60> ^° °'
и если 9 — несмещенная оценка для 60> ^° °'
о> ^о) ’
является эффективной оценкой для 90 с дисперсией ^г^является эффективной оценкой для 90 с дисперсией ^г^где В\$, 6) дается формулой (12.1.8). Равенство имеет место в том и только том случае, когда 9 удовлетворяет (12.2.13) и
является эффективной оценкой для 90 с дисперсией ^г^
является эффективной оценкой для 90 с дисперсией ^г^
о> М
Если 9 — произвольная несмещенная оценка для 9 и если суще
ствует эффективная оценка 9, то эффективность 6 при оценивании 90 определяется равенством
(12.2.15)
Фишер (1922) назвал величину пВ^(60, 90), обратную дисперсии эффективной оценки 9, количеством информации, содержащимся в выборке относительно 90, а В^ (90, 90) — количеством информации о 90 на одно наблюдение.
С этой точки зрения эффективность оценки 9 для 9 можно рассматривать как отношение информации, содержащейся в 9 при оценивании 90, к информации, содержащейся в эффективной оценке.
Пример. Пусть (л*!, ..., х^)—выборка из распределения Пуассона Ро (ц0), определенного в 8.3.3с. Мы имеем
пп
Sn(xlt х„, Н) = Д log JJ dF(Xy lO = ^R- 2 ^-Д
e=iе=1
что в соответствии с (12.2.13) показывает, что ~ ^ х^, т. е. выборочное
среднее, — эффективная оценка для put истинного значения р., для любого п
заданного объема выборки. Обозначив ” ^ ^ ЧСРСЗ V* Gvo хп) или Д,
мы найдем дисперсию р, применяя (12.2.14), т. с.
о2 (Р I Ро) =о2 (Р I Ро) =11Роп 1Роп 1
о2 (Р I Ро) =
о2 (Р I Ро) =
1
1
Ро
п 1
Ро
п 1
откуда
a2(j//z^|^0) = Ро, и из 12.2.1а следует, что невозможно найти несмещенную оценку £ (хп ..., хп) для |л0, для которой а2 (Упц | |х0) < Но-
Нижняя граница дисперсии смещенной оценки. Крамер (1946) и Дюге (1937) обобщили 12.2.1, рассмотрев смещенную оценку Цхь ..., хп) для 9. В этом случае мы замещаем (9— 9) в (12.2.2) выражением
[0 — 9 -^(9)],(12.2.16)
где £л(9)— смещение оценки 9, и повторяем рассуждения, приведшие к 12.2.1а. В (12.2.3) мы заменяем (9 — 9) на (9 — 9 — £л(9))и 1 в правой части на 1 —|—&^ (9), где Ь’п (9) = ^ Ьп (9). Вместо (12.2.12)
получаемполучаем° w^^^MF’° w^^^MF’(12.2.17)(12.2.17)
получаем
получаем
° w^^^MF’
° w^^^MF’
(12.2.17)
(12.2.17)
причем равенство имеет место в том и только том случае, когда
п
K^_^_bn^=^S<x- 9)(12.2.18)
e = i
на Rn с вероятностью 1, причем К не зависит от (хь ..., хп).
Свойство достаточных оценок. Пусть (хъ ..., х^ — случайная переменная с ф. п. в. fn (хь ..., хп; 9), представимой в виде
№ъ ..., хп; 9) = ^; 9)^, ..., хп | 9),(12.2.19)
где -и (9; 9) — ф. п. в. 9 и и (хь ..., хп | 9) — ф. п. в. условной случайной переменной (хХ) ..., хл|0), не зависящая от 9. Тогда 9— достаточная статистика для 9, так как если 9 — любая другая статистика, не зависящая от в, то распределение условной случайной переменной 9 19 полностью определяется функцией и (хъ ..., хп | 9).
Обратно, пусть 9 — достаточная статистика с ф. п. в. у (9; 9). Пусть у^ • • •, Уп — любые другие (и — 1) статистики такие, что 9, _у2, ..., уп имеют ф. п. в.
^№ У^» • ♦*»Ут ^^^Уп^ъ ^т ^)[ур(12.2.20)
где J—якобиан (9, _у2, ..., у^ относительно (хь ..., хп\ [Условия, при которых имеет место (12.2.20), см. в § 2.8 (d).]
Пусть h (у2, ..., уп | 9; 9) — ф. п. в. условной случайной переменной V^ • • > Уп I 6- Тогда
и^ Л|9; 9) = ^1^2^).,(12.2.21)
у (и;
где ч) (0; 0) ^ О определяется равенством
»№ 0) = $ g^, _у4, ..., у,- 6)4^ ... dyn. (12.2.22)
Если h (y2, ..., yn | 9; 6) не зависит от 9 (обозначим тогда эту функцию h* (у2, ..., уп | 9), то 9 — достаточная оценка для 9, и мы имеем
g(6,№ ...,Ут 6) = v(9; 9)й*(у2, ..,, ул | 9).(12.2.23)
Используя (12.2.20), получаем
№ъ .... х^ 9) = v(9; 9)А*ф2, ..., уп | 9) | J|.(12.2.24)
Заметим, что А* (у2, ..., уп | 9) зависит от (9, у^ ..., у^ и, следовательно, от (х1? ..., х^, но не зависит от 9. Таким образом, всякая статистика, зависящая от (хъ ..., х^ через (у2, ..., уп\ но не зависящая от 9, имеет распределение, не зависящее от 9.
Результат можно сформулировать следующим образом.
2.2. Пусть (хь ..., х^ — случайная переменная, имеющая ф. п. в. fn(xv ...,хп; 9). Для того чтобы статистика 9(хъ ..., х^ была достаточной для 9, необходимо и достаточно, чтобы
fn^i, ..., х„, 9) = т>(ё; б)®^, .... хп), (12.2.25)
где у (9; 9) — ф.тв. 9 и w(xb ..., хп) — функция (хх, ..., х^, не зависящая от 9.
Фишер (1922) первый отметил достаточность критерия факторизации (12.2.25). Нейман (1935) показал, что он является также необходимым.
В частном важном случае простого случайного выбора справедливо следствие 12.2.2, в котором fn(xx, • •> хт ®) принимает форму п
П /(^ е>
Е = 1
Аналогично можно показать, что если (хъ ..., х^ — п-мерная дискретная случайная переменная с ф. в. рп(хъ ..., хп; 9), то необходимым и достаточным условием для того, чтобы статистика 9 была достаточной для 9,'является представление рп^хх, ..., хп; 9) в виде
рп(хх, ..., х„, 9)=v(6; 0)w(xlt .... Хп), (12.2.261
где у(0; 0) — ф. в. 0, a w(X!, ..., хп) зависит от (хь ..., х„), но не зависит от 0.
Для простого случайного выбора из совокупности с ([). в. р^х; 0), п
Рп (хь • • • > хт 0) принимает форму П/7^; 0).
f = 1
Наконец, заметим, что 12.2.2 обобщается на'случай, когда 6 —- вектор (9Ь ..., 9Д г ^п. Необходимое и достаточное условие для того, чтобы Д, ..., 9Г) был вектором достаточных статистик для (9Р .. •, 9Г), состоит в представлении
/(^ьх„; 9Ь .... 9г) = т>(9ь .... 9Г; 9Ь ..., 9Л)®(х„х^,
(12.2.27)
где ^(хь ..., хп) зависит от (х^ ..., х^ но не зависит от 9.
Аналогичный критерий факторизации имеет место, конечно, и в случае, когда 6 — вектор (9Ь ..., 9Д а (хь ..., х„) — дискретная случайная переменная с ф. в. р(хь ..., х^ 0ь ..., ОД
Для случайной переменной (х^ ..., хп), имеющей распределение общего вида, обобщение критерия факторизации, сформулированного в 12.2.2, и его распространение на случай векторного параметра сделали Халмош и Сэвидж (1949), применив теорему Радона — Никодима. Еще более абстрактное изложение необходимых и достаточных условий характеризации достаточных статистик дал Бахадур (1954).
Пример. Пусть (хп ..., хп)— выборка из распределения Пуассона Ро(рД Для произвольного ц из (0, оо) имеем
dF(x;p)=^
Jp/^? ц) =6 = 1Jp/^? ц) =6 = 12*6П х^\2*6П х^\
Jp/^? ц) =
6 = 1
Jp/^? ц) =
6 = 1
2*6
П х^\
2*6
П х^\
что можно записать в виде
(2 хДП хА
LN
Обозначив ™2х5 чеРез Р (^п •••» хп)> замечаем по 8.3.3с, что выражение в квадратных скобках — ф. в. (Х, т. е.
^№ f)^№ f)№)1 ’№)1 ’
^№ f)
^№ f)
№)1 ’
№)1 ’
тогда |сак выражение в фигурных скобках фактически ф. в. условной случайной переменной (хь хл|р), т. е.
dU4xu ...,x„|fi)=^SL.х^!
Очевидно, если р— любая другая оценка, то ф. в./?(£*|£) условной случай- нои переменной р* | |л получается суммированием ^Д-— по положительным П Хр!
и нулевым значениям х^ связанным двумя условиями р* (хь ..., х^ — ^ и Щх1} ..., х^ — ^. Ясно, что p(p*|g) не зависит от pt.
Следовательно, — ^ х^— достаточная оценка для ц0.
Важным свойством достаточной оценки является следующее: если имеется исходная несмещенная оценка для параметра, не являющаяся функцией достаточной оценки, то можно найти несмещенную оценку, зависящую от достаточной и имеющую меньшую дисперсию, чем исходная. Точнее это утверждение формулируется в следующей теореме Блекуэла (1947) и Рао (1949).
2.3. Пусть 9— достаточная оценка для 90 и 9— любая несмещенная оценка для 90. Пусть g (9 | 9) = h (9). Тогда h (9) — несмещенная оценка для 90, дисперсия которой не превышает дисперсию 9.
Докажем 12.2.3. Пусть G(9, 9; 90) —к. ф. р. (9, 9), У(9; 90)т к. ф. р. 9 и 6^(9] 9) — к. ф. р. условной случайной переменной 9,9. Тогда
/г(9) =9<Z(/(9|9),(12.2.28)
— ОО
откуда видно, что h (9)— несмещенная оценка для 90.
Для дисперсии 9 имеем
а» (9) = g (9 - 90)3 = g [(/г (9) - 90) Ц-^-h (9))]» =
= 03 (/г (8)) + g (9 - h (8))3 4- 2g [(/г (9) - 9») (9 - h (8))]. Но
g[(A(9)-90)(9-A(9))] =
= ^ [^(9)—90]{^ (9 — /z(9))rft/(9|9)}dV(9; 9о) = О, — оо— ОО
так как выражение в фигурных скобках равно нулю. Ввиду неравенства g(9 — h$^f^^ имеем
о2 (9)^ о2 (/г (9)),(12.2.29)
что и завершает доказательство 12.2.3.
Точечное оценивание при больших выборках
Асимптотическое распределение информанта. Эффективная оценка параметра существует только в некоторых частных случаях к. ф. р. F^x, 9). При этом величина S^^,^, ..., х^ 9), представленная (12.2.8), принимает специальный вид (12.2.13), и поэтому,
по существу, эффективная оценка 6п (хь х^ ..., х^ является решением уравнения
Sn(xv ..., хп; 9) = 0 (12.3.1) относительно 9.
Предположим же теперь, что Sn (хь ..., хп; 9) не имеет специального вида (12.2.13), но уравнение (12.3.1) относительно 6 имеет решение, которое мы, не вызывая путаницы, можем также назвать 9П.
Какими свойствами обладает это решение, рассматриваемое как оценка параметра 90? Ответ на этот вопрос состоит в том, что при определенных условиях, которые мы оговорим специально, 9Л (хь ..., х^ является эффективной оценкой 90 в асимптотическом смысле для больших выборок.
Прежде всего сформулируем следующий результат.
Пусть (хъ ..., х^ — выборка из совокупности с к. ф. р. F (х; 90), где F(x; 9) регулярна с первой производной по 9 в области й0. Тогда, если величина В^^\ 9), определенная в (12.1.8.), существует и конечна, то Sn (хъ ..., хп; 9) асимптотически имеет распределение N(0, пВ-^^)).
По существу, это утверждение является следствием 9.2.1, ибо если обозначить через у случайную величину S(x; 9), то у будет иметь к. ф. р.
004 = $ ^(х, 9),
где Еу — множество точек на оси х, для которых 8(х, 6)^у. Так как F(x, 9) регулярна в смысле первой производной по 9, очевидно, что g(_y) = O. Таким образом, 8п(хъ ..., хп; 9) есть среднее арифметическое выборки объема п из совокупности со средним 0 и конечной дисперсией В2 (9, 9).
Применяя 9.2.1, получаем 12.3.1.
(Ь) Сходимость оценок максимального правдоподобия. Очевидно, что при условиях, указанных в 12.3.1, случайная величина -^8п^хъ ••♦> хт 6) сходится по вероятности к пулю. Это означает, что если мы положим
х„; 9) = 0, (12.3.2) х
то получим последовательность наборов корней { 9 (хь ..., хп)^, п=1} 2, ... Каждый набор содержит по крайней мерс один корень такой, что их последовательность сходится с вероятностью 1 к истинному значению параметра 9. Мы покажем, что это имеет место при некоторых условиях. Предположим, что 8(х, 9) непрерывна как функция 9 в области й0 для всех значений х из Rb исключая, может быть, множество вероятностной меры 0. Кроме того, предположим, что F(x, 9) регулярна с первой производной по 9 в области й0, откуда следует, что функция Д(90, 9), определенная в (12.1.7), непрерывна и строго
убывает по 0 в некотором подынтервале Qq интервала 20> который содержит 90.
Обращаясь к (12.2.7.) и доказательству теоремы 12.3.1, видим, что ~ ^(xj, • xni в) есть среднее выборки объема п из совокупности .с математическим ожиданием Д(90, 9), если 90— истинное значение параметра 9. Поэтому согласно теореме 4.6.1 -^-S^ (хъ ... , хп; 9) сходится почти наверное к А (90, 9). Не ограничивая общности, можем считать, что Sq представляет собой интервал (90— 8, 90 -|-8), 8^>0. Таким образом, А(90, 0) монотонно убывает по 9 на этом интервале, и так как А(90, 9о) = О, мы имеем А (90, 90 — ^)^>0 и Д(90, 90-|-8)<Ч). Поэтому существует и (В, е) такое, что с вероятностью, большей 1 —е для п^п^, е), если 90 — истинное значение параметра 9, имеют место следующие два неравенства:
^„(Хр ...,хп; 9)>0, если 9 = 90 —8,
(12.3.3) —...,хя;9)<0, если 9 = 90 + 8,
так как S(x, 9) непрерывна по 9 на интервале (90 — 8, 90 —|—8) для почти всех х из Rx; аналогичное утверждение имеет место для
, п
^^S^V 6)’ т- е- для ^8п<хь ...,хп; 6).
Поэтому, если 90 — истинное значение параметра 9, то
Р ^ 8п (хь ..., хп; 9) = 0 для некоторого 9
из интервала (90± В) для всех п^>п^ е)|90))>1—е, (12.3.4) что эквивалентно существованию последовательности корней (12.3.2), сходящейся почти наверное к 90. В частности, если (12.3.2) имеет единственное решение 9 (xv ..., х^ для п = пй, 77О —|— 1, ... при некотором целом /?0, то последовательность О^,..., хп\ /z = /z0, zz0-|- 1,... сходится почти наверное к 90.
Сформулируем полученный результат..
Предположим, что (xv ..., хп)— выборка из совокупности с к. ф* р. F(x; 90), где F (х; 9) регулярна с первой производной по 6 в области £0. Пусть S(x\ 9) непрерывна как функция 9 для почти всех х из Rv Тогда существует последовательность решений уравнения (12.3.2), которая сходится почти наверное к 90. В частности, если (12.3.2) имеет единственное решение 9 (хь.. ,,х^ для п> некоторого п0, то последовательность 9 (хь ..., х^ п = п^, и0-|-1, ..., сходится почти наверное к 90.
В соответствии с тем, что 5Л (хь ..., х^ 9) есть производная по п
6 логарифма элемента правдоподобия, именно ^ \ogdF(x* 9), и чго
9(Xi, ..., х^ есть то значение 9, для которого Sn(xb ..., хп; 0) равно 0, оценка 9, если она единственна и максимизирует элемент правдоподобия, называется оценкой максимального правдоподобия для 90. Этот термин ввел Фишер (1922). Вальд (1949 Ь) показал, что решение (12.3.2), которое доставляет элементу правдоподобия абсолютный максимум, является состоятельной оценкой 90. Дальнейшие детальные исследования состоятельности оценок максимального правдоподобия и связанных с этим задач принадлежат Баранкину и Гёрланду (1951), Хузурбазару (1945), Ле Каму (1956), Вальду (1948, 1949 Ь) и другим.
(с) Асимптотическое распределение оценок максимального правдоподобия. Требование регулярности функции F(x; 9) в смысле первой производной по 9 является вполне достаточным, чтобы сделать следующее заключение об асимптотическом распределении 9 при больших п;
Пусть (xv - х^— выборка из совокупности с к.ф.р. F (х; 90), где F(x\ 9) регулярна в смысле первой и второй производных по 9 в области 20. Если оценка максимального правдоподобия единственна для п^п^ и является (измеримой) случай.п
ной величиной относительно вероятностной меры PI F (х^ 9),
как указано в (12.2.1), тогда 9 асимптотически нормальна N(9^ М\пВЧ^ Ш•
Поскольку S(x\ 9) имеет производную по 9 всюду в 20 для почти всех х из Ri, аналогичным свойством обладает и S (хь ..., хп; 9) для почти всех точек (хь ..., х^ из 7?Р
Если оценка 9 единственна для п, больших некоторого и0, то из 12.3.2 следует, что 9 сходится почти наверное к 90 при и-> оо. Более того, если 9 (хь ..., х^ является случайной величиной, то для произвольных 8 ^> О и е > О существует такое п (8, е, п0) и такое множество Еп из Rm определяемое условием 190 — 9 (хь ..., х„) |< 8, что
Р((хъ ..., хп)^Еп для всех л>п(8, е, n0) | 90)> 1 — е. (12.3.5)
Для точек множества Еп
Т^^ДХ!, • хд> ®о)= 77= ^п (ХьХ^ 9)-|-
V пV п
+ pLs;(^,_v„; 9*)(9О—б),(12.3.6)
где 9* (хр ..., х^ — случайная величина, удовлетворяющая условию
Ро — 9*|^|9О — 9|,(12.3.7)
И гдеп
S^xb х^ 6*) = 5 S'(x; 6*),(12.3.8)
S'(x; 9) = ^5(х; 6).(12.3.9)
Но (12.3.5) и (12.3.6) вместе эквивалентны тому, что
Р ^у^" ^п ^ь 6°^ = ^— 8п (хь ..., х^ 9)4~
-^-^„(Х!, х^ 9*)[]/я (90 — 9)] для всех я>я(8, е, «о)19о)> >1—е. (12.3.10)
Так как 9 по определению удовлетворяет (12.3.2), (12.3.10) дает
Р ^j/^-*^” ('*'1’" “ ’ х™ ®*) == ~ ^п ^i’ ‘ ■ ■ ’ л'«’ ®*) lTи (90 — 9)] для всех я>л(8,е, л0)|90^>1—е, (12.3.11) иначе говоря, последовательности случайных величин
^=5„(хь .... х„; 90), я = 1, 2(12.3.12)
И
IsH^i, .... х^ 9*) Wn (90 — 9)], л=1, 2, ..., (12.3.13)
таковы, что если одна из них сходится по распределению, то и другая также сходится по распределению. Далее, величина
-^„(хьх„; 9) = 12^(^; 0»)(12.3.14)
Е = 1
является средним выборки объема п из совокупности с математическим ожиданием „
4-00•
$ 5' (х; 90) (1F (х; 9,) = - В* (9е; 9„).(12.3.15)
-ОО
Следовательно, согласно 9.1.1 выражение в левой части равенства (12.3.14) сходится по вероятности к (12.3.15). Теперь согласно теореме 4.3.7, так как 6 сходится по вероятности к 0о, 6* также сходится по вероятности к 90- Поэтому, применяя 4.3.8, мы заключаем, что ^ Sn(xb ..., х^ 9*) сходится по вероятности к выражению в левой части (12.3.15).
Наконец, согласно 4.3.6 последовательности случайных величин (12.3.12) и (12.3.13) и последовательность
]/й(9 — 90)52(90; 9о), я=1, 2, ...,(12.3.16)
сходятся по распределению, если хотя бы одна из них сходится по распределению. Но мы знаем из 2.3.1, что последовательность (12.3.12) сходится по распределению к
N(0, Wo; МУ(12.3.17)
Отсюда для больших п 9 имеет асимптотическое распределение
и, таким образом, теорема 12.3.3 доказана.
Асимптотическое распределение 9 в виде (12.3.18) было впервые установлено Фишером (1922).
(d) Асимптотическая эффективность оценок максимального правдоподобия. Предположим, что 9 (лгр ..., х^ — смещенная оценка для 90 со смещением йЛ(%), определенным в (12.2.16). Если 9— состоятельная оценка 60, то ее смещение Ьп^^ стремится к 0 при п->оо.
Мы видим, что при любом данном п нижняя граница дисперсии °2(^1М дается (12.2.17). Отсюда
^(/n0|0o)=HVW0--0o-(12.3.19)
D и0/
Так как это неравенство имеет место при любом и, предполагая, что Ь'п (90) -> 0, при п -> оо, мы имеем
lim о*(ГЯ0|0о)> Нт ^ "/^Г =в,(в 6 ),(12.3.20)
т. е.
lim О3(у'й§|0о)^*(12.3.21)
n->ooD
Отсюда получаем следующий результат:
Пусть (xv ..., хп)— выборка из совокупности с к. ф.р. Е (х; 90), где F (х; 6) регулярна в смысле производной пой и Е? (9; 9) существует при всех 9 из 20- Если 9 — состоятельная оценка 90 и предел производной по 9 смещения оценки 9 равен 0 при п-^оо, то предел дисперсии |/я9 при п-^оо не может быть меньше 1/5а(0о; 0О).
Важный частный случай состоятельной оценки 9 представляет оценка максимального правдоподобия при условиях теоремы 12.3.3. Из 12.2.3 мы также имеем
^’(1/"~в1д-) = Т!Ч№ (12-322)
Предельная или асимптотическая эффективность оценки 9 при п->оо определяется как
leff(^10о)= Нт - п->оо а2leff(^10о)= Нт - п->оо а2(/«ДМ (/п0|0о)(/«ДМ (/п0|0о)Пт —^п-.оок(^о|е0)^2(во; %)Пт —^п-.оок(^о|е0)^2(во; %)/12.3.23)/12.3.23)
leff(^10о)= Нт - п->оо а2
leff(^10о)= Нт - п->оо а2
(/«ДМ (/п0|0о)
(/«ДМ (/п0|0о)
Пт —^
п-.оок(^о|е0)^2(во; %)
Пт —^
п-.оок(^о|е0)^2(во; %)
/12.3.23)
/12.3.23)
откуда ясно, что
leff (6| 90) = 1.(12.3.24)
Любая оценка 6 параметра 90, Для которой leff (01 0о) = 1, называется асимптотически эффективной оценкой 90. Оценка 6 является таковой. Следовательно,
При условиях теоремы 12.3.3 оценка максимального правдоподобия 6 для Оо асимптотически эффективна.
Читателю следует отметить разницу в определениях эффективности (12.2.15) и асимптотической эффективности (12.3.23). Первое определение имеет смысл для любого и, но только когда существует эффективная оценка. Последнее представляет собой свойство, которое определяется как предел для л->оо и имеет смысл, когда существует асимптотически эффективная оценка..
Асимптотическую эффективность состоятельной оценки 6 можно также рассматривать как обобщение для больших выборок фишеровского понятия количества информации в 0 относительно 90.
Дальнейшее детальное изучение асимптотических свойств оценок максимального правдоподобия принадлежит Бахадуру (1958), Баранкину и Гёрланду (1951), Крафту и Ле Каму (1956), Рао (1949), Вальду (1948) и др.
Пример. Чтобы проиллюстрировать асимптотическую эффективность оценки, предположим, что (^хь ..., х^)— выборка из нормальной совокупности N (у, а2). Пусть р — медиана и р— среднее выборки. Из теоремы 9.6.6 для Р — -^ следует, что асимптотическим распределением для р при больших п является М(р, тса2/2п). Читатель может проверить, что при любом п существует эффективная оценка р для р и что р — выборочное среднее. Более того, из 8.3.3 мы знаем, что выборочное среднее распределено согласно N (р, а21п).
Поэтому, используя (12.3.23), получаем, что асимптотическая эффективность выборочной медианы р при оценивании истинного значения р равна
leffI f»0) =-7-^ =0,637.
2
Это означает, что при больших п среднее выборки объема — п будет оценивать истинное значение среднего р нормальной совокупности N (р, о2) с той же точностью, что и медиана выборки объема п, независимо от того, каковы значения р и а2.
(е) Построение функции оценки максимального правдоподобия, имеющей асимптотическую дисперсию \!п. Возвращаясь к теореме 12.3.3, замечаем, что при соответствующих условиях регулярности, наложенных на функцию F(x; 6), асимптотическая дисперсия оценки максимального правдоподобия 9 при больших п равна величине
. й ч. Большой теоретический и практический интерес представ- пВ (v0>
ляет вопрос, можно ли использовать в качестве нового параметра С
некоторую функцию от 9, скажем С (9) такую, что асимптотическая дисперсия оценки ((9) равнялась бы просто Х При некоторых ус
ловиях функции такого сорта могут быть найдены. Для этого мы поступим следующим образом. Пусть С (9) — функция от 9, имеющая производную С'(9) и однозначную обратную функцию 9(C) в области Йо; пусть 9(C) также имеет производную 9'(С) по С. Обозначим через Со истинное значение С, т. е. 9 (Со) = 90. Согласно (12.1.8) мы можем
написать
4-00
В® (9, 9) = $ (S(x; 9))2<ZF(jc; 6).(12.3.25)
Так как
S(x, 9) = ^ log ^ZF(x; 9),(12.3.26)
имеем
S(jc;9(C))=^logrfF(^ 6 (Q) С (0).(12.3.27)
Подставляя полученное в (12.3.25), будем иметь
+ о°
52(9(С); 9 (С)) = [С'(9)р $ [^logdF(x; О (С))]2 dF (х; 9(C)).(12.3.28)
— ОО
Требование, чтобы оценка максимального правдоподобия С (для Со) имела асимптотическую дисперсию — , эквивалентно требованию, чтобы интеграл в правой части (12.3.28) был равен 1. Отсюда функция С (9) должна удовлетворять дифференциальному уравнению
\Л) — 8= (О (С), fl (Q)(12.3.29)
или о
Ц0)= ^(9, 0)d9-|-Cn, Вф, 0) = 4-Ув« (9, 0). (12.3.30)
Суммируя эти факты, мы получаем следующий результат:
Пусть (хъ ..., хл)— выборка из совокупности с к. ф. р. F (х; 90), где F (х; 9) регулярна, в смысле первой и второй производных по 9. Если 9 — оценка макси мольного правдоподобия для 90,
тогда функция С (9), задаваемая (12.3.30), имеющая производную С (6) и однозначную обратную 6 (Q в области й0, асимптотически
нормальна N\U —V
Пример. Пусть (хп ..., л^) — выборка из распределения Пуассона Ро (^0) с к. ф. р.
Р(^, I1»)^^^—,^ = 0, 1,
Мы хотим найти функцию от ц (обозначим ее через С (р)) такую, что С (р) асимптотически при п со имеет распределение ^ ^ М,—•) • Из примера § 12.2 (с) мы знаем, что оценкой максимального правдоподобия £ для параметра р0 сложит выборочное среднее х. С помощью формулы (12.3.25) можно проверить, что
ва (р, и) = У ^ ^ (х' Т
(мы положили dF(xy р)=р (х, р)).
Применяя (12.3.30) и выбирая Со = К2ро, находим
С И = 2^
Отсюда согласно теореме 12.3.7 мы заключаем, что если (хп ..., х^— выборка из популяции с распределением Пуассона Ро (р0), то ЧУх асимптотически при п—* со имеет нормальное распределение—V
12.4. Оценивание с помощью интервалов
Определение доверительного интервала. Предположим, что (хъ ..., хп) — случайная величина с к. ф. р. Рп (хь ..., х^ 6)- Пусть 6(a;i, ..., хп\ 9(хь ..., х^ — две функции выборочных значений (случайные величины) такие, что 9 <9. Если 9 и 9 могут быть выбраны так, что при заданном у
Р(9<9<9) = ъ(12.4.1)
где Р(9 <^ 0 <^ 9 | 6) означает вероятность события, написанного в скобках при (хь ..., х^, подчиненных к. ф. р. Рп(хь ..., хп; 6), то (6, 6) называется ЮОу-процентным доверительным интервалом для 9; 9 и 9 называются соответственно нижней и верхней доверительными границами для параметра 9, а у — доверительным коэффициентом. Заметим, что (9, 9) — двумерная случайная величина такая, что вероятность того, что интервал (9, 9) содержит истинное значение параметра 9 распределения Рп^хх. ..., х^ 9), равна у. Для случая выбора из нормальной совокупности примеры доверительных интервалов уже были даны в §§ 10.2(c), 10.4, 10.5 и 10.6. Математический аппарат дове-
рительных интервалов был впервые введен Лапласом (1814). Лаплас занимался задачей распределения значения р в биномиальном распределении (6.2.2) по наблюденным значениям случайной величины х и рассматривал доверительный интервал фиксированным, а значение р случайным. Процедура Лапласа была заново открыта Уилсоном (1927), который дал правильную интерпретацию доверительного интервала как случайного. Современная терминология и теория доверительных интервалов принадлежит Нейману (1937).
Процедура построения доверительных интервалов по выборкам из совокупностей с непрерывными к. ф. р. Процедура, с помощью которой в некоторых случаях может быть построен доверительный шпервал по выборке с непрерывной к. ф. р., состоит в следующем:
4.1. Предположим, что (хь ..., х^— выборка из распределения с непрерывной к. ф. р. F (х; 9). Пусть функция g(xx, ..., хп; 9) 1) определена в каждой точке 0 интервала (9Р 92), содержащего 90, и в каждой точке выборочного пространства Rn, за исключением, может быть, лишь множества вероятностной меры 0, 2) непрерывна и монотонно убывает или возрастает по 9 и 3) имеет к. ф. р., не зависящую от 6. Если (^, g2) — интервал, дЛя которого Р (gx^g^g^ I 6) = Т> то пРи истинном значении параметра 9, равном 90, решения 9 и 9 (где 9 <^ 9) уравнений g(xb ..., хп; 9) = = gx, g^ существуют, и (9, 9)—100 ^-процентный доверительный интервал для 90.
Для доказательства 12.4.1 заметим, что, так как к. ф. р. случайной величины g(xx, ..., хп; 9) не зависит от 9, мы можем по заданным 9 и у, 0<^у<^1, выбрать g\ и g^ (конечно, многими способами) так, чтобы если 90 — истинное значение 9, то
P(gi<g(A, •••> »т 0)<й1М = Т-(12.4.2)
Так как g(xx, ..., х^, 9) непрерывно и монотонно убывает (возрастает) по 9 на интервале (9Ь 92), (12.4.2), очевидно, эквивалентно утверждению_
^(?<00<0 I е0) = т,(12.4.3)
где 9, 9, 9<^9— решения уравнений ^(х^ ..., xt;, 9) = g{, g^ и, конечно, случайные величины.
Встает вопрос, всегда ли можно найти функцию g^, ..., х^, 9), к. ф. р. которой не зависела бы от 9, если известно, что F (х; 9) непрерывна по 9. Это можно сделать всегда. Действительно, при простом случайном выборе форма, принимаемая функцией Fn (хъ ..., хп; 9), п
именно JJ/7^; б), и является требуемой функцией, если Р(х;9)— непрерывная монотонно возрастающая или убывающая функция от 9 для всех точек пространства изменения х, за исключением, быть
может, множества вероятностной меры 0, ибо случайные величины 0), 5 = 1, 2, ..., п, независимы и, как указано в § 8.7(a), /1\
имеют прямоугольное распределениеЧ- Кроме того,
п
— log/7^; 0) имеет Г-распределение G(l); — ^ log/7^ • 9) также имеет распределение G(/z) согласно известному свойству Г-распреде- лений. Поэтому
п
Р (— log ^ < — Д loS F <ху ^<~ Jog th 19) =
— Jog/^
= Г^) $ y^W (12.4.4) — Iogd2
Если bx и b^ выбраны так, что интеграл в правой части (12.4.4) равен у, то мы имеем п
^(^П^ 6)<^|0) = Т-(12-4.5)
Если теперь функция F (х; 9) непрерывна и монотонно убывает (или возрастает) по 6 при всех значениях х из Rx (исключая, может быть, множество нулевой вероятности), то такова же и функция п
Р[ F^x* 9). Поэтому неравенства в скобках в (12.4.5) могут быть обращены и записаны в виде
Р(9<9о<9|9о) = Т,(12.4.6)
давая, таким образом, ЮОу-процентный доверительный интервал для 90.
Читателю следует заметить, что если предположение о монотонности функции ^(хь ..., х^ 9) в 12.4.1 отброшено, то (12.4.2) все же имеет место, но обращение неравенств в (12.4.2) дает вместо доверительного интервала (9, 9) случайное множество Е значений (9ц 9Д зависящее от (xv • ., х^. В этом случае (12.4.3) заменилось бы на Р(9^Е|9) —у. Следует настоятельно подчеркнуть, что случайным является множество Е, а не 9. С точки зрения оценивания параметра доверительный интервал является более привлекательной и более полезной оценкой, чем случайное множество Е. Обобщение идеи интервального оценивания параметра 9 в виде оценивания с помощью множества будет нам полезно в § 17.7, где мы будем заниматься задачей обобщения интервального оценивания на многомерный параметр 9.
Доверительные интервалы по выборкам из дискретных распределений. В том случае, когда F(x; 9) служит к. ф. р. дискретной случайной величины, теорема 12.4.1, конечно, не применима,
т. е. нельзя найти доверительного интервала, имеющего коэффициент доверия, в точности равный 7, если 7 произвольно. Однако при некоторых предположениях можно построить довершельные интервалы, имеющие коэффициент доверия, не меньший чем 7, хотя здесь ситуация менее интересна, чем в случае непрерывной случайной величины. Сформулируем результат более точно:
Предположим, что (xlf ..., х^— выборка из совокупности с функцией распределения F (х, 6), где х — дискретная случайная величина и 0 — параметр, область изменения которого — интервал (9Ь 02). Пусть 6 — оценка для 6, определенная в каждой точке пространства Rn, несущей положительную массу вероятности, и принимающая значения из 0ц 92. Обозначим через V (9; 6) к.ф.р* оценки 9 и V* (9*; 9)=1 — 17(9; 9). Пусть, кроме того, 17(9, 9) непрерывна и убывает по 9 в каждой точке 9 сосредоточения массы, так что lim 17(9; 9)=1, 11ш 17(9, 9) = 0 для всех
О—*91 9—*0g
9 £ (9Ь 92). Пусть 9 и 9— значения 9, для которых 17(9, 9) = 7! и 17* (9; 9) = 7*, где 7Х и 7а неотрицательны и 0<j = 1 — 7! — т* <1. Тогда (9, 9) — доверительный интервал для 0 с коэффициентом доверия ^7.
Доказательство 12.4.2. Пусть 9j обозначает наибольшее значение 9, для которого V* (9, 90) ^ 7Ь и 92 — наименьшее значение 9, для которого V* (6, 90)^7^. Тогда
7’(91<0<62)^Т> (12-4.7)
где 7—1 — 7! — 7* Но так как V(9; 9) монотонно убывает по 9 и не возрастает по 9, очевидно, что 91<^9<^92 тогда и только тогда, когда 17(9; 0О) Х> 7t и V*№ 0о)>Тр т. е. тогда и только тогда, когда 6^9О^9О. Поэтому
^(9<9О^6|9О)^7 (12.4.8)
и, следовательно, (9, 9) — доверительный интервал для 90 с коэффициентом доверия ^7.
Пример. В качестве иллюстрации рассмотрим выборку (хп ..., хп) из совокупности с биномиальным распределением Bi (1, р^). Плотность этого распределения равна
Нх; p^=p^\~pqY"x.
Точки х = 0,1 несут всю вероятностную массу, и р0 — некоторое число из (0,1). Выборочное среднее X имеет биномиальное распределение Bi (1,р) на своем выборочном пространстве 0, ... , — и является состоятельной оценкой для р0. Кроме того, если совокупность, из которой производится выбор,
имеет биномиальное распределение Bi(l,p), к. ф. р. для х определяется как их
V кх\ />)= 2 ("^'t1 ~Р^пЧ’t =0и У* (х; р) равна
У(х; р) = \-У№ р).
Теперь У (х; р) монотонно убывает по р и У* (х; р) монотонно возрастает по р для 0<nx<p, ибо (djdp) У* (х; р) > 0 и (djdp) У(х, р) < 0. Далее, У (х; 0) = 1 и У(х; 1) = 0 для всех х^ (0, 1). Отсюда, применяя теорему 12.4.2, получаем, что если р и р—соответственно решения уравнений Г№ Ро) — 71 и V* (х; р^ = ^ и 7=1—7! — 7? (р0— истинное значение параметра р популяции), то
Р(Р^Ро^Р\ро)^-(,
т. е. (р, р)—доверительный интервал для р0 с коэффициентом доверия ^7.
Доверительный интервал такого типа для р0 был построен, представлен графически и опубликован Клоппером и Пирсоном (1934) для случая, когда 7! =7* = 0,05, 0,025, и для различных значений п от 10 до 1000.
Процедура, аналогичная только что приведенной, была применена Гарвудом (1936) и Рикером (1937) к задаче построения доверительных интервалов для параметра и распределения Пуассона.
Описанная в 12.4.2 процедура может быть обобщена на случай, когда параметрическое пространство состоит из дискретного множества точек или является каким-либо другим множеством интервала (9П 92). Такая ситуация возникает, например, при построении доверительного интервала для р в случае, когда случайная величина х имеет гипергеометрическое распределение H(N, п; р), определенное в § 6.1(a), где N и п известны. Здесь параметрическое пространство 2 для р состоит из дискретного набора точек 0, 1/^ 2jN, ..., 1. Доверительные интервалы для р были построены Чжуном и Де Лёэри (1950) для ^=500, 2500, 10 000, и = 0,05, 0,10, (0,10), 0,90 и для 7 = 0,90, 0,95, 0,99.
Замечания относительно фидуциальных вероятностей и фидуциальных интервалов. Понятие фидуциального интервала было введено Фишером (1935b). Оно тесно связано с понятием доверительного интервала. Предположим, что параметрическое пространство 9 представляет собой интервал (9Р 92) и $ — статистика, выборочное пространство которой — интервал (а, 6). Пусть ^(s, 6) — плотность и У (s; 6) — к. ф. р. статистики s. Если V* (6; s) = 1 — V (5; 6) непрерывна и строго монотонно возрастает по 9 при каждом $ из ^а, Ь), так что lim V* (6; s) = 0 и Нш ^*(9; s)=l при каждом $ из (а, Ь), б-^бх6—►бд
то G(9, s) как функция 9 на интервале (9Ь 92) имеет все формальные свойства к. ф. р. при каждом s из (а, 6) и называется фидуциальной к. ф. р. для 9, основанной на статистике s. Таким образом, если 9' и 9", 9'<9', выбраны так, что ^(9'; s) = ^i и V* (9"; s) = 72, где
^ — 71 = 7, 0<^7<1, мы можем написать следующее фидуциально- вероятностное утверждение:
fid Р (6' < 9 < 6" | s) = у,(12.4.9)
так что (9', 9") будет называться 1007-процентным фидуциальным интервалом для 9. Если 90 — истинное значение 9 и s', s" — значения s, удовлетворяющие соответственно уравнениям l/(s; 90)=1—72 и V(s; 90)=1 —Yb где 72— Ti = T, то мы видим, что P(s'<^s<V|90)= — 7. Но 90 лежит в интервале (О', 9") только в том случае, если s лежит в интервале (9', 9*). Таким образом, (9', 9*) есть также 1ОО7- процентный доверительный интервал для 90.
Фидуциальное распределение и фидуциальные интервалы порождаются еще одной процедурой, именно с помощью центральных функций (pivotal functions). Для статистики s и рассматриваемого параметра 9 определим функцию g(s; 9), которая строго монотонно возрастает по 9 для каждого $ и имеет то же свойство, как функция s при каждом 9. Пусть ^(s; 9) имеет элемент вероятности h (g) dg, который зависит от 9 только через g Если ^(s, 9) имеет первые частные производные по s и 9, то h(g)(dg^ds)ds есть элемент вероятности случайной величины s и h^g^dgjd^df)— элемент фидуциаль- ной вероятности параметра 9. Таким образом, пусть gx и g^ ^gx<^g^— такие числа, что
P^<g<s; 9)<^|9) = т.(12.4.10)
Пусть Sj и s2 ($i < s2) — значения s, для которых соответственно g(s; 9) = gb g2, тогда как 9! и 92 (9!<^92)— значения 9, для которых соответственно ^-(s; 9) = ^, g^. Тогда 9 £ (9Ь 93) тогда и только тогда, когда s £ (sb s2). Поэтому
62• $а
J *(g) Jd9 = J h(.g)^d.s, 9151
где левая часть есть фидуциальная вероятность fidP(91<(9<^92), тогда как правая часть есть вероятность Р (Sj < s < s2). Аналогичные рассмотрения можно провести, когда ^(s; 9) строго монотонно возрастает по $ и убывает по 9 и наоборот, а также когда g^s; 9) убывает по обеим переменным.
Замечание. В обеих приведенных процедурах, порождающих фидуциаль- ные распределения, фидуциальные и доверительные интервалы эквивалентны.
Существуют, однако, ситуации, когда фидуциальные интервалы не эквивалентны доверительным интервалам, и это обстоятельство вызвало спор относительно того, какой смысл следует придавать фидуциальному интервалу. Этот спор сосредоточился вокруг смысла формального фидуциального распределения разности ,л1 — ^L> средних двух нормальных распределений A" (p.lf as) и N (p.2t а|), когда в рассмотрение вводятся выборочные средние и дисперсии для каждого распределения. Более точно предположим, что пп xd S? и п2, Х2> s| — объем, среднее и дисперсия двух независимых выборок
из W^, а?) и N (р*2) а|) соответственно. Тогда
1 ^^V^l 0^1Р1)/81> ^2 == Р^2 (-^2^а)!^(12.4.11)
независимы и имеют распределения Стьюдента с (^—1) и (п2—1) степенями свободы соответственно. Если fm(t)dt— элемент вероятности стьюден^ това отношения tern степенями свободы, то элемент вероятности величин tt и t2 будет fn^_x (^fn^-x (^2) ^1 ^2- Используя величины tt и t2 из (12.4.11) в качестве центральных, получаем фидуциальный элемент вероятности (р,п р,2) при заданных nn Xn sf, n2, я2, sf:
fn,_l (К«7(^1 —1^1)М1)/п3_1 (/п2 (^2—(X2)/Ss) [/n^/SiSsMH^- (12.4.12)
Из (12.4.12) можно формально найти фидуциальное распределение (^ — ц2), а из этого распределения — фидуциальные интервалы для ^ — р.2). Но можно показать, что не существует функции g(^n х2, sj, s|, p.t — ц2), удовлетворяющей некоторым условиям регулярности, распределение которой зависело бы только от пп п2 и g, из которой можно было бы получить доверительные интервалы для (^ — р,2). Таким образом, в этом примере фидуциальные и доверительные интервалы, по-видимому, различны. Возникает вопрос, как здесь интерпретировать фидуциальные интервалы. Эта задача известна под названием проблемы Беренса — Фишера [см. Фишер (1935 Ь)]. Читателю, заинтересованному в детальном изучении проблемы Беренса — Фишера, следует познакомиться с работой Тьюки (1957с) и ссылками в конце этой работы.
12.5. Интервальное оценивание при помощи больших выборок
Интервальные оценки, связанные с функцией правдоподобия. Асимптотическая теория интервального оценивания по большим выборкам проистекает непосредственно из теории точечного оценивания по большим выборкам, развитой в § 12.3. Асимптотически эффективные точечные оценки, как мы увидим, порождают для больших выборок асимптотически наикратчайшие доверительные интервалы.
Предположим, что (хь ..., хл) — выборка из распределения с к. ф. р. F(x; 60). Нам будет удобно называть функцию
№(1MJ)
функцией правдоподобия. Здесь В (%, 9) = + У В2 (9О6)._
При выполнении условий теоремы 12.3.1, как мы знаем, Уп X X ^л (-^v • • • > ^т 9) имеет в качестве предельного распределения N^ 1), когда истинное значение параметра 6 равно 90- Если мы. потребуем выполнения более сильных условий теоремы 12.3.3, то, так как вероятность того, что при всех п^>ле.
УпЛ^Ху, ... , хп; 9) = h'n^Xy ... , х,;, 9*)[]/« (90 —б)]
превышает 1 — е для точек из множества Еп, определенного в (12.3.5), где h’„^xv ... , хп; 9) = ^hn(xp ... , хп; 9) и 6, и 9* определены в (12.3.7), две последовательности случайных величин
У^Мххх,; 6.), л=1, 2, .,, ,(12.5.2)
иh’n(Xi, ... , х^ 6*) [К» (9о — б)](12.5.3)
сходятся по распределению к нормальному закону N(0, 1). Кроме того, если (д/09) В* (90, 6) существует и ограничена на 20 и 9 = 9О, то й»^ ... , х„; 9*) и h^Xtх^ б) (12.5.4)
сходятся по вероятности к В^, 90) ПРИ л->оо.
Мы можем написать
HmP[ — X4<h'n(xv ... , х^ б)[|//Г(60 — 6)1 < +хтI°о] = Т>
где Ф(\)— Ф( — Х7) = у. Отсюда видно, что
п—*оз L у Л Лд (х^, ... , Х^, и/
<90<б + -—-Ат— |<| = Ъ (12.5.5)
V п hn (хп ... , хп\ 0) I J
Мы будем говорить, что интервал, имеющий конечные точки 9±;—^—^ является асимптотически 100у-процентным
ул hn^xu ... , хп; 6)'‘
доверительным интервалом для 90 при большом п. Его длина равна 2ХТ
Vn hk(xb ... , хп; §У
Интервальные оценки, полученные по произвольным оценкам. Мы покажем, что предел отношения квадрата длины только что полученного интервала к квадрату длины аналогичного интервала, полученного при помощи произвольной опенки gn (xv ..., х^ 9), удовлетворяющей некоторым условиям, не может превосходить 1. Пусть (xv ... , х^ — выборка из совокупности с к. ф. р. F(x, 6), которая регулярна вместе, с двумя производными по 0, и пусть через п
Fn обозначена величина JJ F (xj 6) и Fno — значение Рп при 9 = 90. 6=1
Пусть
gn(xv ... , х^ 9)(12.5.6)
— случайная величина такая, что
\ \Vn gn<xb ... , х,- ^dFn = Q, 1;/=1, 2, (12.5.7)
для 9 из 20;
it) Vп gn (xv ... , хп; 90) имеет в пределе при п -> оо распределение N(0, 1), если 90 — истинное значение 9;
§п^\^ ••• , ^т ^) имеет непрерывную производную по 9, Sn С^ь ... , хп; 9), для 9 из 2 и для всех точек выборочного пространства Rn, за исключением, может быть, множества вероятностной меры 0;
если 90 — истинное значение 6, то gn (jc^ ... , хл; 9) сходится по вероятности к 5* (90, 9) равномерно по 9 из 2, где 5*(90, 9) ограничена на 20 и В* (90, %) ^ 0;
если
Л*(9, 9') = $ §Дхъ ... , х^ ^dFn
И
5»(9, 9') = 5 g;^, ... , xn;9')dFn,
ТО
^(6, 9') = В» (9, 9') для (9, 9') ^ 2e X So,
Ап (9, 9) = 0 для 9 ^ So,(12.5.8)
lim В£(9, 9) = В*(9, 6) для 9 £ 20.
П->00
Любая функция, имеющая перечисленные свойства, будет называться регулярной оценивающей функцией для 90. Следует заметить, что функция hn(xv ... , х^ 6), определенная в (12.5.1), является регулярной оценивающей функцией для 90. Следуя пути, намеченному при доказательстве теоремы 12.3.2, можно проверить, что если для п ^ некоторого п0 уравнение gn (хр ... , хп\ 6) = 0 имеет единственный корень, то уравнения
gn(xv ... , хп; 6) = о, п = пй, Ло+ 1, • •• ,(12.5.9)
имеют последовательность корней
9^, ... , хп\ п = п0) Ло+Ь ••• ,(12.5.10)
которая сходится по вероятности к 90. Кроме того, две последовательности случайных величин
Vn gnk^V ••• > ^л, 6о), л = »о> «о+1 (12.5.11)
gn(xb ... , х„; ^[Уп (90 —9)], п = п6,пй-\-\,..., (12.5.12)
где 9* удовлетворяет неравенству | 90 — 9* | ^ | 90 — 9 |, сходятся по распределению к N^, 1). Но из теоремы 4.3.8 мы видим, что
gn^Xv • •• , х^ 9*) и gn^Xx, ... , х^ 9)(12.5ЛЗ)
сходятся по вероятности к В* (90, 90) при п -> оо. Поэтому, как и в (12.5.5), мы можем утверждать:
lim pfg ———-т-<9О<9 + —-—-т-] = Т-
„-.00 LVHgn ^хи ... , Хп, 6) ^Vngn<XtХп, 6)J
(12.5.14)
12.5] интервальное оценивание при помощи больших выборок 383
Таким образом, 9 ± —=—-,1~конечные точки асимпто-
уп gn(xu ... , хп; 6)
тического ЮО^-процентного доверительного интервала для 90 при
большом п, длина которого равна -_- ,1—.
Vngn(xu ... , Х^ 0)
(с) Асимптотически наикратчайшие доверительные интервалы.
Отношение гп квадрата длины доверительного интервала из (12.5.5) к соответствующей величине из (12.5.14) равно
= «(12.5.15)
где
(12.5.16)
hn(xv ... , х^, 0)1
и
g^xv ... , ,г„;~6)но s 174
а„ = -г-;а-т .(117)
8п (^1хп>9о)
Здесь сп и dn — случайные величины, но из 4.3.7 следует, что числитель и знаменатель dn сходятся по вероятности к 5*2(90, 90) и, следовательно, dX сходится по вероятности к 1. То же самое можно сказать и о с% Отсюда гп сходится по вероятности к величине
(12.5.18)(12.5.18)Я*2 (60, 60)Я2 (0о, 0о) ’
(12.5.18)
(12.5.18)
и мы хотим показать, что эта величина не может быть больше 1.
Так как (12.5.7) имеет место для всех п, учитывая (12.5.8), мы можем дифференцировать (12.5.7) для 7=1 по 9 под знаком интеграла. При 9 = 9О
$ gn(xb ... , Хп, 9)dFn^
, ^; 9)р^о = О.(12.5.19), ^; 9)р^о = О.(12.5.19)Rn
, ^; 9)р^о = О.(12.5.19)
, ^; 9)р^о = О.(12.5.19)
\ V ^ gn С*Ф • • • ’ ^пл %) Ггт= ^л С^Р • • •
кп
Следовательно, квадраты этих интегралов равны. Но квадрат первого интеграла есть В^ ^%, 90). Применяя неравенство Шварца ко второму интегралу и учитывая тот факт, что интеграл в (12.5.7) для 7 = 2 равен 1, мы получим
В^(9в, 90)< j [^^(^-(12.5.20.)
Но правая часть сходится к 52(90, ®о)> не зависящей от п. Отсюда5^(90) 9О)^(6О, 90),
и, переходя к пределу при л->оо, мы имеем
(12.5.21)(12.5.21)В*" (Ор, Ор) _в2 (Ор, Ор)’ 1
(12.5.21)
(12.5.21)
Таким образом, отношение квадратов длин доверительных интервалов сходится по вероятности к числу, которое ^ 1. Мы будем' говорить, что доверительные интервалы, определенные в (12.5.5), являются асимптотически при больших п наикратчайшими доверительными интервалами для 90.
Полученный результат сформулируем в виде теоремы
Пусть (хъ ... , х^— выборка, из совокупности ск.ф.р. F (х; 90), где F (х; 6) регулярна в смысле первой и второй производных по 6 в области 20. Тогда, если gn(xb ... , х^ 6) — какая- либо регулярная оценивающая функция для 90, то асимптотические при больших п 100^-процентные доверительные пределы для 90 даются формулой (12.5.14). Кроме того, не существует никакой регулярной оценивающей функции для 90, которая давала бы асимптотически более короткий 100^-процентный доверительный интервал для 9, чем функция правдоподобия hn (xv ... ... , хп; 9), определенная формулой (12.5,5). Таким образом, асимптотически наикратчайший доверительный интервал дается формулой (12.5.5).
Эквивалентность задачи нахождения асимптотически наикратчайших доверительных интервалов и асимптотически эффективной оценки становится очевидной, если вспомнить, что асимптотическая эффективность 9 в (12.5.10), вычисленная в формуле (12.3.23), есть просто, отношение (12.5.21). Таким образом, квадратный корень из асимптотической эффективности оценки 9 параметра 90 (см. (12.5.10)) равен : в пределе (по вероятности) отношению длины асимптотического ЮОр процентного доверительного интервала, построенного по функции правдоподобия hn(xb ... , хп; 9), к длине доверительного интервала,/ построенного по gn (хь ... , хп; 9).
Задача об асимптотически наикратчайших доверительных интер- п
валах для случая, когда gn (хъ ... , х^ 9) имеет вид 2 £^х^ ®Ь была рассмотрена Уилксом (1938 b) и в более общем случае Вальдом (1942).
12.6. Многомерное точечное оценивание
Вводные замечания. Результаты, полученные в §§ 12.2—12.5/ относятся к выборкам с к. ф. р. F (х, 9), в которых 9 — одномерный; параметр. Как указано в начале § 12.1, результаты этих параграфов остаются верными с незначительными изменениями в определениях и
тогда, когда мы имеем выборку из ^-мерной совокупности с к. ф. р- F(xi, . • , хк\ 6), где 0 — одномерный параметр.
В том случае, если 6 — r-мерный параметр с компонентами 9р * • • > ®л основные результаты, которые мы получили, имеют г- мерный вариант, который может быть не сразу очевиден читателю. Мы сформулируем несколько r-мерных результатов, иногда опуская в доказательствах некоторые подробности. Читатель, достаточно хорошо знакомый с уже рассмотренными результатами для одномерного случая, не встретит затруднений в восстановлении этих деталей.
На протяжении этого параграфа мы будем рассматривать простой случайный выбор из совокупности с к. ф. р. F ^х; 6), где 6 — г-мер- ный параметр, х для удобства считается одномерным. Результаты с небольшими изменениями могут быть обобщены на случай многомерного х. Компоненты 9 мы будем обозначать через (9Ь ... , 9Г). Истинное значение (910, ... , 9ГО) параметра 9 будет обозначаться через 90. По аналогии с одномерным интервалом 20 мы будем иметь (открытый) r-мерный прямоугольник 2г0, содержащий 90.
Оценка (91? ... , 9Г) будет обозначаться через 9. Несмещенной оценкой 9 для 9 является такая оценка, для которой 9р — несмещенная оценка 9р0, ^=1, ... , г. Набор достаточных статистик для оценивания 9 был определен в § 12.2(e).
Эффективность многомерной оценки. Теперь мы покажем, как обобщить понятие эффективности на случай многомерных оценок. При этом мы будем пользоваться обозначениями § 12.1(b). Пусть
S „ (хъ ... , хп; 6) = 4- log dFn (хь ..., хп; 6) = У S (х ; 9), (12.6.1)
Spqn (Ху . . . , Х^ 9) = ^- 8рП (xlt ... , х^ 9).
Если 9— несмещенная оценка некоторого 9 из 2г0 и Ср, р= 1, ... ... , г, — произвольные константы, то можно написать
$ S C%-%WPdFn = 0,(12.6.2)
М = х Г
что, конечно, также означает, что У с'р 6р — несмещенная оценка р=1
Г
Для 2 ср^р- Будем предполагать, что компоненты 9р линейно неза- Рех 1
ВИСИМЫ.х
Если р(х;в) регулярна вместе со всеми первыми производными
по 9, мы можем продифференцировать (12.6.2) по 9^. Получаем г
$ 2 (^р®р) ср^9^ (^ь • • • > хп; 9) dpп = cq(12.6.3)
. М=х
13 С. Уилкс
для ^=1, ... , г. Умножим обе части (12.6.3) на cq, просуммируем по #, далее возведем в квадрат обе части получившегося равенства и применим неравенство Шварца к квадрату интеграла в левой части. Таким образом, имеем для 0 из йг0
(2 счс<^ {$ [S ^ М ^]2^л} X
ХИ Е^(^ь •■• • ^сЛМ?^. (12.6.4) Rn 1
г
Но величина в первых фигурных скобках справа равна о2^2^р1®)>
г
а во вторых—по4 Е8р(х, 0)ср| в]. Поэтому при 0 = 0О (12.6.4) сводится к неравенству
/ г ~\ ЕУр)3
41Ж1Ч^г—5>(12-6-5)
«=2 Е Sp (х; 0) Ср I 60]
р=\
что дает точную верхнюю границу дисперсии несмещенной оценки
1
Как мы увидим, в (12.6.4) знак равенства имеет место тогда и только тогда, когда для всех точек х пространства Rn, за исключением, может быть, множества вероятностной меры 0, существует линейная зависимость вида
К^ 2 (% - 6р) Ср = 5 8рП (хь ... , х„; 0) Ср, (12.6.6) рр
где К(6) не зависит от (х^ ... , хп) и в каждом из наборов чисел Ср ... , сг и съ ... , сг имеется хотя бы одно отличное от 0. Если существует несмещенная оценка 60 такая, что (12.6.6) имеет место для любого 6 из йгОл то мы будем называть ее эффективной оценкой и обозначать через 0.
Обозначим матрицу ковариаций величин У^6р, р=1, ... , г, в точке 0 = 0О через Н^^Ц, матрицу ковариаций величин SqjV п в точке 0 = 0О через ||^||, как и в § 12.1(b). Ковариация Vn% и Sq]Vn равна 8 , где Вр9 равно 0, если p^q, и 1, если p = q* Неравенство (12.6.4) мы теперь можем переписать в виде
(5j ^pq СРСо) (S ^pqCpGq^ (5j ^PqCPCq^‘ (12.6.7) р> qрлp»q
Здесь знак равенства имеет место только в случае, если выполнено (12.6.6), если, конечно, в наборах чисел с\, ... , сг и сх, ... , сг имеется хотя бы по одному отличному от 0.
Теперь знак 2> в (12.6.7) имеет место только, когда матрица ковариаций случайных величин Уп ^ь • • • , УйА, St/Уп ,..., SJV я положительно определена, откуда следует, что
1^>||Вр,|>|8р?|=1. (12.6.8)
Знак равенства в (12.6.7) имеет место только тогда, когда матрица ковариаций тех же случайных величин становится положительно полуопределенной после учета линейной зависимости (12.6.8), т. е.
(12.6.9)
Иначе говоря, знак неравенства (равенства) в (12.6.7) имеет место тогда и только тогда, когда имеет место знак неравенства (равенства) в соо™»™ |я™цв„|э»1. (12.6.10)
Так как компоненты 91? ... , 6Г линейно независимы, из теоремы 3.5.2 следует, что матрица ПВ^Н положительно определена и, следовательно, |В^|2>0. По аналогичным причинам |BpJ>0.
Эти факты наводят на мысль, что, как обобщение (12.2.15), мы можем определить эффективность несмещенной оценки как отношение
eff (0190)eff (0190)11(12.6.11)(12.6.11)
eff (0190)
eff (0190)
1
1
(12.6.11)
(12.6.11)
Таким образом, eff (6 160) = 1 для эффективной оценки в* Сформулируем полученный результат в виде теоремы 12.6.1. Предположим, что (хъ ... , хп)— выборка из совокупности с к. ф. р. F (х; 90), где 90 — г-мерный параметр. Пусть функция F (х, 9) регулярна в смысле первой и второй производных по 6 в 2г0, || Bpq (9, 9) || — положительно определенная матрица при всех 9 из 2г0. Если 9— несмещенная оценка для 90 с линейно независимыми компонентами, матрица ковариаций которой ЦВ^Ц существует и положительно определена, то для любых двух наборов констант сь ... , сг и с^, ... , сг, содержащих хотя бы по одному ненулевому элементу, имеют место неравенства (12.6.5) и (12.6.10). Кроме того, в обоих случаях знак равенства имеет место тогда и только тогда, когда выполнено (12.6.6).
Многомерное точечное оценивание по большим выборкам
Асимптотическое распределение информанта. Информант ^-мерного вектора 9 представляет собой по определению (12.6.1) ^-мерный вектор с компонентами 8рп(хъ ... , хп; 9), р=1, ... ? Г.
13»
При условиях, аналогичных приведенным в теореме 12.3.1, при большом п эти компоненты подчиняются r-мерному нормальному закону.
Именно
Предположим, что (хь ..., х^— выборка из совокупности с функцией распределения F^x, 90), где 90— г-мерный параметр. Пусть F(x; 6) регулярна в смысле первых производных по В в 2г0- Тогда, если матрица || Bpq ||, р, q= 1, 2, ..., г, положительно определена при всех 9 из Qr0, вектор (Spn(xb ..., х^ 9Д р = = 1, ..., г) асимптотически при больших п распределен в соответствии с п-мерным распределением ^({0}, ЦлВРд||), где Bpq — = Bpq^, 90).
Доказательство этого утверждения аналогично доказательству теоремы 12.3.1 для одномерного случая, и мы предоставляем читателю проделать его в качестве упражнения.
(Ь) Сходимость оценки максимального правдоподобия. Как и в одномерном случае, если не существует несмещенной оценки 9 для 90, компоненты которой удовлетворяли бы (12.6.6) при каждом п, можно показать, что при некоторых условиях существует последовательность решений системы уравнений
5Дхъ .... х^ 6) = 0, р=\, .... г, (12.7.1) которая сходится к 90 с вероятностью 1. Более точно, мы имеем следующее обобщение теоремы 12.3.2 на zz-мерный случай:
Предположим, что (хъ ..., х^ — выборка из распределения с к. ф. р. F(x; 90), где 90 = (910> ..., 9г0) — r-мерный параметр и функция F (х; 9) регулярна в смысле первых производных по 9 в 2г0. Пусть Sp(x\ 9), ^=1, ..., г, — непрерывные функции 9 в области Qr0 при всех значениях х, за исключением, может быть, множества вероятностной меры 0. Тогда существует последовательность решений системы (12.7.1), которая ^сходится почти наверное к (910, ..., 9г0). Если для п^ некоторого п0 решение представляет собой единственный вектор (9Ь ..., 9Г), то последовательность этих векторов сходится почти наверное к (610, • • • > 0гО) при п->оо.
Доказательство 12.7.2 полностью аналогично 12.3.2, и мы его опускаем.
(с) Асимптотическое распределение оценки максимального правдоподобия. Сформулируем r-мерный аналог теоремы 12.3.3.
Если (хь ..., х^ — выборка из совокупности с к. ф. р. F(x; 90), где 90 — r-мерный параметр, F (х; 9) регулярна в смысле первых и вторых смешанных производных по 9 для 9 из 2^ и оценка максимального правдоподобия (9Ь ..., 9Д удовлетворяющая (12.7.1), единственна для п^ некоторого пй и является измери- п
мой относительно вероятностной меры pj F(x^ 9), то асами-
топшчески при больших п она имеет r-мерное нормальное рас- пределение ^({9p0}> П^ЦЛ где || Bpq || = || Sp5(90, 90)||.
Доказательство аналогично 12.3.3, и мы его опускаем.
(d) Асимптотическая эффективность оценки максимального правдоподобия. При r-мерном оценивании 9 является состоятельной оценкой для 90, если каждая компонента 9 является состоятельной оценкой соответствующей компоненты 90.
Асимптотическая эффективность состоятельной оценки 9 для 60
определяется как
(12.7.2)(12.7.2)leff (9190) =Д.limп—* со
(12.7.2)
(12.7.2)
Можно проверить, что если оценка 6 асимптотически нормальна, как установлено в 12.7.3, то 9 является состоятельной оценкой для 90. Линейная функция ^ср^р является состоятельной оценкой для р
2 ср^ро и
р_
lim зЧУп^Ср^ — ^ВМсрСд,(12.7.3)
я -* сорp,q
где || Bpq || = || Bpq II-1. Таким образом, если Ц^р^Ц — матрица ковариаций вектора (1^п^, ..., У*п9Д то
lim |Sp^| = |^|(12.7.4)
П —> ОО и, следовательно,
,eff(0l0«)=^TT^T=1-(12-7-5)
При условиях теоремы 12.7.3 оценка максимального правдоподобия 9 является асимптотически эффективной оценкой для 90.
Как и в одномерном случае, первые исследования по эффективному оцениванию многомерного параметра принадлежат Фишеру (1922). Более поздние работы в этой области, использующие современные математические методы, принадлежат Баранкину и Гёрланду (1951).
Многомерные доверительные области
Идея, лежащая в основе интервального оценивания одномерного параметра (см. § 12.4), состоит в том, что при фиксированном доверительном коэффициенте у ищутся такие случайные величины 9 <9, что
/>(9<9<9|9) = Т.
Метод построения 9 и 6 при некоторых условиях дается теоремой 12.4.1. Как мы вскользь заметили в § 12.4(b), если в теореме 12.4.1 откинуть требование монотонности функции gn (jcb ..., xn; 9) по 9 на интервале 20, то мы получим случайное множество Ех (хь ..., хп) из Rx> которое коротко может быть записано как Ех> состоящее из всех вещественных J/, для которых
gi<gn(^i. .... *т ^<g4,(12.8.1)
и не зависящее от 90, так что
Р (gi < gn to, • • • / ^л! М <й 19») = Р (9. Е Е11 9») = т- (12.8.2)
Иными словами, вероятность того, что Ех содержит 90, равна 7. Ех — борелевское множество, ибо gn (хь ..., х^ 9) — случайная величина для всех значений 9 из 2. Независимость Ех от 9 следует из того, что к. ф. р. gn (хь ..., х^ 9) не зависит от 9. Надо заметить, что Ех не обязательно состоит только из точек параметрического пространства 2; Ех состоит из точек эвклидова пространства RX) в которое вложено 2. Вот почему мы предлагаем в (12.8.1) писать у вместо 9.
Ввиду сказанного (12.8.2) представляет собой расширение идеи интервального оценивания. С помощью такого подхода мы можем обобщить основной результат, касающийся интервального оценивания, на случай r-мерного параметра следующим образом.
Предположим, что (хъ ..., х^ — выборка из совокупности с к. ф. р. F(x; 90), где 90 — г-мерный параметр. Пусть gn C^i> • • • х^ 8) — случайная величина, определенная таким образом, что при всех 9 из параметрического пространства 2 и в каждой выборочной точке пространства Rn, за исключением, может быть, множества вероятностной меры 0, ее к. ф. р. не зависит от 9, если (хъ ..., х^ имеют в качестве к. ф. р. F(x; 6). Пусть ЕДхъ ..., хп) = Ег — множество точек у —(у^ ... > у^ из Rn для которых gx<^gn^xX) ..., х^ y)<igb ^ gx 11 Sa выбраны так, что
р(g"i < gn ^1, • • •, Хп, 9) <g! 19) = Ъ (12.8.3)
где у не зависит от 9. Тогда Ег — г-мерное случайное множество такое, что для истинной параметрической точки 90 мы имеем
Р(6оЕ^г|8о) = Т.(12.8.4)
Доказательство этого утверждения очевидно и опускается. Мы назовем множество Er 100у-процентной доверительной областью для 90. Пример доверительной области для r-мерного параметра был дан в § 10.4.
Более общо, если gn (xv ..., хп; 6) — вектор-функция с компонентами gp'n^b х^ 9), /=1, ..., г\ к. ф. р. которой не зави-
12.8|
сит от 8, когда популяционная к. ф. р. есть F (х, 8), то для любого множества Е£ из Rr,, для которого
P^gin. .... gr-n^E^ = t(12.8.5)
множество Ег, состоящее из всех точек _у = (у1, ...,^г) из Rr, для которых
(gm to, х» У)» gr.n (xtхв, j)) £ Е?.. (12.8.6) представляет собой 1 ООу-процентную доверительную область для 0о Т- е‘P^EEr^V(12.8.7)
Обычно наиболее интересными, полезными и изящными являются функции gn (хп ..., хл; 6), которые дают выпуклые или по крайней мере просто связные доверительные области (случайные множества) Еп ибо такие множества, по-видимому, легче описывать и использовать. При г = г'=1 Ех будет таковым, если gn(xv ..., х^ 6) непрерывна и монотонна по 6, как показано в 12.4.1. Для более общих значений т м’ ситуация более сложная.
Но в дополнение к требованию выпуклости или связности наша интуиция требует, чтобы область Ег была в каком-то смысле наименьшей. При конечном п это, однако, сложная проблема. Для больших п существует удовлетворительное асимптотическое решение ее при некоторых ограничениях, которые мы рассмотрим далее.
Пример. Для иллюстрации рассмотренных идей предположим, что ^хь ... , хп)— выборка из N (у.О1 а§). Тогда из 8.4.1 мы знаем, что функция
g(xng(xnf^o^o) =f^o^o) =(zi —l)s2 + n(x —у0)3(zi —l)s2 + n(x —у0)3
g(xn
g(xn
f^o^o) =
f^o^o) =
(zi —l)s2 + n(x —у0)3
(zi —l)s2 + n(x —у0)3
имеет ^-распределение С (п). Поэтому для данного 7 мы можем найти /- такое, что
P(g<7^ = V
Обозначим через Ей область в (у1у2)-полупространстве у2 > 0, лежащую между двумя ветвями гиперболы“
)Ц _ Ot — ху _ (п — l)s2
п У2пу2 1
Мы видим, что если (р.о, с0)— истинная параметрическая точка, то
P(to °о) ^ В2)=-(.
Теперь рассмотрим двумерную вектор-функцию
gp'(xi хп’ ^о- %), Р'=1> 2>
где
Из теоремы 8.4.2 следует, что g! и g2 независимы и имеют /Араспреде- ления С (1) и С (и—> 1) соответственно. Если мы выберем у? и у| так, что
^<Х?, ^s>Xi) = b
и определим Е^ как область в (у^у^-плоскости, для которой
—у (П_ 1)$
У </л’ ЗУ
где у2 > 0, то будем иметь
P№0, а0) £Е*) = 7.
Таким образом, Е2 и Е*— примеры доверительных областей, определенных оценивающими вектор-функциями, имеющими одну и две компоненты соответственно. Интуитивно ясно, что Е* является более удовлетворительной, чем Е2, ибо Е* ограничено и выпукло, в то время как Е2 не обладает ни одним "из этих свойств. Если в качестве g (xv ... , хп; ц0, а0) выбрать плотность распределения вектора (х, s2), то мы получим область Е^*, которая еще лучше, чем Е^, с точки зрения критерия «малости», но Е^* имеет более сложный вид, чем Е^, и мы не будем заниматься ее детальным описанием. При большом п существует оптимальный метод получения асимптотически наименьшей области для оценивания (р.о, а0). Общая задача об асимптотически наименьших ддверительных областях рассматривается нами в следующем параграфе.
Асимптотически наименьшие доверительные области при больших выборках
Теперь мы переходим к рассмотрению r-мерного обобщения теоремы 12.5.1.
Из теорем 12.7.1 и 9.3.2 следует, что если истинное значение равно 90, то последовательность случайных величин
г
ип(хь .... х„; 60) = л ^ B^hpn^hqn^, «=1, 2, р.
(12.9.1)
где Нрп(6) = ~Spn(хь ..., х^ 9), как указано в (12.6.1), сходится по распределению к ^-распределению С (г). При более сильных условиях теоремы 12.7.3 мы можем применить теорему о среднем значении из дифференциального исчисления к Un и написать
Un = Um если значение 9 принадлежит Qr0>
^ = 0, если значение 6 не принадлежит Qr0, где
UUXx, ...,*» 0о) ^^Z^O^O^—ер)][И^(12.9.2)
p.q
для всех точек пространства Rn, исключая, может быть, множество вероятностной меры 0, где
16р0 — 6р|<|9рО — 0р|,р=1, г.
Можно проверить, что из условий 12.7.3 и теорем 4.3.7 и 4.3.8 следует, что В^ сходится по вероятности к
2 ВР'9’Bp.pBq.q^ = Bp^ При Я->ОО
и, следовательно, Un и Un, ^=1, 2, ..., — последовательности случайных величин, сходящиеся одновременно по распределению к С (г). Тецерь выберем так, чтобы
7= lim Р(ип<^= lim Р(Д*<^),(12.9.4)
Л—>СОЛ—>ОО
и пусть Ет (хь ..., хл) и Б* (лф ..., х^ — множества точек у = (уъ ..., J^r) из Rr такие, что
Un^хп;^<^(12.9.5)
и$п(хъ хп; jy)<^(12.9.6)
соответственно. Поэтому, если 90 — истинное значение 6, то
lim Р (60 £ В,') = lim Р (90 £ Е^ = у, (12.9.7)
т. е. Ег и Е* — асимптотически эквивалентные доверительные области для оценки 90. Но Е* представляет собой эллипсоид в Rr с центром в точке 90, объем которого равен -
(12.9.8)(12.9.8)К№
(12.9.8)
(12.9.8)
Vn\B^qV
где АГ (г)— константа, зависящая только от г. Теперь пусть gn(xb ••> х^ 9) — векторная случайная величина с линейно независимыми компонентами gpn^xx, ..., хл; 6), р=1, 2, ..., г, и первыми производными
gPqAxb ...» х„, ^=-^gpAxv ..., х^ 9), р, q=\, .... Г. (12.9.9)
Обозначим gpn<xb .... хп; 9) и gPgn(xb .... х„; 9) через gp(9) и gpq(9). Предположим, что gp(9\ р=гг, и gp?(9), р, q=\, 2, ..., г, удовлетворяют условиям (iii) — (v) из (12.5.7) для gn (хь ..., хп; 9) и g'n (хъ ..., х„ 9). Обозначим через Aptt (90, 6),
р = 1, 2, ..., г, и Bpqn^%, 9), р, q=\, 2, ..., г, функции, соответствующие AS и В^. При надлежащей замене имеет место (12.5.8). Пусть B*pq^, 0) = limS^„(9, 0) и 5*? = ^?(0О, 0). Вместо (1) М —* ОО
в условиях (12.5.7) мы будем иметь для /=1
$ Vngp^dFn = 0(12.9.10)
Rn
и для у = 2
S [Кй^нГй^даг^с,^ (12.9.11)
Rn
В соответствии с (12.5.7) (ii) предположим, что если 0=г9о в распределении популяции, то 0^ngp(M)> р=1, .... г) имеет асимптотическое распределение jV({0}, ||Ср?||), где
Cpq= lim Cpqn^\(12.9.12)
л—*оо
и l|Cp^|| — положительно определенная матрица.
Вектор-функция g(xv ..., х^ 6), удовлетворяющая условиям предыдущего абзаца, будет называться регулярной оценивающей вектор- функцией для 90. Читатель может заметить, что вектор-функция правдоподобия hp^ = ^\]n^ Spn(xv ..., х^ 6) является регулярной оценивающей вектор-функцией. Для такой оценивающей функции существует последовательность единственных вектор-решений (9Р ..., 9Г) для п^ некоторого и0 уравнений
gpn<*v х^ 0) = о, р=1, ..., г, и = «о, «»+!• •••>(12.9.13)
и если 90 — истинное значение 9, то последовательность случайных величин [К « (61 — 9ю)> .. • > V п (0, — 9г0)], п = пй, я0 -]- 1, ... имеет в пределе r-мерное распределение ^({0}, ||£)и||), где
Dpq = 5 CP’9'B^pB*q.q.(12.9.14)
р*. ^=1
Из теоремы 9.3.2 следует, что если 90 — истинное значение 0, то Vn^xx> ..., х^ 0о), определенное как
у„ = й 5 C^gp(%)gqM(12.9.15)
р. 9=1
имеет в качестве предельного распределения при д-^оо ^-распределение С (г).
Кроме того, тем же путем, каким мы доказали, что если 90 — истинное значение 9, то предельное распределение каждой из случайных величин Un и Un при л->оо есть С (г), можно показать, что Vn и
связанная с пей случайная величина Vn^xv ..., х^ 9), определяемая какг__
v*= 5 ^Ж^-МП^^-МЬ (12.9.16)
p,q=\ где
0%= 2(12.9.17)
сходятся по распределению к С (г) при п->(Х).
Множества Ег^хх, .хп) и Е* (^ч, ..., хп\ т. е. множества точек y = ^yvJ^r) из Rn Для которых
VAxX) ..., хп, ^<^(12.9.18)
VUxbxn)^<f4(12.9.19)
соответственно, где значение ^ выбрано так же, как и в (12.9.4), являются асимптотически эквивалентными множествами Rn т. е. пределы Р(Е'Г) и Р(Е*') при п—> оо равны. Но Е*’ является эллипсои
дом с центром 90 с объемом
(12.9.20)(12.9.20)ДМЬ^
(12.9.20)
(12.9.20)
Vn\D^\
Теперь отношение гп объема Е*, данного в (12.9.8), к объему Е*’ из (12.9.20) сходится (по вероятности) при п—^оо к числу
(12.9.21)
но, подставляя выражение для Dpq) данное в (12.9.14), мы находим
(12.9.22)(12.9.22)lgp*J
(12.9.22)
(12.9.22)
K|CPg||5pJ "
Предположения, которые мы сделали относительно gp(6\ позволяют нам дифференцировать (12.9.10) по 6q под знаком интеграла. Имеем
(12.9.23)(12.9.23)S gpq (6) №п + $ g„^Sq^dFn = 0,«пRn
(12.9.23)
(12.9.23)
где Sq (6) обозначает Sqn (Хц ..., х„, 0).
Из (12.9.23) очевидно, что при 0 = 6о
J gpq (9.) №п = - cov (]/« gp<%\ ^^),(12.9.24)
но левая часть (12.9.24) равна Врдп(6й, 0о). Поэтому правая часть
также равна Врдп(0о, 60) (или коротко B'pqn), и последовательность 2г-мерных случайных величин
(Vngi (9о), ..., Vn gr (90), -^= Si (90),sr (90)),
\VПуп /
п=\, 2, ...,
сходится по вероятности к 2г-мерной случайной величине, имеющей матрицу ковариацийг
Л9 ” •(12.9.25)
Для матрицы ковариаций (12.9.25) мы имеем
|CPJ|SM|^|5^|2.(12.9.26)
Поэтому предел (по вероятности) отношения объемов доверительных областей, данный в (12.9.22), не может превосходить 1.
Так как Ег и Е'г асимптотически эквивалентны соответственно Е* и Е**, то не существует регулярной оценивающей вектор-функции g(xb ..., хп; 6), для которой 100у-процентная доверительная область для 90, обозначенная в (12.9.18) через E'r(xv ...,хп\ асимптотически меньше, чем 100 ^-процентная доверительная область для 90, полученная аналогично заменой gp(6) на hp(6).
Подведем итог предшествующему обсуждению и выводам в форме следующего r-мерного обобщения теоремы 12.5.1.
.1. Предположим, что (xv..., х^ — выборка из совокупности с к. ф. р. F (х; 60), где 6 — r-мерный параметр и F (х, 6) регулярна в смысле всех первых и вторых производных по 6 в Qr0. Тогда» если gpn (а?ь ..., хп; 6), р = 1, 2, ..., г, — какая-либо регулярная вектор-функция для 60> то асимптотическая 100 ^-процентная доверительная область для 90 представляет собой множество Е’п определенное точками у = (уъ ..., уг), удовлетворяющими (12.9.18). Кроме того» не существует регулярной оценивающей вектор-функции» которая давала бы асимптотически меньшую \^ ^-процентную доверительную область для 90г чем область, полученная при помощи вектор-функции правдоподобия hpn (хъ ..., х^, 9), р = = 1,...» г, определенной в (12.9.1). Таким образом, асимптотически наименьшая 100 ^-процентная доверительная область Ег состоит из точек у = ^\, ..., у^, удовлетворяющих (12.9.5).
Задача об асимптотически наименьших доверительных областях в случае многомерных параметров рассматривалась Бартлеттом (1953), Бил (1960) и Уилксом и Дэйли (1939).
Читателю, заинтересованному в более детальном рассмотрении, следует обратиться к этим статьям.
Пример. В качестве примера получения асимптотически наименьшей 100 ^-процентной доверительной области рассмотрим выборку из мультиномиальной популяции с плотностью, в которую входит /^-мерный параметр:
^(s; 9) = 6р ... 0^,
где случайная величина (sn ... , 5/г+1) может принимать одно и только одно из ^+1 значений (1, 0 ... 0), ... , (О, 0 ... 1), где 0^0, ... , 9й+1>0и 0х-]-••• + 6^+1 — !• Для удобства мы можем оценивать при помощи доверительной области к параметров 0D ... , Q^. Предположим, что (s^, ... , s^+1c, 5=1, ... , н) — выборка из этого распределения. Для hp (6) мы имеем *
и wx — 2. V— ± V (sp^ ^t£ \
Р %\ д9р ^^Vp6к*1 Г
п
где 0дч1==1—0Х—... — 6д. Полагая ^ «ре = л^, мы можем написать
р = 1, ... , к,р = 1, ... , к,А /АХ ХР ^+1 М)~ Пбр
р = 1, ... , к,
р = 1, ... , к,
где х^^п — ад —... — хк. Кроме того,
R _®П д,02^: 6) V dlogdF(s; 6) \1 _
Врч ~8 Кwp )-
Р» 9=1Р» 9=1е Г/?£ shn \ / sq ^±*Л1^РЗ I *^LXO/, б^Де, 6»+JJ- dp + е6+1’
Р» 9=1
Р» 9=1
— символ Кронекера, т. е. ^pq равно 1, если p = q, гч .тт — ппл маТрИЦЫ равен ВМ =— символ Кронекера, т. е. ^pq равно 1, если p = q, гч .тт — ппл маТрИЦЫ равен ВМ =Де ^pq' * * . .p-^bq. «Легко видеть, что элемент ВРЧ обратной = ^pq^p — Mq- Поэтому квадратичная форма Un в алгебраических преобразований приводится к видуДе ^pq' * * . .p-^bq. «Легко видеть, что элемент ВРЧ обратной = ^pq^p — Mq- Поэтому квадратичная форма Un в алгебраических преобразований приводится к видуи 8.и 8.)р^ = 0, если)р^ = 0, если(12.9.1) после некоторых(12.9.1) после некоторых
— символ Кронекера, т. е. ^pq равно 1, если p = q, гч .
тт — ппл маТрИЦЫ равен ВМ =
— символ Кронекера, т. е. ^pq равно 1, если p = q, гч .
тт — ппл маТрИЦЫ равен ВМ =
Де ^pq' * * . .
p-^bq. «Легко видеть, что элемент ВРЧ обратной = ^pq^p — Mq- Поэтому квадратичная форма Un в алгебраических преобразований приводится к виду
Де ^pq' * * . .
p-^bq. «Легко видеть, что элемент ВРЧ обратной = ^pq^p — Mq- Поэтому квадратичная форма Un в алгебраических преобразований приводится к виду
и 8.
и 8.
)р^ = 0, если
)р^ = 0, если
(12.9.1) после некоторых
(12.9.1) после некоторых
U„=n 2 BMhp^hq^ = 2 -^Г^>Р-р = 19
что является классической х2~Функцией, предложенной К. Пирсоном (1900). Таким образом, при больших п 1007-процентный асимптотически наименьший доверительный интервал для оценивания ^-мерного параметра 0= = (0п ... , 6Д) представляет собой множество Е^ вещественных положительных векторов Х=(уп ... , УкУ для которых
6 4-1
2
(хр — пурУ пур KV
где укАЛ = 1 —yY —... —ук и Ху — ЮО7-процснтная точка х2-РаспРеДеления С (ft).
ЗАДАЧИ
12.1. Показать, что если пости
6' т^О, то два распределения, имеющие плот- 1
fAx; о)=-
т, о<^<0,
. 0в противном случае,
[4. о<х^6',
Л (х; 6')= 1
1 0в противном случае,
не являются абсолютно непрерывными относительно друг друга.
Пусп» х — случайная величина, имеющая к. ф. р. п (0, х О,
,>0|
где 6 — любое число из (0, -|-оо). Показать, что g (8 (х; 0)) = О, и найти о2 (8 (х; 6)). Определить функцию Н (6, 6') и показать, что при фиксированном 6 она имеет максимум относительно 6' при 0' = О.,
Описать случайную величину с параметрической плотностью р (л; 6) = (1 - б)0*Лх=1, 2,,
где 6 - любое число из (0,1). Показать, что g (8 (х; 0)) == 0, и найти °2(8(х; 0)).
Если (хп ... , хл) — выборка из распределения, имеющего А моп
ментов g (х^), то ™ ^ х* является состоятельной оценкой для g (х*). По- 6 = 1
казать.
Если X— среднее выборки из биномиального распределения Bi (1, р), то X— достаточная оценка параметра р. Показать.
Предположим, что (хп ... , хл) — выборка из совокупности с плотностьюо^-О\ х>0,
где о — положительный параметр. Показать, что выборочное среднее х— достаточная оценка для 0 и что (п—1) Х]п— единственная несмещенная оценка 6, зависящая от X.
(Продолжение). Показать, что 1/Х является оценкой максимального правдоподобия для 0 и имеет большую дисперсию, чем несмещенная оценка (п— 1) Х]п.
Показать, что если X и s2— среднее и дисперсия выборки объема п>1 из нормального распределения N (^ о2), то двумерная случайная величина (х, s2) является достаточной для оценивания вектора параметров (^ , л
Показать, что если 0Х и 02— две достаточные оценки для параметра 0, то коэффициент корреляции между 0Х и 02 равен 1.
Показать, что если 6—достаточная оценка для 0, 0 — какая-либо несмещенная оценка 0 и а2 и кз\ & > 1—дисперсии U и Ь соответственно, то коэффициент корреляции между 0 и 0 равен ——.
(Продолжение). Показать, -что если и — эффективная оценка О в то время как 0х и 02 — не эффективные, но несмещенные оценки С дисперсиями, равными ко-, где ^>1, то коэффициент корреляции между 0j и 02 равен по крайней мере (2 — k)jk.
Предположим, что (хп ... , хп) — ^-мерная случайная величина, имеющая плотность f(xb ... , х^; 0), 0£Qo. Пусть g(xu ... , хп)—несмещенная оценка ф (0). Показать, что если / регулярна вместе с первой производной по 0 в Qo и ф (0) имеет производную в Йо, то
Q4g)
и знак равенства имеет место тогда и только тогда, когда д log//dO г = с(£ф(0)) с вероятностью 1, где с не зависит от (х^ ... , хп). *
Показать, что если (х(1), ... , xw) — вариационный ряд, составленный из выборки из прямоугольного распределения R (0/2, 0), то х^ яв-
лястся достаточной статистикой для 6 и (п—1) х/п— эффективная оценка 6. Показать, что (х(Л), х(Л )/•/*! — 7) —1007-процентный доверительный интервал для 6.
Показать, что если (х(П, ... , xtm)— вариационный ряд, составленный из выборки с прямоугольным распределением /? ((вл + ^/З, в2— °i)> 02>01>О, двумерная случайная величина (х(1), х(Л)) является достаточной оценкой для (6П 02). Показать, что
ИХ(1)АГ (Л)
П — 1 п — 1
И
А*(1)
П— 1 П— 1
— оценки для вл и 02 соответственно, имеющие минимальную дисперсию. Показать также, что
X(i)—А*(Л)Л1 ..
2 и ^i(-v«> —^<и)
— оценки средней точки (6Х—|—98)/2 и размаха 62— е„ имеющие минималь- ную дисперсию.
Показать, что дисперсия любой несмещенной оценки для а3 по выборке объема п из N (р, о2) не меньше 2а4/п. Вывести отсюда, что эффективность выборочной дисперсии s2 (как несмещенной оценки) при оценивании а2 равна (п—\)ln. s
Показать, что если (xD ... , хп)— выборка _из нормального распределения N (^ а2), где р известно, то
п
1/^2 i^-ni
является несмещенной оценкой для а, эффективность которой равна 1/(п— 2).
Пусть (хь ... , хп)— выборка из совокупности с распределением Коши
1
Показать, что предельное значение эффективности выборочной медианы для оценки р при п->со равно 8/к2.
Пусть (хл, ... , хп)— выборка из распределения с плотностью
Х^х^е"^
г (А-1-1) ’ Г> ’
где X > 0 и к - известная константа. Показать, что оценкой максимального правдоподобия X для X является величина (Л-|-1)/х. Показать, что эта оценка смещена, но состоятельна и ее асимптотическое распределение при больших п— N (X, Х2/[л (^-]-1)]).
(Продолжение). Показать, что j/^4"^°gX есть функция ^, асимптотическое распределение которой при больших п нормально с дисперсией -^-.
Пусть (хл, ... , хл)— выборка из биномиального распределения Bi(l,p). Показать, что оценкой максимального правдоподобия^ для параметра р является х и ее асимптотическое распределение для больших
выборок нормально N (pt \р (1—рУ\1п\ Показать, что sin-1 (2/—1) имеет асимптотически нормальное распределение с дисперсией — при больших выборках.
Пусть х— среднее выборки объема п из биномиального распределения Bi (1, ру Показать, что асимптотически наикратчайший 1067-процентный интервал при больших п задается двумя значениями pt которые удовлетворяют уравнению '_
Vp (1 -р)~ р
где Р(—< и < + р-Л = 7, и — случайная величина с распределением N^ 1).’
Пусть х— среднее выборки объема п из распределения Пуассона Ро (у,). Показать, что асимптотически наикратчайший 1007-процентный доверительный интервал для у. при больших п задается двумя значениями yt, которые удовлетворяют уравнению
(Я—._,,
где рч определяется, как и в предыдущем упражнении.
Пусть (л:^, ... , х^Л = h ••• > л)— выборка объема п из мультиномиального распределения М (1; рп ... , рку Показать, что оценкой максималь- п
кого правдоподобия для (рь ... , рь) будет (хи ... , Яд), где х^ — 2^ с матрицей ковариаций ц ।
[I — OijPi — PiPj^ где ^7==‘1, если i—j, и ^у=0, если 1ф].
Пусть (а^с, ... , хк^ 5=1, 2, ... , п)— выборка объема п из совокупности с ^-мерным нормальным распределением ^({p.^}, || ^/Ц)- Показать, что оценкой максимального правдоподобия для вектора (цп ... , рк) будет вектор выборочных средних компонент (х^ ... , ^) и оценкой максимального правдоподобия матрицы Ц^уН—
где
sij = п 1 ^ ^^^ ^^
Предположим, что (.У!, ... , рп)— независимые случайные величины, имеющие нормальные распределения
^(Ми + - + МЪ, а2), ..., ^^л^ + .-. + ^л, а2)
соответственно, где .Гц, ... , хк11 ... , xlnf ... , л^л постоянны. Пусть
п
ард=. 2 Хр^Хд^ р) q=\t ... , А,e = iп.
Показать, что оценкой максимального правдоподобия для (рп ... , рА) является^
( 2 «рОар1 5 аро«р,0>р=1р =1
где |i аРЧ || = || apq Ц"1, р, q = 1, ... , к, и || apq || — неособая матрица. Показать также, что оценкой максимального правдоподобия для о2 является -^laPo?ol/laP?l- Ро, ?о = О, 1к, р, q=\к, п
где ^оо= 2 ^* Е=1
Предположим, что (хи ... , х^ имеет плотность/л (л^, ... , хп\ 0) и 6— несмещенная оценка 9. Показать, что для любого о > О
°2 (о IM^W teWL где
Мп C^D > ХП* 9о)*
и, следовательно, что
°2 (е | е0) i/[inf g (^21 е0)].
Этот результат принадлежит Чэпмену и Роббинсу (1951).
Пусть (а^, ... , х^—случайная величина, имеющая плотность распределения/л (хь ... , хп; 0) такую, что имеет место (12.2.25), т. е. существует достаточная статистика 0* для 0, и пусть fn^u ... t хп; 0) и у (0, 0) имеют вторые частные производные d2fnldx^ и d-vldx^ в каждой точке 7?zl X £ (за исключением, может быть, множества вероятностной меры 0), где 7?л— выборочное пространство и Q—параметрическое пространство (открытый интервал на вещественной оси).
Показать, что fn (хп ... , хп; 0) должна иметь вид ехр [^ (0) g (6) -}- + ^2 (0) + Лл Uи > *л)Ь гДе ^i (б)~ и ^2 (9) не зависят от (хи ... , хп) hn (лгп ... , х^ не зависит от 0 и ^(0) зависит от 0* и не зависит от 0 [Куп- мэн (1936) и Питмэн (1936)].
(Продолжение).Функции от достаточных оценок как оценки с минимальной дисперсией для их средних значений [Рао (1949)]. Пусть и (g(0)) будет функцией 0 со средним значением q (0). Пусть o(g(0))—другая функция со средним значением q (0). Тогда, если W (g (0)) = и (g (0)) —о (g (0)), то j W (g) exp [&i (0) g+&i (0)+^л] dxb ... , dxn = 0 для всех 0 £ Q. Пока- зать,”что если это выражение можно повторно дифференцировать по 0 под знаком интеграла и W (g) может быть представлена в виде ряда Тейлора, то g (W(g))2 = 0 для всех 0 £ Q, откуда следует, что W(g) = 0 с вероятностью 1 для всех 0 £ Q. Следовательно, u(g(5)) отличается от у (g(0)) разве что на множестве вероятностной меры 0, что означает, что при сделанных предположениях u(g$))—единственная несмещенная оценка своего среднего значения. Заметим, что мы делаем вывод, что W(g) = 0 с вероятностью 1 из того факта, что ^(W(g)y — 0 для всех 0 £ Q. Более общо: если у— случайная величина с к. ф. р. F (у; 0) такая, что из равенства 8 (^ | 6) = 0 для всех 0^2 следует, что _у = 0 с вероятностью 1, то говорят, что семейство распределений f/7^; 0); 0 ^ Q} является полным.
ГЛАВА 13
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ СТАТИСТИЧЕСКИХ ГИПОТЕЗ
Предварительные замечания и определения
Эта глава посвящена главным образом основным принципам теории проверки параметрических статистических гипотез, построенной Нейманом и Пирсоном (1928, 1933), и связям этой теории с оценками максимального правдоподобия в больших выборках. Идеи статистической проверки гипотез значительно развиты в последние несколько лет; но мы не будем здесь подробно рассматривать эти обобщения. Читатель, интересующийся ими, найдет блестящее изложение предмета в книге Лемана (1959).
В этом параграфе сформулированы некоторые основные понятия и результаты для малых выборок; в следующих параграфах рассматривается теория больших выборок. Эта асимптотическая теория тесно примыкает к теории оценивания параметров в больших выборках, изложенной в главе 12.
Пусть (хь ..., хп) — п-мерный случайный вектор с ф. р. Fn (хъ ... • • • >^ 9), гДе 6 — r-мерный параметр, принадлежащий множеству 2, которое здесь будем считать открытым подмножеством эвклидова пространства Rr. Наиболее важен тот случай, когда (хь ..., х^ — повторная выборка из совокупности с к. ф. р. F(x; 6). В этом случае п
Fn(xv хт 9) = JJ F(xb 6). Большая часть этой главы посвя
щена схеме повторной выборки.
Пусть (о — подмножество 2. Если 90 — истинное значение параметра в совокупности, то статистической гипотезой ST = е%^(<о;2) называется утверждение: 90^<о против альтернативы: 90^2\ю. Говорят, что гипотеза е%^ истинна, если 60 С w> и ^ожна, если 90 € £2 \ со. Утверждение 90 £ со называют иногда нулевой гипотезой. При отсутствии недоразумений, мы будем писать 6 вместо 90. Если <о содержит одну точку 9, гипотеза 0%^ называется простой', в противном случае , о%^ называют сложной гипотезой. Решение принять или отвергнуть гипотезу выносится на основании значения вектора (xv ..., хп\ Пусть U^ — множество в выборочном пространстве Rn, не зависящее от 9 и такое, что <ST отвергается, когда (хь ..., х^ £ Wn, и при- - нимается в противном случае. Здесь возможны ошибки двух типов: ошибка 1-го рода происходит при отклонении гипотезы о^Г, когда -
она истинна, ошибка 2-го рода происходит при принятии ^, когда она ложна. Выбор множества Wn и отклонение гипотезы о%^ при попадании (х/ ..., х^ в Wn называют статистическим критерием (тестом) для проверки гипотезы о%Г или, короче, критерием гипотезы ^\ Wn называется критическим множеством или критической областью теста. Без каких-либо недоразумений можно для сокращения называть множество Wn критерием гипотезы ST. Величина )
P(W„Vi)= \dFn (13.1.1)
называется мощностью критерия Wn; она представляет собой функцию 6 со значениями в интервале [ОД]. Функция P(l^|6)=l— — ^(U^IO) параметра 6 называется оперативной характеристикой критерия Wn. Вероятности ошибок 1-го и 2-го рода равны соответственно
P(W;|9), 0^(о, (13.1.2) п
1 — Р(ГЛ|О), 9 ^ Q \ ю. (13.1.3)
Эти вероятности часто называют рисками ошибок 1-го и 2-го рода. Конечно, тест будет приемлемым, если он удовлетворяет некоторым условиям. Тест Wn был бы идеальным, если бы вероятности ошибок 1-го и 2-го рода, определенные в (13.1.2) и (13.1.3), равнялись нулю. Это требование, очевидно, слишком сильное, чтобы надеяться на возможность удовлетворить ему в общем случае; приходится ограничиться меньшим.
Желательным свойством критерия Wn является несмещенность, которая для заданного уровня значимости а, 0<^а<Д, определяется условиями:
Ж!6)5^ 6^(о, (13.1.4) и
P(U^|9)>a, 9^2\(о. (13.1.5)
Эти условия означают, что вероятность ошибки 1-го рода не превосходит айв то же время вероятность отвергнуть о%Г, когда она ложна (т. е. при 9 ^ Q \ ш), превышает а. Если тест Wn таков, что Р (Wn 16) ^ а для 9 ^ <о, то говорят, что он имеет объем а, и иногда подчеркивают это обозначением Wn>a. Там, где это не приведет к неясностям, мы будем в дальнейшем обозначать через Wa критерий объема а. Тест, не обладающий свойством несмещенности, называется смещенным. '
Если для критерия Wa в (13.1.4) имеет место знак равенства при всех 6 ^ ю, то область Wtt называется подобной пространству выборок, или просто подобной критической областью.
Если
limP(U7a|6)=l, 9^2\ш, / я-*оо'
то Wtt называется состоятельным критерием объема а гипотезы <2%^ (to; 2). Этот термин введен Вальдом и Вольфовитцем (1940).
Пусть 1^ и W*— два критерия объема а гипотезы ST (ю; 2) таких, что
P<W* I 6)^P(l^a I 6),9 Е ш>(13.1.6)
и
P<W* |6)>P(U7a|6),6£= 2\ш.(13.1.7)
Тогда критерий W* равномерно мощнее критерия 1%; следует предпочесть W* перед 1%. Если (13.1.6) и (13.1.7) выполняются для всякого (борелевского) подмножества U^cz/^, то Wt называется равномерно наиболее мощным критерием для проверки гипотезы 0%^.
Пример. Чтобы проиллюстрировать некоторые из изложенных выше идей, рассмотрим выборку (хп ..., хп) из нормальной совокупности N (р, а2). Пусть Ж (to; Й)—сложная гипотеза, где 2— множество точек (р,, о2) с о2 > 0 (т. е. эвклидова полуплоскость), а со— подмножество Q, в точках которого р. = |л0 (другими словами, ш — полупрямая: р. = |л0, а2>0).
Согласно теореме 8.4.3, если Ж истинна, то Vn (X — ц)/$ имеет распределение Стьюдента S (п— 1). Пусть Wa— множество тех точек Rm в которых
(х —|Л0)/пS(х —|Л0)/пS--> ^а>--> ^а>
(х —|Л0)/пS
(х —|Л0)/пS
--> ^а>
--> ^а>
где
1- f/n-HO^^»
и /л_1 (0 — плотность распределения Стьюдента S (л — 1), задаваемая формулой (7,8.4). Тогда
°2) € a>) = P(H>Q = a,
PW.IK »D) = p(PW.IK »D) = p(и следовательно, тест Wa гипотезы Ж (о; 2) имеет объем а и является подобным выборочному пространству. Кроме того, для всякой точки (|лп a^)^2\to
PW.IK »D) = p(
PW.IK »D) = p(
(" ^^ >^1(Н, ^V?! i+^= >t«\s/\ yu /
где 6=(^i—P^Vuku—0/°н a t и a — случайные величины, для которых элемент вероятности в полуплоскости ы^О имеет вид
1у-7(1+/=/(Л-1))«
/ (If, и) dt du =—х у ■ —р- е 2dt du.
Если учесть, что для всех и £ (0, + 00)
+ “ Vu+<в
j f(t, u)dt< j f(t, u) dt,
то получим
P( *+-£=\>Л>Р(\*\>‘Л=“, 8^0,.
что доказывает несмещенность критерия Wa.
К сожалению, несмещенные и равномерно наиболее мощные критерии по выборкам конечного объема существуют только в некоторых специальных случаях. Для простой гипотезы имеется достаточно общее решение, когда й \ <о содержит ровно одну точку, и имеется решение при определенных условиях, если й \ w состоит более чем из одной точки. Случай простой гипотезы будет рассмотрен в § 13.2. Для сложных гипотез решения получены только в специальных ситуациях, в частности, когда U^ подобен пространству выборок. Но равномерно наиболее мощные несмещенные тесты существуют в асимптотическом смысле в больших выборках для некоторых сложных гипотез при условии, что оценки максимального правдоподобия параметров существуют и асимптотически нормальны. Мы встретимся с этой задачей в §§ 13.3—13.4.
Историческое замечание. При разработке теории выборочного контроля для приема или браковки партий изделий массового производства Додж и Ромиг из лабораторий компании «Белл Телефон» около 1925 г. ввели понятия риска производства и риска потребителя. Их первые опубликованные результаты появились в 1929 г. [См. Додж и Ромиг (1929, 1959).] Эти понятия были, по существу, предшественниками рисков ошибок 1-го и 2-го рода, определенных в (13.1.2) и (13.1.3). Именно, пусть 0—доля дефектных изделий в партии из N изделий, a t — доля дефектных изделий в выборке объема п из этой партии. При заданном значении 0 t будет случай- 1 г
ной величиной с к. ф. р. Fn (t; 0) и со значениями 0, —,г ^п,
в интервале [0, 1]. Множество значений параметра 6 состоит из точек 0, 1 N
... , -^ интервала [0, 1]. Заданное значение параметра 60 определяет недопустимую долю дефектных изделий в партии как значение 6 > 60, что соответствует w=(0o, 1). Допустимая доля дефектных изделий (зона предпочтения) определяется значением 0^0о, так что Q\w = (0, 60). Выберем теперь значение ta и критическое множество Wa = Y^a> Ц» так чт0 ПРИ t^Wa партия бракуется и Р (t £ Ц7а | в ^ w) ^а. Величина Р (t £ Wa | 6 £ ю) называется риском производства*, это — вероятность того, что контролер забрав кует партию при допустимой доле 0 дефектных изделий в этой партии. Значение ta выбирается так, чтобы риск производства не превышал а и приблизительно был равен а при 6 = 0о. Обычно на практике полагают а равным 0,05 или 0,10. Величина Р (t ^ U7a | 0 ^ 2\<о) называется риском потребителя, она представляет собой вероятность того, что контролер примет партию, когда она содержит недопустимую долю дефектных изделий 6. На практике, если N достаточно велико, всегда можно выбрать п так, чтобы
сделать риск потребителя сколь угодно малым для любого фиксированного значения доли дефектных изделий, превосходящего 60. Обычно объем выборки п подбирают так, чтобы риск потребителя ₽ имел заданное значение (как правило, 0,05 или 0,10) при некотором 6 = 0^ немного превосходящем 60. Интервал (60, 1) недопустимых значений 0 разбивается на два множества: зону безразличия (60, 0J и зону отклонения (бц 1). Вероятность Р kt^ Wa | 0) принять партию при доле дефектных изделий 6 для заданного п будет функцией 0, ее обозначают L (6) и называют оперативной характеристикой выборочного плана, определенного заданием объема выборки п и критической доли дефектных изделий /а. Оперативная характеристика удовлетворяет условиям Z. (0О) = 1—а и £(01) = р.
Вторым важным понятием, введенным Доджем и Ромигом (1929), было понятие предела среднего выходного качества. Он определяется как максимум по всем 0 среднего значения доли дефектных изделий в партии при условии, что в забракованных партиях все дефектные изделия заменены заведомо годными. При этом, конечно, предполагается неразрушительный характер проверки изделий, т. е. в процессе проверки изделие не разрушается.
Понятия ошибок 1-го и 2-го рода давно уже играют фундаментальную роль при отправлении правосудия; роль рисков ошибок 1-го и 2-го рода здесь играют соответственно риски осуждения невиновного и оправдания виновного.
Критерий простой гипотезы
(а) Случай двух альтернатив. Случай простой гипотезы о%^ может быть описан указанием точки 90 в w и точки 9j в 2 \ ш. Если вектор (хь ..., х^ имеет Ф. п. в. fn^xv ..., х^ 6) для 9 = 9О и 9 = 9^ то при формулируемых ниже условиях существует несмещенный и наиболее мощный тест гипотезы ^ (90; 90 (J Oj). Эта задача была впервые рассмотрена Нейманом и Пирсоном (1933). Следующий принадлежащий им результат дает наиболее мощный несмещенный критерий для е%^. * .
13.2.1. Пусть (хь ..., х^ — случайный вектор с ф. п. в. fn (хь ... ... , х^ 6) и параметрическое множество 2 состоит из двух различных точек 90 и 9Р Если непрерывные распределения, задаваемые плотностями fn (хъ ..., хп; 90) и fn С^ь • • •, хго ®0> взаимно абсолютно непрерывны, то для любого а, 0<^а<Ч, можно выбрать ^«^>0 так, чтобы
Ж|6о) = «> (13.2.1)
где ^— множество тех точек выборочного пространства, для которых
fn&h Xtv> ^^Cafn^xV хп» ®о)* (13.2.2)
При этом W^ будет несмещенным и равномерно наиболее мощным критерием гипотезы (90; 90 [J 9^.
Так как распределения с плотностями fn (хь хп; 90) и /п (хи ... ..., х^ 9J взаимно абсолютно непрерывны, то для любого множества Е* t~ Rn" Р(Е*\%) и Р(Е*|9,) одновременно положительны или
равны нулю. Поэтому, если Е* (с) — множество тех точек Rn, в которых /„ (хъ ..., хп; 9J ^ cf„ (хи ..., х„; 90), то
^) = Р(£*М|6о)
будет непрерывной монотонно убывающей функцией с и ^(0)=1> £•(-]-оо) = 0. Следовательно, для любого а^>0 существует такое значение с = са, что если положить U7a = Е* (cj, то это множество U^ будет удовлетворять (13.2.1).
Пусть теперь Wa — любой другой тест гипотезы о%Г объема а, так что,
Р (U7* | 60) = а.(13.2.3)
Имеем
Р(Га\(^а П ra*)|60) = P(U7*\(U7a 0 ^)|90). (13.2.4)
Но во всякой точке множества Wa выполняется условие fn{xb ... .... Хп, 90 > cjn (х„ ..., х„, 90), так что
P(Wa\(Wa П г:)|9!)^^Р(^а\(Га П ^)|90). (13.2.5)
Для всякой точки, не принадлежащей U7a, fn (хь ..., хп; 6Д < X cafn С^н • • • > хт 90) и> следовательно,
^/w\(w; n ^w^/wxo^ п i^w (13.2.6) Используя (13.2.4), (13.2.5) и (13.2.6), получим
^(l^Xt^a П Ш)^Р(^\(^ f] ^«) I М* (13.2.7)
Множества и7а\(1^а Q U7*) и 1% f] U7* не пересекаются, так же как множества W^X^a f] WT) и U7a Q W*. Поэтому, добавляя величину P(Wa Q W* |9j) к обеим частям неравенства (13.2.7), будем иметь
.Р(иШ)^(^10Д(13.2.8)
Полученное неравенство как раз означает, что U7a — более мощный критерий гипотезы ^^, чем W*. Но так как в качестве W*a можно брать любой тест объема а, то Wa — наиболее мощный тест гипотезы о%Д
Очевидно, тест Wa несмещенный,- если в (13.2.2) са^1. Если са<Х т0 найдется такое подмножество W^czW^ что
№Х1 ..., хп; 90->А(хь ..., х^ 0о), (^, ..., xn^^w;.(13.2.9)
Действительно, в противном случае во всем Rn было бы
0 ^zfn (х^, ..., хт 9j) <^fn (хх> ..., х^ 60),
что противоречит соотношению-
$ А (-^ь ^т ®о) dxx.. .dxn= ^ А (-^ь ^т ^i) dxx... dxn = 1,
Далее,-
/WIM-/W;iM = ^№\^W^
^P(U7a\ w;\%)-P(Wtt\ ИЗД), (13.2.10) так что
P(W^x)^P(Wa\%) = a,(13.2.11)
т. е. Wa — несмещенный критерий.
Теорему, аналогичную 13.2.1, можно доказать и в случае, когда вектор (xv ... , хп) имеет дискретное распределение вероятностей pn(xv ...» хп; 9), а распределения Рп^» ... , х^ 0О) и рп^хх» ... ... , хп; 6^ взаимно абсолютно непрерывны. В этом случае существует наименьшее са» для которого ^* (U^ | 0о) =^ а-
Наконец, отметим, что если (xv ... , х^ — случайная выборка из совокупности с п. в. /(х; 6), то в 13.2.1 надо просто заменить п
fnlxv •• • , хп) на П/(хп 6)- Аналогичное замечание сохраняет силу для выборки из совокупности с дискретным распределением.
Случай более общей простой гипотезы. Для некоторых специальных плотностей fn{x^ ... , хп; 6) семейство множеств, определяемых формулой (13.2.2), когда с пробегает все положительные значения, а альтернативой служит 6 = 6Ь оказывается одним и тем же для всех 0j £ й, 0t ^ 0О. В этом случае 1% есть равномерно наиболее мощный несмещенный тест гипотезы о%Г (90; 2).
В частности, если существует достаточная статистика 0 с п. в. . -и(0; 0) такой, что семейство множеств в Rn, задаваемых условием у(0; 91)^^(0; 0О) при всевозможных положительных значениях с, оказывается одним и тем же при любом выборе 0! ^ 0О из й, то для заданного а можно найти равномерно наиболее мощный несмещенный тест Wa гипотезы ST (0О; Й), который, очевидно, определяется достаточной статистикой 0. Но даже этот подход дает мало надежды на успех, за исключением лишь случая одномерного параметра 0.
Приведем пример существования равномерно наиболее мощного несмещенного теста.
Пример. Пусть (хп ... , х^— выборка из совокупности N(^^ 1). Параметрическим множеством для ц пусть служит вся прямая 7?Р Рассмотрим гипотезу
^ (Ро> Ро U Р1)‘
Используя (13.2.2), после некоторых преобразований находим, что U7a — множество тех точек Rm для которых
( 1 \Р, - , то \ п /( 1 \Р, - , то \ п /' где с^ > 0. Поэтому Wa определяется значением достаточной статистики ^.
( 1 \
Р, - , то \ п /
( 1 \
Р, - , то \ п /
Поскольку х имеет распределение N
если p.i>^0> то Wa— множество точек Rn, для которых X > za, где г определяется из уравнения
1 — Ф (V« (z« —^о))=а>X х^
Ф (х) =\ е 2 dx;
1/2л J
—ОО
если ^<^0, то Wa — множество точек Rm для которых X < ^, где ф <Уп ^о — г’ай = а
В случае (i) тест, задаваемый критическим множеством х > za, оказывается равномерно наиболее мощным для гипотезы ^ (р.о; |л^|л0), т. е. для проверки нулевой гипотезы ^ = |л0 против любой альтернативы |л = |х1 при р.! >^о- Так как
I _ ф (УК у _ р^ > 1 _ ф ук У - |л0)),
если p^i>*^0) то очевидно, что этот критерий несмещенный, когда Q содержит все значения р, р^р0.
Аналогичные замечания можно сделать в случае (ii).
Вальдовская редукция сложной гипотезы с одной точкой в множестве 2 \ w к простой гипотезе. В задаче построения теста гипотезы о^ (о); (о (J 6^ Вальд (1939) предложил использовать замену семейства плотностей /^(Хр ... , х^ 6) для 6 ^ со плотностью fa С^ь • • • , х^, получающейся усреднением fn (х^ ... , хл; 6) по некоторому априорному распределению 0(6) на <о. Положим
fa^i» ••• > x^ = ^fn(yc^ ••• > хп\ 6)dG(6),(13.2.12)
тогда fG (хр ... , х^ будет плотностью некоторого распределения. Рассмотрим задачу проверки гипотезы <S^G о том, что Ф. п. в. есть fa (^ь • • • > х^, против альтернативы, согласно которой Ф. п. в. равна fn (-^b • ♦ • > Х^ 61).
Если fG (х1? ... , х^ удовлетворяет условиям, наложенным на fnixX) ... , хл; 6) в теореме 13.2.1, то эта теорема даст наиболее мощный критерий WQa объема а для гипотезы e%~G. Вальдом (1939) доказана следующая теорема.*
Если существует такое распределение G(6) на о), что наиболее мощный тест WG* объема а для гипотезы <S^G имеет в то же время объем а. для гипотезы ©^((о; <о (J 6Д то
dG(6) = 0,(13.2.13)
а>0
где <о0 — подмножество со, в точках которого
$ /п(хъ ... , хп; ^dXi ... dxn^a. (13.2.14) wQa
Тест. WQa будет наиболее мощным тестом гипотезы ST (<о; а> (J Oj).
Для доказательства 13.2.2 заметим, что если WGa имеет объем а для гипотезы <2%^ (<о; w U 6^, то
$ fn(xv > Xn,^dxx ... dXn^cx., 0 £ w, (13.2.15) и, следовательно,
5 5 А(хп ••• ’ ^ 6)^i ••• dxndG^^a^dQ^. (13.2.16) О) WGau>
Если изменить здесь порядок интегрирования, то станет ясно, что для того, чтобы имело место равенство
§ fa C^i> • • • ’ ^п) dxx ... dxn а,
другими словами, для того чтобы критерий WQa имел объем а, должно выполняться (13.2.13). Если WGa— наиболее мощный тест гипотезы (S^q, то.
5 fn С^ь • • • > х^ 6i) dxx ... dxn ^
^ $ А(^п ••• > х^ e^dx! ... dxn, (13.2.17) w'Qa
где Wba — произвольный тест объема а гипотезы ^"G. Но (13.2.17) в точности является условием того, что WQa— наиболее мощный критерий гипотезы S^f (<о; io (J 6Д
Следует заметить, что если бы WQa был подобным тестом, т. е. в (13.2.15) имел место знак равенства при 6 £ а>, то (13.2.13) не являлось бы необходимым условием. Но в этом случае, конечно, свойство подобия, по существу, решает задачу определения критической области.
Критерий отношения правдоподобия
Критерии сложных гипотез, обладающие оптимальными свойствами в выборках конечного объема, в различных специальных задачах были получены с помощью принадлежащего Нейману и Пирсону (1928, 1933) принципа отношения правдоподобия. Этот принцип служит естественным обобщением критерия (13.2.2) на случай сложной гипотезы.
Критерии отношения правдоподобия для больших выборок обладают оптимальными асимптотическими свойствами при тех же условиях, при которых оценки максимального правдоподобия асимптотически нормальны.
С другой стороны, более общие подходы к задаче проверки сложной гипотезы для выборок конечного объема развивались Ле-
маном (1950, 1959), Леманом и Шеффе (1950), Леманом и Стейном (1948) и другими.
Мы рассмотрим подробно только критерии отношения правдоподобия, особенно их асимптотические свойства, при больших значениях п. Критерии отношения правдоподобия при больших п играют такую же фундаментальную роль в статистике, что и рассмотренная в главе 12 статистическая теория оценивания параметров в больших выборках.
Асимптотические распределения критериев отношения правдоподобия сложных гипотез впервые были получены при нулевой гипотезе Уилксом (1938а). Позже Вальд (1941а, 1941b) предпринял детальное изучение этих критериев, включая асимптотические свойства смещения и мощности.
Многие из результатов, содержащихся в следующих параграфах, несколько менее общи, чем результаты, изложенные в фундаментальных статьях Вальда. Но зато используемые здесь методы, по-види- мому, проще методов Вальда.
Определение критерия отношения правдоподобия. Пусть (хь ... , х^ — выборка из совокупности F (х; 6), где 6 — г-мерный параметр. Условимся считать х одномерным, хотя перенесение результатов на многомерный случай потребует только небольших изменений в обозначениях. Элемент правдоподобия есть
п
dFn(xt, ... , хп; 6) = П dF(x^ 6).(13.3.1)
Рассмотрим гипотезу
,o^fo); 2)(13.3.2)
и положим
№)«,= sup dFn<хъ ... , хп; 6),(13.3.3)
(dFn)s = sup dFn (xtxn; 6).(13.3.4)
0^2
В большинстве обычных приложений {dF^ и (dF^s равны максимальным значениям dFn при 0 ^ <о и 0^8, получаемым с помощью обычного дифференцирования по 0.
(13.3.5)(13.3.5)Критерий отношения правдоподобия гипотезы 5Г (<о; 8) = е%" определяется статистикой
(13.3.5)
(13.3.5)
^ — (dFnV
Значения \^ лежат в интервале [0, 1]. Критическое множество ЧС^Л для проверки гипотезы е%^ имеет вид ^<^^а, где са — такая постоянная, что
^dF^a, 0^(о. (13.3.6)
Тест вида ^^<^с есть, по существу, обобщение критерия (13.2.2) на случай, когда со и 2 содержат каждое более одной точки.
В дополнение к этому Х^ имеет интуитивную привлекательность в качестве теста. В самом деле, сравнивая «правдоподобие» одного значения 6 против другого при заданной выборке (хъ ... , хп\ мы интуитивно склонны отдать предпочтение тому, которое доставляет большее значение элементу правдоподобия. Поэтому, если нельзя заметно увеличить значение элемента правдоподобия за счет расширения области значений 6 от со до всего параметрического пространства 2, tq интуиция подсказывает нам, что «наиболее вероятное» значение 6 принадлежит со, т. е. гипотеза <з%Г верна. Мы увидим, что для больших выборок эти интуитивные соображения могут быть строго обоснованы при довольно общих условиях.
Пример. Пусть (хь ... , х^—выборка из совокупности N^ а2). Определим критерий отношения правдоподобия гипотезы Ж^ для которой
Q— полуплоскость —оо с [л < -[- со, а2>0, со — полупрямая |л = ц0, а2>0.
Имеем
1'
"2 71п
dpn=(2У ехр [-i 2 —^dX1-"dXn'
Максимизируя dFn по (ц, а2) £ Q и по (ц, а2) £ со, беря затем в соответствии с (13.3.5) отношение этих максимумов, получим
п •
где Sg— минимум по ц суммы ^ (х^ — ц)2, т. е..
Е = 1
Ss= S
Е=1 а ~
Е = 1
Отметим, что величина 1^ может быть записана в виде
где_
t = Vn U—^ls,
а х и s2 — выборочные среднее и дисперсия, определенные в (8.2.1) и (8.2.6). Случайная величина t является, конечно, дробью Стьюдента, введенной
в (8.4.16). Поэтому критическая область Wa объема а критерия отношения правдоподобия имеет вид
где.
и 1а определяется так, чтобы
$ /„^(O^^l-a.
Здесь /л_1 (^) — п. в. распределения Стьюдента 8 (л— 1), определенная в (7.8.4). Построенная выше критическая область обладает свойством
Р (^а)=а ДЛЯ ^ = ^0-
Итак, критерий отношения правдоподобия Х^ гипотезы ^эквивалентен ^-критерию Стьюдента.
Критерий отношения правдоподобия в теории нормальной регрессии. Одним из наиболее важных приложений критерия отношения правдоподобия в выборках конечного объема является проверка различных гипотез о параметрах нормального распределения. Предыдущий пример в этом отношении типичен. Во многих таких приложениях удается получить точное выборочное распределение отношения правдоподобия для конечных п. Ббльшая часть тестов такого рода строится непосредственно, и мы их рассмотрим только в качестве задач в конце этой главы.
Однако заслуживает подробного рассмотрения критерий отношения правдоподобия для проверки гипотезы о равенстве нулю некоторых коэффициентов в схеме нормальной регрессии. Как в § 10.3 (с), будем считать ^ 6=1, ... , п, независимыми случайными величинами, имеющими распределения М(01Хц + ..- + ^^, о2), 6=1, ... ... , л, где ^х^ 2=1, ... , Л) — известные линейно независимые векторы (т. е. матрица Ц^уП в (10.3.8) неособая). Пусть о%Г — гипотеза, в которой параметрическое множество 2 — (^Н- 1)-мерное эвклидово полупространство
— oo<pf<+oo, 2=1, ... , к, о2>0;(13.3.7)
<1> — подмножество 2, на котором
Р*-+1 = ... = р6 = 0,k’<k.
Определенную таким образом гипотезу s%~ иногда называют общей линейной гипотезой теории нормальной регрессии. Функция правдоподобия выборки равна
п
dFn=kv^?ехр [— 2^ 2 —мк—• • •—м«)3] ^ • • • ^п-
(13.3.8)
Определяя Х^л)й и (^^л)<о обычной операцией дифференцирования,/
получим
_ №)m_/ss\2" '^ —№)s —Ш_ №)m_/ss\2" '^ —№)s —Ш(13.3.9)(13.3.9)
_ №)m_/ss\2" '^ —№)s —Ш
_ №)m_/ss\2" '^ —№)s —Ш
(13.3.9)
(13.3.9)
где <S2—минимум суммы квадратов
Д^-Мч-----^)3 '(13.3.10)
по р1? ... , Рд, а 5Ш — минимум'
S Ое - ^Ч - • • • - ^'Хк'^(13-зл ^
ПО рь , рй-.
Обращаясь к § 10.3(b), найдем, что Sa совпадает с Si из (10.3.27), так что
S2 = y^,(13.3.12)
где a,y, Z, у = 1, ... , к и а,-оуо определены в (10.3.8), (10.3.11) и (10.3.28); ] afy ] — определитель матрицы ||агу||, а величина |а/оуо| определена в (10.3.28).
Точно так же
|^у-|
(13.3.13)
где l^/J и |af7*| аналогичны |а<0/0| и |aZy| с V, f=\> ... , К* С помощью теоремы Кочрэна 8.4.4 можно вывести, что при нулевой' гипотезе Sq/o* и (S^— Sa)/a2 независимы и имеют соответственно ^-распределения С^п— Л) и С (к — А'). Мы не останавливаемся на деталях, поскольку техника вполне аналогична использованной при доказательстве того, что статистики 8^ и 8<^о\ определенные в (10.3.30), независимы и имеют соответственно ^-распределения С(п — к) и С (А).
Таким образом, отношение правдоподобия Х^ из (13.3.9) может быть записано в виде
(1373.14)(1373.14)к —к1 Д
(1373.14)
(1373.14)
п— к
гдегдеFF(п-к) (S^ — Sq)(k — k')S2 '(п-к) (S^ — Sq)(k — k')S2 '(13.3.15)(13.3.15)
где
где
F
F
(п-к) (S^ — Sq)
(k — k')S2 '
(п-к) (S^ — Sq)
(k — k')S2 '
(13.3.15)
(13.3.15)
имеет распределение Снедекора 8 (к— к\ п— к\ элемент вероятности которого определен в (7.8.9). Поскольку имеется взаимно од-
позначное соответствие между Х^ и F, то критерий отношения правдоподобия гипотезы 5^7 эквивалентен f-критерию. Критическая область Х^<^Ха в пространстве значений статистики Х^, где Ха — 100а-процентная квантиль распределения Х^, соответствует крйти-
ческой области ^Жя — £)/(&— ^')](Хв Л— 1) в пространстве значений F. Описанный только что критерий F является наиболее общей формой критерия Модели I дисперсионного анализа. Дэйли (1940) показал, что этот тест несмещенный.
Итак, мы получили следующий основной результат относительно общей линейной гипотезы в теории нормальной регрессии.
3.1. Пусть у^ 6=1, ... , п,— независимые случайные величины, имеющие нормальные распределения ^(PiX^-j-.. . + ?А$>°2)> 6=1, ... , п, где матрица || а^ ||z,/=iа, определенная в (10.3.8), неособая. Тогда критерий отношения правдоподобия Х^ гипотезы ST, заданной условиями (13.3.7), имеет вид (13.3.4), где F определяется формулой (13.3.15). Если гипотеза ST верна, то ста- тис тика [(/г — k^j^k— ^Ж^” —^ имеет распределение Снеде- кора S^k — W, п — к).
Общая линейная гипотеза охватывает большее число ситуаций, чем это может показаться на первый взгляд. Пусть, например, мы желаем проверить гипотезу ^7Г: р^+1 = ^+10, ... , рЛ = рЛо.
Введем в рассмотрение случайные величины
J'S =Л — Р^+1, о ^+м — • • • — ₽*<№•
Структура критерия отношения правдоподобия Х^. гипотезы ST* совпадает со структурой критерия Х^ в котором в матрицах H^/JI и ll^vll Л заменены на ^. Вывод распределения Х^ при нулевой гипотезе точно такой же, как и для Х^.
Можно также проверить гипотезу ^Г" о том, что между рь ... • • • , ^ существуют определенные линейно независимые соотношения вида
h
У, Clu^i=4u^и — ^'+1,к,
i=l
где с1и и уп0 — известные числа. В этом случае можно использовать следующее преобразование коэффициентов регрессии:
Р1 = Т1»₽Л' = Ъ'>
У ^=т«> «=^+1,а, 1=1
в результате которого Pi^ + ... + Ра^ перейдет в Ti^ + eee • • • + Т/г^^ рДе «^i^• > 2к^ — линейные функции от Хц, ..., хкч,
т)=1, ..., и, с коэффициентами, зависящими от сра. Гипотеза Q%*h сведется тогда к гипотезе о^' рассмотренного в предыдущем абзаце типа; Тр .Tft будут играть роль рь ..., ^к, a z^> ..., 2^ —роль а;^, ..., хк^ 5=1, ..., и. Выборочная теория теста Х^„, когда о%^" верна, точно такая же, как Х^.
Асимптотическое распределение отношения правдоподобия в больших выборках
Мы перейдем теперь к задачам в больших выборках. Прежде всего будет рассмотрен случай простой/гипотезы
^Г(6О; йо),(13.4.1)
которая всюду в этом параграфе будет обозначаться просто через о%\ где 6 — одномерный параметр, параметрическое множество, 2 — интервал на вещественной прямой Rv содержащий некоторый (открытый) интервал 20 и 90 ^ 20. Мы увидим, что в асимптотической выборочной теории отношения правдоподобия существенную роль играет только обозначенная через 20 часть 2. Предположим, что оценка максимального правдоподобия Оп параметра при объеме выборки п -> оо сходится по вероятности к 60. Соответствующая последовательность тестов отношения правдоподобия есть
П dF(,Xy 60)
•03.4.2)
П dF(x; 6„) -5=1,
Покажем, что при сформулированных ниже условиях распределение
— 21ogX^,п=1, 2, ...,
сходится при нулевой гипотезе к ^-распределению С(1).
Предположим, что р(х; 6) регулярна в смысле первой и второй производных по 6, 6 ^ 20 (см. § 12.1). При этих условиях функцию -
-+°°
Я(90, 9) = $ togdF(x; 6)dF(x; 90)(13.4.3)
— 00
можно дважды дифференцировать по 6 под знаком интеграла и при этомх
(13.4.4)
где величина 52(90> %) определена в (12.1.8).
Следовательно, функция //(90, 6) имеет относительный максимум Я(90> М ПРИ 9 = 9О. Функция Я(90, 6) играет основную роль в развитой Калбэком (1959) статистической теории информации. Вообще, если F^x\ Fq.^ и О(х)— три взаимно абсолютно непрерывные ф. р., то среднее количество информации или интеграл информации Калбэка для различения между Fx (х) и F^ (х) по наблюдению над G(x) определяется 4-00
как 7(1; 2)= log ^-dQ^x). Таким образом, 'jаг 2 х^* /
— 00
4~ оо
Щбе, е0)-//(б0, 9,)= f tog^§^d^ 6о)
— 00
представляет собой, по Калбэку, интеграл информации для различения F(x; 90) и F(x; 9J по наблюдению над F ^х; 90).
Замечание. Частный случай функции Н (9, 6) впервые появился в статистической механике. Пусть х— точка, компоненты которой представляют собой координаты и моменты отдельной молекулы газа. Пространство точек х называется фазовым пространством системы. Если F (х; I)— ф. р. точки х в системе в момент времени Z, то интеграл Н (t, 1^ определяемый формулой (13.4.3) для F (х; /), будет //-функцией Больцмана (1910), введенной им для приближения — logP (с точностью до аддитивной постоянной), где
Г___ «!
\N)
— вероятность того, что из п молекул системы П( находятся в объеме Е^ /=1, ..., TV, в момент I. Объемы Ev ..., EN имеют одинаковые вероятности ^, не пересекаются и вместе составляют все фазовое пространство. Н (t, t) измеряет, по существу, отклонение системы от «наиболее вероятного» или «равновесного» состояния.
Функции типа //(90, 9) играют также важную роль в построенной Шенноном (1948) теории передачи сообщений.
Напомним сказанное в § 12.3(c): величина F2(90, 90) введена Фишером под названием количество информации относительно 90, содержащееся в наблюдении над F (х; 90). Из (13.4.4) замечаем, что фишеровское информационное количество совпадает со второй производной интеграла информации Калбэка [7/(90, 90)— //(90, 9)] при 9 = 90. Другими словами, F2 (90, 90) измеряет кривизну функции Я(90, 9) в точке 9 = 9О ее максимального значения.
Суммируем все сказанное.
Если F^x; 9) регулярна в смысле первой и второй производных по 9 при 920 то /7(90, 9) имеет относительный мак
симум /7(90, 90) при 9 = 9О. Вторая производная интеграла информации Калбэка [//(90, 90) — ^(90, 9)] при 9 = 9О равна В^(%> %), количеству информации Фишера относительно 90, содержащемуся 6 наблюдении над F(x; 90).
14 С, Уилкс
Если (xv ..., хп) — выборка из совокупности F (х; 90), то
п
1 2 log dF^; 6)(13.4.5)
5=1
будет состоятельной оценкой величины //(90, М-
Действительно, из теоремы 9.1.1 заключаем, что
п
1 2 logt/РЦ; 60)(13.4.6)
5=1
сходится по вероятности к Н(%, 90). Если 9 (xv ..., хп\ л = 1, 2,..., сходится по вероятности к % (а это имеет место в условиях теоремы 12.3.2), то из 4.3.8 получаем, что
п
2 logdF(x$, 9)
5 = 1
сходится по вероятности к Н(60) 90).
Мы доказали, таким образом, следующее:
Если Н(%, 90) существует и прип^оо 9 сходится по вероятности к 90, то случайные величины
п
1 2 log ^(а:^ 9о) 5=1
U
п
1 2 log rfF(^e; 9)
5 = 1
обе сходятся по вероятности к /7(90, 90).
Если же 9 имеет асимптотически нормальное распределение, то справедлива следующая теорема об асимптотическом распределении — 21ogX^ при нулевой гипотезе.
Если 9 распределена асимптотически нормально в соответствии с теоремой 12.3.3, то
lim Р(— 21og\^<x46o) = v^ \ и" 2е 2 “ du,(13.4.7)
л->ооу 2тс J
т. е. если гипотеза ^^ верна, то распределение — 2 log Х^ сходится при п->ш к ^-распределению С(1).
Чтобы доказать 13.4.3, обратимся к условиям теоремы 12.3.3. Так как 9 сходится почти наверное к 90 при п->оо, то по любому е> О
можно указать п£ так, чтобы при п^>п£ с вероятностью, не меньшей 1 — е, выполнялось соотношение
пп
У logd/7^; 9,) = 2 IogdF(xE; 9) +
= 1e = i
п
+12 \.^dF^ Q)L-(9»-9)3’ (13А8)
где 6* — случайная величина с условием | 90 — 6* | < | % — 61. Но (13.4.8) может быть записано в виде
п
-2 У log^^;6? =
Д dF^; 6) п
=2 [S-,og^ 6)]М.[К«(9О- 9)Р.(13.4.9)
Мы видим, что левая часть (13.4.9) есть —21ogX^. Поскольку (13.4.9) с вероятностью, не меньшей 1 — е, имеет место для всех п ^>п6, то левая и правая части (13.4.9) распределены асимптотически одинаково. Так как
п
-^Sl^"^ Ч, <13A1O>
сходится по вероятности к 52(90, М» а Т^яЯ^о, М№ — 6) распределена асимптотически нормально ^(0, 1), то распределение — 21ogX^
сходится к С(1). Следовательно, теорема 13.4.3 доказана.
Состоятельность критерия отношения правдоподобия
Пусть Wa — множество в выборочном пространстве Rn, на котором
— 21ogX^>Xi,(13.5.1)
где <2%^ = ^С (0О; 20), а х« выбирается из таблиц х2-РаспРеДеле- ния С(1) так, чтобы Р (х2^>х^) =а» ЕслиЯ(х; 6) регулярна в смысле первой и второй производных по 9 в 20, то согласно теореме 13.4.3
Иш Р( W^ | 90) = а.(13.5.2)
«->00
Пусть теперь 0t ^ 90 — произвольная точка в 20. Рассмотрим
Иш Р(^а|9Д(13.5.3)
п->с»
Имеем гдеИмеем где(13.5.4)(13.5.4)
Имеем где
Имеем где
(13.5.4)
(13.5.4)
JLld/7^; 9JJLld/7^; 9Jк- _ ГТ dF^4; о.)^— II dF^, 8)~ ’
JLld/7^; 9J
JLld/7^; 9J
Если положить
(13.5.5)(13.5.5)(13.5.6)(13.5.6)— 2 log Х^ = ит — 2 log v = zz^, то Wa будет множеством в Rn, на котором
(13.5.5)
(13.5.5)
(13.5.6)
(13.5.6)
«„+ «■”»> Х«-
Если истинным значением 9 является 9Ь то по теореме 13.4.3 распределение ип, п=\, 2, ..., сходится к /^распределению С(1). Далее, пп
^=2[~ X x^dF<xv 6i)- ^ 21о§^(^; mI- с13-5-7) 'E=1E=1
n'n
Из 9.1.1 получаем, что ~ ^ logdF(x5; 9Д и ^ ^ logdf7^; 90)
E=iE=i
сходятся по вероятности к H$v 9Д и H^ 90) соответственно, когда истинное значение 6 есть 9Р Но из 13.4.1 мы знаем,? что 7/(9р 9Д^> ^H^y, 90). Поэтому последовательность случайных величин *ип) п=1, 2, ..., сходится по вероятности к положительному числу-и0 = = 2[/7(9р 9Д— Н(6Ь 90)]. Поскольку распределение и^ zz=l,2, сходится к С(1), то
lim Р(и№-\- от„>х«)=1,(13.5.8)
п-*оо
или иначе
lim ^(^16 = 60=1,(13.5.9)
П->00
т. е. U7a является состоятельным тестом гипотезы <2%^ (60; 20).
Таким образом, для 6 ^ 20 последовательность функций мощности
сходится к функциисходится к функцииР(1^а|6),п=1, 2,Р(1^а|6),п=1, 2,С(9) =С(9) =а, 0 = 6о, 1, 9^9О>а, 0 = 6о, 1, 9^9О>(13.5.10)(13.5.11)(13.5.10)(13.5.11)
сходится к функции
сходится к функции
Р(1^а|6),п=1, 2,
Р(1^а|6),п=1, 2,
С(9) =
С(9) =
а, 0 = 6о, 1, 9^9О>
а, 0 = 6о, 1, 9^9О>
(13.5.10)
(13.5.11)
(13.5.10)
(13.5.11)
что означает состоятельность Wa как теста гипотезы <2%".
Суммируем полученный результат в виде теоремы
Если F^x;^ регулярна в смысле первой и второй производных по 9, то критерий отношения правдоподобия (13.5.1) гипотезы ^ (90; 20) состоятелен.
Асимптотическая мощность критерия отношения правдоподобия
В предыдущем параграфе было показано, что функция мощности теста отношения правдоподобия гипотезы е^ (60; 20) сходится при zz-^oo к функции С (6), определенной в (13.5.11). Покажем теперь, что при определенных условиях функция мощности никакого другого состоятельного теста гипотезы Sif (60; 2о) объема а не может сходиться к С (9) быстрее, чем для теста, задаваемого статистикой \^в
С этой целью вернемся к введенным в § 12.5 регулярным оценочным функциям gnVx\, ..., х^ 6); свойства этих функций гарантируют, что при нулевой гипотезе случайные величины последовательностей (12.5.11) и (1'2.5.12) имеют асимптотически нормальное распределение ^(0, 1). Следовательно, распределение величины
Л^(х„ .х„; 90),я=1, 2 (13.6.1)
сходится при и->оо к ^-распределению С(1). Пусть критическая область Wt имеет вид
«gnC^iх„, 90)>%=,(13.6.2)
где х« — то же число, что и в (13.5.1). Тогда
lim Р(^|90) = а.(13.6.3)
«—>00
Из свойств gn (х^ ..., хп; б) как регулярной оценочной функции следует, что если истинное значение 6 есть 6j ^ б0, 6t £ 20, то распределения случайных величин
п£(хь ..., хй 6»), д= 1, 2
< = Wv9*)[Гй(91-9) + Кл(90-9,)П1
сходятся или нет одновременно. Но
(13.6.4)
(13.6.5)
*0»п = и.п-\-П<1
(13.6.6)
где
н* = [^ ^^9»)УЪ (9, - 9)]’,
(13.6.7)
v* = l[^ — w*].
Так как истинным значением 6 является 6^ то распределение ы^, и=1, 2, ..., сходится к ^-распределению C(l), a v^, л=1, 2, ..., сходится по вероятности к постоянной V*, где
^=^2(бь Wo-e,)*.(13.6.8)
При этом Уо^О, поскольку 6z ф б0 и 5*2(бь б^^О. Следовательно, lim Р (tin + пч)п > xl) = 1 >(13.6.9)
«-♦оо•
что эквивалентно утверждению
lim P^W 19 = 60=1.(13.6.10)
n->oo
Соотношения (13.6.3) и (13.6.10) как раз означают, что тест (13.6.2) состоятелен для проверки гипотезы ©ЙГ.
Задача сравнения функций мощности критерия (13.5.1), основанного на отношении правдоподобия, и произвольного критерия W» вида (13.6.2) осложняется тем обстоятельством, что оба эти критерия состоятельны и имеют поэтому одну и ту же предельную функцию мощности С (6), определенную в (13.5.11). Чтобы обойти эту трудность, мы введем и используем некоторые новые понятия.
Если Wa— тест гипотезы о^, предельная функция мощности которого т] (6) удовлетворяет условиям:
т)(90) = а,
'а<ч(9)<1, 9^9». 6ES»>(13.6.11)
то будем называть IFa асимптотически несмещенным тестом гипотезы е^ (60; 20) с уровнем значимости а. Заметим, что асимптотическая несмещенность теста — свойство более слабое, нежели состоятельность.
Пусть IFla и IF2a— два асимптотически несмещенных теста объема 'а гипотезы о%^, предельные функции мощности которых суть т]! (6) и ^2 (6) соответственно.
Если
^^^^(б)(13.6.12)
и ^ (60) = т]2 (60) = а, то тест UPla называется асимптотически более мощным*), чем Ww Если в (13.6.12) для всех 6 ^ 20 имеет место знак равенства, то U^la и U^ называются эквивалентными асимптотически несмещенными тестами объема а.
~ Вернемся теперь к задаче сравнения мощностей критериев Wa и W», определенных соответственно неравенствами (13.5.1) и (13.6.2). Рассмотрим тесты UT^ и W*a» задаваемые условиями:
»„ + «•„> Ха, 4+^>х1»„ + «•„> Ха, 4+^>х1(13.6.13)(13.6.13)
»„ + «•„> Ха, 4+^>х1
»„ + «•„> Ха, 4+^>х1
(13.6.13)
(13.6.13)
соответственно, где постоянная с^>0 произвольна. Мы покажем, что при каждом с^>0 Wca имеет асимптотически ббльшую мощность, чем W*a- Употребляя терминологию Вальда (1941а), мы скажем в этом случае, что Wa асимптотически более точный тест гипотезы о^, чем W*.
Если 1ГСа и W*» асимптотически эквивалентны при каждом £^>0, то будем говорить, что Wa и Wa асимптотически одинаково точны.
Важный случай асимптотически одинаково точных тестов описывается теоремой
Пусть Wa— тест, определенный, в (13.5.1), a W$— тест, получающийся из (13.6.2) заменой gn(xb ..., хя; 90) на Нп(хъ ... ..х^ 90), где hn(xb ..., хп; 90) определяется левой частью (12.5.1). Тогда, если F (х; 9) регулярна в смысле первых двух производных по 9 в 20, то тесты Wtt и W» гипотезы оУГ асимптотически одинаково точны.
В § 13.5 мы, по существу, доказали, что распределение пары (ип, vn) случайных величин из (13.6.13) сходится при п-хх к вырожденному распределению в плоскости ^и, v) которое представляет собой ^-распределение С(1) на полупрямой ^ = ^0, н>0, где
г,0 = 2[//(9ь ^-Н^х, 90)].(13.6.14)
Аналогично было показано, что распределение пары случайных величин («*, *0*5) сходится при п->оо к ^-распределению С(1) на полупрямой ч) = Т)^, и^О, где
-^=В*М№-^(13.6.15)
Но
Нфъ 9О) = Я(91, 9,) + Я'(0Р М (00-61)+
+y/f'(6i, 9Г)(9о-91Л(13.6.16)
де 190 — 9* | <^ | 90 — 9, |. Поскольку Н' (9,, 9J = 0, имеем
' 2 [Я(9„ 9,) - Н(8Ь 90)] = - Н" (9,, 9*) (90 - 9j)2.(13.6.17)
При этомПри этом-Я" (6i, 90 = 52(9t, 90,-Я" (6i, 90 = 52(9t, 90,
При этом
При этом
-Я" (6i, 90 = 52(9t, 90,
-Я" (6i, 90 = 52(9t, 90,
и так как F (х; 9) регулярна в смысле первой и второй производных по 9 в 20, имеем следующий результат для 9 = 9t:
(13.6.18)(13.6.18)5*3 (9„ 0,) / ,5= (61. 9J ^
(13.6.18)
(13.6.18)
который аналогичен (12.5.21) при 9 = 9О. Следовательно, в силу непрерывности FT (9Ь 9) по 9, 9 ^ 20, получаем, что для достаточно близких друг к другу 90 и 9! (13.6.18) будет иметь место с заменой Я2^, 90 на — Н’^ 6*)> откуда в свою очередь следует, что
°<^^^ (13.6.19)
Рассмотрим теперь функции мощности критериев Wca и W*a для фиксированных значений с, т. е.
Р(«л + ^>^|90 и Р^ + ^*>Х^|90(13.6.20)
как функции 61е Обозначим пределы этих функций при п —> оо, другими словами, асимптотические функции мощности тестов WCa и W*^ через
^(61) и ^ЖУ(13.6.21)
Так как ип и и^, неотрицательны, а распределения векторов ^ит *ип) и №> ^*) сходятся при n-^оо соответственно к ^-распределениям С(1) на полупрямых v = 7?0, «^>0 и v = Vo, «>0, то
X2
О) Чс (®i) = Ч* (®i) = * Для тех 6,, для которых ^о^у;
у2
1 ^^(Э^^^ (9х)^>а для тех 9Ь для которых 0<^*<С~;
(Hi) т]с (90) = ^ (90) = а для 91 = 9О, т. е. для того 9Ь
для которого ^* = 0.
(13.6.22)
Но из (13.6.8) следует, что три множества, фигурирующих в (13.6.22), состоят из значений 9Х: (i), принадлежащих 20, но лежащих вне некоторого интервала 2^, содержащего 90; (п) отличных от 90 и лежащих внутри 2q; (Hi) одного 90.'
Таким образом, поскольку асимптотические функции мощности т]с(9) и ^*(9) удовлетворяют условию (13.6.11) для каждого с)>0 и неравенству (13.6.12), то тест WCa имеет асимптотически большую, мощность, чем W*a, и, следовательно, Wa асимптотически более точный) чем W*.
Если v* = y0, то (13.6.22) останется в силе, если заменить (Н) на
1>Ъ(91) = Ч?(91)>а
для значений 9Р для которых 0<v*<^> что означает эквивалентность асимптотически несмещенных тестов ^ и Wca при каждом с^>0. В этом случае Wa и W* асимптотически одинаково точные. Но y^ = -y0 тогда и только тогда, когда знак равенства имеет место в (13.6.18), что в свою очередь имеет место в том и только том случае, если регулярная оценочная функция gn (xv ..., х^ 9), используемая в построении №*, заменена на hnVx^ •••> хт *0* Но из теоремы 13.6.1 мы знаем, что использование ^(^i, ..., х^ 9) в (13.6.2) дает тест W*> асимптотически столь же точный, что и тест Wa из (13.5.1).
Объединим полученные результаты в форме следующей важной теоремы.
Пусть (хь..., хп) — выборка из совокупности F^x; 9), где F (х; 9) регулярна в 20 в смысле первой и второй производных по 9. Если Wa — тест отношения правдоподобия объема а, определенный в (13.5.1), gn (хп ..., хп\ 9) — любая регулярная оценочная функция для 9, определенная в § 12.5, a W*— тест объема а»
13,7] КРИТЕРИЙ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ ПРОСТОЙ ГИПОТЕЗЫ 425 построенный по gn(xb ..., хп; 6) в соответствии с (13.6.2), то Wa— асимптотически более точный по сравнению с UZ* тест гипотезы <2%^ (90; 20). Но если gn(xb ..., х^ 6) в (13.6.2) заменена функцией hn(xv ..., х^ 6), определенной в (12.5.1), то Wa и W* будут асимптотически одинаково точными тестами гипотезы Ж 20).
Критерий отношения правдоподобия простой гипотезы
В §§ 13.4, 13.5, 13.6 были изложены основные асимптотические свойства критерия отношения правдоподобия простой гипотезы, в которой параметр 9 предполагался одномерным. На самом деле в развитой в этих параграфах теории существенную роль играла часть параметрического множества 2, именно, открытый интервал 20, содержащий точку 90. Использованные там соображения могут быть без большого труда перенесены на случай r-мерного параметра 9 = (9Ь ..., 9Г). Достаточно поэтому привести r-мерные аналоги результатов §§ 13.4 — 13.6 с минимумом подробностей. Будем считать случайную величину х с ф. р. F (х; 6) одномерной, хотя перенесение наших результатов на случай ^-мерных случайных величин потребует лишь небольших изменений в обозначениях.
Рассматривается простая гипотеза
^ = ^(90, 2Д
где 9О = (91О, ..., 9г0), а 2Г — произвольное множество в эвклидовом пространстве Rn содержащее r-мерный открытый интервал 2г0, 90 С ^го- При изучении асимптотических свойств критерия отношения правдоподобия интерес представляет только 2г0. Поэтому в асимптотических задачах будем под о^ Т понимать гипотезу <2%* (90; 2г0).
Прежде всего удобно сформулировать обобщение теоремы 13.4.1 на случай r-мерного параметра 9.
Если параметр 9 г-мерный и F (х; 9) регулярна в 2г0 в смысле всех первых и вторых производных по 9, то определенная в (12.1.17) функция Н^, 9) имеет максимум Н^, 90) при 9 = 9О. Матрица вторых производных функции — /7(9О, 9) в точке 9 = 9О есть определенная в (12.1.19) матрица
ll^pg(0o> WIp, ?=1г.
Доказательство теоремы 13.7.1 является непосредственным обобщением доказательства 13.4.1 и опускается. Отметим, что в г-мерном случае Н^, 90)— Н^ 9^ есть интеграл информации Калбэка для различения F (х; 90) и F(x; 9^ по наблюдению над F(x; 90), а II Bpq (90, 90) || — фишеровская матрица информации относительно 90, содержащейся в наблюдении над F(x; 90),— совпадает с матрицей вторых производных интеграла информации Калбэка при 91 = 9О. [См. Калбэк и Лейблер (1951).]
r-мерный вариант теоремы 13.4.2 не требует изменений в формулировке, надо только считать 9, 90 и 9 r-мерными. Аналог теоремы 13.4.3 формулируется следующим образом.
Если 6 — г-мерный параметр, F (х; 6) регулярна в смысле всех первых и вторых производных по 6, то при нулевой гипотезе
1 -1
Пт Р(— 2 logX^> <^2) =—।\и2Г е 2 * du, (13.7.1)
71—>ООГ7Г г / Г \ П
22 г^0
е. распределение — 21ogX^ сходится к ^-распределению С (г).
Доказательство этой теоремы предоставляется читателю.
Теорема 13.5.1 переносится на случай r-мерного параметра без изменения.
В r-мерном варианте 13.6.1 Wa и W$ задаются неравенствами
— 21ogX^>zl(13.7.2)
И
Un C^b ^т ^(O^Za»(13.7.3)
где Un^xx, ..., Хп, %) определена в (12.9.1), а /I — ЮОа-процентная точка ^-распределения С (г). Доказательство 13.6.1 непосредственно переносится на r-мерный случай.
Теорема 13.6.2 переносится на случай r-мерного параметра без каких-либо трудностей, и мы предоставим это читателю в качестве упражнения. Аналогом фигурировавшей в теореме 13.6.2 области Wt будет область Vn^>7^ где Vn определена в (12.9.15). Место одномерной оценочной функции hn (хр ..., хл; 6) займет в r-мерном случае вектор-функция Нрп^хх, ..., х^ 6), р=1, ..., г, определенная в (12.9.1):
^рп С^ь ^пч ®)== ^ ^рп (^v ..., х^ 9). (13.7.4)
Критерий отношения правдоподобия сложной гипотезы
В задачах проверки гипотез, включающих несколько параметров, часто встречается случай, когда подпространство <ог, представляет собой /-мерное эвклидово сечение 2Г, т. е. цилиндрическое множество, состоящее из точек вида (9р ..., 9г„ 9Г,+1О, ..., 9г0), где 9„+1 0,... ..., 9г0 имеют фиксированные значения. Обозначим эту сложную гипотезу через (^r-; Qr) или, короче, через е%ТГ_Г^ Тест отношения правдоподобия гипотезы Г_Г, определяется обычным
образом посредством (13.3.5). В больших выборках оказывается существенной только часть Qn лежащая внутри некоторого г-мерного открытого интервала 2г0, содержащего истинную параметрическую точку (910, . •., 9г0). Поэтому для больших выборок можно рассматривать г_г» как сложную гипотезу о%Г (о)г,0; 2г0), где <ог.0 = <оГ' Р|2г0.
Основная теорема [Уилкс (1938а)] о тесте отношения правдоподобия формулируется следующим образом:
Пусть (хъ ..., хп)— выборка из совокупности F(x; 6), где параметр 0 г-мерный и F (х; 9) регулярна при 0 £ 2г0 в смысле всех первых и вторых производных по 6. Тогда
lim Р(— 2 log \^,<^х21 6 С ^г'о) =
п-*сог —г1
= — 1 ,, И4'| 2 е"*аи, (13.8.1)
т. е. при нулевой гипотезе распределения —21ogX^ , п=1, 2, ..., сходится к ^-распределению С(г — г'\
Для доказательства этой теоремы определим 9Ъ ..., 9Г как в 12.7.2. Пусть 9Ь ..., 9^— решение системы уравнений
Sp-n^, хп> 6) = о, р'=1, ..., г',(13.8.2)
относительно 9Ь ..., Вг,, другими словами, 9р ... , 9^ — оценки максимального правдоподобия 9Ь ..., 9гг, когда оставшиеся компоненты фиксированы на значениях Э^^о, ..., 9г0. В условиях теоремы 12.7.3 (9р ..., 9^) распределены асимптотически при /z^oo по закону
^({9p^}; Н^ И"1)’ Р\ 9Г=^ ...» г’.(13.8.3)
Примем для 90 ^ <ог,о следующие обозначения:
Spn (Xi, . .. , Х^ 90) = ^npi
V Я (^рО ^р) == ^пр»
V п (^р'О — 9р.) = -q'„p.,(13.8.4)
^Spqn^^: 0) = Apq (6)-
р, q=l, Г, р\ q'=\, ...» f.
Ввиду регулярности F^x; 9) в смысле первых и вторых производных по 9, для любого е>0 найдется пе такое, что с вероятностью, не
меньшей 1 — е, четыре нижеследующих равенства имеют место при всех п )> п;.
^=2<(Н^.р=1,(13.8.5)
0 = 1
4$(HW>/=1,г',(13.8.6)
5 logdF(x; 6е)= 2 Xo^dF^y 91; .... 9r) +
8-18-1
+ у 2(13.8.7)
5 logd/7^; 90) =
5=1
=„2 log dF (Хр 9Ь..., е;,, 6Г,+,. о,..., 9,0) +1 2 A^ter)^ ^ 5=1Р'. д'= 1
(13.8.8) где 6* и 9* — точки из 2г0, лежащие между 90 и 9, а 9*' и 9*' — точки из wr-o между 90 и (9р .../9',, 9,^1, о, ..., 9,0).
Далее, ц„д и т]^- можно представить в виде
•9nq= I, А^*Нпр,
р=^(13.8.9)
W = ^А'^*’^
где |]ЛР»(0*)|[ = ||Л^)(6*)[Г1 и И#Ч9ПН = 1М;<^ Поскольку левые части равенств (13.8.7) и (13.8.8) одни и те же и
— 21ogX^ ,= —2 {2 logiZ/7^; 9;,, 9>, 6r,+i,o9^) —
Г~Г t=1
- S logdF(xe; 90 ..., 9r)}, (13.8.10) 5=1
то при всех n^n^ с вероятностью, не меньшей 1 —e, будем иметь
2 log х^ f = 2 Apfq» (9* ) 7]Лр, iqnqf Г Г P^Qf = {
- S А^)-9пр-Ппд, (13.8.11)
p. »=1
где iinp и W следует выразить через Слр по формулам (13.8.9).
Если 60 ^ <ог,0 — истинное значение 9, то согласно 12.7.1 распределение величины (Сл1, ..., С„г) сходится при п ->■ со к ^({0}; ||Sp?||). Кроме того, обе матрицы || AW (9*) || и || AW (9*) ц сходятся по вероятности к матрице || — BpqW а матрицы || А% (6*') || и ||Лр"?'(е1’)|| сходятся по вероятности к ||— Вп^||, когда п -> оо, где Воа определены в 12.7.1. Р
Произведя алгебраические преобразования правой части (13.8.11), найдем, что при п-^со распределение обеих частей (13.8.11) сходится к распределению случайной величины
г г’
Q= 2 ВиУрУд- 5 вЭДУр-У,-, (13.8.12)
где || Sfrq || = || Sp^r ||-1 и (Уь ..., Y^ имеет распределение N({0}, || Bp^ ||). Можно показать, что при 60 o)r,0 Q имеет ^-распределение С(г— г'). Тем самым доказательство теоремы 13.8.1 закончено.
Наконец, отметим без доказательства, что в условиях теоремы 13.8.1 тест отношения правдоподобия гипотезы <ЗГГ_Г> состоятелен, т> е‘ HmP(-21ogX >х2|9^2*0)=!.
п->оо г—г'
Используя упоминавшийся в §12.9 класс регулярных оценочных функций ngpn (хь ..., ля; 0) вместо функций Spn (Xi, ..., хл; 6), можно построить класс состоятельных тестов гипотезы ^fr_rr. Однако ни один из тестов этого класса не будет асимптотически более точным, чем тест отношения правдоподобия, если понятие асимптотической точности достаточно прямолинейно распространить на сложные гипотезы.
ЗАДАЧИ '
Пусть выборка (xD ... , хп) извлечена из совокупности с п. в. вида 0е~6*, х>0, 2 = (0, +°°)- С помощью теоремы Неймана — Пирсона определить критическую область Wa для проверки гипотезы ^f (60; 0о [J 6J с условием -
Получить функцию мощности этого теста, т. е. P(Wa|6), как функцию 0.
Пусть nv хп s2—объем, выборочные среднее и дисперсия для выборки из совокупности N (|лп о2), а п21 х2, s|—те же величины для выборки из совокупности N^2, а2). Рассмотрите сложную гипотезу ^ (со; 2), в которой 2—полупространство, эвклидова пространства R3 точек (р.п ^2, °2)> о2>0, со—подмножество 2, для которого ^ = ^2. Покажите, что отношение правдоподобия гипотезы ^ эквивалентно стьюдентовскому отношению
х^ х2
гдегдеS VЦгЦ + 1/л8 '
где
где
Mi -|- п2 — 2
и t имеет при нулевой гипотезе распределение Стьюдента S^-]-^— 2). Покажите далее, что критерий отношения правдоподобия несмещенный.
Если предыдущую задачу обобщить на случай к выборок, где п^ Хь s^ i=l, ... , к,— объемы, выборочные средние и дисперсии к независимых выборок из совокупностей N ^t °2)> а гипотеза ^f (со; 2) такова, что 2— полупространство эвклидова пространства 7?л+1 точек (р^, ... , |л&, а2), а2>0; <о— подмножество 2, для которого ^ =... = р.^, то докажите, что отношение правдоподобия гипотезы эквивалентно отношению Снедекора
к
^ — к^^ nt^xt — xY
к
где п = П1 + “- + лА> х~ ~ ^ п1^ь и F имеет при нулевой гипотезе рас- i = i
пределение Снедекора S (к, п — к). Докажите несмещенность теста отношения правдоподобия гипотезы ^ (со; 2).
Пусть s2 и sj — дисперсии выборок объемов nt и п2 из совокупностей N (yi> °i) и N(y2> а|), а гипотеза 3# (со; 2) такова, что 2— четвертая часть эвклидова пространства /?4 точек (^n pi2, а2, а|), af >0, а| > 0; со— подмножество 2, для которого а^ = а|. Показать, что отношение правдоподобия гипотезы ^ (со; 2) эквивалентно отношению Снедекора
которое имеет распределение Снедекора S (п1 — 1, п2— 1), когда гипотеза Ж (со; 2) верна.
Пусть х^ и х2— независимые случайные величины, имеющие биномиальные распределения Bi (nn pj и Bi (м2, р2). Предположим, что для гипотезы Ж (со; 2) 2 представляет собой множество всех точек (рп р2) единичного квадрата с вершинами (0, 0), (0, 1), (1, 0) и (1,1), а со — подмножество 2, для которого pY=p^. Показать, что отношение правдоподобия для гипотезы ^ (со; 2) равно
X = (_£V ( i — А?VX1 (^Д~ХЧ\_ £1V "i + ^Л __ ^\-"2 +л*2
\п) \ nj \nj \п2)\ nJ V nJ
где х = х1-\~х2 и я = я1 + п2, и предельное распределение —21ogX при п^ п2—>оэ есть ^-распределение С (1), когда гипотеза ^ (со; 2) верна.
Обобщить предыдущую задачу и ее решение на случай, когда хь ... , х^— независимые случайные величины, имеющие биномиальные распределения Bi (nn pj, ... , Bi (п^ р^\
Критерий независимости в (г х ^-таблице сопряженности признаков. Рассмотрим (rs—1)-мерную случайную величину (п^, i = l, ... , г, у=1s), имеющую мультиномиальное распределение
где S2пц — п, рц>0 и ss^/у=1. Пусть в гипотезе Ж (^, &) & есть У *У t
множество всех возможных значений р^ а со — подмножество Q, для которого Pij=Piqp где ^Pi ^^qj^l. Показать, что тест отношения правдо- ii
подобия гипотезы «^ (со; 2) задается величиной
гдегде
где
где
и предельное при п-^со распределение —21ogX при нулевой гипотезе есть /^-распределение С ((г — 1) (s — 1)).
(Продолжение.) Пусть g определена как
j=\i=A
где
п1.=^ ntp пч = ^п1Г
Покажите, что при пулевой гипотезе распределения величину и —21ogX сходятся при п—*со к одному и тому же предельному распределению С((г—1) (s— 1)).
Независимость слоев в (г х s X ^-таблице сопряженности признаков. Пусть (nqk\ /= 1, ..., г, / = 1, ... , s, ^=1, ... , t) — (ret— 1)-мер- ная случайная величина, имеющая мультиномиальное распределение
п\п\t S гt S гП П П 'VА=1 у= 1 1 = 1П П П 'VА=1 у= 1 1 = 1пппk j iпппk j ipnijk ijk 1pnijk ijk 1
п\
п\
t S г
t S г
П П П 'V
А=1 у= 1 1 = 1
П П П 'V
А=1 у= 1 1 = 1
ппп
k j i
ппп
k j i
pnijk ijk 1
pnijk ijk 1
где S 5 S nMk = Pijh > 0 и
SSS^^1-
к j i
Пусть Q— множество всех возможных значений р^1г> а со— подмножество Q, для которого Ptjk^Pij'Qki ^^Pij — S^=1. Доказать, что отношение У iк
правдоподобия для гипотезы ^f (со; Q) равно
МПЖГШтГ/ППП
j i 'кr j г
где nij- T='^4nijk И П-к~ SS ПЧк> кj i
и при нулевой гипотезе предельное распределение — 2 log X, когда п -* со, есть ^-распределение С ((rs — 1) (t — 1)).
Имеем независимые выборки (хп, ... , х1п^ и (х21, ... > х2Ла) из пуассоновских совокупностей Ро^) и Ро (|л2). Пусть Ж («; 2)— гипотеза, в которой 2 —множество всех точек (рсп ^2),“ лежащих в первом квадранте плоскости (|лп р2), а со— подмножество 2, для которого р1—р2. Докажите, что отношение правдоподобия для Ж (со; 2) равно
Х^хХх • Jc^2*2
где Xi и х2— выборочные средние,
И| -)- л2 *
и л = пх + п2. Докажите, что при ^—*00, п2 —>со предельное распределение — 2 log X есть х2-РаспРсДеление £ 0)> когда гипотеза Ж (со; 2) верна. Обобщите этот вывод на случай к выборок.
Пусть (к—1)-мерная случайная величина (пп ... , п^ имеет мультиномиальное распределение
где лх-|- ... + nk = nt pi > 0 и pY + ... -|-рА=1. Покажите, что отношение правдоподобия для гипотезы ^ (со; 2), в кЪторой 2 — множество всех возможных значений рь а со—множество, состоящее из одной точки pY =р10, ..., Рк =Рко> равно
х Г
1\А/ \Рк) J ’
где p^njn, ... , pk — nkln, и предельное распределение —2log X при п —* оо есть ^-распределение С (к—1), если гипотеза ^ (со; 2) верна.
(Продолжение)., Показать, что при нулевой гипотезе распределе-
ние каждой из величин — 2 log X, 1 ~сходится к распределению nPio
i = 1
С(к-^-\\ когда п—* со.
Пусть sf, ... , s£— дисперсии независимых выборок объемов пп ... ..., пд из совокупностей N(цп а|), ... , N(^ ок) соответственно; гипотеза ^ (со; 2) задается условиями: 2 — 2А-я часть эвклидова пространства R^ точек (цр ... , р^, а2, ... , а|), где о2 > 0, ... , а| > 0, со — подмножество 2, на котором о2 = ... =о^. Показать, что отношение правдоподобия для гипотезы Ж (о; S) равно
х_[(«» —О^рni rj2*z2LiM ’ 4
L ^i^o J L ^л^о J * где
„(ni-l)s»+...+(n6-l)sg
SuЛ! + ... + ЛА
Пусть s2 — дисперсия выборки объема п из совокупности N ^ а2), а гипотеза Ж ^; 2) определена следующим образом: 2 — множество точек (р., а2), для которых 0<о2^о§; со — подмножество 2, на котором а2 = в?.
Доказать, что использование для проверки гипотезы ^ (ю; 2) отношения правдоподобия эквивалентно использованию отношения
(п — 1)з2
которое .имеет при нулевой гипотезе х2-РаспРеДеление С (п— 1). Следовательно, критическая область Wa объема а имеет вид
gSХа.
где Ха—100а-процентная точка распределения C(n—1).
Проверка гипотезы о параллельности линий регрессии. Пусть .Ун, • •♦ , ^1Л] — независимые случайные величины, каждая из которых имеет распределение N(01о + 8^$,, а2), ^ = 1, ... , лп а у21, ... , ^^ — независимые случайные величины, одинаково распределенные по закону N (р20 + РаЛЕз» °2)’ $2=1, ... , па. Гипотеза Ж (<о; 2) задается условиями: 2 — полупространство /?5 точек (Зю> ^и> 3so> ^2i> °"), на котором а2>0; ю— подмножество 2, для которого Bjj^^p Показать, что отношение правдоподобия для ^ (со, 2) эквивалентно статистике
р Sto —S2
™$J(ni-Vna — 4)’
и при нулевой гипотезе F имеет распределение Снедекора 5(1, п^^— 4). Здесь
2 пРа
5<о = 2 5 ^^л ^ $р ^хР^р ^l2’
Р = 1^ = 1 Р
пРпР
^ptp Ур) ^хр^р xpV ^р— S ^хр^р ^р^>^ptp Ур) ^хр^р xpV ^р— S ^хр^р ^р^>5p== nj 2 w Хр=^; 2 w р=1,2| ч=хЕ-=|
^ptp Ур) ^хр^р xpV ^р— S ^хр^р ^р^>
^ptp Ур) ^хр^р xpV ^р— S ^хр^р ^р^>
£p = apibp, ар = 2
Ер = !<;p=i
2^~
^2 " 2 S V<Mp^^ ^ХР^р Xp)F»
Р-Х Ер=1
Р = (#i + «s)/(^i + b^Y
Пусть х^ 6=1, ... , г, т)=1, ... , s, — независимые случайные величины, распределенные соответственно по законам N (р. + ^. +р.ч, а2), ГS
где 2^.= О, 2 ^,1=:0' Рассмотрим гипотезу 5^ (ю; 2), где 2—множество вещественных векторов (р, р^, ... , рг., р.о ... , p.s, а2), где ^р^. = = ^р. ч = 0, а2>0; (о — подмножество 2, на котором pt. = ... =рг. =0. Доказать, что отношение правдоподобия для ^f эквивалентно статистике
S.0/(r-l)
S../[(r-l)(s-l)] '
имеющей при нулевой гипотезе распределения Снедекора S ((г— I), (г — 1) х X (s— 1)). здесь
S.0 = s5(Jce.-x)s.
” 77 2 2 х^’ "^' = "У 2^' ч = ~ 2
Критерий равенства отношений вероятностей в модели Льюса (1959) выбора поведения. В этой модели предполагается, что имеется выбор между альтернативами Лп Л2, А& и проверяется гипотеза о том, что отношение вероятности выбора Д2 к вероятности выбора /j постоянно. -
Более подробно, пусть (п^, п2ь i4tY гДе ^iz + ^sz + ^az = пь z= L ••• , &, — к независимых групп случайных величин, имеющих распределения
1 = 1к, pi > 0, Qi > О, Г/Х), pi-\-qi-\-n= 1. Пусть Q — множество всех положительных векторов
(А- 9» Г!Рь 9ь r^, pi-VqfVri=\, < = 1л,
а и — подмножество 2, на котором -^- = t, р; (1 +0 + ri = *• Показать, что отношение правдоподобия для ^ (со; Q) равно,
п< (А)"“‘+”2г ^ [1 - А (1 + №}
ПК/'Я» л]
где
===^2i/^j^ib
^z (1 +0
и при г?! —оо, ... , Пк—> оо распределение —2 log X сходится (при нулевой гипотезе) к ^-распределению с к—1 степенями свободы. Показать также, что при нулевой гипотезе дисперсия t в больших выборках приближенно равна
^а+о/и^.
г Л А В A 14
ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ
СТАТИСТИЧЕСКИХ ГИПОТЕЗ
В главе 13 был дан краткий обзор теории тестов параметрических статистических гипотез и отдельно рассмотрен критерий отношения правдоподобия в больших выборках. В этой теории класс допустимых к. ф. р. имеет форму ^F(x; 9): 9 £2}, т. е. является классом специального функционального вида. Функции этого класса находятся в соответствии со значениями вещественного параметра 9 из некоторого параметрического множества 2; при этом и х и 9 могут быть многомерными.
В теории тестов непараметрических статистических гипотез класс возможных гипотез является в общем случае классом или подклассом непрерывных ф. р. в зависимости от рассматриваемой конкретной задачи. Фактически еще не существует удовлетворительной общей теории проверки непараметрических статистических гипотез. Поэтому в этой главе теория непараметрических статистических тестов будет изложена на языке более или менее важных задач из рассматриваемой области, а не в общей форме. Читателя, интересующегося дальнейшей литературой по специальным непараметрическим тестам, мы отсылаем к книгам Фрезера (1957) и Кендалла (1953), а также к обзорным статьям Кендалла и Сандрума (1953), Морана, Уайтфилда и Даниелса (1950), Шеффе (1943), Вольфовитца (1949), Уилкса (1948, 1959а). Исчерпывающая библиография составлена Сэвиджем (1953).
Критерий квантилей
Простейшим типом непараметрического статистического теста является критерий для проверки гипотезы о том, что выборка (хь... •.. , х^ извлечена из совокупности, к.ф.р. F(x) которой имеет заданную квантиль хр порядка р. Напомним, что квантиль хр порядка р определяется формулой
F^=p. (14.1.1)
Опишем гипотезу более аккуратно. Пусть ^р— класс всех к. ф. р., Для которых хйр есть квантиль порядка р, а класс ^р допустимых Функций распределения состоит из всех к. ф.р. Тогда гипотеза, которую мы хотим проверить, есть а^ (^ор! ^р), и согласно этой гипотезе F(x) принадлежит подклассу ^р класса 4Sр. Существенно, что ^^ (^ор! ^р) является непараметрической сложной статистической
гипотезой, и ее не следует путать с параметрической сложной гипотезой (<о; 2). В последнем случае 2 может быть представлено множеством точек эвклидова пространства, а о>— подмножество 2, в то время как для гипотезы <5Г (^Ор; ^^ множество допустимых ф. р. ^р не может быть поставлено во взаимно однозначное непрерывное в обе стороны соответствие с подмножеством эвклидова пространства. Это же следует сказать и о ^Ор.
Пусть теперь (хь ... , х^ — выборка из распределения, принадлежащего классу ^Ор. Пусть г — число компонент вектора (хъ ..., хп\ значения которых лежат в интервале (— оо, хОр); г имеет биномиальное распределение Bi (м, р). Интуитивно ясно, что разумной критической областью 1Га для гипотезы е/т (^Ор, ^р) будет объединение следующих вух множеств в пространстве значений г:
'{0, 1, г. },(14.1.2)
уа уа
где г t — наибольшее целое число, для которого
P(r<r, IFC^^a,(14.1.3a)
2 *
и r\ —наименьшее целое число, для которого
уа1
P(r^r\(14.1.3b)
2 “
Из 9.2.1a следует, что, при больших п, г распределено асимптотик чески нормально N(np, пр (1—р)), откуда
Um P(Wa\F^Op) = a,(14.1.4)
м—* со
если выбрать
гх =пр—у х -^npq-VO^Y у ау а
(14.1.DJ
r i = прА-ух е]/Я^+о(1), у ауа
где q=l —р, у х >0 и Ф(—-ух ) = -^-а, Ф(х)— к. ф. р. закойа
^(0, 1).
Исследуем теперь состоятельность критерия Wa. Если F(x) — какой-либо элемент из ^р — ^Ор, то г будет иметь биномиальное распределение Bi (п, pf), где р' ^р. Так как при п-^оо — сходится по вероятности к р для F ^ ^Ор (интервал (г t ]п, r\ /п) стягивается
к точке р) и к р" для F ^^р — ^Ор, то ясно, что
Hm P^Wtt\F^p-^ep)=l.(14.1.6)
п-*оо
Итак,
Тест Wa, критическая область которого есть объединение двух множеств (14.1.2), состоятелен для проверки гипотезы ST (^Ор; ^^.
Следует заметить, что тест wt с критической областью {0, 1,..., га} будет нижним односторонним тестом, состоятельным при любой альтернативе из ^р, у которой квантиль порядка р больше, чем хйр. Аналогично тест Wa с критической областью {г»,..., п\ будет верхним односторонним тестом, состоятельным при любой альтернативе из ^р, у которой квантиль порядка р меньше, чем хйр.
Замечание. При р = 0,5 тест Wa иногда называют критерием знаков*, гипотеза Ж (^Ор> ^р) становится в этом случае гипотезой о том, что выборка (xn ... , х^ извлечена из совокупности F ^ с медианой x0f5. Практически важен тот случай, когда компоненты (хп ... , хп) сами являются разностями между независимыми парами случайных величин (ип vt; и£, v^ ••• ; «т ^п)» т. е. х^ = щ— ^, 5=1, ... , п. Медиана х0,5 в такой схеме обычно равна 0. Более подробное обсуждение критерия знаков см. у Диксона и Муда (1946). Другие тесты, касающиеся медианы, имеются у Уолша (1949).
Непараметрические простые статистические гипотезы
Предварительные замечания. Одна из основных непараметрических статистических гипотез возникает в следующей задаче. Пусть (хъ ...,х^— выборка из совокупности с некоторой непрерывной к. ф. р. F (х). Верно ли, что эта выборка извлечена из совокупности с данной ф. р. Fo М? Если ^ — класс всех непрерывных ф. р., то условимся обозначать эту гипотезу е%^ (F^ ^) и называть ее непараметрической простой статистической гипотезой. Ее не следует смешивать с параметрической простой статистической гипотезой
(90; Q), определенной в § 13.2. В последнем случае допустимые ф. р. принадлежат множеству F(x; 6), для которого параметр 0 пробегает подмножество 2 эвклидова пространства, в то время как в случае гипотезы е%^ (Fq, ^) множество допустимых к. ф. р. представляет собой класс ^ всех непрерывных к. ф. р. и не может быть поставлено во взаимно однозначное и взаимно непрерывное соответствие с подмножеством эвклидова пространства. Если ^ — подкласс ^, то гипотеза о%^ (^ ^) будет называться непараметрической сложной статистической гипотезой.
Мы рассмотрим три подхода к задаче построения тестов гипотезы ^’(Fq, ^). Первый состоит в построении непараметрического теста сложной гипотезы, основанного на пирсоновском критерии хи-квадрат; второй — простой непараметрический подход к к. ф. р. в классе ^ абсолютно непрерывных к. ф. р. — приводит к критерию пустых ящиков*, третий заключается в непараметрическом рассмотрении к. ф. р. в классе непрерывных к. ф. р., основанном на изученных в §§ 11.6—11.7 доверительных границах.
Тест непараметрической сложной гипотезы, основанный на критерии хи-квадрат Пирсона. Пусть Xi/m — квантиль порядка Цщ к. ф. р. Р^х\ т. е. F^{xt/m) = ilm, 1=1,..., т — 1, и пусть Со — под. класс С, состоящий из к. ф. р. с указанными выше квантилями. Положим
^ = tez-D/m, Xifm^ /=1,..., т, х0 = — оо, ^ = + 00.
Пусть г^ — число элементов выборки, попавших в lv Если выборка извлечена из совокупности, принадлежащей Со, то частоты (гь ..., rm) образуют /n-мерную случайную величину, rt-|- ...-\-гт = п, имеющую7 фг—1)-мерное мультиномиальное распределение Af (л; 1\т,..., 1//я),
•<14-2-0
Считая т одним и тем же при всех п, мы, с некоторыми жертвами,' заменяем задачу проверки гипотезы е%^ ф^ &) весьма простой зада-^ чей проверки непараметрической сложной гипотезы на основе пирсо- новского критерия %2. Этот критерий, как мы увидим, будет состоятельным для гипотезы <а%Г (Со; С), т. е. для проверки гипотезы Р(х) £ Супротив любой альтернативы Р(х)^^— Со, и для многих практических задач он является адекватной заменой более тонких непараметрических тестов гипотезы о%Г (f0; С).
Для фиксированного т положим
т
й = т2(Г‘-т)’04.2.2)
= 1
и определим тест U^ia критическим множеством
Qn>£,n>(14.2.3)
где х2 при каждом п выберем так, чтобы сделать объем №£ возможно более близким к а.
Из 9.3.2а следует, что*
lim Р (WXe 1 F £ ^,) = \ №т-1 (х2) = ^(14.2.4)
где йРт_х (%2) — элемент вероятности распределения %2 с (z/z — 1) степенями свободы, задаваемый формулой (7.8.1).
Будем изучать теперь мощность W^ как теста гипотезы о%"(Со; С), т. е. значения Р (Wla | F ^ С — Со). Пусть р( — вероятность попадания в /z для некоторого распределения Р^ф)^^— Со.
Имеем_
pi = J йРх (х), Z = 1, ..., т,(14.2.5)
и точка (рр ..., рт), конечно, отлична от (1/^г, ..., ijtny Из многомерного обобщения 9.1.1 следует, что если выборка (хь ...> х^
извлечена из совокупности Fx (х), то (г^п, ..., rmlri) сходится при п->оо по вероятности к (рь ..., рт\ Рассмотрим при заданном п множество Еп точек (xv • •. > х^ для которых
771
2(?-^У<°’а4-2-6)
1 = 1
где D^— произвольное положительное число, меньшее чем квадрат (эвклидова) расстояния между точками (ръ ..., рт) и (1(т, ..., 1[т\ Из того, что UZla состоит из точек (хх, ..., хп), для которых
У (И(14.2.7) \п тJ т-п *х 7
f = i
где lim x2tt „ — %£> получаем, что для и, больших некоторого пх, . Л -> ОО ’
£яС^г
Поэтому ДЛЯ П^Пх
P<En\Fi^P<WXa\FtY(14.2.8)
Но поскольку (г,/», ..., rmfn) сходится по вероятности к (рх, ..., рт) при п —>-оо, то по любому 8^>0 можно указать и3 так, что
Р(£„|Л)>1-8
при и^>и3. Следовательно, при я>тах(ль яа)
P\Wa \Р^ 1-8, т. е.
limP(V11|Fl)=l-(14.2.9)
П-> ОО
Итак, тест UZla состоятелен для проверки гипотезы е/^ (^о; ^) о том, что F ^ принадлежит ^0, против любой альтернативы из ^ — ^0. Он не будет, конечно, состоятельным для проверки гипотезы F (х) = Рй (х) против альтернативы из 8V Суммируя все сказанное, будем иметь
Пусть ^0— класс непрерывных к. ф. р. ^включающий Fq (х)], имеющих квантили Хцт, Z=l, ..., т— 1, a lt = = (х^ _!) /m, xijm ], х0 = — оо, Хд = ~р оо, — интервалы, определяемые этими квантилями. Пусть 1^ — число элементов выборки (•^ь ..., хл), попавших в интервалы 1^ 1=1, 2,..., m,aWa — тест, задаваемый критическим множеством
т
пт
Z = 1
г^е Х«, п выбирается так, чтобы сделать объем теста UZla возможно более близким к а для любой F ^ ^0. Тогда для всякой F ^ ^0
имеет место (14.2.4). Тест №ia состоятелен для проверки гипотезы F ^^^ против любой альтернативы, F ^^ — ^0. Но в силу (14.2.4) тест №1а не является состоятельным для проверки гипотезы F = Fq против любой альтернативы из ^0-
(с) Критерий пустых ящиков. Главный недостаток развитого выше подхода к задаче проверки непараметрической простой гипотезы <2%^ №; ^) состоит в том, что WXa оказался несостоятельным гестом гипотезы F — Fq против альтернатив из класса ^0. Этот класс может быть, конечно, сужен за счет выбора больших (но фиксированных при п->оо) значений т. Тем не менее, пока т остается фиксированным при п-^оо, тест U7Ja будет сложным непараметрическим стати- . стическим тестом, не отличающим Fo от любого другого элемента ^ Возникает вопрос, можно ли построить тест, который, позволяя щ расти вместе с п, отличал бы Fo от «почти всех» альтернатив из ^0. Мы рассмотрим простой критерий, который отличает Fo от альтернатив из подкласса е^CL^, содержащего абсолютно непрерывные к. ф. р. F(x) с производными /(х), предполагая, что Fo также при? - надлежит к о^.
т\п\т\п\Р^ sb ..., s„) =Р^ sb ..., s„) =, (14.2.10), (14.2.10)Пусть 50, sb ..., sn— групповые частоты, определяемые выборкой (хь ..., х^, т. е. Sj есть число интервалов 1Ь 1=1, ..., т, содер* жащих у элементов выборки, у = 0, 1, 2, ..., п. Тогда, если выборка2 извлечена из какой-либо совокупности, принадлежащей ^0, то распределение (вырожденной) случайной величины (s0, 5Ь ..., sn) легко получается из (14.2.1):
т\п\
т\п\
Р^ sb ..., s„) =
Р^ sb ..., s„) =
, (14.2.10)
, (14.2.10)
m” (0!)S° (I!)*1(n!)s«s0!S1l...s„!
где s0, sb ..., sn — неотрицательные целые числа, удовлетворяющие условиям
(14.2.11)(14.2.11)5о + -$1 + -- + ^ = ^
(14.2.11)
(14.2.11)
$1 —|— 25g “I- • * • “р ^Л == ^'
Употребляя методы, аналогичные использованным при выводе (6.1.4^ и (6.1.7), получим следующую формулу для общего факториального ‘ момента компонент (s0, sb ..., sn);
^^sF... ^я')=
m\n\ (m-gp-gx — ... -gn)n~gl~2e* — -nsn m" (21 )^ ... (nV)g" km-gt-gl-...-gnYVl-g1-^g1-...-ng^,
,(14.2.12)
где неотрицательные целые числа g6, ..., gn должны удовлетворять условиям in — g6 — gt —... — gn^0 и п — gt — Sg^ —... — ngn^0- Формула (14.2.12) позволяет получить средние значения, дисперсии, ковариации и другие моменты величин s0, sb ..., sn.
и21 непараметрические простыв статистические гипотезы 441
Критерий пустых ящиков, предложенный Дэвид (1950), основан на s0—числе интервалов среди /ь ..., 1т, не содержащих ни одного элемента выборки. Среднее и дисперсия $0 находятся согласно (14.2.12):
oa(So) = OT(w_l)(l_^ + «(i-±) _^1_±) . (14.2.13)
Если внимательно рассмотреть вид формулы (14.2.10), то легко заметить, что величина р (s0> $1, • • •, sn) равна коэффициенту при us^usp ... п
... ип у в разложении функции
П! ।I 1 UnVn\m,
1,(14.2.14)
откуда ясно, что для вычисления р(зй) надо положить в (14.2.14) и^ =... = ип = 1 и взять коэффициент при i4°T)n в разложении функции
^^о + тг + гг + '-' + ^г) •(14.2.15)
Но коэффициент при и^*оп в (14.2.15) точно такой же, как в
^(„„ + ^-1)™,(14.2.16)
который в свою очередь равен коэффициенту при v” в разложении
(14.2.17)
Коэффициент при if в разложении ср (у) равен
Д-^"?^-] .(14.2.18)
Если продифференцировать (р(у) п раз и положить у = 0, получим
тп — sq
p^ = J^L у (z^^Lz^rl^ (14.2.19) г v о/ mns0\ гЦт— s0 — 0147
z=o
где s0 = A, k-|-L .••>—L ^==max(0, m — n).
Для больших значений m и n непосредственным анализом можно получить следующий результат, принадлежащий Дэвид (1950).
Если (хь ..., хп) — выборка из совокупности с непрерывной к. ф. р. Fo (х), то при т->оо, п-^оо так, что ^ -^ р )> 0, s0 асимптотически нормальна N(me~\ т[е~^ — ^-2р(1 4“Р)])«
Пусть теперь U^ — тест, задаваемый критической областью so^>sOa, т — 1
где sOot — наименьшее целое число, для которого . 2 Р (so) ^а- Из *0 = 50а
14.2.2 следует, что при больших тип при п = рт-\- O(V)
So„ = tn [^ + ^ (^ - ^ (1 + Р))^ + О (1)] (14.2.20)
и при т -> со, п-^оо, — р ^> 0,
т 1 F
lim P(l^JF0) = -^\е 2 dt=a. (14.2.21) п-*ооУ 2л J
У-а
Выбор теста W^ разумен, так как интуитивно ясно, что распределение случайной величины $0 стремится сдвинуться вправо по оси s0, если выборка извлечена из любой совокупности из ^, отличной от Ро (х).
Убедимся формально в разумном выборе теста Waa, исследуя его состоятельность для проверки гипотезы р = р0 с абсолютно непрерывной Р^(х) против альтернатив из класса А абсолютно непрерывных к. ф. р. Если /0(х)— производная Р0(х) и ^(х)— производная какой-либо ф. р. Р^ (х) £ о^, отличной от Р^, то /0 и /i отличаются на множестве, имеющем положительную вероятность, вычисленную как при Fo (х), так и при Рх (х). Пусть о^^ — такой подкласс о^, что все моменты отношения j\ (x)//q (х) существуют по мере Fo (х) и по мере Fi(x), р!^^*. Тогда от£* содержит F0(x). Докажем следующий результат:
Тест W^ состоятелен для проверки F0(x) против любой альтернативы Fx (х) ^ qt^*, Ft ф Fo. Другими словами,
ИтРОШЕг/*--^!,
если т-^оо, п-^со, — р 0. tn *
Для доказательства 14.2.3 достаточно установить, что если выборка (хь ..., х^ извлечена из совокупности Рх ^ г^*— Рй, то 8й(т сходится по вероятности к постоянной, большей чем е~^ когда т-^со, п -> оо, так что > р 2> 0.
Пусть z^— случайная величина, равная 1, если интервал /; не содержит ни одного элемента выборки, и 0 в противном случае. Тогда
So = ^1 + • • • Н~ ^т-
Обозначив g (s^m | Рг £ ^* — Fo) через g (s^m | Р^), будем иметь
8(^k.)=^i^+--+^-i-
н°. . .
§(£q = ±(i_ну< / = ] . т
где Pi — вероятность попадания в Ц при распределении Рг (х). Отсюда т
OF-)=s 2 <*-"-)*=
i = 1
_ п. л(л—1) V ? _ л (и — 1) (л —2) VI з I
m •2!m3!m
^п^п-1)-^-к+х^рк1 +...+(14-2-22)
Общий член этого выражения может быть записан в виде
1 = 2
где А- — длина интервала 1Ь а
/ nfe 1 (Л /л-1\[n-k±\\ VfpAk 1 (Pm V] . 1
U к\\т)\ т Л’Л т JlVlm) 'Vim) А
Переходя к пределу при лг-^оо, л->оо,>р>0, и вспоминая предположение о конечности всех моментов отношения /х (х)//0 (х) как при Р^х\ так и при Р^^х), найдем, что8т Л->0 и предел выражения (14.2.22) равен’
СО4”00
k = 0—оо
где Л(х)=/, (х)//о(х). Следовательно, при т-*со, п^-<х>, п]т-*- -*р>о,
4*00
limg^l/7,) = ^ e-tb^dFe<xy(14.2.23)
— ОО
Используя теперь то обстоятельство, что если g(x) — неотрицательная случайная величина с конечным математическим ожиданием, то
(14.2.24)(14.2.24)g^(X)^:^Io2^W
(14.2.24)
(14.2.24)
с равенством только в случае, когда g(x) постоянна с вероятностью 1, Получим
J ^(^dFoW^exp [- J pfe(x)dF0(x)]=e~P. (14.2.25) — QQ—QQ
Равенство в (14.2.25) имеет место тогда и только тогда, когда h(x)^Q с вероятностью 1. Но отсюда следует /0 (х) =j\ (х) с вероятностью 1 и Fq (х) = Fi (х). Так как /0(х) и ^(х) отличаются на множестве положительной вероятности, то
limg^l(14.2.26)
Для завершения доказательства 14.2.3 мы покажем, что о2 ^ | F^ -*0 при т-^оо равномерно по п. Если обозначить матрицу ковариаций случайной величины (zv ..., zm) через || aZy ||, то
тт
•'ОН 2 -.v=^-.2о-ра"п-о—?,)")+ z,/=lt—1
т
+ i 2 ^-^-^"-(^лГа-РуП (14.2.27) »^/=1
Так как (1 — р{ — PjY^X — F»)"(l — Pjf, то m
z = 1
Ho (1—аТ[1—(1—PtT\ ^^ Z=l, ..., tn, для любого n. Следовательно,
а3
\ m I 1 у 4m ’
откуда a3 ^ | F^ ->0 при tn-^ co равномерно по n. Из того, что
Нш§(^1^1^>Иш© ^If0^| = ^p и °2^I^iW°> следует, что \ m , у\ m । уI у
ИшР(^а|^^Д*-^)=1
при т->оо, п-^оо, ~ ->р2>0. Доказательство 14.2.3 закончено.
В действительности Окамото (1952) и Кйтабатаке(1958) доказали, что если выборка (хр ..., х^ извлечена из любой совокупности с к. ф. р- AWC^*’ т0 ПРИ ^->оо, п = р/^4“®(0 асимптотическое распределение s0 есть
1
N^m J e-^^dF^x), ml^y
где
/С2^ [е-?А<*> — e^h<л>]dFtt^ — Р[+fs-P*^)A(jc)dF0(^)J2. (14.2.28) — OQ— QO
(d) Доверительные границы как непараметрические критерии. ^ §§ 11.6—11.7 рассматривалась задача оценивания к. ф. р. F(x) по данным выборки (хр ..., хп\ В этой задаче основным инструментом является определенная в (11.6.2) эмпирическая к. ф. р. Fn(x\ Оказывается, что в задаче построения теста гипотезы 0%^ (Рй; ^), где ^ — некоторый подкласс класса всех непрерывных к. ф. р., Fn^ также играет важную роль.
Андерсон и Дарлинг (1952), Крамер (1928), Кимбел (1947), Колмогоров (1933b), Малмквист (1954), Шерман (1950), Смирнов (1939 b), Мизес (1931) и другие рассматривали тесты, основанные на Fn(x). Мы отсылаем читателя к сравнительному рассмотрению этих тестов у Бирнбаума (1953 b) и Дарлинга (1957). Из всех таких тестов мы изложим только основанный на доверительных границах из §§ 11.6— 11.7. Пусть W^—подмножество выборочного пространства, на котором неравенство
(14.2.29)
нарушается хотя бы при одном х. Если выбрать d так, чтобы Р(^за I ^о) = а> то ^за определит тест объема а. Исследуем мощность этого теста. Точнее, используя результат Бирнбаума (1953а), мы определим нижнюю грань ^(U^al F^ по отличным от F0(x) функциям из класса ^, удовлетворяющим некоторому слабому условию, формулируемому ниже. Мы также покажем, что при этом условии U73a будет состоятельным тестом гипотезы F = F9 против альтернатив из широкого подкласса класса ^.
Из 11.6.1 мы знаем, что, если (хп ..., хп) — выборка из совокупности ^о (х\ то'
P(FQ(x)^Fn(x>)Jrd для всех х | F^ = Рп (d\(14.2.30)
т. е.
PVW^F^=^-Pn№>(14.2.31)
где Рп№ дается формулой (11.6.5). При заданном уровне значимости * и объеме выборки п можно из (11.6.5) найти такое значение d— обозначим его dr 0ц а) или просто d\— что Рп^=Х—а, т. е.
^(^за|^о) = а.(14.2.32)
Пусть теперь Fx (х) — функция распределения из ^, отличная от ^о(х). Мы хотим изучить мощность P^WgJFj) теста !%„ при альтернативе ^(х). Имеем
1 — Р (№за | F^ = Р (Fo (х) ^ Fn (х) + d' для всех х | F^. (14.2.33) Но неравенство Fo (х) ^ Fn (х) -|- dr имеет место при всех х тогда и только тогда, когда оно имеет место в точках скачков функции (х), т. е. тогда 'и только тогда, когда
где (^(1), ..., х^)— вариационный ряд, построенный по выборке. Но (14.2.34) эквивалентно неравенству
‘^=1 (14.2.35)
где F^^y)— функция, обратная к F0(x\ В свою очередь, неравенство (14.2.35) эквивалентно такому:
^(^е))^^^» (^"+^)],5=1, ...,«.(14.2.36)
Положим
’ Р1ФбЧг)) = а^(14.2.37)
и сделаем замену переменных ey($) = F1(x^)), 6=1, ..., п. Согласно
(8.7.2) элемент вероятности (y(i), .у^ равен
n\dym ... dyw(14.2.38)
Следовательно, вероятность выполнения неравенства (14.2.36) равна
Q (di Q (1/71 + d^GVxn-XVn-Vd^
я! J$...$^(п)^»-!)...^). (14.2.39)
0^(1)^(71-1)
Предположим теперь, что
sup^ М - Fx М) = 8,(14.2.40)
— оо<х< + оо
и пусть хг— значение х, для которого
F.(xr)-F1(xr) = ^(14.2.41)
Если k — наибольшее целое, не превосходящее пф^х')— d^, то ■G(^+ ^^^oM-S.5<*+1.(14.2.42)
Кроме того,
О^+’+тГ)^!,5 = ^ + 2, .... и. (14.2.43)
гдегдеQ=Fe^-^Q=Fe^-^(14.2.45)(14.2.45)Замена верхних пределов интегрирования в (14.2.39) на правые части неравенств (14.2.42) и (14.2.43), очевидно, не уменьшит значения интеграла. Полученный же интеграл может быть вычислен по индукции, его значение равно
где
где
Q=Fe^-^
Q=Fe^-^
(14.2.45)
(14.2.45)
ности тестаности тестаТак как к — наибольшее целое, не превосходящее п фо (х*) — сГ) = ^^(Q + t/ — 8'), то имеем следующую нижнюю границу для мощ
ности теста
ности теста
(14.2.46)(14.2.46)^ [п\P(W> 5^(1_С)»Л
(14.2.46)
(14.2.46)
^ = о х^/
Сформулируем теперь полученный результат.
Пусть для выборки объема п W^ будет множеством тех точек выборочного пространства, для которых неравенство (14.2.29) не имеет места. Пусть, далее, Р^(х)— элемент класса^, для которого выполнено (14.2.40). Тогда нижняя граница мощности ^(^al^i) теста W^a указана в (14.2.46).
При больших п выражение, стоящее в правой части (14.2.46), приближенно равно, как это следует из 9.2.1а,
-А \ е 2 at,(14.2.47)
гдегдеТ2« А''
где
где
(14.2.48)(14.2.48)Vn ^-d')
(14.2.48)
(14.2.48)
^/Q(l-Q)‘
При п—>оо Иш(/' = 0. Следовательно, если 8 ^> 0, то
Ifm 7>(W^a I ^i)== 1- х (14.2.49) Итак,
Пусть ^ — подкласс класса^, для элементов которого в (14.2.40) 8)>0. Тогда W^— состоятельный тест непараметрической простой гипотезы оУГ ф0; ^i (J РйУ
Этот результат, грубо говоря, означает, что если график Рйф) лежит где-либо выше графика Fi(x), то при п->оо вероятность того, что график Fn (х) -|- df будет лежать где-либо под графиком Ро(х\ стремится к 1, если выборка (хп ..., х^ извлечена из совокупности РуфУ
Из (11.6.1) можно получить, что тест U^a, критическая область которого представляет собой дополнение к множеству точек выборочного пространства, удовлетворяющих при всех х неравенству
F^tx^Fn^ — d',F^tx^Fn^ — d',■ (14.2.29а)■ (14.2.29а)
F^tx^Fn^ — d',
F^tx^Fn^ — d',
■ (14.2.29а)
■ (14.2.29а)
имеет объем а. Если ^ — подкласс класса ^, для элементов которого
inf (F0(x)~ Л(х)) = 8' (14.2.40а) — со<х<+оо ,
с ^<С®, то вполне аналогично 14.2.5 можно доказать состоятель* ность W^a для гипотезы ^* фо, ^ (J Роу Формулировку соответствующих вариантов теорем 14.2.4 и 14.2.5 мы предоставляем читателю.
Из теоремы 14.2.5 и из состоятельности теста W^ против альтернатив из класса ^{ следует, что тест W^ критической областью которого является дополнение к множеству точек выборочного про* странства, удовлетворяющих при всех х неравенству
\Fn^~F^\^d’\ (14.2.29 b)
где (Г выбрана так, чтобы объем U^ равнялся а, будет состоятельным тестом непараметрической простой гипотезы ST {F^ ^i IJ ^i U Eo).
Задача о двух выборках из непрерывных совокупностей
Предварительные замечания. Пусть (хь...» хп^ и (хр ..., х^2)— независимые выборки из совокупностей с непрерывными к. ф. р. Fy^ и F2(x) соответственно. Обозначим эти выборки через ОП1 и Оп< Основной проблемой непараметрической статистики является построение на базе информации, доставляемой выборками ОПх и 0^, критериев гипотезы Fx (х) = F^ (х), состоятельных против альтерна-* тив из различных классов пар (F^x), F2(x)), где F^ (х) ^ F^ (х).
Критерии такого типа были предложены Диксоном (1940), Мати-i сеном (1943), Смирновым (1939а), Вальдом и Вольфовитцем (1940), Уилксом (1961) и другими. Некоторые из них мы рассмотрим в этом параграфе.
При изучении критериев гипотезы FT (х) = F^ (х) мы должны рассмотреть классы альтернатив. Условимся обозначать буквой 8 класс всех пар непрерывных распределений (F^x), F2(x)) и буквой 80—- подкласс 8, в котором Ft (х) = F2 (х); эту общую к. ф. р. будем обозначать F(x\ Наиболее общей формой критерия Fy(x) = F^(x) является критерий гипотезы (F^x), F2(x))^80 против любой альтернативы (Ft (х), Fs (х)) Е 8 \ $о-
Рассматриваемый в § 14.3(e) критерий Смирнова (1939а) пред* ставляет собой пример такого общего критерия, который является состоятельным. Другие рассматриваемые критерии являются состоятельными для проверки гипотезы (Fj (х), F2 (х)) £ 80 только против альтернатив из некоторых подклассов 8 \ 8о- Если 8* — один, из таких подклассов, то тест гипотезы (Ft (х), F2 (х)) £ 8о против альтернатив (Fj(x), F9(x))^8* будем называть тестом гипотезы ^(8»; &im
Прежде чем рассматривать специальные критерии, удобно обсудить некоторые задачи о двух независимых выборках из одинаковых совокупностей с непрерывной к. ф. р.
Распределение основных случайных величин, определяемых порядковыми статистиками двух выборок. Простой, но фундаментальной теоремой о порядковых статистиках двух выборок из совокупностей с одинаковой непрерывной ф. р. является следуют^-*
Пусть Оп^ и 0п^ — независимые выборки из одинаковых совокупностей с непрерывной к. ф. р., a (xw..., х^) и (x^v .., х'^) — порядковые статистики этих выборок. Если z^ ..., ^1+Лз — упорядоченное размещение*) порядковых статистик обеих выборок, то
/ /Па —|— Па\
P^<...<z„v^=ll ^.(14.3.1)
Пусть F^x)— общая к. ф. р. Чтобы не загромождать изложение,
вычислим только вероятность
Р (-^(1) < • • • <С^(^i) <С -^(1) *\ • • * < ^мУ(1 4.3.2)
Переобозначим случайные величины в (14.3.2) на zb ..., ^n^- Если положить y1 = F(z1), ..., yni^n2 = F(zni+n2), то согласно (8.7.2) элемент вероятности величин (j^, ..., ,уЯ1+Л2) будет равен
^^•^i ... dy„1+„8.^^•^i ... dy„1+„8.(14.3.3)(14.3.3)
^^•^i ... dy„1+„8.
^^•^i ... dy„1+„8.
(14.3.3)
(14.3.3)
znk±na наступает одновременно с ухznk±na наступает одновременно с ухСобытие z^Событие z^
znk±na наступает одновременно с ух
znk±na наступает одновременно с ух
Событие z^
Событие z^
Вероятность последнего есть
и^^у..^ $ ^1^i --^»i+«2=l/( „)•(14.3.4)
ООО/ \ "1/
Очевидно, что (14.3.4) имеет место для произвольного упорядоченного размещения порядковых статистик двух выборок, что и доказывает теорему 14.3.1.
Пусть, как и раньше, ОП1 и ОП2 — независимые выборки из одинаковых совокупностей с к. ф. р. F(x). Порядковые статистики выборки ОП1 определяют выборочные блоки В^Х ...» B^W» как это указано в §8.7. Пусть определяемые F^x) вероятности попадания в эти блоки равны соответственно иь ..., uttkApv
Обозначим через гъ ..., гП1^г количества элементов выборки ОПа, попавших соответственно в ДМ, ..., В^"^1), где rniJbl = n^ — rt — —... — rnv Случайные величины (гь ..., гПк+1) будем называть частотами блоков, определяемыми выборкой ОПк по выборке ОП2. Получим теперь распределение этих частот.
Пусть (иъ ..., ипр гь ..., гП1)— смешанная (^4~^-мерная случайная величина, где величины (г^, ..., ип^) непрерывны, а (п,..., гПк)
*) Другими словами, (zk) ..., зЛ1+П2) получается следующим образом: сначала выписываются несколько первых порядковых статистик одной выборки, затем — несколько первых другой выборки, далее несколько первых порядковых статистик из числа оставшихся для первой выборки и т. д. \Прим. перев.\
15 С. Уилкс
дискретны и условное распределение (гь ..., гЛ1) при фиксированных значениях (мь ..., иП1) есть
Из теоремы 8.7.4 элемент вероятности величин (нь ..., ип^ равен
(14.3.6)(14.3.6)л^ duv... dunv
(14.3.6)
(14.3.6)
Поэтому совместное распределение величин (гь ..., гп^ и (нь ..., ип^ задается произведением (14.3.5) и (14.3.6). Чтобы получить (безусловное) распределение (гь ..., гп^ надо проинтегрировать это произведение по симплексу 5Л1:{(йр .t^Jr^^O, ..., иП1^0, «i-f- +•••+нЛ1^1}. Если использовать свойства распределения Дирихле из § 7.7, то интегрирование дает значение
для всех тех наборов (гь ..., гЛ1), для которых fi^O, ..., гЛ1^
Примерно так же, как доказывается (14.3.7), можно доказать, что
(14.3.8)(14.3.8)распределение любых t величин (г*, ..., г*) из (гь ..., гп^ есть 1пх + п* — гХ —... — г? — A Ппх + пЛ
(14.3.8)
(14.3.8)
пх — t
Суммируем полученные результаты.
Пусть ОП1 и Оп.— независимые выборки из одинаковых совокупностей с непрерывной к.ф.р. Если (гь ..., r^i) — частоты блоков, определяемые выборкой ОП1 по ОПр то случайная величина (гь ..., гД1+1Ь ri Ч-• • • + Gi+i = лз принимает все возмож
ные значения с одинаковой вероятностью 1/1 I. Распреде
ление любых t величин (г*, ..., г*) из (гь ..., гЛ1+0 дается формулой (14.3.8).
^1 Ч~ ^^1 Ч~ ^Если обозначить через (Гр ..., гЛ2+1) частоты блоков, определяемые Оп^ по Опр то (Гр ..., гЛа+1) будет с вероятностью
^1 Ч~ ^
^1 Ч~ ^
(14.3.9)
принимать каждое из значений (Гр ..., r^^-t), удовлетворяющих- условиям г^О, ..., гЛ2+1^0, гх -]-... + г'п^ x = nv Так как выражения (14.3.7) и (14.3.9) одинаковы, то случайные величины (fv--* ..., Гп2 + 1) и (^ь ^+1) принимают возможные значения в своих выборочных пространствах с одинаковыми постоянными вероятностями.
(14.3.10)(14.3.10)(14.3.11)(14.3.11)величины ($0, sb ..., $й2):величины ($0, sb ..., $й2):
(14.3.10)
(14.3.10)
(14.3.11)
(14.3.11)
величины ($0, sb ..., $й2):
величины ($0, sb ..., $й2):
Отметим, что вероятности отдельных значений случайной величины. (гь ..., гп^ такие же, как и задаваемые формулой (14.3.1) вероятности различных упорядоченных размещений порядковых статистик выборок ОП1 и ОП2. Это и неудивительно, поскольку имеется взаимно однозначное соответствие между возможными значениями случайной величины (гь ... , гп^ и различными упорядоченными размещениями порядковых статистик‘обеих выборок.
Замечание. Можно рассмотреть и случай, когда выборки Оп и Оп^ извлечены из ^-мерных совокупностей с непрерывной к. ф. р. При этом может быть принят любой из методов построения ^-мерных выборочных блоков, описанных в § 8.7(c). Пусть В^, ..., /^"Ю—блоки, образованные п/точками выборки Оп^ а (гп ..., r^J--количества элементов выборки Ол>> попавших соответственно в В^\ ... , S^^1^. Тогда распределение случайной величины (гь ..., r„i+1) в точности то же, что и в теореме 14.3.2.
Дусть теперь $0— число блоков из В^\ ..., S^^^, не содержащих ни одного элемента выборки ОЙ2, 5t — число блоков, содержащих ровно один элемент Оп^ и т. д.; величины s0, sb ... , sn2 будем называть групповыми частотами блоков, определяемыми выборкой Ощ по Оп^ Тогда ($0, sb ..., sn^— многомерная случайная величина, удовлетворяющая условиям:
$о 4~ 5iL
51 4" 2^2 4" . . . 4" П%8П2 = И2-
Поскольку все точки в выборочном пространстве случайной величины (rb ..., r«1+i) имеют одинаковые вероятности, задача нахождения распределения (s0, sb ..., sn2) сводится просто к подсчету числа точек в выборочном пространстве (гь ..., гй1+1), удовлетворяющих определенным условиям. После некоторого размышления читатель увидит, что число точек выборочного пространства (гь ..., гП1+1), которые отображаются в заданную точку (Sg, sb ..., 5Й2) выборочного пространства величины (s0, sbe..., зПа), равно коэффициенту при Mq0^1 ... us^ *иПа в формальном разложении выражения
(«0 4- и<0 4- 11^ 4-... 4- Un^"1 + *•
Разделив этот коэффициент на, мы получим распределение
\ ^i /
где s0, sb ..., sn2, конечно, удовлетворяют условиям (14.3.10). Чтобы получить распределение некоторых из величин (s0, sb ..., sn2), например (s0, sb ..., st)> надо положить в (14.3.11) ut+i = . .. = иП2 =
= и и взять коэффициент при н^н'^ ... и^и5^2, где $о 4~ si 4~ •-^ . . .4-^4"^ = л1 + 1, 5 — s^+l 4~ • • • 4" ^2* Положив ^ = 0, получим распределение величины s0:
7^1 —}— 1 \ /^2 1 \
р М-(14.3.1 з).
\/
где возможные значения s0 суть пх — #2 + 1 > ^i — #2 4” 2, ..., nv Для больших значений t распределение имеет более сложный вид, и мы его не приводим.
Факториальные моменты одной или нескольких величин (s0, Sp... ..., sn^ можно получить из (14.3.12) методами, аналогичными использованным при выводе (6.1.7). В общем виде
g (s^o1 s^ ... s^1) =
— №+ 1)— №+ 1)^ 4- , . . + g (n\ + Л2 — So — 2^ — . . .(^ + 1) S/\ //nY + ЛА
— №+ 1)
— №+ 1)
\Л1 — So —... — gt// \ Л1 /
(14.3.14)
где So> •••> gt — неотрицательные целые числа такие, что So + --- + A"gt^nx и Si + 2^ + -•• + ^^л2* Из (14.3.14) можно определить средние, дисперсии, ковариации и другие моменты одной или нескольких ВеЛИЧИН ($д, sb ..., sn^.
Сформулируем полученные результаты.
Если ОП1 и ОПа— независимые выборки из одинаковых совокупностей с непрерывной к.ф.р., то распределение групповых частот блоков (s0, sb ..., зп^ определяемых выборкой ОП1 по Ow дается формулой (14.3.12), причем компоненты вектора (s0, sb ..., Sn^ удовлетворяют условиям (14.3.10). Общий факториальный момент величины (s0, sb ..., st) дается формулой (14.3.14).
В частности, для s0 имеем .
g s0 = пх (пх 4” 1 )/(л1 4” ^^^(14.3.15)
_2х_^2М—1) I ^i (^i + O _ nt (^4-О3
(^4-n2) (ni + ns —l)’п^Пз(Пх + п2у
Если положить л2 = рп14" 0(1), р^>0, то
gs0=»i(i/(i4-p)+O(iM n4o16i »Ч»о)=»1(р7(1 + р)3+0(1/«1))-
Сформулируем теперь утверждение, описывающее асимптотическое распределение s0 в больших выборках.
Если 0П1 и ОП2 — независимые выборки из одинаковых совокупностей с непрерывным распределением, пх и п^ стремятся
# бесконечности так, что п^ = ^П1~У 0(1), то s0 имеет асимптотически нормальное распределение N^ ^^ , ^-^р)*
Доказательство 14.3.4 можно провести, применив к факториалам
(14.3.17)(14.3.18)(14.3.17)(14.3.18)в выражении (14.3.13) для pis^ формулу Стирлинга с
(14.3.17)
(14.3.18)
(14.3.17)
(14.3.18)
Будем иметьБудем иметь— 1+р И (1+р)«-
Будем иметь
Будем иметь
^1^. X"
lim V p(sq) — —= \ е 2 dt,
ЛI —* оо ввАу 2lt «V
$0 = ^ ("1)у
где s0 (яО и Sq (z^) — наибольшие целые, содержащиеся в числах, получающихся при- подстановке У и у1 вместо t в правую часть (14.3.17). Мы опускаем детали.
Критерий пустых блоков. Первым из непараметрических критериев в задаче о двух выборках мы рассмотрим простой критерий пустых блоков. Этот критерий подсказан предложенным Дэвид критерием пустых ящиков, обсуждавшимся .в § 14.2(c). Его критической областью служит множество Waa значений s0, s0 ^ s0 (а, Пр л3), где s0 (а, //], п^ — наименьшее целое число, для которого
Р^аа\фх, F^^^a.Р^аа\фх, F^^^a.(14.3.19)(14.3.19)
Р^аа\фх, F^^^a.
Р^аа\фх, F^^^a.
(14.3.19)
(14.3.19)
Так как при (Fp F^<^^ т. е. при Fx (х) = F^ (х), распределение величины s0 дается формулой (14.3.13), то значения s0(a, п^, п^) при небольших пх и п3 можно найти с помощью этой формулы.
При больших пъ когда n^ = ^nv 4“ 0(1), из 14.3.4 следует, что критическое значение s0(a, п^ п^) равно
гдегдеs0(a, „„ /^ = ^+луГ:(^ + 0(1),(14.3.20)
где
где
(14.3.21)
Согласно 14.3.4 при ^^оо, п3->оо, так что п^п^ -> р > О,
ИшР(^а«1№, ^)Е^о) = а.ИшР(^а«1№, ^)Е^о) = а.(14.3.22)(14.3.22)
ИшР(^а«1№, ^)Е^о) = а.
ИшР(^а«1№, ^)Е^о) = а.
(14.3.22)
(14.3.22)
Тест Waa разумен, так как интуитивно ясно, что распределение величины s0 стремится сдвинуться вправо по оси s0, если (Fp F3) не принадлежит ^0.
Убедимся в разумности выбора Waa формально, исследуя его состоятельность. Пусть F71 (и) — функция, обратная к Ft (х), а $* — класс пар непрерывных к. ф. р. (Ft (х), F3 (х)) таких, что
(О F3 (F^*1 (п)) имеет производную g(u) для почти всех и ^ (0, 1);
(it) производные функции F% (F71 (к)) и функции Fx (Ff1 (и)) = и не равны на множестве положительной меры.
Докажем следующий результат:
Критерий Waa гипотезы, (Ръ F2) £ $0 состоятелен против альтернативы фъ F^ ^ §*, если только пх -> оо, п^ -> оо так у что п* = $пх О (1).
Для доказательства 14.3.5 достаточно установить, что если (Fb Fz) С 8*> т0 so/(^i+l) сходится по вероятности к числу, большему, чем 1/(1 + р)> когда пх-> оо, и2->оо и п^пх-> 9^0. Напомним, что при (Fb F2)^8o $0/(^1+!) сходится по вероятности К 1/(1 +р).
Пусть z—случайная величина, принимающая значение 1, если построенный по выборке ОП1 блок В^ не содержит ни одного элемента выборки ОП2, и равная 0 в остальных случаях, 6=1, ... • • • > ^ + 1 •
Тогда.
So = ^1• • 4- ^«i+i-(14.3.23)
Вычислим gs0, считая ОП1 и 0^ независимыми выборками из совокупностей с к. ф. р. Fx и F^ (Fb F2)£8*. Так как
g^ = P(^=l),
то, обозначив g[s0/(^ + ОК^, F3) £ 8*] через g [$0/(А + ОI 8*Ь будем иметь
© (^ 18*) = ^ [Р (^ = П + • • • + Р (^m+i = 1)1- (14.3.24)
Для 6 = 2, ... , пх
Р (^ = 1) = (е —2)!(Л1— 5)!1 —+
+ F» C^-d)]"2 [^i (V-)^-211 - F1 ^(е))]"1”5 X
Xd^x^dF^), (14.3.25)
где S2— область в эвклидовом пространстве R^ задаваемая условием — ОО ^-К^) ^^(^ <4“ °°-'
Выражения для P^zx=^ и Р (гП1-н = 1) несколько прошв (14.3.25), но предел каждого из них, поделенного на ^-р^ ПРЙ пх-^ооу л2~>оо, n%jnx-> ^^>^ равен 0.
После замены переменных
«1 = Ft (-х^-о), «8 = Ft (ху)
выражение (14.3.25) приведется к виду
р(г£ = О = (£—2)! («! — 5)!I1 — °(“i) +
+ G(n3)]”s а,-а (1 — и8)"1-е dut du^ (14.3.26)
где Т2 — треугольник О^и^м^ 1, a G(u) = F%(F;1 (и)). Мы предположили, что G(u) имеет производную g(u\ Тогда g(u) будет п. в.
на (0, 1).
Имеем
«1
8 (7^ 18*) = "pi 2 ₽<2г= » + 8-'~ <14-3'27) ^ = 2
где ^т,п2 — (Л14"0 1 УР^гх = 1)“Ь^С2'п1 + 1= ОЬ
Подставляя выражение (14.3.26) ^для ^(^=1) в (14.3.27) и произведя суммирование, получим
8(4пМ =
= ^1^Л^ [1-«а4-Н1]"1-2[1-О(м3) +
+ О(м№йи1йи9 + 8П1,Я2. (14.3.28)
уП1уП1-GW у 1«1.-GW у 1«1.dya^-v^n^.dya^-v^n^.Сделаем преобразование
у
П1
у
П1
-GW у 1«1.
-GW у 1«1.
dya^-v^n^.
dya^-v^n^.
и1 = *и>
Тогда (14.3.28) запишется в виде
1 (1 — v)nt( С [1 —001 (1 — v)nt( С [1 —004»ThN=^jX
1 (1 — v)nt
( С [1 —
00
1 (1 — v)nt
( С [1 —
00
(Г4.3.29)
Переходя к пределу при nr -> оо, и2 ~> оо так, что п^пх -> р ^> 0, получим
limglimgе— у [ 1 + pg (*»)] Ду Д<уе— у [ 1 + pg (*»)] Ду Д<у(14.3.30)(14.3.30)
limg
limg
е— у [ 1 + pg (*»)] Ду Д<у
е— у [ 1 + pg (*»)] Ду Д<у
(14.3.30)
(14.3.30)
Проинтегрировав по у, окончательно будем иметь
dy1 + р£(у)‘dy1 + р£(у)‘(14.3.31)(14.3.31)
dy
1 + р£(у)‘
dy
1 + р£(у)‘
(14.3.31)
(14.3.31)
Мы должны теперь показать, что интеграл в правой части (14.3.31) превосходит 1/(1 —|—р), если g(y) отличается от единицы на множестве положительной меры. Последнее как раз имеет место в случае №, F^) £ §*, поскольку производные функций F^ (Т^1 (и)) и и не равны на множестве положительной меры.
При этом условии согласно неравенству Шварца
S1TSW' j11 +^W1*>[j /т+^й'^+^’Н*- (14.3.32)
в левой(14.3.33)в левой(14.3.33)Но в правой части неравенства стоит 1, а второй интеграл части равен 1 4“ р- Следовательно,
в левой
(14.3.33)
в левой
(14.3.33)
1
) 1+р^М^ 1+р ’
о
так что при Пу-^СО) д2->оо и ^ = p^i + O(l), р>0,
1™ 8 (^Н >*™8^|4
Чтобы закончить доказательство состоятельности критерия пустых блоков, достаточно установить, что дисперсия случайной величины ^o/(^i“h 1) для (Ръ Fi)^^* при п^-^оо, /72->оо, ла = р^ + О(1) имеет порядок 1/лр Имеем
7114-1
«‘(-^Is*)-^ 2 ’«(14.3.34)
где ||®е11|| — матрица ковариаций вектора (24, ... , гПх^\У Ковариация о^ компонент ^ и ^ равна
а„=Р(г6=1, ^=1)-Р(ге=1)Р(^=1). (14.3.35)
Покажем теперь, что о^^О при всех Е^щ. Согласно (14.3.6) элемент вероятности величины (пь ... , ип^ равен п\ dux ... dunv Обозначим этот дифференциал через dH(u).
Пусть р^ = Р^ (х^)— Р^(х^_^) и аналогично же определим р^. Так как равенства их ~|-... + «с = Fi (х^ Е = 1, ... , пъ задают взаимно однозначное соответствие между х(^ и и^ то ясно, что случайные величины рг, ... , рПх являются функциями от zzb ... , няг При фиксированном значении выборки ОП1*
P(ze=l, z, = l |«„ ... , МЯ1) = (1 —Р^—Р^"2,(14.3.36)
откуда безусловная вероятность равна
Р(г5=1, ^=1) = ®(1-^-рч)«8,(14.3.37)
где математическое ожидание относится к распределению (»juft^ Аналогично
^(^=1 |иь ... , пЛ1) = (1 — р^"2,
Р(^=1\иь ... , иЛ1) = (1 — р,)Я2>
и для безусловных вероятностей Р(^=1) и Р(^=1) будем иметь: Р<^ = 1)Р(^ = l) = g(l — р^ g(l —р^».(14.3.38)
Так как
(1 -р5 -р^ < (1 -р^ (1 _р^п2)(14.3.39)
S (1 -р^-р^ g [(1 -р^ (1(14.3.40)
Но ПОСКОЛЬКУ 0^(1 — р^а (1 — р^пе ^ I, т0
8 [(1 -р^ (1 ~Р^1 < {8 [(1 -р^ (1 -р^А?, (14.3.41)
и по неравенству Шварца
{8[(1 -Р^Ч^ -^"y^gCl-^gtl -Р^. (14.3.42)
Объединяя (14.3.40), (14.3.41), (14.3.42), получим
®(1 -^—/V^&O -P^U^ —Р^(14.3.43)
что эквивалентно следующему:
^<0, ^^(14.3.44)
Последнее вместе с (14.3.34) дает
’‘(^is^kW 2/«-<14-зл5>
Но
^ = Р(^=1)-[Р(^=1)р =
= Р(де=1)[1-Р(д6 = 1)]<1- (14.3.46).
ДЛЯ 5= 1«1+1-
§*) -> 0 при" пх -> со, что и доказывает§*) -> 0 при" пх -> со, что и доказывает(14.3.47)утвержде-(14.3.47)утвержде-Окончательно получаем
§*) -> 0 при" пх -> со, что и доказывает
§*) -> 0 при" пх -> со, что и доказывает
(14.3.47)
утвержде-
(14.3.47)
утвержде-
а / So откуда сд^фт ние 14.3.5.
Блюм и Уэйсс (1957) рассматривали такие подклассы 8*, что любая групповая частота блоков $; оказывается состоятельной для гипотезы (Pb F^ £ 8о против альтернатив из этих подклассов. Уилкс (1961) рассматривал критерий типа у9, построенный по s0, stsk для фиксированного к и больших выборок. Критическая область W2«
для него определяется условием
(SZ—Mj)2HOi(SZ—Mj)2HOiil^V1П92 (1 + р)я*il^V1П92 (1 + р)я*
(SZ—Mj)2
HOi
(SZ—Mj)2
HOi
il^V1
П92 (1 + р)я*
il^V1
П92 (1 + р)я*
где ai = P7(l 4-Ру+\
к
« = 5 (5, —»^)(/ —р —А — 1),i=0
к
®=Kp(i+p)S (si —иа<)
i = 0
и *Д—100а-процентная точка ^-распределения С(^+О- Можно ожидать, что этот критерий несколько мощнее, чем Waa, который зависит только от s0.
Замечание. Тест Waa (или W*^ может быть обобщен на случай ^-мерных непрерывных к. ф. р. В этом случае выборка О порождает ^-мерные выборочные блоки В’к, ... , ^П1 + п, как это указано в § 8.7(c). Структура этих блоков зависит от принятой системы упорядочения. Число элементов выборки Опа в блоках является случайной величиной (гр ... , г^^^, где Г1 + - + гщ +1= пг Распределение числа пустых блоков s0 дается формулой (14.3.13), если оба распределения одинаковы. Так же, как в одномерном случае, можно доказать состоятельность критерия Waa в /г-мерном случае при определенных условиях на к. ф. р.
Критерий серий. Если каждую из порядковых статистик выборки ОП1 обозначить через С, а выборки Опа — через С, то каждому упорядоченному размещению порядковых статистик обеих выборок
будет отвечать некоторое расположение пх букв С и п^ букв С.
В условиях теоремы 14.3.1 все I * I возможных расположений
теория серий возможными§ 6.6 пх 4-^теория серий возможными§ 6.6 пх 4-^пх букв С и ^2 букв С равновероятны. Поэтому вся из § 6.6 применима к сериям, порожденным ^П1 +^J последовательностями букв С и С. (Заметим, что в обозначено через и.)
теория серий возможными
§ 6.6 пх 4-^
теория серий возможными
§ 6.6 пх 4-^
Вальд и Вольфовитц (1940) предложили использовать в задаче
о двух выборках в качестве критерия статистику и — общее число серий в последовательности букв С и С, отвечающей упорядоченному расположению порядковых статистик обеих выборок (см. § 6.6(a)). Элемент вероятности и при (Fx (х), Р2 (х)) £ §0 дается формулой (6.6.20), а gw и о2(п)— формулой (6.6.19). Отметим,, что случайные
величины к и s0 строго отрицательно коррелированы.
Так как при малых значениях и мы склонны подвергнуть сомнению истинность гипотезы (Fx (х), F^ (х)) £ §0, то * зададим критическую область условием
Р(и^и(а, пь п^^а,(14.3.48)
где и (а, пь п^)— наибольшее целое, для которого (14.3.48) имеет место. Обозначим этот тест объема а через и^а.
При больших значениях пх и и2 величина и распределена асимптотически нормально со средним и дисперсией, определяемыми формулой (6.6.19). Более точно, Вальд и Вольфовитц доказали теорему 14.3.6. Если (^(х), F^x^^^q, а /Zt-^оо, л2->оэ так, что Zh-^р^О, то статистика и распределена асимптотически по . Л 2п^ 4р2мх \ закону(1_|_p)3j.
Доказательство теоремы 14.3.6 аналогично доказательству 9.6.3 и мы приведем только набросок его.
Пустьз
(14.3.49)(14.3.49)дк^Уму+Упх (1+р))
(14.3.49)
(14.3.49)
/О+р)8
Обозначим через рх («) и р^ (и) выражения для р (н) в (6.6.20) для четных и нечетных значений и соответственно.
Тогда при заданных п^ и числах t'<^f' имеем.
+ У № f2pl5JZ±^L(L±P))\(14.3.50)
^^й^Ц/П + рЙ)
где 21 означает суммирование по (дискретным) значениям у между У и У', удовлетворяющим условию (14.3.48), для четных и, a 2s — аналогичное суммирование для нечетных и.
Рассмотрим теперь первую сумму, которую можно записать
ВВИДе ZM^I^Ij^K^^ (1413'51)
где А_у = ]/(1 -|- р)3/(Л1р2) . Применяя формулу Стирлинга (7.6.29) к факториалам в выражении для рх(и) (т. е. для р(и) при четных и\ найдем, что при ^->00 величина (14.3.51) сходится к
\е 2 dt.(14.3.52)
2/2п J47
Аналогично устанавливается, что вторая сумма в (14.3.50) сходится к (14.3.52) при пх-^оо. Следовательно,
lim P(y,<J,<f) = 7=V dt (14.3.53) Fit -*ООJ
Для любых У <^У\ что доказывает 14.3.6.
Если пх -> оо, л2 -> оо так, что lim п^Пх = р, и (^ (х), Р^ (х)) £ §0> то из теоремы 14.3.6 получим
lim Р^и^и^а, Пх, рЛ!)) = а.(14.3.54)
«1 -*оо
Вальд и Вольфовитц доказали состоятельность теста ^а гипотезы (^(х), F2(x))£50 против альтернатив из введенного в 14.3.5 класса 8*.-
Критерий Смирнова. Пусть Г1Л1(х) и f^W — эмпирические к. ф. р., построенные по выборкам ОПх и ОП2 в соответствии с (11.6.2). Статистика Смирнова (1939а)
Dni. п, = sup | Flni (х) — Р№ (х) |(14.3.55)
X сама напрашивается в качестве разумного критерия гипотезы (Рх (х), F2 W) С So-'
Пусть WCtt — критическая область
Опь Л2>8(а, пъ л8),где 8 (а, п^ п») — наименьшее целое, для которогоРфпъ п2>8(а, ^ь и8)) = а(14.3.56)
при ф<х\ Р^х^^».
Смирнов доказал, что при (Ft (х), Рг (х)) £ §0 и «j -> оо, и8 -> оо, Иг/»! -> р + О
Hm Р Фп^ > X )Л/И1 + I/», ) = 1 - 2 (-J)V«^8. (14.3.57) t = —оо
Следовательно, если положить 8 (а, Пх> n^ = laV"Hnx-V* ^1^’ где* Ха удовлетворяет условию
2 ( — 1У= 1 — а,(14.3.58)
1 = — оо
то при ^->00, т^со, п^Пх-^^^^ будем иметь
Нтр(рЯ1,„,>Хв1/Г1 + Д=а.(14.3.59)
\Г «1«2/
Критерий WCtt состоятелен для проверки гипотезы (Рх (х), Рг (х)) ^ ^ 50 против альтернатив (Р\ (х), Рй (х)) ^ 5 \ ^0, т. е. можно показать, что при Рх (х) ^ F3 (х) и Пх оо, и2 -> оо, п^пх р > О
lirnpfo,^ >Хе 1/1 + 1)= 1.(14.3.60)
Доказательство этого утверждения мы опускаем.
Отметим, что случайная величина ВПь п. является функцией от частот блоков (гь ... , r^^i); поэтому для любого d P(Dnitn2^d)
можно сосчитать для малых выборок простым подсчетом числа выборочных точек (rD ... , Гц^^, для которых Dnv ^^d» и последующим делением его на I ^ " L Это довольно сложно при Пх ф п^. Но при n1 = /z3 = /z Dn>n является кратным l//z. В этом случае Масси (1951) методом, аналогичным использованному при доказательстве 11.7.1 > установил, что
'к
P^Dn>n^^X = ^.Utl, «Й^Л,(14.3.61)
i = 0' '
где U^ т^ В = 0, 1, .'.. , 2Л—1; ^=1, ... , п, — число выборочных ючек в пространстве значений (гп ... , r^^J, для которых ^Лх^^^^ — Ку.п и |fi»W-^WI<^ Для x<xw ^х^ — tj-я "порядковая статистика выборки ОП1\ U($, т]) удовлетворяет разностным уравнениям
m -^4-1)= (7(0,т])4-7/(1, ч),
7/(1, 7)4-1)= 7/(0, т))4-7/(1, 71)4- ^(2, 1), (14.3.62)
7/(2А —2, т)4-1)=7/(0, т))4-...4-7/(2А— 1, т)),
7/(2А—1, т)+1)=7/(0, т))4-...4-7/(2А—1, т))
с граничными условиями
7/(7, 0) = 0,1=1, ..., k — 1,(14.3.63)
7/(А, 0) = 0.
Аналогичные формулы можно получить при пх ^. п^, в этом случае Опх.щ кратно Цп-хП^. Масси (1951), используя такие рекуррентные соотношения, составил таблицы вероятностей
р "2к = \, пхтц,
ДЛЯ Пх^П^^ 10.
Весьма простая точная формула для P{Dnktn2^klnxri^ в случае Пх = п^ = п найдена Гнеденко и Королюком (1951).
Чтобы получить результат Гнеденко—Королюка, введем случайные величины
D„ = sup (Fln(x) — F,„(x))(14.3.64)
И
-On = inf (Г1л (х) - Ргп (х\у(14.3.64а)
X
Пусть ^1)<^2,(9)<^...<^Z(9„) — вариационный ряд выборки, полученной объединением выборок ОПк и ОЛ2, a (z — случайная величина, принимающая значение Afn^ если 2^ — элемент первой выборки, и
значение —l//z, если z^— элемент второй выборки, ^=1, .2л. Положим
= ^ + ... + ^.(14.3.65)
Тогда
Z)^ = supsz, Z)„ = infsz.(14.3.66)
tt
Если принять s0 = 0, то ломаную, соединяющую последовательно точки (£, sj, ^ = 0, 1, ..., 2/7, можно рассматривать как траекторию в плоскости (f, s), начинающуюся в (0, 0) и оканчивающуюся в ^п, 0). Заметим, что между любыми двумя последовательными целыми значениями t траектория либо поднимается, либо опускается. Имеется всего
| I возможных траекторий; каждая отвечает определенному расположению порядковых статистик обеих выборок среди z^y .... zw. При условии (Л(х), ^(^С^о все эти траектории равновероятны. Поэтому вычисление Рфп ^kjn) сводится к определению числа траекторий, лежащих целиком над прямой 5 = (Л-Р 1)/^, и делению /2л\
этого числа на I у Точно так же вычисление Рфп,п^^1п) эквивалентно определению числа траекторий, лежащих между прямыми Л+: s = (k-\- 1)/п и L :$ = — (Л-]-1)/п, и делению его на I у Рассмотрим сначала Рфп^к]^ и возьмем любую траекторию, не лежащую целиком под /Л Найдется первая точка Л, когда траектория достигает прямой L\ Рассмотрим зеркальное отображение относительно Л+ участка траектории от А до точки (2л; 0); оно представляет собой ломаную, начинающуюся в Л и оканчивающуюся в точке (2л, 2 (Л -(- 1)/л). Поэтому число траекторий, соединяющих точки (0, 0) и (2л, 0) и достигающих А+, равно числу ломаных, соединяющих точки (0, 0) и / 2л \
(2л, 2 (^-)-1 )/^)- Последнее же равно— числу располо
жений (л-{-^+0 «подъемов» и (л— к—1) «спусков». Число тра- /2л\/ 2л \
екторий, нигде не достигающих А+, равно —, , , „ ; следо-
\ п)\п । V
вательно, / 2л \
p(d*^— 1 = 1 —(14.3.67)
По соображениям симметрии
Если ПОЛОЖИТЬ \ = й^^П, ТО получим
/ 2п \
Р (77 D*^X)=1 — " + ^" + 1^ •(14.3.69)
Применяя формулу Стирлинга (7.6.29), находим, что
/ 2п \
lim LfLhL^+12 =(14.3.70)
71 —► со||
\ п/ и, следовательно,
lim Р(К^^<Х)=1 - e~2XS. (14.3.71)
Итак,
Если Fln(x) и F^n(x)— эмпирические к.ф.р., построенные по двум независимым выборкам объема п из одинаковых совокупностей с непрерывной к. ф. р., a D^ и D^ определены формулами (14.3.64) и (14.3.64а), то Р фп^й)п) и Рф^^— k^n) имеют одинаковые значения Pn^jV 2 п), где
( 2п
Рп\У2п)рп\(14.3.72)
\ п)
и
lim Р^ (—^) = 1 — е~2Х\(14.3.73)
Читатель должен был заметить, что Рп (к[У к\ где Рп (d) для одной выборки объема п определена в (11.6.5), имеет при п->оотот же предел, что и Р* (ХД/ п).
Переходим теперь к вычислению Рфпп^к!п). Пусть So'— множество траекторий, впервые достигающих прямой А+, и SV— множество траекторий, которые впервые достигают 17. Тогда So U SV состоит из всех траекторий, которые не лежат целиком между 1? и 17. Если обозначить через N(E) число элементов в множестве Е траекторий, то
/V(S0+ J So) = W(S0+) + ^(So-) - N(S? И SiT),(14.3.74)
где
/ 2л \
WGSV) = ^(5V) = + ^ ^ J.(14.3J5)
Далее, Sq Q Sv является объединением двух множеств S^ и St, где S^* состоит из всех траекторий, содержащих по крайней мере один
участок ломаной, идущий от L^ к L", a Sf состоит из всех траекторий, содержащих хотя бы один участок ломаной, идущий от L- к L\ Тогда
WiT Л ед = Д^ и ед = №) + ^(5г) ~ № Л ^Г)-
(14.3.76)
Рассуждения, аналогичные использованным при вычислении ^(ед и N(Sg), дают
/ 2л \
"№>=^> = („ + 2(4+1)}(^.З-77)
Если определить 5? (и аналогию Sy) как множество траекторий, содержащих по меньшей мере I участков ломаной, соединяющих £+ и L”, причем первый участок начинается на L^ (L"), то можно показать, что |
jV№U^) = 2j —^_|_2(А + 1)) + -"
/ 2л V
..• + (— 1Г1, ,, ,J , (14.3.78)
1’ \л+г (А — i)/j 4*
где г = [«/(&+1)1 — наибольшее целое число, не превосходящее ^+1)-
Так как N^Dn<n^kln) — \ ] — ^(5o иЭД, т0> деля °бе части
/2тА
равенства на I , получим
\ п)
теперь Р фП1 л ^ Л/и) при и -> со.теперь Р фП1 л ^ Л/и) при и -> со.Исследуем/ 2л \\7Z —]— I ^k —р- 1)/ выбрать целыеИсследуем/ 2л \\7Z —]— I ^k —р- 1)/ выбрать целые= gn^> ^) и k = \V^- Для любого= gn^> ^) и k = \V^- Для любогог' и И1(г\ е) так, чтобыг' и И1(г\ е) так, чтобыi2 2 (-i)^-2w|<|>=r'+li2 2 (-i)^-2w|<|>=r'+lПоложимО можноПоложимО можно(14.3.80)(14.3.80)
теперь Р фП1 л ^ Л/и) при и -> со.
теперь Р фП1 л ^ Л/и) при и -> со.
Исследуем
/ 2л \
\7Z —]— I ^k —р- 1)/ выбрать целые
Исследуем
/ 2л \
\7Z —]— I ^k —р- 1)/ выбрать целые
= gn^> ^) и k = \V^- Для любого
= gn^> ^) и k = \V^- Для любого
г' и И1(г\ е) так, чтобы
г' и И1(г\ е) так, чтобы
i2 2 (-i)^-2w|<|
>=r'+l
i2 2 (-i)^-2w|<|
>=r'+l
Положим
О можно
Положим
О можно
(14.3.80)
(14.3.80)
и
4-г'
V^D".n<V ^- 2 (-0W Ь-К^О^у (14.3.81) Z = — Г*
для п^п^г^ е). Применяя к gn(l, Х]/2л), Z = 0, zt 1, ..., ± г', формулу Стирлинга, как это уже делалось в (14.3.70), найдем, что существует значение пй(г\ е) такое,"что
I 2 (-^gnVaV^- 2 (-О^-^^у(14.3.82)
г = — г’i = — г’
при л ^>п5 (г', е).
Объединяя (14.3.80), (14.3.81) и (14.3.82), будем иметь
|p(j/"^Z>„ „<x)- V (-iye-^ |<s (14.3.83)i = — со
для zi> шах (Пр п^.
Таким образом, доказана теорема.'
Если Е1п (х) и Е^п (х) — эмпирические к. ф. р., построенные по двум независимым выборкам объема п из одинаковых совокупностей с непрерывной к. ф. р., то
/ 2n \ I /2п\
i/ Ь (14.3.84)
где г = [w/(^ + OL игде г = [w/(^ + OL и+ соь)= 2 (-1){+ соь)= 2 (-1){е-№е-№(14.3.85)(14.3.85)\Д+ ^(^+ 1)/ / \ п л 7
где г = [w/(^ + OL и
где г = [w/(^ + OL и
+ со
ь)= 2 (-1){
+ со
ь)= 2 (-1){
е-№
е-№
(14.3.85)
(14.3.85)
где Dnn определена в (14.3.55).
Читатель, конечно, заметил, что формула (14.3.85) является частным случаем (14.3.57), отвечающим выборкам одинакового объема. Отметим также, что Р ("Кп Dn < X) (статистика Dn определена для одной выборки" объема п в (11.7.1)) имеет своим пределом при п->оо (14.3.85).
(f) Критерий Манна — Уитни (Уилкоксона). Рассмотрим теперь важный в задаче о двух выборках критерий, предложенный впервые Уилкоксоном (1945) для выборок одинакового объема и распространенный на случай выборок разных объемов Манном и Уитни (1947), которые получили также некоторые асимптотические результаты.для больших выборок.
Пусть Ortl:(xp 7.., хп^ и ОПа*Лхь • ., ^2)~ выборки из совокупностей с непрерывными ф. р. Fx (х) и Е^ (х) соответственно. Опре-
^=| о,^=| о,(14.3.86)(14.3.86)(14.3.87)(14.3.87)делим множество случайных величин 2^, 5=1,..., nY; ^=1, ... ,п^ следующим образом:
^=| о,
^=| о,
(14.3.86)
(14.3.86)
(14.3.87)
(14.3.87)
и положим
па щ
U 5
7)=П=1
Таким образом, если (xv ..., хП1) и (Хр ..., х^2) совместно упорядочить по возрастанию, то U будет представлять собой общее число тех случаев, когда элементы выборки (хь ..., хп^ предшествуют элементам выборки (Хр ..., х„2). При таком упорядочении элементы каждой выборки приобретают номера от 1 до Пх-^п^ Сумма номеров элементов выборки (хп ..., хп^ обозначается через Т и называется статистикой Уилкоксона. Можно показать, что
От 1 —nvn% -j2•От 1 —nvn% -j2•(14.3.88)(14.3.88)
От 1 —nvn% -j2•
От 1 —nvn% -j2•
(14.3.88)
(14.3.88)
На самом деле Уилкоксон рассматривал статистику Т только для выборок одинакового объема.
Критерий Манна — Уитни является односторонним и основывается на статистике U. Его критическая' область Wa объема а представляет собой множество тех точек выборочного пространства, для которых (7=0, 1, ..., (7а, где Ua — наибольшее целое, для которого
РШ^Ж F^^^a.РШ^Ж F^^^a.(14.3.89)(14.3.89)
РШ^Ж F^^^a.
РШ^Ж F^^^a.
(14.3.89)
(14.3.89)
Вероятности рП1П4 (1Г) отдельных значений случайной величины U при (Д, F^ £ 50 удовлетворяют разностному уравнению
^W=7TT ’Р-и-х.^ ^-^—Рп^-х^-п^, (14.3.90)
где pOi(U)=pio(U)=l при (7=0 иро;((7)=р,о(£/) = О при (7^0. Используя это разностное уравнение, Манн и Уитни (1947) составили таблицы значений pnin2(U*) для 1 ^пх ^п^^ 8.
Вычислим среднее и дисперсию U для (Fj (х), F2 (х)) £ $ (а не только для Fx (х) = F^ (х))— это пригодится при исследовании состоятельности теста Манна — Уитни.
Имеем
^>U =^>^2 ^ = ^^2^ = 11^,(14.3.91)
6,1)6,1)
где
+ °о
а= F^tfMxy(14.3.92)
— ОО
Далее,
g^=g(S 2^=^^ + 5 g(^c)4~
Е, 7)Е, 7]В, 7), С
+ 5 ^(^l^^+S S С^Т^О)) =
Е, ч, СЕ^Е
С7) фш
= nxn%a-V-nxn0-(nx — l)Z>4-»iM”si — Oc+»iM«i- 1)(«2~ 1)«2,
(14.3.93)
где
+ 004- ОО
(14.3.94)(14.3.94)(14.3.95)(14.3.95)= $ <FX (х)У dF% (х), с = ^ (1 - Д2 (х))2 dFx (х).
(14.3.94)
(14.3.94)
(14.3.95)
(14.3.95)
Следовательно,
о2 (О = «Л [а + («1 —- 1) b + (д2 — 1) с — («! Д- «2 — 1) а2]-
Если фх, F^^^, то а = у> ^“‘’^Т и
&U=^, a^U)&U=^, a^U)Л1П8 (и,+ «2+0Л1П8 (и,+ «2+01212(14.3.96)(14.3.96)
&U=^, a^U)
&U=^, a^U)
Л1П8 (и,+ «2+0
Л1П8 (и,+ «2+0
12
12
(14.3.96)
(14.3.96)
Манн и Уитни показали, что при (Fp F2) £ ^0 статистика U распределена асимптотически по закону 7У(л^2/2, М1^.2 (zzt —|—л2 —|— 1 )/12) при больших nv и и2. Если рассмотреть отношение и/п^ то
Ц^Ы=4’ °4Ш$«0=2?пй^’ <14-3'97)
откуда с помощью неравенства Чебышева (3.3.5) можно вывести, что U
при пх оо, л2 -> оо сходится по вероятности к постоянной
I иаПкП"1
"2~’ "пп также СХ°ДИТСЯ по вероятности к -^-.
Исследуем теперь состоятельность критерия U. Пусть §“ — класс паР (Л^Ь ^з(^)) таких, что
(14.3.98)(14.3.98)а< 2 .
(14.3.98)
(14.3.98)
Можно показать, что для любой пары (Рг (х), F2 (х)) ^ § имеем ^<^4- Среднее и дисперсия статистики —— для любой пары
ф. р. из 5“ равны
\П1П2)2 ’
02 /_£.\ _ ^+I^LZzllA+l22Zz21£2H^^(14 3 99)
\Л1”2,”1”г’ 1" ’ '
откуда ясно, что при пх -> оо, п^ оо ^- сходится по вероятности к постоянной а<^у. Следовательно,
^<TtVFi> F^E^ = 1. (14.3.100)
тем самым доказана теорема.
14.3*9. Критерий Манна—Уитни состоятелен для гипотезы, <^(S«; So U 83 т. е. для проверки гипотезы (Fx, F^) £ 8о против любой альтернативы Ц\, F^ £ ^~
Случай, когда (Fv ^) ^ 8Л 8+— класс таких пар, что а>^ — сводится к рассмотренному перестановкой Fx и F^.
Если бы двусторонний тест Манн — Уитни определялся критической областью W^ состоящей из тех выборочных точек, для которых £7= 0, 1, ..., U{ п U=U\ , ..., пхп^ где U\ —наибольшее
а2 а2 а
целое число, для которого P(U^U\ | (Fv F^ £80) ^ v а> и
7/1 —наименьшее целое, для которого P{U^U\ \(FV ^CSo)^ 7 а7“
^уа, то Wa оказался бы состоятельным для проверки гипотезы №> F^ С Зм против любой альтернативы (Fv fa) С 8 \ 8> где 8^— класс всех пар непрерывных к. ф. р., для которых a = y- Заметим, что 8л не совпадает с классом пар одинаковых непрерывных к. ф. р„ a So С 8м С 8-
Метод рандомизации
В этом параграфе мы рассмотрим процедуру, известную под названием метода рандомизации для построения тестов некоторых непараметрических гипотез. Имеются два типа критериев рандомизации: критерии рандомизации компонент и критерии ранговой рандомизации. Остановимся на них вкратце, отсылая читателя за дальнейшими подробностями к работам Фрезера (1957), Гофдинга (1948а), Лемана (1959), Лемана и Стейна (1949).
Рандомизация компонент. Метод рандомизации компонент предложен Фишером (1926b). Он принципиально прост, но технически сложен в применении к конкретным задачам, кроме случаев малых выборок. В своей простейшей форме на примере одной выборки метод рандомизации компонент состоит в рассмотрении п\ точек, получаемых из выборочной точки (^, ..., х^ всевозможными перестановками компонент. Если (хх, /*., хп) имеет плотность f(xv ...,xj> то, исключая случай нулевой вероятности, эти п\ точек будут различ-
ними. Обозначим множество п\ точек через S’. Если н. в. /0 (л^,..., хп) — симметричная функция хь ..., хп, то для любой перестановки Вь ..., L чисел 1, ..., п
где 2* означает суммирование по всем перестановкам чисел 1,...,/ъ Если /i (хь ..., х^ — альтернативная п. в., то
рАх^ (14.4.2)
Предположим, что Wa — наиболее мощный тест объема а гипотезы f0(xv ..., х^ против /1(х15 ..., х^, и пусть для простоты а кратно 1/zzL Тогда для данной выборочной точки критическая область W^ должна представлять собой множество д!а точек S’, для которого ^(^al/i) максимальна. Такой тест существует и единствен, если значения рх в п\ точках множества S’ различны, или, более общо, если существует точка из S, в которой значение рх не больше значений рх в (и! а— 1) точках S и больше значений рх во всех остальных точках S. 1
Заметим, что при проверке гипотезы /0 (хр ..., х^ против j\^xv ..., х^ где fi(xv ..., х^ также симметрична по xv ...,хт мощность теста Wa равна его объему, так что в этом случае критерий U^ бесполезен.
Выше мы- по соображениям простоты обсуждали идеи метода рандомизации компонент для случая одной выборки (хъ . ..,хл). Однако наиболее интересные и важные обобщения этих идей получаются в задачах о двух или нескольких выборках, планирования экспериментов, о многомерных выборках. Но во всех этих задачах встречаются значительные технические трудности при строгом проведении метода рандомизации компонент, кроме случая выборок очень малого объема. По существу, эти трудности состоят в вычислении функции вероятности pt при альтернативной плотности fx и выборе требуемого множества из д!а точек S’ для построения Wa. Чтобы преодолеть их, отказываются от строгого применения метода рандомизации компонент и. привлекают для построения критической области U7a тестовые функции g(xb ..., хп) из параметрической теории проверки гипотез. Исследуют моменты и асимптотические (в больших выборках) свойства распределений этих тестовых функций на пространстве перестановок S компонент выборки, при нулевой гипотезе и в некоторых случаях при альтернативе. Затем критическая область UZa в пространстве S строится из тех точек, в которых значения g лежат в некотором интервале или множестве.
Невозможно рассмотреть все полезные критерии рандомизации компонент. Достаточно привести два примера.
Примеры критериев рандомизации компонент. Самым первым критерием рандомизации компонент был критерий Фишера —- Питмэна для проверки гипотезы о том, что две выборки извлечены из совокупностей с одинаковыми средними, против альтернативы, согласно которой средние значения не равны. Этот критерий рассматривался впервые Фишером (1926b) для специальной задачи; более общее его исследование проведено Питмэном (1937b).
Пусть Оп/.^Хр . .., хЯ1) и Оп^х’р ..., ^2) —две независимые выборки из совокупностей с непрерывными ф. р. Объединим эти выборки в одну и через 3^, обозначим произвольную перестановку nY-^-n^ компонент объединенной выборки. Пусть J и $-— выборочные среднее и дисперсия выборки (j/b ..., ^П1\ а у и s'" — те же характеристики выборки (^Л1 + ь ..., ^ч-пД В качестве тестовой функции критерия принимается
^Оь^ОьJ^i 4-лз)J^i 4-лз)thru (у—у'У
^Оь
^Оь
J^i 4-лз)
J^i 4-лз)
(«1 + «2> К«Х — 1) SS + («2 — О S'2] + «1«2 (У ~УУ '
(14.4.3)
Если известно, что обе выборки извлечены из нормальных совокупностей с одинаковыми дисперсиями, то gtVi, ..., З^Н-^) имеет вид ^/(^"Н^з — 2 + ^)» где t — дробь Стьюдента для гипотезы о том, что выборки извлечены из одинаковых нормальных совокупностей.
Питмэн вычислил четыре первых момента условного распределения g^v ..., Ущ-vn^ при заданных j/i, ..., з/Я1+Л2, на множестве всех перестановок элементов yv .. .,з/Л14-Л2. Так как знаменатель выражения (14.4.3) постоянен на множестве всех перестановок^, ... >yni-v^ достаточно рассматривать только числитель g, который принимает самое большее ^-^n^ различных значений в соответствии с числом различных способов разбиения множества ^-[-^2 элементов на два подмножества, содержащих пх и п^ элементов. Питмэн показал, что это условное распределение g приближенно есть бета-распределение Ве^у, у(^1 + ^2 — 2)). В том случае, когда обе выборки извлечены из одинаковых нормальных совокупностей, безусловное распределение g есть в точности Ве^у, y^i + ^a — 2)). Критическая область Wa имеет вид g^g^ где P(g^>gtt) = ^ приближением к ga может служить верхняя ЮОа-процентная точка распределения Ве^, ^Х Х(Л1-|"Л2— 2)). Разность между средними значениями выборок Ощ и Оп, значима при 100 a-процентном уровне значимости, если g(xx, . • ..., xnv хх, ..., xn^^> ga* Вальд и Вольфовитц (1944) рассматривали асимптотическое распределение g при больших значениях пх и п^ данное ими доказательство эквивалентно доказательству того, что
выбор в качестве ga верхней 100 a-процентной точки распределения Ве(4"> 4" (Л1 + п*— ^ асимптотически правилен при больших пх-\-п^.
В качестве второго примера критерия рандомизации компонент мы рассмотрим стандартный тест в Модели I дисперсионного анализа для проверки гипотезы об отсутствии эффектов по столбцам в таблице из г строк и s столбцов (см. § 10.6) в предположении, что наблюдения в каждой строке образуют выборку объема s из совокупности с непрерывной к. ф. р., а к. ф. р., отвечающие различным строкам, одинаковы с точностью до средних. Если (х$^, 5=1, ..., г; т]=1, ..., $) — выборка, то рассмотренная Уэлчем (1937) и Питмэном (1938) тестовая функция естьу _ ^2
^({ })’ (14А4)
где ^ обозначает суммирование по В=1, ..., г; ц=1, ..., s, ^., х.^— средние значения £-й строки и ?]-го столбца матрицы П^Ц, х— среднее значение всех rs наблюдений. Питмэн вычислил четыре первых момента g при всевозможных перестановках внутри столбцов и показал, что распределение g удовлетворительно аппроксимируется бета-распределением Be ^~(5 — 0» у ^г “ ^^ — ^)’ которое является точным распределением g в нормальной теории, в предположении об отсутствии эффектов по столбцам, как было показано в §10.6 (а). Критическая область Wa состоит из тех точек в пространстве перестановок, для которых g"> ga, где Р(^)>^а) = а. Приближенно за ga можно взять верхнюю 100 a-процентную точку распределения Be^4"(s—О’ ^(г—0(5—о).
Арнольд (1958) обобщил критерий рандомизации на случай, когда — вектор и s = 2. Критерий тогда эквивалентен отношению 72 Хотеллинга для двух выборок, введенному и рассмотренному в главе 18. Уэлч (1937) использовал метод рандомизации компонент при исследовании критерия в Модели I дисперсионного анализа для латинских квадратов.
Гофдинг (1952) предпринял изучение мощности критериев рандомизации компонент (в том числе и рассмотренных нами выше) для больших выборок и показал, что эти критерии асимптотически столь же мощны, как и соответствующие параметрические критерии.
Критерии ранговой рандомизации. Метод рандомизации компонент, строго говоря, не является непараметрической процедурой, так как тестовые функции и их распределения, при рандомизации компонент, зависят от значений компонент выборки (а не только от отношений порядка между ними). Однако можно хдобиться непараметрич- ности, используя критерии ранговой рандомизации. В этих критериях
472 ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ СТАТИСТИЧЕСКИХ ГИПОТЕЗ [ГЛ. Ц фигурируют только отношения порядка между компонентами выборки, а не сами компоненты. Если xv ..., хп — компоненты /z-мерной слу. чайной величины с непрерывной к. ф. р. F (х^ ..., х^, то рангами аь ..., ап компонент хъ ..., хп соответственно называются номера! (индексы) этих компонент при расположении их в порядке возрастания. Таким образом, а^— индекс В-й по величине компоненты среди (х^ ..., х^. Набор ^аъ ...,а^ является перестановкой чисел 1,...,я. Обозначим пространство п\ перестановок чисел 1, ..., п через Л Всякая точка (хъ ..., х^ выборочного пространства Rn, для которой х^ <Л..<^х5 , отображается в точку (q, ..., Вл) пространства У. Если к. ф. р. (xv ^n) ^(хй ..., х^ симметрична относительно своих аргументов, тоi
Ро^ь U = ^(14.4.5)
для каждой точки S'. Читатель помнит, что согласно (14.4.1) p0(xq,... ..., х^ | S) представляет собой условное распределение при данных (хъ ..., хп). Распределение рангов /^ь ..., сл), однако, не является условным распределением. Если F^ (хь ..., х^ — произвольная непрерывная /z-мерная к. ф. р., то распределение вероятностей/q (£ь ..., £л) задается формулой
Pi 6U= $ ^(А. .... х„),(14.4.6)
где Еп — область х,.
Задача построения из точек S' критической области W» для проверки гипотезы Fo против альтернативы F^ вполне аналогична задаче построения из точек S критической области Wtt для проверки гипотезы /0 против альтернативы /ь которая рассматривалась выше. Но критерий Wa не зависит 'от наблюденных значений (хъ ..., х^ как это было для Wa. В этом смысле Wa является критерием, непараметрическим в более точном смысле слова, чем Wa. Конечно, если и F^ и Ft симметричны по своим аргументам, то мощность W'a равна его объему. Как и в методе рандомизации компонент, имеются существенные технические трудности построения W» при строгом следовании принципам ранговой рандомизации. Чтобы добиться успеха в теории крйг териев ранговой рандомизации, нужно использовать тестовые функции h(av ..., а^ определенные на 8\ из аналогичных параметрических задач проверки гипотез. . х
Хотя разработано значительное число тестов ранговой рандомизаг ции, мы рассмотрим только три примера.
Примеры критериев ранговой рандомизации. Критерий Уил- коксона Т, определенный в (14.3.88), является критерием ранговой рандомизации для гипотезы Sf ^>^\ о®), где q^ (нулевая гипотеза) — класс непрерывных и симметричных (п^ + л2)-мерных к. ф. р. вида F (хО... F^Xn^F^x^ ... F(x„2), a g^ — класс непрерывных (nv + ^ мерных к. ф. р. вида F^ (х^... Ft (хЛ1) F3 (х3)... F3 (хЛ2) с а <2^>
а определена в (14.3.92). Если обозначить хь ..., хпр х[, ..., Хпй через _У1, ..., „Ул^лг и через аъ ..., аПх^Пй— ранги компонент^,... ..., З/л^лг, то статистика Уилкоксона Т есть просто
Л1
A(aiа„1+„2) = 2а/.(14.4.7)
Другой пример критерия ранговой рандомизации доставляет коэффициент ранговой корреляции. Пусть (хъ у^ х* У-ь • •; -^лЛ) — выборка объема п из совокупности с непрерывной к. ф. р. F(x, _у). Пусть аъ ..., ап — ранги хь ..., хп и Ьъ ..., Ьп — ранги уъ -..^п- Проверяется гипотеза о^ (о^; ^), где 53— класс непрерывных 2д-мерных к. ф. р. вида F(хг, ^ ..., F^xw у^, а о^ (нулевая гипотеза) — подкласс 53, для которого F(х^у^ = F^x^ F^ (j/£), $ = 1,..., п, , и Fx^x\ F^{y) — непрерывные к. ф. р. Для проверки гипотезы 5Г (о^; о®) используется ранговая статистика g(ab .;., ап, Ьь ..., Ь^> представляющая собой обычный коэффициент корреляции R между двумя множествами рангов. Хотеллинг и Пэ^ст (1936) изучали распределение R при нулевой гипотезе и показали, что распределение VnR ПРИ я->оо стремится к нормальному распределению ^(0, 1). Олдс (1938) составил таблицы точного распределения величины 5, связанной с R соотношением
R=1(14.4.8)
и8 — пv '
Если критическая область Wa критерия R берется в виде R2 ^ Rl> где R^ — наименьшее целое, для которого Р (R* ^ RI') ^ а, то, как показал Гофдинг (1948b), этот критерий не будет состоятельным для проверки гипотезы о/8 против альтернатив из 5В\о^.
Гофдинг (1948b) построил критерий ранговой рандомизации, который состоятелен для проверки определенной выше гипотезы 5^iC(s^; 53). Статистика этого критерия имеет вид
В = ^~5^ [Л —2(я —2)В + (га —2)(л —3)С],(14.4.9)
где
п
A-^a^-V)^- О,п
В=£ (а — !)(6 — 1)г(14.4.10)
С=5с (с -1)
и ^ — число выборочных пар (л^, J/^), (хч, j/^), для которых Хч <^ х^ И V V
Статистика D является несмещенной оценкой величины
Д = S S [F(x, j/)— F(х> °°) F(°о, j/)]2dF(х, j/), (14.4.11) — ОО —ОО
дисперсия которой при нулевой гипотезе равна
а2 тл = (14 4 12)
8100л (л—1) (л —2) (л—3)’
Голдинг вычислил о2 (О) также для распределений из е®\^ и доказал, что его тест несмещенный.
Важные тесты ранговой рандомизации для проверки различных гипотез дисперсионного анализа построили Фридман (1937), Кендалл и Смит (193 9), Краскел (1952), Уоллис (193 9), Уормлитон (1959). Эндрюс (1954) исследовал мощности некоторых из этих критериев в больших выборках.
ЗАДАЧИ
Пусть ^0— класс всех непрерывных к. ф. р., у которых квантили порядков р^ р^ ..., рк равны соответственно х01, х02, ...» х0^, 0=^0<Р1< т< ... <Pk <Pku = 1; ^ — класс всех непрерывных к. ф. р. Обозначим через 1,/2,...,/д+1 интервалы (— оо, х01], (xOi, х02], ..., (хоЛ, +оо). Рассмотрим тест U7a, задаваемый критической областью
&Н-1
п (Pi’
i — 1
где nu ..., n^+i (ni + • • - + ^л+i = n) — числа элементов выборки объема л, попавших в интервалы /п ..., /А+1 соответственно. Показать, что U7a — состоятельный критерий объема а гипотезы ^(^0; ^), если ^/?, а выбрано так, чтобы Р(Х2>Х^ а) = а, где случайная величина X2 имеет распределение С (k).
Пусть ^0,р — класс всех л-мерных к. ф. р. вида Л (xt) Fs (х2) • •• ... РДх^ где РДхОр) = ..* = Fn(xop)=p, а ^р —класс всех л-мерных к. ф.р. вида Ft (xj Fa (х2)... Fn (хп^ где РДх^—рр £=1, ..., л, и lim (^ + ... ...-Vp^ln —Р* ФР* Обозначим через г число компонент л-мерной случайной величины (хп ..., хл), принадлежащих интервалу (—оо, хор], и определим Wu формулой (14.1.2). Доказать, что Wa— состоятельный тест объема а гипотезы Ж $>^ ^pY
Проверить формулу (14.2.12).
Вывести из (14.2.12), что
« / sA р^Рlimg —\т) i!
при т —> оо, л —> оо и л/m —> р > 0.
Показать, что определенная в § 14.2 (с) случайная величина st при т~»-оо, л->оо, л = рл14-0(1), р>0, асимптотически распределена по закон)
N (тре-Р, тре~Р (1 — е~Р — р^-р))«
Показать, что коэффициент при Ло°^п в (14.2.15) совпадает с коэффициентом при Ло°у” в (14.2.16). '
Доказать (14.2.24).
Доказать, что если (г*, ..., г^) — любые 1 из случайных величин (гп •♦•>#*/) с распределением (14.3.7), то их распределение дается формулой (14.3.8).
Проверить (14.3.13).
Проверить (14.3.14).
Вывести из (14.3.14), что
Ит^(^а) = (гД)ж
при П1 —> ОО, И2 -> °^> njn2 —> р > 0.
(Продолжение). Показать, что при том же предельном переходе
\«1+1| / J [l+PS'^)^1]о
Пусть в ситуации теоремы 14.3.1 mi обозначает число элементов выборки Oni) превосходящих ^, t = l, 2. Доказать, что функция вероятности (mn ms) дается формулой
Р (mt, т3) = 121Т 2 ,
\т1/ \тд I \ к / где тп т2— неотрицательные целые числа, для которых*т^-^^ = ^1 + +п2—-а [Муд (1954)].
Пусть Sx — класс всех пар непрерывных к. ф. р. вида (F (х), F (х— 6)), a So— класс всех пар одинаковых непрерывных к. ф. р. Доказать, что критерий Манна — Уитни состоятелен для проверки гипотезы So против любой альтернативы из Si, для которой В>0.
(Продолжение). Если (х(1), ..., х(П1)) и (х^, ..., х’^) — порядковые статистики независимых выборок объемов nv и п2 из совокупностей с к. ф. р. F (х) и F (х — В) соответственно, то докажите, что
г—1
Следовательно, при г < s и г' > s' интервал (х^ч-х^у х’^ — х(г^) будет ЮО^-процентным доверительным интервалом для В, где
[Муд (1954)].
Проверить (14.3.78).
Проверить (14.3.88).
Вывести разностное уравнение (14.3.90).
Проверить (14.3.93).
Показать, что ^D = ^t где D определено формулой (14.4.9), а Д— формулой (14.4.11).
Задача Бертрана (1887) о баллотировке. Пусть в урне находится Nt бюллетеней, поданных за кандидата Л, и N2 баллотировочных бюллетеней за кандидата В, NL > N2. Предположим, что бюллетени извлекают по одному, и обозначим через ^i разность между числом голосов, набранных кандидатом Л, и числом голосов, набранных В, после подсчета i бюллетеней. Если все возможные + (различных) способов извлечения бюллете-
ней равновероятны, то докажите (используя методы, аналогичные употребля* вшимся в § 14.3(c), что с вероятностью (Nt—АГ8)/(Л^1 + АГ8) кандидат А при подсчете голосов был все время впереди В (т. е. все _уп ... , ^^^ положительны).
27VX N)27VX N)(Продолжение). Предположим, что Nx = N2 = N? тогда ^v=0.
27VX N)
27VX N)
РассмотримРассмотримломаныхломаныхпутей,путей,связывающих точки (0, 0) и (2N, 0), при
Рассмотрим
Рассмотрим
ломаных
ломаных
путей,
путей,
чем отрезки этих ломаных соединяют последовательно точки (0,0), (1, yj,.., ... , ,(2Af, 0) плоскости (х, у). Отметим, что число отрезков каждой такой ломаной, лежащих над (или под) осью х, четно. Доказать, что число ломаных, у которых 2п отрезков лежат над осью х (и 2N—2п — под осью х), равна
и, следовательно, вероятность того, что -^-я часть ломаной лежит над осью х, есть
^(«) = Aqrf. « = 0, если все ломаные равновероятны.
Распределение лидерства при бросании монеты. [Чжун и Феллер (1949)]. Обозначим через у; (случайную) разность между числом выпадений герба и числом выпадений решетки при I первых бросаниях монеты. Рассмотрим ^N возможных ломаных путей, образованных отрезками, соединяющими последовательно точки (0, 0), (1, у^), ... , (2^ У^* Показать, что число ломаных, у которых 2п отрезков лежат над осью х, есть
(2n\/2N—2п\\п)\ N—п ]
и, следовательно, вероятность того, что —я часть ломаной расположена над осью х, равна
(2п\2п\ /л
\ п /\ N—п /I
в предположении, что все пути равновероятны (т. е. все 2N бросаний монеты независимы).'
(Продолжение). Первый закон арксинуса [Чжун и Феллер (1949)]. Используя формулу Стирлинга, показать, что предельная к. ф. р. и(п) случайной величины ^ при N—> со равна
2_
G (и) = — arcsin ^ и.
Заметим, что плотность предельного распределения q (и) = 1/[л Vи (1 —и)1 имеет U-образную форму, причем значения на концах интервала (0, 1) бесконечны. Это свидетельствует о большей вероятности того, что относительно большая или малая часть ломаной лежит над осью х, по сравнению с вероят*
ностью того, что близкая к -~ часть ломаной лежит над осью х.
ГЛАВА 15
ПОСЛЕДОВАТЕЛЬНЫЙ
СТАТИСТИЧЕСКИЙ АНАЛИЗ
Предварительные замечания
Во всем круге вопросов, рассматривавшихся в главах 8—14, объем выборки предполагался фиксированным. Соответствующие теории включали вычисление распределений некоторых статистик, т. е. функций от элементов выборки при заданном объеме выборки. Исследовалось также предельное поведение этих распределений при стрем-' лении объема выборки к бесконечности. По существу, ни одна среди изложенных в главах 8—14 теорий не рассматривала ситуаций, в которых объем выборки сам является случайной величиной. Но в главах 6—7 мы встретились с распределениями времени ожидания, где число испытаний, требуемых для достижения некоторой цели, оказывается случайной величиной. Схемы, приводящие к этим распределениям времени ожидания, представляют собой примеры простых статистических процедур последовательного типа'. Данная глава посвящена преимущественно критериям статистических гипотез, хотя приводятся также и некоторые результаты о последовательном оценивании.
Излагаемые результаты имеют первостепенное значение для проверки простых гипотез. Некоторые факты, касающиеся проверки сложных гипотез, можно найти в книге Вальда (1947а), а более поздние результаты — в статьях Барнарда (1952) и Кокса (1952). Дэвид и Краскел (1956) и Раштон (1950, 1952) изучали последовательные ^-критерии.
Основная идея последовательного критерия принадлежит Доджу и Ромигу (1929), которые предложили схему двойной выборки для вынесения решения: принять или отвергнуть партию из N изделий, содержащую неизвестное число N^ дефектных изделий, где 9 кратно 1/7V, 0 ^ [0, 1]. В схеме Доджа — Ромига из партии изделий производится выборка объема пх и затем принимается одно из трех решений, в зависимости от числа тх дефектных изделий в выборке:
Принять партию, если тх ^ сх.
Н) Отвергнуть партию, если тп\^>с^
Извлечь вторую выборку объема n^v если cx<jnx^c^
Если принято решение iii), то в зависимости от числа т^ дефектных изделий во второй выборке выносится затем одно из двух решений:
Принять партию, если тх-\-т<а^с^
Отвергнуть партию, если тх + пц > с^
Двойной выборочный план полностью определяется указанием четырех чисел: nv п^ сь с2. Ясно, что суммарный объем выборки есть случайная величина п, принимающая два значения: пх и пх-Цгп^. Детальное рассмотрение простого и двойного выборочного планов содержится в книге Доджа и Ромига (1959).
Чтобы показать, что двойной выборочный план вместе с правилом- принятия решения, связанным с ним, представляет собой статистический критерий, достаточно просто заметить, что партия отвергается тогда и только тогда, когда значение двумерной случайной величины (/^ь т^ попадает в критическое множество W—Ex IJ Е*. Здесь Ех— множество точек выборочного пространства случайной величины (znb т^, для которых тх )> с2, а £2 — множество точек, для которых. ^1 < тх ^ сг и тх + т^ ^> ^з- Вероятность Р (№| 6) отвергнуть партию, когда* доля дефектных изделий в ней равна 6, может быть без особого труда записана с помощью гипергеометрических распределений. Как функция 9 P(U7|9) есть функция мощности критерия W. Если положить
2,(9) = Р(Йф),
то L (6) будет вероятностью принять партию, доля дефектных изделий в которой равна 6. Пользуясь обозначениями и терминологией из Исторического замечания в § 13.1, мы скажем, что партия изделий' принадлежит зоне предпочтения, если 9^9О, зоне безразличия, если 6О<^9<^91, и зоне отклонения, если 9^9Ь При заданных значениях риска производства а (риск ошибки 1-го рода) для 9 = 9О и риска потребителя р (риск ошибки 2-го рода) для 9 = 9! имеем
2,(9О)=1—а, 2,(9^ = ^,
причем на практике обычно выбирают а и р в интервале [0, 01; 0, 10]. Кривая оперативной характеристики, т. е. график функции 2,(9), проходит через точки (0, 0), (90, 1 —a), (9t, Р) и (1, 0).-
Идея последовательной процедуры в более развитой форме принадлежит Бартки (1943), который обобщил понятие двойной выборки до понятия многоступенчатой выборки и распространил его на бесконечные партии с неизвестной долей дефектных изделий 9. Другие ранние примеры математического изучения многошаговых процедур включают последовательность выборочных переписей участков, занятых под джутом в Бенгалии, осуществленную под руководством Махала- нобиса (1940), предложенные Хотеллингом (1941) последовательные эксперименты для нахождения максимума линии регрессии, методы стохастической аппроксимации Диксона и Муда (1948). Однако значительная часть работы пришлась на долю Вальда (1945), сделавшего главный шаг на пути построения общей теории последовательного анализа, каким мы его знаем в настоящее время. В этой главе мы даем только краткий обзор основных результатов последовательного анализа, принадлежащих в основном Вальду. Читатель, интересующийся дальнейшими деталями, должен обратиться к книге Вальда (1947а)-
Более современные исследования процедур последовательного типа имеются в статьях Дворецкого, Кифера и Вольфовитца (1953а, 1953b), Кифера (1948, 1953, 1957), Кифера и Вольфовитца (1952), Роббинса (1952), Роббинса и Монро (1951) и других.
Основная схема последовательного критерия
Описание событий, встречающихся в последовательном критерии. Изложенная выше схема двойной выборки Доджа — Ромига подсказывает основную структуру общего последовательного критерия. Пусть имеется случайный процесс (хъ х^ ...), зависящий от вещественного параметра 9; это означает, что каждое конечное множество величин хъ х^ ... имеет к. ф. р., зависящую от 9, пробегающего параметрическое пространство 2. Таким образом, для п = 1, 2,... (хъ ..., х^ имеет к.ф.р. F^xv ..., х^ 9). Рассмотри^ сначала простую гипотезу ST (90; 2) (короче, е%^0Х согласно которой 9 = 9О.
Пусть R^\ ..., R^ — выборочные пространства величин xv ..., хп соответственно; обозначим через Rn — R^ X • • • X Ri^ выборочное пространство величины (хъ ..., х^. Положим также RCO = R^X XR^X--
Для каждого целого положительного п пусть О„, Gm Gn— дизъюнктные события в Rn такие, что
Gn и & и Qn = Qn-1 X R^. (15.2.1)
Последовательный эксперимент начинается с наблюдения над
xt; при-
нимаются следующие правила остановки или продолжения эксперимента:
Еслиxt ^ Ор
то принять г%^0 без дальнейших наблюдений,
то отклонить ^"0 без дальнейших наблюдений,
(15.2.2)
•^i Ov
•^1 С ^1>
Если (xj, х2) £ G^
то произвести наблюдение над х^. то принять ^ о без дальнейших наблюдений,
то отклонить ^0 без дальнейших наблюдений,
(15.2.3)
(Хр Хэ) ^ 02,
(хр ^О £ Q^ - то произвести наблюдение над х^
и, вообще, если
(Хр..., хп) £ G°n, то принять о^о без дальнейших наблюдений, (хь ..., х^ ^ Gfn) то отклонить е/^о без дальней
ших наблюдений,е _ .,
(15.2.4)
(хъ ..., хп) £ Gn, то произвести наблюдение над 4
п=1, 2,...
Условимся называть Gv G^ ... последовательностью событий, про-, должаюшдх эксперимент.
Отметим, что GJ,...» Gn-V GJ,..., Gn-y суть цилиндрические множества в R^; далее, (2л-|-1) событий Op..., Qn_v @v-»> Qn-v Gn, G'n, Gn дизъюнктны и
g;u--ug»uo;u--.u^ug«=^(15.2.5)
При любом целом положительном п множества Ор ..., G°n, Gy ..., Q^ Gn цилиндрические в R^ и их объединение совпадает с R^.
События Op..., Gn, GJ,..., Gn, Gn, п=1, 2,..., вместе с заданным формулами (15.2.2), (15.2.3) и (15.2.4) правилом принятия решения определяют последовательный критерий S гипотезы 0. Критической областью Wa является множество GJ Q GJ IJ ..., где Ор GJ,... выбраны так, чтобы P(U7a 190) = а. Процедуру построения шаг за шагом последовательного критерия S мы будем называть последовательным процессом для S.
Стоит отметить, что всякий тест гипотезы 0%^0, построенный по выборке фиксированного объема п и задаваемый критической областью W, можно рассматривать как вырожденный последовательный тест, в котором Gp..., Сл_р GJ,..., G^-p Gn суть пустые множества, a (jn=^ Q*n=W.
Вероятности, связанные с последовательным критерием.
Вероятности принять е^о, отклонить о^о, произвести наблюдение: над хплЛ после наблюдения над хп равны соответственно
^№16), Р(СЛ|9), P(GJ9).(15S.6)
Мы уже отмечали, что события Gp..., Ол, Gy..., G’m Gn дизъюнктны и их вероятности являются функциями параметра 9. Положим
Л„(6)=Р(О;|6)+ ...4-p(o;|6), m„(9)=p(g;|6)+ ... +p(g;|6),(15.2.7)
7V„(9) = P(G„|9)
И
L^= lim £Л(6) = Р(С°|6),
Л —► co
Л4(9) = lim Жл (9) = P (O'| 9),(15.2.8}
n->oo
W) = lim Nnk4n-*co
где Q° = GJ (J GJ 1J ... и G' = GJ (J G^ (J ... Эти пределы существуют, поскольку функции Ап(9), Жл(9), Nn($) неотрицательны, Ln $) и 2ИЛ(9) неубывающие ио /1=1^2,... и /»л(9) + Л4„(9) + А^(9) = 1. Величины L (9') и М (9') представляют собой вероятности принятия и отклонения гипотезы е^о, когда истинное значение параметра 9 есть ^. Функция параметра 9 L (9) называется оперативной характеристикой
последовательного критерия 5. N(6) есть вероятность того, что последовательный процесс для 5 продолжается бесконечно. Равенство ^(9) = О означает, что этот последовательный процесс с вероятностью 1 оканчивается в конечное число шагов. Очевидно, что
L (0) + Л4 (9) + N (9) = 1.(15.2.9)
Если положить Gn — Qn U ^ и
p(n\9) = P(G^\(15.2.10)
то p^\6") будет вероятностью того, что последовательный процесс для 5 заканчивается (принятием или отклонением гипотезы о?^0) после п наблюдений, когда истинное значение параметра есть 9.
Если последовательный процесс для 5 с вероятностью 1 длится конечное число шагов, т. е. если N(9) = 0, то среднее число наблюдений до окончания процесса равно
ОО
■№й)=^р(^(15.2.11)
t=A
и, конечно, является функцией 9. В последовательном анализе $(я|9) обычно называют средним объемом выборки. Для вырожденного последовательного теста, т. е. теста, построенного по выборке фиксированного объема п, имеем
& (zz | 9) = zz.
Заметим, что поскольку т
Ш\^УМ\^тР1От\Уу
t = \
пг—Х, 2, ..., то условие lim /пР(От[9) = 0 необходимо для конеч- т-* оо
ности среднего объема выборки.
Для случая независимых случайных величин с одинаковыми (и конечными) средними значениями имеется следующая общая теорема относительно g(zz | 9), принадлежащая Вальду (1945) и Блекуэлу (1946).
2.1. Пусть (хь х^ ...)— последовательность независимых случайных величин, распределения которых зависят от параметра 0 и имеют одно и то же (конечное) среднее значение g (х |9), a S—последовательный критерий, для которого g(n|9) конечно. Если ^4- • • *4- хп — сумма случайных величин, наблюдения над которыми предшествовали окончанию последовательного процесса, то
g(^i + ... + ^|9) —g(^|0)g(/z|9).(15.2.12)
Для доказательства теоремы 15.2.1 заметим, что
$ (^1 +... + хп I 6) = gx, 4- g (х. I x^Q^P (^ I 6) +
+ S (-Уз I to, ^ E 00 P № I 8) + • • - (15.2.13)
16 С. Уилкс
где множества Gb О2, ... определены в (15.2.4). Так как случайные величины xt, xit ... взаимно независимы и средние значения этих величин равны g(x|9), то (15.2.13) сводится к
^(^i + ^ + --- + ^I6) = 8(^|9)[1+P(G1|6) + P(G2|6) + ...].
(15.2.14)
Пусть G^ = G^U G«> п— 1, 2, ... Поскольку 0^, ..., G^, 0„ при каж- дом п дизъюнктны в /?со и сумма вероятностей этих событий равна 1, а условие &(я|9)<^оо влечет за собой Д/(9) = 0, то
1 = £P(Gz*|O),
P(G(|6) = £ Р(°^19)>< = 1,2,...(15.2.15)
Подставляя значения P(GJ9) в (15.2.14), получим
g(^ + ^ + --- + ^|9) = §(^|9) 2 ^(W), (15.2.16) / = 1
что как раз совпадает с (15.2.12). Доказательство теоремы 15.2.1 завершено.
(с) Критерии для выбора последовательного теста. При формальном определении последовательного критерия мы не налагали никаких ограничений на множества Gn, G’n, Gn, кроме естественных: при каждом п Gn, Gn, Gn должны быть дизъюнктными множествами, удовлетворяющими условию (15.2.1). При построении последовательного критерия S одна из основных задач состоит в выборе множеств Gn, Gn, Gn. Очевидно, естественным требованием к последовательному критерию S — и мы будем налагать его всегда — является окончание последовательного процесса для S с вероятностью 1 за конечное число шагов, т. е.
^(0) = O.(15.2.17)
Как и во всех статистических критериях, другое желательное условие фиксирует заранее вероятность ошибки 1-го рода, т. е. величину
Ц90)=1—а.(15.2.18)
При сравнении двух последовательных тестов (как и в случае тестов, построенных по выборкам фиксированного объема) используют также вероятность р ошибки 2-го рода для некоторого значения 6 = 6р
£(61)=₽.(15.2.19)
Будем обозначать через е%^0 гипотезу 6 = 9О и через е%^t — гипо- тезу 9 = 61е
Условия (15.2.17), (15.2.18) и (15.2.19) дают
Л4(90) = а, ^(90=1— р.(15.2.20)
Если 90<9i, т0 подмножества параметрического пространства 6^9О, во^®^®!» 9^91 называются соответственно областью принятия, областью безразличия и областью отклонения гипотезы е%^0. В случае во/*®! эти области строятся аналогично.
Типичный вид графика функции А (9) при условиях (15.2.17), (15.2.18) и (15.2.19) показан на рис. 15.1.
Последовательный критерий, для которого - L (9) удовлетворяет условиям (15.2.18) и (15.2.19), называется последовательным критерием силы (а, 90; р, 6^.
Если St и S2— два последовательных критерия, оперативные характеристики которых АД9) и А2(9) таковы, что Ai(90) = A2(90) = = 1 — a, Ai (ЭЛ <^ L^ (92), то говорят, что Si сильнее S2 для проверки о%^0 против о$г р Если Si сильнее всех последовательных критериев S2, то говорят, что Si имеет максимальную силу.
Если средние объемы выборок $1 (п 19) и g2 (л 19) двух последовательных критериев Si и S2 одинаковой силы удовлетворяют условию
©1 (^ | 6) g2(n | 9), 9 = 9О, 9П(15.2.21)
и знак равенства не имеет места одновременно для 90 и 9Ъ то Si считается предпочтительнее S2 для проверки 0%^ против о^.
Если (15.2.21) имеет место для всех критериев S2, отличных от5ь то Si = S* называется критерием максимальной эффективности. В §15.4 мы покажем, что такой последовательный критерий S* может быть построен с помощью метода, основанного на отношении вероятностей.
16*
Декартовы последовательные критерии
Описание и свойства критерия. Прежде чем переходить к наилучшему последовательному критерию, полезно уяснить главные идеи на примере простого, хотя и не очень эффективного критерия, основанного на биномиальном распределении времени ожидания (6.5.15). Пусть (xb Хо, ...) — последовательность независимых случайных величин, имеющих одну и ту же к.ф.р. F(x;9).
Рассмотрим следующий последовательный критерий S для проверки ^^0 против р Пусть GJ, Gq, Go — дизъюнктные исходные множества, объединение которых дает всю вещественную ось, и Q*m Q'n, Gn— множества GJ, Gq, Go на Ryn\ n—1, 2, ..., где R^— выборочное пространство величины xn, п=1, 2, ... Тогда задаваемые в (15.2.4) дизъюнктные множества Gy, ..., С°П) Ор ..., Од, Gn можно строить таким образом:
q;={xi^g<,)},
Gg = {(Xl х2) ^ G(i) X 0(3)},/ = =>',
(15.34)
Од = {(^,х„)СЦ1)Х-..Х0(л_1)Х^)}>1 =
Од = {(^i, • • •, ^д) £ 0(1) х • • • X i-i(n)}‘
Таким образом, последовательный процесс для S состоит в том, чтобы проводить по одному наблюдению в единицу времени над величинами (хр х^ ...) до тех пор, пока одна из них не попадет в множество Gq [J Qg вещественной оси. Если результат наблюдения ока* зался принадлежащим множеству Op (Go), то принимается гипотеза е^о (о^!). Условимся называть такой критерий декартовым последовательным критерием.
Положим„
а(9)= $ <ZF(x; 6), °0
b^=\ dF(x; 6),(15.3.2)
с(9)= J dF(x- 9)=1 — а(0) — 6(9).
Обозначим а (9), 6(9) и с (9) просто через а, Ь, с, и пусть а(9г) = »ц £>(9£) = Ь,; с(9^ = сь i = 0, 1. Тогда
P(G;|9) = aX1,P(G}|9) = 6X1, P(G„\9) = cn, / = !,...,» (15.3.3)
И
М„ (9) = -узт? ’ N" (9) = сП*(1513,4)
Если О0 выбрано так, что с(0)<^1, то lim Nn(9) = 0 и 71—*ОО
Вероятность того, что последовательный процесс заканчивается наблюдением над хт равна
р(и|9) = (а-|-й)^Л(15.3.6)
и средний объем выборки есть ОО
g (я I 6) = {а + Ь) 2 пс"1 =^.(15.3.7)
Мы видим, что р (п | 6) — просто специальный случай биномиального распределения времени ожидания (6.5.15) для A=L
Если вероятности ошибок 1-го и 2-го рода должны быть равны аир при 6 = 6О и 6 = 0! соответственно, то множества О?, Gg следует выбирать таким образом, чтобы
т. е.
Если для заданных значений а, р и g(/z|90) (равного 1/(«о + ^о)) имеется несколько множеств GJ, Од, приводящих к последовательным критериям с такими а, р, g (п / 60), т0 выбор множеств, дающих самый сильный декартов последовательный критерий, осуществляется с помощью теоремы Неймана — Пирсона 13.2.1. Если /(х; 6) — плотность распределения F(x; 9), то за Од надо взять множество тех х, для которых
(15.3.10)
а за Oq — множество
(15.3.11)
где ^1^>А0^>0 выбираются так, чтобы при заданных а, р и g(n|60) удовлетворить условиям (15.3.8). Всякий иной выбор множеств G°o и Gy, который приводит к тем же самым значениям вероятности ошибки 1-го рода и g(n|90), порождает последовательный критерий S, для которого «1/(0! + ^i) 2> Р> к е- вероятность ошибки 2-го рода будет большей, чем у последовательного критерия с множествами Од и 0^ задаваемыми условиями (15.3.10) и (15.3.11).
Доказательство этого утверждения аналогично доказательству теоремы 13.2.1 и предоставляется читателю в качестве упражнения (задача 15.6).
Замечание. Если в единицу времени производится г наблюдений над случайными величинами последовательности ^р х2, ...), то мы получаем r-кратный декартов последовательный критерий 8. Достаточно рассмотреть только случай, когда области принятия и отклонения гипотезы в выборочном пространстве Rr величин (хп ..., хг) определяются отношением правдоподобия. Таким образом, Gq— это множество тех (хп ..., хг\ для которых
i — 1
и G’o — множество (дп ... , х,)) с условием
ПЯ^х)2^*’(15,ЗЛЗ)
i = 1
где &! > й0 > 0 выбираются так, чтобы удовлетворить условию (15.3.8). Функции а (6), ^(6), с (6) по определению равны P(Gq|0), P(G^|6), P(G0|9). Вполне аналогично теореме 13.2.1 можно доказать, что такой выбор множеств Gq и Gq приводит к декартову последовательному критерию, более сильному, чем критерий, отвечающий любому другому выбору Gq и Gq в пространстве (хп ..., хг) с теми же значениями aol(aQ -|- Ьо) = а и g (п | 90) (и даже более сильному, чем s-кратный декартов критерий с s < г).
Читателю, конечно, ясно, что за счет подходящего выбора значения г можно добиться любой близости вероятностей ошибок 1-го и 2-го рода r-кратного декартова последовательного критерия к наперед заданным величинам аир.'
Применение к проверке непараметрической гипотезы. Как уже отмечалось, декартов последовательный критерий не является лучшим среди последовательных критериев. Однако, если относительно F (х; 9) известно лишь, что она непрерывна, то декартов тест становится непараметрическим последовательным критерием. Действительно, пусть F (х; 90) и F ^х; 6^ — непрерывные к. ф. р., которые мы обозначим F^ (х) и Fx (х). Выберем Go и Go в виде интервалов (— оо, а^ и (6, -f-оо), а<^Ь; тогда (15.3.8) можно записать в виде
Fо W 1 „ Ft (а)о /1 к о 1 л \
Декартов последовательный критерий, отвечающий такому выбору множеств Gq и Оо, является тестом гипотезы, согласно которой непрерывная к. ф. р. имеет в точках а и b квантили F0(a) и 1 — — aF0(a)/(l—а) соответственно, против альтернативы, в соответствии с которой непрерывная к. ф. р. имеет в точках а и b квантили Fi(^) и 1—(1—^K^f^* Средний объем выборки равен [F0(a)-bl — — Ро(^)]-1> если истинным распределением оказывается foW’ й [Fi(a)-[-l—Л(&)]-1, если им оказывается Fx(x\
Последовательный критерий отношения вероятностей
Определение критерия. Рассмотренная в предыдущем параграфе задача выбора множеств Gq, Go и Qo, приводящего к сильнейшему декартову последовательному критерию гипотезы о^о против
^^ подсказывает, каков вообще наилучший возможный выбор множеств О?, ..., 0^, Gp G/p Gn, n=\, 2, ..., для последовательного теста. Именно, удовлетворяющие условию (15.2.1) множества G„, q’^ Gn в Rn, л=1, 2, ..., следует выбирать соответственно в виде
Qin- a Qin а А
WonWonWon
где
Q/^II/C^; M. Z = O, 1,(15.4.2)
a /(x; Oo) и f(x; Oj) — взаимно абсолютно непрерывные функции вероятности или плотности распределения вероятностей. В этом параграфе мы рассмотрим только случай плотностей; полученные результаты с тривиальными изменениями справедливы и для функций вероятности.
Критерий, основанный на множествах (15.4.1), был впервые предложен Вальдом (1945), он называется последовательным критерием отношения вероятностей. Критерий, следовательно, состоит в принятии ^„ принятии <2%^ или в проведении наблюдения над хплЛ, после того как сделано наблюдение над хп, в зависимости от того, удовлетворяет точка (хъ ..., х^ первому, второму или третьему неравенству из (15.4.1), п=\, 2, ... Постоянные kQ и кх фиксируются так, чтобы
А(0О)=1—а, £(М = Р,(15.4.3)
т. е. чтобы вероятности ошибок 1-го и 2-го рода равнялись а и £.
Свойства функции распределения числа наблюдений до окончания последовательного процесса отношения вероятностей. Посмотрим сначала, оканчивается ли с вероятностью 1 за конечное число шагов последовательный процесс отношения вероятностей. Пусть
-=■08^'(15-4-4)
и обозначим через H(z} 6) ф. р. z для фиксированного значения параметра 0^2. Предположим, что при 0О Ф ®i ^ оказывается невырожденной случайной величиной. Положим
Тогда (zv z^...) будет случайным процессом, порожденным выборкой ИЗ совокупности с функцией распределения Н(г; 9). Последовательный процесс заканчивается при первом и, для которого нарушается неравенство
logA0<z,4-... + zn<log*,.(15.4.6)
Заметим, что событие Qn состоит в выполнении неравенства (15.4.6).
Пусть для некоторого целого г n = mr, Cj = z^ + ••• + ~п • 4ni=:4m-\vA-\"V‘--Vzmr Тогда (^, .^ оказывается выборкой из совокупности с некоторой функцией распределения J^ 6). Введем событие/^|Сг|<Д /=1, ..., от,(15.4.7)
где D = max (| log Ло |, | log кх |). Так как Gmr с 1тг, то
Nmr № = P(Gmr 19) ^ Р утг 16) =рт,(15.4.8)
ГДеf=P(|Cil)<^).
Ввиду невырожденности г она имеет положительную дисперсию о4. Дисперсия ^ равна го2 и может быть сделана больше D\ если выбрать r^D^j^. Но в этом случае
P^v<D^=p<Y.
Если перейти в (15.4.8) к пределу при от^-оо, получим
lira Р(О„|6) = lim P(Gmr|9) = 7V(9) = O. п -> сот -* оо
Итак,
Если случайная величина z из (15.4.4) невырожденная (т. е. ее дисперсия положительна), то последовательный процесс от* ношения вероятностей заканчивается с вероятностью 1 в конечное число шагов.
На самом деле верна более сильная теорема Стейна (1946) о числе наблюдений до окончания последовательного процесса.
Если случайная величина z невырожденная, то все моменты величины п конечны.
Для доказательства 15.4.2 рассмотрим производящую функцию моментов ф (zz) случайной величины п
ф (и) = ge“" = 5 eut Р (^ I 9),(15.4.9)
1
где G* = Qf\JQi— событие, состоящее в окончании последовательного процесса после t наблюдений. Если сгруппировать члены, стоящие в правой части (15.4.9), по г штук, получим для н^О ^и^еП1Р(0<пОН^
^e™P(/z>0) + e2™P(^
Но если дисперсия z положительна, то в соответствии с (15.4.8) Р (п ^ тг) ^ рт.
Следовательно,
ф (м) ^ еги 4- еотр + е^гир^ + • - • = еП1 (1 ~ еМ1р)"х- (15А1 °)
(15.4.Юа)(15.4.Юа)ф (zz) ^ еи (1 — егир)ф (zz) ^ еи (1 — егир)Для zz^O аналогично получим
(15.4.Юа)
(15.4.Юа)
ф (zz) ^ еи (1 — егир)
ф (zz) ^ еи (1 — егир)
Таким образом, для любого вещественного и с условием егир<^1 ряд для Ф(п) сходится. Интервал сходимости содержит точку и = 0 н качестве внутренней, поэтому Л-я производная ф(п) в нуле существует, что обеспечивает конечность Л-го момента величины п, к=1 2, ...
Отметим также следствие из теоремы 15.2.1, важное для вычисления g(n|9) и для доказательства эффективности последовательного критерия отношения вероятностей
Если z — невырожденная случайная величина, то
^1 + ^Ъ-- + ^|9) = $(г|0)$^^^^(15.4.11)
Конечность g (п 16) следует из 15.4.2, после чего непосредственно применяется теорема 15.2.1.
(с) Определение граничных постоянных й0 и кх для последовательных критериев отношения вероятностей. Рассмотрим теперь задачу определения граничных постоянных kQ и kv для последовательного критерия отношения вероятностей силы (а, 60; р, 6^. Точное определение кй и кх является трудной проблемой, в то время как неравенства и хорошие приближения для к0 и к^ получаются сравнительно легко.
Согласно определению последовательного критерия отношения вероятностей во всех точках множества О°п
Qi/z^^oQo/i*(15.4.12)
Из (15.2.8) следует, что
£(9) = Р(О;|9) + Р(ОП9) + ...(15.4.13)
Если критерий имеет силу (а, 90; р, 0,), то
£(90)=1 — а, А(9,) = р.(15.4.14)
Из (15.4.12) выводим, что
p(g;|9])^V’(g;i°0),п=\, 2,...(15.4.15)
Следовательно,
СООО
2 р(о;|9,)^^о 2 ^(W).
п = \п = 1
т. е. -
L^^kJA^.(15.4.16)
Комбинируя это неравенство с (15.4.14), получим
Если провести такие же рассуждения для множества Q^ то будем иметь
714(90^^^(00).(15.4.17)
Так как ^(9) = 0, то Ж(9)=1—Л(9). Комбинация (15.4.17) й (15.4.14) дает второе неравенство:
Следовательно,
Постоянные к0 и кх последовательного критерия отношения вероятностей силы (а, 90; р, 6^ удовлетворяют неравенствам
(15.4.18)
Исследуем теперь действительную силу последовательного критерия отношения вероятностей при выборе граничных постоянных в виде
^=т^. *1 = ^. (15.4.19)
(15.4.20)(15.4.21)(15.4.22)(15.4.20)(15.4.21)(15.4.22)Условимся называть (а, %; р, 6^ предполагаемой силой критерия, а (а', 90; pf, 9J — его действительной силой. Тогда из (15.4.8) будем иметьри 1 —1 — Рг
(15.4.20)
(15.4.21)
(15.4.22)
(15.4.20)
(15.4.21)
(15.4.22)
1 — а "^ 1—а'аа'
Из этих двух неравенств выводим
а также
а' + р'^а + р.
Последнее неравенство просто означает, что сумма действительных вероятностей ошибок 1-го и 2-го рода при выборе kQ и кх согласно (15.4.19) не превосходит суммы предполагаемых вероятностей ошибок 1-го и 2-го рода. Таким образом, доказана теорема
Если постоянные к^ и кх последовательного критерия отношения вероятностей предполагаемой силы fa, 90; р, 91у) выбраны соответственно равными р/(1—а) и (1—Р)/а, то действительная сила полученного критерия есть (ar, 90; р\ 0J, где а' и Р' удовлетворяют неравенствам (15.4.21) и (15.4.22).
В практических задачах предполагаемые значения аир редко превосходят 0,10. Неравенства (15.4.21) и (15.4.22) показывают, что разность между предполагаемой и действительной силой в этих случаях незначительна.
(d) Оперативная характеристика последовательного критерий отношения вероятностей. До сих пор мы рассматривали функцию оперативной характеристики L (9) только для двух значений 9: 90 и 9р Точное определение L (9) для произвольного значения 9^2 является трудной задачей. Однако приближенное выражение для А (9) можно получить без чрезмерных усилий.
Вначале докажем лемму, принадлежащую Вальду (1945).
Пусть 2^ = log/(x; 9^ — log/(x; 90), где х— случайная 6еличина с плотностью распределения f(x\ 9), 9 £ Q. Если
^егк существует при всех вещественных h и его можно дифференцировать по h дважды,
00 ®^ ^ О, (in) при некоторых 8j ^> 0 и О<^82<^1
P(^>l+oj)>0 и р^<1— д,)>0, то каждому 6 отвечает значение h = h^y^^ с условием
4 ОО
Ил^Р^ °)dX==1’(15.4.23)
— ОО от.е-„
g^A(9)=L
Для доказательства 15.4.6 обозначим через Ег множество тех х, для которых ^>i-|_gb и через Е2— множество х, для которых ^<^1—о2. Тогда при hy>0 имеем
ge^Ss $ ezhf<x-, 0)dx>(l + §1)ЛР(£'1)>(15.4.24)
а при h<^0
^ $ e2hf<x-, 6)dx>(l — 82)й Р (Е2).(15.4.25)
Так как Р(ЕХ)
и Р^Е^ отличны от нуля, то из (15.4.24) и
(15.4.25)
следует, что
Нт ©егЛ= Пт ^ег!‘ = 0. h-*-\-cah-* — co
(15.4.26)
Если положить
^>ezh = ф (h), то
ф'(0) = ®г#0
(15.4.27)
и
ф"(/г) = §(гУА)>0.
(15.4.28)
Поскольку ф (0) = 1, ф' (0) ^ О и ф" (0) > 0, то ясно, что функция ф (/г), зависящая также и от 9, имеет минимум, меньший 1, и уравнение ^(h)—1—0 имеет два корня: h = 0 и h = h (9)^0, что и доказывает лемму 15.4.6.
Перейдем теперь к построению приближенного выражения для L(9). Событие Qn определялось первым из неравенств (15.4.1), которое эквивалентно неравенству
Q*n^Qn, (15.4.29) где
Q*»=^ Qn и Qn=П^^; 0)’ (15Л30)
a h— произвольное вещественное число. Q*n можно записать в виде
е)]-(,5А31>
В условиях леммы 15.4.6 для каждого 6 имеется единственное значение h = h (6) ф 0 такое, что
S №^Г>№ 9w=L(15аз2)
Следовательно, функцию
f4x’ ^ = кШх^АПх’ 6)(15л-33)
можно рассматривать как плотность распределения вероятностей.
Пусть Р* (G« | 6) — вероятность события G°n, вычисленная по плотности р^х; 9). Определим L* (6) по аналогии с £(9) из (15.2.8):
l*(Q)= 5 р*(о;|6)=р*(О’|9).
п = 1
Рассуждения, аналогичные использованным при выводе (15.4.16),» дают
L*(6)^Ao(6,Z.(6).(15.4.34)
Событие G’n определялось вторым из неравенств (15.4.1), которое эквивалентно такому:
Q^^Qn-(15.4.35)
Вполне аналогично (15.4.34) получим
1 — £*(9)^^(е)(1 ^_^(9)).(15.4.36)
Если теперь по аналогии с заменой неравенств (15.4.18) равенствами (15.4.19) заменить (15.4.34) и (15.4.36) на равенства, то мы будем иметь следующее приближенное выражение для £(9):
1ьМ0).
Отметим, что поскольку /г (60) = 1 и /2(9^ =— 1, то подстановка в (15.4.37) приближенных значений £0 и кх из (15.4.19) приводит к точным значениям £ (90) и £ (Oj), которые определяются формулой (15.4.14) для последовательного критерия отношения вероятностей силы (а, 90; р, 9J.
Приближение (15.4.37) удовлетворительно для практических целей. Исследование того, насколько оно точно для значений 9, отличных от 90 и 9Ь требует утомительного анализа, который мы опускаем. Подробности можно найти в книге Вальда (1947а).
Сформулируем полученный результат.
В условиях леммы 15.4.6 приближение к оперативной характеристике L (6) последовательного критерия отношения вероятностей силы (а, 0о; р, 9J дается формулой (15.4.37), где /г (9) удовлетворяет условию (15.4.32), а приближенные значения кйикх даны в (15.4.19).
Средний объем выборки для последовательного критерия отношения вероятностей. Чтобы получить приближенное выражение для ^(п | 6), можно рассуждать следующим образом. Если §(г | 0) ^ О, то из (15.4.11) находим, что
№ °) =.(15.4.38)
Каки раньше, пусть G° = GJ(J^U--- 11 ^ = ^i U ^ U • • • Тогда Р (0° | 6) = L (0), Р(СГ|9)=1 — ЦЬ) и можно написать
s (~i 4-^24*• • •+zn I ®)=§ (-1 4~-а4~♦ • • 4“zn I о; 6)ь (6) 4~
4-S(^i + ^4---+^l^; 6)(i-L(e)).(im.39)
Но g (^i 4" z4 4” • • •+zn IQ ; Q) log k0 и g> (^1'4“ z2 + • • • 4" zn I ^ 6)^logAp Если заменить в этих неравенствах k^ и kv приближенными значениями из (15.4.19), а сами неравенства — равенствами, то (15.4.38) дает приближенное выражение для g(n|9):
I («) log J- +(.!-£ (1)) log l=t
$<”I4~8(ojT)<‘5-4.40)
При 9 = 6o и 6 = 6i приближенные значения g(n|9) равны
(l._a)log—L-4-alogl^
W9.)~^|y,(15.4.41)
Для практических целей эти приближения удовлетворительны. Оценка погрешности приближенной формулы (15.4.40) требует серьезного анализа, который можно найти у Вальда (1947а).
Эффективность последовательного критерия - отношения вероятностей. Следующая доказанная Вальдом (1945) теорема дает нижнюю границу g(n|0) в точках 90 и 0j для любого последовательного критерия.
Пусть (хь х^ ...)— последовательность независимых случайных величине плотностью распределения /(х; 9), для которой ^(г | 9) ^ 0, где z определена в (15.4.4). Если S — любой после-
довательный критерий силы (а, 90; р, ОД оканчивающийся с вероятностью 1 за конечное число шагов, то
§ (и I 0О) ^5§ (и I 0О) ^5g^ieag^iea(1 — а) log y-L + а log Ц^& (2 | М?log TZ^ + (l-P)log^(1 — а) log y-L + а log Ц^& (2 | М?log TZ^ + (l-P)log^(15.4.42)(15.4.42)
§ (и I 0О) ^5
§ (и I 0О) ^5
g^iea
g^iea
(1 — а) log y-L + а log Ц^
& (2 | М
?log TZ^ + (l-P)log^
(1 — а) log y-L + а log Ц^
& (2 | М
?log TZ^ + (l-P)log^
(15.4.42)
(15.4.42)
Обозначим через G^, Gn, Gn множества в выборочном пространстве (хь ..., хп\ п — }, 2, .удовлетворяющие условию (15.2.1) и определяющие произвольный последовательный тест 5. [Если S —• последовательный критерий отношения вероятностей, то множества О*, On, Qn определяются условием (15.2.1) и тремя неравенствами (15.4.1).]
Пусть гъ z3, ... определены согласно (15.4.5). Из (15.4.11) для последовательного критерия 5 получим
НоНо&(л|9) =&(л|9) =$4£izb£2dLLiizb^S (z 16)$4£izb£2dLLiizb^S (z 16)(15.4.43)(15.4.43)
Но
Но
&(л|9) =
&(л|9) =
$4£izb£2dLLiizb^
S (z 16)
$4£izb£2dLLiizb^
S (z 16)
(15.4.43)
(15.4.43)
g (2*1 4- z2 4™... 4” zn | 6) — g (24 -|- 2^ -(" ♦ • ♦ 4" zn I G > 6) ^ (O’ | 9) +
+ S(^i + ^4---- + ^|O; 9)Р((У|9). ~ (15.4.44)
Рассмотрим сначала g (n 190). Поскольку S имеет силу (a, 90; p, 9^, to
P(G°49O)=1 — a, Р((У|90) = а.(15.4.45)
Используя неравенство
gy^ logged(15.4.46)
справедливое для любой случайной величины _у, находим, что
= log&(^|G’; 0О),(15.4.47)Won/= log&(^|G’; 0О),(15.4.47)Won/^(^ + ^ + ... + ^„10”; 0o)^logg(^+^+-+^|G“; 0О) =
= log&(^|G’; 0О),(15.4.47)
Won/
= log&(^|G’; 0О),(15.4.47)
Won/
где g ^^|G°; 90]—условное среднее значение, на множестве 0е = Won]
= 01 и °2 U • • • ПРИ 6 = 60- произведения ^4j Я^Нг)'' ” В К0Т°'
ром число множителей определяется числом наблюдений до окончания последовательного процесса. Имеем
g(^|0°; 0o) = P(G°|01)//>(Q°|0o) = -r^-.(15.4.48)
Следовательно,
S(^ + ^ + ... + ^|G°; 0o)^logrL, (15.4.49) и аналогично
g(^ + ^ + ... + ^|0'; O0)^logl^. (15.4.50)
Объединяя (15.4.45), (15.4.49) и (15.4.50) с (15.4.44), получим первое из неравенств (15.4.42). Таким же образом доказывается и второе неравенство.
Дальнейшее изучение нижних границ для § (л | 6) проводилось Гоф- дингом (1960) и Кифером и Уэйссом (1957). Андерсон (1960) и Донелли (1957) предложили для случая выборки из нормальной совокупности с известной дисперсией и неизвестным средним некоторые модификации критерия отношения вероятностей с целью уменьшить &(”16)-
Для последовательного критерия отношения вероятностей, когда множества 0^, G„, Qn определяются условием (15.2.1) и неравенствами (15.4.1), мы видели, что
S^i + ^ + .-. + ^IG1; б) ^ log ^0, Л54 5П № + ^ + ...+^|G'; e)^iog^.
Если после наблюдения над хп при попадании точки (xv..., х^ в Qon (т. е. при ^ +.. .“Р ^^log^o) мы будем приписывать zx^-...
. ..-\-zn значение log к^ а при попадании точки в Qn (т. е. при zx ~р... ... + zn ^ log кх) — значение log къ то для определенной таким образом суммы zx + -.. + zn в (15.4.49) и (15.4.50) имеют место знаки равенства. В этом случае неравенства (15.4.42) также перейдут в равен
ства, которые, как это видно из (15.4.41), действительно реализуются
на последовательном критерии отношения вероятностей. Следовательно, если бы можно было «исправлять» zx-\-...-\-zn по указанному выше правилу, то не существовало бы критерия, более эффективного, чем последовательный критерий отношения вероятностей. Эти эвристические соображения об оптимальном характере последовательного критерия отношения вероятностей принадлежат Вальду (1945). Строгое доказательство оптимальности было дано Вальдом и Вольфовит- цем (1948).
(g) Усечение последовательного критерия отношения вероятностей. Предположим, что если последовательный процесс для критерия отношения вероятностей не закончился при л = 1, ..., //]
то принимается следующее правило для окончания процесса после наблюдения над xN._
Принять ^’о» если
log k»<zx-\-...-\-zN^.log k»<zx-\-...-\-zN^.(15.4.52)(15.4.52)Принять e^i, еслиПринять e^i, если0<z14-...4-zjV<log кх.0<z14-...4-zjV<log кх.(15.4.53)(15.4.53)
log k»<zx-\-...-\-zN^.
log k»<zx-\-...-\-zN^.
(15.4.52)
(15.4.52)
Принять e^i, если
Принять e^i, если
0<z14-...4-zjV<log кх.
0<z14-...4-zjV<log кх.
(15.4.53)
(15.4.53)
Обозначим этот усеченный последовательный критерий через SN, а через aN и р^— связанные с ^ вероятности ошибок 1-го и 2-го рода. Займемся определением верхних границ для aN и р^ Пусть Q”ni и G'^— области в RN, в которых тест SN принимает соответственно ^0 и 9%^. Множества G°^ и 0^ дизъюнктны и их объе-
динеине дает RN. Условимся рассматривать G°w и G'^ как цилиндрические множества в Rco.
ИмеСМP(G^v)|9e) = aJv.(15.4.54)
Как и раньше, пусть 0° и G' обозначают области в R^ в которых (неусеченный) последовательный критерий отношения вероятностей S принимает соответственно о%^0 и е%ГР Напомним, что
Р(СУ|0о) = а.(15.4.55)
Пусть О'* — область в R^, в которой гипотеза оЙГi принимается усеченным критерием и отклоняется неусеченным. Тогда
Ода С а и G*.(15.4.56)
Если J—множество точек в R^ для которых выполнено (15.4.53),.
тоa* QJ
и, следовательно,
GwC^U^(15.4.57)
Выберем теперь N достаточно большим, так чтобы можно было считать сумму ^ 4“»• • + ^4v распределенной приближенно нормально» Тогда
Р(0 Oi + • • • + ^<1оё /г11 6о) =
= ф (Л) — ф (л) + О j,(15.4.58)
ГДеj^-V^g^^oyo^ieo),(15459)
У» = Vn [-^log кх — g О | 90)j/a (z I 90).
Ф(_у)— к. ф. p. закона ^(0, 1), a ^(г|90) и ^(^Ро)— среднее значение и дисперсия случайной величины
z = logпри 9 = 90.
J > 'о/
Таким образом, с точностью до членов порядка 1 (V N а -]- Ф СУо) — Ф(.Уо) оказывается верхней границей для ал,. Аналогично находим, что с точностью до членов порядка l/I^Af ? + Ф(Х)— Ф(У1) еС1Ъ верхняя граница для рЛ„ где
V1 = Vn [1 log к» - g (г I 6,)]/а (г | 0,),(15 4 59а>
— У Ng (г | 0|)/з (г | 0,),.
a g (г 19,) и a2 (z 19,) — среднее значение и дисперсия z при 9 — 9у
Как мы видели в §15.4 (с), при малых значениях аир неизвестные ^о (в выражении для д^) и йг (в выражении для j/q) хорошо приближаются числами р/(1—а) и (1—р)/а.
Суммируя все сказанное, получаем следующий результат Вальда (1945).
Если случайная величина
£ = log£ = log/(a; 0J /(а; о0)/(a; 0J /(а; о0)
£ = log
£ = log
/(a; 0J /(а; о0)
/(a; 0J /(а; о0)
имеет конечные среднее значение и дисперсию при 6 = 6О и 0 = 9ь то верхняя граница для вероятности aN ошибки 1-го рода усеченного последовательного критерия отношения вероятностей SN равна.
«+ф (л) — ф Оо) + о (,
r 1 \ унрr 1 \ унргде а— вероятность ошибки 1-го рода для неусеченного последовательного критерия отношения вероятностей S, а у^ и у^ даны в (15.4.59). Верхняя граница для вероятности р^ ошибки 2-города есть
r 1 \ унр
r 1 \ унр
нфь;)-ф(л)+о
где р — вероятность ошибки 2-го рода у S, а ух и у^ определены в (15.4.59а).
Применение последовательного критерия отношения вероятностей
к биномиальному распределению
Проиллюстрируем результаты § 15.4 на примере выборки из биномиального распределения Bi (1, 9).
В этом случае (xv х^..,) — последовательность независимых случайных величин, функция вероятности которых равна
f^x; 6) = ^(1— 6УЛ х = 0, 1.(15.5.1)
/1
ОбозначивОбозначив2 xt через пх, будем иметь
Обозначив
Обозначив
i
(15.5.2)(15.5.2)Qm СОЛ"1 fJLzibV-”1
(15.5.2)
(15.5.2)
Qon\ ®о/ \ 1®о/
Определим постоянные ап и Ьп равенствами
l°giЛ 1 — аап —l°giЛ 1 — аап —loglog1-01 -nlog^ О, (1 -- о»)" 6о(1-0,)1-01 -nlog^ О, (1 -- о»)" 6о(1-0,). 1 —р ,1 —е,_ log-—P-nlogT-^g 00 (1-01). 1 —р ,1 —е,_ log-—P-nlogT-^g 00 (1-01). (15.5.3). (15.5.3)
l°gi
Л 1 — а
ап —
l°gi
Л 1 — а
ап —
log
log
1-01 -nlog^ О, (1 -- о»)" 6о(1-0,)
1-01 -nlog^ О, (1 -- о»)" 6о(1-0,)
. 1 —р ,1 —е,
_ log-—P-nlogT-^
g 00 (1-01)
. 1 —р ,1 —е,
_ log-—P-nlogT-^
g 00 (1-01)
. (15.5.3)
. (15.5.3)
Если пользоваться приближенными значениями (15.4.19) для Ло и къ то (15.4.1) перейдут соответственно в неравенства
»i < ап.»i < ап.nt^bn, а„<П!<Ь„.nt^bn, а„<П!<Ь„.(15.5.4)(15.5.4)
»i < ап.
»i < ап.
nt^bn, а„<П!<Ь„.
nt^bn, а„<П!<Ь„.
(15.5.4)
(15.5.4)
Так что последовательный процесс продолжается, пока ^^Пх^Ь^ он заканчивается принятием о^о после наблюдения над хт если п^^а^ и заканчивается принятием q%~v если п<^Ьп.
Подставляя приближенные значения (15.4.19) для Ао и ^ в (15.4.37), получим следующее приближенное выражение для оперативной характеристики последовательного критерия:
(15.5.5)(15.5.5)
(15.5.5)
(15.5.5)
где функция h (6) определяется условием (15.4.32), которое в рассматриваемом случае переходит в
Of (l-Oi^T ^(l-Oo)1^.Of (l-Oi^T ^(l-Oo)1^.9*(1—9)1-*=!.9*(1—9)1-*=!.(15.5.6)(15.5.6)
Of (l-Oi^T ^(l-Oo)1^.
Of (l-Oi^T ^(l-Oo)1^.
9*(1—9)1-*=!.
9*(1—9)1-*=!.
(15.5.6)
(15.5.6)
Упрощая (15.5.6), получим соотношение между 9 и й:
(15.5.7)(15.5.7)
(15.5.7)
(15.5.7)
Заметим, что й(90) = 1, h (9j) = — 1, и из (15.5.5) мы видим, что приближенная формула для L (9) дает точные значения L (90) и L (9t).
Обращаясь к (15.4.40) и вычисляя g(z|9), получим приближенное значение для среднего объема выборки
L (0) log -г-Ц + (1 - L (6)) logg(«|0)№^Г=6"^-(15.5.8)
eiog^ + d-^log,-^
Если подставить в (15.5.8) приближенное выражение для L (9) из (15.5.5) и выражение (15.5.7) для 9, мы получим выражение для §(л|9) в виде функции параметра h. Для 9 = 0, 90, 9j g (az | 9) вычисляется легко.
Применения вальдовского последовательного критерия отношения вероятностей к выборкам из различных специальных распределений опубликованы Вальдом (1947а) и Статистической исследовательской группой Колумбийского университета (1945, 1947).
Последовательное оценивание
Общие замечания. Общая теория последовательного оценивания параметров еще не создана. Вальд (1947а) сформулировал общую задачу последовательного интервального оценивания, но не дал ее решения. Он и Стейн (1947) рассматривали последовательную процедуру построения доверительного интервала фиксированной длины с заданным коэффициентом доверия для средного нормального распределения с известной дисперсией. Рассматривались также другие специфические задачи оценивания. Обзор некоторых результатов в этой области имеется у Энскомба (1953).
Основная идея последовательного оценивания параметров состоит в том, чтобы производить наблюдения до тех пор, пока мы не окажемся в состоянии получить оценку с заданной степенью точности (в подходящем смысле), не зависящей от (неизвестного) значения оцениваемого параметра. Степень точности может быть определена различными способами. Можно, например, потребовать, чтобы дисперсия оценки параметра не зависела от самого параметра. Иногда этому требованию можно удовлетворить, используя выборку фиксированного объема. Для больших выборок приближенное решение этой задачи при некоторых условиях регулярности изложено в §12.3 (е).
Другое определение степени точности заключается в требовании фиксированной (не зависящей от результатов выборки) длины доверительного интервала для параметра. В некоторых случаях этого также можно достичь в выборках фиксированного объема. Например, если х — среднее значение выборки объема п из нормальной совокупности jV(p.,o2) с неизвестным р. и известным о2, то ^х—-^8, jc-|“ + у8^ оказывается доверительным интервалом длины 8, накрывающим неизвестное значение р с вероятностью, не меньшей у, при условии, что (п—1) — наибольшее целое число, не превосходящее у^о1^ (если последнее само не является целым; если же j^o2/82 — целое, то нужно выбрать л—^а2/82), j/T — корень уравнения Ф (ут) — Ф (—_ут) = = 7, а Ф(^) — к. ф. р. закона ^(0, 1). '
Оценка среднего нормального распределения интервалами фиксированной длины по Стейну. Для случая, когда неизвестны р. и о2, Стейн (1945) показал, как использовать процедуру двойной выборки для построения доверительного интервала фиксированной длины 8, накрывающего неизвестное значение р с вероятностью, не меньшей ^. Его результат можно сформулировать следующим образом.
Пусть (хх, ..., х^ —первая и (хп+х, ..., хп^ — не зависящая от нее вторая выборки из совокупности N^ °2)- Обозначим через s* выборочную дисперсию первой выборки, через х —• среднее, построенное по обеим выборкам, и положим k = Y2stn_Xe4l^\ где tn_x т — верхняя 100 ^1 — у ^-процентная точка распределения
Стьюдента 8(п— 1). Если т равно 0 при к —п^О и равно наи- меньшему целому, превосходящему к — п, при к — п^О, то ^х —4 ^ ^ + 4" ^) будет доверительным интервалом длины, 8 - для р. с коэффициентом доверия, не меньшим у.
Для доказательства этого результата заметим, что, поскольку (х — ^/[о/Кт-у п\ имеет распределение N(0, 1), а (я — 1)^/0- имеет ^-распределение С(п—1) и эти две величины независимы, то по доказанному в §7.8(Ь)
(х — р.) Ут + п
s
имеет распределение Стьюдента S^n—1). Следовательно,
Р^-кЛ,;<^^Ут-^п<1п_Х1^ = Ч (15.6.1) или, в эквивалентной форме, _
PU —<^<^ + -^^=^ = Т- (15.6.2)
\Ут + пУ т-уп )
Если stn_Xi ^/р^^у 8, то ^х—^-8, ^ + у8^ оказывается доверительным интервалом длины 8 для р, с коэффициентом доверия, не меньшим у, построенным только по первой выборке. Если же stn_Xi уУ^ ^у^ т0 извлекаем вторую выборку объема т, где т — наименьшее целое, для которого
У т-Уп^,
т. е. наименьшее целое, превосходящее
п.п.
п.
п.
В этом случае ^х — -^-8, ^ + 4"^) также $Удет доверительным интервалом для р, длины 8, построенным уже по результатам обеих
выборок, имеющим коэффициент доверия, не меньший у.
ЗАДАЧИ
Пусть (хо х2> ...)—последовательность независимых случайных величин со средними значениями рп р2, ... и Т^ = ^! + ••• + р/, ^ = 1, 2, Показать, что если Gb G^, ..., G^, G^t ... определены как в § 15.2, то
^ (^1+х2 + -.. + -Гл) = 2 kTtPW)>
/ = 0
Пусть {хъ х^ ...)—последовательность независимых случайных величин с функциями распределения Fv{x; 6), F2 (х; 6), ..., а ЕкП — такие множества, что
f dFi(x; ^=Pi^)^p<A.
Доказать, что если S—произвольный последовательный процесс, для которого продолжающими эксперимент множествами служат Gx> С?2, ...,
Gn = Em X Е^ х ... X Е^\
то он оканчивается с вероятностью 1 за конечное число шагов.
Пусть (хп х2> ...)— последовательность независимых случайных величин с плотностью распределения 0е“бх, х > 0, 6 > 0. Надо построить декартов последовательный процесс для проверки гипотезы ^0: 0 = 0о против Жу 9 = 0п где 0х > 60 и вероятности ошибок 1-го и 2-го рода равны соответственно аир. Показать, что для декартова критерия отношения вероятностей множества G°Ot Go и Go будут интервалами (х2, оо), (0, хД и (Хп ^а)» ГДС хь х^ а\ < х2, определяются условиями:
1Mi « ’1е~^хх1 1—р*
Доказать, что средний объем выборки g (и | 6) для этого последовательного ,Q 10gX2—log Xi
процесса достигает наибольшего значения при U = —- -- _ ^ —L •
{Продолжение). Предположим, что для проверки Жй против Жх используется г-кратцый декартов последовательный процесс. Показать, что множества G^ Go и ^о (в г-мерном эвклидовом пространстве), отвечающие критерию отношения вероятностей, имеют вид
Go — {(^D ХА : ^j xi J^s})
xrV-
б?о —{(Л'1> хг) *3^1
где (_vn у2) определяется уравнениями
/(у: M<v=---/(у; в«)^у,
Уз0
ооJ>i
^/(у; 6i)rfy=T^p /(у; ^dy,
.Уз0
Рассмотрим следующее усечение декартова последовательного критерия, обсуждавшегося в §15.3 (а). Если последовательный процесс не закончился после п-го шага, то независимо от результата наблюдения будем принимать ^0 с вероятностью а!(аЦ-Ь) и ^ с вероятностью Ъ^а-\-Ь\ Показать, что тогда
л (е)=-f—
М„(6) = -4-т,
7а + b ’
8("Ю) = ^
и вероятности а и р ошибок 1-го и 2-го рода удовлетворяют условию (15.3.8).
Доказать, что декартов последовательный .критерий, для которого Go и Gq определены в (15.3.10) и (15.3.11), сильнее любого другого декартова последовательного критерия с теми же значениями аоКао + Ьо) = а И g (л | 60) = «о
Пусть (л^, л*2, ...)—последовательность независимых случайных величин, имеющих нормальное распределение N (9, 1); Ж о — гипотеза 0 = 0о; ^i—гипотеза 0 = 6а 6Х > 0о. Используя, при заданных вероятностях аир ошибок 1-го и 2-го рода приближенные значения (15.4.19) для k0 и ^1» по* казать, что последовательный критерий отношения вероятностей для проверки ^о против ^ принимает гипотезу ^0 после п-го наблюдения, если впервые на n-ом шаге
I I / I 1₽ I 91+62
принимает гипотезу 3£и если впервые на и-м шаге
^+■.•+^^-0^07 log ^4+«-4=-,
и предписывает провести (n-|“l)“e наблюдение, если л^-]-•••+'Y/z лежит между указанными пределами.
Показать также, что
где
Ol + 9o_20«1-9-
и что это приближение дает точные значения при 9 = 6О и 0 = 6Р Доказать, что средний объем выборки равен
L (6) log + (1 - L (6)) log 1^
Перенести эти результаты на случай выборки из совокупности N(9, а2), где а2 известно.
Пусть (,rn л^, .••) — последовательность независимых случайных величин, имеющих нормальное распределение N (0, а3); ^0— гипотеза з2 = зб, ^—гипотеза о2 = а2, а^>а§. Используя, при заданных вероятностях а и р ошибок 1-го и 2-го рода, приближенные значения (15.4.19) для к0 и кь показать, что последовательный критерий отношения вероятностей для проверки ^0 против ^ принимает ^0 после n-го наблюдения, если впервые на n-м шаге
принимает гипотезу ^fb если впервые на n-м шагепринимает гипотезу ^fb если впервые на n-м шаге
принимает гипотезу ^fb если впервые на n-м шаге
принимает гипотезу ^fb если впервые на n-м шаге
и предписывает провести (п-|“1)_е наблюдение, если ^14---- + ^ лежит между указанными пределами.
(Продолжение). Показать, что приближенное выражение для оперативной характеристики L (з2) имеет вид
\ а У \1 — а/
где а2 и Л связаны соотношением
h(^-^)*
Проверить, что это приближение дает точйые значения при з2 = з2 и a2 = of.
Доказать, что средний объем выборки равен
W1 [i W log Дт + (1 -L ^ log-^1
8 (я | о=) ^L.
M-=5)«2 + =5=?10g^
Построить последовательный критерий отношения вероятностей для проверки гипотезы ^о, согласно которой совокупность имеет пуассоновское распределение Ро (90), против альтернативы ^^ согласно которой совокупность имеет распределение Пуассона Ро (ОД 0, > 0о. Найти приближения для функций оперативной характеристики L (0) и среднего объема выборки g (п | 0) этого критерия.
Положим для биномиального распределения времени ожидания
(п— Jpft(l— р)"-6, П = к, й+1
\к—\> т .
ppb1
p
p
7 Доказать, что p— несмещенная оценка p, и при этом п— 1
Следовательно, коэффициент изменчивости р равен
(см. работы Холдэйна (1945) и Гудмена (1953) об аналогичных задачах].
Пусть s2— дисперсия выборки объема п из совокупности N (у^ а2). Положим для произвольного е > 0 т равным наименьшему целому с условием т^Цп— 1) s2/[(n—3) е]. Показать, что, если х’— среднее значение независимой (от данной) выборки объема т из совокупности N(р., а2), то а2 (х') в.
Пусть s| и sf—дисперсии независимых выборок объемов nY и п2 из совокупностей N (уЧ) of) и ^(^i, а|). Для произвольного е>0 пусть иц — наименьшее целое с условием иц [2 (/г; — 1) sl^ni —3/е], Z = 1, 2. Доказать, что если xY и х2 — средние значения независимых (от исходных) выборок объемов mY и т2 из совокупностей N(цп о2) и N (ц2, а2) соответственно, то а2 (%!—Х2)^е. ~
ГЛАВА 16
СТАТИСТИЧЕСКИЕ РЕШАЮЩИЕ ФУНКЦИИ
Общие замечания
В построенной Нейманом и Пирсоном теории проверки статистических гипотез основную роль играет понятие потери (убытка) от неверного принятия или неверного отклонения гипотезы. В двух основополагающих статьях и последовавшей за ними книге Вальд (1947b, 1949а, 1950) распространил подход, основанный на понятии риска, на более широкий класс статистических задач и разработал теорию статистических решающих функций. Создание этой теории было частично стимулировано теорией игр, изложенной фон Нейманом и Морген- стерном (1944), частично же — желанием построить более общую теорию риска для различных статистических процедур. После оригинальной работы Вальда появилось много статей и несколько книг, в том числе весьма полная книга Блекуэла и Гиршика (1954), посвященных теории статистических решений- для дискретных выборочных пространств. Эта глава служит кратким введением в некоторые из основных идей и результатов теории статистических решений для ситуации • простейшего типа. Мы не касаемся теории в наиболее общей форме. Читатели, интересующиеся общей теорией и дальнейшими подробностями, могут обратиться к книгам Вальда и Блекуэла и Гиршика. Более элементарный характер носят книги Чернова и Мозеса (1959), Льюса и Райфы (1957), Райфы и Шлайфера (1961), Сэвиджа (1954), Уэйсса (1961).
Определения и терминология
Пусть х — дискретная случайная величина, выборочным пространством которой является R, 0 — точка параметрического пространства й, содержащего конечное число точек 0ь ..., 6/г Обозначим через /2 (а; | 0) функцию вероятности х при данном 6. Всего имеется h распределений р (х | 6J,..., р (х |6Л), одно из которых предполагается истинным всякий раз, когда производится наблюдение над х.
Пусть а — произвольный элемент множества Л возможных решений, которые можно вынес ги относительно 0 по результатам наблюдений над х. Например, если 6Ь..., 0л — числа, ас — некоторое критическое значение, то множество А может состоять из двух элементов, ах и а^ где решение ах означает, что 6^ с, а решение а^, озна-
чаег 6^>с. Множество А может содержать любое конечное или бесконечное число элементов. А называется пространством решений. Если решение а £ А выносится на основании результата наблюдения над х, то это означает, что имеется решающая функция d (х), отображающая R в А. Все рассматриваемые решающие функции являются элементами класса решающих функций D.
При каждом 9 £ 2 можно вынести любое из решений я £ А Предположим, Ч1О принятие решения а, когда истинное значение параметра равно 0, приводит к потере L (9, а\ Функция потерь L (9, а) предполагается вещественной ограниченной функцией, определенной в пространстве 2Х^ Для всякой решающей функции d^D и каждой точки 9 £ 2 определяется функция риска г (9, d) как среднее значение функции потерь А (9, d(x)\ т. е.
г (9, d) = EL (6, d (х)) = ^ L (6, d (x))p (x 19). (16.2.1)
Таким образом, г (9, d) задана в каждой точке просгрансгва 2Х^ и ограничена вследствие ограниченности L(9, d(x)\
Замечание. Некоторые из введенных понятий допускают интерпретацию в терминах элементарной теории игр. Представим себе природу в виде игрока I, а статистика — в виде игрока II. Природа выбирает стратегию среди 6П..., Од, статистик—среди d^D. Величина L (6, d (х)) измеряет потери статистика, выбравшего по результату наблюдения х стратегию d (х), когда природа выбрала в. Определенная в (16.2.1) величина г (0, d) характеризует средние потери статистика, использующего стратегию d.
Функция риска дает разумный критерий, позволяющий предпочесть одну решающую функцию из D другой. Действительно, пусть dvid* — две решающие функции из D. Функция d* предпочтительнее d, если
г (9, d*)^r(9, d) (16.2.2) при всех 8 (2 и
г (9, d*)<r^ d) (16.2.3)
хотя бы при одном 9 £ 2. Если имеют место (16.2.2) и (16.2.3), то d* называется равномерно лучшей решающей функцией, чем d. Если не существует функции в D, равномерно лучшей, чем d*, то d* называется допустимой решающей функцией. Класс П решающих функций называется полным классом, если для любой d£Dr найдется элемент d* (^ D, равномерно лучший, чем d.
Если полный класс решающих функций не содержит никакого (собственного) полного подкласса, то он называется минимальным полным классом. Понятие полного класса решающих функций — важное в общей теории решений. Отношение между полным и минимальным полным классами решающих функций описывается теоремами 16.2.1. и 16.2.2.
Если минимальный полный класс существует, то он совпадает с классом всех допустимых решающих функций.
Доказательство. Обозначим через D^ класс допустимых решающих функций. Тогда, если П — минимальный полный класс, то D^D\ Пусть теперь dr ^П и d' £ Do. Тогда найдется элемент dr\ равномерно лучший, чем d*. Но dn не может принадлежать D\ так как П — минимальный полный класс. Поэтому должен существовать элемент dnr $ D', равномерно лучший, чем d”, и тем самым равномерно лучший, чем d\ Но это невозможно, так как Dr — минимальный полный класс. Следовательно, D^ не может быть собственным подмножеством ГУ и D^ = D.
Если класс Вй всех допустимых решающих функций полный, то он образует минимальный полный класс. Отсюда и из теоремы 16.2.1 следует
Необходимое и достаточное условие существования минимального полного класса решающих функций состоит в том, что класс допустимых решающих функций полный.
При довольно общих условиях Вальд (1950) доказал, что класс допустимых решающих функций полный и, в частности, класс всех байесовских решений (рассматриваемых ниже) полный. ,
Минимаксный подход к проблеме решения
Вернемся к функции риска г (6, d). Для любой решающей функции d определим вектор риска (r^, d\..., r^h, d)). Рассмотрим максимальную компоненту этого вектора; она, естественно, зависит от d. Пусть d* ^В — решающая функция, минимизирующая максимальную компоненту; другими словами, d* такова, что
sup г (9, <Z*)^sup г (9, d) (16.3.1) e^s 6^2
для всех d£B. Тогда d* или связанный с ней вектор (г(61? </*),..., r$h, ^*)) называют минимаксным решением нашей задачи.
Если В содержит только конечное число элементов, то, очевидно, всегда существует по меньшей мере одно минимаксное решение d*; для него
min {max г (9, б/)} = тах г (9, d*). (16.3.2) d 6^2 e^s
Такое (или такие) d*, доставляющее минимаксный риск, можно найти непосредственным перебором значений гф, d) на конечном множестве точек &XD в порядке, указанном в (16.3.2).
Если же В содержит бесконечное число элементов, то ситуация становится более сложной. В этом случае полезно геометрическое представление. Для каждой решающей функции d^ В набор h чисел (г (9b d),..., г (9Л, ^)) можно представлять себе точкой г в эвклидовом пространстве Rh. Множество таких точек, отвечающих всем d^B, обозначим Е; оно ограничено, так как функция г (9, d) ограничена на 2 X D. Задача нахождения минимаксного решения эквивалентна выбору максимальной координаты каждой точки г и последующей
минимизации этой максимальной координаты. Если минимаксное решение d* существует, то его можно получить следующим образом. Пусть Е;— подмножество Е, на котором r(9z; d)^max r(9y, d), Z= 1,-.., ft. Тогда E = EX (J E^ (J ... IJ Eh, хотя множества E^ Eh не обязательно дизъюнктны, поскольку точка, у которой имеются две одинаковые максимальные координаты, принадлежит нескольким из множеств Еь..., Eh. Обозначим через 714; точную верхнюю грань Z-x координат точек из Eb Z=l,..., h. Если существует d* $ D с условием
шах гфь й*) = ш1п(Л41,..., МД(16.3.3)
i
то d* будет минимаксным решением. Если Е замкнуто, т. е. содержит пределы всех сходящихся последовательностей точек из Е, то по меньшей мере один такой элемент d* существует.
Покажем, что при слабых условиях множество Е замкнуто. Заметим, что для любого элемента из D\R точка L = (L$i> d^x)),..., L^^ d^x))) принадлежит эвклидову пространству Rh. Обозначим множество всех таких точек через F, тогда F ограничено, так как ограничена Л (9, d(x)\ Докажем теорему
Если F замкнуто, то Е также замкнуто.
Занумеруем точки R в последовательность xb Z=l, 2,... Для* каждой d^D
Г (9b d)= 2 ЦЪ, d(xt)) p(xt\9^.(16.3.4)
Всякая решающая функция d^ порождает последовательность точек (L^ d(x^..., L^h, d^, Z=l, 2,...,(16.3.5)
в Rh. Объединение таких последовательностей, отвечающих всевозможным d^D, образует ограниченное множество F, которое мы предположили замкнутым.
Рассмотрим произвольную сходящуюся последовательность точек ra, а= 1, 2,..., из Е, где
re=(r(0i, d^,..., r(9k, d^.(16.3.6)
Обозначим предел этой последовательности через
г* = (г (6b d*),.... г (6Д, d*)).(16.3.7)
Покажем, что г* также принадлежит Е. В множестве F da соответствует последовательность точек
(L(9X, da(xt)),-.., L(9h, d^x^,t=l,2,...(16.3.8)
Если a=l, 2,..., то (16.3.8) образует двойную последовательность точек Lat в F. Применяя к этой двойной последовательности канто- ровский диагональный процесс, получим подпоследовательность da^>
р=1, 2,..., последовательности da, а=1, 2,..., такую, что при каждом t последовательность точек
(^ (9h da. (xj),..., L (9А, 4? (х,)))(16.3.9)
из множества F сходится к
а (9Ь d* (х,)),..., L (9Л, d* (х,)))(16.3.10)
при р~*оо. Так как F замкнуто, то все точки (16.3.10) при 1 = = 1, 2,..., принадлежат ему. Рассмотрим теперь функцию риска
ОО
Г (6, da^= Д L (6, dap (Х,)) Р (^ I 6).(16.3.11)
Переходя здесь к пределу при ^—*оо и пользуясь сходимостью последовательности (16.3.9) к точке (16.3.10), для каждого t будем иметь
Нт г (6, dJ) = lim 5 L (9, d, (х,)) р (xt 16) = У, Нт L (9, d (х,)) X 1 P-coTZi1
ОО
X Р ^t 16) = 5 L (9, d* (xt))p (х, I 9).(16.3.12)
Перестановка операций суммирования и предельного перехода законна, так как функция риска ограничена, а р (xj 6) — распределение вероятностей. Но поскольку точки (16.3.10) принадлежат F, то г (9, d*) =
ОО
= 2^№ ^* (х/)) ? (х/1 ^) лежит в Е. Следовательно, Е замкнуто.
Таким образбм, если множество FczR^ состоящее из точек (А (9Ь d(x)),..., L$h) d(x))), d^D, x^R, замкнуто, то множество EczRh, образованное точками (r(9b d), ..., г(9л, d)), d^D, также замкнуто и существует минимаксное решение d*^ D. Множество всех таких решений d* не пусто и замкнуто.
Отыскание минимаксных решений в конкретных задачах обычно связано с громоздкими вычислениями. Мы выбрали для иллюстрации следующий очень простой пример.
Пример. Пусть х — дискретная случайная величина, /?={0, 1},/>(x|6i) = 0f(l-6.)1-^, 61=1, 62=1.
Пространство решений А предполагаем состоящим из двух элементов, av и «2. Функция потерь L (6/, ау) определяется таблицей
^1^2
0114
0.32
Имеется всего четыре решающие функции da, а = 1, 2, 3, 4:
^(0) = ^,^(1) = ^,
d3 (0) = а2,d^ (1) = ап
d^ (0) = а2, d^ (1) = 02.
По формуле (16.2.1) находятся четыре вектора риска (г (6n da\ г (62, d^y 1
Г (8;. 0=51 №, dtt (Л-)) Р (хI 6,), i = 1, 2; а = 1, 2, 3, 4. х = О
В нашем примере они равны (1, 3), (7/4, 5/2), (13/4, 5/2), (4/2). Наибольшие координаты у каждого вектора равны соответственно 3, 5/2, 13/4, 4 и минимальная из них равна 5/2.
Минимаксной решающей функцией будет d^ (х), а соответствующий ей вектор риска есть (7/4, 5/2).
Байесовский подход к статистической проблеме решения
Решение при заданном априорном распределении. Предположим теперь, что значения параметра 6 появляются в соответствии с некоторой априорной функцией вероятности q (6), 6 = 9Ь ..., 9Л. Тогда для заданной решающей функции d^D усредненная по априорному распределению ^(9) функция г (9, d) даст средний риск T(q, d):
h
T(q. d)=^ r(9„ d}q^ =
i = \ co h
= S £ I ^b d (xt)}p (xt I 6,.) q (9Д(16.4.1)
t = W=1
Е,сли бы мы знали ^(9) и могли найти такую функцию d*^D> что
f(q, d^^T^q, d)(16.4.2)
для всех d^D, то d* мы могли бы считать оптимальным решением задачи. Решающая функция, минимизирующая T(q, d\ называется байесовским решением, отвечающим априорному распределению ^(9).
Отметим, что поскольку ^(9,)^0, Z=l, ..., й, и ^(9^ + •••+’ —[—^(6Л)= 1, то набор (^(91), ..., q^h^ можно представлять точкой (й—1)-мерного симплекса Q в эвклидовом пространстве Rh, порожденного точками (1, 0, ..., 0), (О, 1, ..., 0), ..., (О, 0, ..., 1).
При каких же условиях существует байесовское решение? Представим r(q, d) в виде
'оо h
T^)d^=^^L (9,-, d (х^ Q (9, | xt^ Pq <xt\ (16.4.3)
^=U=1
где
Q(0/1 Х/) = .РЗ^Д^.(16.4.4)
И Л
Pq^.^^p^A^q^(16.4.5)
Q(6,-|^z)— апостериорная вероятность того, что 9 —9Z- при условии x = xt и заданном априорном распределении q^
Пусть для данных ^(9) и t величина и
^l^ d^WAx^(16:4.6)
представляет собой точную нижнюю грань чисел
^L^b d(xt))Q^\xt)(16.4.7)
i = i
по всем (L(9b d(x()), ..., L(9h) d(xf)))^F. При фиксированном t точка (Q^tlx^), ..., Q(9Л |^)) принадлежит G. Таким образом, последовательность точек х^ х^ ... выборочного пространства R определяет последовательность векторов в F и соответствующую последовательность в О. Пополним *) множество F векторами
(Л (9Ь 4 (^z)) Q & | х^ ..., L (9Л, d М) Q (9л I ^ (16.4.8)
£=1, 2, ..., d £ D, и минимизирующим вектором
(Л (9, d* (х,)) Q (0! | х^ ..., L (9а, d* (х^) Q (9Л, х^ (16.4.9)
t=\, 2, ... Тогда Е и, следовательно, D будут замкнуты и (16.4.6) будет минимизировать (16.4.7) при фиксированном t по всем точкам из F. Другими словами, D будет содержать тогда по крайней мере один элемент d*, для которого
со h
^^L ^b d* (x,)) Q (9t | x() Pq (X,) ^ T (9, d) (16.4.10) t= 1 i = l
при всех d^D. Каждый такой элемент d* ^ D дает байесовское решение задачи, отвечающее априорному распределению q^). Множество таких d* непусто и замкнуто.
Таким образом, доказана теорема.
4.1. Если при заданном априорном распределении ^(9) множество F пополнено векторами (16.4.8) для всех t=\, 2, ... и всех d^D и векторами (16.4.9) для всех t=\, 2, ..., то Е
*) Это пополнение означает расширение пространства решений D. (Прим, иерее.)
замкнуто и решающая функция d*, отвечающая последовательности векторов (2 (Ор d* (х^у ..., L ф/р d* (^J)), определенной в (16.4.6), минимизирует средний риск f(q, d) из (16.4.1).
Геометрическая интерпретация. Обозначим левую часть (16.4.10) через r^q, d*); тогда
f(q, d^ = min г (q, d) = min" V г фь d)q ф^. (16.4.11) d D r^E^x
Следовательно, если взять взвешенные средние координат каждой точки из Е с весами ^(ОД ..., q^^ то f^q, d*) будет наименьшим среди них. Геометрически: если для заданного q^ построить семейство гиперплоскостей (С—параметр семейства)
h
^ftq^i^C (16.4.12) i=l
в Rh> то точка r = (rb ..., г^ множества Е, отвечающая наименьшему (среди точек Е) значению С, дает байесовское решение относительно <7 (6), а соответствующее значение С равно минимуму среднего риска г ^ d*). Все координаты г конечны, так как Е ограничено.
Множество решений, отвечающих всевозможным априорным распределениям. Опишем множество решений, отвечающих всем априорным распределениям. Набор
(7(91), 7 О (16.4.13)
представляется точкой симплекса ОCZ Rn> порожденного векторами (1, 0, . ..^ 0), .(0, ..., 0, 1). Координаты точки (16.4.13) являются направляющими косинусами нормали к гиперплоскости (16.4.12). Следовательно, множеству точек г £ Е, доставляющих минимальные значения С при всевозможных априорных распределениях 7 (9), отвечает множество гиперплоскостей, образующих нижнюю границу оболочки множества Е. Очевидно, что множество Е* точек из Е, участвующих в построении границы оболочки множества Е, само лежит на границе. Оно представляет собой множество всех байесовских решений задачи, отвечающих всевозможным априорным распределениям <7(6).
Пример. В конце § 16.3 мы привели простой числовой пример, иллюстрирующий процедуру нахождения минимаксного решения. Вернемся к этому примеру и предположим, что 0 имеет априорное распределение q (0), где ^(OJ—-^-, ^(02) = ^-. Вспоминая, чго решающим функциям db da> d^ d^ отвечают векторы риска (1,3), (7/4, 5/2), (13/4, 5/2), (4,2), мы можем вычислить 5r(9/> d^q^p как скалярное произведение каждого из векторов риска и вектора (q (ОД q (02)) = (1/3, 2/3). Эти скалярные произведения равны 28/12, 27/12, 33/12, 32/12. Они представляют собой средние риски решений dXl d^ d^ d^ при данном q (0). Решающей функцией, минимизирующей сред-
ний риск при выбранном q (6), оказывается d^. Если построить описанную выше оболочку, то мы увидим, что она содержит только первые два вектора риска. Это означает, что только dx или d^ оказываются байесовскими решениями при любых априорных распределениях.
Замечания о возможных обобщениях
Мы рассмотрели статистическую теорию решений только для простейшего случая, когда случайная величина х дискретна, параметрическое пространство 2 содержит конечное число точек и надх производится одно наблюдение. (Заметим, что х могла бы быть п-мер- ной случайной величиной. Например, под х можно было бы понимать выборку объема п из пуассоновской совокупности с параметром 6, принимающим конечное число значений.) Были построены минимаксное и байесовское решения в этом сравнительно простом случае.
Полученные результаты можно обобщить в различных направлениях. Например, можно перенести эти результаты на случай, когда распределение х абсолютно непрерывно, а 2 по-прежнему состоит из конечного числа точек. Обобщение в другом направлении связано с отказом от конечности пространства 2, которое можно предполагать счетным или даже считать его подмножеством эвклидова пространства. Еще одно направление обобщений — введение последовательной выборки.
Читателям, интересующимся различными обобщениями, следует обратиться к книгам Вальда (1950) и Блекуэла и Гиршика (1954) и к статьям Дворецкого, Кифера и Вольфовитца (1953а, 1953b), Карлина и Рубина (1956), Лемана (1957).
ЗАДАЧИ
Пусть х — случайная величина, имеющая биномиальное распределение.'
р(х|0) = Р]0^(1— б)8"*, х = 0, 1, 2, 3,
2200а параметрическое пространство состоит из двух точек, 01= 1/100, в2= 1/10. Предположим, что пространство решений А содержит два элемента, av и а^ а функция потерь задана таблицей ~
2
2
0
0
01
62
Пусть пространство D решающих функций состоит из трех точек, dv (х), ^2 (х), d^ (х), где
да^Ц«и^0, 1,1,
I в2 в остальных случаях,
а=1, 2, 3. Определить решающую функцию, доставляющую минимаксное решение задачи.
(Продолжение). Найти решающую функцию, которая дает байесовское решение задачи для заданного априорного распределения.
Пусть х— случайная величина с функцией вероятности
р(х|в) = (1—е)0^-1,х=1, 2, ...,
параметрическое множество Q состоит из двух точек, 0А = 1/10, 02 = 2/1О.. Предположим, что пространство решений 54 содержит два элемента, X и а^ и функция потерь определена следующим образом:
9102910201012020
91
02
91
02
01
01
20
20
Пространство D содержит решающие функции
( аи х = 1, ... , а,
I tig, -^ === ® ~Н ^ > ® “j- ^,
а = 1, 2, 3, 4, 5. Какая решающая функция дает минимаксное решение?
(Продолжение). Определить решающую функцию, дающую байесовское решение задачи для заданного априорного распределения.
Пусть х— случайная величина с одной из двух функций вероятности р (х | 6t) или р (х | 02), пространство решений А = {ап а2}, функция потерь определена таблицей
#1 а2
02
Доказать, что все решающие функции, являющиеся байесовскими реше* ниями для априорного распределения q (6), имеют такой вид:
d(x) = av для всех л*, удовлетворяющих неравенству^ с —тк-х,
/>Сг|91)9(6з)
б7(.г) = д2 Для всех остальных х.
г Л А В A 17
ВРЕМЕННЫЕ РЯДЫ
Вводные замечания
Многие задачи науки и техники связаны с процессами, которые можно представить как семейство случайных величин (случайный процесс) на некотором интервале (времени) Т. Значение процесса xt в каждый момент t является случайной величиной. Такие процессы называются временными рядами. Примерами временных рядов служат: напряжение в цепи в течение некоторого промежутка времени, уровень фабричного шума, высота волны в море.
Временные ряды возникают также при наложении случайных флуктуаций на систематический тренд. Примеры таких временных рядов — температура * в городе в течение суток, цены на сырье в различные месяцы, национальное производство в различные годы.
Разработаны различные статистические и математические методы анализа временных рядов. Многие из этих методов созданы для оценки тренда, возникающего во временных рядах при «усреднении», в более или менее эмпирическом смысле, случайных флуктуаций.
В последние годы значительное внимание уделялось изучению временных рядов как случайных процессов. Такой подход часто позволяет глубже (по сравнению с эмпирическим) проникнуть внутрь механизма, порождающего процесс.
Имеется обширная литература, включающая несколько книг, в которой временные ряды рассматриваются с точки зрения случайных процессов. Здесь мы даем только краткое введение в предмет и приводим небольшое число сравнительно простых основных результатов. Дальнейшие результаты можно найти в различных книгах, особенно У Бартлетта (1955), Дуба (1953), Гренандера и Розенблатта (1957), Волда (1938).
Стационарные временные ряды
Вспомним §4.1, где случайный процесс определяется как такое семейство случайных величин ^xt; t £ 7'}, что для каждого конечного набора #!,..., tn значений t^T имеется совместная функция распределения случайных величин х(^..., xtn.
Будем представлять себе переменную t временем, а Т считать подмножеством вещественной оси. Так, в некоторых случаях Т может
17*
состоять из точек арифметической прогрессии. В этих случаях можно выбрать единицу времени таким образом, чтобы 7' = ...,— 1, О, 4-L-.. Выборки образованы значениями xt в моменты 1,..., п или п— h, п — h-^-^..., п—1.
Произвольный случайный процесс {х^; t ^Т^ оказывается слишком общим объектом, чтобы его можно было плодотворно изучать. Мы ограничимся так называемыми стационарными процессами или стационарными временными рядами. Имеется два важных типа таких процессов.
Стационарный в узком смысле процесс определяется тем свойством, что случайная величина
(х^,...,(17.2.1)
при любых tv ..., tn и произвольном h распределена одинаково с величиной
> ^1пл-нУ(17.2.2)
(Заметим, что можно считать xt комплексной или ^-мерной случайной величиной, хотя мы будем почти всегда рассматривать одномерную вещественную xt.) Следовательно, распределение величины (17.2.1) зависит только от разностей
^2 — ^ь ^3 ^2»^п ^л—1*(17.2.3)
Читатель легко докажет утверждение
Если \xt; t^ 7} — стационарный в узком смысле процесс и g (| xt I) < оо, то g (xt) = const при всех t.
Приведем пример стационарного в узком смысле процесса.
Пример. Рассмотрим вещественный процесс
xt = 2 #р cos (ftop-]-^)» ^ = .«м —1, О,(17.2.4)
р=1
где alf ..., аг— вещественные постоянные, — числа из интервала
[—^> -ф-те], которые можно считать упорядоченными: с^ <... < <ог, иъ ..., иг — независимые случайные величины, каждая из которых равномерно распределена на [—те, +к1‘ Пусть 1и ..., tn— произвольный набор значений 7 Тогда
x/t + A= S вР “s^p + ^p)»5=1 (17.2.5)
6Р=1
где Dp — независимые величины, равномерно распределенные на интервалах уЬюр—те, Асо^г, —|—тт], р=1, ..., г. Очевидно, что совместное распределение величин (x/n х^ такое же, как и (х/1 + ^, ..., х^кУ -
Следовательно, процесс (17.2.4.) стационарен в узком смысле.
Отметим, что комплексным вариантом процесса (17.2.4) является также стационарный в узком смысле процесс
xt = 2 ареЦ‘шР+“р\ t = ..., — 1, 0,+1, ...(17.2.6)
Р=1
Некоторые из наиболее полезных результатов о временных рядах верны без предположения о стационарности процесса в узком смысле при следующих более слабых условиях: (i) ^>xt постоянно при всех t, в таком случае можно считать gxz = 0;(ii) матрица ковариаций величин (17.2.2) не зависит от й. Процессы \х£ t £ 7}, удовлетворяющие этим двум условиям, называются стационарными в широком смысле. Это означает, что матрица ковариаций зависит только от разностей (17.2.3) и, следовательно, ковариация xtJrh и xt (считаем g^ = 0) оказывается функцией только й:
^{xl+h xt) = th.(17.2.7)
Рассматриваемая как функция h, уд называется функцией ковариаций процесса \xt; t £ 7}; иногда ее называют ковариацией с запаздыванием аргумента или автоковариацией с запаздыванием. Коэффициент корреляции между х/+л и xt равен рл = ул/у0. Рассматриваемый как функция h, рл называется сериальным коэффициентом корреляции процесса.
Для комплексных xt функция ковариаций уА определяется как
Ta = S(^+a ^)>(17.2.8)
где xt — величина, комплексно сопряженная с xt.
Легко устанавливается следующий результат.
Стационарный в узком смысле процесс с конечной матрицей ковариаций стационарен также в широком смысле.
Моделью некоторых временных рядов {_yz; t £7} служат процессы вида
yt = m-t-\-xt,-(17.2.9)
где mt постоянна при всех t, а процесс ^xt; t £ Т] стационарный с^^ = 0. Таким образом,
^pt = mt(17.2.10)
и функция ковариаций процесса {yz; t С 7} одинакова с функцией ковариаций процесса ^xt; t £ 7}, т. е. (в вещественном случае)
Тл = ® [О^ — ти^ bt — ^)) = S(17.2.11)
Одной из задач теории временных рядов является оценивание параметров mt и ул или проверка гипотез относительно mt и ул по результатам наблюдений отрезка процесса длины п, включая и случай п—оо.
Спектральная функция стационарного процесса
(а) Частный случай. Если рассматривать только два первых момента стационарного процесса, то для описания процесса достаточно функции ковариаций ул. Покажем, что сама функция ковариаций может быть выражена через спектральную функцию процесса.
Рассмотрим сначала связь между функцией ковариаций и спектральной функцией для стационарного процесса (17.2.4). Легко проверяется, что при всех t
g^/ = SaP^lcos(top + Hp)l-(17.3.1)
р = 1
Для функции ковариаций th = E(xtA.hx<) имеем
Г
Ъ-$ = У a^q S [cos (s<op+ир) cos^to,,+ ».,)]. (17.3.2)
Р. 9 = 1
Но g [cos (swp+u^ cos (/®9 + ид)] = 0, q^p. Пользуясь тем, что при q—p
COS (Stop + Hp) cos (ttop -|- Ир) = у cos ((s + 0 top + 2hp) 4-
у cos (s — /) top, находим
g [cos (Stop 4- Hp) cos (ttop 4- Hp)] = у cos (s — typ.
Следовательно, полагая t — s = h, будем иметь
7ft = у Ир cos (Atop) = cos hto dF (<o),(17.3.3)
P — 1—It
где F (w)— неубывающая ступенчатая функция на [—it, —|—-тс], определяемая как
F(«>)= у 2 ^(173Л)
top ^ СО
В конечных точках интервала [—тс, —|—ти] F(—тс) = О и F (-]- я) = То- F (^) называется спектральной функцией, отвечающей функции ковариаций 7Л из (17.3.3). Крайнее справа выражение в (17.3.3) называется также спектральным представлением ^ь-
Для комплексных процессов вида (17.2.6) так же просто может быть получено спектральное представление ^н*
г-4-тс
тл = 4 2 a^iAa>₽ = vXhto<1F ^(17,3,5)
Р«=1—тс
где F(y^ — та же спектральная функция, что и в (17.3.3).
Общий случай. Пусть теперь
хъ t = ..., — 1, 0, 4-1, ...(17.^.6)
— произвольный вещественный стационарный процесс с g (х^ = О и функцией ковариаций fA. Для такого процесса т_д = тй. Для любого
целого М определим функцию FM (<о) на [— те, -|- те] следующим образом:
Fm№ =
<о М
=^ § 2 ip-qco8P®cosqwdto=
— up, q — 1
М
_JL JV „ Г sin (р + 9) ” I sin(p —9)«1 , “ «М 1^ W 2(р + ?) Т 2 (р-9) J"1"
м,VI sin pto COS рт+т° 2—5—Р=1м,VI sin pto COS рт+т° 2—5—Р=1p^q='
м
,VI sin pto COS рт
+т° 2—5—
Р=1
м
,VI sin pto COS рт
+т° 2—5—
Р=1
Функция ^(ю) не убывает на [—те, -[-те], Рм^— те) = О, FM(^-it) = = То- При М—* оо FM (ш) сходится к неубывающей функции F (<о) с В(—«) = 0, F(+7t) = Y0. •
Так как 7_Д = 7Л, достаточно рассматривать только неотрицатель- ные значения h. Покажем, что при й = 0, 1, 2,...
7» = \ cos й<о dF (<о).(17.3.8)'
Для й = 0,1,2,..., М рассмотрим
+тс-ря -М
^ cos h w dFM (<o) = —^ ^ ^ 1p-q cos p<o cos qw cos h® d»> =
—it-x p, q=l
= ^(Ла + Вй), где +7t M
Ah = ^^ Чр-q C0S Pto C0S ^Ш C0S ^Ш ^t°’
-те p^q=\
+тг M
Bh = ^2 cos%pto cos h<o d<ft.
—7E p=l
Пользуясь равенствами '
cos pw cos qw cos hw = -1- [ cos (p —^ ^ —{— A) <o —|— cos (p -{- q — А)ш + -)- cos (p — q + h) <0 -]- cos (p — q — h^ <o], cos2jpco cos hto =-j [cos ^p -f- A) <o —|— cos (2/? — /г) <0 -}- 2 cos /го>],
Чр-q 1q-p>
получим
Ah = 4h(M — h), h^O,Ал = 0,h = 0,
5й = Чо8л.А^О,
Bh = кТо М,/г = О,
где §А = |[1+(-1)Ч
Следовательно, при й = 0, 1,.,.,/И
\ cos й<о dFM (<о) =\ cos й<о dFM (<о) =й#0, й = 0.й#0, й = 0.(17.3.9)(17.3.9)
\ cos й<о dFM (<о) =
\ cos й<о dFM (<о) =
й#0, й = 0.
й#0, й = 0.
(17.3.9)
(17.3.9)
Если теперь положить М-^оо, то мы получим (17.3.8) для неотрицательных й. Используя симметричность приращений Т7^) и функции* cos й<о относительно о) = 0, (17.3.8) можно записать в виде
(17.3.10)(17.3.10)ул = 2 ^ cos йо) dF (<о).о
(17.3.10)
(17.3.10)
F (<о) называется спектральной функцией стационарного процесса xt. Если нормировать F(^y поделив ее на у0, то отношение F(o)')/yo будет представлять собой долю спектральной массы, приходящуюся на частоты ю^о/. Если F^ абсолютно непрерывна и /(<о) — ее производная, то /(ю) называют спектральной плотностью процесса. Сформулируем полученный результат:
17.3.1. Если xb t = ..., — 1,0,-р 1,... — вещественный стационарный процесс с g (х^ = 0, то функция ковариаций ул, й = 0,1,2,..., допускает представление (17.3.10), где спектральная функция F(<o) = lim FM(to\ а Fm(®) определена в (17.3.7).
М—>оо
Для комплексных стационарных процессов xt, t =..., — 1,0, -[-1,..., с функцией ковариаций yA = g(x/+AJ^), й = —1,0,-f-l,..., теорема, соответствующая 17.3.1, принадлежит Герглотцу (1911) и утверждает, что'
Tft= ^А — </^ (w),(17.3.11)
где
F(w) = lim FM(<o)(17.3.12)
иМ—>00
соЛМ
Р^ = 2^М $ ®(2 х^-1рш'21 ^д^^^- (17-злз> —тср=19=1
Можно показать, что подынтегральное выражение вещественно и неотрицательно.
Доказательство теоремы для комплексного случая аналогично доказательству 17.3.1 и предоставляется читателю.
Для описания большинства стационарных процессов, встречающихся в физических задачах, достаточно формул (17.3.10) и (17.3.11), так как в такого рода задачах можно так выбрать единицу времени, чтобы считать £ = ...,— 1,0,4~1>... Обобщение (17.3.11) на случай, когда множеством значений h служит вещественная ось (времени), принадлежит Бохнеру (1932). Он доказал, что для комплексных процессов {xz; — оо<^<^4”°°} с непрерывной при й = 0 функцией ^ справедлива формула
4-00
т„= $ ^“>^(<0).(17.3.14)
—ОО
Для вещественных стационарных процессов обобщением (17.3.10) является представление
7А = 2^ cos hw dF (<•>).(17.3.15)
О
Белый шум. Если вещественный стационарный процесс хь ! = ..., — I/O,-}-1,..., имеет постоянную спектральную плотность /(со) = 70/(2^), (о £ [— к, + 4» т0 из (17.3.8) следует, что ТА = 0 при h ф 0. Обратно, пусть 7^ = 0 при h ф 0; тогда
+к(0, А ^ О,
$ cos Й0>/(0>) <Z<0 = |^ ft_0(17.3.16)
Если функция /(ю) симметрична относительно со = 0 и может быть представлена рядом Фурье й0 4~ bx cos <о 4~ ^а cos 2<о -р • • - > т0
$ cos hw/(со) d^= ^ [й0 4- bx cos со 4- b^ cos 2<о 4-...] cos й<о d^.
”(17.3.17)
Но (17.3.17) приводится к виду
^ cos йо)/(о)) d^ = bh ^ cos2/z<otM(17.3.18)
Левая часть обращается в нуль при h ф 0 в соответствии с (17.3.16); следовательно, Ьн = 0 для h ф 0. Отсюда f^ = b^ и из того, что
$ /(<o)<Z<o = y0,
получаем 60 = 70/(2те). Таким образом, на интервале [— те,-[-те]
№=%•(17.3.19)
Итак,
Если вещественный стационарный процесс x(,t = »..,—1, О,-(-1,..., имеет симметричную спектральную плотность f^t представимую рядом Фурье Z>0 -|- bx cos <о —|— ^з cos 2ю -|-..., то не» обходимым и достаточным условием обращения в нуль функции ковариаций цн при /г ^ О является постоянство /(<«). В этом случае /(«>) = Y„/(2it), <» £ [— «, + «].
Стационарный процесс xb t = ...,— 1, 0,-|-1,..., для которого Xt и хг некоррелированы при t ^ f, называется белым шумом» Теорема 17.3.3 дает необходимое и достаточное условие того, что процесс является белым шумом (для определенного класса спектральных плотностей).
17.4. Оценка среднего и функции ковариаций стационарного процесса
Оценка среднего. Пусть хъ t = ._, — 1, 0, + 1,..., — вещественный стационарный процесс с g(xz) = p. и мы хотим оценить рь' по выборке (хъ..., х^. Среднее x = ^-t^i-^ будет несмещенной оценкой р,, так как
®(х) = 1л.(17.4.1)
Дисперсия х равна
п—1
Если F^ имеет производную /(<о), непрерывную в нуле и изображаемую рядом Фурье
(17.4.3)(17.4.3)-^ (То + 2Т1 cos со 4- 2у3 cos 2о> +...),
(17.4.3)
(17.4.3)
то нетрудно проверить, что величина в квадратных скобках в (17.4.2) стремится при п^оо к 2ir/(0). Следовательно, в этом случае при больших п
■ о^у^^Ц^. (17.4.4)
Оценка ковариации. Для оценки
п — h
eh = "h 2 (^ — х) kx^h — х)(17.4.5)
5 = 1
ковариации цп после алгебраических преобразований получим
.Ш) = Т*->(*) + 4*>(17.4.6)
где
п — 1п —Л—1Л
r=2(‘-4)t5- 2 (‘-^(Ts+w-^v <17л7> 5 = 15=15=1
Можно показать, что R^O при я->оо, так что при больших п смещение ch как оценки ?л приблизительно равно —о2(х). Если имеется непрерывная в нуле спектральная плотность /(<«), то при больших п'
(17.4.8)
Заметим, что если р известно и в (17.4.5) х заменено на р, то среднее значение полученной оценки в точности равно уЛ.
Вычисление дисперсии ch требует предположения о конечности моментов четвертого порядка величин xb t = _., — 1, 0, -|- 1, • • ♦ > и связано с некоторыми алгебраическими преобразованиями. Однако для стационарных в узком смысле процессов xt можно получить приближенное выражение для дисперсии ch. Рассмотрим процесс zt = (xt— р)(-^+д— р), £ = ..., —1, 0, -|-1,..., который стационарен в узком смысле, если таковым был xt; g ^z^ = уЛ. Предположим, что существует функция ковариаций 7^, g процесса zt
lh.g=^^tZ^g\(17.4.9)
Можно показать, что при больших п дисперсия ch приблизительно равна дисперсии с и, где п—h
5 = 1
Дисперсия си имеет ту же структуру, что и о2(х), и равна
п — h — 1
”,«)=А[й»+2 2
Если z( имеет спектральную плотность, то при больших п
^w—(17-4-12) где
71 о = © [(^ — н) (Лм — P-)F-
Оценка спектральной функции
Пусть стационарный процесс хь 1 = ..., —1, 0, 4*1,..., имеет среднее р и спектральную плотность /(<о). Рассмотрим задачу оценивания /(ю) по выборке (^1,..., х^, считая р известным.
Если вспомнить определение F^) как предела последовательности функций FM (со),. определенных в (17.3.7), при М-^оо, то в качестве оценки /(со) по выборке (хь..., х^ напрашивается выражение
fn (ю) = ^ 01 cos <0 + jz2 cos 2о> —|—... H-_v„ cos п«^, (17.5.1)
где yt = x(— p,. Для нее легко получим
1 L [i I sinn<»cos(n + l)<»1 , SAW —^|То[ИJ + л—1
।। sin (и — У со cosI) о) Ъ
+ 2 7 7, 1 — — cos hw 4i’—.—' 1 '-• L (17.5.2)
e=i
Устремляя n к бесконечности и используя ряд Фурье (17.4.3) функции /(со), найдем, что для всех со £ [—тс, -|-тс], кроме со = 0,
Иш g/„ (ш) =/(«), а Нш ^п (0) = 2/(0). П—>ОО'л—юо
Таким образом,/„ (со) оказывается асимптотически несмещенной оценкой /(со) для (о ^ [—тс, ~ртс], о)^0. С другой стороны, при слабых условиях можно доказать, что дисперсия fn^ не стремится к нулю при п->оо. В частности, если (3^,..., х^— /z-мерная нормальная случайная величина, то fnW при всех п только постоянным множителем отличается от величины, имеющей ^-распределение с одной степенью свободы.
Мы обнаружили, что естественная" оценка fn (со) спектральной плотности /(со) оказывается несостоятельной и следует искать другие оценки. Различные состоятельные оценки /(со) предлагались и изучались Бартлеттом (1950), Гренандером и Розенблаттом (1953), Дженкинсом и Пристли (1957), Парзеном (1957), Тьюки (1949а) и другими. Большая часть этих процедур предназначена для оценивания /(со) в фиксированной точке со интервала [— те, -]- тс]. Но метод Тьюки позволяет оценивать спектральную массу на подынтервалах [—те, -рте]. Мы рассмотрим метод, аналогичный методу Тьюки, и не будем обсуждать другие оценки. Читатель, интересующийся ими, может обратиться к книгам Бартлетта (1950) и Гренандера и Розенблатта (1957).
Предположим, что спектральная плотность /(со) стационарного процесса, наблюдения над которым дали выборку (Xp..., хп\ представляется рядом Фурье (17.4.3). Для заданного т будем оценивать по выборке (хь..., х^ спектральные массы
д /^+ ”\_(17.5.3) \ т 1 2т)\ т 2т)’х
содержащиеся в интервалах
/ —р=0,± 1,..., ± т, (17.5.4) Р \т 2т’ т 1 2тJ > г >>>’ v
где F(co) — спектральная функция.
Число т выбирается так, чтобы, с одной стороны, не пришлось оценивать слишком много спектральных масс, а с другой — чтобы по спектральным массам, содержащимся в интервалах 1р, р = 0, ±1,..., ± т, можно было составить представление о спектральной функции. Грубо говоря, это означает, что т выбирается равным числу ковариаций, дающих «приемлемое» описание функции ковариаций процесса.
Спектральная масса Др может быть записана в виде
р^ . 71т * 2т
АР= $ fW^-(17-5.5)
pit Itт 2т
Используя ряд Фурье (17.4.3) функции /'(о) и произведя интегрирование, получим
Р 2т ' т ^h hit^m т *( • * )
Л=1
Если считать, что ковариации у0, у1?..., ^т содержат «достаточное» количество информации о стационарном процессе, то для спектральных масс Др р = О, ±1,..., ± т, можно предложить следующее приближенное выражение:
д — J«. I 1 V Y sin_W2m) крт_ _
Р 2т т ы^п ?ж12т т ’( • • )
Л=1
р = 0, ± 1,..., ± т.
Если р. известно, то естественной оценкой Др по выборке (хъ..., х^ будетт
А,„ ^A^l У1 с ^(^^ cos hg»(17.5.8)
Рп 2т 1 т я п Н-к 2тт ’47
л=1 п—h
гДе ^T^ZW’ h = ^ 1’•••’ "“^ w^"—1’ Л = Е=1.
= х^ — р,. Ясно, что, поскольку ^>ch = 4^ h = 0, 1,...,
§(М = Ар,(17.5.9)
так что ^рп — несмещенная оценка Др.
Отметим, что оценка ^рп спектральной массы несколько отличается от оценки, предложенной Тьюки (1949 а). Если заменить ~~к^2ДГ^ приближением 0,46 cos (кт^т) 0,54 и ввести поправку в крайней точке приписыванием коэффициента 1/2 последнему члену суммы в (17.5.8), то получится оценка Тыоки для Др.
Так как Крп служит оценкой спектральной массы на интервале (рк]т— т^т, p^jm-\-T:(2mY то несмещенную оценку среднего значения fpW спектральной плотности на интервале 1р можно получить делением ^рп на длину интервала ^jm, т. е.
WpW = -^pn.WpW = -^pn.(17.5.10)(17.5.10)
WpW = -^pn.
WpW = -^pn.
(17.5.10)
(17.5.10)
Можно показать, что дисперсия оценки (17.5.10) при больших п и больших т (т = 0(п)') равна
т-
(т т \х V! /sin (Ате/2/и)\2hpu
\л PnjnJ P' ;\ h-к^т )tn v 7
h——m
Если среднее p, для процесса неизвестно, то в определении ch следует заменить р. на х и пользоваться в (17.5.8.) модифицированными значениями c}v h = 0, 1,..., т, для получения оценки спектральной массы Арл. Можно показать, что при таком изменении ch (17.5.9) и (17.5.11) имеют место при больших п.
Статистические критерии для процессов с конечным числом параметров
Полное изложение различных задач статистических выводов для стационарных процессов лежит вне сферы данной книги. Здесь мы рассмотрим задачи оценивания и проверки гипотез только для некоторых классических процессов с конечным числом параметров. Дальнейшее изучение этих задач можно найти в книгах Бартлетта (1955) и Гренандера и Розенблатта (1957).
Метод переменных разностей. Пусть процесс xt, 1 = ..., — 1, 0, -}-1,..., имеет вид
^=5^ + ^ = ^ + ^(17.6.1)
р=0
где постоянные р0, Pi,..., Рд неизвестны, а процесс е^ представляет собой белый шум с дисперсией о2.
Если к известно, то оценки р0, рр..., рА с минимальной дисперсией по выборке (хр..., хп\ п^>к^-\, можно получить методом наименьших квадратов, а дисперсии этйх оценок вычислить методами §10.3 (с). Эта же процедура применима, если в (17.6.1) все ^заменены полиномами gp(0 степени р, р—0,1,..., к, где go(O> ^i(0”-->&(0 функционально независимы.
Если же в (17.6.1) к неизвестно, то для оценки к можно воспользоваться полуэмпирической процедурой, известной под названием* метода переменных разностей. Этот метод применяется следую-
щим образом. Пусть yhJ — процесс, образованный /z-ми правыми разностями процесса xv т. е.
Vh_t = ДАх( = ДА^ + ДАер(17.6.2)
где’
Алг/ = е/,л—^) ел^_|_^ е^д-л— ••• + (—^£1 (17.6.3)
и А^ выражается аналогично. Рассмотрим последовательность выборок (xb..., xnJr^ Н=\, 2,..., и образуем отношения
e=i
Среднее значение Qh равно п
®Qft = S 2 <ДЧ + ДЧИп ^) ].(17.6.5)
Так как е,— белый шум, а р,— неслучайная функция t, то
g (Д\ + Ь\? = (д^ + g (^Ч^.(17.6.6)
Но
^^Ч^ = о^ К=Р^-(17.6.7)
р=о w v 7
Объединяя теперь (17.6.7), (17.6.6) и (17.6.5), найдем, что
№h = Rh-¥^ h=V(17.6.8)
п
Мы видим, что Rk^0 и Rh = 0 для h ^ к 4* 1. Следовательно, при h ^ к 4~ 1 gQ^ = а2.
На практике поступают так. Вычисляют значения Qb й=1, 2,..., и в качестве оценки к выбирают значение h, начиная с которого Qh становится почти постоянной (с точностью до «малых» случайных флуктуаций); самое это значение Qh служит оценкой а2. Читателю, интересующемуся подробным изложением метода переменных разностей и различных его модификаций, следует обратиться к работам Тинтнера (1940) и Куэнуила (1948).
Тригонометрические схемы с известными коэффициентами и периодом. Предположим, что процесс xt, ! = _., —1, 0, 4"т1,..., имеет следующую параметрическую форму:
а
^Е = 5 [ар cos <ор 5 + Ьр sin (ор 5] 4- ч ,(17.6.9)
где е$ — белый шум с известной дисперсией а2, (вещественные) постоянные ар) Ьр ^р известны, 0 ^ wp ^ к.
Умножим обе части (17.6.9) на -— cos <о$ и просуммируем по 5
от 1 до и. Получим
к
« (“О = S[ap«p W + bp-Up (<о)] + 8 (го),(17.6.10)
p=i
где„
а (ю) = ^ 2 Х5 C0S “^
5=1
п
Ир(ю) = -^2 cos ш^ cos ^(17.6.11)
5=1
п
тр (u>) = А- 2 sin top^. cos <0$,
5=1
n
8 (^= Т 2 ееcos
5=1
Аналогичнок
”•' W = ^pUp W + bp-u'p (to)] 4- 8' (to),(17.6.12)
p=l
где a'((d), Up (ю), ^pW, ^W получаются соответственно из а (о>), п (а>), х)р ((d), 8 ((d) заменой cos (d$ на sin (d?.
Р Заметим, что upVfc\ ^PW> ^((d), d^((d) можно записать в виде
нр w = i 2[cos (<о^+ш) *+cos ^р—w) ^’
п
-Up («>) = ^ 2 (sin ^*р+w^+sin (wp ~ ю> ?ь
5=1n
u'p w=^ 21 sin (<o^+w)$—sin ^p—ю) ^ь
5=1 n
-Op (to) = yn 2 [ — COS (top + to) £ — cos (top — Ш) 6], 5=1
откуда легко получить, что при п-^оо
& [а (<о)] ->& [а (<о)] ->0, to ^ top, Р — 1,- .., А,
& [а (<о)] ->
& [а (<о)] ->
Точно так же при п->оо
$ [а' (<о)] ->$ [а' (<о)] ->О,<о # <0р,bp«> = а)п.— 2 ,РО,<о # <0р,bp«> = а)п.— 2 ,Рр = 1,..,, к,(17.6.15)р = 1,..,, к,(17.6.15)
$ [а' (<о)] ->
$ [а' (<о)] ->
О,<о # <0р,
bp«> = а)п.
— 2 ,Р
О,<о # <0р,
bp«> = а)п.
— 2 ,Р
р = 1,..,, к,
(17.6.15)
р = 1,..,, к,
(17.6.15)
Если для данного процесса периоды 2тс/<ор, р=\,..е) Л, известны, но коэффициенты ар, Ьр р=1,..., к, неизвестны, то в соответствии с § 10.3 (с) линейные оценки этих коэффициентов с минимальной дисперсией можно найти методом наименьших квадратов.
Тригонометрические схемы с неизвестными параметрами — анализ периодограмм*). Пусть процесс имеет вид (17.6.9), где ар, Ьр top и даже к неизвестны. Для этого случая Шастер (1898) предложил метод отыскания • возможных периодов, а Фишер (1929) разработал метод проверки значимости предполагаемых периодов. Мы рассмотрим последний метод, называемый анализом периодограмм.
Описанное выше поведение средних значений функций а(<о) и а'(а)) показывает, что эти функции полезны для «просеивания» истинных периодов, если таковые существуют.
Предположим, что на самом деле периодов нет, т. е. все ар и Ьр равны нулю, тогда xt— белый шум. Для нечетного п, п = 2Л4-П положим
-,=1*•<|7Л16>
Рассмотрим теперь а(<ор), а'(а)р), р=1, ..., к, которые являются линейными функциями xt. Ковариация а(<ор) и а((о^), р ф q^ равна
2^4-126 4-1
cov(a(o)p), a((og)) = ^^"^ cosa)PS C0S0)^ = Г(^\у 2 X
X [cos(top+<o?)$+cos(a);, —(Og)^.(17.6.17)
Ho
e‘V“>p^qA [1_ei%±«>9) (2*4-1)]1— e’^+^le‘V“>p^qA [1_ei%±«>9) (2*4-1)]1— e’^+^lвещественнойчастивещественнойчасти2^4-1
e‘V“>p^qA [1_ei%±«>9) (2*4-1)]
1— e’^+^l
e‘V“>p^qA [1_ei%±«>9) (2*4-1)]
1— e’^+^l
вещественнойчасти
вещественнойчасти
2 cos(top=ka>g)^ =
5 = 1
Так как («>р± w^) (2A -|~ 1) кратно 2it, то величина в квадратных скобках предыдущего равенства обращается в нуль.
Следовательно,
cov (а (о>р), а (о>9)) = 0, p^q.
*) В § 17.6 (с) используется сходимость по вероятности а (со) (а'(со)) к нулю при собкор и к ^^—-^ при «=<0р, которая обеспечивается применимостью закона больших чисел к последовательности E^coswg, 8 = 1, 2,... (Прим, перев.)
Аналогично получим
cov (a' (a>p), af (toq)) = 0, р ^ q, и-
cov(a'(a)p), а(<од)) = О, р, q=l, ..., к.
Для p — q из (17.6.17) будем иметь
*2W)=WTi) и точно так же
Подытожим все сказанное.
6.1. Если xv, ..., х^у— независимые случайные величины со средним 0 и дисперсией о2, то а(<ор), а'(<ор), р=\, ..., к, где числа <йр определены в (17.6.16), будут случайными величинами с нулевыми средними, нулевыми ковариациями и дисперсиями =7(4^ +2).
Теперь мы в состоянии проверить выборку (хь ..., x2^+i) на предмет обнаружения периодов длины 2л/(ор; р=\, ..., к. Если 2itjto— истинный период, то мы знаем), что при п->оо а(<ор) и а' (<ор) сходятся по вероятности к значениям, отличным от нуля. Это означает, что a2(a)p)-|-a'2(a)p) сходится по вероятности к положительному значению, если 2ic/(op — истинный период. Поэтому необходимо иметь критерий, который позволил бы проверить, значимо ли отклонение наибольшей величины (или т-й по порядку, начиная с наибольшей) среди а3 (<ор)-|-а'2 (юр), р=1, ..., к, от нуля, если xt — белый шум. Дополнительная трудность связана с тем, что дисперсия а2 обычно неизвестна.
Построим периодограмму выборки (Ху, ..., x2^+i):
(17.6.18)(17.6.18)/2W№ = ^2T1[^M + ^ (<“)]•
(17.6.18)
(17.6.18)
Сделаем еще одно предположение, именно, что xt — нормальный белый шум, тогда Ху, ..., х2й+1 — независимые случайные величины, распределенные по одному и тому же закону N(0, a2).
Величины
ЦРЩ_«(«д,= 1л,
независимы в совокупности и имеют распределения ^(0, 1). Положим
иР= ^1[^^р) + ^^р)] = ^W^pX Р = 1, .... а. (17.6.19)
Тогда мь ..., ик будут независимыми случайными величинами, совместное распределение которых задается элементом вероятности
е^и1^ликЧих..Лик(17.6.20)
в области ир^ 0, р = 1,..., к и 0 в остальных точках.
Проверка значимости отклонения от нуля наибольшей из величин ^ (шр) Н- а'2 (^р) (или А/м (^р)) сводится теперь к проверке значимости отклонения от нуля наибольшей среди иь_.ик. Так как а2 неизвестна, то естественно проверять, значимо ли отклонение от нуля наибольшего 'из отношений
—(17.6.21)
которые, очевидно, не зависят от с2.
Пусть ч)г обозначает r-ю по величине (начиная с наименьшей) среди ttb..., ик) г = 1, ..., к. Элемент вероятности порядковых статистик ^ь..., ^ равен
£!d-O! ...dvk(17.6.22)
в области+°°. Положим
g= —Т-^—.(17.6.23)
Величина g совпадает с наибольшим из отношений (17.6.21). Получим распределение g, определив сначала моменты с помощью простого, но эффективного приема.
Заметим, что h-й момент g равен о о
^ = $...$& (e<V- • ^Р? ®*) dz,... dzh,(17.6.24)
— ОО —ОО4
где ^ = 2!-^. • . + ^к- Интегрируя по -ub..., -ик_ь находим
§(№-+epvx>») = ^(l —ср)-^-') ^(1 — е-”»!1-^)6-1^!1^®^^. о
(17.6.25)
Подставляя это выражение в (17.6.24), разлагая (1—e-’tli-t))6-*, производя интегрирование по г>6 и затем по zv,..., zh, будем иметь
fc-i
,,, nV Z 1V>M—1\Г(Л4-1)Г(А—1) z.-доех — А(А П^( О ( р y^-i-i^+ip^^^- (17.6.26)
р=0
Но
1
= S ®й(1 -dw. (17.6.27)
1 (// -j"О
Следовательно, 6-11h
p=00*
(17.6.28) Положим чй)] ^-^-1^=^ тогда (17.6.28) перейдет в
к—1р+ 1
8(g)A = ^-l)2 (— ^ГУ/ ^/t1-(Р + 1 M^W (17.6.29) р=0о
Если ввести теперь функцию
<w=<w=[!-(,+ ад^,0<^<?2-Т)
<w=
<w=
Ов остальных точках,
то (17.6.29) запишется в виде
1 6-1
BGd-^-nt 2("1)Р^Г1)yhWd^ (17-6-30)о Р=°'
где h = 1,2....
Из 5.5.1а теперь заключаем, что g и у распределены одинаково. Следовательно, плотность вероятности g есть
6-1
^) = А(Д-1)2 (-1Г( р )9p(g).(17.6.31)
р=0
Отсюда
р &> g^ 2( ~1)Р \р+1)[1 _ ^+° ^*л ° 7-6-32) р=0
гдё г — наибольшее целое, не превосходящее Л — 1, для которого 1—(г-j~ 1)^'^0. Этот результат был впервые получен Фишером (1929) другим методом. Дэвис (1941) составил таблицы значений PUf>ga) для ^=0,10(0,10)10,0; k= 10 (10) 70 и для gah = = 5,1 (0,1) 10,1; £ = 80 (10) 160(20) 300.
Сформулируем полученный результат.
6.2 Пусть хь..:, ^2^+1 — независимые случайные величины, распределенные по закону N^» °2); up^ ?=!,•••> к» определены в (17.6.19), а а(а)р) и а'(шр) определены в (17.6.11) и (17.6.12). Тог* да, если ^=max {«p}/^! 4“ • • • + ?гД то плотность вероятности g задается формулой (17.6.31), a P^g^>^ для любого ^ С (0, О — формулой (17.6.32).
Методами, аналогичными использованным, можно показать, что если g—т-я по величине (начиная с наибольшей) среди wb ...,пй, деленная на гц + ♦•• + «ь 10
pv8>^=^2(7\Т^.7-27'.<|7-б-зз>
р = т
где г — наибольшее целое, для которого 1 — г^ ^ 0.
Отметим, наконец, что полученные результаты относятся к случаю gj^ = O. Если среднее значение неизвестно, то приближенные формулы, по крайней мере при больших и, можно получить, заменив всюду х^ на х^— X, Е=1,..., 2^—|— 1.
Проверка отклонения нормального процесса от белого шума
Пусть по данным выборки (хь..., х^ мы хотим проверить гипотезу о том, что нормальный процесс \хД представляет собой белый шум, т. е. что хъ..., хп — независимые случайные величины, распределенные по закону N(|i, о2). Для этой цели Р. Андерсон (1942) предложил критерий, основанный на отношении
^ = '4,(17.7.1)
С0
где
с'к = 5 Iхя — хХх^ — х), h = 0, 1,
и xn^ = xv. Хотя условие xn+1 = xt выглядит произвольным, употребление циклического коэффициента корреляции с\ значительно облегчает вычисление распределения R. Если ^хД — белый шум, то при больших п значения R лежат около нуля; в противном случае этого не будет. Далее, с^ и с^ СУТЬ квадратичные формы переменных от х^..., хп. Разность сх — Rcy где Rr — число, также квадратичная форма хъ..., хп. Так как
Р« - Rr<>0) = P(R> ю,(17.7.2)
то распределение R определяется распределением квадратичной формы с— R'c^. Если хь..., хп нормальны и независимы, то характеристическая функция с\ — Rrc0 равна
? (О = (^ ) 2 ( ехР [* « — ^О 1 — 2?2 2 (ХЕ — ^1 dX1 • • •йх"ВпЕ=*
(17.7.3)
Используя методы и результаты § 8.4 и замечая, что с' — Rc'a является квадратичной формой также относительно Xj — р,..., хп — р,
получим„_t
?(0 = П [ 1 — 2if (<ZE — /?')]- *,(17.7.4)
где d. = cos (2ir$/«), 5 = 1,..., n — 1. Так как d£ = d^, то для нечетных п
?(0 = П 11-^(^-^Г1-(17.7.5)
Плотность вероятности величины у = c't— Кс’й согласно 5.1.2 равна 4-00
^ОО = ^ J ^? (О dt-(17.7.6)
— ОО
Функция <р (z) имеет простые полюсы в точках z5 = — yi/(<^— R^, 5 = 1,..., (л — 1)/2 комплексной плоскости. Вычисляя интеграл (17.7.6) методом вычетов, получим
SrCv)=-2" ^Sехр {—2 —(17.7.7) d^ > R* где
А^ (л —1)/2•(1/./.0)
П ^-»^
j= 1
Так как P(R^> R') = PCv^> 0), то
P(R>R)=^g(y)dy = S AJd^-R^, (17.7.9) 0d^>R'
откуда можно вычислить критические значения R\ отвечающие заданным уровням значимости. Р. Андерсон распространил этот метод на случай четных и. Он составил таблицу значений Ra, где P(R*> > R^ — oi, для а = 0,99; 0,95; 0,05; 0,01 и п = 5 (1) 15 (5) 75. Дальнейшее изучение задач сериальной корреляции проводилось Андерсоном (1948), Диксоном (1944), Дёрбином и Ватсоном (1951), Хэннаном (1955), Купмэнсом (1942), Мораном (1948), Огаварой (1951), Куэнуи- лом (1948), Уиттлом (1951) и другими.
Линейное прогнозирование стационарных процессов
Предположим, что нам известны значения процесса {xj в моменты £ = ..., —2, —1, 0, и мы хотим предсказать Xj с помощью линейной комбинации значений ..., х_2, х_ь х0, воспользовавшись методом наименьших квадратов. Возникает вопрос: при каких условиях на
процесс среднее значение квадрата ошибки предиктора положительно и при каких условиях оно равно нулю? Ответ на этот вопрос был дан Колмогоровым (1941) и Винером (1949). Мы рассмотрим эту задачу вкратце, пользуясь элементарными средствами анализа.
Обозначим через xLn предиктор для хъ построенный по х_л,...
..х„ь х0. Тогдао
^ ^п^^(17.8.1)
^ = — п
где коэффициенты а^.п, $ = — //,..., —1,0, минимизируют относительно а^п выражение
о
§(х,- 2(17.8.2)
Согласно § 3.8 находим, что
о
^п = 5 ^Tv-i.(17.8.3)
t'—n
где |^-|| = Ц^-iri и |Ы1
— матрица размера (л+ОХ^+О
То Т1 ... ъ
11 То ... Тл
,(17.8.4)
Т« Тл-i • • • То
образованная числами
Тл = Т-л = $ cos/z<o/(<o) d<o.(17.8.5)
Если обозначить через Дл+1 определитель матрицы || квадрат ошибки предиктора х^ п запишется в виде
а.^, ||, то средний
S C^l -^Ьл) ■
__ ^Л+2 ^Л+1 *
(17.8.6)
Для ^ = 1,.. „ п имеем
^Л+2+Е ^ ^Л+2 ^
An+1+S ^«+1
- ^Л+2-Е ^Л+1-Е
(17.8.7)
и, следовательно,
Т1 ^”+2+5 / f^n+2 \П .
(17.8.8)
откуда
( ^2fbVaV^n ./ ^Л+2
\Дд+8 /Д«^1
/Дл+1 у/"
(17.8.9)
Переходя к логарифмам и полагая Дп+2/Дл+1 = а„, получим
A^loga^^,(17.8.10)
где
2/i+21Ц-2
=т 2log 0£-2л+а ~ 2log 05> "•ь8’
Й*5=1(17.8.11)
Вп = ^ J 108 6е. «+1 — ^ 1оё То,
5=1
a ^ ь..., 9^, к — собственные значения матрицы, получающейся из (17.8.4) заменой п на k—1. Поскольку при всех п матрицы (17.8.4) положительно определены и диагональные элементы их равны у0, все собственные значения таких матриц лежат на интервале (0, у0) и, следовательно, логарифмы собственных значений лежат на (— оо, log То)-
Если„+1
Hm-Jf 2 ,°g0^+i=7<'>n-со
то, очевидно,
lim Лп = Нт Вп-К- П-^CQП-^-СО
Полагая
a2 = lim g(xt — х1л)2,(17.8.12)
л~*оо*
будем иметь
^ = ек.(17.8.13)
Если К= — оо, то а2 = 0, т. е. средний квадрат ошибки xVn стремится к нулю при п—>оо.
Используя более мощные средства анализа, можно показать, что если К> — оо, то
^=log2л + ^- \ log/(a>)da>.(17.8.14)
Доказательство можно найти у Колмогорова (1941) и Винера (1949), а также в книгах Дуба (1953) и Гренандера и Розенблатта (1957).
Другая задача, связанная с линейным прогнозированием, состоит в анализе процессов авторегрессии. Говорят, что ^х^ — процесс авторегрессии r-го порядка, если при некоторых аь..., аг
yt = xt — axxt_x — ... — arx(_r (17.8.15)
является белым шумом. Оценка наименьших квадратов аъ_.,аг по выборке (хь ...^х^ может быть найдена обычным образом. Диксон (1944) рассмотрел для нормального белого шума {yj задачу проверки
гипотезы о равенстве всех аь..., аг нулю против альтернативы, согласно которой ат = ат+1 = ... = аг = О, используя метод отношения правдоподобия. Авторегрессионные схемы изучались Манном и Вальдом (1943). Вальд (1938) рассмотрел задачу проверки гипотезы о том, что процесс {xj имеет вид yt-Vaxyt-xA'--*"VarNt-n гДе {у 4 — белый шум.
ЗАДАЧИ
Пусть х^ t = ..n —1, 0, + 1,..., —стационарный процесс, спектральная плотность которого равна
f ^=^^— Ы)> —+
Показать, что функция ковариаций имеет вид
’1,Л = 0,
О, если h четно.
(Теорема Слуцкого (1937)). Пусть xb t = ..4 —1, 0, +1,..*, — вещественный стационарный процесс со спектральной плотностью / (со). Доказать, что сглаженный процесс
к
vt= 5 aP*t-fe*P> <=•> —i,o, 4-1,...,
Р—О
где я0> 5i>---> ^— вещественные постоянные, также стационарный и его спектральная плотность равна
к к
Х^^МgCOS^ — q) <0]/(а>).
^=0 р=0
В частности, покажите, что если ар = 1/(^4" 1), р = 0, 1,..., £, т. е. сглаженный процесс представляет собой среднее из (^4-1) элементов, то {yj имеет спектральную плотность
1—COs(fe-|-l)o> , .(*4~ I)2 (1—cost») JV ’■
(Продолжение). Применим к стационарному процессу xb t — ... ..., —1,0, -}“ Ь“»> операцию сглаживания, определенную в предыдущей задаче, г раз. Доказать, что при этом получится стационарный процесс со спектральной плотностью
к к
[ S S apaqcos(p —
q=Q р=й
Пусть (xt)— белый шум с дисперсией 1. Доказать, что функция ковариаций процесса, образованного n-ми правыми разностями х^ равна
Тй= J ( 1} (п —й)! («4-й)!’’
*(0в противном случае.
Предположим, что хь £=...,— 1, 0,4-1, ..., — линейный процесс, т. е.
+оо
xt== 5j ^t-p^ptр =—00
4-00
где ..., a_v о0, av ...— вещественные числа, ^ а^ссо^ а е_и е0>
р = — 00
гп ... —независимые случайные величины с нулевыми средними и единичными дисперсиями.
Показать, что спектральная плотность процесса Vх А есгь 4-004- ОО
q — — оо р = — оо
Доказать, что для стационарного процесса \xt\ с gx/ = O спектральная функция /7(ti) = lim Fm.W> где
М—> оо
О)
Рд! (ю) = 4й 5 $ ^ sin м + "• + ХМ sin М ")* dto>
а также Р(ш) = lim Р^т), где 1М (ю) — периодограмма, 1М(<») = о^ Х
м ~>0°
ipm I2 хре > р = 1
РмМ= Ум (“)Л'л-
Доказать, что функция ковариаций
ih = § {хм *Д ^ = ...,— 1, о, +1,
комплексного стационарного процесса дается формулой (17.3.11), где F^)^
= lim FM^ и ^(м) определена в (17.3.12). М-* оо
Пусть хь £ = ...,— 1, 0,4-1, ..., — стационарный процесс с функцией ковариаций
7л = 7»р\ 0<P<+L Л = 0, 1, ...
Доказать, что средний квадрат ошибки линейного прогнозирования Xi
по х_т х_пЛА1 ..., х_и х0 методом наименьших квадратов равен а2=*{0(1 —
(Продолжение). Покажите, что спектральная плотность процесса из задачи 17.8 равна
? тс(1 4-р2 — 2pcos«) ’
Доказать формулу (17.6.33) методами, аналогичными использованным при выводе (17.6.32).
ГЛАВ А 18
МНОГОМЕРНЫЙ
СТАТИСТИЧЕСКИЙ АНАЛИЗ
В последнюю четверть века линейный и квадратичный анализ выборок из многомерных совокупностей вполне оформились в отдельный раздел математической статистики, получивший название многомерного статистического анализа. Ббльшая часть теории в этом круге задач относится к выборкам из нормальных совокупностей. Имеется множество важных и интересных результатов в многомерной статистической теории, рассеянных в статистической литературе. В книге такого типа, как настоящая, невозможно осветить все их. Читателю, интересующемуся дальнейшими математическими деталями, следует обратиться к книгам Андерсона (1958) и Роя (1957). Подробности, связанные с использованием этих методов для вычислений, можно найти в книгах Рао (1952) и Кендалла (1957). В книге Андерсона имеется исчерпывающая библиография по многомерному статистическому анализу.
Многомерное статистическое рассеивание
В качестве введения в многомерный статистический анализ удобно определить и рассмотреть рассеивание выборки относительно точки. ,
Одномерный случай. Для начала пусть (xv ..., х„) — выборка из одномерной совокупности F (х) и х0 — произвольное вещественное число. Числа xt, ..., хл и х0 можно представлять себе точками вещественной прямой. Рассеивание tSXQ> п выборки относительно центра х0 определяется следующим образом:
п
=2 (хг ~ х°)2=1&-«+" ^ - ^)2- <18-1 •1)
Заметим, что jS^, п есть просто сумма квадратов длин п отрезков, соединяющих точку хй со всеми точками хс, принадлежащими выборке. Отметим также, чтр рассеивание выборки относительно точки х0 равно ее рассеиванию относительно среднего значения выборки х плюс взвешенное рассеивание точки 5с относительно х0 с весом, равным объему выборки п. Следовательно, рассеивание выборки минимально, если оно вычислено относительно выборочного среднего.
Мы знаем также из § 8.2, что если F(x) имеет среднее значение р. и дисперсию о2, то
В (А„ п) = п [о2 + (ц - хв)2],(18.1.2)
откуда очевидно, что минимальное значение g (i^, л) достигается при хй = ^.
В механических терминах jS^, п есть момент инерции выборочных точек xv ..., хп относительно центра х0.
Предположим теперь, что имеются две выборки (х^,..., х^) и (xf,..., Хп») из одномерных совокупностей Fv (х) и F^ (х) соответственно. Пусть х^ и х^ — выборочные средние, а х — среднее значение объединенной выборки объема п^-^-п^ построенной по выборкам (x;lV... хЭД и (х^1,..., х'^. Пусть, далее, i^1*’, П1, 1^21 ^ — рассеивания выборок относительно соответствующих выборочных средних, взятых в качестве центров, и iSi, д^^— рассеивание объединенной выборки относительно центра X. Читатель легко проверит, что
(18.1.3) Таким образом, при жестких сдвигах каждой выборки минимальное значение рассеивания объединенной выборки относительно х равно сумме рассеиваний отдельных выборок относительно соответствующих выборочных средних; этот минимум достигается только, когда оба выборочных средних совпадают. Результат, выражаемый равенством (18.1.3), непосредственно обобщается на любое число выборок.
Двумерный случай. Рассмотрим теперь выборку (х^, х^; 5=1,..., п) объема п из двумерной совокупности F (х^ х2). Пусть (х10, х20)— произвольная пара чисел. Элементы выборки вместе с парой чисел (х10, х20) можно рассматривать как множество (самое большее zz—|— 1) точек плоскости. Условимся называть это множество выборочной гроздью. Возьмем два любых элемента выборки (х^, х20 и (х17р х^ и точку (х10, х20). Эти три пары можно в общем случае рассматривать как три точки плоскости (хь х2). Если эти три точки не коллинеарны, к ним можно тремя различными способами добавить четвертую точку так, чтобы полученная четверка лежала в вершинах некоторого параллелограмма. Все три % возможных параллелограмма имеют одинаковые (с точностью до знака) площади А^Хо.
Условимся называть абсолютное значение этой площади двумерным объемом, определяемым точками (х^, х2^), (х17), х27]), (Хю> х20). Квадрат этого объема равен
А^, х0 —А^, х0 —Xi$х10х2Ех20X17JХц) X27JХ20Xi$х10х2Ех20X17JХц) X27JХ20•2•2(18.1.4)(18.1.4)
А^, х0 —
А^, х0 —
Xi$х10х2Ех20
X17JХц) X27JХ20
Xi$х10х2Ех20
X17JХц) X27JХ20
•2
•2
(18.1.4)
(18.1.4)
Возведя в квадрат определитель в правой части, (18.1.4) можно записать в виде *-
^Еч, ^о = ^ЕЕ + ^ч + ^чЕ “Ь ^W(18.1.5)
где
д С^1Е *1о)*(-^п^о)^ ^зо) (18 16)
C*jE -^ю) (-^зЕ*^2о)(-^211*^2о)2
и аналогичные соотношения имеют место для А , А А^. Отметим, что А и Д^ равны 0.’
можно образовать таких парможно образовать таких пари так как Л^Хо = О, сумма значе-и так как Л^Хо = О, сумма значе-Пара (£, т]) может быть любой парой чисел 1, ... , л. Всего п 2
можно образовать таких пар
можно образовать таких пар
и так как Л^Хо = О, сумма значе-
и так как Л^Хо = О, сумма значе-
п пп пний Л^, .Vo по всем парам (£, т]) равна SSЛ^, Хо. Но эта т] = 1Е=1’П 7)П Правна ^ X А^= 2 2 ^чг Обозначим последнюю сумму 7) = 1 ^=J7J = 1 ^= 1”ний Л^, .Vo по всем парам (£, т]) равна SSЛ^, Хо. Но эта т] = 1Е=1’П 7)П Правна ^ X А^= 2 2 ^чг Обозначим последнюю сумму 7) = 1 ^=J7J = 1 ^= 1”суммасуммачерезчерез^Х^П^Х^Пи примем во внимание, что для любого множества определите-и примем во внимание, что для любого множества определите-лейлейа.а.ЕЕс.с.Ь.4Ь.4чч6, ri= 1, ... , п, верно соотношение6, ri= 1, ... , п, верно соотношение'ч'чЧ ЕЧ ЕЕЕСк ^чч ,Ск ^чч ,(18.1.7)(18.1.7)ЕЕt-J ^Т)чt-J ^Т)ч
п п
п п
ний Л^, .Vo по всем парам (£, т]) равна SSЛ^, Хо. Но эта т] = 1Е=1’
П 7)П П
равна ^ X А^= 2 2 ^чг Обозначим последнюю сумму 7) = 1 ^=J7J = 1 ^= 1”
ний Л^, .Vo по всем парам (£, т]) равна SSЛ^, Хо. Но эта т] = 1Е=1’
П 7)П П
равна ^ X А^= 2 2 ^чг Обозначим последнюю сумму 7) = 1 ^=J7J = 1 ^= 1”
сумма
сумма
через
через
^Х^П
^Х^П
и примем во внимание, что для любого множества определите-
и примем во внимание, что для любого множества определите-
лей
лей
а.
а.
Е
Е
с.
с.
Ь.
4
Ь.
4
ч
ч
6, ri= 1, ... , п, верно соотношение
6, ri= 1, ... , п, верно соотношение
'ч
'ч
Ч Е
Ч Е
Е
Е
Ск ^ч
ч ,
Ск ^ч
ч ,
(18.1.7)
(18.1.7)
Е
Е
t-J ^Т)
ч
t-J ^Т)
ч
Тогда будем иметь следующий результат:
2 (^^-^ю)2 2 ^Ц *^ю) (^Tj -^2о)
ЕI
2 (*^2^^о) (-^Ц-^1о) 2 (*^27)*^2о)2
Е7]
где суммирование ведется по 6 и к] от 1 до п.
Матрица, определитель которой есть .2^0, п> является матрицей Грама, т. е. матрицей вида Л'Л, где
•^11*^10 *^21-^20
(18.1.9)
•^1/г*^10 *^2п-^20
и АТ — матрица, транспонированная по отношению к Л.
Величина 2SXo, п характеризует рассеивание выборки (х^, х^, ^=1, ... , д) относительно центра (Хю, х^); она равна сумме квадратов двумерных объемов, определяемых точкой (х10> ^зо) и всевозможными парами выборочных точек (х^, х^; 5=1, ... , п). Матрица
с определителем До> п называется матрицей рассеивания выборки относительно (х10, .г20).
п
Если ПОЛОЖИТЬ Xi = ^- 2 Xi^ ^=С 2, и
Пи = Нл= 2—l’ J=]> 2,(18.1.10)
то будем иметь
У) к^и^zo) ^j^^/о)== 11 и 4~ « (^t-^/о) ^j Xj^. (18.1 Л1)
Следовательно,
2^o. n —2^o. n —(18.1.12)(18.1.12)«И 4" n (-^1*io)2 «12 “h n C^l ^lo) 0^2^2o)^21 4” « (^2*^2o) (-^1Aqo) «22 4” « 0^2 -^2o)2
2^o. n —
2^o. n —
(18.1.12)
(18.1.12)
что является двумерным аналогом (18.1.1). Если записать определитель в правой части (18.1.12) обычным образом в виде суммы четырех определителей, то выражение для До, п примет вид
2^0,712^0,71«И «12«21 «22«И «12«21 «222
2^0,71
2^0,71
«И «12
«21 «22
«И «12
«21 «22
[1+« 2 ^^t-x^^j-хД (18.1.13) i,j=X
где || «^ || ^^ II «^ 1Г1’ и эта обратная матрица существует, конечно, только в том случае, когда матрица рассеивания ||и^-|| выборки относительно (хь х^ неособая с вероятностью 1. Матрицу || utj || будем называть матрицей внутреннего рассеивания, а ее определитель l«z/l — внутренним рассеиванием выборки. Будет показано, что IIm^H — неособая матрица в том и только в том случае, когда п выборочных точек (х^, х^; 5 = 1, ..., п) неколлинеарны. Если матрица || ui}-1| неособая, то квадратичная форма, стоящая внутри квадратных скобок в правой части (18.1.13), положительно определена и мы имеем следующий результат.
«И «12«21 «22«И «12«21 «22S_ = 2 х, пS_ = 2 х, п(18.1.14)(18.1.14)Рассеивание выборки относительно центра (х^, Хад) минимально в том случае, если в качестве центра взято выборочное среднее (Jcv х^. Это минимальное рассеивание — внутреннее рассеивание выборки — равно
«И «12
«21 «22
«И «12
«21 «22
S_ = 2 х, п
S_ = 2 х, п
(18.1.14)
(18.1.14)
Покажем теперь, что
Среднее значение двумерного рассеивания относительно (^Ю> ^2о) РавНО
§ (2^0, 4^§ (2^0, 4^°11 4“ (^1 Хю)2°12 4” (р*1Хю) (р*2-^зо)
§ (2^0, 4^
§ (2^0, 4^
°21 4“ (^2-^2о) (p-i — Хю)О-зз 4" (№*^2о)8
(18.1.18)
где ||о;у || — матрица ковариаций и (рц, р,2) — вектор средних распределения F (хь х^ Минимум SG&0, п) достигается тогда и только тогда, когда (х10, х90) = (р,ь рс2); в этом случае min g-G^o, п) = =: © G*$V, п)== ^ ^2) I at j I •
Формула (18.1.15) — двумерный аналог (18.1.2). Чтобы установить ее, напишем выражение для ©Д^:
®(М= 5 \MF<xt x^dF^, х4ч).(18.1.16)
' Ra Ra
Заметив, что равенство (18.1.7) справедливо для интегралов так же, как для конечных сумм, можно правую часть (18.1.6) записать в виде определителя | Ь^-|, где
Sai = $ (Хц — х,0) (ха$ — х20) dF (х^, х,^ Ra
и Dlb Dn, D^ имеют аналогичный вид. Отсюда
^у == & IC^i -^zo) (-^у^уо)] == °ij 4~ (P*z -^zo) fry -^yo)*
Следовательно, для $^7]=1, ... , n
g(M =g(M =°И 4" (P*l — Xio)2°12 4" (p^l — ^o) (P^-^2o)
g(M =
g(M =
°21 4- (^2X2o) (p-l^io)°22 4" (p*2-^o)2
Ho
® №. *0)=© (AeO + § (M + ® M 4- ® (A.4=2g (Д^),
a Ao, n является суммой величин Л^ ^^ в количестве ^- Поэтому$ G^o, zi) = 2 ^2 j ^^^’
что эквивалентно (18.1.15). Доказательство утверждения 18.1.2 закончено.
Отметим, что если матрица Цагу|| положительно определена, то обратная матрица ||а/у||'“1 = ||ам|| существует и также положительно определена; в этом случае
g(A0,„) = 2 " |0,7| [1+ 5 а'/^-х^^-хД (18.1.17) СZ, у=1
Из (18.1.17) очевидным образом следует
Если Н^/|| положительно определена, то §(А0, л) достигает минимума при выборе в качестве центра вектора средних (р.ь |х.2) распределения Р(хъ х^У Это минимальное значение равно•
gG^„) = £|v,v| = 2^|«,v|,(18.1.18)
где п
== ^ji 2 ^Ч ^ ^Ч Pv)’ ^ 1 = ^ ’ 2. (18.1.19)
Предположим теперь, что (х^р х^; ^=1, ... , п^ и (х$2, х^; $2=1, ... , п^— выборки из совокупностей Fx(xb х2) и F3(xi, х3) соответственно. Пусть (х^, х^) и (xj2), х32)) — средние, а || м^’ || и Пи^Н, Z, /=1, 2,— матрицы внутреннего рассеивания этих выборок.
Если (хь х3) — вектор средних объединенной -выборки, то можно непосредственно убедиться в том, что рассеивание объединенной выборки относительно (хь х3) равно
А. „1 + „2 = I «и + иу/ + Я, - ^г) (х/’ - X,) +
+ ^ (х,21 - Xi) (X'f — X/) |. (18.1.20)
Определитель второго порядка в правой части (18.1.20) является двумерным аналогом правой части (18.1.3).
(с) fc-мерный случай. Никаких трудностей нового порядка не встречается при определении рассеивания ^S*^, п относительно центра (х10, ... , хк^ выборки (хг^ ... , xh£ 5=1, ... , п) из ^-мерной совокупности F (х1; ... , хД
Выборку вместе с точкой (х10, ... , хА0) можно рассматривать как совокупность n-f— 1 точек в эвклидовом пространстве Rb которую мы назовем выборочной гроздью. Любой набор h различных выборочных точек (х^., ... , Хи^ Z=l, ... , Л, вместе с точкой (х10, ... , хм) предоставляют Л-|-1 способов выбора еще одной точки так, чтобы эта точка вместе с уже отмеченными А-f- 1 точками образовала A-мерный параллелепипед. Все эти различные параллелепипеды имеют одинаковые (с точностью до знака) A-мерные объемы, абсолютные значения коуорых назовем h-мерным объемом, определяемым точками (х^., ... , х^.), Z=l, ... , h и (х10, ... , хк^. Рассеивание kSXo, п определяется теперь как сумма квадратов ^-мерных объемов, определяемых точкой (х10, ... , хк^) и каждым из Ш различных наборов точек (х^., ... , х^ Z=l, ... , h. Непосредственно устанавливается, что к8Хй, п является обобщением величины 3SXo> я, задаваемой формулой (18.1.11), на случай h измерений, т. е. что
к8х^ п = I l4j ^t — xzo) ^j — -^/о) 1>(18.1.21)
где определение иц, I, /=1, ... , к, понятно из (18.1.10).
Если матрица Ци/уЦ. внутреннего рассеивания выборки положительно определена, — а это будет тогда и только тогда, когда п выборочных точек (Хц, ... , хк^ $=1, ... , л) не лежат в гиперплос-
кости размерности, меньшей к, — то kSx^ п может быть записано в иной форме:
к
kSxQi п:= I uij I [ 1 Ч~ я 2 и^ ^^-^t°) ^i ^о)], (18.1.22)
где, как и прежде, || и^ || = || a^lp и эта матрица также положительно определена. Отметим, что (18.1.22) является ^-мерным обобщением (18.1.13). Так как квадратичная форма, стоящая внутри квадратных скобок, положительно определена, непосредственно получаем Л-мер- ный вариант утверждения 18ЛЛ: ^0, п достигает минимального значения, когда в качестве (х10, . . .<» хк^ выбран вектор выборочных средних (хь ... , х^ и это минимальное значение равно
kSx.n^\uuV ^ У=1> к,(18.1.23)
что представляет собой внутреннее рассеивание выборки.
Заметим, что kSx> п— определитель матрицы Грама А1 А, где А — матрица <пХ^ r r r у
хХп ^10> • • • > хкп хк0
и At— матрица, транспонированная относительно А. Матрица || ^;/1| также является матрицей Грама В* В, где В получается из А заменой хго на хь 2=1, ... , к.
Если (х^, ... , хк^ 6=1, ... , и)— выборка из ^-мерной совокупности с вектором средних (pq, ... , p.fe) и (неособой) матрицей ковариаций Цо/уЦ, то с помощью рассуждений, аналогичных использованным при выводе (18.1.15), можно получить, что
g (Ло. „) = A! QI о„ + (н - хи) ^ - х^ |.(18.1.24)
Это может быть также записано в виде / хк
' g№. ,.) = £! 2ы[1+ S ^(^-х.оК^-^,)]. (18.1.25)
Последняя формула представляет собой A-мерный аналог (18.1.7); из (18.1.25) сразу следует ^-мерный вариант утверждения 18.1.2: ^(Ао, ^ достигает минимального значения в том и только том случае, если в качестве (х10, ... , хк^ выбран вектор средних (|л1? ... , р^). Минимальное значение равно
g №.„) = g | -иц | = А! (”) | «И |,(18.1.26)
где
■»lj = Vji = У, (хг — р.£) (X; — [Л;).(18.1.27)
5=1
Определитель | а^ | иногда называют обобщенной дисперсией распределения F(xv ... , хк\ Его можно также рассматривать как внутреннее рассеивание этого распределения.
Читателю, разобравшемуся в выводе формулы (18.1.20), будет очень легко установить ее ^-мерный вариант, именно: рассеивание ^jf, л!4-п2 объединенной выборки относительно среднего этой выборки дается формулой (18.1.20), где /, /=1, ... , к. Подробное исследование многомерного статистического рассеивания можно найти у Уилкса (1960а).
18.2. Распределение Уишарта
(а) Вывод распределения Уишарта. В предыдущем параграфе мы видели, что вычисление среднего значения рассеивания выборки из ^-мерной совокупности является сравнительно легким делом для произвольной совокупности с конечным вектором средних и матрицей ковариаций. Однако вычисление старших моментов рассеивания выборки из таких совокупностей, по-видимому, весьма трудно, за исключением случая ^-мерной нормальной совокупности. На самом деле можно не только вычислить моменты рассеивания, но и получить ф. р. элементов матрицы рассеивания выборки из ^-мерной нормальной совокупности, если в качестве центра взять вектор средних этой нормальной совокупности. Вывод распределения элементов матрицы рассеивания в этом случае, известного как распределение Уишарта (1928), является замечательным результатом, играющим фундаментальную роль в далеко продвинутой теории многомерных статистических выводов. Мы приведем здесь вывод распределения Уишарта, основанный на использовании характеристических функций. Он действует для любой точки пространства {*0/;}, в которой матрица Н^-уЦ положительно определена, в предположении, что Ца/уЦ положительно определена и к^п.
Пусть (хц, ... , хц, 5=1, ... , /г)-—выборка из ^-мерного нормального распределения М({|ч}> Н^/НЬ плотность которого дается формулой (7.4.1). Выборка объема п из ^-мерного нормального распределения определена в §8.1. Рассмотрим рассеивание ^S^n этой выборки относительно среднего (р^, ... , р.А). Имеем
Л.»=1М(18-2Л)
где„
Vij = ^jt= ^(хц--РчН^ — р-^ I, j=\,, h. (18.2.2)
E=i
Если мы обозначим через ф({^;}), 1^ = 1^ характеристическую фУн* кцию случайного вектора {т^-, / = 1, ... , к; З-иц, / >у = 1,..., А}, то
Так как <р(0)= 1, то мы видим, что интеграл в (18.2.3) равен [^-гс)^2/^| а^ — 2i^y |]л. Следовательно,
?(О=Ы^"(18.2.4)
где
= Uj=lк.(18.2.5)
Используя многомерную форму теоремы Леви, именно теорему’ 5.2.1, п. в. вектора ^ии, /=1, ... , А, 2^г;, />у = 1, ... , Л} можно представить в виде
2^.})=(А) х
еХР [ — iП (18-2-6)
Положим т£у — i^y = 6/у. Тогда fyz- = 0yf, — iZfy = 0fy — т£у, dt^j = = Шу и
Vй006--п к
f^iv^iA^A $ exp [ 2 ^eJ |9,v| 2 Ц d^j, i^r=\ft
'(18.2.7)
ГД6Inb
1ч;|2 exp[— 5 тЧУМ\
A =riJ=1.(18.2.8)
Будем проводить интегрирование последовательно в таком порядке. Сначала интегрируем по 6№ затем по 61А, ... , 9Л_1>Й, далее интегрируем по в^—1 ^_i и затем по 6lf^1? ... , 9^-2, л-i и т- Д- Можно записать (18.2.7) в виде
^ к + i°°к — 1к — 1
/({^,.,2^}) = ^$ ехр[2 2 ^-ft^l^n d^ (18-2-9)
TrA-i0°l=X
t = l, ... , й-1
где
^1= 5 еХР [ 2j ^7®О'] I ^ij 1(Л — 1) П ^и^
т..— \со г, j = \i^j=\
л.-I(18.2.10)
Тлл + 1О°A-l— — пХ
Н.= J exp(^ft)[6ftft- 2 e(A-i)V/A] 2 d6hk
II0(LDll=116^11^-1)- IIM(»-i)= “.
Положим теперь в выражении для Н^
к-\
%k~ 5 6(6-1)61^ = ®’-(18.2.11)
у = 1
Тогдар^^оо1
Нг = ехр^икк 2 0^_1)0гй0у*] $ е-0^ Т6Г2п йто, (18.2.12)
/, у —1с —ioo
где с — вещественное положительное число (точное значение которого нам не требуется). Интеграл в (18.2.12) есть, по существу, интеграл Ганкеля (см. пример в § 5.1), и его значение 1Х равно *
Подставляя значение Нй в (18.2.9), получим
f^ii. 2vtJ})=A.HrIr0,(18.2.14)
где ты+1006-16-16-1
G= ехр[г^ 2 ^-iMt+S^J^ — iooi,j™Xi = 11= 1
r=l,... , A? — 1
После подстановки 0/* = 1фг*> Z=l, ... , A—1, G запишется в виде + °° + b166-16-16-1
G= i^1 J exp [— Dkk 2 ^k _ i>4»fаФ/а + 2i 2 v/ftt/*] Ц — oo-{-1т.дi, j= 1t = li = l
i = l6-1
(18.2.16)
Мы видим, что интеграл в (18.2.16) берется от функции комплексных переменных по (А—1)-мерному пространству вещественных значений этих комплексных переменных при фиксированных значениях их мнимых частей. Можно показать, что значение интеграла не зависит от того, каковы фиксированные значения (конечные) этих мнимых частей. Следовательно, мнимые части можно считать равными нулю. Поэтому интеграл имеет то же значение, как если бы ф^,..., ф^.1, к были вещественными и интегрирование велось по (Л—1)-мерному пространству переменных ф^,..., фА_^ к. Обращаясь к (7.4.13) и (7.4.17), мы можем получить значение этого интеграла:
O=JJ|0iLi)F^exp[- 2 ^^L (18-2Л7>
J1 = -i——.(18.2.18)
^kk) 2
Подставляя значение О в (18.2.14), будем иметь
КУ>1Ь ^ij^ =
W+io°l(„_i) &-1
= АигЛ) $ exp[ 2 ^'MIMLd П Av- Tz/-iooZ,/=lZ^/=l
(18.2.19)
ГДе^^.j — MIl,k— (18.2.20)
Теперь мы видим, что интеграл, фигурирующий в (18.2.19), имеет ту же структуру, что и интеграл из (18.2.7), только к, п, чз^ заменены соответственно на к—1, п—1, v^j. *
Последовательное осуществление циклов интегрирования, аналогичных уже проделанному, дает
(18.2.21)(18.2.21)Ж 2pzV}) = А (Д • Л) (/2 • Л)... Цк • Jk\
(18.2.21)
(18.2.21)
где 1Х и Jx указаны в (18.2.13) и (18.2.18), а
Г ^°V-\,k — 1) h —Г ^°V-\,k — 1) h —1к=1к=..2-(я-А + 1)~ 1l^"11)22ni..2-(я-А + 1)~ 1l^"11)22niгг(18.2.22)(18.2.22), к2 ife‘2 j2—, в е е(^иА_1)^(^^-у определена в (18.2.20) и, к2 ife‘2 j2—, в е е(^иА_1)^(^^-у определена в (18.2.20) и4-(* —А)«2 У-к(Ь хаА^-^(A1”V4-(* —А)«2 У-к(Ь хаА^-^(A1”V1;1;
Г ^°V-\,k — 1) h —
Г ^°V-\,k — 1) h —
1к=
1к=
..2-(я-А + 1)~ 1
l^"11)22ni
..2-(я-А + 1)~ 1
l^"11)22ni
г
г
(18.2.22)
(18.2.22)
, к2 ife‘2 j2—, в е е
(^иА_1)^(^
^-у определена в (18.2.20) и
, к2 ife‘2 j2—, в е е
(^иА_1)^(^
^-у определена в (18.2.20) и
4-(* —А)
«2 У-к
(Ь хаА^-^
(A1”V
4-(* —А)
«2 У-к
(Ь хаА^-^
(A1”V
1;
1;
^^-^^TTZT’11 j=xк-2,
’y(A-l)v(»-l)'
^^^-D- 1»J?) ,(18.2.23)
22
Подставляя значения Л,..., 1к, Л,..., Jk в (18.2.21), получим f^u. 2т>,-у}) =
Ife(fe-l) -'-*(*-»22™41Ife(fe-l) -'-*(*-»22™41h.vP l^e..^.,,...^-1']2* " ехр[- ^JT-Ut LL=2(18.2.24)
Ife(fe-l) -'-*(*-»
22™41
Ife(fe-l) -'-*(*-»
22™41
n\v[n—l\T, /л — A4-1
2Г \ 2\2
в каждой точке выборочного пространства ^и, 2^}, в которой матрица П^уН положительно определена, и/({т^-, 2^у}) = 0 в остальных точках. Но структура членов последовательности pkk, t^Li, ^-ь... ..., т^-1) вполне аналогична структуре членов последовательности а11, о^,..., <3(|_1), определенной в § 7.4(a). Поэтому из (7.4.6) следует, что
•Окк-о^_\, 6-1 • ..г>п_"= 1 Vi/|.(18.2.25)
Выражение в правой части (18.2.24) есть п. в. вектора {уй-, /=1,,.. ..., Л; ^ip Z >/=!,..., Л}. Следовательно, если ^({^у}) — п. в. вектора {т^-у, I ^j = 1,..., &}, то
—(18.2.26)
Вспоминая, что и^ = ™а1^ мы приходим, наконец, к следующему фундаментальному результату Уишарта (1928):
Если (Хц, ../, хк£ $=1, ..., и), k^n— выборка из k-мерной нормальной совокупности Л^Р^Ь || о^ ||) и || yZy || — матрица рассеивания выборки относительно среднего (pq, ..., р.д), определенная в (18.2.2), то распределение элементов матрицы П^уН задается п.в.
1&
-|yrvlехр| —"2 21 а‘Уу'у]
^(Ы) = -i:—^ (18.2.27)
6„ 6(6-1)/п_к+х\
V2/ \2“/\2)
в у k (к 4- \умерной области, в которой матрица Ц T?zy || положительно определена, и §-({^;у}) = 0 в остальных точках.
Будем говорить, что матрица Н^уП случайных величин, элементы которой распределены с п.в. (18.2.27), имеет распределение Уишарта W(k, п, Цо,-у |[), которое характеризуется параметрами к, п, ||^у 11-
Это распределение было первоначально получено Уишартом (1928) с помощью геометрических рассуждений; несколько иной вариант геометрических рассуждений был предложен позже Махаланобисом, Бозе и Роем (1937). Оно было получено также различными другими методами Ингамом (1933), Уишартом и Бартлеттом (1932), Мэдоу (1938), Сюем (1939а), Свердрупом (1947) и Рэсчем (1948). Приведенный здесь вывод принадлежит, по существу, Ингаму, Уишарту и Бартлетту.
В случае Л=1, о11 = 4", гДе °2—дисперсия исходного нормального распределения, и распределение Уишарта 1^(1, п, о2) сводится к распределению, при котором величина с11^ имеет ^-распределение с п степенями свободы.
Отметим, что число случайных величин в выборке nk, так что распределение Уишарта является у &(&4-1)-мерным распределением, задаваемым лЛ-мерным распределением элементов выборки. Джеймс (1954) показал, что существует такое преобразование величин xip которое переводит элемент вероятности выборки в произведение элементов вероятности т£ех распределений, одно из которых — распределение Уишарта, второе задает положение гиперплоскости, порожденной Ал-мерными векторами
[(^и — Р,)> • • •. — Р'ОЬ 1=1,..., к,
а третье является распределением ортогональной (Л X ^-матрицы, определяющей ориентацию этих к векторов на гиперплоскости.
(Ь) Моменты и распределение рассеивания выборок из нормальной совокупности. Формула (18.1.26) показывает, что среднее значение рассеивания l^-yj выборки (хц,..., хк£ 5=1,..,, л) относительно вектора средних (р^,..., цЛ) распределения, из которого извлечена выборка, равно ЛИ ||о/у. |, где || ||—матрица ковариаций этого распределения. В специальном случае Л-мерного нормального
следующимследующимраспределения r-й момент |vZy| может быть вычислен образом.
следующим
следующим
Прежде всего, положим
g^iA^K^k, п, {а^-Щк, п, {o/z}, |v,7}),(18.2.28)
где!
К (k, п, {а/у}) = ;^ (18.2.29)
2 2 ^„4 6 (k ~ ° Д' Г ("+21~t )
-1«
к<к, п, {аг/}, {v,7})=|©,7|2 (" * ‘’ехр^— 1 ^ o,7viyJ. (18.2.30)
i, i= 1
Тогда
к
WhA^KlM, \аиУ) $ Шу|г/г(М, {czy}, •{т>,7}) П ^
R1г у = 1
2^(Н1)
(18.2.31)
Так как интеграл от ^({т^}) по всему пространству переменных {-9,7} равен единице, имеем
J Цк, п, {0(7}, {^}) Д ^.. = _(18.2.32)
Но подинтегральная функция в (18.2.31) есть /г (A, n-^-2r, {ai;}, (v^)) и интеграл от нее по пространству переменных {т;у} равен 1/K(A, га-|_ —|— 2 г, {а*/}). Следовательно,
6 г f-4- Г^
814,11 *Г= K^n-vVa^ = I 2oVгII ^n+i — zj—- (18.2.33)
Полагая г=1, находим для рассеибания | гг^у | выборки объема п из W({p,J, Ц^у II) формулу
® 1*»#/1 = А^") | а/у |.
Напомним, что этот результат, согласно (18.1.26), верен для более общего случая выборки объема п из произвольной ^-мерной совокупности с матрицей ковариаций Ца/уЦ.
Заметим, что g|^y|r можно записать в следующем виде:
оо coк"2 ^ "Ь ^ —' ^ * —- 2*
6\'"uV= ( • • • f (I 2o,v | ^ ... zkY И [-—/„ч-Т-П— ^1 • г? oJ. z=V г("±1- J J
(18.2.34)
Отсюда видно, что распределение | т^у | совпадает с распределением величины | 2oZy К^х... г^), где zi — независимые случайные величины, имеющие гамма-распределения G^(/z-|~l—t^» Z=l,..., Л, соответственно.
Итак, получен следующий результат.
Если |т^у|—рассеивание выборки объема п из совокупности Л/Х^гЬ II °/у II) относительно вектора средних (р.ь рД
то распределение |^у| совпадает с распределением 120/ylJ^^i, где £=1
zt — независимые случайные величины, имеющие гамма-распределения G^(п + 1 — 1)^, 1=1,...» k, соответственно.
Явную форму ф. р. | ^у | в виде интеграла читатель найдет у Уилкса (1932).
(с) Воспроизводимость распределения Уишарта. Закон воспроизводимости распределения Уишарта может быть сформулирован следующим образом.
Если {у^} и I^zy} — независимые случайные векторы, имеющие распределения Уишарта W^h, пъ || о^ ||) и W(k, п^, || ^i/llb то случайный вектор {^у’ + ^у} имеет распределение Уишарта W^h, п^пъ ||a,v||).
Это может быть сразу доказано с помощью характеристических функций. Действительно, согласно (18.2.4) характеристические функции {т^}’} и {^у} равны
I 4j F - Ми 4 и I т0. F"21 - Ми Г*42
соответственно, где х^ — ^slj и гн =1, е;у —-~ при i^j. Так как {уу} и {-иу} независимы, то характеристическая функция {^у+^*Л равна произведению характеристических функций {vjy} и {^у}, т. е. она равна
.— рч+лз) .. , .— 4 («1 + «а)
h.vl -И/—isiAI •
Но это есть характеристическая функция распределения Уишарта
^,^1 + ^ || с/у ||).
Основной результат типа закона воспроизводимости для 'распределений Уишарта и нормального, который пригодится в дальнейшем, таков:
Пусть {aZy}— случайный вектор, имеющий распределение Уишарта W(k, п, ||ozv||); (^ip, ... , йлр), р=1, ... , р,— независимые случайные векторы, имеющие одинаковые распределения ^({0}, || зц ||) it не зависящие также от {«/у}. Тогда случайный вектор р'
\aM"Vимеет распределение Уишарта W(k,n-\-p, Цо^Ц).
Доказательство 18.2.4 с помощью характеристических функций аналогично доказательству теоремы 18.2.3 и предоставляется читателю в качестве упражнения. При p^k 18.2.4 является непосредственным следствием 18.2.3.
1&3. Независимость вектора средних и матрицы внутреннего рассеивания в выборках из fe-мерных нормальных совокупностей
Пусть (хц,..., xh* 6=1,..., п) — выборка из A-мерной нормальной совокупности А/ХП^Ь ||°zyll) и II llUII — матрица внутреннего рассеивания выборки. Мы покажем, что
Элементы матрицы внутреннего рассеивания ||^/|| и вектор выборочных средних (хь ..., х^ образуют независимые множества случайных величин с распределениями W^k, п— 1, || з^ ||) и ^({P'f}» II а///лг II) соответственно.
Чтобы установить этот результат, рассмотрим характеристическую функцию величин \x>ib z = 1,..., к; ^ц, I ^j = 1, ..., Л} и (xj — ць... • • • , Х^ l^fr)* кк
?(ММ = &{ехР|) 5-Viy + 'S^i —^)/i]}’ (18-3J)
z,/=li—1•
где Ц^/Ц— матрица рассеивания выборки относительно вектора средних (рф ..., рсД определенная в (18.1.27). Заметим, что правая часть (18.3.1) может быть представлена в виде
кк
(18.3.2)(18.3.2)(& { exp [i 2 Wu + i 2'
(18.3.2)
(18.3.2)
IJ=Yi=\
где yi = xi — рф Вычисляя (18.3.2) с помощью результатов §7.4, находим
11к
ИМ {^}) = 1 ^^"l^Г^"ехр[—А- 2 a^]’ <18-3-3>
I, j= 1
где Hll = ll='V-2iM и И11 = И К
Применяя теперь многомерную форму теоремы Леви 5.2.1, п. в. величин ^x)ib Xt — рф i = 1,..., к; ^ij, z^>/= 1, ..., ^} можно представить в виде
/ 1 M(t+3> г> г XI V 1
Щ ] ехр [ -j 2—5 2(Х;—Мх
Rt -М=1t = l
1 A(fc + 3)
хт(М МП^ П ^u- <18-3-4)
Используя результаты § 7.4 и производя интегрирование по tb полу^ чаем, что выражение (18.3.4) приводится к
к
I К1^21 ехр Г— у ^ а'Чх1 — Р-0 <xi — Р/)]»(18-315)
(2к)26■
где
у |^|^^"к^2^г;|"-"х
I *(*+»
Хехр[—i 2 UtjttA fj (Иц (18.3.6)
i.y=l i^J=\
И
“и = ^и — " ^1 — |^ <Xj — |*у) = 2 UiE — Xi) (Xj — ^у).
Е = 1
Теперь, сравнивая (18.3.6) с (18.2.6), видим, что I является п. в. случайных величин \ии, /= 1, ...,£; 2zzZy, Z^>y = 1, ..., &}, где {nzy} имеют распределение Уишарта W^,n—1, ||ozy||).
Таким образом, (18.3.5) представляет собой произведение п. в. распределения Уишарта W(k, п— 1, ||ozy||) и п. в. нормального распределения 7V({p<z}, || ^и!п ||), что и доказывает 18.3.1.
Хотеллинговское обобщенное распределение Стьюдента
(а) Случай одной выборки. Пусть имеется выборка из некоторого ^-мерного распределения и мы хотим проверить гипотезу о том, что вектор средних этого распределения есть (pj, ..., р.^). Сам собой напрашивается критерий, основанный на анализе рассеивания: сравнить внутреннее рассеивание | и^ | выборки с рассеиванием ее | ч)^ | относительно проверяемого среднего (р,?,..., р.^).
Рассмотрим отношение
(18.4.1)(18.4.2)(18.4.3)(18.4.4)(18.4.1)(18.4.2)(18.4.3)(18.4.4)о = । ии\ —। UiA
(18.4.1)
(18.4.2)
(18.4.3)
(18.4.4)
(18.4.1)
(18.4.2)
(18.4.3)
(18.4.4)
l®»vl l“zy+n(^i— ^.)Г Поскольку
l®I7l = l“»7l[1+" S P-DCXj — 1*5)1,
j= 1
мы можем записать Rv в другом виде:
П 1
X-V-nD^n-V)’
где
№ = (п-1) 2 и^-Ж^™^)
и \\^\\ = \\ииГ.
Очевидно, что Rv заключено между 0 и 1 и равно единице в том и только том случае, если вектор выборочных средних (х^ ... , х^ совпадает с вектором средних (р-р ... , р-*) исходного распределения. Мы предполагаем, конечно, что матрица Цп/уН положительно определена, и это имеет место с вероятностью 1, если n^>k. Величина D^ известна как (возведенное в квадрат) расстояние Маха- ланобиса (1936) между выборкой и совокупностью, или просто как расстояние D^ Махаланобиса. Чем больше £Д тем, конечно, меньше /?р Величина Г2, определяемая как
называется ^возведенным в квадрат) хотеллинговекам обобщенным отношением Стьюдента, или просто отношением Г2 Хотеллинга (1931).
2
Следует отметить, что Rx = \n , где X — отношение правдоподобия Неймана — Пирсона для сложной гипотезы (о>; 2) (см. § 13.3). Здесь 2—допустимое множество точек в пространстве значений параметра, состоящее из всех значений а,-;, /^/=1, ... , к, для которых || а^1| положительно определена, и всех вещественных значений р,., а о) — подмножество 2, состоящее из тех точек, для которых ^• = ^9, /=1, ... , к. Доказательство этого утверждения предоставляется читателю в качестве упражнения.
Найдем теперь распределение отношения Rv когда гипотеза е%^ (<о; 2) верна, т. е. выборка извлечена из нормальной совокупности с вектором средних (р.®, ... , р.^). Это можно сделать сравнительно простым путем, именно: сначала вычислить моменты Rb а затем восстановить распределение по моментам. Итак, мы хотим вычислить
ё(/?Э = ^(1^П^П> r= 1, 2,
Так как элементы матрицы || т,ж-у || имеют распределение Уишарта W(k, п, || с^ 1|), то значение йО^/ГО Дается формулой (18.2.33), в которой г надо заменить на —г. Но *uij = uij-^blbj, где bt = = Уп (Xi — рф, (игД и (ЬД являются независимыми множествами случайных величин с распределениями W(k, п—1, Цо^Ц) и М({0}, || а//||) соответственно, как мы видели в 18.3.1,
Следовательно,
Lк
К(А,л—Ъ М)[Й)гГ С ^ i^i-ГехрГ 1. ^ а%^1х ^кt.j=\
2-»(й+1)
ХА№ и—1, {aiy}, {Hiy^fl^i П йии =- j = li^j=\
озл-б)
,= |2/
где ^(Л, п—1, {а,7}) и й(А, п—1, {а;у}, {и(7}) были определены в § 18.2(b).
к п 1 = 1к п 1 = 1Заменим в (18.4.6) п па л-|-2г и обе части равенства умножим на К (к, п—1, {б(7})/АГ(А; и-|-2г—1, {а,7}). Мы видим, что левая часть полученного равенства есть интеграл, определяющий ^Rrv а правая часть — значение этого интеграла. Таким образом,
к п 1 = 1
к п 1 = 1
Ррг_ ^иУК^п-ХДсц^ ^к-— к(к. п + 2г—\, {»,;})
Подставляя значения К (А, п—1, {^7}), K^k, п-\-2г—1, {^7}) из (18.2.29) в (18.4.7), после упрощений получим
(18.4.8)(18.4.8)
(18.4.8)
(18.4.8)
где г=1, 2, ... Замечаем, что правая часть (18.4.8) представляет собой r-й момент бета-распределения:
Г £ ]Г £ ]^ k"'(lRii г==1> 2,...
Г £ ]
Г £ ]
о
Из 5.5.1а выводим, что Rt имеет бета-распределение Be ^ (п — к)^к т. е. элемент вероятности Rx равен
(18.4.9)(18.4.9)
(18.4.9)
(18.4.9)
Сформулируем полученный результат.
Если (х1$, ... , xh^ 5=1, ... , п\ n^k,— выборка из нормальной совокупности VV({^?}, Но/уИ), то отношение рассеиваний Rx = | и^ I /1 ^y1 имеет бета-распределение Be ^ (п — А), ^- б).
Применяя к (18.4.9) преобразование о 1
+ Т2/(л—1) ’
получим, что элемент вероятности распределения Л Хотеллинга равен
—7й(- +т£тГ'^‘"'^—7й(- +т£тГ'^‘"'^(18.4.10)(18.4.10)
—7й(- +т£тГ'^‘"'^
—7й(- +т£тГ'^‘"'^
(18.4.10)
(18.4.10)
в интервале (0, +<х>) значений Г2. Отметим, что при Л=1 (18.4.10) сводится к элементу вероятности обычного I1 Стьюдента с (я— 1) степенями свободы (см. § 7.8 (Ь))..
(Ь) Случай двух выборок. Предположим, что (х,^, ... , xV^; ^i = l«0 и (х&, ... , x^’f; $2=1, ... , я2) —две выборки из нормальных совокупностей с одинаковыми параметрами. Обозначим общее распределение через ^({p.^}, ||0</Н)- Пусть || uiy || и ||«?/|| —
Рассмотрим отношениея;Рассмотрим отношениея;^i^+^’i^i^+^’i(18.4.11)(18.4.11)матрицы внутреннего рассеивания выборок, а ||и,у-||— матрица внутреннего рассеивания объединенной выборки, получающейся из двух данных. Матрицу ||^У + иУ? || будем называть матрицей внутривы- борочного рассеивания для двух выборок. Геометрически она представляет собой матрицу рассеивания .^-мерной грозди, полученной следующим образом. Одна выборочная гроздь жестко сдвигается (без вращения) относительно другой так, чтобы совпали средние обеих выборок. Затем обе выборочные грозди объединяются в одну.
Рассмотрим отношение
я;
Рассмотрим отношение
я;
^i^+^’i
^i^+^’i
(18.4.11)
(18.4.11)
Покажем, что R^ имеет структуру и распределение, аналогичные R^ определенному в (18.4.3). Положим
«О—“У + Н<Г(18.4.12)
Тогда общий член ui
j определителя в правой части
(18.1.20) можно
представить в виде
и. — и^.Ц-Ь.Ь.,
(18.4.13)
где
ь дГ_п^_^н_ х?’).
Г 711 +«а V
(18.4.14)
Имеем
(18.4.15)
1 l^+^l '
Из 18.2.3 следует, что \и^ имеет распределение Уишарта №(&, П1-|-л2 — 2, П <5ж-у ||). В то же время, так как ^ являются функциями от векторов средних двух выборок, вследствие 18.3.1 {^} не зависит от {и^}. Легко проверить, что {/?,} имеет распределение ^({0}; || а^ ||). Поэтому ясно, что задача нахождения распределения R'x аналогична задаче нахождения распределения Rv Фактически мы обнаружили, что распределение R'v совпадает с распределением величины Rb в которой п — 1 заменено на пх -]- тц — 2.
(18.4.16)(18.4.16)Запишем
(18.4.16)
(18.4.16)
11 jD’"
^(^1 + ^2) (^1 + ^2—2)
где
'к
(ni + ^2) Oh Н~ 2) V
М=Х
= № + ^-2) S «О(^)_^))(^)_^)) (18.4.17)
и II^IMI^-ir1. М=Х
Величина D^ называется (возведенным в квадрат) обобщенным расстоянием Махаланобиса (1930, 1936) межд^ дв^мя выборками.
Хотеллинговское обобщенное отношение Стьюдента для задачи о двух выборках определяется как
yv2 П^П,^ ^уЗ
П1 + «2*
Элемент вероятности распределения F2 дается выражением (18.4.10) с п—1, замененным на гкЦ-П}— 2; конечно, предполагается, что обе выборки извлечены независимо из одинаковых ^-мерных нормальных совокупностей.
Отметим, наконец, что R^XWi-^ где \— отношение правдоподобия Неймана — Пирсона для сложной гипотезы е%^ (<о; 2). Здесь 2 — параметрическое множество, в точках которого || а$ || = Ц oj; || = = 110^11 является положительно определенной матрицей, а векторы (у^11, ... , р^) и (рч2), ... , |42)) имеют произвольные значения, в точках же wQS |х;п = ^2), 2=1, ... , Л. Сами же выборки извлекаются из нормальных совокупностей ЛД^11}; || о;/||) и ТУ^р^2'}; || сц ||) соответственно. Доказательство этого предоставляется читателю.
Критерий для многомерной Модели I дисперсионного анализа
Критерий для многомерной модели I дисперсионного анализа представляет собой в наиболее общей форме критерий для проверки линейной гипотезы о%^ в теории нормальной регрессии, определенной в § 13.3(b). Отношение правдоподобия для этой гипотезы имеет вид
Г Ss "
где 8g и So, — 8g— независимые случайные величины, распределенные по одномерным законам Уишарта №Д1, тх, <з2) и W(l, т^, о2) соответственно, когда S^ истинна. Здесь тх = п — k и тг = k — К —- числа степеней свободы случайных величин 8g и 8^— 8g соответственно. Как было отмечено в § 13.3(b), критерий, основанный на отношении правдоподобия X, эквивалентен критерию, основанному на статистике F Снедекора, где
in. (S — 5g)
F = 1^-—.(18.5.2)
maS27
Эти критерии также эквивалентны критерию, базирующемуся на статистике Х2/Л, которая просто равна отношению, стоящему в квадратных скобках (18.5.1).
Числитель и знаменатель этого отношения являются одномерными рассеиваниями, причем числитель меньше знаменателя.
Многомерное обобщение критерия для многомерной модели дисперсионного анализа в наиболее общей форме состоит в обобщении отношения внутри квадратных скобок (18.5.1). Этим обобщением является отношениеi z>.,i
Rs =,(18.5.3)
Z, /=1, ... , /г, k^m, где {а^} имеет распределение Уишарта WQ^ II°/у II) и (61р, • ** , Ьк^ р=1, ... , s, — независимые случайные векторы, распределенные по одному и тому же нормальному закону ^({0}; Ц о;у ||) и не зависящие в совокупности от {я,/}.
Используя для определения r-го момента Rs тот же метод, что и при отыскании r-го момента Rv получим
^HlJm+L-J^+lL J- (18-5.4)
,=11 ^2/ ^2+г;
Заметим, что при s^h $Rrs может быть записано в виде
r(”+i±2=£+r)r(”+i±2=£+r)(18.5.4а)(18.5.4а)
r(”+i±2=£+r)
r(”+i±2=£+r)
(18.5.4а)
(18.5.4а)
откуда видно, что распределение Rs совпадает с распределением к
J~J zb где zt — независимые случайные величины, имеющие бета-рас- f=i
пределения
соответственно.Аналогично при l^s<^ ^R$ может быть представлено в видесоответственно.Аналогично при l^s<^ ^R$ может быть представлено в виде
соответственно.
Аналогично при l^s<^ ^R$ может быть представлено в виде
соответственно.
Аналогично при l^s<^ ^R$ может быть представлено в виде
откуда ясно, что в этом случае распределение Rs одинаково с рас- пределением JJ w{, где w, — независимые случайные величины, имею- X = 1
щие соответственно бета-распределения
ВЦ—Г^’ 2-),
Суммируем все полученное выше в виде следующего результата.
.5.1. Пусть Ца/yH— симметричная матрица, положительно определенная с вероятностью 1, случайные элементы которой имеют совместное распределение Уишарта W^k, т, || сц ||); далее, пусть
, b^y р= 1, ... , з,
— независимые k-мерные случайные векторы, распределенные по одному и тому же закону ^({0}; 11 °//II) п 8 совокупности не зависящие от {а^у}. Если
Rs =L^d,|«<v+S»Al
то
при s^k распределение Rs совпадает с распределением произведения к независимых случайных величин, имеющих бета- распределения
Ве(го+21-г,^-), Z=l, .... к;
при 1 ^s<^k распределение Rs совпадает с распределением произведения s независимых случайных величин, имеющих бета- распределения
„ (т— кА-1 . к\ .1
Отметим, что определенная в (18.4.1) величина Ri есть частный случай Rs при з=1, т = п—I, alj==ulj) bi=Vn(Xi— fi,), t, j=l, ..., к. Точно так же Z?j из (18.4.11) или (18.4.15) есть частный случай Rs при з=1, от=л1-|-л3— 2, а^ = «}}’-(- «у1 и
bt = У— xfy I, у = 1к.
Интересный специальный случай Rs получается при s = ^ именно, )//?2 следует бета-распределению Be (ттг-]— 1—к, к) и элемент вероятности VR^ равен
Tl’+^VR^1 -VR.r‘dVR.. (18.5.5)
Чтобы убедиться в этом, вычислим с помощью (18.5.4b) r-й мо-
(18.5.6)
Используя формулу удвоения Лежандра
+(18.5.7)
можно объединить'попарно гамма-функции в (18.5.6) и получить
Г(и+1)Г(и+1-^ + 2г)
— Г (m + 1 + 2г) Г (m + 1 - 6)1(
Это может быть записано как
1
S1^ — Г (т + 1 — А) Г (А) ,^ ^ ЙТ"Г^ ^^ 'dz- (18.5.9) О
Из (18.5.9) и 5.5.1а мы видим, что распределение /?2 совпадает с распределением г2, где г имеет бета-распределение Ве(/пЦ“ 1 —^’ *)• Следовательно, это же распределение имеет КR^ Выражение для ф. р. Rs в форме интеграла дано Уилксом (1932).
Пример. Предположим, что (лг^, ..., х^;, ет=1,.... пч\ 7=1, 2, 3,— три независимые выборки из одинаковых нормальных совокупностей N({|iJ; °//11)- Пусть Цн^Н» 7 = 1, 2, 3, будут матрицами внутреннего рассеивания трех выборок, а || Ы//||—матрицей внутреннего рассеивания большой выборки, полученной при объединении трех’ выборок в одну. Наконец, пусть II “17+^7+“//11 = 11 tt^ будет матрицей внутривыборочного рассеивания для трех выборок. Тогда отношение
= Ш<18.5.10)
служит обобщением отношения 7?g из (18.4.15) на случай трех выборок. Ra является частным случаем Rs из (18.5.3) при з —2 и т = п1 + л2 + ^з— 3 и, следовательно, элемент вероятности задается формулой (18.5.5) с т = пгА" 4"-л24~из — 5-
Отметим, что система случайных величин { и^ } имеет распределение Уишарта W (к, г^ + из + лз— 3, ||сг/у]|). Определим, кроме того, матрицу межвыборочного рассеивания •
Чц = иУ — UU = S 'И ^ ~^’(|8-5Л
i, у=1, •.., к, 1дс (хп ..., ^/г)'—вектор средних объединенной выборки- Можно найти два независимых вектора (й^, ..., Ь^), р = 1,2, которые вместе не зависят также от {и^}, допускают представление Ь^ = 2 ^j?*^» Рас' 7=1
пределены по одному и тому же нормальному закону ^({0}; ||а//||)> и С помощью этих векторов представить правую часть (18.5.11) как 2 ^^j^* Однако нет необходимости определять эти векторы, чтобы отыскать распре-
деление В'2. Оно может быть легко найдено по своим моментам с помощью процедуры, аналогичной той, которая уже использовалась при получении распределения Rv
Можно показать, конечно, что R^ есть эквивалент обобщения для трех выборок отношения правдоподобия Неймана — Пирсона, описанного в конце § 18.4(b).
Главные компоненты
(а) Собственные значения и собственные векторы матрицы рассеивания. В этом параграфе мы будем заниматься следующей задачей. Рассматривается выборка объема п из ^-мерного распределения, k^n. Эта выборка может быть геометрически представлена как выборочная гроздь из п точек в ^-мерном эвклидовом пространстве Rk. Предположим, что мы хотим ортогонально спроектировать эту выборочную гроздь на s-мерное эвклидово подпространство Rs, s^k, так, чтобы получить максимально возможное значение s-мерного рассеивания проекций. Задача состоит в определении: 1) направления проектирования относительно системы координат Rfe и 2) величины рассеивания в Rs.
Решение этой задачи может быть сформулировано в виде следующего результата, принадлежащего Хотеллингу (1933).
18.6.1. Предположим, что (х^..., х^ ^=\,...,п)— выборка объема n^k из к-мерной совокупности с положительно определенной матрицей ковариаций. Пусть Wu^W — матрица внутреннего рассеивания этой выборки — положительно определена с вероятностью 1. Введем s к-мерных единичных векторов
(^ ip, • ♦ • > с^^р — 1,..., s,(18.6.1)
к
так что ^ 67р = Ь /^ = Ь • • • > 5, и положим f=i
2рй = ^ с^р Хц, р 1,..., s.(18.6.2)
"/=1
Пусть || upq || будет матрицей внутреннего рассеивания выборки (^i^> • • • > ^s^ ^!>•••> я).
Векторы (18.6.1), которые максимизируют рассеивание | upq |, определяются как решения s систем уравнений:
к
H(.4ij-ipMcjp = 0,/=1, .... А,(18.6.3)
7-1
р = \, ..., s, где 1Х, ..., ls — s наибольших корней характеристи
ческого уравнения
V4j-M = Q-
^.j — обычный символ Кронекера, и где /])>...>/$ с вероятностью
. Эти векторы, кроме того, ортогональны и максимальное значение | upq | равно 1Х I* ... ls. ,
Чтобы доказать 18.6.1, рассмотрим следующие общие линейные формы компонент каждого элемента выборки:
к
z^= ^ с^,5 = 1, ...,£,(18.6.4)
Z=1
и образуем сумму квадратов пк
Q = S ^-# = И Wj.(18.6.5)
5=1М=\
где
к
2 d=L
Найдем теперь значения (сь ..., ск\ при которых Q достигает экстремума. Используя метод множителей Лагранжа, мы получим эти векторы из уравнений
^-=0> Z = l, А,(18.6.6)
ос;х 7
где
к
<p = Q4-/(l_£Cf).
Уравнения (18.6.6) имеют вид к
^им _ &^ Cj = ^1=1,..., к.(18.6.7)
Для существования решений (18.6.7), отличных от тривиального сг = 0, / = !,..., к (которое, конечно, исключается требованием ^cf = l), необходимо, чтобы
\щ._1^\ = ^(18.6.8)
Так как мы предполагаем выборку объема п^к извлеченной из A-мерной совокупности, а матрицу Ци;/!! положительно определенной-с вероятностью 1, то уравнение (18.6.8) имеет к положительных корней, которые будем предполагать различными, так что с вероятностью 1 4^>.• .^>^^>0. Эти корни называются собственными значениями матрицы Цп^Ц. Их называют также характеристическими числами матрицы Цк^П.
Если 1р, —какой-либо из этих корней, то вектор (с1р,, ..., скр?) будет /-м собственным вектором; он удовлетворяет уравнению
к
£(«у-1,Ш-=°-(18.6.9)
7=1
Умножая обе части (18.6.9) на cip, и суммируя по ц получим к
^«и - lp,^ ctp, cjp, = 0,(18.6.10)
f, j = 1
откуда следует, что к
1р’ = 2 ^ijCip,Cjp**(18.6.11)
Аналогично для любых двух собственных значений 1рЧ lqb р' ф q’ имеемь
2 (^Z/^p'^ij) ip’Cjq* ^^ ^
(18.6.12)
2 ^U ^q'^ij) ^ip^jq’ ^'
Отсюда, вычитая первое уравнение из второго, найдем
^Р'-МИ^Р'С^^0-(18.6.13)
Z — 1
Следовательно, при pr ^qf к
Hcip.ciq. = 0,'(18.6.14)
* = 1
т. е. собственные векторы (с1р,..., скр\ р=\,..., k, попарно ортогональны. Эти векторы называются также характеристическими векторами матрицы || «//И
С учетом (18.6.14) из любого уравнения (18.6.12) найдем, что при р' ^tfк
5 uljCip.cjq- = 0.(18.6.15)
Выберем теперь s собственных векторов, соответствующих s (s ^ &) наибольшим характеристическим числам Z)^ . ^^>ls, и образуем выборку (^ц, ..., zk^ Е = 1,..., п\ где к
i — 1
Из ортогональности собственных векторов следует, что эта выборка есть проекция исходной выборки на s-мерное подпространство. Внутреннее рассеивание спроектированной выборки равно, следовательно, \upq\, р, q=l, s, где пк
Г1Р<1=^(2Р^- 2pKZq^—2q)= S XtijCipCjq. (18.6.16) 6=1<./=1
Используя (18.6.11) и (18.6.15), находим
|й^| = /14...^(18.6.17)
что завершает доказательство 18.6.1.
Читатель заметит, что если положить s = Л, то | upq | = | и^ | = = 1Х ... lk. Впрочем, это следует и из того, что произведение корней уравнения (18.6.8) равно |мг-у|.
Обращаясь снова к (18.6.8), мы видим, что
и
=(18.6.18)
i = 1
Другими словами, сумма собственных значений матрицы Ии^П равна сумме рассеиваний отдельных компонент выборки относительно своих средних значений. Собственные значения /ъ ..., 1к матрицы || и^ || внутреннего рассеивания выборки, поделенные на п—1, Хотеллинг (1933) назвал главными компонентами полной выборочной дисперсии, так как
^71+ . . . + Д =+4,(18.6.19)
где 81 = ии1(п—1), как это видно из (18.6.18).
(Ь) Выборочная теория собственных значений матрицы рассеивания. Так как собственные значения /ь ..., 1к являются корнями уравнения (18.6.8), где Цгг^Ц—матрица внутреннего рассеивания выборки, то они сами являются случайными величинами. Естественно, встает вопрос, что можно сказать о распределении этих корней. Точная выборочная теория собственных значений матрицы рассеивания построена только для случая, когда выборка (х^, ..., хк^ В = 1,... .п) извлечена из ^-мерного сферически симметричного нормального распределения, т. е. распределения, у которого матрица ковариаций имеет равные характеристические числа. В этом параграфе мы изложим теорию собственных значений матрицы рассеивания. Она была построена приблизительно одновременно Фишером (1939), Гиршиком (1939), Сюем (193 9 Ь), Мудом (1951) и Роем (193 9). Результаты Муда опубликованы через двенадцать лет после их получения. Позже задачей о распределении собственных значений занимались Джеймс (1954), Олкин (1951), Олкин и Рой (1954) и другие, используя различные методы.
Основной результат может быть сформулирован в следующем виде.
18,6.2. Пусть (хц,..., хк£ 5=1,..., л) — выборка из нормальной совокупности Nk№ 1Ы1) и II и^ || — матрица внутреннего рассеивания выборки. Распределение корней 1Х ^ ... ^ 40 харак
теристического уравнения
\ич — кч\ = 0(18.6.20)
задается элементом вероятности
1 и к 1 , и пх кк
-ЛП"Г и
^д^— dlx...dlk (18.6.21)
^'"ТЖ^НМ]
i = 1
в области ^^1к^ 1кЛ ^...^1^<^^со и 0 в остальных точках.
Чтобы установить 18.6.2, поступим следующим образом. Мы знаем, что ^и^ имеет распределение Уишарта W(ky п — 1, || ои ||). Далее, из теории положительно определенных квадратичных форм известно (см., например, Биркгоф и Маклэйн (1953)), что найдется такое невырожденное линейное преобразование
к
х^— Hi = 5 счУ)^ 1=\, ..., h; ^=\,..., п, (18.6.22) у=1
при котором (у^,..., yk& Е = 1,..., п} будет выборкой из ^({0}; || 8,.у ||), где ||8i7|| — единичная матрица. Если обозначить матрицы ll^iyll, ll°i/ll и PAvll через с, а и /, обратные к с и а — через с-1 и о-1, а операцию транспонирования отмечать штрихом, то приведенный выше результат можно записать так:
cV1c = I, (с-1)'ас”1 = I.(18.6.23)
Если || u*j\\ — матрица рассеивания выборки (у^, ..., у^; Е = 1, ..., п), то \u*j\ имеет распределение Уишарта W^h, п—1, ЦЗ^Ц). Обозначив матрицы Пм/уН и ||ц*у|| через и и и*, можно выразить матрицы и и и* одну через другую следующим образом:
и = с’и*с, и* = ^с-^ ис Ч(18.6.24)
Предположим теперь, что 4^> •••^>4 являются корнями уравнения (18.6.20), т. е.
| и — к | = 0.(18.6.25)
Вероятность совпадения двух и более корней равна нулю. Умножая матрицу || и — к || слева на (с1/ и справа на с-1, получим матрицу
(с"1/ ис”1 — /(г"1)' ас"\(18.6.26)
которая в силу вторых уравнений из (18.6.23) и (18.6.24) есть
и* —II.(18.6.27)
Определители матриц (18.6.26) и (18.6.27), конечно, равны. Но определитель матрицы (18.6.26) есть | (с"1/11 и — к 11 с'11 и множитель | и — к | обращается в нуль при 1=1Ъ ..., 4. Следовательно, |w* — II | обращается в нуль при тех же значениях I.
Таким образом, распределение корней уравнения | и — к | = О, где {п/у} имеет распределение Уишарта W^k, п—ЪН^/Н), совпадает с распределением корней уравнения \и*— Z71 = О, где \u*j\ имеет распределение Уишарта W (к, п — 1, ||8t7||). Элемент вероятности {к*} равен
|“^|СХР
(18.6.28)
Согласно теории положительно определенных квадратичных форм найдутся ортогональная матрица И^И случайных величин и набор, положительных случайных величин Л^> ..-)>А такие, что
(18.6.29)(18.6.29)и* = e’fe,
(18.6.29)
(18.6.29)
где е = 11^11, а /—диагональная матрица с элементами Л, ...,/А на диагонали. Так как е — ортогональная матрица, то/е = /. Заменив теперь в матрице Цы*— ZI\\ и* на e'fe и I на е'е, получим
(18.6.30)(18.6.30)и* —11= e’fe — Ze'e = с? (J— /) e.
(18.6.30)
(18.6.30)
Если рассмотреть определители матриц из (18.6.30), мы увидим,
что корци 1Хчто корци 1ХZk равны соответственно величинам Л )> ... ^>Л>
что корци 1Х
что корци 1Х
так как | е | ф 0. Поэтому распределение корней /ь ..., Zk совпадает с распределением случайных величин Л,..., fk. Чтобы найти распределение \/р ..., Д, применим преобразование (18.6.29) к элементу вероятности (18.6.28). Так как е — ортогональная матрица, {г//}
являются функциями от -^к^к—1) параметров, которые мы обозначим через gt> t=\, 2,..., у к (к — 1). Якобиан преобразования равен
^ к (^+ 0 столбцов
J=J=5(^1 I5(^1 Id(gt,M\ —d(gt,M\ —£(^ ) 1£(^ ) 1/ 2/ 2А (А—1) строк,А (А—1) строк,(18.6.31)(18.6.31)
J=
J=
5(^1 I
5(^1 I
d(gt,M\ —
d(gt,M\ —
£(^ ) 1
£(^ ) 1
/ 2
/ 2
А (А—1) строк,
А (А—1) строк,
(18.6.31)
(18.6.31)
где i^j= 1,..., A; i' = 1, ..., к; t= 1,..., ^k (Л — 1). Каждый эле
мент J, принадлежащий одной из верхних ^kQi — 1) строк, имеет к
вид У} qjf j, где д, зависит только от {егД и их первых производных
по gt. Каждый элемент, стоящий в одной из нижних к строк, зависит только от \etjY Следовательно, J представляет собой однородный
полино^ от fb ..., fk степени ~ k(k — 1) с коэффициентами, зависящими от \еу\ и их производных по {gj.
Преобразование (18.6.29) неоднозначно, если //=/у при некоторых I ф j. Поэтому для каждых Z> j член (Jj — J^1 должен входить сомножителем в J, где а^ ^ 1 — целое положительное число. Якобиан J должен иметь, таким образом, вид JJ (/у—fif^Q. Примем теперь i>j=\
во внимание, что, во-первых, все а^— целые числа, не меньшие 1, во-вторых, имеются -^- А (^ — 1) множителей вида (/у —fif^' и, в-третьих, /есть однородный полином от Л, ...,/* степени у&(&—1). Отсюда заключаем, что каждое а,-у=1 и Q не зависит от fb а зависит от е^- и их первых производных по gb Следовательно, Q зависит только от gt и может быть записана как G({gJ). Таким образом,
к
1 = П(18.6.32)
Так как |eZy|=l, из (18.6.29) получаем
l^l = |e'H/Me|=/i---A.(18.6.33)
Кроме того,
5^ = 5/».(18.6.34)
£=11=\
Используя теперь результаты (18.6.32), (18.6.33), (18.6.34), получим, что выражение (18.6.28) после применения преобразования (18.6.29) переходит в
уЛ(А — 1)^1^
гоь,) П *(П^''-‘_’ П Vi-^x
к к
X ехР (-т2а) П d^ 08.6.35)
Где К— постоянная. Так как \gt\ и {/J — независимые множества случайных величин, элемент вероятности {/;} равен
к 1кк к
чир-)’1'-1-21 п №-^ехР(-12:/')Ш‘'/-' ('8-б-зб) i=li>/=li—1* = 1
где С— постоянная, которую надо определить. Обозначив выражение,
стоящее в фигурных скобках (18.6.36), через R(k, п, {/;}), мы можем написать
1= f R^k, п, OdA--.tifк-1= f R^k, п, OdA--.tifк-(18.6.37)(18.6.37)
1= f R^k, п, OdA--.tifк-
1= f R^k, п, OdA--.tifк-
(18.6.37)
(18.6.37)
где Ек— подмножество Rk, в точках которого О^Д^Д-!^... <^ <Д< + 00 • Если обозначить интеграл в правой части (18.6.37) через ^^ |^у (^ — к — 2)^ и вспомнить, что |zr^|r= ^ JJ f^ , то r-й момент i — 1
величины \u*j\ можно представить в виде
^ 9ГГ
& I «5 V = V *° 8*6'38)
ч—2—;
Но так как \и*Д имеет распределение Уишарта W^k, п—1, ||8^||), элемент вероятности которого равен (18.6.28), то r-й момент |а^| определяется формулой (18.2.33) с 110^11 = 1)8^11 и п, замененным на п—1. Следовательно,
(18.6.39)(18.6.39)
(18.6.39)
(18.6.39)
Если положить г = —g- (и — к — 2), то будем иметь * t(„_»-2) h Г(Й +2 —ё\
' С=Ц= -7П / 2• (18.6.40)
In— к — 2\<»60)1.1 v п — i\ 1 1’
М—2—j/=1 It;
Но кк
?Д°)= ( П ^-А^хр^-^луА-.-йА. (18.6.41) ^<>/=1/=1
Произведя преобразование ffe =Я, fk_Y —fh _ i + Л, • • •, А =А А" А мы найдем, что
?ft(°) = 4<P»-i(1).(18.6.42)
Но из (18.6.40) при п = к-\-4: выводим, что
4kw
1
(А+1)! •
(18.6.43)
Из (18.6.42) и (18.6.43) следует
Заменяя к последовательно на к—1, к — 2,... ,2 и замечая, что Ф1(1) = 4, получим
• к
Чк (1) = 2k (к + 1)! П Г (А + 1 - /).(18.6.44)
1 = 1
(18.6.45)(18.6.45)Подставляя значение ?^(1) в (18.6.43), находим, что к
(18.6.45)
(18.6.45)
^^ = ^ПГ<к-^1-1\г = 1
Используя теперь формулу удвоения Лежандра для гамма-функции
Г (А + 1 — Z) = 4= Г (—4 ~') г (&+о ~^. (18.6.46) будем иметь при последовательном применении формул (18.6.46), (18.6.45) и (18.6.40)
С= ^.(18.6.47)
1 = 1
Подставляя это значение С в (18.6.36), мы получим, наконец, распределение А, • • • > fk. Вспомним теперь, что А, * • • > А распределены одинаково с 1Х, ... , lk. Поэтому распределение случайных величин ZD ..., 1к дается формулой (18.6.36) с заменой А,... , А на 4> • • • > 4- Это завершает доказательство 18.6.2.
Распределение (18.6.21) величин Zn ..., 1к иногда называется распределением в нулевом случае. Общий случай — это тот, когда матрица ковариаций нормального распределения, из которого извлекается выборка, отлична от диагональной матрицы ||oz-y|| в (18.6.20). Распределение собственных значений в этом более общем случае было получено Джеймсом (1960). Оно значительно сложнее, чем распределение (18.6.21).
Дискриминантный анализ
Случай двух выборок. Задача, которая будет рассматриваться в этом параграфе, состоит в следующем. Имеются две выборки из Л-мерных совокупностей. Их можно геометрически представить как две выборочные грозди в ^-мерном эвклидовом пространстве. Мы хотим спроектировать эти грозди на такую прямую, чтобы расхождение между проекциями выборок было максимальным (в сравнении
с расхождением между проекциями на другие прямые). Задача состоит в том, чтобы найти направление, в котором нужно спроектировать грозди для достижения максимума расхождения между проекциями выборок. Другими словами, мы хотим спроектировать выборочные грозди на одномерное подпространство так, чтобы после проектирования они были удалены настолько, насколько это возможно в соответствии с колебаниями внутри выборок. В практических ситуациях, если мы сумеем найти такое направление, что проекции в этом направлении на одномерное подпространство двух ^-мерных выборочных гроздей оказываются достаточно хорошо разделенными, мы получаем тем самым способ для различения выборок из двух совокупностей с помощью подходящих -линейных комбинаций компонент наблюдаемых векторов. Эта задача была первоначально рассмотрена Фишером (1938), а метод статистического анализа, Который развился из решения этой задачи, получил название дискриминантного анализа. Рассмотрим точную формулировку задачи.
Имеются две выборки (.х^, ..., х^ , е7=1, ..., п^ 7=1, 2, где Пх^Ь, n^^k. Пусть (^т)1, .,., х^ 7=1, 2, будут векторы средних этих выборок, а Ци^Ц, 7=1, 2,— их матрицы внутреннего рассеивания, которые мы предположим неособыми с вероятностью 1. Пусть (хъ ..., хк^— вектор средних, |и/у[— матрица внутреннего рассеивания выборки, получающейся при объединении двух исходных, и || «^11 = 11^4"^/II — матрица внутривыборочного рассеивания для двух выборок. Матрица |и^|| есть матрица межвыборочного рассеивания. Для произвольного вектора (съ ..., с^ положим
а
^=^4^ ^=\,...,nv7=1,2.(18.7.1)
Z = 1?
Тогда (г!1’, ..., z^) и (z^, ..., 2^) будут, с точностью до масштаба, одномерными выборками, полученными соответственно проектированием исходных ^-мерных выборок на прямую, направляющие косинусы которой пропорциональны (q, ..., с^. Пусть 2^в^— средние значения выборок (z^, ..., z^ и ^\ ..., Хп^ az — среднее объединенной выборки (г^, ..., z^ Положим
2^2
S^=£ 2 (г^-^у,$в= £ ^(гМ-г)*. (18.7.2)
^Ит=177 = 1
Отметим, что, если 5—рассеивание объединенной выборки (^п, ••• ..., 2^\ то £—SV +^в- Sw представляет собой внутривыборочную компоненту, a Ss — межвыборочную компоненту S. Основная задача теперь состоит в определении ..., с^ так, чтобы максимизировать 8В (т. е. минимизировать «5^/(5^+S5)) при фиксированном значении 8^.
Основной результат здесь может быть сформулирован следующим образом.
Пусть || и^|| и || м^ Ц — матрицы, внутривыборочного и межвыборочного рассеивания двух выборок из k-мерной совокупности. Предположим, что объем каждой выборки больше к и матрица ||н.у|| положительно определена с вероятностью 1. Пусть SBu Sw определены согласно (18.7.2). Значение (сь ..., с^— будем обозначать его (с*р ..., с^» — которое минимизирует отношение
(1&7.3)(1&7.3)Q — SW
(1&7.3)
(1&7.3)
при условии, что SW=C 7^ О, является решением системы уравненийк
^^-1и^с=0,1 = 1, .... А, (18.7.4)
где 1Х — ненулевой корень характеристического уравнения
|и8 —/м^| = 0,(18.7.5)
определяемый формулой
к
^ = ^^ 2 ^^-^^-^ = т%- 08.7.6) " i. J= 1
Здеськ
=IKMI^r (18.7.7)
Z = 1
и Ь^ определены в (18.4.14). Минимальное значение Q для Sw = = С ф 0 равно 1/(14“ 1^.
Для доказательства 18.7.1 заметим, что
(18.7.8)(18.7.8)^в — 5 ^т [S ci ^^ ^J — S ltfjCiCpт—1»=1/,/=1
(18.7.8)
(18.7.8)
2 л7 кк
*^=5 S [S^^? ^Э] = S U^CiCf
Т=П —1 / = 17ij=\
Минимизация Sw{^Sw-\- 8В) при условии Sw—C ^ 0 сводится (введением множителя Лагранжа Z) к нахождению максимума выражения <р = 5в“-|-(^ — SW)Z по ^съ ...» Ск) и /. Чтобы найти максимум ср, надо решить уравнения
^- = 0, г = 1, ..., к, det
^—о
^ и’
которые могут быть записаны как
2 ^. — [и^с = 0,1=1, ...,А.(18.7.10)
Чтобы существовало решение (^, ..., с^ системы (18.7.10), отличное от (0, ..., 0), необходимо выполнение условия:
|ыВ-/«у| = О.(18.7.11)
Вспоминая из § 18.4 (Ь), что
где, как было показано в (18.4.14),
b^V-^-^-хП-(18-7.12)
мы видим, что (18.7.11) эквивалентно уравнению
Оно может быть записано как к
/»-1|Н^|.[/- 2 Wj = 0,(18.7.13)
i. 7 = 1
где Ц^НИи^Ц"1. Ненулевой корень 1Х уравнения (18.7.11), следовательно, равен
к
к= 2 lWf(18-7Л4)
1,7=1
Поэтому решение (/v ..., с^ (18.7.10) определяется системой
к
^(иВ—^с’^О,(18.7.15)
7=1
Умножая z-e уравнение (18.7.15) на ^ и суммируя затем по 1> получим
^ и^сУ — 1ХС = ^(18.7.16)
1,7 = 1
при этом надо было учесть, что
а
= S ! UMCiCj= С*
Из (18.7.16) следует, что к
где bi дается формулой (18.7.12). Это доказывает (18.7.6).
Подставляя ci вместо Ci в (18.7.8) и используя (18.7.6), найдем, что минимальное значение Q равно 1/(1 -|~^)- Доказательство теоремы 18.7.1 закончено.
Задача дискриминантного анализа в случае двух малых выборок из нормальных распределений в пространстве большого числа измерений, т. е. когда пх и л2 меньше к, рассматривалась Демпстером (1958). '
(Ь) Случай нескольких выборок. В задаче о двух выборках мы показали, как надо спроектировать две ^-мерные выборки на прямую, чтобы средние значения двух получающихся при этом одномерных выборок были удалены друг от друга на максимально возможное (в соответствии с внутривыборочным рассеиванием одномерных выборок) расстояние. В случае трех выборок мы хотим спроектировать эти три выборки на двумерное подпространство (плоскость) так, чтобы рассеивание объединенной двумерной выборки было максимально возможным в соответствии с внутривыборочным рассеиванием проекций трех выборок. И вообще, если имеются (s+1) ^-мерных выборок, s-pl^A, мы хотим спроектировать эти выборки на s-мерное эвклидово подпространство так, чтобы доставить рассеиванию объединенной s-мерной выборки, получившейся при этом, максимально возможное, в соответствии с внутривыборочным рассеиванием (s-|-1) s-мерных выборок, значение.
Более точно, пусть (х^,..., х^; ^ = 1,..., zzT), 7=1,..., s-]-l, будут (s+1) A-мерных выборок, sT-|-l^^. Далее, пусть |]nW||— матрицы рассеивания этих выборок относительно соответствующих средних (xW, ..., Х^\ 7 = 1,..., s + 1; || и^ || — матрица внутреннего рассеивания объединенной выборки; || и^|| = || ц(У -}—... —|— и^Л М || — матрица внутривыборочного рассеив'ания, которую мы предположим неособой с вероятностью 1; || и® || = || и.^ — и^|| — матрица межвыборочного рассеивания выборок. Заметим, что если Цм^Ц— неособая матрица с вероятностью 1, то этим же свойством обладает и Цм/уЦ. Определим ^т) как в (18.7.1) с 7=1, ..., s-|-l, где ^сХр) ..., ск^ р=1, ..., s^L— линейно независимые векторы. Для выборки с номером 7, 7=1, ..., s-J-l, пусть координаты проекций выборочных точек будут
^=11 cipx^’ Р=1> s> $ = 1’ "т (1817Л7)
Обозначим через ||5W|| матрицу внутреннего рассеивания выборки (^ •••> z$> ^=1’ ят)> Т—1> «+1> и через ||яр<?|| — ма- трицу внутреннего рассеивания объединения этих выборок. Пусть, наконец, || и^ ||=|| й^ + ■ • • + ^'’ || и j нД || = Ц йр, — й^| Наша за- дача теперь состоит в том, чтобы найти s линейно независимых векторов (с1р, ..., скр\ р=1, ..., s, для которых рассеивание [5pJ достигало бы максимума при фиксированном | й^ |. Это эквивалентно отысканию направления, в котором надо спроектировать (s-^1) выборок на s-мерное подпространство Rs таким образом, чтобы отношение внутривыборочного рассеивания к рассеиванию объединенной выборки, получившейся в Rs, было бы тем же самым, что и отношение внутривыборочного рассеивания к рассеиванию объединенной выборки в Rfe. Другими словами, мы хотим найти такие векторы (^ip, . СкрУ P=V s, чтобы
I ^pq I I uij II ^pq I I uij I(18.7.18)
I ^pq I I uij I
I ^pq I I uij I
Мы поступим так же, как в случае двух выборок, и для произвольного вектора (сь ..., сА) определим 8В и Sw по формулам (18.7.8). Найдем* затем значение этого вектора, для которого 8В достигает экстремума при условии, что Sw имеет фиксированное значение С^О. Для этого надо решить систему уравнений (18.7.9), где ф = 5в-]-(С — SW)L Она записывается в виде (18.7.10), где, конечно; Цн^Ц и Ц^||— матрицы внутривыборочного и межвыборочного рассеивания для (s-pl) выборок. Условие, при котором (18.7.10) имеет ненулевое решение в случае (s-pl) выборок, вполне аналогично (18-7Л1): |НВ_ /я^| = о. (18.7.19)
Далее, если ^i + ..- + ^s+1— (s-J-1)^^ и $4-1^&, то можно показать, что ранг Ци^Ц равен s и ранг Цн^ Ц равен к (с вероятностью 1). Следовательно, «^=11^1 положительно определена, a uB = ||u^|| положительно полуопределена. Из теории таких матриц известно (см., например, Биркгоф и Маклэйн (1953)), что существуют вещественная неособая матрица ||е/.-|| = е и s вещественных чисел, различных с вероятностью 1, -f-oo>/1>...>/s>0 с условием
e,uwe = I> e'uBe = L, (18.7.20)
где L—диагональная матрица ^Х^ с диагональными элементами /ь 0. Умножив матрицу ив — luw слева на / и справа на ^, получим матрицу
е’иРе — leTuwe. (18.7.21)
Вычислим определитель этой матрицы:
|е'иве — le’u^e \^\L —11\ = 1к-Чк —^-•-Qs —^- О8-7-22)
Но так как
| егиве — le'u^e | — | е* | • ] ив — luw \ | е |(18.7.23)
и | е | = | е’ | ф 0, то значения /, при которых определитель | ив — luw\ обращается в нуль, обращают в нуль и определитель | егиве — le’uwe |. Из (18.7.22) мы видим, что ненулевыми корнями последнего (собственными значениями) являются Ц, ..., ls. Пусть теперь (с1р, ..., ск^ р=\, ..., s, — решения (собственные векторы) системы (18.7.10) в случае (s-|-l) выборок; они удовлетворяют условиям:
к
У (пв — / и^с. =0,1^ 1,/г,(18.7.24)
х М р U 7 Jp’х7
S ^jp^C.(18.7.24а)
i./=l
Отметим, что (18.7.24а) есть просто уравнение С — 5^ = 0, где Sw вычислено для (q, ..., ^) = (qp, .chp\
Покажем, что (сАр> ..., ск^ р=1, ..., s, суть требуемые векторы. Если умножить ье уравнение из (18.7.24) на с1р и просуммировать по z, приняв во внимание (18.7.24а), то получим
к
У ивс.с.=1С.(18.7.25)
Uij ip № рv/
Если теперь умножить z-е уравнение из (18.7.24) на ciq) q ф р, и просуммировать по t, то будем иметь
кк
у иве;с. — I У и^с с. =0.(18.7.26)
£1 ijjp iq Р л U jp iqХ7
i,J = li,J = \
Аналогично
кк
У цВ.с.с. — I У и^с с. =0.(18.7.27)
.^ , Ч 14 *Р 4 .4-1 . ч Jq ipv 7
i,J = \1,7=1
Так как 1рФЦ, то вычитание (18.7.27) из (18.7.26) даетк'
У и^с. с, =0.(18.7.28)
Тогда из (18.7.26) или (18.7.27) выводим к
S »?v..=0'(18-7-29)
Теперь легко получить, что
к
uW= V с С(18.7.30)
Mpq *р_\ 4 tp jq pq
и
к
.,,= «£+«»=£ («.у+.у^^^С+У- (18.7.31)
где 8р9=1, если p = q, и Вр7 = 0, если p^q. Следовательно,
Щ1 (18 7 32)
Рассмотрим теперь отношение I^J/ltt^l рассеиваний в исходном ^-мерном пространстве. Так как согласно (18.6.20)
|е'п^| = |^|ф^|.|е|=1,
то | и^ | = 1/| вц |2. Поскольку | и^ | = | и^-[- и?. |, то аналогичным образом из (18.6.20) выводим, что | и^ | = (1 + Zt). Г. (1 + Zs)/| е^ р. Ит"' ю 1
(,+,,)...(! W (18-ИЗ)
т. е. отношения рассеиваний, стоящие в левых частях (18.7.32) и (18.7.33), равны между собой.
Суммируем полученные результаты.
Пусть (х^,..., ^; $7=1,..., л7), 7=1,..., $-|-1, пх + • • • “Ь ns^ — (^ + 1) ^ k, s -J- 1 ^ к, — (s + 1) независимых камерных выборок. Обозначим отношение внутривыборочного рассеивания к внутреннему рассеиванию объединенной выборки через l^l/l^z/b г^е 1^1 5^0 с вероятностью 7. Рассмотрим проекцию (18.7.17) выборочных точек на s-мерное подпространство и обозначим через |п^|/|пр^| отношение внутривыборочного рассеивания проекций выборок к внутреннему рассеиванию объединения проекций выборок. Собственные векторы (сХр>..., скр), р = 1,... ..., s<^k, подчиненные условию (18.7.24а), для которых отношения рассеиваний |w.y|/|nfy-| и |и^|/|иР9| фавнЫ) находятся как решения уравнений (18.7.24), в которых собственные значения + °° > Zj )>... 2> Zs 2> 0 являются s ненулевыми корнями уравнения (18.7.9). Обшее значение отношений \и^\[\пц | и | и^\(\ upq\ есть 7/[(1 + А) • • • (1 + 4)1- Собственные значения 1р> р =!,..., s даны в (18.7.25); все они попарно различны с вероятностью 1. Любые два собственных вектора ^сХр..., ck^ и (clq,..., cbq\ p^q^ удовлетворяют условиям (18.7.28) и (18.7.29).
Главный смысл этой теоремы состоит в том, что если использовать 5 собственных векторов (уХр..ч cb^ p=I,..., s, для линейного отображения (18.7.17) ^-мерных выборочных точек в s-мерное подпространство, то отношение рассеиваний | ^| / | upq | образов точек в Rs будет в точности равно отношению рассеиваний 1и^\Диг;-1
выборочных точек в исходном ^-мерном пространстве Rfe. В эквивалентной форме это утверждение можно сформулировать так: если спроектировать ^-мерные выборки на s-мерное подпространство, порожденное собственными векторами (сХр,..., ск^ р=1,..„ s, то рассеивание проекции объединенной выборки | ^ | будет максимально возможным при заданном внутривыборочном рассеивании |и^|. Если бы мы захотели спроектировать (s 4" 1) выборок на одномерное подпространство так, чтобы получить наибольшее рассеивание точек на прямой, возможное при заданном внутривыборочном рассеивании проекций выборочных точек, то в (18.7.17) надо было бы использовать собственный вектор (сп,..., скХ\ отвечающий максимальному собственному значению Zp Отношение внутривыборочного рассеивания к рассеиванию объединенной выборки, составленной из проекций выборочных точек на прямую, равно 1/(1 + 4)- Аналогично, если мы хотим спроектировать выборочные точки на ^-мерное подпространство, f<s, то будем использовать в (18.7.17) собственные векторы (с}р,... ..., ск^ р =!,..., t, отвечающие собственным числам Zb..., Z^. Отношение внутривыборочного рассеивания к рассеиванию объединенной выборки из проекций выборочных точек на это ^-мерное подпространство, равно l/^l+za-.^l+za]. '
Следует отметить, что, если (s+O выборок предполагаются извлеченными из ^-мерных нормальных совокупностей с одной и той же матрицей ковариаций Цо^Ц, то отношение рассеиваний | и^|/| и^ | равно отношению правдоподобия Неймана — Пирсона для проверки гипотезы о равенстве векторов средних нормальных распределений. Кроме того, если эта гипотеза верна, то отношение | zz^ |/| и^1 имеет распределение, одинаковое с Rs из (18.5.3) при т = пх-\- _ •4~лчл— -(s+n-
Распределение собственных значений в дискриминантном анализе
В задаче дискриминантного анализа из предыдущего параграфа собственные числа 4^>.. .^>4 и соответствующие собственные векторы (с1р,..., ск^ ^=1,..., s, играли главную роль. Степень разделения ^-мерных выборочных гроздей зависит от величины собственных значений: чем больше собственные значения, тем сильнее разделение. Если выборки извлечены из одинаковых ^-мерных нормальных совокупностей, то распределение собственных значений может быть найдено без большого труда. В частном случае двух выборок из одинаковых ^-мерных нормальных совокупностей отношение внутривыборочного рассеивания к суммарному равно 1/(14~4Х где ^ — единственное собственное значение. Но 1/(1 4~ 4) в точности то же, что и величина R'x> определенная формулой (18.4.15) в §18.4(Ь). Поэтому 1/(1 4™ 4) имеет одинаковое с R\ распределение. Ниже будет
показано, что (nt-\-n4— 2)Zj есть отношение Г2 Хотеллинга для задачи о двух выборках.
В этом параграфе мы рассмотрим распределение собственных значений Zb..., Z5 в случае, когда ($+Ь выборок извлекаются из одинаковых ^-мерных нормальных, совокупностей. Надо изучить два важных случая: 1) случай s-^l^A, т,. е. число собственных значений равно ^; 2) случай когда имеется $ собственных значений.
Случай к собственных значений. При построении теории распределения собственных значений удобно установить сначала следующий общий результат.
Пусть {т^у} и {т^у}— две независимые системы случайных величин, имеющих распределения Уишарта W(k, п, ||°//Н) и W^h, пг, По^уЦ) соответственно, где n^>h, nf^>h. Тогда распределение корней 1 ^ ^i ^... ^ ^ ^ 0 уравнения
I ^j — ^U Jr^ij)g\ = ° (18.8,1)
задается элементом вероятности
k1 ,, k 1к
i—1t —1i>y=l
(18.8.2)
в области 0 ^ gk ^ gkx ^... ^ gv -^ 1 и 0 в остальных точках Постоянная К равнав области 0 ^ gk ^ gkx ^... ^ gv -^ 1 и 0 в остальных точках Постоянная К равна
в области 0 ^ gk ^ gkx ^... ^ gv -^ 1 и 0 в остальных точках Постоянная К равна
в области 0 ^ gk ^ gkx ^... ^ gv -^ 1 и 0 в остальных точках Постоянная К равна
Рассуждениями, аналогичными уже использованным при доказательстве 18.6.1, можно показать, чго 18.8.1 эквивалентно утверждению о том, что корни уравнения
l^<7 — (^v + ^v)^^0l^<7 — (^v + ^v)^^0(18.8.1а)(18.8.1а)
l^<7 — (^v + ^v)^^0
l^<7 — (^v + ^v)^^0
(18.8.1а)
(18.8.1а)
имеют элемент вероятности (18.8.2), если только {zify} и {т^*} представляют собой независимые множества случайных величин с распределениями Уишарта W^h, п, ||^/у||) и W(k, п\ ||8/у||). К доказательству этого утверждения мы и приступим.
Так как матрицы || Tfjy + yz:y || = v* 4"^'* и II ^И II = ^г* положительно определены (с вероятностью 1), то существует вещественная неособая матрица ||efy|| = e и диагональная матрица т с попарно различными (с вероятностью 1) диагональными элементами Х^тО )>...)>/^^>0, такие, что
. у* -]~ ч)^ = еге, у'* = е'те, (18.8.3)
Но уравнения (18.8.3) эквивалентны следующим:
V* — ег те,Vх* — с' (7 — т) е.(18,8.3а)
Из (18.8.3) следует, что (18.8.1а) может быть записано как
или какили как| е'те — ge'e | = О,| ^ | \т — gl | • | е | = 0.| е'те — ge'e | = О,| ^ | \т — gl | • | е | = 0.(18.8.4)(18.8.4а)(18.8.4)(18.8.4а)
или как
или как
| е'те — ge'e | = О,
| ^ | \т — gl | • | е | = 0.
| е'те — ge'e | = О,
| ^ | \т — gl | • | е | = 0.
(18.8.4)
(18.8.4а)
(18.8.4)
(18.8.4а)
Следовательно, корни gb..., gk равны соответственно тх, .... тк. Элемент вероятности {vfy} и {^*} равен
к
A\x>tjVn |^|2" е ' * П ^А#
.(18.8.5) где А— нормирующая постоянная.
Если применить преобразование (18.8.3а) к (18.8.5), то якобиан его будет иметь следующий вид:
к2 столбцов* к столбцов
д (.«tj) dkeVj^
d(m.,) }2^+l) строк, (18.8.6)
Ij-bC^-Ln CTDOK d^m^ J 2 A<A ' Ч строк.
Прибавим к первой строке верхней половины матрицы первую строку нижней, ко второй строке верхней половины — вторую строку нижней и т. д. Тогда элементы правого верхнего блока J будут иметь вид д ^otj -\-x)ij)ldmi’ и в силу (18.8.3) окажутся равными нулю. В этой новой форме якобиана J только элементы левого нижнего блока зависят от тъ ..., тк и представляют собой однородные линейные формы этих переменных с коэффициентами, зависящими только от еи. Если теперь разложить J методом Лапласа (см. Бохер (1929)) по верхним -^-^(^"Н О строкам, то станет ясно, что любой дополнительный минор, образованный из нижних уЛ(£-|-1) строк, будет иметь— к(А—1) столбцов, выбранных из левого нижнего блока. Поэтому каждый член в разложении Лапласа будет однородным полиномом от тъ тк степени ~ к (Л—1). Если mi = mp Г>Ь то преобразование (18.8.3а) неопределенно и J=0; следовательно, ^mj— — m$Hj входит сомножителем в J, где ац 1 — целое положительное число. Таким образом, J имеет вид G • ]Д ^mj— т^ач\ где Q i>j= 1
зависит только от е^. Но из того, что J—полином от тх> ..., тк степени ^к^к—1), следует а^=\ для всех Z, у. Итак,
~к
J=Q JJ ^mj — m^.(18.8.7),
i>j=l '
Из (18.8.3) и (18.8.3а) мы видим, что
к
|^/|=ы4- П^
к
П1 = Ы4 ПИ-^)’(18.8.8)
к
's^+V»)=A-
1 = 1
Следовательно, применяя формулы (18.8.7) и (18.8.8) к (18.8.5), находим, что {^,-у} и ^т^\ являются независимыми множествами случайных величин и элемент вероятности ^т^ равен
k- • /#_ 1 \ Г—*1 1 / / *- 1 \
К([п(1 -”j]. П («ч-™.>} X
X dmx ... dmk (18.8.9)
в области Ек: 1 ^> тх )>... ^> тк ^> 0. Здесь К — постоянная, подле
жащая определению.
ТогдаТогдаОбозначим интеграл по области Ек от функции, стоящей в фигурных скобках в (18.8.9), через <рл [у(п — ^ — 1), у ^— ^—^]*
Тогда
Тогда
(18.8.10)(18.8.10)1 (п — к — 1 п’ — к — 1 \
(18.8.10)
(18.8.10)
"К М 2’2) *
Так как {^fy} и {^7} распределены независимо по законам Уишарта W^k, п, || 8;/ |1) и W^k, и', H^vll), непосредственно из (18.2.33) полу-.
(18.8.11)(18.8.11)(18.8.Г2)(18.8.Г2)чаем
(18.8.11)
(18.8.11)
(18.8.Г2)
(18.8.Г2)
WjWj
Но из (18.8.8) следует, что
®(i v?y г-1 т»,7 |-o=s ([ ГТ с1—mti\r [П/и«] г)=
(п — £ + 1 . tV — к—1\
2Г)
( п — к — 1 п' — к — 1 \
^\2’2)
Полагая в (18.8.11) и (18.8.12) г =—^Ап— к—1), будем иметь
п + п* — 2к — 2\,/^ + 2 —/\ г ( п + п’ — к — I \
in — к— 1п' — к—ХХ11 in-V\ — i\ _[п’ + \ — 1\ •
*Ц2’ 2) •' = 1 Г I2J Г I2J
(18.8.13)
Задача определения К сводится теперь к вычислению ^(0, Ж), где
М= ^(п-]-п' — 2к— 2). По определению функции срА
?й(0, Л4) = ^ (n^t) П (^/— mi)dtnx...dmk. (18.8.14)
Положим тх = t, пц = tm% ..., тк = tmk. Мы найдем тогда, что
?Н0,УИ) = —?L ■■ -^(1, М).(18.8.15)
Из (18.8.13) имеем
Уб (°- М> _ ТТ^"* 2~(18.8.16)
ф. (1,Л4— 1)— Ц А+ 2 — i *
i = l* 2
Решая систему разностных уравнений (18.8.15) и (18.8.16), получим п + п’ — 2к— 2\
^к (°’ -21—2) =
к fk + 2 — i\ / и + ^ — к — i \ Г^ + 1—Л 7 ;1 . (18-8.17)
= У г f ^ + ^ +1—k 7
Подставляя это значение ^к ^^^ALZZ^^ в (18.8.13) и вспоминая, что К= 1/фл ^ (п — к—1), -^-(л' — к — 1)], найдем для К значение, приведенное в 18.8.1.
В задаче дискриминантного анализа преимущественный интерес представляют скорее корни уравнения
|V;V — Z^7| = 0,(18.8.18)
чем уравнения (18.8.1).
Но корни уравнений (18.8.18) и (18.8.1) связаны соотношением
=»=ттт;-(,8-8J9>
Поэтому, если применить преобразование (18.8.19) к (18.8.2), получим следующий результат.
19*
Если {-у^} и {у '^ — независимые множества случайных величин, имеющих распределения Уишарта W^h, п, || о^ ||) и W(k, п\ || ozv ||), то корни Zx^..."^tk^Oуравнения \Vij— к)ц\=0 имеют элемент вероятности
<<[П 1+'- “ П'-Т(18.8.20)
4=1 ХLi=l Jг>/=1
в области ^^lk^ 1к_х ^... ^ Zj <^ 4**00 и 0 в остальных точках. Постоянная К определена в 18.8.1.
Возвращаясь теперь к задаче дискриминантного анализа для (s 4” 1) выборок, где s-^-^^^ в качестве следствия 18.8.2 будем иметь
. Если^и^ и ||и^| — соответственно матрица внутривы- борочного и межвыборочного рассеивания (s—|—1) выборок объемов пъ ^$лА’ где 5~pi^>A и ^ 4" • • • + ^s+i— (s-^1)^^ т° распределение корней уравнения
\цВ.-1и7.\ = 0(18.8.21)
задается элементом вероятности
/СоГП(1+4)Н<Я+,) [Ш]^’” П((,-О^1...^ (18.8.22)
L t=lJ4=1 Ji>j=A
в области Q^lk^ lk_x ^... ^ lx < 4~ oo и 0 в остальных точках. Постоянная равна
где п — пх 4”... Ц- ns^x — (s —|— 1 )•
Доказательство этого утверждения сразу получается из 18.8.2, если заметить, что при сделанных предположениях {м?.} и {zz^} являются независимыми множествами случайных величин с распределениями Уишарта W(k, s, || а^ ||) и W^h, п, ||о//||), где п = пх-\-..* ... 4~ ^5+1 — ($ 4~ О’
(Ь) Случай s собственных значений ($<7&). Пусть теперь в 18.8.1 n'<k\ тогда величины {у',/} будут иметь вырожденное распределение п’
Уишарта. В самом деле, {гг^у} распределены одинаково с {S^^a}’ где (г^, ..., zk^ В=1, ..., пг) — выборка объема пг из ^-мерной нормальной совокупности М{0}, || а^- ||). Уравнение (18.8.1) имеет теперь пг корней ^i^. ..^>^^>0, и ясно, что элемент вероятности величин ^i,..., gn» имеет форму (18.8.2) с k, п, п\ замененными на п» п-^-п' — К соответственно.
Возвращаясь к задаче дискриминантного анализа для (s —j— 1) выборок, где (s+ 1)^^, мы видим, что в этом случае уравнение (18.8.21) имеет корни 1-0.. .^>ls^> 0, s<^&. Следовательно, элемент вероятности величин Zb ..., ls дается выражением (18.8.22) с к, п, $, замененными соответственно на s, nj-s— к, к, где, конечно, n = nv-Y + • • • + П$А-1( + О*
Результаты 18.8.1 и 18.8.2 близки к 18.6.2; они были получены разными авторами, упомянутыми в начале § 18.6(b).-
Каноническая корреляция
(а) Определение канонических коэффициентов корреляции. В этом параграфе будем заниматься следующей задачей. Имеется выборка из ^-мерной совокупности. Мы хотим найти линейную функцию от первых s компонент и линейную функцию от остальных t компонент (£-)-$ = &) выборочных точек так, чтобы коэффициент корреляции между этими линейными функциями принял наибольшее возможное значение. В практических задачах две линейные функции можно рас
сматривать как показатели, построенные соответственно по первым $ и последним t переменным, и один из них обычно используется для предсказания или оценки другого. Естественно выяснить, как следует строить эти две линейные функции, чтобы обычный коэффициент корреляции между ними принял максимально возможное значение.
Пусть ^х^ 2=1, ..., к\ 6=1, ..., /г), п^к,— выборка объема п из ^-мерной совокупности, Цп^Ц— матрица внутреннего рассеивания этой выборки. Пусть ^хр^ р=1, ..., s; 5=1, ..., л) будут первые s компонент выборки, a \ирд\, р> q=l, ..., s, —матрица внутреннего рассеивания этих компонент; аналогично пусть (х^ v = s-|-l, ..., к; 5=1, ..., и)— последние t компонент (s —}—1 = А и Z^s)>0) и Цп^Ц, ^ w = $4“^ •••> ^’ —матрица внутреннего рассеивания этих компонент. Отметим, что
Предположим, что матрица || иц1| неособая с вероятностью 1. Возьмем вещественные векторы (с1р; р= 1, ..., s) и ^с^ v = s-]- 1, ..., Л) и положим
sк
^ic — /^ С\рХ0^ z^ — ^] с^х^(18.9.2)
*р=1v^s + l
— матрица рассеивания выборки (2^ 2^, 5=1, ..., п) относительно ее среднего. Наша задача состоит в том, чтобы определить векторы (сХр, />=1, • s) и (c.2z,; -у = $4-1, ..., к) при некоторых условиях нормировки, которые без потери общности можно взять в виде пи = = й^= 1, так чтобы коэффициент корреляции
R= ^=-(18.9.3)
VUnU^ был максимальным.
Решение этой задачи принадлежит Хотеллингу (1935) и может быть сформулировано в виде следующего утверждения.
18.9.1. Собственные векторы (44 р = 1, ..., s) и ^с^ -d = s-^ 4-1, .... ку которые максимизируют R при условиях йп = й^ = 1, являются решениями уравнений
_ sк
Т^А 2 ^Р^1? + 2 ^pw^lzy== ®> Р == 4 S,
$_ 7s+1(18.9.4)
^j ^DQ^Xq Т^4 2 ^vw^Sw0,^$ "I ’ • * • k,
q=Xw=$+l
где lx — наибольший корень уравнения
(18.9.5)(18.9.5)^pq ^pw
(18.9.5)
(18.9.5)
U-yq U^^
Максимальное значение R равно y7P
Вообще, уравнение (18.9.5) имеет s корней 1Ь ..., ls в интервале (0,1). Предположим, что выборка (x^, /=1, ..., к; ;=1, ..., п) извлечена из такой совокупности, что эти корни попарно различны с вероятностью 1; в этом случае их можно расположить в виде ^^>1х^>^-^>^^>^* Собственные векторы (с^\ р= 1, ..., s) и (4^ v = s4”4 •••> ^) определим как решения уравнений (18.9.4) с 4, замененным на lg, g= 1, ..., $. Значение R, отвечающее этим собственным векторам, равно У lg . Значение &, полученное при использовании собственных векторов (с^;р = 1,..., s) и ^f^ = s+L • ky g^g, есть 0.
Коэффициенты корреляции R^\ ..., R^s\ имеющие соответственно значения J/^..., Vk^ называются каноническими коэффициентами корреляции между первыми $ компонентами (хх^ ..., xs^; $ = 1, ..., ^) и последними t компонентами (xs+1, £, ..., хк/, 5=1, •••, п) выборки (Хц, .Хц, Е=1, ..., п). Наибольший практический интерес представляет, конечно, максимальный канонический коэффициент корреляции Rm.
Чтобы доказать 18.9.1, поступим следующим образом. хМожно проверить, что
^11 jS ^p^lp^lgt ^22 ^i ^тиу^Зу^Згу» ^12 “— ^j ^pw^ip^^w^ (18.9.6)
р, qv,wp,w
где p, q пробегают числа 1,..., s, а у, w — числа s + 1, ..., к. Рассмотрим теперь векторы ^cXp, р=\, .s) и (c^; -у = s —1, .к), которые доставляют экстремум R при условиях 5ц = й.22 = 1. Если ввести множители Лагранжа X и р., то эти же векторы будут доставлять экстремум функции
ф == ^1з-"НО — zzji)X—|—(1 —Л22)Р*(18.9.7)
и могут быть найдены как решения уравнений
-л7— = 0>Р=1’ s’
0С1Рм о п ох
Но (18.9.8) записываются в виде
^1 ^pq^lq “Н ^j ^р-едр^0, р1, . . . , S, qw
^Wiq- V-'2itW»w = °>v = »+lк. (18.9.9)
qw
Умножая p-e из верхних уравнений (18.9.9) на cVp и суммируя по р от 1 до 5, а у-е из нижних уравнений — на с^ pi суммируя по у от $4-1 до к, мы видим, что Х = р,. Поэтому в (18.9.9) можно заменить р. на X. Для существования нетривиальных решений уравнения (18.9.9) необходимо, чтобы
(18.9.10)(18.9.10)^lpq11 pw
(18.9.10)
(18.9.10)
Но это уравнение легко приводится к виду
(— 1)Ч^2(— 1)Ч^2t^pqU,oqt^pqU,oq~ ^pw ^vw~ ^pw ^vw= 0,= 0,(18.9.11)(18.9.11)
(— 1)Ч^2
(— 1)Ч^2
t^pq
U,oq
t^pq
U,oq
~ ^pw ^vw
~ ^pw ^vw
= 0,
= 0,
(18.9.11)
(18.9.11)
где Z=₽X2. Определитель в уравнении (18.9.11) совпадает с определителем из (18.9.5) и представляет собой полинОхМ относительно I степени s. Можно показать, что все его корни вещественны и положительны; обозначим их Zb ..., Z5. Собственные векторы (с^; р=\^..
решениями(18.9.12)решениями(18.9.12).. .,$)и(^; iy = s-|— 1, ... , А), отвечающие /^, являются уравнений
решениями
(18.9.12)
решениями
(18.9.12)
^^2^5^^ + ^Z^pwc^w == ^’ P^^i S, qто
^Иро^дД/*lg ^Lt_C,w -— О, 7? 5 -]— 1, . . ., к»
Если подставить эти векторы в (18.9.12), умножить р-е из верхних уравнений на с^ и просуммировать по р от 1 до s, то, учитывая, ЧТО S “pQ^^fq = *’ П0ЛУЧИМ p.q_
2 “,-«<У=П-,lsgn.
р, w(lo.y.lo)
Но в силу условий йп — й^— 1 левая часть (18.9.13) есть значение коэффициента корреляции R между zx и z^ из (18.9.2), если в качестве (с1р; р= 1, ..., 5) и (^; -y = s-]-l, ..., к^ взяты собственные векторы, определяемые уравнениями (18.9.12). Следовательно, 7^<Ч, g=l, ..., s, и корни Zb ..., Zs, которые по нашему предположению попарно различны с вероятностью 1 и могут быть расположены в виде Zi^>...^>Zs, лежат на интервале (0, 1). Так как 1Х— наибольший корень, то собственные векторы, отвечающие ему, являются решениями уравнений (18.9.4). Можно показать, что при объеме выборки п > к lx = 1 с вероятностью 1 тогда и только тогда, когда первые 5 и последние t (s-j- t=k) случайных величин ^-мерной совокупности, из которой извлечена выборка, линейно зависимы.
Чтобы установить равенство нулю коэффициента корреляции между zx и z^ для любых двух различных собственных векторов (с^; р — 1,... ..., 5) и (^); ^ = $-1- 1, ..., к), g^g, рассмотрим уравнения (18.9.12), в которые уже подставлены векторы (с^; р=1, ..., s) и (с^; v = = s —|— 1, ..., к). Умножим р-е уравнение первой группы на с^\ч)-е уравнение второй — на с^ и просуммируем по р и -у. Затем повторим эту операцию, поменяв местами g и ^. Так как 1g Ф lg», то из подходящей комбинации уравнений можно вывести, что ^pwc\g^
Р. ТУ
Так что коэффициент корреляции R, получаемый при использовании векторов (с^> ^=1, ..., s) и (с^; ^ = s-f- 1>^)> обращается
в нуль при g^g*. Аналогичным образом можно получить, что при
X1 ц c(g)c(gf) — X1 ц ^(g)^(gr) — 0. p, qT), w
(b) Выборочная теория канонических коэффициентов корреляции. Получить распределение квадратов канонических коэффициентов корреляции выборки Zb ..., ls в общих условиях очень сложно. Но
при некоторых ограничениях распределение величин Zb ..., ls оказывается специальным случаем распределения (18.8.2). Точнее, имеет место следующий результат.
.2. Пусть Xх р^ Р=^> • • •> 5; 5 = 1,..., п) и (х^ v = s-}- 1,... ..., А; 5=1, ..., п)— независимые выборки, первая — из s-мерной нормальной совокупности М{Р*р}> || cpq || ), вторая — из произвольной t-мерной совокупности. Если s^t и матрица внутреннего рассеивания второй выборки неособая с вероятностью 1, то корни 1 ^ Zt ^... ^ Z5 ^ О уравнения (18.9.5) имеют распределение, элемент вероятности которого равен
s1si
к* [П(1-9]^""5_2) [П^Р(/-$"”х
Р=1Р=^
X п <lq-lpW..<«8 (18.9.14) р>?=1
в области ^^ls^ ls^ ^... ^ l\ ^ 1 и 0 в остальных точках;
При доказательстве 18.9.2 достаточно рассмотреть случай, когда все (х^, ч)= s-|- 1,..., k; 5 = 1,..., п) фиксированы (и матрица || и^ | для этого набора неособая). Мы покажем, что в этом случае Zb ..., ls имеют распределение (18.9.14). Отсюда, конечно, будет следовать, что этот результат верен и тогда, когда (х^, -у = s + 1, ..., Л; 5 = = 1, ..., п)— случайная выборка из произвольной совокупности, для которой матрица || и^ || неособая с вероятностью 1.
Начнем доказательство 18.9.2 с того, что умножим обе части уравнения (18.9.5) (слева) на определитель
-и
О : и^
где || и°,ш || = || и^ || 1 и ^pq — символ Кронекера. Тогда после умножения будем иметь
Zupq-^U^Zupq-^U^v, wv, w^pv^wq^pv^wq^рчы ~Н ^ j W^^ ир1)и^у^^рчы ~Н ^ j W^^ ир1)и^у^(18.9.16)(18.9.16)
Zupq-^U^
Zupq-^U^
v, w
v, w
^pv^wq
^pv^wq
^рчы ~Н ^ j W^^ ир1)и^у^
^рчы ~Н ^ j W^^ ир1)и^у^
(18.9.16)
(18.9.16)
-и-и2 U^'tl^
-и
-и
где р, q пробегают числа 1, .., , s, a v, ®, w'— числа $4-1,...,Л. Гак как 2 uvw'uW'W = ^^ то ясно, что каждый элемент в правом ТУ*
верхнем блоке определителя из (18.9.16) есть 0. Поэтому корни уравнения (18.9.5) совпадают с корнями уравнения
I 5 ^“p^wq — ^pq | = 0.I 5 ^“p^wq — ^pq | = 0.(18.9.17)(18.9.17)
I 5 ^“p^wq — ^pq | = 0.
I 5 ^“p^wq — ^pq | = 0.
(18.9.17)
(18.9.17)
Обозначим теперь х^ — хр через у^ и хР. — Х, через jT.. Тогда
(18.9.18)(18.9.18)^pq ^j Ур^ХД— »pq I ^pq>
(18.9.18)
(18.9.18)
Е = 1
где
п
UpqUpq=: 5 (>РЕS
Upq
Upq
Е — 118)Ч)
к
^= 2 и^ь^
Dt W = S-\-l
ккbpW —bpW —S U^Upw*•D=s-^- 1S U^Upw*•D=s-^- 1
к
к
bpW —
bpW —
S U^Upw*
•D=s-^- 1
S U^Upw*
•D=s-^- 1
Подставляя выражение для bpw в выражение для upq> найдем, что 11^ = ^ irwupVuwr Следовательно, (18.9.17) можно записать в виде
|и^-№ + “р9)^ = °-(18.9.19)
Можно проверить, что в условиях теоремы 18.9.2 ^Пр^ и \tipq\ будут независимыми множествами случайных величин, имеющими распределения Уишарта W(s, п — t—1, || ар^ Ц) и W(s, t, |!^1;). Из 18.8.1 тогда следует, что корни уравнения (18.9.8) имеют распределение (18.8.2) с заменой к на s, пг на t и п на п— t—1. При этом получится распределение (18.9.14). Доказательство 18.9.2 закончено.
ЗАДАЧИ
Пусть (х^, ... , х^; 5=1п)— выборка объема- п(п>£) из нормальной совокупности N^y.^ Ца^Ц). Показать, что оценка максимального правдоподобия для (р.п ... , цд) есть (хп ... , ^), а для || a/у|| —|| иц’пул Tike (хи ... , х^)— вектор выборочных средних и Пи/;!) — матрица внутреннего рассеивания выборки.
Показать с помощью характеристических функций, что если симметрическая матрица ||а/у||, i,j = X> ... , к < т> составлена из случайных
величин, имеющих совместное распределение Уишарта W (к, т, ||с/у||), то элементы матрицы || apq |j, р, <7=1, ... , s<&, имеют распределение Уишарта W (s, m, |; apq ||).
Распределение коэффициентов корреляции в выборке из к-мер- ного нормального распределения с независимыми компонентами. Покажите, что если выборка (х^ ... , х^ 6=1, ... , п), п^к, извлечена из нормальной совокупности Л^({^/}, Н^у^уЦ) и Н^уН— матрица внутреннего рассеивания выборки, то распределение элементов корреляционной матрицы 1!г//^=задается п. в.
^Щ-к-^^Щ-к-^Уиция
^Щ-к-^
^Щ-к-^
г» (^=1
\ 2
^(й-РЛЦ г(Я~
i = 1
в тех точках пространства {г/у}, в которых || г^у|| положительно определена, и 0 в остальных точках.
(Продолжение). Показать, что
к
и, следовательно, распределение | гу\ одинаково с распределением JJ z^ где Zi — независимые случайные величины с бета-распределениями Be ^ (п—г), ^(1—1>У Z = 2, ... , к соответственно.
Распределение выборочного коэффициента корреляции. Пусть |!П/у||— матрица внутреннего рассеивания выборки объема п из двумерной совокупности ^({ptf}, H^yli), ц /=1) 2. Используя то обстоятельство, что элементы матрицы ||м,у[| имеют совместное распределение Уишарта W(2, п— 1, П^уН), покажите, что п. в. выборочного коэффициента корреляции r = uvjVunu^ равна
(1-р)2 (I — Г=)2у (2Рг)«/л-1+Л
V^ г (п — ^ rf” — 2\ -^ 11\2/
для — 1<г<4-1 и 0 в противном случае, где р = а12/1Лаиа12—коэффици- ент корреляции в исходной совокупности [Фишер (1915)].
^т10^^т10^(Продолжение). Преобразуя элемент вероятности распределения Уишарта W (2, п—1, Ц^/уЦ) по формулам
^т10^
^т10^
/* UY'^iV ПцПоЗ) ^ V^"^11^22 ,
покажите, что п. в. г может быть также записана в форме (принадлежащей Хотеллингу (1953))
— D—4)——3)
(«zzWn-iHb-^^
V2 л2
3_ •х3_ •х~(/1—1)—4)(л—2)Г(п —1) (1-Н2(1-г2)2~(/1—1)—4)(л—2)Г(п —1) (1-Н2(1-г2)2/2 кг(л-1)(1-рг)2/2 кг(л-1)(1-рг)2(2/1—3)1(2/1—3)1XXXX1— ^d+pD ху1— ^d+pD ху(Продолжение). Показать, что принадлежащая Хотеллингу форма элемента вероятности г может быть преобразована к виду
3_ •х
3_ •х
~(/1—1)—4)
(л—2)Г(п —1) (1-Н2(1-г2)2
~(/1—1)—4)
(л—2)Г(п —1) (1-Н2(1-г2)2
/2 кг(л-1)(1-рг)2
/2 кг(л-1)(1-рг)2
(2/1—3)
1
(2/1—3)
1
X
X
X
X
1— ^d+pD ху
1— ^d+pD ху
где /(х) и g(y)—п. в. бета-распределений Be ^, п — l^nBeQ-, ^) соот- ветственно. Отсюда, используя преобразование
• 1 — Р2^
Г = р Ч—^- И, X = - , V = W,
Упп ’1
получить, что предельным распределением для
Уп
1 —р2 при п —>оо будет N (0, 1).
(Продолжение). Покажите с помощью 9.3.1, что если
ии1 , 2 = 2 log1 , 2 = 2 log1+г1 — г1+г1 — гС = 2 10SС = 2 10S1+P1 — р’1+P1 — р’
и
и
1 , 2 = 2 log
1 , 2 = 2 log
1+г
1 — г
1+г
1 — г
С = 2 10S
С = 2 10S
1+P
1 — р’
1+P
1 — р’
то предельное распределение для (z—Q Уп при п-*со есть N (0, 1).
Доверительные эллипсоиды для вектора средних нормального распределения. Если (хп ... , х^— вектор средних и || ы/у||— матрица внутреннего рассеивания выборки объема и, п > й, из/г-мерной нормальной совокупности А^({^}, || а^ ||), то покажите, что эллипсоид
к
п 2 “'V ^i ~ ^ (1х/ —Л') — d < ZT)/z7
I, /= 1
будет ЮОу-процентным доверительным эллипсоидом для ({лп ... , р.д). Здесь zy—ЮО^-процентная квантиль бета-распределения Be ^ (п— к), -^-^ [Хотеллинг (1931)].
Эквивалентность отношения Т2 Хотеллинга отношению правдоподобия для гипотезы о равенстве вектора средних нормального распределения N ({^zb II °z7ll) заданному вектору. Пусть (ш; 2)— гипотеза, в которой 2—g" ^ (^ + 3)-мерное параметрическое пространство точек ({^z}»{cv}) таких, что || а//|| положительно определена; со—подмножество 2, в точках которого ^ = ^0, ... , |лд = ^. Покажите, что отношение правдоподобия X для проверки гипотезы ^ по выборке объема п из совокупности N ({[^}, || оу II) есть
1
X = R^ ,
где RY определено в (18.4.1). Отсюда Rx (так же, как и Г2 Хотеллинга) эквивалентно X и, когда ^ верна, Rv имеет бета-распределение
Be ^п-К^к
(Продолжение). Эквивалентность отношения Т2 Хотеллинга и D2 Махаланобиса отношению правдоподобия для гипотезы о равенстве векторов средних двух нормальных распределений с одинаковыми матрицами ковариаций, Пусть ^f (со; 2)— гипотеза, в которой 2—-^ к (к + 5)- мерное пространство параметрических точек ({pi^}, {^^2)}> {а//})> гДе ll°z/!l положительно определена: <6 — к (к + 3)-мерное подпространство 2, в точках которого ^^ = рь(2\ /=1, ... , к. Показать, что отношение правдоподобия X для проверки гипотезы Ж по независимым выборкам объемов nv и п2 из ^-мерных нормальных совокупностей
Л^(Ж IHyll) и ^({^blhi/ID соответственно, nt > kt п2>> к, равно
а = №)а = №)1 Z I X 2" (/11 +/12)1 Z I X 2" (/11 +/12)
а = №)
а = №)
1 Z I X 2" (/11 +/12)
1 Z I X 2" (/11 +/12)
Следовательно, RY (так же как Т2 Хотеллинга и D2 Махаланобиса для двух выборок) эквивалентно X и распределение /?р когда Ж верна, есть
Be (1 (Я1 + „8-Д-1), 1й).
Обобщите задачу 18.11 на случай ($ + 1) выборок объемов п^... ..., п^ из нормальных совокупностей с общей матрицей ковариаций и докажите, что отношение правдоподобия X для проверки гипотезы Ж о равенстве векторов средних всех исходных совокупностей эквивалентно /?s из (18.5.11), где ||л/у||—сумма матриц внутреннего рассеивания выборок, l|oi/+ 2 ^‘^/рЦ— матрица внутреннего рассеивания объединенной выборки р = 1
и т = nY 4-••• + nSAA— s — 1. Выведите отсюда утверждение 18.5.1.
Проверка гипотезы о равенстве матриц ковариаций двух нор- ' мальных распределений. В задаче 18.11 рассмотрите гипотезу ^ (со; Q), где множество Q прежнее, а со — подмножество Q, в точках которого || aty || = = || g^’ ||. Покажите, что отношение правдоподобия X для гипотезы Ж равно
пп
п
п
где п — г^-^-п^ и когда ^ верна,
r = 0, 1, 2, ...
Модель 1 дисперсионного анализа для векторов в двухфакторном плане эксперимента. Предположим, что в схеме эксперимента, представленной в виде г строк Ru ..., Rr из столбцов Сп ..., Cs с ячейкой, образованной 6-й строкой и Vм столбцом, 6=1, ..., г; ^=1, ..., $, связывается ^-мерный случайный вектор (хх^, ..., х^). Пусть эти rs случайных векторов независимы и (х^, ..., х^) имеет ^-мерное нормальное распределение
W({w + № + l^ Ц^/П),
где ^^Ч* = 5^*4= ^ i—^ •**» ^ Обозначим через ^f (со; S) статистиче- < ’1
скую гипотезу, в которой Q— пространство k (r-pS — 1) +"2"^ (^+ 1) независимых параметров, входящих в указанные выше rs распределений, а со— ^s + '2" ^ (^ + Обмерное подпространство 2, на котором отсутствуют «эффекты по строкам», т. е.
р-н* — Рй*Fir* — 0, I — 1 ,. • •, к.
Обозначим вычисленные по х^ 6=1, ...» г, ^ = 1, ..., s, величины X... ..., Я:., х.^ mt т^., т,^ определенные в (10.6.3), через х,-.., х^., Х^.ч> тп miv> nit.^ соответственно и положим
S‘7" = S ^Rii — mt — miv — mi.^ (.х^ — ту—тд. — т^^,
S[ j • о = 2" *
Показать, что отношение правдоподобия X для проверки гипотезы ^ равно
Х=£2
где
L |Sy..+S,v.0| ’
и при нулевой гипотезе (т. е. при ц^. = ...= |л,>. = 0, i = l, ... , £) распределение L совпадает с распределением Rs из 18.5.1 с т и $, замененными на (г—1)($—1) и (г—1) соответственно.
Распределение суммы квадратов разностей в методе наименьших квадратов. Пусть (х^, ... , х^ £=!,..., п), п>кэ выборка из /г-мерной совокупности АЧ^пЬ II Qij ll)> II utj II— матрица внутреннего рассеивания выборки. Показать, что для фиксированной выборки минимум п
5 [^U — ?i — ^-''2; —... — ^bxtey по Р„..., ^ равен | им |/| и^ |, I, j= 1й;
i-i
v, w = 2, ... , k. С помощью методов, использованных в § 18.4 для вычисления моментов, доказать, что
§ (^т)' = (2/аИ)Г—М”^\’ г = °. ^ 2 - •
где а11 — элемент первой строки и первого столбца матрицы (| о;у|| ^ Из этой последовательности моментов получить, что величина
а11 | ^j |/| ^W I
имеет ‘//-распределение С (п— к).
(Продолжение). Выборочное распределение множественного коэффициента корреляции. Показать, что если минимизирующие значения ₽i> •••, к СУТЬ Pi, “• , ра, то выборочный коэффициент корреляции/? между х^ и ?1+?2х2с + ...+^х^, 6=1, ..., п, удовлетворяет уравнению
ПоложимПоложимI— /?=—LJ&L М11 * I ^yw II— /?=—LJ&L М11 * I ^yw IДоказать, чтоДоказать, что
Положим
Положим
I— /?=—LJ&L М11 * I ^yw I
I— /?=—LJ&L М11 * I ^yw I
Доказать, что
Доказать, что
Замечая, что
ооj 6 (г, ?,+... +V)^1 - d^n r = 0, J, 2, .. , о
о
о
вывести формулу
где р2 — квадрат множественного коэффициента корреляции между xt ’и х2) ... , х^ в исходной совокупности,"
Пользуясь выражением для моментов 1—V?2, показать, что п. в. R- равна
(1 — р2)2 (I — #2)2 т(п— х\т(п—к\ \ 2 У \ 2 )
для 0^7?2^1 и 0 в противном случае [Фишер (1928b)].
(Продолжение). Распределение рассеивания разностей. Рассмотрим разности
Ур^ ^^ ^рЧ ^р “ ^j Рру^тб» Р == 1 > •• •, s, $ = 1, ... , п, s < к, •d=s4-1
и их рассеиваниеп
Методами, аналогичными использованным в § 18.4, показать, .что наименьшее значение рассеивания по рп ... , ^^ равно
I uij\l I uvw I» ц j=\, ... , к; у, w = s+ 1, ..., к.
Доказать, что если выборка (х^ ... , х^, 6=1, -.., п) извлечена из нормальной совокупности ^({^*1, ||«v!|), то"Доказать, что если выборка (х^ ... , х^, 6=1, -.., п) извлечена из нормальной совокупности ^({^*1, ||«v!|), то"
Доказать, что если выборка (х^ ... , х^, 6=1, -.., п) извлечена из нормальной совокупности ^({^*1, ||«v!|), то"
Доказать, что если выборка (х^ ... , х^, 6=1, -.., п) извлечена из нормальной совокупности ^({^*1, ||«v!|), то"
Вывести отсюда, что распределение | и^ | /| и^ | совпадает с распределениемs
WJT-
I = 1
где гп ... , zs — независимые случайные величины, имеющие соответственно гамма-распределения G (^-(п — к)^, G ^(п— к+ l)j, ... , (7 ^-(п —
-* + s-l)V
.18.18. Главные компоненты (собственные значения) k-мерного распреде
ления вероятностей. Главные компоненты ^-мерного распределения вероятностей с матрицей ковариаций || а;/|| равны по определению собственным значениям XD ... , Хд этой матрицы (т. е. корням уравнения | о/у— Х^у|=О), причем -|-со> Хх ^ ... 2> Хд^О. Показать, что Хх + ♦.. + ^^ = <5и+ --* + ам> Х4Х2 ... Хд = | сц |, единичный собственный вектор (с1р, ... , Сдр), отвечающий собственному значению Хр, отличному от всех остальных собственных значений, удовлетворяет условию
к
2 ^ч ^Лу) cjp™^> Z = 1, ... , ^.
Доказать, что если все собственные значения Хп ..., Х^ различны, то собственные векторы попарно ортогональны. Следовательно, при выборе в качестве новых осей 'направлений собственных векторов (си, ... , ск1), ... ... , (clkl ... , с^) распределение вероятностей в новой системе координат будет иметь матрицу ковариаций ||^yXf||.
(Продолжение). Пусть матрица ковариаций || а,у || ^-мерного распределения вероятностей такова, что а/; = а2, 2=1, ... , к; aZy = po2, 1ф] = = 1к. Показать, что Х1=а2[1+(^—1)р], Х2 =... = Х^ = а2 (1— р), — единичный вектор (еи, ... , с^), отвечающий Хп задастся компонентами
си = ... = ск1 = А^.
Критерий независимости двух множеств случайных ‘величин. Пусть || иц\\— матрица внутреннего рассеивания выборки объема п > к из ^-мерной нормальной совокупности ^({pj, || а/у ||); || uFq ||, р, q= 1, ... , s,— матрица внутреннего рассеивания выборки, образованной первыми s координатами, || и^ ||, у, w = $+h ••• , к,—матрица внутреннего рассеивания выборки, образованной последними t(t = k—s, s^t) координатами. Обозначим ^(со; 2) гипотезу, в которой Q есть -^- к (^4"3)-мерное пространство параметров (рп ... , рд— вещественные, || а/у|| —симметрическая мат. рица), о)—^к (к-Д-З)— st ^мерное подпространство £2, на котором
®pw = 0, p=l,...ts; ^ = $ + 1, ... , к.
Показать, что отношение правдоподобия для гипотезы ^ равно
где
I Upq I I ^DW I
Методами, аналогичными применявшимся в § 18.4(a), доказать, что
Г = 0, 1, 2, ... , когда Ж верна.
Вывести отсюда, что при s=l, t — k—1 L имеет бета-распределение- Вс ^ (^ — ^), у (^ — 1)^, а при s = 2, £ = £ — 2 L имеет распределение Be (п — к, к — 2) [Уилкс (1935)].
Критерий сферичности нормального распределения.
Пусть Цп/уЦ— матрица внутреннего рассеивания выборки объема п из /^-мерной нормальной совокупности ^({^1, || ®ж/Н)- Рассмотрим гипотезу Ж (со; 2), в которой 2—— к (к -]- 3)-мерное пространство параметров (^ вещественны, ||sf;|| — симметрическая), а со—(& + 1)-мерное подпространство 2, на котором || a/у || = || 8z-ya21|, где Ъц — символ Кронекера, а2 > 0. Показать, что отношение правдоподобия X для проверки гипотезы Ж равно
где
5 — ~£ (^И + • • • + ^kkY
Показать, далее, что при нулевой гипотезеПоказать, далее, что при нулевой гипотезеф(г, 0) = g (| ы^у Г ^е") =ф(г, 0) = g (| ы^у Г ^е") =
Показать, далее, что при нулевой гипотезе
Показать, далее, что при нулевой гипотезе
ф(г, 0) = g (| ы^у Г ^е") =
ф(г, 0) = g (| ы^у Г ^е") =
Проверить, что при к = 2 VL имеет бета-распределение Be (и—2,1) [Мочли (1940)].
(Продолжение). Критерий гипотезы о симметричности к-мер- ного нормального распределения по к переменным. Пусть Ж* («, 2) — гипотеза, в которой 2 то же, что и в предыдущей задаче, а со—(к + Замерное подпространство 2, на котором GU — G2t Z= 1, ... , к; ау = ад = ра21 t^j; -i^T
Показать, что отношение правдоподобия X для гипотезы Ж* равно
гдегдео" п
где
где
(й—й*)6-* («+(fe—1)8*)
Л(Л —1) 2
Hip так что статистика L* экви
валентна X при проверке Ж*.
Доказать, что, когда Ж* верна,
%^1*у — j ^ ф (г, 61-|-• • •-|-Sr (Д-ц, 414-*--4-4д) ^i ••♦ ^6Г(й-1) d^^.d^— г f ^п ^ ^ ^ \ h Г Г (п ' 1 |"
r = 0, 1, 2,,
где_ ___<Р (Г, Р, ?) = g [| ^^(“-“^(«Ч^-^ =где_ ___<Р (Г, Р, ?) = g [| ^^(“-“^(«Ч^-^ =
где_ ___
<Р (Г, Р, ?) = g [| ^^(“-“^(«Ч^-^ =
где_ ___
<Р (Г, Р, ?) = g [| ^^(“-“^(«Ч^-^ =
И
а-41-р)’^[14-(^1)P]‘
Проверить, что при к = 2 L* имеет бета-распределение Be ^(м — 2), -~j, а при й = 3, VL* имеет распределение Be (п— 2,1) [Уилкс (1946)]. [Относительно обобщения критерия L* для проверки гипотезы о симметричности распределения ^({|лI•}, H^f/||) по переменным внутри блоков см. Вотау (1948).]
Нецентральное распределение Т2. Показать, что если в обстановке § 18.4 (а) выборка извлечена из совокупности ?/({^}, ll^yll)) где (p,n ... , |х^)^(fx’j, ... , р,^), то определенная в (18.4.5) величина Г2 имеет п. в.
L §2 Л Д— 1-/г 000 1 Г f И I 1
в 2 (Г2)2[14-P/(n— 1)] 2 У L2 (л — 1) J V2 "Т" У
(„ -,){‘ г (Л=4)Я л г (4 + г) [1 + ГК- -1 >1 -'
где
[Сюй (1938)].[Сюй (1938)].82^i —^°) ^/^/, 7-182^i —^°) ^/^/, 7-1
[Сюй (1938)].
[Сюй (1938)].
82^i —^°) ^/^
/, 7-1
82^i —^°) ^/^
/, 7-1
Вычисление моментов рассеивания |г^у| выборки из совокупно» cmuN^y.i}^ || ац ||) без использования распределения Уишарта [Уилкс (1934)]. Пусть выборка (х^, ... , х^ 5=1, ••• , и), n^kt извлечена из к- мерной нормальной совокупности 7V({pr], || ®//1|); II tty II—матрица рассеивания относительно среднего (рп ...» р^).-
Показать (без использования распределения Уишарта), что при 2г < п +1 —• к'
-j- оо-]— оо2гк
^(\Vii\-r) = l(K’- J ... J g[cxp(— 5 2 ®ijzipzjq)A П dzip = — со —оор — 1 i, j — 1i, p
кк
к
к
1в квадратных скобках указаны страницы, на которых встречаются ссылки на соответствующую работу]
Андерсон (R. L. Anderson, 1942), Distribution of the serial correlation coefficient, Ann. Math. Stat., Vol. 13, pp. 1—13. [533]
Андерсон (T. W. Anderson, 1948), On the theory of testing serial correlation, Skand. Aktuar., Vol. 31, pp. 88—116. [534]
Андерсон и Дарлинг (T. W. Anderson and D. A. Darling, 1952), Asymptotic theory of certain «goodness — of — fit» criteria based on stochastic processes, Ann. Math. Stat, Vol. 23, pp. 193—212. [445]
Андерсон (T. W. Anderson, 1958), An introduction to multivariate statistical analysis, John Wiley, New York (русский перевод: Введение в многомерный статистический анализ, М., Физматгиз, 1963). [539]
Андерсон (Т. W. Anderson, 1960), A modification of the sequential probability ratio test to reduce the sample size, Ann. Math. Stat, Vol. 31, pp. 165—197. [495]
Арнольд (H. E. Arnold, 1958), Permutation support for multivariate techniques, Ph. D. Dissertation, Princeton University. [471]
Балмер (M. G. Bulmer, 1957), Approximate confidence limits for components of variance, Biomctrika, pp. 159—167. [318]
Баранкин и Гёрланд (E. W. Barankin and J. Gurland, 1951), On asymptotically normal efficient estimators: I, Univ. California Publications in Statistics, Vol. 1, № 6, pp. 89—129. [369, 372, 389]
Барнард (G. A. Barnard, 1952), The frequency justification of certain sequential tests, Biometrika, Vol. 39, pp. 144—150. [477]
Бартки (W. Bartky, 1943), Multiple sampling with constant probability, Ann. Math. Stat, Vol. 14, pp. 363—377. [478]
Бартлетт (M. S. Bartlett, 1950), Periodogram analysis and continuous spectra, Biometrika, Vol. 37, pp. 1—16. [524]
Бартлетт (M. S. Bartlett, 1953), Approximate confidence intervals, II. More than one unknown parameter, Biometrika, Vol. 40, pp. 306—317. [396]
Бартлетт (M. S. Bartlett, 1955), An introduction to stochastic processes, Cambridge University Press (русский перевод: Введение в теорию случайных процессов, ИЛ, М., 1958). [515, 524, 526]
Бахадур (R. R. Bahadur, 1954), Sufficiency and statistical decision functions, Ann. Math. Stat., Vol. 25, pp. 423—462. [365]
Бахадур (R. R. Bahadur, 1958), Examples of inconsistency of maximum likelihood extimates, Sankhya, Vol. 20, pp. 207—210. [372]
Бернулли (J. Bernoulli, 1713), Arc Conjectande, Paris. [150]
Бертран (J. Bertrand, 1889), Calcul des probabilites, Gauthier—Villars, Paris. [475]
Бил (E. M. L. Beale, 1960), Confidence regions in non-linear estimation, Journ. Roy. Stat. Soc., Ser. B., Vol. 22, pp. 41—88. [396]
Биркгоф и Маклэйн (G. Birkhoff and S. MacLane, 1953), A survey of modern algebra (переработанное издание), Macmillan, New York. [226, 567, 576]
Бирнбаум и Т и н д ж и (Z. W. Birnbaum and F. Н. Tingey, 1951), Onesided confidence contours for probability distribution functions, Ann. Math. Stat Vol. 22, pp. 592—596. [345, 347]
Бирнбаум (Z. W. Birnbaum, 1953a), On the power of a one-sided test of fit for continuous probability functions, Ann. Math. Stat., Vol. 24, pp. 484—489. [445]
Бирнбаум (Z. W. Birnbaum, 1953b), Distribution—free tests of fit for continuous probability functions, Ann. Math. Stat., Vol. 24, pp. 1—8. [445]
Б л e к у э л (D. Blackwell, 1946), On an equation of Wald, Ann. Math. Stat., Vol. 17, pp. 84-87. [481]
Блекуэл (D. Blackwell, 1947), Conditional expectation and unbiased sequential estimation, Ann. Math. Stat, Vol. 18, pp. 105—110. [366]
Блекуэл и Г и р ш и к (D. Blackwell and М. A. Girshik, 1954), Theory of games and statistical decisions, John Wiley, New York (русский перевод: Теория игр и статистических решений, ИЛ, М., 1958). [505, 513]
Блюм и У эйсс (J. R. Blum and L. Weiss, 1957), Consistency of certain two-sample tests, Ann. Math. Stat., Vol. 28, pp. 242—246. [457]
‘Бокс и Уилсон (G. E. P. Box and К. B. Wilson, 1951), On the experimental attainment of optimum conditions, Journ. Roy. Stat. Soc., Ser. B, Vol. 13, pp. 1—45. [308]
Бокс (G.E. P. Box, 1952), Multifactor designs of first order, Biometrika, Vol. 39, pp. 49—57. [308]
Бокс (G. E. P. Box, 1954), The exploration and exploitation of response surfaces: Some general considerations and examples, Biometrics, Vol. 10, pp. 16—60. [308]
Бокс и Хантер (G. Е. Р. Box and J. S. Hunter, 1957), Multifactor experimental designs for exploring response surfaces, Ann. Math. Stat., Vol. 28, pp. 195—241. [308]
Бокс и Ma л лер (G. E. P. Box and M. E. Muller, 1958), A note on the generation of random normal deviates, Ann. Math. Stat, Vol. 29, pp. 610—611. [202]
Больцман (L. Boltzmann, 1898), Vorlesungen fiber Gastheorie, Part I, J. A. Barth, Leipzig. [417]
Боуз (R. C. Bose, 1938), On the application of the properties of Galois fields to the problem of construction of hyper-Graeco-Latin squares, Sankhya, Vol. 3, pp. 323—338. [246]
Боуз (R. C. Bose, 1939), On the construction of balanced incomplete block designs, Ann. Eugen., Vol. 9, pp. 353—399. [244]
Бохер (M. Bocher, 1929), Introduction to higher algebra, Macmillan, New York (русский перевод: Введение в высшую алгебру, Гостехтеоретиздат, М,— Л., 1933). [102, 226, 299, 581]
Бохнер (S. Bochner, 1932), Vorlesungen fiber Fouriersche Integrate, Leipzig (русский перевод: Лекции об интеграле Фурье, Физматгиз, М., 1962).
Бэттин (I. L. Battin, 1942), On the problem of multiple matching, Ann. Math. Stat., Vol. 13, pp. 294—305. [168]
Вальд и Вольфовитц (A. Wald and J. Wolfowitz, 1939), Confidence limits for continuous distribution functions, Ann. Math. Stat., Vol. 10, pp. 105— 118. [348]
Вальд (A. Wald, 1939), Contributions to the theory of statistical estimation and testing hypotheses, Ann. Math. Stat., Vol. 10, pp. 299—326. [409]
Вальд и Вольфовитц (A. Wald and J. Wolfowitz, 1940), On a test whether two samples are from the same population, Ann. Math. Stat., Vol. 11, pp. 147—162. [404, 448 ,458]
Вальд (A. Wald, 1941a), Asymptotically most powerful tests of statistical hypotheses, Ann. Math. Stat, Vol. 12, pp. 1—19. [411, 422]
Вальд (A. Wald, 1941b), Some examples of asymptotically most powerful tests, Ann. Math. Stat, Vol. 12, pp. 396—408. [411]
Вальд (A. Wald, 1942), Asymptotically shortest confidence intervals, Ann. Math. Stat., Vol. 13, pp. 127—137. [384]
Вальд (A. Wald, 1943), An extension of Wilks’ method for setting tolerance limits, Ann. Math. Stat., Vol. 14, pp. 45—55. [251]
Вальд и Вольфовитц (A. Wald and J. Wolfowitz, 1944), Statistical tests based on permutations of the observations, Ann. Math. Stat, Vol. 15, pp. 358—372. [277, 278, 470]
Вальд (A. Wald, 1945), Sequential tests of statistical hypotheses, Ann. Math. Stat., Vol. 16, pp. 117—186. [47 8, 481, 487, 490, 493, 495, 497]
Вальд и Вольфовитц (A. Wald and J. Wolfowitz, 1946), Tolerance limits for a normal distribution, Ann. Math. Stat. Vol. 17, pp. 208—215. [352]
Вальд (A. Wald, 1947a), Sequential analysis, John Wiley, New York (русский перевод: Последовательный анализ, Физматгиз, М., 1960). [477, 478, 492, 493, 498, 499]
Вальд (A. Wald, 1947b), Foundations1 of a general theory of statistical decision functions, Econometrica, Vol. 15, pp. 279—313. [505]
Вальд (A. Wald, 1948), Asymptotic properties of the maximum likelihood estimate of an unknown parameter of a discrete stochastic process, Ann. Math. Stat, Vol. 19, pp. 40—46. [369]
Вальд и Вольфовитц (A. Wald and J. Wolfowitz, 1948), Optimum character of the sequential probability ratio test, Ann. Math. Stat, Vol. 19, pp. 326—339. [495]
Вальд (A. Wald, 1949a), Statistical decision functions, Ann. Math. Stat, Vol. 2 0, pp. 165—205. [505]
Вальд (A. Wald, 1949b), Note on the consistency of the maximum likelihood estimate, Ann. Math. Stat, Vol. 20, pp. 595—601. [369]
Вальд (A. Wald, 1950), Statistical decision functions, John Wiley, New York. [505, 507, 5131
Винер (N. Wiener, 1949), Extrapolation, interpolation and smoothing of stationary time series, John Wiley, New York. [535, 536]
Волд (H. Wold, 1938), A study in the analysis of stationary time series, University of Uppsala. [515, 537]
Вольфовитц (J. Wolfowitz, 1949), Non-parametric statistical inference, Proc. (First) Berkeley Symposium on Math. Statistics and Probability, pp. 93—113, University of California Press. [435]
В о т a у (D. F. Votaw, Jr., 1948), Testing compound symmetry in a normal multivariate distribution, Ann. Math. Stat, Vol. 19, pp. 447—473. [599]
Гарвуд (F. Garwood, 1936), Fiducial limits for the Poisson distribution, Biometrika, Vol. 28, pp. 437—442. [378]
Г а т т м с и (I. Guttman, 1960), Personal communication. [260]
Гаусс (К. F. Gauss, 1809a), Theoria motus corporum coelestium in secti- mibus conicis solem aurbientium, Perthes and Besser, Hamburg. [296]
Гаусс (К. F. Gauss, 1809b), Werke, Vol. 4, Gottingen, pp. 1—93. [268]~
Герглотц (G. Herglotz, 1911), uber Potenzreihen mit positivem reelen Teil im Einheitskreis, Berichte Verh. Konig. Sachs. Ges. Wiss., Leipzig, Math. — Phys. Klasse, Vol. 63, pp. 501—511. [520]
Г и p ш и к (M. A. Girshik, 1939), On the sampling theory of roots of deter- minantal equations, Ann. Math. Stat., Vol. 10, pp. 203—224. [566]
Г и p ш и к, Мостсллер и Сэвидж (М. A. Girshik, F. Mosteller and L. J. Savage, 1946), Unbiased estimates for certain binomial sampling problems with applications, Ann. Math. Stat., Vol. 17, pp. 13—23. [158]
Б. В. Гнеденко и В. С. Коро люк (1951), О максимальном расхождении между двумя эмпирическими функциями распределения, Доклады АН СССР, том 80, № 4, стр. 525—528. [461]
Б. В. Гнеденко и А. Н. Колмогоров (1949), Предельные распределения для сумм независимых случайных величин, Гостехиздат, М., [11, 203, 268]
Госсет (W. S. Gosset, «Student», 1908), The probable error of a mean, Biometrika, Vol. 6, pp. 1—25. [224]
Г оф д инг (W. Hoeffding, 1948a), A class of statistics with asymptotically normal distribution, Ann. Math. Stat, Vol. 19, pp. 293—325. [215, 468]
Г оф д инг (W. Hoeffding, 1948b), A non-parametric test of independence, Ann. Math. Stat., Vol. 19, pp. 546—557. [473]
Гофдинг (W. Hoeffding, 1952), The large-sample power of tests based on permutations of observations, Ann. Math. Stat, Vol. 23, pp. 169—192. [471]
Г оф д инг (W. Hoeffding, 1960), Lower bounds for the expected sample size and the average risk of a sequential procedure, Ann. Math. Stat, Vol. 31, pp. 352—368. [495]
Грена н дер и Розенблатт (U. Grenander and M. Rosenblatt, 1953), Statistical spectral analysis of time series arising from stationary stochastic processes, Ann. Math. Stat., Vol. 24, pp. 537—558. [524]
Гренандер и Розенблатт (U. Grenander and M. Rosenblatt, 1957), Statistical analysis of stationary time series, John Wiley, New York; Almqvist and Wiksell, Stockholm. [515, 526, 536]
Гринвуд и Хартли (J. A. Greenwood and H. O. Hartley, 1961), Guide to tables in mathematical statistics, Princeton University press. [171, 201, 308]
Грэйбилл (F. A. Graybill, 1961), An introduction to linear statistical models, McGraw-Hill, New York. [308, 318]
Гудмен (L. A. Goodman, 1953), Sequential sampling tagging for population size problems, Ann. Math. Stat., Vol. 24, pp. 56—69. [503]
Гумбель (E. J. Gumbel, 1935), Les valeurs extremes des distributions statistiques, Ann. de 1’Institut Henri Poincare, Vol. 4, pp. 115—158. [283]
Гумбель (E. J. Gumbell, 1958), Statistics of extremes, Columbia University press (русский перевод: Статистика экстремальных значений, «Мир», М., 1965). [247, 283]
Данкен (D. В. Duncan, 1952), On the properties of the multiple comparison test, Virginia Journ. of Sci., Vol. 3, pp. 49—67. [301]
Дарлинг (D. A. Darling, 1957), The Kolmogorov — Smirnov, Cramer — von Mises tests, Ann. Math. Stat, Vol. 28, pp. 823—838. [350, 445]
Двайер (P. S. Dwyer, 1938), Combined expansions of products of symmetric power sums and of sums of symmetric power products with applications to sampling, Ann. Math. Stat., Vol. 9, pp. 1—47, 97—132. [213]
Двасс (M. Dwass, 1959), Multiple confidence procedures, Ann. Inst. Stat. Math., Vol. 10, pp. 277—282. [301, 307]
Дворецкий, Кифер и Вольфовитц (A. Dvoretzky, J. Kiefer and J. Wolfowitz, 1953a), Sequential decision problems for processes with continuous time parameter. Testing hypotheses, Ann. Math. Stat., Vol. 24, pp. 254 — 264. [479, 513]
Дворецкий, Кифер и Вольфовитц (A. Dvoretzky, J. Kiefer and J. Wolfowitz, 1953b), Sequential decision problems for processes with continuous time parameter. Problems of estimation, Ann. Math. Stat, Vol. 24, pp. 403—415. [479, 513]
Демпстер (A. P. Dempster, 1955), Personal communication. [348]
Демпстер (A. P. Dempster, 1958), A high dimensional two-sample significance test, Ann. Math. Stat, Vol. 29, pp. 995—1010. [575]
Дербин и Ватсон (J. Durbin and G. S. Watson, 1951), Exact tests of serial correlation using non-circular statistics, Ann. Math. Stat, Vol. 22, pp. 446—451. [5341
Джеймс (А. Т. Janies, 1954), Normal multivariate analysis and the orthogonal group, Ann. Math. Stat., Vol. 25, pp. 40—75. [551, 566]
Джеймс (A. T. James, 1960), The distribution of the latent roots of the covariance matrix, Ann. Math. Stat., Vol. 31, pp. 151—158. [571]
Дженкинс и Пристли (G. M. Jenkins and M. B. Priestly, 1957), Fhe spectral analysis of time series, Journ. Roy. Stat. Soc., Ser. B, Vol. 19, pp. 1—12. [524]
Джири (R. C. Geary, 1936), Distribution of Student’s distribution for non-normal samples, Journ. Roy. Stat. Soc., Ser. B, Vol. 3, pp. 178—184. [224]
Диксон (W. J. Dixon, 1940), A criterion for testing the hypothesis that two samples are from the same population, Ann. Math. Stat., Vol. 11, pp. 199— 204. [448]
Диксон (W. J. Dixon, 1944), Further contributions to the problem of serial correlation, Ann. Math. Stat, Vol. 15, pp. 119—144. [537, 536]
Диксони Муд(W. J. Dixon andA. M.Mood,1946),The statistical
sign test, Journ. Amer. Stat. Ass., Vol. 41, pp. 557—566. [437]
Диксони Муд(W. J. Dixon andA. M.Mood,1948),A method of
obtaining andanalyzingsensitivity data,Journ.Amer.Stat.Ass., Vol. 43,
pp. 109—126. [478]
Дирихле (G. L. Dirichlet, 1839), Sur un nouvelle methode pour la determination des integrates multiples, Comp. Rend. Acad. Sci., Vol. 8, pp. 156—160. [193]
Додд (E. L. Dodd, 1923), The greatest and least variate under general laws of error, Trans. Amer. Math. Soc., Vol. 25, pp. 525—539. [283]
Додж и Ромиг (H. F. Dodge and H. G. Romig, 1929), A method of sampling inspection, Bell System Techn. Journ., Vol. 8, pp. 613—631. [405, 406, 477]
Додж и Ромиг (H. F. Dodge and H. G. Romig, 1959), Sampling inspection tables, изд. 2, John Wiley, New York. [405, 478]
Донел ли (T. G. Donelly, 1957), A family of sequential tests, Ph. D. thesis, University of North Carolina. [495]
Донскер (M. D. Donsker, 1952), Justification and extension of Doob’s heuristic approach to the Kolmogorov — Smirnov theorems, Ann. Math. Stat, Vol. 23, pp. 277—281. [350]
Дорфман (R. Dorfman, 1943), The detection of defective members of large populations, Ann. Math. Stat., Vol. 14, pp. 436—440. [166]
Дуб (J. L. Doob, 1949), Heuristic approach to the Kolmogorov — Smirnov theorems, Ann. Math. Stat., Vol. 20, pp. 393—403. [350]
Дуб (J. L. Doob, 1953), Stochastic processes, John Wiley, New York (русский перевод: Вероятностные процессы, ИЛ, М., 1956). [11, 109, 110,515,
Дэвид (F. N. David, 1950), Two combinatorial tests of whether the sample has come from a given population, Biometrika, Vol. 37, pp. 97—110. [441]
Дэвид и К p а с к e л (H. A. David and W. H. Kruskal, 1956), The WAGR sequential ^-test reaches a decision with probability 1, Ann. Math. Stat., Vol. 27, pp. 797—805. [477]
Дэвис (H. T. Davis, 1941), The analysis of economic time series, Prin- cipia Press, Bloomington, Indiana. [532]
Дэйли (J. F. Daly, 1940), On the unbiased character of likelihood-ratio tests for independence in normal systems, Ann. Math. Stat., Vol. 11, pp. 1—32. [415]
Дю re (D. Dugue, 1937), Application des proprietes de la limite au sens du calcul des probabilites a 1’etude des diverses questions d’estimation, Ecol. Poly., Vol. 3, № 4, pp. 305—372. [361, 363]
Ингам (A. E. Ingham, 1933), An integral that occurs in statistics, Proc. Cambr. Phil. Soc., Vol. 29, pp. 271—276. [550]
Ирвин (J. О. Irwin, 1930), On the frequency distribution of the means of samples from populations of certain of Pearson’s types, Metron, Vol. 8, № 4, pp. 51—105. [218J
И э й т c (F. Yates, 1949), Sampling methods for censuses and surveys, Charles Griffin, London. [323]
К а в а т а и Сакамото (T. Kawata and H. Sakamoto, 1949), On the characterization of the normal population by the independence of the sample mean and sample variance, Journ. Math. Soc. Japan, Vol. 1, pp. Ill—115. [224]
Калбэк и Лейб л ep (S. Kullback and R. A. Leibler, 1951), On information and sufficiency, Ann. Math. Stat., Vol. 22, pp. 79—86. [425]
Калбэк (S. Kullback, 1959), Information theory and statistics, John Wiley New York. [417]
Капланский и Риордан (I. Kaplansky and J. Riordan, 1945), Multiple matching and runs by the symbolic method, Ann. Math. Stat., Vol. 16, pp. 272—277. [168]
К a p а т e о д о p и (C. Caratheodory, 1927), Vorlesungen fiber reelle Funk- tionen, Leipzig — Berlin. [26]
Карлин и Рубин (S. Karlin and H. Rubin, 1956), The theory of decision procedures for distributions with monotone likelihood ratio, Ann. Math. Stat., Vol. 27, pp. 272—299. [513]
Карлтон (G. A. Carlton, 1946), Estimating the parameters of a rectangular distribution, Ann. Math. Stat., Vol. 17, pp. 355—358. [260]
Кемпер м ан (J. H. B. Kemperman, 1956), Generalized tolerance limits, Ann. Math. Stat., Vol. 27, pp. 180—186. [254]
Кемпсорн (О. Kempthorne, 1952), The design and analysis of experiments, John Wiley, New York. [244, 308, 318]
Кендалл (D. G. Kendall, 1951), Some problems in the theory of queues, Journ. Roy. Stat. Soc., Ser. B, Vol. 13, pp. 151—185. [201]
Кендалл (D. G. Kendall, 1953), Stochastic processes occurring in the theory of queues and their analysis by the method of the Markov chain, Ann. Math. Stat., Vol. 24, pp. 338—354. [201]
Кендалл и Pao (D. G. Kendall and K. S. Rao, 1950), On the generalized second limit-theorem in the calculus of probabilities, Biometrika, Vol. 37, pp. 224—230. [140]
Кендалл и Смит (M. G. Kendall and В. В. Smith, 1939), The problem of m rankings, Ann. Math. Stat, Vol. 10, pp. 275—287. [474]
Кендалл (M. G. Kendall, 1943 and 1946), The advanced theory of statistics, Vol. I (1943), Vol. II (1946) (том I нового трехтомного издания вышел в 1958 г.), Charles Griffin, London. [213]
Кендалл и Сандр ум (М. G. Kendall and R. М. Sundrum, 1953), Distribution-free methods and order properties, Rev. Inter. Stat. Inst., Vol. 23, pp. 124—134. [435]
Кендалл (M. G. Kendall, 1953), Rank correlation methods, Charles Griffin, London. [247, 435]
Кендалл (M. G. Kendall, 1957), A course in multivatiate analysis, Charles Griffin, London. [539]
К и м б e л (B. F. Kimball, 1947), Some basic theorems for developing tests of fit for the case of non-parametric probability distribution function, I, Ann. Math. Stat., Vol. 18, pp. 540—548. [445]
Китабатаке (S. Kitabatake, 1959), A remark on a non-parametric test, Math. Japan, Vol. 4, pp. 45 -49. [444]
Китагава и Митоме (T. Kitagawa and M. Mitome, 1953), Tables for the design of factorial experiments, Baifukan, Tokyo. [308] \ Кифер (J. Kiefer, 1948), Sequential determination of the maximum of a function, Ph. D. thesis, Massachusets Institute of Technology. [479]
Кифер (J. Kiefer, 1952), On minimum variance estimators, Ann. Math. Stat, Vol. 23, pp. 627—629. [361]
Кифер (J. Kiefer, 1953), Sequential minimax search for a maximum, Proc. Amer. Math. Soc., Vol. 4, pp. 502—506. [479]
Кифер (J. Kiefer, 1957), Optimum sequential search and approximation methods under minimum regularity conditions, Journ. Industr. Appl. Math., Vol. 5, pp. 105—136. [479]
Кифер и У э й c c (J. Kiefer and L, Weiss, 1957), Some properties of generalized sequential probability ratio test, Ann. Math. Stat, Vol. 28, pp. 57—74. [495]
Кифер и Вольфовитц (J. Kiefer and J. Wolfowitz, 1952), Stochastic estimation of the maximum of a regression function, Ann. Math. Stat., Vol. 23, pp. 462—466. [4791
К и ш e н (К. Kishen, 1945), On the design of experiments for weighing and making other types of measurements, Ann. Math. Stat, Vol. 16, pp. 294—300. [297]
К л о п n e p и Пирсон (C. J. Clopper and E. S. Pearson, 1934), The use of confidence or fiducial limits illustrated in the case of binomial, Biometrika, Vol. 26, pp. 404—413. [378]
Кокс (D. R. Cox, 1952), Sequential tests for composite hypotheses, Proc. Cambr. Phil. Soc., Vol. 48, pp. 290-299. [477] "
Колмогоров (A. Kolmogorov, 1928), Ober die Summen durch den Zufall bestimmer unabhangiger Grossen, Math. Ann., Vol. 99, pp. 309—319. [119]
Колмогоров (A. Kolmogorov, 1933a), Grundbegriffe der Wahrschein- lichkeitsrechnung, Ergeb. Math.,№ 3, Berlin (русский перевод: Основные понятия теории вероятностей, ОНТИ, 1936). [11, 21, 37, 109]
Колмогоров (A. Kolmogorov, 1933b), Sulla determinazione empirica di una legge di distribuzione, Giorn. dell 'Inst. Itai. Attuari, Vol. 4, pp. 83—91. [348, 350, 445]
A. H. Колмогоров (1941), Стационарные последовательности в гильбертовом пространстве, Бюллетень Московского унив., том 2, № 6, стр. 1—40. [535, 536]
Коннор (W. S. Connor, Jr., 1952), On the structure of balanced incomplete block designs, Ann. Math. Stat, Vol. 23, pp. 57—71. [244]
Корниш и Фишер (E. A. Cornish and R. A. Fisher, 1937), Moments and cumulants in the specification of distributions, Rev. Inter. Stat. Inst., Vol. 4, pp. 1-14. [213]
4 К о ч p e н (W. G. Cochran, 1934), The distribution of quadratic forms in a normal system, with applications to the analysis of covariance, Proc. Cambr. Phil. Soc., Vol. 30, 178—191. [225]
Кочрен (W. G. Cochran, 1953), Sampling techniques, John Wiley, New York. [323]
Кочрен и Кокс (W. G. Cochran and G. M. Cox, J957), Experimental designs, изд. 2, John Wiley, New York. [244, 308, 318]
Коши (A. L. Cauchy, 1853), Sur les resultats moyens d’observations de тёпе nature et sur les resultats les plus probables, Comp. Rend. Acad. Sci., Paris, Vol. 37, pp. 198—206. [142, 266]
Крамер (H. Cramer, 1928), On the composition of elementary errors, Skand. Aktuar., Vol. 11, pp. 13—74, J 41—180. [445]
Крамер (H. Cramer, 1936), Ober eine Eigenschaft der normalen Vertei- lungsfunktion, Math. Zeits., Vol. 41, pp. 405—414. [224]
Крамер (H. Cramer, 1937), Random variables and probability distributions, Cambridge tracts in mathematics, №. 36, Cambridge University Press (русский перевод: Случайные величины и распределения вероятностей, ИЛ, М., 1947), [134, 277]
Крамер (Н. Cramer, 1946), Mathematical methods of statistics, Princeton University Press (русский перевод: Математические методы статистики, ИЛ, М., 1948). [104, 135, 137, 140, 144, 192, 361, 363]
Краснел (W. Н. Kruskal, 1952), A nonparanietric test for the several- sample problem, Ann. Math. Stat, Vol. 23, pp. 525—540. [474]
Крафт и Ле Кам (С. Kraft and L. Le Cam, 1956), A remark on the roots of the maximum likelihood equation, Ann. Math. Stat, Vol. 27, pp. 1174— 1177. [372]
Крейг (A. T. Craig, 1932), On the distributions of certain statistics, Amer. Journ. Math., Vol. 54, pp. 353—366. [249]
Крейг (С. C. Craig, 1928), An application of Thiele's semiinvariants to the sampling problem, Metron, Vol. 7. № 4, pp. 3—74. [213]
Купмэн (В. О. Koopman, 1936), On distributions admitting sufficient statistics, Trans. Amer. Math. Soc., Vol. 39, pp. 399—409. [401]
К у п м э н с (T. Koopmans, 1942), Serial correlation and quadratic forms in normal variables, Ann. Math. Stat, Vol. 13, pp. 14—33. [534]
Куэнуил (M. H. Quenouille, 1948), Some results in the testing of serial correlation coefficients, Biometrika, Vol. 35, pp. 261—267. [527, 534]
Л а г a (R. G. Laha, 1954), On a characterization of gamma distribution, Ann. Math. Stat, Vol. 25, pp. 784—787. [261]
Лаплас (P. S. Laplace, 1814), Theorie analytique de probabilites, изд. 2, Paris. [158, 217, 268, 374]
Леви (P. Levy, 1925), Calcul des probabilites, Gauthier — Villars, Paris. [11, 128, 132]
Леви (P. Levy, 1935), Proprietes asymptotiques des sommes des variables aleatoires independantes ou enchoinees, Journ. Math. Pures et Appt, Vol. 14, pp. 347—402. [268]
Леви (P. Levy, 1937), Theorie de Taddition des variables aleatoires (3-е изд., 1954), Gauthier—Villars, Paris. [11, 134]
Ле К а м (L. Le Cam, 1956), On the asymptotic theory of estimation and testing hypotheses, Proc. Third Berkeley Symposium on Math. Stat, and Prob., Vol. I, pp. 129—156, University of California Press. [369]
Леман и Стейн (E. L. Lehmann and C. Stein, 1948), Most powerful tests of composite hypotheses, I. Normal distributions, Ann. Math. Stat., Vol. 19, pp. 495—516. [411]
Леман и Стейн (E. L. Lehmann and C. Stein, 1949), On the theory of some non-parametric hypotheses, Ann. Math. Stat., Vol. 20, pp. 28—45. [468]
Леман (E. L. Lehmann, 1950), Some principles of the theory of testing hypotheses, Ann. Math. Stat., Vol. 21, pp. 1—26. [411]
Леман и Ш e ф ф e (E. L. Lehmann and H. Scheffe, 1950), Completeness, similar regions and unbiased estimates, Sankhya, Vol. 10, pp. 305—340. [411]
Леман (E. L. Lehmann, 1957), A theory of some multiple decision problems, Ann. Math. Stat, Vol. 28, pp. 1—25. [513]
Леман (E. L. Lehmann, 1959), Testing statistical hypotheses, John Wiley, New York (русский перевод: Проверка статистических гипотез, «Наука», М., 1964). [402, 411, 468]
Либерман и Оуэн (G. J. Lieberman and D. В. Owen, 1961), Tables of the hypergeometric probability distribution, Stanford University Press. [148]
Линдеберг (J. W. Lindeberg, 1922), Eine neue Herleitung des Exponen- tialgesetzes in der Wahrscheinlichkeitsrechnung, Math. Zeits., Vol. 15, pp. 211— 225. [267—269]
JI орд (F. M. Lord, 1955). Sampling fluctuations resulting from the sampling of test items, Phychometrika, Vol. 20, pp. 1—22. [237]
Лотка (A. J. Lotka, 1939), A contribution to the theory of self-renewing aggregates, with special reference to industrial replacement, Ann. Math. Stat., Vol. 10, pp. 1—25. [204]
Л о э в (M. Ldeve, 1955), Probability theory, D. Van Nostrand, Princeton, N. J» (русский перевод: Теория вероятностей, ИЛ, М., 1962). [11, 32, ПО, 135]
Лукач (Е. Lukacs, 1942), A characterization of the normal distribution, Ann. Math. Stat., Vol. 13, pp. 91—93. [224, 262]
Л ь ю с и Райфа (R. D. Luce and H. Raiffa, 1957), Games and decisions, John Wiley, New York (русский перевод: Игры и решения, ИЛ, М., 1961). [505]
Лью с (R. D. Luce, 1959), Individual choice behavior, John Wiley, New York. [434]
Ляпунов (A. Lyapunov, 1900), Sur une proposition de la theorie des probabilites, Bull, de Г Acad. Imp. des Sciences de St. Petersbourg, Vol. 13, pp. 359—386. [268]
Ляпунов (A. Lyapunov, 1901), Nouvelle forme de theoreme sur la limite de probabilite, Mem. Acad. Science de St. Petersbourg, Vol. 12, pp. 1— 24. [268, 277]
Маккарти (P. J. McCarthy, 1947), Approximate solutions for means and variances in a certain class of box problems, Ann. Math. Stat., Vol. 18, pp. 349— 383. [158]
Макшейн (E. J. McShane, 1944), Integration, Princeton University Press. [356]
Макшейн и Боте (E. J. McShane and T. Botts, 1959), Real analysis, D. Van Nostr and, Princeton, N. J. [32, 356]
Малмквист (S. Malmquist, 1954), On certain confidence contours for distribution functions, Ann. Math. Stat, Vol. 25, pp. 523—542. [445]
Манн (H. В. Mann, 1943), On the construction of sets of orthogonal Latin squares, Ann. Math. Stat, Vol. 14, pp. 401—414. [246]
Манн и Вальд (H. В. Mann and A. Wald, 1943), On the statistical treatment of linear stochastic difference equations, Econometrica, Vol. 11, pp. 173— 220. [537]
Манн и Уитни (H. В. Mann and D. R. Whitney, 1947), On a test of whether one of two random variables is stochastically larger than the other, Ann. Math. Stat., Vol. 18, pp. 50—60. [465—467]
Манн (H. В. Mann, 1949), Analysis and design of experiments, Dover Publications, New York. [308]
Манроу (M. E. Munroe, 1953), Introduction to measure and integration, Addison—Wesley, Cambridge, Mass. [11]
А. А. Марков (1900, изд. 1), Исчисление вероятностей, изд. 4, ГИЗ, М., 1924. [268, 296]
Масси (F. J. Massey, 1950), A note on the estimation of a distribution function by confidence limits, Ann. Math. Stat., Vol. 21, pp. 116—119. [349, 350]
Масси (F. J. Massey, 1951), The distribution of the maximum deviation between two sample cumulative step functions, Ann. Math. Stat., Vol. 22, pp. 125—128. [461]
Матисен (H. C. MaXhisen, 1943), A method of testing the hypothesis that two samples are from the same population, Ann. Math Stat, Vol. 14, pp. 188—194. [448]
Матусита (К. Matusita, 1957), Decision rule based on the distance for the classification problem, Ann. Inst. Stat. Math., Vol. 8, pp. 67—77. [263] '
Max а л анобис (P. C. Mahalanobis, 1930), On tests and measures of group devcrgcnce, Journ. Asiatic Soc. of Bengal, Vol. 26, pp. 541—588. [559]
M a x а л а н о б и с (P. C. Mahalanobis, 1936), On the generalized distance in statistics, Proc. Nat. Inst. Sci. Calcutta, Vol. 12, pp. 49—55. [555, 559]
Махаланобис, Боуз и Рой (Р. С. Mahalanobis, R. С. Bose and S. N. Roy, 1937), Normalization of statistical variates and the use of rectangular coordinates in the theory of sampling distributions, Sankhya, Vol. 3, pp. 1—40. [550]
Махал аноби с (Р. С. Mahalanobis, 1940), A sample survey of the acreage under jute in Bengal, with discussion on planning of experiments, Proc. Second Indian Stat. Conference, Statistical Publishing Society, Calcutta. [478]
Мёрфи (R. В. Murphy, 1948), Non-parametric tolerance limits, Ann. Math. Stat, Vol. 19, pp. 581—589. [343]
Мизес (R. von Mises, 1931), Wahrscheinlichkeitsrechnung und ihre Anwen- dung in der Statistik und theoretischen Physik, Deuticke, Leipzig. [21, 445]
Молина (E. C. Molina, 1942), Poisson's exponential binomial limit, D. Van Nostrand, Princeton, N. J. [154]
Моран (P. A. P. Moran, 1948), Some theorems on time series, IL, The significance of the serial correlation coefficient, Biometrika, Vol. 35, pp. 253— 260. [534]
Моран, Уайтфилд и Даниеле (Р. А. Р. Moran, J. W. Whitfield and Н. Е. Daniels, 1950), Symposium on ranking methods, Journ. Roy. Stat Soc., Ser. B, Vol. 12, pp. 153—191. [435]
Моригути (S. Moriguti, 1954), Confidence limits for a variance component, Reports of statistical applications in research, Japanese Union of scientists and engineers, Vol. 3, № 2, pp. 29—41. [318]
Морс (P. M. Morse, 1958), Queues, inventories and maintenance, John Wiley, New York. [207]
Мостеллер (F. C. Mosteller, 1946), On some useful «inefficient» statistics, Ann. Math. Stat., Vol. 17, pp. 377—408. ]285]
M о ч л и (J. W. Mauchly, 1940), Significance test for sphericity of a normal n-variate distribution, Ann. Math. Stat, Vol. 11, pp. 204—209. [598]
Муавр (A. De Moivre, 1718), The doctrine of chances, London. [268]
Муд (A. M. Mood, 1940), The distribution theory of runs, Ann. Math. Stat, Vol. 11, pp. 367—392. [158, 164]
Муд (A. M. Mood, 1946), On Hotteling’s weighing problem, Ann. Math. Stat, Vol. 17, pp. 432—446. [297]
Муд (A. M. Mood, 1950), Introduction to the theory of statistics, McGraw- Hill, New York. [475]
Муд (A. M. Mood, 1951), On the distribution of the characteristic roots of normal second-moment matrices, Ann Math. Stat, Vol. 22, pp. 266—273. [566]
Муд (A. M. Mood, 1954), On the asympotic efficiency of certain nonparametric two-sample tests, Ann. Math. Stat, Vol. 25, pp. 514—522. [475]
M э д о у (W. G. Aladow, 1938), Contributions to the theory of multivariate statistical analysis, Trans. Amer. Math. Soc., Vol. 44, pp. 454—495. [550]
Наир (К. R. Nair, 1940), Table of confidence intervals for the median in samples from any continuous population, Sankhya, Vol. 4, pp. 551—558. [340]
Нейман и Пирсон (J. Neyman and E. S. Pearson, 1928), On the use and interpretation of certain test criteria for purposes of statistical inference, Biometrika, Vol. 20A, Part I, pp. 175—240, Part II, pp. 263—294. [402, 410]
Нейман и Пирсон (J. Neyman and E. S. Pearson, 1933), On the problem of the most efficient tests of statistical hypotheses, Trans. Roy. Soc. London, Ser. A, Vol. 231, pp. 289—337. [402, 406, 410]
Нейман (J. Neyman, 1934), On the two different aspects of the representative method: The method of stratified sampling and the method of purposive selection, Journ. Roy. Stat. Soc., Vol. 97, pp. 558—625. [326]
Нейман (J. Neyman, 1935), Su un teorema concernente le cosidetti stati- stiche sufficicnti, Giorn. Inst. Itai. Attuari, Vol. 6, pp. 320—334. [364]
Нейман (J. Neyman, 1937), Outline of a theory of statistical estimation based on the classical theory of probability, Phil. Trans. Roy. Soc. London, Ser. A, Vol. 236, pp, 333-380. [375]
Нейман (J. Neyman, 1939), On a new class of «contagious» distributions, applicable in entomology and bacteriology, Ann. Math. Stat., Vol. 10, pp. 35— 57. [166]
фон Нейман (J. von Neumann, 1950), Functional operators, Vol. I, Princeton University Press. [60]
фон Нейман и Моргенстерн (J. von Neumann and O. Morgenstern, 1944), Theory of games and economic behavior, изд._3, 1953, Princeton University Press. [505]
Or а вар a (M. Ogawara, 1951), A note on the test of serial correlation coefficients, Ann. Math. Stat, Vol. 22, pp. 115—118. [534]
О к а м о т о (M. Okamoto, 1952), On a non-parametric test, Osaka Math. Journ./Vol. 4, pp. 77—85. [444]
Олдс (E. G. Olds, 1938), Distribution of sums of squares of rank differences for small numbers of individuals, Ann. Math. Stat, Vol. 9, pp. 133— 148. [473]
Ол кин (I. Olkin, 1951), On distribution problems in multivariate analysis, Institute of Statistics mimeograph series, Report № 8, University of North Carolina. [566]
Ол кин и P о й (I. Olkin and S. N. Roy, 1954), On multivariate distribution theory, Ann. Math. Stat, Vol. 25, pp. 329—339. [566]
Олкин и Прэтт (I. Olkin and J. W. Pratt, 1958), A multivariate Chebyshev inequality, Ann. Math. Stat, Vol. 29, pp. 226—234. [124]
П арзен (E. Parzen, 1957), On consistent estimates of the spectrum of a stationary time series, Ann. Math. Stat, Vol. 28, pp. 329—348. [524]
П арзен (E. Parzen, 1960), Modern probability theory and its applications, John Wiley, New York. [261]
Пирсон и Хартли (E. S. Pearson and H. O. Hartley, 1954), Biometrika tables foF statisticians, Vol. I, Cambridge University Press. [197, 199]
Пирсон (К. Pearson, 1900), On a criterion that a system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen in random sampling, Phil. Mag., Vol. 50, pp. 157—175. [273, 397]
Пирсон (К. Pearson, 1905), On the curves which arc most suitable for describing the frequency of random samples of a population, Biometrika, Vol. 5, pp. 172—175. [185, 197]
Пирсон (К. Pearson, 1920), On the probable errors of frequency constants, Pa;t III, Biometrika, Vol. 13, pp. 113—132. [285]
Пирсон (К. Pearson, editor, 1922), Tables of the incomplete gamma function, Cambridge University Press. [185]
Пирсон (К. Pearson, editor, 1934), Tables of the incomplete beta function, Cambridge University Press. [188, 201]
П и т м э н (E. J. G. Pitman, 1936), Sufficient statistics and intrinsic accuracy, Proc. Cambr. Phil. Soc., Vol. 32, pp. 567—579. [401]
Питмэн (E. J. G. Pitman, 1937a), The «closest» estimates of statistical parameters, Proc. Cambr. Phil. Soc., Vol. 33, pp. 212—222. [261]
Питмэн (E. J. G. Pitman, 1937b), Significance tests which may be applied to samples from any populations, Journ. Roy. Stat. Soc., Ser. B, Vol. 4, pp. 119— 130. [470]
Питмэн (E. J. G. Pitman, 1938), Significance tests which may be applied to samples from any populations, III. The analysis of variance test, Biometrika, Vol. 29, pp. 322—335. [471].
Последовательный анализ статистических данных: применения (Sequential analysis of statistical data: applications, 1945), Statistical research group, Columbia University, Columbia University Press. [498]
Пуассон (S. D. Poisson, 1837), Recherchcs sur la probabilite des juge- ments en matiere criminelle et en matiere civile, precedecs des regies generales du calcul des probabilites, Paris. [153]
Райдер (P. R. Rider, 1955), The distribution of the product of maximum values in samples from a rectangular distribution, Journ. Amer. Stat. Assoc., Vol. 50, pp. 1142-1143. [201]
Райфа и Шлайфер (Н. Raiffa and R. Schlaifer, 1961), Applied statistical decision theory, Graduate School of Business Administration, Harvard ' University. [505]
Pao (C. R. Rao, 1945), Information and accuracy attainable in the estimation of statistical parameters, Bull; Calcutta Math. Soc., Vol. 37, pp. 81—-91. [361] *.
Pao (C. R. Rao, 1949), Sufficient statistics and minimum variance estimates, Proc. Cambr. Phil. Soc., Vol. 45, pp. 213—218. [366, 372, 401]
Pao (C. R. Rao, 1952), Advanced statistical methods in biometric research, John Wiley, New York. [539]
Раштон (S. Rushton, 1950), On a sequential ^-test, Biometrika, Vol. 37 , pp. 326—333. [477]-
Раштон (S. Rushton, 1952), On a two-sided sequential Mest, Biometrika, Vol. 39, pp. 302—308. [477]
Реньи (A. Renyi, 1953), On the theory of order statistics, Act. Math. Acad. Sci. Hungary, Vol. 4, pp. 191—231. [261]
Рикер (W. E. Ricker, 1937), The concept of confidence or fiducial limits applied to the Poisson frequency distribution, Journ. Amer. Stat. Assoc., Vol. 32, pp. 349—356. [378]
Роббинс (H. Robbins, 1944a), On the measure of a random set, Ann. Math. Stat, Vol. 15, pp. 70—74. [261]
Роббинс (H. Robbins, 1944b), On distribution-free tolerance limits in random sampling, Ann. Math. Stat, Vol. 15, pp. 70—74. [343]
Роббинс (H. Robbins, 1948), Convergence of distributions, Ann. Math. Stat, Vol. 19, pp. 72—76. [124]
Роббинс (H. Robbins, 1952), Some aspects of the sequential design of experiments, Bull. Amer. Math. Soc., Vol. 58, pp. 527—535. [479]
Роббинс (H. Robbins, 1954), A remark on the joint distribution of cumulative sums, Ann. Math. Stat, Vol. 25, pp. 614—616. [124]
Роббинс и Монро (H. Robbins and S. Monro, 1951), A stochastic approximation method, Ann. Math. Stat, Vol. 22, pp. 400—407. [479]
Рой (S. N. Roy. 1939), p-statistics or some generalizations in analysis of variance appropriate to multivariate problems, Sankhya, Vol. 4, pp. 381- 396. [566]
Рой и Бозе (S. N. Roy and R. C. Bose, 1953), Simultaneous confidence interval estimation, Ann. Math. Stat., Vol. 24, pp. 513 536. [301]
Рой (S. N. Roy, 1954), Some further results in simultaneous confidence interval estimation, Ann. Math. Stat, Vol. 25, pp. 752—761. [301]
Рой (S. N. Roy, 1957), Some aspects of multivariate analysis, John Wiley, New York; Indian Statistical Institute, Calcutta. [539]
Ромиг (H. G. Romig, 1953), 50—100 Binomial tables, John Wiley, New ^0Гкр ^У Rasch, 1948), A functional equation for Wishart’s distribution, Ann. Math. Stat, Vol. 19, pp. 262—266. [550]
Сайил (T. N. Thiele, 1903), Theory of observations, Layton, London (перепечатано в Ann. Math. Stat, Vol. 2, 1931, pp. 16o 307). [127] k Сакс (S. Saks, 1937), Theory of the integral, 2-е изд.,^есЬе^, New York (пусский перевод: Теория интеграла, ИЛ, М., 1949). [32, 356]
Св ед и Эйзенхарт (F. S. Swed and С. Eisenhart, 1943), Tables for testing randomness of grouping in a sequence of alternatives, Ann. Math. Stat., Vol. 14, pp. 66—87. [163]
Свердруп (E. Sverdrup, 1947), Derivation of the Wishart distribution of the second order sample moments by straight-forward integration of a multiple integral, Skand. Aktuar., Vol. 30, pp. 151—166. [550]
Слуцкий (E. Slutzky, 1937), The summation of random causes as the source of cyclic processes, Econometrica, Vol. 5, pp. 105—146. [537]
См ионов (N. Smirnov, 1935), Uber die Verteilung des allgemeinen Gliedes in der Variationsreihe, Metron, Vol. 12, № 2, pp. 59—81. [283, 285]
Н. В. Смирнов (1939а), Оценка расхождения между эмпирическими кривыми распределения в двух независимых выборках, Бюлл. Московского ун-та, том 2, № 2, стр. 3—14. [345, 348, 448, 460]
Н. В. Смирнов (1939b), Об уклонениях эмпирической кривой распределения, Матем. сборник, 6(48), стр. 3—26. [445]
Смит (W. L. Smith, 1958), Renewal theory and its ramifications, Journ. Roy. Stat. Soc., Ser. B, Vol. 20, pp. 243—302. [204]
Сне декор (G. W. Snedecor, 1937), Statistical methods, Iowa State College Press, Ames, Iowa. [201]
Сомервилл (P. N. Somerville, 1958), Tables for obtaining non-parametric tolerance limits, Ann. Math. Stat, Vol. 29, pp. 599—601. [344]
С т e й ii (C. Stein, 1945), A two-sample test for a linear hypothesis whose power is independent of the variance, Ann. Math. Stat, Vol. 16, pp. 243 — 258. [499]
Стейн (C. Stein, 1946), A note on cumulative sums, Ann. Math. Stat, Vol. 17, pp. 498-499. [488]
Стейн и Вальд (C. Stein and A. Wald, 1947), Sequential confidence intervals for the mean of a normal distribution with known variance, Ann. Math. Stat, Vol. 18, pp. 427—433. [499]
Стефан и Маккарти (F. F. Stephan and P. J. ^McCarthy, 1958), Sampling opinion, John Wiley, New York. [323]
Стив e н c (W. L. Stevens, 1939), Distributions of groups in a sequence of alternatives, Ann. Eugen., Vol. 9, pp. 10—17. [163]
С у к x а т м э (P. V. Sukhatme, 1954), Sampling theory of surveys with applications, Iowa State College Press, Ames, Iowa. [323]
С э в и д ж (I. R. Savage, 1953), Bibliography on nonparametric statistics and related topics, Journ. Amer. Stat. Assoc., Vol. 48, pp. 844—906. [247, 435]
Сэвидж (L. J. Savage, 1954), The foundations of statistics, John Wiley, New York. [505]
Сэй вер (S. R. Savur, 1937), The use of the median in tests of significance, Proc. Indian Acad. Sci., Section A, Vol. 5, pp. 564—576. [340]
Стой (P. L. Hsu, 1938), Notes on Hotteling’s generalized T, Ann. Math. Stat., Vol. 9, pp. 231—243. [599]
С ю й (P. L. Hsu, 1939a), A new proof of the joint product moment distribution, Proc. Cambr. Phil. Soc., Vol. 35, pp. 336—338. [550]
Сюй (P. L. Hsu, 1939b), On the distribution of roots of certain determi- nantal equations, Ann. Eugen., Vol. 9, pp. 250—258. [566]_
Сюй (P. L. Hsu, 1945a), The approximate distributions of the mean and variance of a sample of independent variables, Ann. Math. Stat, Vol. 16, pp. 1—29. [277]
Сюй (P. L. Hsu, 1945b), The asymptotic distribution of ratios, Ann. Math. Stat, Vol. 16, pp. 204—210. [277]
Таблицы биномиального распределения (Tables of the cumulative binomial probabilities, 1952), Army Ordnance Corps, ORDP. [151]
Таблицы биномиального распределения (Tables of the cumulative binomial probability distribution, 1955), Harvard computation laboratory, Harvard University. [151],
Таблицы биномиального распределения (Tables of the binomial probability distribution, 1949), National Bureau of Standards, Appt Math. Series, Vol. 6. [151]•
Таблицы функций вероятности (Tables of probability filnctions, 1942), National Bureau of Standards, Vol. 2, New York. [171]
Техника статистического анализа (Techniques of statistical analysis, 1947), Statistical research group, Columbia University, McGraw-Hill, New .York. [498]
Тин th op (G. Tintner, 1940), The variate difference method, Principia Press, Bloomington, Indiana. [527]
Т и п п е т (L. Н. С. Tippet, 1925), On the extreme individuals and the range of samples taken from a normal population, Biometrika, Vol. 17, pp. 364— 387. [259]
Томпсон (W. R. Thompson, 1936), On confidence ranges for the median and other expectation distributions for populations of unknown distribution form, Ann. Math. Stat., Vol. 7, pp. 122—128. [340]
Тью к и (J. W. Tukey, 1946), An inequality for deviations from medians, Ann. Math. Stat, Vol. 17, pp. 75—78. [124]
T ыо к и (J. W. Tukey, 1947), Nonparametric estimation, II. Statistically equivalent blocks and tolerance regions — the continuous case, Ann. Math. Stat, Vol. 18, pp. 529—539. [251]
Тьюки (J. W. Tukey, 1948), Nonparametric estimation, 111. Statistically equivalent blocks and multivariate tolerance regions — the discontinuous case, Ann. Math. Stat., Vol. 19, pp. 30—39. [255]
Тьюки (J. W. Tukey, 1949a), The sampling theory of power spectrum estimates, Proceedings on applications of autocorrelation analysis to physical problems (NAVEXOS—P—735). [524, 525]
Тьюки (J. W. Tukey, 1949b), Moments of random group size distributions, Ann. Math. Stat., Vol. 20, pp. 523-539. [167, 168],
Тьюки (J. W. Tukey, 1950), Some sampling simplified, Journ. Amer. Stat. Assoc., Vol. 45, pp. 501—519. [223, 238]
Тьюки (J. W. Tukey, 1953), The problem of multiple comparisons, не опубликовано, Princeton University. [301, 302, 304, 305]
Тьюки (J. W. Tukev, 1956a), Keeping moment-like sampling computations simple, Ann. Math. Stat, Vol. 2 7, pp. 37—54. [223]
Тьюки (J. W. Tukey, 1956b), Variances of variance components: I. Balanced designs, Ann. Math. Stat, Vol. 27, pp. 722—736. [318]
Тьюки (J. W. Tukey, 1957a), Variances of variance components: II. The unbalanced single classification, Ann. Math. Stat, Vol. 28, pp. 43—56. [318]
Тьюки (J. W. Tukey, 1957b), Variances of variance components: III. Third moments in a balanced single classification, Ann. Math. Stat, Vol. 28, pp. 378—384. [318]
Тьюки (J. W. Tukey, 1957c), Some examples with fiducial relevance, Ann. Math. Stat, Vol. 28, pp. 687—695. [380]
Тэнг (P. C. Tang, 1938), The power function of the analysis of variance tests with tables and illustrations of their use, Stat. Res. Mem., University College, London, Vol. 2, pp. 128—149. [259]
Уиддер (D. V. Widder, 1947), Advanced calculus, Prentice-Hall, New York. [69]
Уилкоксон (F. Wilcoxon, 1945), Individual comparisons by ranking methods, Biometrics, Vol. 1, pp. 80—83. [465]
У и л к c (S. S. Wilks, 1932), Certain generalizations in the analysis of variance, Biometrika, Vol. 24, pp. 471—494. [552, 562]
Уилкс (S. S. Wilks, 1934), Moment-generating operators for determinants of product moments in samples from a normal system, Ann. Math., Vol. 35, pp. 312—340. [599]
Уилкс (S. S. Wilks, 1935), On the independence of к sets of normally distributed statistical variables, Econometrica, Vol. 3, pp. 309—326. [597]
Уилкс (S. S. Wilks, 1938a), The large-sample distribution of the likelihood ratio for testing composite hypotheses, Ann. Math. Stat., Vol. 9, pp. 60— 62. [411, 427]
Уилкс (S. S. Wilks, 1938b), Shortest average confidence intervals from large samples, Ann. Math. Stat., Vol. 9, pp. 166—175. [384]
Уилкс и Дэйли (S. S. Wilks and J. F. Daly, 1939), An optimum property of confidence regions associated with the likelihood function, Ann. Math. Stat, Vol. 10, pp. 225—235. [396]
Уилкс(S.S.Wilks, 1941), On the determination ofsamplesizes for
setting tolerance limits, Ann. Math. Stat, Vol. 12, pp. 91—96. [343, 352]
Уилкс(S.S.Wilks,1942), Statistical prediction withspecialreference
to the problemoftolerance limits, Ann. Math. Stat, Vol.13, pp.400—409.
V и л к c(S.S.Wilks,1946), Sample criteria for testing equalityof means,
equality of variances and equality of covariances in a normal multivariate distribution, Ann. Math. Stat., Vol. 17, pp. 257—281. [599]
Уилкс (S. S. Wilks, 1948), Order statistics, Bull. Amer. Math. Soc., Vol. 54, pp. 5-50. [435]
Уилкс (S. S. Wilks, 1959a), Nonparametric statistical inference, Probability and Statistics, The Harald Cramer volume, Almquist and Wiksell, Stockholm. [435]
Уилкс (S. S. Wilks, 1959b), Recurrence of extreme observations, Journ. Austral. Math. Soc., Vol. 1, pp. 106—112. [262]
Уилкс (S. S. Wilks, 1960a), Multidimensional statistical scatter, Contributions to probability and statistics in.honour of Harold Hotelling, Stanford University Press. [546]
Уилкс (S. S. Wilks, 1960b), A two-stage scheme for sampling without replacement, Bull, de 1’lnstitut intern, de Statist, Vol. 37, № 2, pp. 241—248. [328]
Уилкс (S. S. Wilks, 1961), A combinatorical test for the problem of two samples from continuous distributions. Proc. Fourth Berkeley Symp. on Math. Stat, and Prob., Vol. 1, University of California Press. [448, 457]•
Уилсон (E. В. Wilson, 1927), Probable inference, the law of succession, and statistical inference, Journ. Amer. Stat. Assoc., Vol. 27, pp. 209—212. [375]
Уильямс (J. D. Williams, 1946), An approximation to the probability integral, Ann. Math. Stat., Vol. 17, pp. 363—365. [202]
Уиттекер и Ватсон (E. T. Whittaker and G. N. Watson, 1946), A course in modern analysis, MacMillan, New York (русский перевод: Курс современного анализа, ч. 1, 2, Физматгиз, М., 1963). [131, 192]
Уиттл (Р. Whittle, 1951), Hypotheses testing in time series, University of Uppsala. [534]*
Уишарт (J. Wishart, 1928), The generalized product moment distribution in samples from a noripal multivariate population, Biometrika, Vol. 20A, pp. 32—52. [546, 550]
Уишарт и Бартлетт (J. Wishart and M. S. Bartlett. 1932), The distribution of the second order moment statistics in a normal system, Proc. Cambr. Phil. Soc., Vol. 28, pp. 455—459. [550]'
Уоллес (D. L. Wallace, 1958), Asymptotic approximations to distributions, Ann. Math. Stat, Vol. 29, pp. 635—654. [277]
Уоллис (W. A. Wallis, 1939), The correlation ratio for ranked data, Journ. Amer. Stat. Assoc., Vol 34, pp. 533—538. [474]
Уолш (J. E. Walsh, 1946), Some order statistic distributions for sample of size 4, Ann. Math. Stat, Vol. 17, pp. 246—248. [264]
Уолш (J. E. Walsh, 1949), Some significance tests for the median which are valid under very general conditions, Ann. Math. Stat, Vol. 20, pp. 64—81. [437]
У орк инг и Хотеллинг (Н. Working and Н. Hotelling, 1929), Application of the theory of error to the interpretation of trends, Journ. Amer. Stat Assoc., March supplement, pp. 73—85. [307]
Уорм литон (R. Wormleighton, 1959), Some tests of permutation symmetry, Ann. Math. Stat, Vol. 30, pp. 1005—1017. [474]
Уэйсе (L. Weiss, 1961), Statistical decision theory, McGraw-Hill, New York. [505]-
Уэлч (В. L. Welch, 1937), On the г-test in randomized blocks and Latin squares, Biometrika, Vol. 29, pp. 21—52. [471]
Феллер (W. Feller, 1935), Ober den zentralen Grenzwertsatz der Wahr- scheinlichkeitsrechnung, Math. Zeits., Vol. 40, pp. 521—559. [268, 269]
Феллер (W. Feller, 1948), On the Kolmogorov — Smirnov limit theorems for empirical distributions, Ann. Math. Stat, Vol. 19, pp. 177—189. [350]
Феллер (W. Feller, 1957), An introduction to probability theory and its applications, 2-е изд., John Wiley, New York (русский перевод: Введение в теорию вероятностей и ее приложения, «Мир», М., 1964). [11, НО, 207]
Фергюсон (Т. S. Ferguson, 1958), A method of generating best asymptotically normal estimates with application to the estimation of bacterial densities, Ann. Math. Stat., Vol. 29, pp. 1046—1062. [369]
Филлер (E. C. Fieller, 1932), The distribution of the index in a normal bivariate population, Biometrika, Vol. 24, pp. 428—440. [202]
Фишер (R. A. Fisher, 1915), Frequency distribution of the values of the correlation coefficient in samples from an indefinitely large population, Biometrika, Vol. 10, pp. 507—521. [208, 591]
Фишер (R. A. Fisher, 1922), On the mathematical foundations of theoretical statistics, Phil. Trans. Roy. Soc. London, Ser. A, Vol. 222, pp. 309—368. [359, 361, 362, 364, 369, 371, 389]
Фишер (R. A. Fisher, 1924), On a distribution yielding the error functions of several well-known statistics, Proc. Int. Math. Congress, Vol. II, Toronto, pp. 805—813. [201]
Фишер (R. A. Fisher, 1925a), Statistical methods for research workers, 1-е изд. (12-е изд., 1954), Oliver and Boyd, Edinburgh (русский перевод: Статистические методы для исследователей, Госстатиздат, М., 1958). [191, 199, 201, 287, 311]
Фишер (R. A. Fisher, 1925b), Theory of statistical estimation, Proc. Cambr. Phil. Soc., Vol. 22, pp. 700—725. [359]
Фишер (R. A. Fisher, 1926a), Applications of «Student’s» distribution, Mctron, Vol. 5, № 4, pp. 90 104. [224]
Ф*ишер (R. A. Fisher, 1926b), On the random sequence, Quart. Journ. Roy. Meteor. Soc., Vol. 52, pp. 250—258. [468, 470]
Фишер (R. A. Fisher, 1928a), Moments and product .moments of sampling distributions, Proc. London Math. Soc., Vol. 30, pp. 199—238. [213]
Фишер (R. A. Fisher, 1928b), The general sampling distribution of the multiple correlation coefficient, Proc. Roy. Soc. London, Ser. A, Vol. 121, pp. 654—673. [258, o96]
P Фишер и Типпет (R. A. Fisher and L. H. C. Tippett, 1928), Limiting forms of the frequency distribution of the largest or smallest member of a sample, Proc. Cambr. Phil. Soc., Vol. 24, pp. 180—190. [283]
Фишер (R. A. Fisher, 1929), Tests of significance in harmonic analysis, Proc Roy. Soc. London, Ser. A, Vol. 125, pp. 54—59. [529, 532]
Фишер (R. A. Fisher, 1935a), The design of experiments, Oliver and Boyd, Edinburgh. [308]
Фишер (R. A. Fisher, 1935b), The fiducial argument in statistical inference, Ann. Eugen., Vol. 6, pp. 391—398. [378, 380]
Фишер (R. A. Fisher, 1938), The statistical utilization of multiple measurements, Ann. Eugen., Vol. 8, pp. 376—386. [572]
Фишер (R. A. Fisher, 1939), The sampling distribution of some statistics obtained from non-linear equations, Ann. Eugen., Vol. 9, pp. 238—249. [566]
Фишер и И э й т c (R. A. Fisher and F. Yates, L938), Statistical tables for biological, agricultural and medical research (изд. 5, 1957), Oliver and Boyd, Edinburgh. [308]
Фреше (M. Frechet, 1927), Sur la loi de probabilite de 1 ecart maximum, Ann. Soc. Polonaise Math., Vol 6, pp. 92—116. [283]
Фридман (M. Friedman, 1937), The use of ranks to avoid the assumption of normality implicit in the analysis of variance, Journ. Amer. Stat. Assoc., Vol. 32, pp. 675—701. [474]
Фрэзер (D. A. S. Fraser, 1951), Sequentially determined statistically equivalent blocks, Ann. Math. Slat, Vol. 22, pp. 372—381. [254]
Фрэзер (D. A. S. Fraser, 1953), Nonparametric tolerance regions, Ann. Math. Stat., Vol. 24, pp. 44--55. [254]
Фрэзер и Гаттмен (D. A. S. Fraser and I. Guttman, 1956), Tolerance regions, Ann. Math. Stat., Vol. 2 7, pp. 162—17 9. [254]
Фрэзер (D. A. S. Fraser, 1957), Nonparametric methods in statistics, John Wiley, New York. [247, 435, 468]
X а л м о ш (P. R. Halmos, 1946), The theory of unbiased estimation, Ann. Math. Stat., Vol. 17, pp. 34—43. [291]
Хал мош и Сэвидж (P. R. Halmos and L. J. Savage, 1949), Application of the Radon — Nikodym theorem to the theory of sufficient statistics, Ann. Math. Stat., Vol. 20, pp. 225—241. [365]
Халмош (P. R. Halmos, 1950), Measure theory, D. Van Nostrand, Princeton, N. J. (русский перевод: Теория меры, ИЛ, М., 1953). [И, 26, 27, 32, 36]
Хансен, Гурвиц, Мэдоу (М. Н. Hansen, W. N. Hurwitz and W. G. Madow, 1953), Sample survey methods and theory, Vol. I and II, John Wiley, New York. [323]
Харрис (T. E. Harris, 1948), Branching processes, Ann. Math. Stat, Vol. 19, pp. 474—494. [145]
Хартли и Дэвид (H. О. Hartley and Н. A. David, 1954), Universal bounds for mean range and extreme observation, Ann. Math. Stat, Vol. 25, pp. 85-99. [261]
Хсльмерт (F. R. Helmert, 1876a), Ucbcr die Wahrscheinlichkeit der Potensummen der Bcobachtungsfehler und uber einige damit im Zusammenhange stchende Fragen, Zcits. fiir Math, und Phys., Vol. 21, pp. 192—218. [221]
Хсльмерт (F. R. Helmert, 1876b), Die Gcnauigkeit der Formol von Peters zur Bcrechnung des wahrscheinlichen Beobachtungsfchlcrs director Bcobachtungcn gleicher Gcnauigkeit, Astron. Nachr., Vol. 88, pp. 112—131. [224]
X и н ч и и (A. Khintchine, 1929), Sur la loi dos grands nombres, Comp. Rend. Acad. Sci., Vol. 188, pp. 477—479. [121, 265]
Холдэйн (J. В. S. Haldane, 1945), On a method of estimating frequencies, Biometrika, Vol. 33, pp. 222—225. [158, 503]
Хотеллинг (H. Hotelling, 1931), The generalization of Student’s ratio, Ann. Math. Stat., Vol. 2, pp. 360—378. [301, 556, 593]
Хотеллинг (H. Hotelling, 1933), Analysis of a complex of statistical variables into principal components, Journ. Educ. Psych., Vol. 24, pp. 417—441, 498—520. [563, 566]
Хотеллинг (H. Hotelling, 1935), The most predictable criterion, Journ. Educ. Psych., Vol. 26, pp. 139-142. [586]
Хотеллинг и И э б с т (Н. Hotelling and М. R. Pabst, 1936), Rank correlation and tests of significance involving no assumption of normality, Ann. Math. Stat, Vol. 7, pp. 29—43. [473]
Хотеллинг (H. Hotelling, 1941), Experimental determination of the maximum of a function, Ann. Math. Stat, Vol. 12, pp. 20—45. [478]
Хотеллинг (H. Hotelling, 1944), Some improvements in weighing and other experimental techniques, Ann. Math. Stat, Vol. 15, pp. 297—306. [297]
Хотеллинг (H. Hotelling, 1953), New light on the correlation coefficient and its transforms, Journ. Roy. Stat. Soc., Ser. B, Vol. 15, pp. 193—232. [592]
Хузурбазар (V. S. Huzurbazar, 1948), The likelihood equation, consistency and the maxima of the likelihood function, Ann. Eugen., Vol. 14. pp. 185—200. [369]
Хук (R. Hooke, 1956a), Sjmmctric functions of a two-way array, Ann. Math. Stat., Vol. 27, pp. 55—79. [238]
Хук (R. Hooke, 1956b), Some applications of bipolykays to the estimation of variance components and their moments, Ann. Math. Stat., Vol. 27, pp. 80-— 98. [318]
Хэннан (E. J. Hannan, 1955), Exact tests for serial correlation, Biometrika, Vol. 42, pp. 133—142. [534]
Чебышев (P. L. Chebyshev, 1867), On mean values, Journ. Math. Pures et Appl., Vol. 12, pp. 177—184. [87]
Чебышев (P. L. Chebyshev, 1890), Sur deux theoremes relatifs aux pro- babilites, Acta Math., Vol. 14, pp. 305—315. [268]
Чернов и Мозес (H. Chernoff and L. E. Moses, 1959), Elementary decision theory, John Wiley, New York (русский перевод: Элементарная теория статистических решений, Сов. радио, М., 1962). [505]
Чжун и Де Л ё э р и (J. Н. Chung and D. В. De Lury, 1950), Confidence limits for the hypergeometric distribution, University of Toronto Press. [378]
Чжун (К. L. Chung, 1941), On the probability of the occurrence of at least m events among n arbitrary events, Ann. Math. Stat, Vol. 12, pp. 328— 338. [41]
Чжун (К. L. Chung, 1946), The approximate distribution of Student's statistic, Ann. Math. Stat, Vol. 17, pp. 447—465. [277]
Чжун и Ф e л л e p (K. L. Chung and W. Feller, 1949), Fluctuations in coin tossing, Proc. Nat. Acad. Sci. USA, Vol. 35, pp. 605—608. [476]
Чэпмен и Роббинс (D. C. Chapman and H. Robbins, 1951), Minimum variance estimation without regularity assumptions, Ann. Math. Stat, Vol. 22, pp. 581-586. [361, 401]
111 а с т e p (A. Schuster, 1898), On the investigation of hidden periodicities with application to a supposed 26-day period of meteorological phenomena, Terrestrial Magnetism, Vol. 3, pp. 13—41. [529]
Шеннон (С. E. Shannon,7J 948), A mathematical theory of communication, Bell System Techn. Journ., Vol. 27, pp. 379—423, 623—656 (русский перевод— в сборнике «Работы по теории информации и кибернетике», ИЛ, М., 1963). [417]
Шеппард (W. F. Sheppard, 1898), On the calculation of the most probable values of frequency-constants for data arranged according to equidistant divisions of a scale, Proc. London Math. Soc., Vol. 29, pp. 353—380. [336]
Шерман (В. Sherman, 1950), A random variable related to the spacing of sample values, Ann. Math. Stat., Vol. 21, pp. 339—361. [445]
III e ф ф e (H. Scheffe, 1943), Statistical inference in the nonparametric case, Ann. Math. Stat., Vol. 14, pp. 305—332. [435]
Шеффе (H. Scheffe, 1947), A useful convergence theorem for probability distributions, Ann. Math. Stat., Vol. 18, pp. 434—438. [124]
Шеффе (H. Scheffe, 1953). A method for judging all contrasts in the analysis of variance, Biometrika, Vol. 40, pp. 87—104. [301, 302]
Шеффе (H. Scheffe, 1959), The analysis of variance, John Wiley, New York (русский перевод: Дисперсионный анализ, Физматгиз, М., 1963). [308, 318]
Шрикхэнд (S. S. Shrikhande, 1952), On the dual of some balanced incomplete block designs, Biometrics, Vol. 8, pp. 66—72. [244]
Шьюарт (W. A. Shewart, 1931), Economic control of quality of manufactured product, D. Van Nostrand, Princeton, N. J. [343]
Эджворт (F. Y. Edgeworth, 1905), The law of error, Trans. Cambr. Phil. Soc., Vol. 20, pp. 36—65. [276]
Эйзенхарт (C. Eisenhart, 1947), The assumptions underlying the analysis of variance, Biometrics, Vol. 3, pp. 1—21. [318]
Элфвинг (G. Elfving, 1947), The asymptotical distribution of range in samples from a normal population, Biometrika, Vol. 34, pp. 111 — 119. [260]
Эндрюс (F. С. Andrews, 1954), Asymptotic behavior of some rank tests for analysis of variance, Ann. Math. Stat., Vol. 25, pp. 724—736. [474]
Э н с к о м 6 (F. J. Anscombe, 1953), Sequential estimation, Journ. Roy. Stat. Soc., Ser. B, Vol. 15, pp. 1—29. [499]
Эпстейн (В. Epstein, 1954), Tables for the distribution of the number of exceedances, Ann. Math. Stat., Vol. 25, pp. 762—768. [262]
Эссеен (С. E. Esscen, 1944), Fourier analysis of distribution functions: A mathematical study of the Laplace — Gaussian law, Acta Math., Vol. 77, pp. 1—125. [277]
Юл (G. U. Yule, 1924), A mathematical theory of evolution based on the conclusions of Dr. J. C. Willis, Phil. Trans. Roy. Soc., London, Ser. B, Vol. 213, pp. 21-87. [206]
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Автоковариация см. Функция ковариаций процесса
Анализ поверхностей реакции 308
Апостериорная вероятность 511
Априорное распределение 409, 510
Ассимметрия распределения 276
Асимптотическая нормальность распределения 267
— эффективность оценки 372, 384
Асимптотически наикрагчайшие доверительные интервалы 383, 384
— несмещенные критерии 422
— эквивалентные 422
Байесовский подход к статистической проблеме решения 510—513
Безгранично делимая случайная величина 203
Белый шум 521, 522
, критерий для проверки гипотезы о нем 533, 534
, Функция ковариаций для него 537
Бета-распределение 187
—, его дисперсия 189
—, — моменты 189
—, — среднее значение 189
— соотношение между ним и гамма-распределением 189
—, —распределением Снедекора 201
—,Стьюдента 199
Бета-функция 188
Биномиальное распределение 136
, асимптотически наикратчайший доверительный интервал для его параметра 400
времени ожидания 157
, его дисперсия 158
, — среднее значение 158
, — характеристическая функция 158
, логарифмическое преобразование в случае больших выборок из него 286
, доверительный интервал для его параметра 377, 378
, достаточность выборочного среднего для оценки его параметра 398
, его асимптотическая нормальность при большом числе испытаний 268
, — воспроизводительность 151
, — дисперсия 150
, — среднее значение 155
, — характеристическая функция 150
, оценка максимального правдоподобия для его параметра 399
, последовательный критерий отношения вероятностей для него 497, 498
, преобразование арксинуса в случае больших выборок из него 286
, распределение суммы (и среднего) выборочных значений в случае выбора из него 219
Биномиальное распределение, эффективность выборочного среднего для оценки его параметра 398
Биномиальные распределения, задача с к выборками 430
, — сравнения двух выборок 430
, критерий отношения правдоподобия для проверки равенства параметров нескольких из них 430
Больцмановская //-функция 417
Большие выборки, асимптотическая нормальность оценок максимального правдоподобия 369-371, 388, 389
,распределения вектора выборочных средних 269, 270
— —,информанта 366, 367, 387, 388
,Стьюдента 203, 286
,— сумм (или средних) выборочных значений 267
, асимптотическое разложение распределения суммы (или среднего) выборочных значений 273—277
, — распределение выборочной медианы 285
— —,суммы долей 279—282
, — — членов вариационного ряда 279 -285
, — совместное распределение нескольких членов вариационного ряда 285
из биномиального распределения, преобразование арксинуса 286, 400
конечных совокупностей, асимптотическое распределение выборочных средних 279
нормального распределения, предельное распределение выборочного среднего и медианы 287
равномерного распределения, логарифмическое преобразование 286
распределения времени ожидания, логарифмическое преобразование 286
Пуассона, преобразование квадратного корня 286, 374
, предельная форма мультиномиального распределения 273
— —, предельное распределение доли, определяемой выборочным размахом 287
, предельные распределения функций от выборочных средних 270—272
, распределение квадратичной формы от выборочных средних 272
Больших чисел слабый закон 111, 266
усиленный закон 120
Борелевское поле 18
В ^со 109
в 1^20
на вещественной прямой 20
наименьшее, порожденное некоторым булевским полем 22
Борелевское поле, порожденное начальным классом множеств 19
Борелевское цилиндрическое множество 108
Бросания монеты, распределение лидерства
при этом 476
Булевское поле 18
, порожденное начальным классом множеств 19
Вариационный ряд см. Порядковые статистики
Вектор риска 507
Вероятностная мера 22
для случайного процесса 107-110
, ее расширение 25, 26
—, теорема покрытия 24
Вероятностные пространства 22
, их статистическая независимость 29
составляющие 29
Вероятностный элемент векторной случайной величины 58
, его преобразование (замена переменной) 66, 69, 71
случайной величины 49
Вероятность наступления всех п событий (пересечения событий) 39
по крайней мере т из п событий 39 одного из п событий (объеди
нения событий) 22, 23, 39
точно т из п событий 39
Ветвящийся процесс 144, 145
Внутреннее рассеивание выборки 542, 545
Внутрислойная компонента дисперсии 323
Воспроизводительность распределения 134 Временной ряд см. Стационарный процесс Выбор без возвращения см. Выборка из конечной совокупности
Выборка из бесконечной совокупности 208 конечной совокупности 228 — матричная см. Матричная выборка
—, симметрические функции от нее 214—216
Выборочная гроздь 540, 544
— дисперсия 209
, ее дисперсия 213
,'— распределение в случае выбора из нормального распределения 221
, — среднее значение в случае выбора из бесконечной совокупности 213
—,конечной совокуп
ности 231
— медиана 249
, асимптотическое распределение ее преобразования с помощью к. ф. р. 286
, ее ассимптотическая эффективность при больших выборках из нормального распределения 372
—, — асимптотическое распределение при больших выборках 285
, —вероятностный элемент 249
, —распределение при больших выборках из равномерного распределения 259
fэкспоненциального распределения 287
, — эффективность как оценки центра распределения Фоши 399
— точка И
Выборочное пространство 114
, декартово произведение 27
маргинальное 27
случайной величины 30
— среднее 209
, асимптотическая нормальность функций от него при больших выборках 270, 271
, асимптотическое разложение его распределения при больших выборках 273—277
Выборочное пространство геометрическое, его распределение в случае выбора из равномерного распределения 260
, его асимптотическая нормальность при больших выборках 267
, — дисперсия в случае выбора из бесконечной совокупности 211, 212
—,— конечной совокупности
231
, — распределение в случае больших выборок из больших конечных совокупностей 277-279
,выбора из нормального распределения 220
,— распределения Коши 142, 143
, — среднее значение в случае выбора из бесконечной совокупности 211
, конечной совокупности 231
—, — характеристическая функция 218
как линейная несмещенная оценка с минимальной дисперсией для среднего значения совокупности 200, 291
, сходимость его по вероятности 265, 266
, эффективность по отношению к нему линейной несмещенной оценки среднего значения совокупности 335, 336
Выборочные блоки 247, 250, 251
— моменты 256
--, их дисперсия 256
— средние, асимптртическая нормальность вектора их при больших выборках 269,
, асимптотическое распределение «стью- дентизованной» разности их при больших выборках 286
, вектор их 210
, вероятностные неравенства для вектора их 285, 286
, дисперсия разности их в случае выбора из конечной совокупности 257
, предельное распределение квадратичной формы от них при больших выборках 271, 272
, распределение вектора их в случае выбора из многомерных нормальных распределений 220
, — разности их в случае выбора из двух нормальных распределений 221
Выборочный размах, его вероятностный элемент 249
, — кумулятивная функция распределения в случае выбора из совокупности с непрерывной к. ф. р. 260
, — распределение в случае выбора из равномерного распределения 259
, — среднее значение в случае выбора из совокупности с непрерывной к. ф. р. 259
, предельное распределение доли, определяемой им, при больших выборках 287
Вырожденная кумулятивная функция распределения 47, 55
случайная величина 47, 55, 63
Гамма-распределение 185
, его воспроизводительность 186
, — дисперсия 185
—, — моменты 185
, — среднее значение 185
, — характеристическая функция 185, 186
, логарифмическое преобразование в случае больших выборок из пего 399
—, независимость выборочного среднего и некоторого вида функций от выборочных значений в случае выбора из него 261
Гамма-распределение, оценка максимального правдоподобия для его параметра 399
—, процесс восстановления, основанный на нем 204
—, распределение суммы (среднего) выборочных значений в случае выбора из него 220
—, соотношение между ним и бета-распределением 189
Гамма-функция 184
— неполная 185
Гипергеометрическое распределение времени ожидания 155
,его дисперсия 157
,_ среднее значение 157
,— факториальные моменты 156
,примеры 40, 167, 485
, доверительный интервал для его параметра 378
, его дисперсия 148, 149
, — ковариационная матрица, Л-мерный случай 149
-, — среднее значение 148, 149
, — факториальные моменты 148,149, 164
—, Л-мерный случай 148, 149
, одномерный случай 146—148
Главные компоненты матрицы рассеивания 566
Групповые частоты 440
—, их моменты 440
, — распределение 440
блоков 451
, их моменты 452
, _ распределение 451
Двойной выбор 477, 478
Двумерная кумулятивная функция распределения 53
функция вероятности 56
плотности вероятности 57, 58
Двумерное нормальное распределение 173
, его ковариационная матрица 174, 175
, — средние значения 174
, — функция плотности вероятности 175
, — характеристическая функция 175
—, коэффициент корреляции между одной компонентой и преобразованием другой с помощью соответствующей маргинальной к. ф. р. 257
,преобразованиями компонент с помощью соответствующих маргинальных к. ф. р. 202
, маргинальные распределения для не-
, распределение коэффициента корреляции в случае выборок из него 591, 592
, — отношения компонент 202_
, условное распределение, возникающее из него 177
, функции регрессии для него 177
Двухступенчатый выбор .доверительный интервал фиксированной длины для среднего значения нормального распределения па его ' основе 499, 500
из конечных совокупностей с большим числом слоев 327—331
совокупностей с неизвестными объемами, средними значениями и дисперсиями слоев 335
с целью минимизировать дисперсию оценки среднего значения конечной совокупности при фиксированной суммарной стоимости 326.327
, фиксированная дисперсия оценки разности средних значений двух нормальных распределений на его основе 504
-,среднего значения нормального распределения на его основе 504
Декартов последовательный критерий 484 в случае экспоненциального распределения 501
, его оптимальное построение 485, 502
как непараметрический последовательный критерий 486
г-кратный 486
в случае экспоненциального распределения 501
—, средний объем выборки для него 485 Декартово произведение вероятностных пространств 30
выборочных пространств 27
множеств 27
Диаграмма Венна 15
Дискретная случайная величина 46, 55, 63 , ее точки сосредоточения массы 46,55 , — функция вероятности 47, 56, 63 Дискриминантный анализ, распределение соб- -
ственных значений в нем 579—585
, случай двух выборок 571—575 , — нескольких выборок 575—579 Дисперсионный анализ, его Модель I 307—315 ,и 318-322 многомерный 559—563 , наиболее общая форма критерия его
Модели 1 415
—, некоторые таблицы 312, 320
Дисперсия 86
выборочная 209
линейной функции случайных величин 94
, несмещенная оценка для нее 212, 231
оценки параметра, ее нижняя граница 361г 362
Дифференцирование параметрических функций распределения 353 —355, 357, 358
О2-статистика Махаланобиса в случае двух выборок 559
одной выборки 555
.ее отношение к Т--статистике Хотеллинга 555, 556, 559
Доверительная полоса для непрерывной к. ф. р. 348-351
Доверительные границы для непрерывной к. ф. р. 345—348
как непараметрические критерии 445—448 — интервалы асимптотически наикратчайшие 383—384
для интервалов квантилей 341
квантилей 338—341
конечных совокупностей 341, 342
коэффициентов регрессии в теории нормальной регрессии 300
основных эффектов в однофакторном плане эксперимента 333, 334
планах экспериментов 310
разности параметров сдвига двух непрерывных распределении 475
средних значений двух нормаль
ных распределений с разными дисперсиями
, их построение на основе выборок из дискретных распределений 376—378
,совокупностей с непрерывными к. ф. р. 375, 376
, одновременное накрытие ими см. Одновременное накрытие доверительными интервалами
области асимптотически наименьшие 392-396
эквивалентные 393
для вектора средних значений м®о*£ мерного нормального распределения 592, 593
векторов основных эффектов в планах эксперимента 310, 311, 334
—параметров в теории нормальной регрессии 301, 332
Доверительные границы для параметров мультиномиального распределения 396, 397 среднего еначения и дисперсии нормального распределения 391, 392
—, общий случай 389—391
— пределы см. Доверительные интервалы
Доверительный интервал, общий случай 374,
асимптотический на основе больших выборок 381
для дисперсии нормального распределения 294
медианы второй выборки по вариационному ряду первой выборки 351
конечной совокупности 352
совокупности с непрерывной к. ф. р. 338-340, 351
(«+ 1)*го наблюдения нормально распределенной случайной величины 336
параметра биномиального распределения 378
гипергеометрического распределения 378
"~ Размаха равномерного распределения 398, 399
среднего значения нормального распределения 293
распределения Пуассона 378
фиксированной длины для среднего значения нормального распределения 499, 500
— коэффициент 293, 374
Доли для нормального распределения 352
—, их ковариационная матрица 259
— многомерные 250—255
— одномерные 247
—, распределение заданного их числа 250
-, — их сумм 249, 250
—,— при большом объеме выборки
279- 282
Допустимые статистические решающие функции 506
Достаточные статистики 359
, критерий факторизации 363—365
многомерные 365
, теорема Блекуэла-Рао о них 366
, — Рао о них 401
, форма распределения, допускающего их 401
Дробь Стьюдента 198, 224
как критерий отношения правдоподобия 412, 413
, пример несмещенного критерия 404, 405
Задача Бертрана о баллотировке 475, 476
— проверки крови 166
— с к выборками из биномиальных распределений 430
нормальных распределений 432
распределении Пуассона 432
— совпадения 168
— сравнения двух выборок, дробь Стьюдента в ней 257
из биномиальных распределений 430
нормальных распределении с одинаковыми дисперсиями 429, 430
— распределений Пуассона 432
совокупностей с непрерывным
к.ф.р. 448
—, критерий Манна-Уитни в пей 465-468
— пустых блоков в ней 453—458
— серий в ней 458—460
_ _ - -, — Смирнова в ней 460—465
— непараметрическая 448
Задача сравнения двух выборок, неравенство Мату сита в ней 263
, /^«статистика Хотеллинга в ней 557-559
Задачи о взвешивании 297
Закон арксинуса 476
Замена переменной в вероятностном элементе 66, 67
Игра крэпс 38
Интеграл Ганкеля 131
— Лебега — Стилтьеса 33
, оценивание его с помощью случайного выбора 336, 337
— информации 417
Интервалы квантилей, доверительные интервалы для них 341
Информант для параметра 361
, его асимптотическая нормальность при больших выборках 366, 367, о87, 388
Каноническая корреляция 585—590
Канонические коэффициенты корреляции 586
, их распределение 589
Квадратичная оценка 289
— - остаточной дисперсии в линейной регрессии 298
с наименьшей дисперсией для дисперсии совокупности 291, 292
Квантили, доверительные иптеовалы для них 338 -341
конечных совокупностей, доверительные интервалы для них 341, 342
случайных величин 49
Квантиль 49
Квартиль верхняя 49
— нижняя 49
Классы множеств борелевские 18
булевские 18
вполне аддитивные 18
конечно-аддитивные 18
а-алгебры 18
A-мерный объем 544
Ковариационная матрица 91
выборочного среднего и медианы в случае больших выборок из нормального распределения 287
гипергеометрического распределения 149
конечной совокупности 235
линейных функций случайных величин 94, 95
, матрица, обратная к ней 91
мультиномиального распределения 153
нормального распределения 174, 175, 180
оценок правдоподобия параметров 389 Ковариационные матрицы, критерий для проверки гипотезы равенства их у двух многомерных нормальных распределений 593, 594
Ковариация 89
между двумя линейными функциями случайных величин 94, 95
Количество информации 361, 362
Компонента дисперсии внутрислойная 323
междуслойная 323
Компоненты дисперсии для плана латинском квадрата 246, оценки для них 322
— полного двухфакторного плана 236. оценки для них 319
трехфакторного плана 243, оценки для них 321
сбалансированного неполного двух-
факторпого плана 245, оценки для них 320
Конечная совокупность, вариационный ряд выборки из нее "255, 256
Конечная совокупность, дисперсия выборочного среднего в случае выбора из нее 231 , — линейной функции от выборочных значений в случае выбора из нее 257
— —, — разности двух выборочных средних в случае выбора из нее 257
, — суммы выборочных значений в случае выбора из нее 232
, доверительные интервалы для ее кван- ' тилей 341, 342
, доверительный интервал для ее медианы 352
, ее дисперсия 230
, — ковариационная матрица 235
, — среднее значение 230
, квадратичная оценка с минимальной дисперсией для ее дисперсии 291, 292
, ковариационная матрица вектора выборочных средних в случае выбора из нее 235
,выборки из нее 230
, линейная оценка с минимальной дисперсией для ее среднего значения 290, 291
, предельное распределение выборочных средних при больших выборках из нее и большом ее размере 279
, распределение выборочной медианы в случае выбора из нее 263
, — двух членов вариационного ряда выборки из нее 263
, _ максимального члена вариационного ряда выборки из нее 262
, случайный выбор из нее 227—235
, среднее значение выборочного среднего
в случае выбора из нее 231
,выборочной дисперсии в случае выбора из нее 231
,ковариационной матрицы в случае выбора из нее 235
,симметрических функций от выборок из нее 232—234
, функция вероятности выборки из нее 229 Корреляционное отношение 98
линейное 100, ЮЗ
множественное 98
Коэффициент изменчивости 86
корреляции 90
, его распределение в случае выборок из нормальной совокупности 591, 592
множественный 102, 106
, его выборочное распределение 595, 596
f преобразование Фишера для него 287 частный 105, 106
Коэффициенты корреляции, их распределения 591
канонические 586
—, их распределение 588, 589
регрессии 95, 97
—, доверительные интервалы для них в теории нормальной регрессии 300
, — области для них в теории нормальной регрессии 301
, оценки для них 258, 294—297
, теорема Гаусса-Маркова об оценках для них 296
, _ Маркова об оценках для них 296 Критерий см. Статистический критерий — знаков 437
Манна-Уитни 466
для проверки гипотезы равенства двух параметров сдвига, его состоятельность 475
отношения правдоподобия 411, 412, см. также Биномиальное распределение, Мультиномиальное распределение, Нормальное распределение, Распределение Пуассона, Таблица сопряженности признаков, Экспоненциальное распределение
Критерий отношения правдоподобия в двух- факторном плане эксперимента 433, 434 моделивыбора поведения434 —случаеобщей линейнойстатистической гипотезы413—416
теориинормальной регрессии 413—416
, его асимптотическая мощность 421— 425
—, — состоятельность 419, 420
, — эквивалентность Г2-статистике Хотеллинга 593
простой гипотезы 425, 426
сложной гипотезы 426 -429
пустых блоков в задаче сравнения двух выборок 453—458
ящиков в задаче с одной выборкой 440—444
ранговой корреляции для проверки гипотезы независимости 473
рандомизации в двухфакторном плане эксперимента 471
Гофдинга для проверки гипотезы независимости 473, 474
компонент выборки 468—471
, критерий ранговой корреляции в его значении 473
рангов выборки 471—474
Фишера-Питмена 470, 471
^серий^ в задаче сравнения двух выборок
Смирнова для двух выборок 460—465
согласия Пирсона 272, 273, 337
Уилкоксона см. Критерий Манна — Уитни
Критическая область 403
подобная 404
Критическое множество 403
fe-статистики Фишера 213, 214
Кумулянты 127
Кумулятивная функция распределения 45
4-, абсолютно непрерывный случай 48,
векторных (многомерных) случайных величин 53, 62
вырожденной случайной величины 47, 48, 55, 63
, двумерный случай 53
дискретной случайной величины 46, 55, 63
, ее воспроизводительность 134
маргинальная 53, 54, 62
—, многомерный случай 62
независимых случайных величин 54, 55, 62, 63
.„ непрерывная, доверительная полоса для нее 348—351
непрерывной случайной величины 48, 49, 57, 64
, определение ее по характеристической функции 128—132
случайной величины смешанного типа
64, 65
условная 72, 73, 77
эмпирическая 345
Латинский квадрат 245, 246
как план эксперимента 314, 315, 322
Линейная зависимость случайных величин
70
— независимость случайных величин 68, 70
оценка 288
несмещенная 289
с наименьшей дисперсией 289
на основе нескольких несмещен
ных оценок параметра 332, 335, 336
Линейная оценка несмещенная с наименьшей дисперсией общего среднего значения нескольких случайных величин, имеющих также равные дисперсии и ковариации 331
разности средних значений двух совокупностей 331, 332
среднего значения совокупности 290, 291
— средняя квадратическая регрессия 99
— статистическая гипогеза общая 413
— функция случайных величин 205
,ее дисперсия 94
,— распределение в случае их нормальности 172, 182, 183
t_ среднее значение 94
Линейное прогнозирование стационарных процессов 534—537
Линейные оценки коэффициентов регрессии 294-297
функции случайных величин, их асимптотическое распределение в случае больших выборок из больших конечных совокупностей 277-279
—, — ковариационная матрица 94, 95
—, корреляция между ними 105
Линейный процесс 538
Логарифмическое преобразование в случае больших выборок из гамма-распределения 399 — равномерного распределения 286
распределения времени ожидания 286
Максимальный член вариационного ряда, его вероятностный элемент 249
, — распределение в случае выбора из конечной совокупности 262
—, — — —равномерного распределения 259
, неравенство для его среднего значения 261
Маргинальная кумулятивная функция распределения 53, 54, 62
функция вероятности 56, 63
плотности вероятности 58, 64
Маргинальные выборочные пространства 27
Математическое ожидание см. Среднее значение случайной величины
Матрица Грама (грамиан) 545
— ковариационная 91
— информации 425
— положительно определенная 93
— рассеивания 542
внутреннего 542, 544
внутривыборочиого 558, 562, 572, 573
, ее главные компоненты 566
, - собственные векторы 564
,значения 564
, — характеристические векторы 565
(числа 564
междувыборочного 562, 572, 573
— —, распределение ее собственных значений 566, 567
Матрицы рассеивания, распределение собственных значений двух из них 579-585
Матричная выборка в случае конечных совокупностей 238—241
полная 241—244
полная второго порядка 235 -238
сбалансированная неполная 244—246
типа латинского квадрата 245, 246
Матричный выбор из бесконечных совокупностей 236, 242, 244
конечных совокупностей 238—241
, компоненты суммы квадратов в этом случае 238, 243, 244, 246
Матричный выбор, средние значения компонент суммы квадратов в этом случае 238, 243, 245, 246
Медиана второй выборки по вариационному ряду первой выборки, доверительный интервал для нее 351
— выборочная, ее распределение в случае выбора из конечной совокупности 263
, —совокупности с непрерывной к.ф.р. 249
как оценка параметра сдвига распределения Коши, ее эффективность 399
— среднего значения нормального распределения, ее асимптотическая эффективность 372
— конечной совокупности, доверительный интервал для нее 352
— некоторого распределения, доверительный интервал для нее о40, 351
Междуслойная компонента дисперсии 323
Мера см. Вероятностная мера
Метод переменных разностей для стационарных процессов 526, 527
Минимаксное решение статистической проблемы решения 507, 508
Минимаксный риск 507
Минимальный полный класс статистических решающих функций 506
— член вариационного ряда выборки, его вероятностный элемент 249
Многомерная кумулятивная функция распределения 62
— оценка см. Оценка
Многомерное нормальное распределение 178
—,его вектор средних 178
— — —,— воспроизводительность 203
—,— ковариационная матрица 178
,— функция плотности вероятности 178
,— характеристическая функция182
,критерий его симметричности598, 599
,сферичности 597, 598
—, маргинальные распределения для
него 182
, моменты рассеивания выборки из него 551, 552
—, независимость средних и матрицы
рассеивания выборки из него 553—555
,оценки максимального правдоподобия для его параметров 400
,преобразование Лагранжа для него 178, 179
—,распределение вектора сумм (сред
них) выборочных значений в случае выбора из него 220
, — показателя степени в выражении для его ф.п.в. 198
, — рассеивания выборки из него 552
, — Г-’-стагистики Хотеллинга в случае выборок из него 555—559
, — Уишарта элементов матрицы рассеивания выборки из него 550
сферическое 204
—, условные распределения, возникающие из пего 183, 184, 205
, функции регрессии для него 183, 184
распределение см. Кумулятивная функция распределения, Случайная величина
Многомерный дисперсионный анализ, его Модель I для двухфакторнсто плана эксперимента 594
,— трех выборок 562
tобщая 559—562
статистический анализ 539
Многоступенчатый выбор 478
Множества, ассоциативный закон для них 16
, борелевское поле (ст-алгебра) их 18
, булевское поле (булевская алгебра) их 18
, вполне аддитивный класс их 18
, дистрибутивный закон для них 16
, их внешняя мера 26
, — декартово произведение 77
, — дополнения 14
, — объединение (сумма) 14
, — пересечение 13
, — разность 14
, коммутативный закон для них 16
, конечно-аддитивный класс их 18
непересекающиеся 13
ограниченные 43
, поля множеств 18
попарно непересекающиеся 14
пустые (нулевые) 13
равные 13
случайные 376
Множественное корреляционное отношение 98
сравнение см. Одновременное накрытие доверительными интервалами
Множественный коэффициент корреляции 102
, его выборочное распределение 595,
Модель выбора поведения, критерий отношения правдоподобия в ней 434
Моменты 87, 90
абсолютные 88, 91
центральные 88, 91
выборочные 256
—, поправки Шеппарда для них 336
— рассеивания 542, 543, 545, 551, 552
— факториальные 88, 91
— центральные 87, 90
Монотонная последовательность множеств 18
, теорема для нее 23
Мощность статистического критерия 403
Мультиномиальное распределение 152
, доверительная область для его параметров 396, 397
—, его асимптотическая нормальность при больших выборках 270
, — характеристическая функция 152
, ковариационная матрица оценок его параметров 400
—, критерий отношения правдоподобия для простой гипотезы относительно него 432
, — согласия Пирсона для выборок из него 272, 273, 432
--, маргинальное распределение для него
, неравенство Матусита для двух выборок из него 263
, оценки максимального правдоподобия для его параметров 400
, проверка простой гипотезы для него 432
, распределение вектора сумм (или средних) выборочных значений в случае выбора из него 219
Наблюдаемая случайная величина 288, 289
Наибольший сегмент, порожденный п точками в интервале, его распределение 264
Наименьшее борелевское поле 19
Независимость двух множеств случайных ве
личин, критерий для проверки этого 597
, критерий для ее проверки в таблице сопряженности признаков 430, 431
,, основанный на ранговом ко
эффициенте корреляции 473
—, непараметрический критерий для ее проверки 473
— случайных величин 54, 62, 63
— событий 35
Некоррелированные случайные величины 90 Непараметрическая простая статистическая гипотеза 437
— сложная статистическая гипотеза 435, 436 Непараметрический ста логический критерий для проверки гипотезы независимости 473, 474
, доверительные границы в его значении 445—448
Манна — Уитни 465 —468
пустых блоков в задаче сравнения двух выборок 453—458
ящиков в задаче с одной выборкой 440—444
серий в задаче сравнения двух выборок 458—460
Смирнова 460—465
хи-квадраг 438
Неполная бета-функция 188
гамма-функция 185
Непрерывная кумулятивная функция распределения 48, 57, 64
, доверительная граница для нее 345-348
, — полоса для нее 348 — 351
случайная величина 48, 57
, ее вероятностный элемент 49, 58
, — функция плотности вероятности
57, 58, 64
Непрерывное распределение времени ожида-
' ния 186, 187
Неравенство Колмогорова 119—123
— Чебышева 87, 266
многомерное 104, 124, 285, 286
Несмещенная оценка 288
квадратичная 289, 290
линейная 288—290
Несмещенный статистический критерий 403
Нецентральное распределение Стьюдента 259
/^-статистики Хотеллинга 599
хи-квадрат 258
Нижняя граница дисперсии оценки параметра 360, 361, 401
функции от параметра 398
Нормальное распределение 170, см. также Двумерное нормальное распределение, Многомерное нормальное распределение
—, асимптотическая нормальность выборочного среднего и медианы при больших выборках из него 287
, — эффективность выборочной медианы при больших выборках из него 372
, асимптотическое распределение выборочной медианы при больших выборках ив него 285
двумерное 173—177
—, доверительная область для его параметров 391, 392
, доверительный интервал для его дисперсии 294
,среднего значения 293
,Стейна фиксированной длины для его среднего значения 499, 500
, достаточные статистики для его параметров 398
, его воспроизводительность 172, 203
, — дисперсия 170
—, — нормированная форма 170
, — среднее значение 170_
, — функция плотности вероятности ии> 175, 178
—, — характеристическая функция 175, 182.
, задача для вариационного ряда выборки из него 264
—, коэффициент корреляции между нормальной случайной величиной и ее преоо.
раюванием с помощью соответствующей к. ф. р. 257
Нормальное распределение, критерий отношения правдоподобия для проверки того, что его дисперсия имеет заданное значение 432, 433 — —, —,среднее имеет
заданное значение 412, 413
многомерное 177—184
, независимость выборочного среднего и дисперсии в случае выборок из него 221—224 , неравенство для интеграла от его ф. п. в. 201, 202
, оценка с заданной дисперсией для его среднего значения 504
, последовательный критерий отношения вероятностей для его дисперсии 502, 503
,среднего значения 502
, равномерно наиболее мощный критерий для его среднего значения 408, 409
, распределение выборочной дисперсии в случае выбора из него 221
, — суммы (или среднего) выборочных значений в случае выбора из него 220
, — — квадратов отклонений выборочных значений в случае выбора из него 221
, — ^-статистики Стьюдента в случае выборок из него 224
, теорема Кочрэна для выборки из него 225—227
—, условие Лукача принадлежности ему выборки 262
Нормальные распределения, доверительный интервал для разности средних значений двух из них 332
, задача с й-выборками из них 432
, критерий отношения правдоподобия для проверки гипотезы равенства дисперсий двух из них 430
, —— — средних значений двух из них с одинаковыми дисперсиями 429, 430
—, — — —нескольких
из них с одинаковыми дисперсиями 430
—, оценка с фиксированной дисперсией разности средних значений двух из них 504 — —, распределение разности, выборочных средних в случае выбора из двух из них 221
Нормальный процесс 533
, критерии для проверки гипотезы белого шума для него 533, 534
Нулевая гипотеза 402
Обобщенная дисперсия многомерного распределения 546
Обобщенное распределение Стьюдента см. Г2- статистика Хотеллинга
расстояние между выборкой и совокупностью 555
двумя выборками 559
Обратная к ковариационной матрица 91
Одновременное накрытие доверительными интервалами 301
— — — линейных комбинаций коэффициентов регрессии 333
средних значений нескольких нормальных величин 333
, метод Тьюки для этого 304—307
, — Шеффе для этого 302—304
, неравенство для вероятности этого 301, 302
-разностей взаимодействий в трехфакторном плане эксперимента 335
основных эффектов в двухфакторном плане эксперимента 334
— средних значений нескольких нормальных распределений 334
Оперативная характеристика выборочного плана 406
последовательного критерия 480, 481
отношения вероятностей 490—493
статистического, критерия 403
Оптимальная расслоенная выборка 326
Остаточная дисперсия 95
— —, ее оценка в случае линейной регрессии 298, 299
, средняя квадратическая 99, 102
Отношение правдоподобия 411, 412
— —, его распределение для простых гипотез при больших выборках 418, 419
,сложных гипотез при больших выборках 427
Отрицательное биномиальное распределение см. Биномиальное распределение времени ожидания
Оценивающая функция 381—383
многомерная 394
правдоподобия 380
— — регулярная 382, 394
Оценка асимптотически эффективная 372, 389
— в виде области см. Доверительные области — дисперсии 212, 231 — достаточная 359, 365
—, ее смещение 363
— интервальная см. Доверительные интервалы — квадратичная 289
с наименьшей дисперсией для дисперсии совокупности 291, 292
— линейная 288
несмещенная 288
с наименьшей дисперсией 289
для среднего значения совокупности 290, 291
— многомерная 385
несмещенная в среднем 359, 385
по медиане 359
остаточной дисперсии в линейной регрессии 298
параметра, нижняя граница ее дисперсии 362
распределения Пуассона 362, 363
состоятельная 359
среднего значения нормального распределения, имеющая данную дисперсию 504
—, теорема Блекуэла—Рао об ее улучшении 366
— точечная 353, 359
функции ковариаций временных рядов 522—523
эффективная 359, 386
Оценки максимального правдоподобия 369
_ их асимптотическая нормальность
при больших выборках 369—371, 388, 389
, эффективность 372, 389
— —, — асимптотическое распределение в многомерном случае 388, 389
, — сходимость 367—369
, многомерный случай 388, 389
параметра гамма-распределения 399
экспоненциального распределения 398
— — параметров в теории нормальной регрессии 400, 401
мультиномиального распределения 400
, функции от них, имеющие асимптотические дисперсии, не зависящие от параметра 372—374
с наименьшей дисперсией для концевых точек равномерного распределения 399
— размаха равномерного распределения 399
средних значений функций от достаточных статистик 401
Очередь 206, 207
Ошибка 1-го рода статистического критерия
2-го рода статистического критерия 403
Параллельность линий регрессии, критерий для проверки гипотезы о ней в теории нормальной регрессии 433
Параметр совокупности 353
, информант для него 361
, нижняя граница дисперсии его оценки 360, 361
Параметрическая кумулятивная функция распределения, ее дифференцирование 353— 357
регулярная 357—359
Параметрическое пространство 354
Передача ошибок 203, 201
Периодограмма 530
стационарного процесса 538
План эксперимента в Модели I дисперсионного анализа латинского квадрата 314, 315 — —, полный двухфакторный 308-311
— — — — — —, — трехфакторный 311-314
_ _ — _ и дисперсионного"анализа латинского квадрата 322"
— —, полный двухфакторный 318, 319
— —, — трехфакторный 321, 322
—, сбалансированный неполный двухфакторный 319—321
-- двухфакторный, критерий отношения правдоподобия для нулевых основных эффектов в нем 433, 434
повторяемый двухфакторный 334
однофакторный 333, 334
Полнота семейства распределений 401
Положительно определенная матрица 93
Попарно непересекаюшиеся события 14
Поправки Шеппарда для моментов 336
Порядковое распределение Дирихле 196
Порядковые статистики (члены вариационного ряда) 247
в задачах сравнения двух выборок 475 в случае выбора из конечной совокупности 255, 256
, выборочные блоки, порожденные ими 247
двух выборок 448—453
, доли, определенные ими 247, 250, 251
, их асимптотическое распределение при больших выборках 279—235
— —, — вероятностный элемент 248
, многомерные доли, порожденные ими 250-255
, одномерные доли, порожденные ими 249, 250
, упорядочивающие функции в их теории 250
Последовательное оценивание 499
Последовательность множеств (событий) 13
, ее верхний предел 17
, — нижний предел 17
, — предел 17
монотонная 18
расширяющаяся (возрастающая) 17
стягивающаяся (убывающая) 17
счетная 13
моментов, единственность распределения, которому она отвечает 137—142
, примеры нахождения по ней распределений 195, 256, 552, 560-563, 595-599
событий см. Последовательность множеств
Последовательный анализ см. Последовательное оценивание, Последовательный критерий, Последовательный процесс
критерий вырожденный 480
декартов 484—486, 501, 502
4-, его оперативная характеристика 480,
, — сила 483
, — схема 479—483
, критерий для выбораего482,483
, области принятия,безразличия и отклонения гипотезы для него 483
отношения вероятностей 486, 487
— — — в случае выбора из биномиального распределения 497, 498
— —, граничные постоянные для него 489
, его оперативная характеристика 490-493
, — усечение 495—497
, — эффективность 493—495
— — — —, окончание его с вероятностью единица 487, 488
при проверке гипотезы о дисперсии нормального распределения 502, 503
среднем значении нормального распределения 502
— — — — распределения Пуассона 503
, со едкий объем выборки для него 493
процесс 480
декартов 484, 501
отношения вероятностей 486, 487
— —, окончание его с вероятностью единица 487, 488
—, продолжающие эксперимент события в нем 480
Правдоподобия элемент 360
Предел среднего выходного качества 406
Преобразование арксинуса в случае больших выборок из биномиального распределения 286, 399, 400
— квадратного корня в случае больших выборок из гамма-распределения 286
„ распределения Пуассона 286, 374
Проблема Беренса—Фишера 380
Продолжающие эксперимент события в последовательном анализе 480
Производящая функция в задаче совпадения
вероятностей 126, ИЗ—145
моментов 126, 131
векторной случайной величины 131
— — факториальных моментов 126, 131
Пропорциональная расслоенная выборка 325
Простая статистическая гипотеза 402
— непараметрпческая 437
Простой случайный выбор из бесконечной совокупности 208
конечной совокупности 228
Пространство решений 506
Процентиль 49
Процесс авторегрессии 536
— восстановления 204
— Пуассона 205, 206
рождения Юла 206
Пустое множество 13
Равенство дисперсий, критерий для проверки гипотезы об этом в случае выбора из нормальных распределении 430, 432
Равномерное распределение 169
, доверительный интервал для его размаха 398, 399
Равномерное распределение, достаточная оценка его концевых точек 399
—,размаха 398, 399
, его размах 169
, логарифмическое преобразование в случае больших выборок из него 286
, оценки с наименьшей дисперсией его размаха и средней точки 399
—, распределение выборочного размаха в случае выбора из него 259
, — выборочной медианы в случае выбора из него 259
—, — максимального члена вариационного ряда выборки из него 259
, — наибольшего сегмента в случае выбора из него 264
, —• произведения выборочных значений в случае выбора из него 203
(максимальных членов вариационных рядов нескольких выборок из пего 260,
, — среднего геометрического выборочных значений в случае выбора из него 260
,(или суммы) выборочных значений в случае выбора из него 217
, — членов вариационного ряда выборки из него 248
, члены вариационного ряда выборки из него 247
, эффективная оценка его размаха 398, 399
Равномерно наиболее мощный статистический критерий 404
для среднего значения нормального распределения 408, 409
Размах выборочный 249
равномерного распределения 169
случайной величины 46
Разность средних значений, доверительные интервалы для нее в случае нормальных распределений с равными дисперсиями 332 Распределение времени ожидания биномиальное 157
гипергеомегрическое 155
— —, логарифмическое преобразование в случае больших выборок из него 236
— — непрерывное 186, 187
Гаусса см. Нормальное распределение
Дирихле 192
, его вектор средних значений 193
-, — ковариационная матрица 193
, — моменты 193
, — функция плотности вероятности 192
, маргинальные распределения для него 194, 195
порядковое 196
, примеры 205, 219, 250
, распределение сумм его компонент 195
, условные случайные величины, возникающие из него 194
, зависящие от случайных параметров 166 — Коши 142
, нарушение сходимости по вероятности выборочного среднего в случае выбора из него 266
_ —, распределение выборочного среднего в случае выбора из него 142, 143
—, эффективность выборочной медианы для оценки его параметра сдвига 399
отношения дисперсий см. Распределение Спедекора
Паскаля см. Биномиальное распределение времени ожидания
Пирсона типа III см. Гамма-распределение — Пуассона 153
—, асимптотически наикратчайший доверительный интервал для его параметра 400
Распределение времени, доверительный интервал для его среднего значения 378 , достаточность оценки его параметра 365, 366
, его вэспроизводительпость 154
, — дисперсия 153
, — кумулятивная функция распределения в виде определенного интеграла 166
, — среднее значение 153
, — характеристическая функция 153
, задача с /г-выборками из него 432
, оценка для его параметра 362, 363
, последовательный критерий отношения вероятностей для его среднего значения 503 — —, преобразование квадратного корня в случае больших выборок из него 286, 374
—, распределение суммы (или среднего) выборочных значений в случае выбора из пего 219
, эффективность оценки для его параметра 362, 363
Спедекора 200
в Модели I дисперсионного анализа 415
-,его дисперсия 200
—,— моменты 200
,—среднее значение 200
,—степени свободы200
, — функции плотности вероятности 200 , соотношение между ним и бета-распре- делением 201
—, хи-квадрат распределение как его предельная форма 205
Стьюдента 198
, его асимптотическая нормальность при больших выборках 203, 286
, — дисперсия 199
, — моменты 199
, — среднее значение 199
, — степени свободы 198
, — функция плотности вероятности 198
на основе выборки из нормального распределения 224
двух выборок из нормальных распределений 257
нецентральное 259
Уишарта 550
—, его воспроизводительность 552
, — вывода 546—551
, — характеристическая функция 553
Распределения Пуассона, критерий отношения правдоподобия для проверки гипотезы равенства параметров двух из них 432
случайных объемов групп, гипергеометрический случай 167, 168
, мультиномиальный случай 167
, случай групповых частот 440
,блоков 451
Рассеивание выборки в двумерном случае 541
многомерном случае 544
внутреннее 542
в одномерном случае 539
, его моменты в случае выбора из много* мерного нормального распределения 551, 552
, — распределение в случае выбора из многомерного нормального распределения 552
—, — среднее зпачэние 542, 543 545
, — центр 539, 541, 544
многомерного распределения 545
разностей, его распределение 596
Расслоенная выборка 323
— общая, оценка па ее основе среднего значения совокупности 324
оптимальная, оценка на ее основе среднего значения совокупности 326
— — пропорциональная, оценка на ее основе среднего значения совокупности 325
Расслоенная совокупность 322
, двухступенчатый выбор из нее, когда число слоев велико 327—330
,, — объемы, средние значения и дисперсии слоев неизвестны 335
, оценка ее среднего значения на основе общей расслоенной выборки 323
, — оптимальной расслоенной выборки 325, 326
,пропорциональной'рас- слоенной выборки 325
,с помощью двухступенчатого выбора 328—330
, — с наименьшей дисперсией ее среднего значения при фиксированной стоимости на основе двухступенчатой выборки 330, 331
,рас.
слоенной выборки 326, 327
Расстояние между выборками Матусита 263
Махаланобиса 559
Регулярные параметрические функции распределения 356-358
Решающие функции см. Статистические решающие функции
Риск потребителя 405
— производства 405
Свертка функций распределения 217
Семиинварианты случайной величины 127
— выборки 213, 214
Сериальный коэффициент корреляции процесса 517
Серии 158
—, дисперсия их числа 162
—, основные функции распределения в их теории 160, 161
—, среднее значение их числа 162
— успехов 167
—, факториальные моменты их числа 162
Симметрические функции, их дисперсия 215
, — среднее значение в случае выборок из конечной совокупности 232—234
от выборки, их среднее значение 214—216
, свойство минимума дисперсии 291, 292
Слабый закон больших чисел 266
Слоевые эффекты в планах эксперимента латинского квадрата 314, 315
трехфакторных 312
Сложная статистическая гипотеза 402
, вальдовская редукция ее к простой статистической гипотезе 409, 410
непараметрическая 435, 436Случайная величина 30векторная (многомерная) 31вырожденная 47, 55, 63дискретная 46, 55, 63— —, ее абсолютные моменты 88, 91непараметрическая 435, 436Случайная величина 30векторная (многомерная) 31вырожденная 47, 55, 63дискретная 46, 55, 63— —, ее абсолютные моменты 88, 91центральные моменты 88, 91
непараметрическая 435, 436
Случайная величина 30
векторная (многомерная) 31
вырожденная 47, 55, 63
дискретная 46, 55, 63
— —, ее абсолютные моменты 88, 91
непараметрическая 435, 436
Случайная величина 30
векторная (многомерная) 31
вырожденная 47, 55, 63
дискретная 46, 55, 63
— —, ее абсолютные моменты 88, 91
— выборочное пространство 30
— дисперсия 86
— интегрирование 32—35
— коэффициент изменчивости 86
— кумулянты 127
— моменты 87, 90
— семиинварианты 127
— среднее значение 84—86
— стандартное отклонение 86
— факториальные моменты 88, 91
— центральные моменты 87, 90
измеримая функция от нее 65
многомерная (векторная) 30, 31 наблюдаемая 288, 289
непрерывная 48, 957, 64
ограниченная 31
простая 32
условная 36, 72, 73, 76, 77
Случайная точка И
Случайное множество 376
Случайные величины взаимно независимые
, измеримые функции от них 65
, ковариация между двумя из них 89
- —, коэффициент корреляции между двумя из них 90
линейно зависимые 68, 70
независимые 68, 70
независимые 54, 62, 63
— некоррелированные 90
—, распределение отношения двух из них
, — произведения двух из них 81
, — суммы двух из них 81
, свойства их средних значений 85, 86
смешанного типа 59, 64
условные 72—78
эквивалентные 68
интервалы, среднее значение ь\ объединения 261
Случайный выбор из бесконечной совокупности 208-211
, несмещенная оценка с его по
мощью определенного интеграла 336, 337
конечной совокупности 227—235
- процесс 107
ветвящийся 144, 145
конечный 80
линейный 538
марковский 110
последовательный 480
, простая очередь 206, 207
Пуассона 20о, 206
рождения 206
, случайный выбор 208
стационарный 516
в узком смысле 516
в широком смысле 517
Собственная линейная зависимость случайных величин 68, 70
Собственные векторы в дискриминантном анализе 573, 578
<двух матриц рассеивания 579—585
матрицы рассеивания 564, 565
многомерного нормального распределения 596, 597
— значения в дискриминантном анализе, их распределение 579—585
двух матриц рассеивания, их распределение 579—585
матрицы рассеивания 546
многомерного распределения вероятно
стей 596, 597
одной матрицы рассеивания, их распределение 566—571
События 12 см. также Множества
— взаимно независимые 35
—, их вероятность 20
—, — объединение (сумма) 14
—, — пересечение (произведение) 13
—, — последовательность 13
—, — совместное наступление 27
— независимые 35
— непересекающиеся 13
— попарно непересекающиеся 14
Состоятельная оценка 359
многомерная 389
Состоятельность статистического критерия 404
Спектральная масса 520
— плотность 520
линейного процесса 538
процесса с убывающей в геометрической прогрессии функции ковариаций 538
сглаженного процесса 537
— функция 520
Спектральная функция, ее оценка 523
Спектральное представление функции ковариаций 518, 520
Среднее значение выборки см. Выборочное среднее
случайной величины 84—86
— отклонение 201
выборочное 261
, эффективность его как оценки стандартного отклонения нормального распределения 399
Средний объем выборки для декартова последовательного критерия 485
общего последовательного крите
рия 481
последовательного критерия отно
шения вероятностей 493
Средняя квадратическая остаточная дисперсия 102
Стандартное отклонение случайной величины 86
Статистика 209 см. также Оценка
, ее достаточность 359
, — состоятельность 359
, — эффективность 359, 386
Статистическая гипотеза 402
общая линейная 413
простая 402
сложная 402
независимость вероятностных пространств 29
случайных величин 54, 62, 63
проблема решения, байесовский подход к ней 510-513
, минимаксное решение для нее 507— 510
Статистические решающие функции 505, 506
допустимые 506
, минимальный полный класс их 506
, полный класс их 506
Статистический критерий 403 см. также Непараметрический статистический критерий, Последовательный критерий, Последовательный критерий отношения вероятностей
, его критическая область 403
, — мощность 403
, — объем 403
—, — оперативная характеристика 403
несмещенный 403
при проверке гипотезы белого шума для нормального процесса 533, 534
равномерно наиболее мощный 404
состоятельный 404
Стационарный в узком смысле процесс 516
в широком смысле процесс 517
процесс 516
авторегрессии 536
- —, анализ периодограмм для него 529—533
, белый шум 521—522
, его сериальный коэффициент корреляции 517
, — спектральная плотность 520, 537, 538
функция 518, 520
, — функция ковариаций 517
, ковариация с запаздыванием аргумента для него 517
, линейное прогнозирование его 534—537 — — линейный 538
, метод переменных разностей для него 526, 527
, оценка его спектральной функции 523
,среднего значения 522
,функций ковариаций 522, 523
сглаженный 537
, теорема Слуцкого для него 537
Степени свободы распределения Снедекора 200
Стьюдента 198
Степени свободы распределения хи-квадрат
Столбцовые эффекты в двухфакторных планах эксперимента 308
схемах латинского квадрата 314, 31
^— — трехфакторных планах эксперимента
Стохастическая сходимость 111
Строчные эффекты в планах эксперимента двухфакторных 308
латинского квадрата 314, 315
трехфакторных 312
Стьюдентизованный размах 305
Сумма выборочных значений 209
, асимптотическое разложение ее распределения при больших выборках 273—277
, ее асимптотическая нормальность при больших выборках 267
» — распределение в общем случае
218
,случае выбора из биномиального распределения 219
,гамма-распределе
ния 220
,нормального распределения 220
,равномерного распределения 217
- —, — — — —распределения Пуассона 219
, — характеристическая функция 218
квадратов, ее компоненты в случае матричного выбора 238, 243, 245, 246
, — распределение в случае выборок из нормального распределения 221
Суммы выборочных значений, вектор их 210
, распределение вектора их в случае выбора из многомерного нормального распределения 220
f— мультиномиаль
ного распределения 219
Сходимость вектора выборочных средних 286
в среднем 112
выборочного среднего по вероятности 265
, ее множество 118
оценки максимального правдоподобия 367— 369, 388
по вероятности 111, 115, 116
по распределению 111, 115
почти наверное 118
с вероятностью единица 118
стохастическая 111
функций от компонент случайных процессов 113- 117
Таблица сопряженности признаков с двумя входами, критерий отношения правдоподобия при проверке гипотезы назависимо- сти в ней 430, 431
тремя входами, критерий отношения правдоподобия при проверке гипотезы независимости в ней 431
, хи-квадрат критерий при проверке гипотезы независимости 431
Теорема Блекуэла — Рао об улучшении оценок при наличии достаточных статистик 366
Вальда—Блекуэла относительно среднего суммы случайных величин в последовательном процессе 481
, ее обобщение 500, 501
Гаусса—Маркова и задачи о взвешивании
об оценках для коэффициентов регрессии 296
Кочрэна для выборки из нормального распределения 225—22/
Теорема Купмена—Питмена о распределениях, допускающих достаточные статистики 401 — Леви для векторной случайной величины 132 одномерной случайной величины 128 — Леви- Крамера 134
Маркова об оценках для коэффициентов регрессии 296
Муавра- Лапласа о сходимости биномиального распределения к нормальному 267, 268 , ее многомерный вариант 269, 270
Неймана—Пирсона о наиболее мощном критерии 406
— покрытия 24
Радона—Никодима 36
Рао—Кендалла о последовательностях моментов 140, 141
Слуцкого в теории стационарных процессов 537
Хинчина о сходимости по вероятности выборочного среднего 265
Эджворта об аппроксимации распределения суммы (или среднего) выборочных значении 273—277
Теория нормальной регрессии 299—301 в планах эксперимента 307—315 —, доверительные интервалы для коэф
фициентов регрессии в ней 300
-, — области для коэффициентов регрессии в ней 301, 332
, критерий для проверки гипотезы параллельности линий регрессий в ней 433
, — отношения правдоподобия в ней 413-416
, оценки коэффициентов регрессии в ней 258, 299, 300
, — максимального правдоподобия для
параметров в ней 400
Т--статистика Хотеллинга нецентральная 599 , ее распределение 555—559
Толерантные интервалы 352
нормального распредетения 352
— — независимые от распределения 343, 351 — области 344, 352
пределы для конечных совокупностей 344
нормального распределения 352
независимые от распределения 343 Точечная оценка 353, 359
Тригонометрические схемы, критерий Фишера для проверки значимости периодов в них 529-533
—, оценки коэффициентов в них 528, 529
Уровень значимости 403
Усиленный закон больших чисел 120
Условная вероятность 35
кумулятивная функция распределения 72, 73, 77
— случайная величина 72
дискретная 73, 77, 80
—, ее дисперсия 95
, — среднее значение 95
, _ функция вероятности 73, 77, 80 — $—,плотности вероятности 75, 78, — непрерывная 75, 78, 80
Фидуциальная вероятность 378, 379
Формула Стирлинга для факториалов 190—192 — удвоения Лежандра для гамма-функции 190 Функция вероятности векторной случайной величины 56, 63
маргинальная 56, 63
случайной величины 47
условной случайной величины73, 77, 80
ковариаций процесса 517
Функция ковариаций процесса, ее спектральное представление 518
—, оценка для нее 522, 523
, примеры 537
средней квадратической 98, 99
— множества 22
- — вполне аддитивная 22
— плотности вероятности векторной случайной величины 57, 58, 64*
маргинальная 58, 64
случайной величины 49
условной случайной величины75, 78, 80
— потерь 506
регрессии 95, 97, 177, 184
средней квадратической 98, 99
риска 503
Характеристическая функция биномиальпег распределения 150
векторной случайной величины 131
гамма-распределения 185, 186
двумерного нормального распределения 175
линейной функции случайных величии 133
многомерного нормального распределения 182
множества 403
мультиномиального распределения 152
независимых случайных величин 132
нормального распределения 172
случайной величины 125
Характеристические векторы матрицы рассеи
вания 563—566
— числа матрицы рассеивания 564
Хи-квадрат критерий 430—432
распределение 197
, его приближенная нормальность для большого числа степеней свободы 203
нецентральное 258
—, соотношение между ним и гамма-распределением 197
Центральная предельная теорема 268, 269
Центр рассеивания выборки 539
Цепи Маркова НО
Цилиндрическое множество 27
борелевское 108
Частный коэффициент корреляции 105, 106
Частоты 438
, их распределение 438
— блоков 449
, их распределение 450
Эквивалентные случайные величины 68
Экспоненциальное распределение, вариационный ряд выборки из него 260
—, достаточность среднего как оценки для его параметра 398
, оценка максимального правдоподобия для его параметра 398
, проверка простой гипотезы для него 429
, распределение выборочной медианы при больших выборках из пего 287
Эксцесс распределения 276
Эмпирическая кумулятивная функция распределения 345
Эффективная оценка 359, 360, 386
Эффективность оценки 272, 361, 387
Якобиан преобразования 69, 71
к» = а31 2 + а32 2 х<хч + а33 2
Беря средние значения этих трех выражений и приравнивая их первым трем семиинвариантам распределения совокупности, а именно:
^l=^=^
к»=р:—з№+2 (p-'i )з>
С.УИЛКС
атематическая
татистика
31^,
С. УИЛКС
МАТЕМАТИЧЕСКАЯ
СТАТИСТИКА
ПЕРЕВОД С АНГЛИЙСКОГО
А. М. КАГАНА, Л. А. ХАЛФИНА, О. В. ШАЛАЕВСКОГО
ПОД РЕДАКЦИЕЙ Ю. В. ЛИННИКА
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА 19 6 7
517.8 У 36
УДК 519.24
С. Уилкс
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
М., 1967 г., 632 стр. с илл.
Редактор Н. М. Митрофанова.
Техн, редактор С. Я. Шкляр.
Корректоры М. Л. Липелис и В. П. Сорокина.
Сдано в набор 24/11 1967 г. Подписано к печати 27/VII 1967 г. Бумага 60 X 901/1в. Физ. печ. л. 39,5. У Слови, печ. л. 39,5. Уч.-изд. л. 42,74. Тираж 19000 экз. Цена книги 3 р. 13 к. Заказ № 871.
Издательство «Наука».
Главная редакция физико-математической литературы.
Москва, В-71, Ленинский проспект, 15.
2-2-3108-662-2-3108-66Ордена Трудового Красного Знамени Ленинградская типография № 1 «Печатный Двор» имени А. М. Горького Главполиграфпрома Комитета по печати при Совете Министров СССР, г. Ленинград, Гатчинская ул„ 26.
2-2-3
108-66
2-2-3
108-66
ОГЛАВЛЕНИЕ
Предисловие 8
Глава 1. Предварительные замечания 11
Выборочные пространства и события 11
Определения и правила для составления и разложения событий 13
Поля множеств 18
Вероятностная мера 20
Расширение вероятностной меры 25
Статистическая независимость 27
Случайные величины 30
Интегрирование случайных величин 32
Условная вероятность 35
Условные случайные величины 36
Задачи 37
Глава 2. Функции распределения 42
Предварительные замечания 42
Функции распределения одномерных случайныхвеличин..43
Общие типы одномерных случайных величин 46
Функции распределения двумерных случайныхвеличин...51
Общие типы двумерных случайных величин 55
Функции распределения й-мерных случайных величин....60
Общие типы ^-мерных случайных величин 63
Функции случайных величин 65
Условные функции распределения 71
Конечные случайные процессы 80
Задачи 80
Глава 3. Средние значения и моменты случайных величин. . . .84
Введение 84
Среднее значение случайной величины 84
Моменты одномерных случайных величин 86
Моменты двумерных случайных величин 89
Моменты й-мерных случайных величин 91
Средние, дисперсии и ковариации линейных функций случайных величин 94
Средние значения условных случайных величин 95
Линейная средняя квадратическая регрессия 98
Задачи 103
Глава 4. Последовательности случайных величин 107
107107111117119120122107107111117119120122Определение случайного процесса
107
107
111
117
119
120
122
107
107
111
117
119
120
122
Вероятностная мера для случайного процесса
Сходимость по вероятности
Сходимость почти наверное
Неравенство Колмогорова
Усиленный закон больших чисел
Задачи
Глава 5. Характеристические и производящие функции 125
Случайодномерной величины 125
Случай/^-мерной величины 131
Характеристические функции независимых случайных величин 132
Характеристические функции последовательности случайных величин 134
Определениефункций распределения моментами 137
Задачи 142
Глава 6. Некоторые специальные дискретные распределения. . 146
Гипергеометрическое распределение 146
Биномиальное распределение 149
Мультиномиальное распределение 151
Распределение Пуассона 153
Дискретные распределения времениожидания 154
Распределения, встречающиеся в теориисерий 158
Задачи 164
Глава 7. Некоторые специальные непрерывные распределения..169
Равномерное распределение 169
Нормальное распределение 170
Двумерное нормальное распределение 173
Многомерное нормальное распределение 177
Гамма-распределение^ 184
Бета-распределение 187
Распределение Дирихле 192
Распределения, встречающиеся в дисперсионноманализе..197
Задачи 201
Глава 8. Теория выборочного метода 208
Определение случайной выборки 208
Средние значения и дисперсии выборочных среднего, дисперсии и других симметрических функций 211
Теория выборочного метода для выборочных сумм и средних значений 216
Теория выборочного метода для некоторых квадратичных форм в выборках из нормальногораспределения 221
Выборочный метод для конечнойсовокупности 227
Матричный выборочный метод 235
Теория выборочного метода для порядковых статистик. . . 246
Порядковые статистики в выборках из конечных совокупностей 255
Задачи 256
Глава 9. Асимптотическая теория выборочного метода для больших выборок 265
Сходимость по вероятности выборочного среднего значения 265
Предельное распределение выборочных сумм и средних значений 267
Асимптотическое распределение функций от выборочных средних значений 270
Асимптотическое разложение распределения выборочной суммы 273
Предельные распределения линейных функций в случае больших выборок из больших конечных совокупностей. . . 277
Асимптотические распределения, связанные с порядковыми статистиками 279
Задачи 285
Глава 10. Линейное статистическоеоценивание . 288
Вводные замечания 288
Оценки с наименьшей дисперсией для среднего значения и дисперсии совокупности 290
Оценивание параметроввлинейномрегрессионном анализе 294
Оценивание параметров в теории нормальной регрессии посредством интервалов и эллипсоидов 300
Одновременное оценивание посредством доверительных интервалов: множественное сравнение 30.1
Линейный регрессионный анализ в предположении нормальности и планирование эксперимента 307
Оценка компонент дисперсии по наблюдениям над линейными комбинациями 316
Оценки компонент дисперсии в планах эксперимента 318
Линейные оценки для средних значений расслоенных совокупностей 322
Линейная оценка среднего значения расслоенной совокупности при двухступенчатом выборе 327
Задачи 331
Глава 11. Непараметрическое статистическоеоценивание 338
Вводные замечания 338
Доверительные интервалы для квантилей 338
Доверительные интервалы для интервалов квантилей . . . . 341
Доверительные интервалы квантилей конечных совокупностей , 341
Толерантные пределы 342
Односторонние границы для непрерывной функции распределения 345
Доверительные полосы для непрерывной функции распределения 348
Задачи 351
Глава 12. Параметрическое статистическоеоценивание 353
Дифференцирование параметрических функций распределения 353
Точечное оценивание 359
Точечное оценивание прибольшихвыборках 366
Оценивание с помощью интервалов 374
Интервальное оценивание при помощибольшихвыборок..380
Многомерное точечное оценивание 384
Многомерное точечное оценивание побольшимвыборкам.387
Многомерные доверительные области 389
Асимптотически наименьшие доверительные области при больших выборках 392
Задачи 397
Глава 13. Проверка параметрических статистических гипотез. . 402
Предварительные замечания и определения 402
Критерий простой гипотезы 406
Критерий отношения правдоподобия 410
Асимптотическое распределение отношения правдоподобия в больших выборках 416
Состоятельность критерия отношенияправдоподобия. . . . 419
Асимптотическая мощность критерия отношения правдоподобия 421
Критерий отношения правдоподобия простой гипотезы. . . . 425
Критерий отношения правдоподобия сложной гипотезы . . . 426
Задачи' 429
Глава 14. Проверка непараметрических статистических гипотез 435
Критерий квантилей 435
Непараметрические простые статистические гипотезы. . . . 437
Задача о двух выборках из непрерывных совокупностей. . 448
Метод рандомизации 468
Задачи 474
Глава 15. Последовательный статистический анализ 477
15.1. Предварительные замечания' 477
Основная схема последовательного критерия 479
Декартовы последовательные критерии 484
Последовательный критерий отношения вероятностей. . . . 486
Применение последовательного критерия отношения вероятностей к биномиальному распределению 497
Последовательное оценивание 499
Задачи 500
Глава 16. Статистические решающие функции 505
Общие замечания 505
Определения и терминология 505
Минимаксный подход к проблеме решения 507
Байесовский подход к статистической проблеме решения. . 510
Замечания о возможных обобщениях 513
Задачи 513
Глава 17. Временные ряды 515
Вводные замечания 515
Стационарныевременныеряды 515
Спектральнаяфункциястационарного процесса 517
Оценка среднего и функции ковариаций стационарного процесса 522
Оценка спектральной функции 523
Статистические критерии для процессов с конечным числом параметров 526
Проверка отклонения нормального процессаотбелого шума 533
Линейное прогнозирование стационарныхпроцессов 534
Задачи 537
Глава 18. Многомерный статистический анализ 539
Многомерное статистическое рассеивание 539
Распределение Уишарта 546
Независимость вектора средних и матрицы внутреннего рассеивания в выборках из й-мерных нормальных совокупностей 553
Хотеллинговское обобщенное распределение Стьюдента . . 555
Критерий для многомерной Модели I дисперсионного анализа 559
Главные компоненты 563
Дискриминантный/анализ 571
Распределение собственных значений в дискриминантном анализе 579
Каноническая корреляция 585
Задачи 590
Литература 601
Предметный- указатель 620
ПРЕДИСЛОВИЕ
Цель этой книги — познакомить с математической статистикой читателя, обладающего хорошей математической подготовкой. Наличие предварительных знаний у читателя в области теории вероятностей или математической статистики, вообще говоря, не предполагается, хотя знакомство с хорошими университетскими курсами в этих областях математики было бы полезным. Книга подготовлена в основном на материале, который я читал, все время его обновляя и пересматривая, аспирантам Принстонского университета в годы второй мировой войны. Первоначальный вариант, содержавший часть материала книги, был в 1943 г. издан в литографированном виде издательством Принстонского университета под названием «Математическая статистика».
За последнюю четверть века математическая статистика и ее приложения развивались таким стремительным темпом, что поток новых материалов вряд ли может быть целиком охвачен кем-либо в одиночку. Хотя наибольшее число результатов научных исследований в этой области публиковалось в специальных журналах (их около полдюжины), довольно значительная часть интересных статей публиковалась и продолжает публиковаться в других различных научных журналах.
Я не пытался дать исчерпывающего и всестороннего изложения всех основных результатов, которые публиковались в такого, рода изданиях. Напротив, я отобрал фундаментальные результаты математической статистики, конечно, в связи с моими склонностями и предубеждениями, стараясь дать при этом общее и систематическое изложение, на базе современной теории вероятностей, классических, а также наиболее интересных новых результатов математической статистики. Поэтому, неизбежно, что изложение некоторых разделов математической статистики покажется энтузиастам и специалистам в этих областях недостаточно глубоким, а некоторые разделы математической статистики — незаслуженно обойденными вообще. Однако читатель, который заинтересуется вопросами, слабо освещенными в тексте книги или даже лишь упомянутыми, сможет найти ссылки для дальнейшего изучения этих вопросов. Я действительно надеюсь, что математически квалифицированный читатель, не обладавший предварительными знаниями в области математической статистики, прочитав эту книгу и заинтересовавшись дальнейшим систематическим изучением некоторых вопросов, сможет это сделать, руководствуясь, во всяком случае сначала, литературой, ссылки на которую помещены
как в тексте книги, так и отдельно в библиографическом указателе в конце книги.
В книге имеется более четырехсот задач, размещенных по главам. Они дают возможность читателю лучше понять сущность проблем математической статистики. Многие из этих задач служат для того, чтобы в краткой форме осветить дополнительные разделы математической статистики, которые не могли быть подробно изложены в основном тексте книги из-за нехватки места.
Некоторые читатели будут удивлены, почему в книге не очень тесно переплетаются между собой изложения собственно математических результатов и методики статистики, которая основана на этих результатах. Обсуждение этой взаимосвязи содержится в книге умышленно в минимальном размере. Рассмотрение методики статистики и ее приложений, конечно, не менее важно, чем изложение лежащих в их основе математических результатов. Однако опыт показывает, что эти оба аспекта статистики, а именно математическая теория и методика статистики, наиболее эффективно сочетаются в оригинальных статьях, монографиях и руководствах, посвященных специальным областям. Я убежден, что в книгах по математической статистике, таких как эта, в основном содержащих общие результаты, весьма неразумно уделять одинаковое внимание обоим указанным аспектам математической статистики. Гораздо более разумный путь — тщательное изложение основ и математических теорий, на которых базируется широкий круг проблем статистики, с должным обсуждением и примерами, которые разъясняют основные концепции, как это я пытался сделать в данной книге. Я надеюсь что этот подход приведет к более полному пониманию и методики статистики, хотя я не мог ей уделить большое внимание.
Современная математическая статистика сильно связана с теорией вероятностей. Поэтому была сделана попытка дать цельное изложение оснований теории вероятностей без действительного их построения. Последнее было бы задачей, выходящей за рамки этой книги, тем более, что существуют блестящие руководства по многим вопросам теории вероятностей, затрагиваемых в книге, по которым читатель сможет углубить изучение этих разделов теории вероятностей.
В книге такого типа, как эта, в которой излагается широкий круг вопросов, введение общих обозначений и терминологии — не легкая задача. Некоторые обозначения и термины покажутся незнакомыми Для специалистов по математической статистике, но это искупается получаемой при этом самосогласованностью, а также необходимостью введения новых терминов в связи с теми разделами математической статистики, которые раньше не излагались систематически в литературе.
Первые наброски большинства глав этой книги, включающих исследование порядковых статистик и непараметрических задач, были написаны, когда я был фульбрайтовским стипендиатом в Кембридже весной и летом 1951 г. В это время я запланировал написать
монографию по указанным вопросам. За полученную поддержку моих исследований и попыток написания монографии я весьма благодарен. В дальнейшем, однако, было решено включить эти материалы в настоящую, более обширную книгу по математической статистике. Этот гораздо более честолюбивый проект не мог бы быть предпринят без той поддержки, которую предоставило Управление морских исследований. Я пользуюсь возможностью выразить мою глубокую благодарность за эту поддержку.
Я извлек большую пользу из ценных советов и критики моих коллег и аспирантов в Принстоне при подготовке этой книги. Широкий круг замечаний и советов, которые были сделаны Д. В. Тьюки, и обсуждения с Ф. Д. Анскомбом — особенно полезны. Критика и предложения В. С. Вардарьяна, касающиеся основных концепций теории вероятностей, были также очень полезны. Автор благодарит Д. М. Брауна, Д. А. Фридмана, И. Гутмана, А. Т. Джеймса и Ф. М. Сэнда за прочтение большей части рукописи и за предложенные улучшения. Я благодарен Д. Р. Бриллинджеру, который прорешал более 350 задач, помещенных в книге. Я благодарен также Д. А. Хартигану, который проверил доказательства и устранил ошибки в вычислениях, которые иначе остались бы в окончательном тексте книги. Советы всех этих и других моих друзей и коллег были очень полезны, хотя часть из них не была использована. Я один ответствен за ошибки и неаккуратности в изложении, которые остались в книге, и буду очень признателен читателям, которые привлекут мое внимание к замеченным ими недостаткам. Наконец, я выражаю свою благодарность Ребеке Веркман и Эмилии Соренсон за труд по напечатанию и оформлению рукописи.
Самуэль С. УилксСамуэль С. УилксНоябрь 1961 г,
Самуэль С. Уилкс
Самуэль С. Уилкс