ГЛАВА ПЕРВАЯ

Введение в теорию вероятностей

Теория вероятностей — это один из разделов чистой математики. Строится эта теория дедуктивно, исходя из некоторых аксиом и определений. Наиболее строгий подход связан с использованием теории множеств, теории меры и интеграла Лебега. Обычно начинают с построения «элементарной теории вероятностей», в которой рассматриваются случайные события с конечным числом исходов. Например, если мы бросаем игральную кость, то имеется всего шесть возможных исходов, а именно: 1, 2, 3, 4, 5 или 6. Затем теория распространяется на случай, когда число возможных исходов бесконечно. Например, если величина х обозначает человеческий рост, то она может принимать бесконечное число различных значений. С подходом, основанным на теории меры, читатель может ознакомиться по книге Колмогорова [23].

Применение теорем к решению различных задач теории вероятностей связано с использованием сочетаний, перестановок, операций суммирования и интегрирования. Вычисления обычно не очень сложны. Некоторые применяющиеся в теории вероятностей методы, такие, например, как преобразование Лапласа, используются и в других разделах математики.

В противоположность теории вероятностей статистика — это раздел прикладной математики. Для нее характерно главным образом индуктивное построение, поскольку в этом случае мы идем в обратном направлении — от наблюдения события к гипотезе. При этом аргументация основывается на выводах теории вероятностей, всестороннее знание которой, таким образом, оказывается совершенно необходимым.

Пример 1. Типичная задача теории вероятностей. Когда подбрасывается монета, то имеется известная вероятность р, что выпадет «орел», и вероятность (1 — р), что выпадет «решка». Какова вероятность того, что в результате N бросаний «орел» выпадет п раз?

Используя биномиальное распределение, о котором будет идти речь позднее, мы получим следующий результат:

ST (п) = С^р™ (1 — p)w~n.

Пример 2. Типичная задача статистики. Монета подбрасывается N раз, при этом «орел» выпадает п раз. Что можно сказать о неизвестном параметре р?

Очевидно, нельзя надеяться получить на этот вопрос столь же определенный ответ, что и в предыдущем случае. С самого начала мы знаем, что 0 <^ р <^ 1. Кроме того, р ^ 0, если п т^ 0, и р Ф 1, если п Ф N.

Рассмотрим понятие наиболее правдоподобного значения параметра. В данном случае мы могли бы сказать, что наиболее правдоподобное значение р равно niN. Затем следовало бы рассмотреть и другие почти столь же правдоподобные значения р. В результате получим малый интервал

А<-^-<№, (1)

который, как мы надеемся, будет содержать истинное значение р.

Пусть 6р = р2 — pv Чем больше бр, тем с большей достоверностью р попадает в интервал (1). С другой стороны, более широкий интервал дает нам меньшую информацию относительно самой величины р. Таким образом, в статистическом анализе всегда присутствует принципиальная неопределенность. Мы можем во всяком случае рассчитывать, что оценим эту неопределенность.

Определение вероятности

К сожалению, между специалистами по теории вероятностей и статистиками нет согласия относительно того, как наилучшим образом определить понятие вероятности. Попытки ввести определение, основанное на строгой логи-

ке, просто показали, что имеется несколько способов формулировки этого фундаментального понятия. В таком случае выбор наиболее приемлемого из них оказывается в значительной мере делом вкуса.

Комбинаторное определение ее 1 киее ее ■■■«£■■ ее ■■*■■■■■■ iiiitniaigei.■

Если событие может приводить к jV различным равновозможным исходам и если в п случаях проявляется признак А, то вероятность А есть n!N.

Такое определение можно подвергнуть критике на том основании, что выражение «равновозможно» на самом деле означает «равновероятно», и в рассуждении, таким образом, содержится порочный круг.

е Пример. Пусть совершенно случайным образом отобраны 23 человека. Какова вероятность того, что по крайней мере у двоих окажется один и тот же день рождения?■

Полное число возможных комбинаций из 23 дней рождения (в году 365 дней) равно

.N = 36523.-

Число комбинаций, в которых имеется 23 различных дня рождения, равно

7V —п = 365 х 364 х ... X 343.

Вероятность того, что все дни рождения различны, равна

N-n _ 365Х-364Х...Х343W ~3652з■1

Вероятность того, что не все дни рождения различны, равна'■

N 1 N 1 V 365 / \365 )

\ ODD /

Таким образом, для группы из 23 или более человек вероятность того, что по крайней мере у двоих окажется общий день рождения, превышает 0,5 (см. [10], § 11.3). Для группы из 57 человек эта вероятность равна 0,99,

Частотное определение

Мы наблюдаем некое событие Е, повторяющееся большое число (7V) раз. При этом в и случаях событие обладает признаком А. Если исходы событий в этой последовательности взаимно независимы, то вероятность признака А определяется как

^ (А) = lira -— .

jV->oo

В примере 1 (стр. 14) мы могли бы предположить, что с монетой был предварительно произведен гипотетический эксперимент. Бросая монету N раз и наблюдая п раз выпадение «орла», мы полагаем [17]

<^ («орел») = р= Ит .•

N-voo N

Современное определение, основанное на теории меры

Введем пространство Q, элементы которого е1} е2, . . . назовем элементарными событиями. Определим в нем неотрицательную меру, называемую вероятностью, со свойствами: ,

^ (Q) = 1, т. е. вероятность того, что «наблюдаемое событие принадлежит к числу тех, которые могут наблюдаться», равна единице.

Если множества элементарных событий А и В не имеют общих элементов, то ^(ЛЦ#) = ^ (Л) + ^(S), т. е. вероятность того, что событие принадлежит либо множеству А, либо множеству В, равна сумме вероятностей обнаружить событие отдельно в множестве А и множестве В.

Рассмотрим теперь следствие, которое служит примером использования этих аксиом. Пусть Ф — пустое множество событий, иначе говоря, Ф означает отсутствие событий. Тогда (Q U Ф) = ^» и Q не имеет общих элементов с Ф.

Следовательно,

^ (й и ф) = ^ (И) 4- & (ф) = ^ (Й)

и'-

^ (Ф) = 0.'

Иными словами, если известно, что одно из событий должно обязательно происходить, то вероятность отсутствия событий равна нулю. (Подробнее об этом см. у Колмогорова [23].)

«Субъективное» определение

жиежжжжжП-жжижЖжежжжеййгтжжжежжежжжеежи

Вероятность того, что событие произошло или произойдет, Служит иногда мерой нашей уверенности в происходящем.

Пример. У человека одно из трех заболеваний: Dv D2 или D3, но неизвестно какое. Субъективный человек может говорить о «вероятности» заболевания В2. Для объективного человека такое утверждение бессмысленно, поскольку он должен был бы сказать:

■^ (Z>2) = 0 или 1.

Основные законы теории вероятностей

Пусть С = (Л (JB) = Л + В есть множество элементарных событий, которые встречаются либо в Л, либо в В, либо и в том и в другом. Пусть далее D = (Л f]B) == АВ есть множество событий, которые встречаются одновременно как в Л, так и в В.

Сложение вероятностей

жмежеввеемжежвяемевеежеигшжжжгж

^(Ли^)=^(Л) + ^(5)-^(ЛП5), или

^ (Л + В) = У5 (Л) 4- ^ (В) — 5s (ЛВ).

Итак, чтобы найти вероятность того, что событие принадлежит множеству Л или множеству В, мы прежде всего должны сложить вероятности А и В ([27], § 2.8). Однако некоторые события, принадлежащие одновременно как А, так и В, были бы тогда сосчитаны дважды; поэтому необходимо из суммы вероятностей вычесть «^ (ЛВ).

2—254‘

Пример. Вытащим из колоды, содержащей 52 карты, одну. Пусть А означает «король», В означает «трефовая масть». Тогда вероятность того, что данная карта окажется либо королем, либо трефовой мастью, равна .-9s (Л 4- В) = SP («король») 4- ^ («трефовая масть») —

— ^ («король трефовой масти») =

_ 4 , 131 _ 16

‘ 52 + 5252 ’ 52 ’ ~

Следствие 1. Для т множеств Еъ Е2,...,Ет имеем

S1 (^i + ^2 + - • • + ^т) — 2(^D — 2 (BtEj) 4"

-i ■г<»

+ 2 ^EiEjEh)-...M-ininEiE2...Em). (2) i<j<h

Доказательство может быть проведено методом индукции по т.

Следствие 2. Если события взаимно исключают ДРУГ друга, т. е. если (Ei П Ej) = Е.Е, = Ф, то

042^) = 2^)-(3)

В частности, 9s (^ + Е^ = ST (Е^ 4™ ^ №), если ВД = Ф.

Пример. Игра в «снэп». Два игрока имеют одинаковые колоды, содержащие по m карт. Они тасуют карты и затем одновременно открывают сверху по одной. Если карты совпадают, игроки выкрикивают «снэп». Какова вероятность, что совпадений не будет?

Пусть Ei означает совпадение карт i-й пары. Тогда вероятность отсутствия совпадений в игре имеет следующий вид:

9s («нет») = 1 — ^ (St 4- Е2 + ... 4- Ет).

В одной из колод карты оказываются расположенными в некоторой последовательности от первой до т-в. Чтобы произошло событие Et, i-я карта первой колоды должна находиться и во второй колоде на i-м месте. Число способов расположения остальных (пг — 1) карт равно (т — 1)!

Всего же существует т\ способов расположения карт в колоде, так что

^ (Sz) =^ (Sz) =(m —1)11mlт(m —1)11mlт

^ (Sz) =

^ (Sz) =

(m —1)11

mlт

(m —1)11

mlт

Подобным образом для (S; П Sj) можно найти /г —(т— 2)!, a vV = m!, так что

^ (EtEj) == -1-- .

.\ ьпг^т—1)

Далее,

Sf^EjEt)--пЦтД(т_2) и, наконец,

#(Е,Ег...Е™) = 4г-

Следовательно,

^(3 £‘) = 2^(Е')-2^(г‘®>)+ .

г=1

+ 2^(5^л)-...

...+(-1)^(£^2...£т)=

= m^ (Si) - w (EtEj) + W Wk) - ...

2!3!4!С т| •

Значит,

^(«нет») = ^-^ + ^-.+(-1)*’^

— = 0,3679.

Ряд сходится к 1/е очень быстро. Так, уже при т = 7 <^(«нет») = 0,3679. Другими словами, значение ^(«нет») практически не зависит от объема колоды карт.

Условная вероятность

До сих пор можно было полагать, что теория вероятностей представляет собой не более чем специальный случай абстрактной теории меры. Но мы введем сейчас еще одно определение, которое приведет к отличию вероятности

от всех прочих мер.

Предположим, что событие Ег может осуществляться «! способами, событие Е2 — п2 способами, а событие (Е^Е^ — гц^ способами (причем полное число возможных исходов равно N\

Тогда

S4E0 = ^,«ЦЕ^-^,

(4)

Из «j случаев, в которых происходило событие Ех, в относительной доле случаев, равной п^пх^ происходит также и событие Е2.

Фиг. 1.Фиг. 1.Таким образом, Нх^Пх есть вероятность Е2 при условии, что произошло событие Ev Эта вероятность записывается в виде ST (Е^/Ех) и называется условной вероятностью события Е2 при условии, что произошло событие Ех-

Фиг. 1.

Фиг. 1.

Умножение вероятностей

Из формулы (4) получаем ^ЕхЕа^ЭЦЕхУЗЦЕ^ЕхУ

(5) На языке теории множеств имеем (фиг. 1)

ЕхЕ2 £ Е^ следовательно,

ЗЧЕхЕа^ЗЧЕхУ

Величина, на которую нужно умножить меру множества Ех, чтобы получить меру заштрихованного множества ^ЛЕг, есть новая мера, называемая ST ф21ЕхУ

Соотношение (5) можно переписать в виде

дНЕг1Е0=^&1,-(6)

полезном для практического вычисления условных вероятностей.

Независимость событий

Если тот факт, что событие Ег произошло, не влияет на вероятность события Е2, то говорят, что событие Ез не зависит от события Ev Тогда ^ (Е^Е^ = S5 (Sa) и, в частности,

ЗЧЕ^-дЦЕ^Ез).(7)

Следствие. В случае трех событий закон умножения вероятностей имеет вид

5s (Е ^E^E.^ = SF1 (Е^ SF1 (E^Ei) ^ ^Ез/Е^Ез).

Три события взаимно независимы в том и только в том случае, если

^ (StS2S3) = ^ (ЕО & (Ез) ^ (Е3).

Пример 1. Независимые события. Из колоды в 52 карты выбирается одна. Пусть Et означает «туз», а Ег — «пиковая масть». Тогда

Так как ^ (EtE2) = ^ («туз пик») = 1/52, то ^(E^^tE^tEa),

и, следовательно, Е^ и Е2 — независимые события.

Пример 2. Зависимые события. В колоду карт добавлен джокер (карта, не имеющая масти). Тогда

^(ЯО-А, #(£2) = ^., а g-CEtEa-^.

В то же время ^ (Si) ^ (S2) — 1/53 — 1/532, и, следовательно, события St и Ез не независимы. Этот результат

объясняется следующим рассуждением. Если мы знаелм, что данная карта — туз, то она не может быть джокеромг, следовательно, мы уже получили некоторую информацитю для определения масти.

■ § 3. Дискретные распределения

Событие Е с несколькими различными исходами назьд- вается случайным. Если Е — переменная числовая величт- на, то такая величина называется случайной.

Если существует лишь конечное число v исходов (еД события Е, то каждому е,- приписывается вероятностгь Р • Т Р

Число v может быть также бесконечным счетным, т. fe. v = х0. Множество значений вероятностей Pt мы назьы- ваем дискретным распределением вероятности х).

Биномиальное распределение (v = 2)

Пример. Пусть событие Е есть результат бросанитя монеты. Имеется два возможных исхода Е; et = «орел>», с2 = «решка». Если мы обозначим оба эти исхода соответствующими числами, например «орел» — 1, «решка» —(О, то тем самым каждому бросанию монеты будет сопоставл(е- на случайная величина. При описании таких событий обычно принята следующая терминология: «благоприятный исход» и «неблагоприятный исход». Назовем выпадание «орла» благоприятным исходом, а выпадение «репп- ки» — неблагоприятным исходом. Найдем вероятность г благоприятных исходов при N бросаниях; в этом случаае г также будет случайной величиной. Вероятность тогсо, что при первых г бросаниях выпадет «орел», а при посл(е- дующих N — г бросаниях—«решка», равна

рД1-р^"Т.

Такой порядок выпадения «орла» является лишь одниш из См возможных способов реализации г благоприятным

*) См. также [27], гл. 3.

исходов при N испытаниях. Следовательно, полная вероятность равна

^(г^С^Д!-^-*-.(8)

Множество вероятностей {Э1 (г)} называется биномиальным распределением. Заметим, что

N

3 ^(r) = [^ + (l-#=t г=0

как и для любого дискретного распределения. Итак, случайная величина г подчиняется распределению, которое относится к типу (8), и полностью характеризуется двумя параметрами N и р..

Предельные формы биномиального распределения lCIIIEBaiiaEfiEIEEIEIE;C<seEEEIHIIItE~l£Z£CECCCCCCEaaEIEE35ECaai6*CE«£ieKCa

. Г. Если р фиксировано, то распределение (8) стремится . к нормальному распределению при стремлении N к бесконечности. Это утверждает центральная предельная теорема, которая будет доказана позже..

Если Np фиксировано, то распределение (8) стремится к распределению Пуассона, когда N стремится к бесконечности. Это утверждение будет доказано в конце данного параграфа.

Фиг. 2 иллюстрирует различные степени приближения биномиального распределения к его предельным формам. Распределение с параметрами TV = 30, р = 0,05 весьма близко к распределению Пуассона со средним значением 1,5. Распределение с параметрами N = 30, р = 0,3 напоминает по своему характеру нормальное распределение со средним значением 9,0.

Распределение Пуассона (v = к0)

Допустим, нас интересует вероятность того, что за данный промежуток времени произойдет г событий. При этом выполняются следующие предположения:

Произойдет или не произойдет событие в момент t, не зависит от событий, предшествующих моменту I.

Вероятность отдельного события за малый интервал времени bt возрастает пропорционально длительности

0,4—0,3-0,4—0,3-0,2 —0,10 -0,2 —0,10 -n=5; р=о,з;Np = l,5n=5; р=о,з;Np = l,51.1 L^.2 4 61.1 L^.2 4 60,3-0,3-

0,4—

0,3-

0,4—

0,3-

0,2 —

0,1

0 -

0,2 —

0,1

0 -

n=5; р=о,з;Np = l,5

n=5; р=о,з;Np = l,5

1.1 L^.

2 4 6

1.1 L^.

2 4 6

0,3-

0,3-

Ф и г. 2.

этого интервала. Иными словами, вероятность отдельного события за промежуток времени (t, t + 6^) равна pt -6^ + + о(б^), где о(б£) — величина более высокого порядка малости по сравнению с 6^.

Вероятность двух или большего числа событий за тот же промежуток времени (f, t + б£) равна нулю: О о(б().

Вывод распределения Пуассона. Вычислим в этих предположениях вероятность того, что в интервале (0, I)

произойдет г событий. Для этого сравним величины Р (О и Р (t + 60 и затем составим дифференциальное уравнение для Р (t).

За промежуток времени (0, t + 60 не произойдет ни одного события, если не будет событий в интервалах (О, f) и (/, t + 60, т. е.'

Ро (t + 60 = Ро (О (1 - цб^ + о (60).

Следовательно, ^(t + SQ — Po (<)р х

Устремив St к нулю, получим дифференциальное уравнение

- viP, №.

Решение этого уравнения имеет вид

1пРо(О~ —|JLt-|-C, ИЛИ

PQ (t) = Ае-^.

При £ — 0 имеем Ро(О) = 1; таким образом, 9 = 1 и

Ро (0-е'К

Если r= 1, то имеются две возможности: либо событие произошло в интервале (0, t^ либо в интервале (/, <4-60- Отсюда

р, (t + 60 = Pi (0 (1 - ^ + О (60) + Ро (0 (н^ + о (60),

(О + цР„ № + 2М.

Полагая 6/ —> 0, получаем

Решшше этого уравнения имеет вид

РДО^Ц^-^С(9)

В обще,м случае (для r> 1)

Решение для общего случая имеет вид

=(9')

Заметим, что У, Pr (Q = e-llt У, ~^~ = 1, как и следовало г=0г=0

ожидать. Распределение (9') содержит единственный параметр ц.

Вывод распределения Пуассона как предельной формы биномиального распределения. Пусть радиоактивный источник испускает в среднем pi частиц в интервале (0, £). Этот интервал можно разбить на большое число N подинтервалов, в каждом из которых имеется вероятность р наблюдать одну частицу. Вероятность наблюдать г частиц в N подинтервалах (благоприятный исход) равна

pr^ = cTNPT^-p^-T

при среднем числе Np=^- Так как p = yitjN, то

При увеличении числа подинтервалов N получим

Hm Pr ^ = ^? e_fU.N—>оо^"*

В качестве иного примера рассмотрим район некоего озера, в котором имеется какое-то количество рыбы. Нас интересует распределение вероятности обнаружить в этом районе г рыб (при среднем значении ц). Будет ли этим распределением Рт = (|л7г!) е-^?

Предположение 1 (см. стр. 23), которое в этом случае относится не ко времени, а к пространству, равноценно допущению, что наличие или отсутствие одной рыбы в данном районе озера не зависит от того, где находится другая рыба. Но такое допущение на самом деле вряд ли справедливо, и поэтому распределение Пуассона здесь как раз неприменимо.

Позже мы проанализируем с помощью распределения X2 судьбу офицеров прусской кавалерии, гибель которых подчиняется распределению Пуассона.

Непрерывные распределения

Пусть X — случайная величина, используемая как мера человеческого роста. Тогда X может принимать любое значение, лежащее в интервале, скажем, от 0 до 300 см; таким образом, число возможных значений величины X оказывается бесконечным и несчетным. Поэтому мы называем X непрерывной случайной величиной.

Парадокс нулевой вероятности

При попытке вычислить вероятность S5 (X = ж) мы сталкиваемся с некоторой логической проблемой.

Если

^(Х = ж)^0, то мы получим

5^(Х = ж)= оо>1

для х в интервале (0,300), как бы ни было мало §Р^Х = х\ С другой стороны, если ^(Х = ж) — 0, то, казалось бы,

5^(Х = ж)=0ЭС

для ж в интервале (0,300). Однако последнее утверждение неверно, поскольку мы производим суммирование по несчетному множеству точек ж.

Обойдем эту трудность, рассмотрев вероятность того, что X заключено в некотором малом интервале. Пусть

/ (ж) dx = еР (х < X <ж + ^ж)> 0,(10)

т. е.

/ (ж) с/ж — ^ (О С X С ж + dx) — ^ (О ^ X < х) =

= F (хЦ-dx)— F(x).

Следовательно, /0г) = -^>0.(11)

Таким образом, f(x) — это скорость возрастания вероятности F (ж); /(ж) называют плотностью вероятности шт функцией непрерывного распределения. Значит,

ХО

.^ W = j /(ж) dx,

о

откуда следует1

300

J /(ж)(/ж = ^(0<Х^300)= 1.

о■

В наиболее общем случае область изменения ж может распространяться от — оо до + оо, и тогда

F (ж) = SF (— оо ^Х^ж) = | f(x)dx, (12)

— С» причем

У / (ж) dx = 1.(13)

Мы называем F (ж) распределением накопленной вероятности. Это неубывающая функция, предельные значения которой:

F(-oo) = 0, F(+oo) = l.

Равномерное (прямоугольное) распределение.

Если все значения случайной величины, лежащие в интервале от а до 6, равновероятны, то

{

О при — оо <;ж<а, угу при а<х^Ь,(14)

О при Ь < х <; + оо,

Распределение накопленной вероятности:

О при — оо < ж < я,

F^ =F^ =- при a<i<b,

F^ =

F^ =

b— а

при 5 < ж <1 + оо.

Вид этих функций изображен на фиг. 3..

Пример. Длина деревянного бруска измерена с точностью до 1 см. Пусть ж — ошибка, т. е. разность между

истинной и измеренной длиной. Все значения ж между — 0,5 и +0,5 равновероятны, так что

f (ж) = 1 при —0,5 + ж< +0,5.

Теперь допустим, что единицей, измерения длины является метр. Мы произвели измерение с точностью до 0,01 м,

и ошибка х' лежит между —0,005 и +0,005 л; следовательно,

/ (ж') = 100 при — 0,005 + х' + +0,005.

Таков первый пример распределения функции случайной величины х’. Здесь х' есть функция ж, а именно х' (ж) = 0,01ж.

Нормальное распределение

Одним из наиболее важных распределений, встречающихся в статистике, является нормальное, или гауссово, распределение •*). Оно имеет вид симметричной колоколообразной кривой, которая распространяется до бесконечности как в положительном, так и в отрицательном направлениях.

Плотность этого распределения имеет вид

/И = -1=1(15)

Распределение (15) полностью определяется заданием двух параметров: ц и ст. И наоборот, во многих статистических задачах, предполагая, что распределение является нормальным, пытаются оценить его параметры ц и ст. В более сложных случаях сама величина ц есть функция неизвестных параметров ц (Ро, рь . . ., Рг), которые подлежат определению; например, ц = ро + Р+ гДе t — независимая переменная.

На фиг. 4 изображены функции / (ж) с различными значениями цист.

Распределение накопленной вероятности представляет собой S-образную кривую

— ( e-^№2dt(16)

+ 2л ° JV 7

(фиг. 5). Изменением шкалы по вертикальной оси эту кривую можно превратить в прямую линию. Графическая бумага такого типа с соответствующей шкалой ординат называется вероятностной бумагой.

*) См. также [27], гл. 6; [9], гл. 5,

Фиг. 5.

§ 5. Математическое ожидание и дисперсияслучайной величины

Дискретное распределение вероятности случайной величины ж полностью задается множеством значений вероятности или функцией распределения {5s (ж = г)}. Непрерывное распределение полностью задается его плотностью / (ж). Во многих случаях бывает необходимо выделить наиболее важные свойства распределения. Для этого используются такие характеристики, как среднее значение, дисперсия, асимметрия и др.

Определение 1. Математическое ожидание случайной величины ж есть среднее значение ж с учетом вероятности (или плотности вероятности) осуществления каждого значения ж. Для дискретного распределения ё(ж) = 3г^(ж = г),(17)

Г для непрерывного распределения

(ж) = j ж/(ж)</ж.(18)

Принято обозначать g (ж) через ц. Мы будем пользоваться величиной |л как характеристикой положения распределения ж.

Определение 2. Математическое ожидание функции к (ж) случайной величины ж есть средняя величина к (ж) по всем возможным значениям переменной ж, т. е.

§[^(ж)] = 2^(г)^(ж = г),(19)

Г или

§[Л(ж)] = j к (х1) f ^ da:.(20)

Дисперсия. Пусть к (ж) = [ж — § (ж)]2 = (ж — р,)2. Тогда дисперсия ж равна ^ Цх — р)2]; ее принято обозначать через S'(ж) или о3 (ж). Корень квадратный из этой величины а называют среднеквадратичным или стандартным отклонением ж и используют как меру разброса ж относительно среднего значения р.

Асимметрия. Асимметрия характеризуется параметром * ^[(z-pjs]

Асимметрия отрицательна, если / (ж) сильно вытянуто влево от р, и положительна, если / (ж) вытянуто вправо от р. Если распределение симметрично, то параметр yj равен нулю.

Закон сложения. Пусть h (х) = >4 (х) + Аг (ж). Тогда ^ [А (ж)] = 2 1^1 (г) + Аг (г)] ^ (ж = г), ИЛИ

g [А (ж)] = j [А, (ж) + Аг (ж)] / (ж) ^ж.

Следовательно, в обоих случаях

g УЧ (х) +14 (ж)] = % [At (®)] + g ^ (ж)].(21)

Аналогично, полагая А4 (ж) = АА (ж), где к — произвольная постоянная, найдем

g(AA) = Ag(A).(22)

Пример:

о2 = g цж _ ^2] = g (Ж2 _ 2рж + р2) = g (ж2) - 2pg (ж) + + р2 = g (ж2) - 2р2 + р2 = g (ж2) - р2.

Аналогичным образом для любой постоянной а

g [(ж - а)2] = g (ж2) - 2ар + а2.

Кроме того,

S [(Аж-Аа)2] = А2^ ((ж-а)2).

В частности, для дисперсии 3;

3 (кх) = ^ ((кх — кр.)2! = к23 (ж).(23)

Биномиальное распределение

Рассмотрим биномиальное распределение с параметрами Аир:

^(x = r) = CrNp41-pf-r.

3-254

В этом случае, полагая д=1— р, имеем

— У —пг aN~T = Nd У (W—1)1 - t N_T ■

r —^_гу.г\ P Ч(ту—r)!(r —1)!?

r=0r=l

JV-1

— Np У

(TV — s—1)] s|’

s=0 где s = r— 1.

Пусть n = N — 1, тогда vv—Np2С*пр\п~а = Np. Аналогично получим NNN

8 (ж3) - 2 ГгРТ = 2 Г (r - 1) Pr + 2 rPT -021

^N^N-^p^Np;следовательно,^ = ^^-^ = Np^l-p^Npq.

Заметим, что о3 растет с N.

Можно показать, что g [(ж — р)3] = Npq (q — р). Таким образом, асимметрия'

= Npq^q—p') = д-р =1—2р

(Npq^ V^pq VNp(t-p) ’ причем

Yj < 0, если р > у ,

Yi = 0, если р = у,

Yi > 0, если р<у.

Если р фиксировано, то у4 —> 0 при N —> оо для любого р.

Пример. Допустим, что мы ввели новую случайную величину h(x) = x!N. Тогда

8(^)=-^=а<24>

3^=^3^ = ТГ = Т-f25)

а среднеквадратичное отклонение о:

(26)

При решении статистической задачи об оценке неизвестного параметра р можно использовать статистику х) xiN.

Пусть

Р = ^,(27)

причем наличие у параметра «крышки» означает оценку р. Поскольку ж — случайная величина, то р — тоже случайная величина. Мы говорим, что р — несмещенная оценка параметра р, так как, согласно (24), § (р) — р. Эта оценка состоятельна, поскольку, согласно (25), ^ (р) О при возрастании N. Увеличение точности оценки р характеризуется уменьшением среднеквадратичного отклонения и пропорционально VN, как следует из формулы (26). '

Распределение Пуассона

Пусть ^ (ж — г) — (ц7/'!) е_ц. Как видно из обозначения, здесь предполагается, что § (ж) = р. Докажем это:

ООООсо

t r=0Г=18=0

где s — г— 1.

Таким образом,^(ж) = ц.

Аналогично

8(^) = 2!г(г-1)+г]11г^г = ■о’

= ^ 2 м’-^-н+ и = и’ + ц.

2

*) Под статистикой понимается случайная величина, являющаяся функцией результатов наблюдений.— Прим. ред.

Отсюда следует, что

35 (ж) = 8 (ж2) — [# (ж)]2 = р2 -}- р — р2 — Р и

о (ж) = /р,

т. е. разброс ж относительно среднего значения пропорционален корню квадратному из среднего значения. Наконец, § [(ж — р)3] = р, и поэтому асимметрия

Асимметрия всегда положительна и стремится к нулю по мере возрастания р. Другими словами, с ростом р распределение становится все более симметричным.

Равномерное распределение

В этом случае

ьг J о — аьг J о — а№ — г<7-2(6 —а)№ — г<7-2(6 —а)— Ь-^а— Ь-^а

ь

г J о — а

ь

г J о — а

№ — г<7-

2(6 —а)

№ — г<7-

2(6 —а)

— Ь-^а

— Ь-^а

как и следовало ожидать из соображений симметрии; ь

gM= Г^Дс-.У^+Я,

' ' J о —а3

а

3>(ж)==£(ж2)-[^ж)]2-^^-.

В частном случае b — а = 1 имеем

3?(ж)=^- и о(ж) = ^- = 0,29.

Допустим, что р неизвестно, но известно, что 6 — a—i. Пусть наблюдалось единственное значение ж. Что при этом можно сказать о р? Мы знаем, что

^[р—|-<4ж<4р + -|-^(28)

если <%<: 1,■

Если мы сделаем утверждение, содержащееся в формуле (28), в которую подставлено наблюдавшееся значение х = х0, то мы будем правы в 100а случаях из 100. Выражение (28) можно записать в другом виде:

и, следовательно,

(29)(29)

(29)

(29)

Полученная формула дает нам доверительные пределы с доверительной вероятностью а, или 100а%, Поскольку р — постоянная, а не случайная величина, то было бы недопустимо трактовать выражение (29) как «вероятность того, что р, больше х — а/2 и меньше х + а/2». Поэтому формулу (29) лучше переписать в виде

Р^жР^жа2"а2"(30)(30)

Р^ж

Р^ж

а

2"

а

2"

(30)

(30)

и сказать, что с вероятностью а истинное значение р. лежит в интервале от х— а/2 до ж 4-а/2. Так,

9s [(ж —0,475, х + 0,475) 3 ц] — 0,95.

В действительности такое утверждение не имеет особого смысла, так как мы знаем, что р должно быть заключено между х — 0,5 и х + 0,5. Причина столь скудной информации относительно величины р, заключается в том, что ее оценка получена на основании единичной выборки.

Нормальное распределение

В этом случае

£(ж) = ( —е-^-^^ай dx.Joo GV2n

Положим

тогда, учитывая, что интеграл от нечетной функции равен О, получаем

^ (ж) =—( (ow + p) e-^^dw =

= 0 + р f —т= е~1“гГ2‘ du? - r J 1/2л

= p X Интеграл от плотности вероятности.

Итак, как и следовало ожидать из обозначений,

1(ж) = р.

Дисперсия

' J оТ/2лJ V2n

— co *— co *

Интегрируя по частям, получаем

2D (ж) = —^— [ — о^е''^2/2]”^ -|-=- f q2s-w2/2 dw _ а2,

2лV 2л J

—ОО

что также следует из принятых обозначений. И наконец, g [(ж — р)3] — 0, поскольку распределение плотности вероятности в данном случае симметрично относительно р, и асимметрия равна нулю.

. Пример. Допустим, что величина а известна, и мы хотим на основании единственного значения х оценить величину р. Как и прежде, начнем со следующего утверждения:.

^ [р — Д0.о<ж^р + Аа,о] —а

и перепишем затем его в виде

^ [ж — каР < р < ж + као^ = а.

Значения ktt можно найти из соответствующих таблиц в справочниках по математической статистике [32].

В приведенной ниже табл. 1 дано несколько значений величины ка.

Таблица 1

аа0,0000,5000,6830,9000,9500,990 0,99750,9990,0000,5000,6830,9000,9500,990 0,99750,999^а

а

а

0,000

0,500

0,683

0,900

0,950

0,990 0,9975

0,999

0,000

0,500

0,683

0,900

0,950

0,990 0,9975

0,999

0 0,674 1,000 1,645

1,960* 2,576 3,000

3,291

* Этот коэффициент, соответствующий доверительной вероятности 0,95, принято считать равным 2,00.

У физиков общепринято приводить экспериментальные данные в виде величины р плюс или минус одно среднеквадратичное отклонение, т. е.

р = р i о. (31)

Если р имеет нормальное распределение, то из табл. 1 видно, что а = 0,683 при ка = 1. Это значит, что утверждение, содержащееся в (31), может оказаться несправедливым примерно в одной трети всех случаев его применения. С другой стороны, утверждение

р = р + 2 ст (32)

будет несправедливым уже только в одной двадцатой всех случаев. Запись (31) удобна, поскольку она содержит обе величины: р и о, но необходимо иметь в виду, что ей соответствует невысокая доверительная вероятность (0,683). Если величина о сама оценена из результатов эксперимента, то доверительная вероятность становится еще ниже.

Распределение Коши

Это экзотическое распределение часто упоминают с иллюстративной целью вследствие его необычного свойства: дисперсия распределения Коши оказывается бесконечной.

Предположим, что артиллерийское орудие расположено на единичном расстоянии от сколь угодно длинной стены. Лафет орудия вращается с постоянной скоростью.

Фиг. 6.Фиг. 6.

Фиг. 6.

Фиг. 6.

На каждом обороте в случайный момент времени из орудия производится выстрел. Как при этом распределены попадания по стене?

Обозначим через 0 (фиг. 6) угол, на который повернулся ствол орудия относительно начального положения (по нормали к стене), а через ж — расстояние вдоль стены от ее середины до точки попадания. Снаряд попадет в стену только при условии, что 9 заключено в пределах от —л/2 до +л/2. В силу того что все значения углов равновероятны, мы используем для величины 9 равномерное распределение

/(9)de=—,

' z л 22

Поскольку 0 —arctgT, то

d9 =d9 =dzdz

d9 =

d9 =

dz

dz

Таким образом, плотность распределения величины х равна

g (х) dx =d9 = ~■,°' л „ 1 г2g (х) dx =d9 = ~■,°' л „ 1 г2— ОО— ОО< х < ОО.< х < ОО.(33)(33)

g (х) dx =d9 = ~■,

°' л „ 1 г2

g (х) dx =d9 = ~■,

°' л „ 1 г2

— ОО

— ОО

< х < ОО.

< х < ОО.

(33)

(33)

Эта функция изображена на фиг. 7; она симметрична относительно нуля, и ее среднее значение поэтому равно

нулю, что можно доказатьнулю, что можно доказатьс помощью обычного выражес помощью обычного выраже

нулю, что можно доказать

нулю, что можно доказать

с помощью обычного выраже

с помощью обычного выраже

ниянияRRИш 1 xg (ж) dx.R-»oo v_Иш 1 xg (ж) dx.R-»oo v_—R—R

ния

ния

R

R

Иш 1 xg (ж) dx.

R-»oo v_

Иш 1 xg (ж) dx.

R-»oo v_

—R

—R

Из этого выражения следует

И = 1™ ^[1п (1 + ж3)1~к = ЪГ ^ [Ь 1-H-RP ] °’

Дисперсия такого распределения

(ж— ц)2 g (д?) £?Ж = — j ^^dx-

11■, 1 Я dx ™ оо — 1.

1

1

1 +ж2 J

Следовательно, о2 — оо.

Пусть некая общая теорема доказана нами в предположении, что рассматриваемая случайная величина обладает

конечной дисперсией. Если эта теорема окажется несправедливой для распределения Коши, то это будет означать, что сделанное предположение необходимо.

Моменты случайной величины.Производящие функции моментов

Нам уже известно, как находить математическое ожидание функции случайной величины х. Математические ожидания степенных функций от х или от разностей между ж и ее средним называются моментами.

Определение 1. Начальный момент п-гопорядка случайной величины х равен

ГIIГIIжп/ (ж) dx.жп/ (ж) dx.2 тпрг.Т=й-2 тпрг.Т=й-

Г

I

I

Г

I

I

жп/ (ж) dx.

жп/ (ж) dx.

2 тпрг.

Т=й-

2 тпрг.

Т=й-

Заметим, что Цо=1, ^ = /1.

Определение 2. Центральный момент п-го порядка случайной величины ж равен '

(35)(35)Рп = $ [(ж — ц)п].

(35)

(35)

Заметим, что

ц0=1, Pi = 0, ц2 = о2.

Помимо важности отдельных моментов, существенное теоретическое значение имеет полный набор моментов {[!„} или {цп}. При весьма общих условиях набор моментов полностью определяет распределение вероятности. Есть немало случаев, когда проще найти полный набор моментов неизвестного распределения, нежели непосредственно само распределение. В таких случаях распределение удается построить исходя из данного набора моментов.

Теорема. Если две плотности вероятности /j (ж) ■ /3 (ж) имеют одинаковые моменты (ц„) и если можно

к (ж) — к (ж) разложить в ряд, по степеням .т, то Ц (х) =

Доказательство. Пусть Ц (ж) — /2 (ж) = с0 + ci^ 4* 4- с2х2 + ... . Тогда

J Yk^ — kW^dx^

— DO

ОО.

= J 1/1 ($) к ООНС0 + с^ + С2Х^ + • * • 1 ^ж =

= со J (Л—/2) dx+щ j (жЛ — $i^a$^

+ с2 j (ж2Ц — x^WA-. • • = с0(1 —1)4

+ С1 (Р1Р1) + С2 (Рз — Рз) + • • • — О*

Следовательно,

/1 (ж) = к {xY

Производящие функции моментов (ПФМ)

Набор моментов {ц^} важен, поскольку он характеризует распределение случайной величины. Целесообразно ввести функцию, зависящую от всех моментов ц„, которая свела бы весь набор {цп} к единственному выражению.

Введем вспомогательную переменную t и сопоставим моменту ц„ соответствующую степень /” так, чтобы по этой степени можно было всегда найти р„.

Определение 1. Производящая функция начальных моментов случайной волиПины ж:

| j ехк (ж) dx,

V г=0

(36)

Экспоненту можно разложить в ряд

ми<)---ф+.гм-^2з^

— 1 + Hi^ + Н2 "2Г + ^з "зГ + • ' • ’

так что р„ будет просто коэффициентом при f’hi'. Иными словами,

Нп = и- ^ Коэффициент при tn.(37)

Другой способ нахождения р„ из ПФМ М'х (Z) состоит в том, что эту функцию дифференцируют п раз.

В результате имеем

дпМ',

Отсюда следует

— = j ж / (ж) dx = р^.(38)

Определение 2. Производящая функция центральных моментов случайной величины ж:

M^t^V^*^ р-^;.(39)

Разлагая в ряд, получаем ■

AMt)^ ^1 + (х — р)г + (ж — р)2-£г+ • • •] =

= 10 + р2 "2Г Из "gj" + • • • >

так что рп — коэффициент при tn!n\. Заметим, что М (I) = — е'^М' (t) и М’ (i) = е^М (t). Наконец, если две ПФМ М^ (t) и М\ ^ одинаковы, то одинаковы и исходные распределения вероятности.

Мы будем использовать ПФМ двояким образом. По заданному распределению вероятности очень легко найти ПФМ. Тогда моменты могут быть найдены по формулам (37) или (38). Этот способ может оказаться проще вычисления моментов из самого распределения.

Кроме того, может возникнуть необходимость найти функцию распределения нескольких случайных величин. Возможно, что сначала легче отыскать ПФМ неизвестного распределения, а затем уже попытаться найти само распределение.

Эти методы имеют много общего с использованием преобразования Лапласа (t — комплексное число) ):

Gx ^ = ^к^ = \Gx ^ = ^к^ = \х L (f) = j е xlf (ж) dx.о

Gx ^ = ^к^ = \

Gx ^ = ^к^ = \

Биномиальное распределение

М- (0 - 2 енРг = 2 Cr (ре^ (1 - pf-r = V + 1 - pf, о о

^М-=МреЧреЧ1-рГ*1.

Следовательно, , эм- (О) м

Распределение Пуассона

М' (О = е-и 2= е-^с‘ =

о

т. е.

и;=ц.

Производящая функция центральных моментов

М (О = е-^М' (0 = ^<e'-^D = еи(Ж+ 2?+ зГ+"" ^z”1) =

= с Ui з|/ = 1 + ц(„ + _+...) +

+ ^ 2 \ 2! + 3!V

Коэффициент при f2/2! равен р. Значит, р2 = о3 = ц.

Нормальное распределение

М' т =( ех<е-(^-а)3/2а2=

а 1/2л J

= ew3-_eut.e°^_

=[1+^+^24г+ * ■ [1+<j24r+■

Коэффициент при t ц; = ц.

Коэффициент при t2/2!

Г2 = Г2 + <72-

Следовательно,

Согласно формуле (39), jgоооо

м(о^-|И^)Ч-2^-

Таким образом,

и

Pan+i — 0.

Распределение у = аж + 6, где а и Ь — постоянные величины

Му (f) = S (eyf) = § (еьСеая<) = ebt% <exaty

Значит, My^-ebtM’x^aty(40)

Допустим, что х имеет нормальное распределение со средним значением р и дисперсией о2. Тогда

Мх (<) = еМх (<) = ец<+а2-у-ц<+а2-у-

Мх (<) = е

Мх (<) = е

ц<+а2-у-

ц<+а2-у-

ии^«g-x/p,0<ж<;оо,^«g-x/p,0<ж<;оо,(41)(41)

и

и

^«g-x/p,0<ж<;оо,

^«g-x/p,0<ж<;оо,

(41)

(41)

#2/2

,,,Ца«+а2аа_+Ы (ац+Ь) <+а2а2—

Му (t) = e 2= е2

Следовательно, у распределено по нормальному закону со средним (а|л + ^) и дисперсией а2а3.

Гамма-распределение

Гамма-распределение имеет следующую плотность:

т. е,

/ (ж) — / (ж, a, Р).

Параметры аир имеют допустимые области: a> —1;

Р>0. Форма /(ж) определяется параметром а (фиг. 8),

а параметр 0 носит характер масштабного множителя. Обратим внимание на то, что при а = 0

/(z) = -p-e-x/3,

т. е. превращается в экспоненциальное распределение.

В дальнейшем мы увидим, что распределение %2 есть

частный случай гамма-распределения. ПФМ в случае гамма-распределения

М' № =хае"х1^ехг dx.

V ’ а! ра+1 J — ОО Преобразуем это выражение к константе, умноженной на интеграл от плотности. Тогда M'^t) будет просто равна этой константе.

Подставим — ж/р + ж^= — ж [Р/(1 — РОГ1 и, кроме того, Р^1^^! — pOJa+1 (1 — Р0“+1- В таком случае

М' (0 =—тт ( "Г ()а+1 ^ае~х<i-PO/P dx —

v 1 (1 — р^) + а! V P J

= I j ^ а _ r dx.

(1-pi) + A ’ 1-PU Следовательно,

М'^ = ^-^Га^.(42)

ГЛАВА ВТОРАЯ

Совместные распределениявероятностей

Функции распределения вероятностей двухили нескольких случайных величин

Пусть Xi 'и Х2 — дискретные случайные величины. Введем

^[Х1 = г1 и Х2 = г2] = РГ1, rz,(43)

причем

5 2a„,, = i.

Г, Тг

Для непрерывных случайных величин введем также

/ («ь ж2) tZ^i dx2 = 5s [Ж1 < Xi < «1 + dxv и x2 < X2 ^ x2 -|- dx3] при условии

J J /(^i, ж2) dxt dx2 = 1. — 00 — OO

Пример 1. Пусть Xi означает вертикальный номер квадрата на шахматной доске, а Х2 — горизонтальный номер. Величины Xi и Х2 могут принимать значения: 1,2, . . . , 8. Выберем произвольный квадрат. Какова при этом вероятность того, что Xi = т\ и Х2 = г2? Поскольку шахматная доска имеет 64 равноценных квадрата, то

^(Xi = ri и Х2 = г2) = ^.

Пример 2. Предположим, что шахматная доска имеет длину b (единиц) и ширину с (единиц). Выберем на доске произвольную точку. Какова плотность вероятности получить при этом координаты (zj, ж2)?

Очевидно, что

/ (xv х2) dxi dx2 = ^^2(44)

4-254

при условии 0 <^ ^1 <^ 6; 0 -^ х2 <^ с. Это — равномерное распределение для*случая двух измерений. _ "'

Пример 3. Если эксперимент повторяется в раз, то его результаты удобно рассматривать как в случайных величин. Если в результатов представляют собой независимые выборки с одинаковым распределением, то в частном случае в = 2■

/ fo, ж2) dxv dx2 = g (х^ dxvg (x^ dx2l (45) где g (x) — плотность вероятности отдельного результата. Этот результат следует из закона умножения вероятностей (7).

В более общем случае плотность вероятности для в независимых случайных величин с одинаковыми распределениями равна п

Цх^ Яп) = П g(xi).(46)

t=l

Сумма случайных величин

Часто нам приходится складывать случайные величины (например, для получения среднего). Чтобы найти распределение суммы случайных величин, можно воспользоваться производящей функцией моментов суммы. Пусть

МЦ (Z) = g[e<24

Итак, нам необходимо усреднить по всем {ж,}, учитывая при этом относительные частоты появления каждой величины Xi. Поэтому

п

МЦ (0 = И ■ * • j П 8 И = i=l nn

= J J • • • J П ^^ ^ ^i = П f ^^ ^0 dxi =

71

= П M«t (o-

i=l

Таким образом,

ПФМ (2*0 = П ПФМ(^). .(47)

i=i

Другими словами, производящая функция моментов суммы независимых случайных величин есть просто произведение ПФМ отдельных слагаемых.

Если все величины жг имеют одинаковые распределения, то их ПФМ также будут одинаковы; значит, в этом случае

ПФМ (2 ж.) = [ПФМ (жг)Л(48)

Пусть {mk} — начальные моменты суммы 2жь а {нУ — начальные моменты слагаемых ж;. Тогда из формул (36) и (48) следует

ПФМ (2ж0 = 1 + "^ + ^4г + 11 • =

= [i + n;i+n;^- + ...]”=i+n(n;t+J^-) ++—"f11 W)a+---

с точностью до £3. Приравнивая коэффициенты при t, получаем т[ = щц, или

. ^ (2 ж0 =«g (Х1У(49)

т. е. математическое ожидание суммы равно сумме математических ожиданий слагаемых.

Далее, приравнивая коэффициенты при £2/2!, получаем

^ = тгц;+(тг2 —тг)(р[)2. '

Дисперсия суммы 2 xi равна

. 2) (2 жг) = тг — (m[)2 = м^ + (н2 — л) (ц[)2 — п2 (р[)2 = = и>2 — (Р1)2Ь

откуда

.^(2^)=^(^i),(50)

т е. дисперсия суммы равна сумме дисперсий слагаемых.

4*

Это свойство аддитивности дисперсий широко используется в дисперсионном анализе, а также в задаче о переносе ошибок.

Выборочное среднее

Если рассмотреть выборочное среднее п i=l то легко заметить, что т. е.

g(5) = p.(51)

Таким образом, выборочное среднее есть несмещенная оценка среднего значения р генеральной совокупности.

Аналогичным образом решается и вопрос о дисперсии:

2) ^ = 2 (— ^ ^) = ^ ^ (3Жг) 1

Следовательно,

(52)

Мы видим, что выборочное среднее х является значительно более точной оценкой р, чем отдельное значение ж;, так как х обладает меньшим разбросом относительно истинного среднего. Точность оценки определяется выражением которое показывает, что точность возрастает пропорционально VЩ с этим результатом мы уже встречались на примере биномиального распределения (см. стр. 34—35).

Закон больших чисел

Мы убедились в том, что выборочное среднее является хорошей оценкой среднего р генеральной совокупности. Теперь докажем более сильное утверждение: с ростом

объема выборки выборочное среднее с очень большой вероятностью стремится к р как к своему пределу. Сначала докажем для произвольной случайной величины х неравенство Чебышева'.

^ [| ж~ р|>/со] <-^- ’(53)

где g (ж) = р и $ (ж) = о2.

Отметим важное обстоятельство: это неравенство справедливо лишь для тех распределений, у которых среднее и дисперсия конечны.

Начнем доказательство с того, что запишем

а2 = ^ (ж — р)2 /(ж) dx

и разобьем область интегрирования на три части:

(—оо, р — koY (р — ко, р + &о) и (р + /ся, оо).

Тогда

11—ко ц+ЙДОО

О2 = £ j + j + j(ж —р)2/(ж)^ж.

— ОО11—ко ц+hCF

Опуская средний из трех интегралов, приходим к неравенству

|Х — ho оо

°2>[ ^ + j ] (ж —р)3 f{x) dx.

—ооn+to

В пределах каждой из этих областей интегрирования справедливо соотношение (ж — р)2 > к^ой. Значит, ц- каоо

О2 > к2О2 £+ j J / (ж) dx —

— со n+kff

= ^а2^ [ — сю < ж < р — ко или р + ^<ж<°°] =

= k^o^Sk [ | ж — р | > /со], откуда и следует■

(95[|ж-р|>/со]<~ .

Это неравенство, вообще говоря, весьма слабое. В случае нормального распределения мы можем сравнить величину 1/Zc2 с точным значением доверительной вероятности, соответствующей выбранному интервалу.

В табл. 2 проводится такое сравнение для трех значений к, причем доверительные вероятности взяты из таблиц нормального распределения [30].

Таблица 2

к

Табличные значения вероятностей

Значения вероятностей согласно неравенству Чебышева

1

0,32

<1,000

2

0,045

<0,250

3

0,003

<0,111

Выборочное среднее.

Применим теперь неравенство Чебышева к величине ж со среднеквадратичным отклонением оГ/п;

где п — объем выборки. Перепишем то же самое неравенство, введя обозначения 6 = kolVn и к^сУ'ф' Тогда ^[|ж-р|>е]<^ .(54)

Если в квадратных скобках поменять смысл неравенства на противоположный, то можно получить соотношение, логически эквивалентное (54): —л2

^Цж-р|<8]>1-^

или

■И — 8<Ж — Ц<8]> 1™^ .(55)

В таком случае утверждение слабого закона больших чисел сводится к следующему:

«Выберем сколь угодно малое е, чтобы при этом ж почти совпадало с ц. Из формулы (55) следует, что, выбирая п достаточно большим, утверждение | ж — ц | < е можно сделать сколь угодно достоверным». Иными словами, вероятность того, что ж —» р при п —> оо, стремится к единице х).

Различие между слабым и усиленным законами больших чисел, грубо говоря, подобно различию между понятиями сходимости по точкам и равномерной сходимости, которые встречаются в математическом анализе 2).

Центральная предельная теорема

Выше было показано, что точность оценки р, на основе выборочного среднего возрастает пропорционально ^п. Далее с помощью закона больших чисел было показано, что можно доказать более сильное утверждение относительно сходимости ж к ц по вероятности. Центральная предельная теорема приводит к еще более сильному утверждению относительно распределения ж в целом, а не только его параметров g (ж) и S (ж).

Это наиболее важная теорема статистики и вообще одна из самых замечательных математических теорем. В ее разработке принимали участие многие крупнейшие математики, среди которых следует отметить Муавра, Лапласа, Гаусса, Чебышева и Ляпунова.

Теорема. Пусть случайная величина ж имеет среднее значение р, и дисперсию о2. Если а2 конечно, то при стремлении объема выборки п к бесконечности распределение выборочного среднего ж будет стремиться к нормальному со средним [д, и дисперсией вЧп.

Доказательство. Используем производящие функции центральных моментов. По определению

,<2 f3

Мх (f) = ^ [е(х“^ f] = 1 + Ц1^ + Цз 2у + Цз"зр + ... =

= 1 + о + О2 -^р + Цз зр + • • • •

*) См. [17], гл. 11.

®) См,, например, [21], § 7.23,

Пусть

Ш = (ж — |1).

ст у п

Для величины w ПФМ равна t(»-u) ;-,

„V СТ ри'

С другой стороны, /2/3

= 1+5-+из-5~^+-" '

Введем новую переменную z, являющуюся линейной функцией от ж:

ст (ж) а иоz V /

v *i=lг=1

Согласно формуле (48), ПФМ суммы одинаково распределенных случайных величин есть и-я степень их ПФМ, т. е.

М^)-^^)]^

= (1+ 4— Н—-— + ... V —> е<2/2 при п —> оо.

\ 2л 1 бстЗлУл )

На стр. 46 было показано, что ПФМ нормального распределения с нулевым средним значением и дисперсией о3 равна еаШ^. Следовательно, величина z в пределе обладает нормальным распределением с нулевым средним и единичной дисперсией. Согласно формуле (56),

— CTZ .

Ж=—+ ц.

рп

На стр. 47 было показано, что линейная функция (в данном случае ж) случайной величины (z), распределенной по нормальному закону, также распределена по нормальному закону. Следовательно, величина ж в пределе распре-

делена по нормальному закону со средним р, и дисперсией oa!n.

Отметим интересное обстоятельство, заключающееся в том, что при доказательстве теоремы ни слова не было сказано относительно характера распределения величины х. Более того, оно даже не предполагалось непрерывным, хотя таково предельное распределение для х. Налагаемое на дисперсию требование конечности не вносит сильного ограничения применимости теоремы, поскольку почти во всех практических случаях область изменения рассматриваемой величины ограничена, что автоматически делает ее дисперсию конечной. Тем не менее условие конечности дисперсии существенно необходимо.

Использование таблиц нормального распределения для вычисления биномиального распределения ’)

Предположим, что игральную кость бросали 300 раз. Появлению чисел 1 или 2 поставим в соответствие величину ж=1, а остальным вариантам ж = 0. Это означает, что р — 1!^ q = ^l3. Полное число благоприятных исходов 300_

равно r=2 ^и среднее значение х равно ж = г/300, при

чем g (ж) = Ч3.

Распределение (дискретное) величины г имеет вид

Пусть нас интересует вероятность того, что число благоприятных исходов будет отличаться от 100 не более чем на 15. Чтобы найти эту вероятность, необходимо вычислить

115

2 Рт,

85 что весьма утомительно.

Можно переформулировать задачу вычисления вероятности <^(85 <?’< И5), сведя ее к эквивалентной задаче вычисления вероятности S5 (85/300< г/300< 115/300), т. е.

О См. [27], § 7.7.

к вычислению

^/85-1154

кзоо- ^зоо) *

Поскольку теперь нам предстоит иметь дело со средним значением ж, воспользуемся центральной предельной теоремой. Соответствующее нормальное распределение для х обладает средним ж^/з и дисперсией pqln = 2/2700. Запишем это в виде1)

ж ~ N (—2 1

к 3 ’ 2700)

И ВЫЧИСЛИМ

115/300

^ = J ^ ("з ’ 2700)dx’^^

85/300

В таблицах обычно приводятся распределения для вероятностей N (0, 1). Введем стандартизованную переменную

3х — g (к)

Ш = - ■ =,

у2/2700 а (ж)

такую, что w ~ N (0, 1). Выражение (57) при этом преобразуется в

1,84

^ = j N(0,1)dw,

-1,84и из таблиц находим

^ = 0,93.

КошиКошиИными словами, вероятность того, что полное число благоприятных исходов не заключено в пределах от 85 до 115, составляет лишь 7%.

Коши

Коши

Пример, относящийся к распределению

Мы хотим продемонстрировать необходимость конечной дисперсии для справедливости центральной предельной теоремы. В случае распределения Коши не существует

г) Символ ~ обозначает «распределено как».— Прим. ред.

ПФМ. В связи с этим воспользуемся характеристической функцией ф (t). По своему определению она сходна с ПФМ:

Ф^)-£(ем).(58)

В случае распределения Коши

фя(£) = — \ тп—О ^Я.

•т v ' л J 14-32

Этот интеграл можно вычислить, интегрируя вдоль контура, что дает

■фх№ = е-1г1.

Можно показать, что характеристическая функция суммы п одинаковых случайных величин получается возведением фх (/) в я-ю степень. Выражение для характеристической функции, аналогичное формуле (48), имеет вид

Используя формулу (40), можно, наконец, показать, что

В итоге распределение величины х вновь оказывается распределением Коши, что и подтверждает несправедливость в данном случае центральной предельной теоремы. Причиной этого является бесконечная дисперсия исходного распределения.

Распределение вероятности для функциислучайной величины

Формулы (22) и (23) показывают, как находить математическое ожидание функции Л (ж) случайной величины х. С помощью так называемого правила переноса ошибок (propagation of errors) можно также в первом приближении найти и дисперсию функции И(х\ В конечном итоге может быть найдено и полное распределение вероятности для функции Н^).

Перенос ошибок

Ограничимся несколькими первыми членами разложения к (х) в ряд Тэйлора относительно точки р. В этом

к^ = к (р) + (ж — р) кг (р) + (ж — р)2 Л>р- +

4-Члены более высокого порядка. (59)

Наши приближения сводятся к следующим:

8[ад)=Л(И)+0+2^+... «

« h (р) = к [g (ж)],

®\К^\-^

«§[к (ж) —А(р)]2.

Из формулы (59) имеем

к(х) — й-(р) = (ж — р) &'(р) 4~ (ж — р)2 -~^-4- • • • •

Следовательно,

ЗЦк(х^ ^g[(x-p.)kr (р)]2^

^[^(р)]2^(ж),'(60)

^Yh'^)V3<xY(61)

Аналогично можно получить

о [Л(ж)] ж \к' (р)|а(ж),(62)

«\кЦж)\о(х).,(63)

Соотношение (63) часто записывается в виде

б^И!»^6^(64)

Соотношения (60)—-(64) точны лишь в том случае, когда ряд Тэйлора оканчивается членом, содержащим к' (р), т. е. когда к (ж) представляет собой линейную функцию к (ж) = ах + Ь.

Тогда выражения

g Vk (ж)] = ар -г 6

И

Yk (ж)] = »2а2■

точны. Во всех прочих случаях мы делаем ряд приближений, считая функцию линейной. Тем не менее получающиеся результаты весьма полезны, ибо они указывают порядок величины дисперсии новой случайной величины к 1х\ Аналогичным образом, если к есть функция т случайных величин, то, используя m-мерное разложение в ряд Тэйлора, получаем

k (х^ ...^^к (plt . . ., pm) + 2 (^1 — Нг) ,

где•■

§ (^j) = Ц; И М = (Ц1, Н2е • • • > Цт)‘

Отсюда следует

8 Yh (х)] to к (ц) и

S Yh (х)] to g Yh (x) - g (^ (x))]2 to

®8№ (x) - W)J2 « 2 [^-J2 8 to - He)3.

1=1

так как g [(жг —цг) (ж,- —p,,)] =0 при i ^ ].

Таким образом, т

З|4х)1 = 5[-^]2я(к),

771

sViWIk^Y^tstT0*(65)

1=1

и соответственно

о [к (х)] = V^ [^ (х)] ~

/ тГ т

«]/sm2^-i/2m2^ w

у г=1у 1=1

если заменить величину р. ее оценкой х.

Аналогичное выражение в дифференциальной форме имеет вид т

ади^&ц.(67)

Все приведенные формулы представляют собой приближения, справедливые лишь в случае небольших отклонений Xi относительно их средних цг-.

Пример. Рассмотрим преобразование к (ж) = cos х, причем 33 (ж) = о2. Тогда

dh.

—— Sin X ах

и.

Следовательно,

33 (к) ^ о2 sin2 ц,(68)

33 (к) ^ о2 sin2 ж.(69)

Поскольку дисперсия к есть величина постоянная, то случайная величина (69) служит лишь оценкой дисперсии (68).

Распределение вероятности для функции дискретной величины

Предположим, что величина х имеет дискретное распределение. Тогда распределение для к (ж) легко получить путем непосредственного вычисления.

Если существует лишь одно значение х — ж0, при КОТОРОМ к(х) = к^Ж0), то

S3 [к (х) = к01=^ [к (ж) = к (ж0)] = ^ (ж = ж0).(70)

Пример. Пусть Л (ж) = cos ж, а распределение величины х задается таблицей

X

’0

л/4

л/2

д3 w

1/6

2/6

3/6

В таком случае распределение для h (х) оказывается следующим:

Л

0

0,71

1

3° w

3/6

2/6*

1/6

Если существует несколько значений х = хй, х±, . .., хт, при которых h (ж) = hy, то

а^ [Й (ж) =Л0] = ^ [х = х0, или Ж = ЖП или ..., или х = хт] =

= 2 ^ ^X = XiY

i=0

Следовательно,

§р [h (ж) = /Ц = 2^(ж = Ж;).(71)

h (xp^ho

Пример. Пусть h (ж) = cos ж, а распределение величины ж задается таблицей

X

—Л/2

—Л/4

0

л/4

л/2

3° (ж)

1/35

3/35

6/35

10/35

15/35

Тогда распределение для h (ж) имеет вид

h

0

0,71

1

^ (h)

16/35

13/35

6/35

Распределение вероятности для функции непрерывной величины Д

Пусть дана

/ (ж) dx = ^ [ж < X С х + dx\(72)

и требуется найти

g (70 dh = Ф Vh ^ Н С h + dM, (73) где h = h (х).

Допустим сначала, что h (ж) — однозначная функция х. В случае дискретной величины мы находили значение h = h0, соответствующее заданному значению х = х0. При этом вероятность х0 просто сопоставлялась h0. Для непрерывной величины мы можем найти малый интервал значений h, соответствующий заданному малому интервалу значений х с известной вероятностью / (ж) dx.

Воспользуемся обратной функцией

х = х (h),(74)

которая позволяет определить значение х, соответствующее заданному h. Подставляя х — х Цг), получаем сначала выражение для / (ж) как функции h

Ш = { [ж (70].(75)

Необходимо, кроме того, преобразовать бесконечно малое приращение согласно тем же правилам, которыми пользуются при вычислении интегралов методом подстановки. Единственное отличие при этом состоит в необходимости сохранить преобразованное выражение положительным в соответствии с тем, что плотность вероятности должна оставаться неотрицательной. Тогда получаем

dx = -^-dh1(76)

ahх '

если dx (h)/dh положительно, и

dx^-^dh,(77)

ahх 7

если dx(h)!dh отрицательно.

0 См. [27], гл. 10.

Выражения (76) и (77) эквивалентны:

dx = -^Ж ah.ahdx = -^Ж ah.ahОбъединяя соотношения (75) и (78), имеемОбъединяя соотношения (75) и (78), имеем/ (ж) dx = / [ж (Л-)] ■/ (ж) dx = / [ж (Л-)] ■dx t^h^dhdx t^h^dhdh.dh.(1^(79)(1^(79)

dx = -^Ж ah.ah

dx = -^Ж ah.ah

Объединяя соотношения (75) и (78), имеем

Объединяя соотношения (75) и (78), имеем

/ (ж) dx = / [ж (Л-)] ■

/ (ж) dx = / [ж (Л-)] ■

dx t^h^dh

dx t^h^dh

dh.

dh.

(1^

(79)

(1^

(79)

Если сравнить эту формулу с формулой (73), можно получить выражение для новой плотности вероятности, зависящей от h:

gW^flx (й)]-gW^flx (й)]-dx (h)dhdx (h)dh(80)(80)

gW^flx (й)]-

gW^flx (й)]-

dx (h)dh

dx (h)dh

(80)

(80)

Пример. Пусть /»(ж) = cos ж, а распределение вероятности для величины х дается выражением

/ (ж) dx = а + Ъх,0 < х < у ,

где а^Цк, 5 = 4/л2. С помощью обратного преобразования получаем я—-arccos/i, причем

dx — 1V1 —/г2dx — 1V1 —/г2ДЛЯ и<Ж< у .ДЛЯ и<Ж< у .

dx — 1

V1 —/г2

dx — 1

V1 —/г2

ДЛЯ и<Ж< у .

ДЛЯ и<Ж< у .

Если теперь заменить / (ж) на / [х (^)] и dx на | dx (h^idh | dh, то мы получим

g (й) dh = / [х (h)lg (й) dh = / [х (h)ldx (/г)dhdx (/г)dhdh =dh == [a + £>-arccos/i]= [a + £>-arccos/i]dh yr^" ’dh yr^" ’0</г<0</г<1.1.

g (й) dh = / [х (h)l

g (й) dh = / [х (h)l

dx (/г)dh

dx (/г)dh

dh =

dh =

= [a + £>-arccos/i]

= [a + £>-arccos/i]

dh yr^" ’

dh yr^" ’

0</г<

0</г<

1.

1.

Этот результат проиллюстрирован на фиг. 9.

Аналогичное рассмотрение можно провести и в случае неоднозначной функции h (ж), т. е. в том случае, когда одному и тому же значению h (я) соответствует несколько различных значений х. Один из возможных примеров представлен на фиг. 10.

Исходным соотношением является равенство

9- [h < /7< h + dh\ = eF [xj < X < x^ + dx1:

или x2< X <х2^ dx2, или . .., или xm < X < xm + dxm\.

Фиг. 10.

Можно показать, что при этом

gWdh-fM^^h + f^,)gWdh-fM^^h + f^,)dx2dhdx2dhdh^ ...dh^ ...... +/<хт^... +/<хт^Sr dh’dhSr dh’dh(81)(81)

gWdh-fM^^h + f^,)

gWdh-fM^^h + f^,)

dx2dh

dx2dh

dh^ ...

dh^ ...

... +/<хт^

... +/<хт^

Sr dh’dh

Sr dh’dh

(81)

(81)

или

g (h) dh = 2 fVxi (ft)]g (h) dh = 2 fVxi (ft)]^^-\dKdh |^^-\dKdh |(82)(82)

g (h) dh = 2 fVxi (ft)]

g (h) dh = 2 fVxi (ft)]

^^-\dKdh |

^^-\dKdh |

(82)

(82)

Распределение X2

Пусть Xi — независимые случайные величины, распределенные по нормальному закону с нулевым средним значением и единичным средним крадратичным отклонением.

Введем

ft .

(83)(83)U = 2 xii=l

(83)

(83)

и будем называть и случайной величиной %2 с к степенями свободы.

Сначала найдем распределение для функции h^v-x2, имея в виду, что

Hx\dx ——dx.'

1У 2л

Рассматриваемая функция является двузначной, поскольку h (х) = х2 = (— ж)2. Это означает, что существуют две обратные ей функции;

X1Q1) = V^' и ж2 (/i) = — У/i.

Их производные соответственно равны

12 УХ12 УХdxv (/t)1 dx^ (/t)

1

2 УХ

1

2 УХ

dh ~ 2 УХ И ^

Воспользуемся формулой (81) для получения плотности распределения по К. Тогда

g (h) dh^f [$1 (ft)] ахг (/г)X dh■ x тутg (h) dh^f [$1 (ft)] ахг (/г)X dh■ x тут<Zj?i (/г)dh<Zj?i (/г)dhdh-^f [ж2 (fo)] Xdh-^f [ж2 (fo)] Xdh^f^h^dh^f^h^12yx12yxdH^f^ — У ft) XdH^f^ — У ft) Xdh =[e"'V2 ^-/V2J _^_У2л2"|//idh =[e"'V2 ^-/V2J _^_У2л2"|//i

g (h) dh^f [$1 (ft)] ахг (/г)

X dh

■ x тут

g (h) dh^f [$1 (ft)] ахг (/г)

X dh

■ x тут

<Zj?i (/г)dh

<Zj?i (/г)dh

dh-^f [ж2 (fo)] X

dh-^f [ж2 (fo)] X

dh^f^h^

dh^f^h^

1

2yx

1

2yx

dH^f^ — У ft) X

dH^f^ — У ft) X

dh =[e"'V2 ^-/V2J _^_

У2л2"|//i

dh =[e"'V2 ^-/V2J _^_

У2л2"|//i

Делая дальнейшие преобразования, получаем g (h) dh = L_ /г-^-А/з ^ =

у 2л

= 1 ^-1/26-^72 dh =

( I 9“1,/a+i

(2

=dh, 0<.h<Coo, a!p«+i’=dh, 0<.h<Coo, a!p«+i’(84)(84)

=dh, 0<.h<Coo, a!p«+i’

=dh, 0<.h<Coo, a!p«+i’

(84)

(84)

где a = — Vz и p = 2.

Итак, g(h) представляет собой гамма-распределение, которое рассматривалось на стр. 47. В гл. 1, §6, было показано, что производящая функция моментов для гамма- распределения Мк (t) = (1 — pt)-a-1, или в данном случае

(85)

Из определения величины %ь [формула (83)] вытекает, что выражение для и можно переписать в виде

к

*и= 2 ^zi

г=1

т. е. представить как сумму независимых случайных величин с одинаковым гамма-распределением.

Таким образом,

Ми(П = 1Мк (^ = (l-2Z)-h/2.

Полученное выражение совпадает с (42), причем a = = (^/2) — 1, Р = 2. Это означает, что величина и имеет гамма-распределение с приведенными выше параметрами, т. е. -

ф ;-е-и/2, 0<;н^оо. (86) (А-4)!2«

Тем самым по существу найдено и распределение /|.

На фиг. 8 были изображены кривые, соответствующие значениям параметра a = 0, 1 и 3. Они представляют собой графики функции ф (м) соответственно при к = 2, 4, 8 с той лишь разницей, что масштаб по оси абсцисс должен быть удвоен (фиг. 11). Следует заметить, что

распределение достигает максимума при значении и, = = к — 2, а математическое ожидание величины и равно к.

Найдем математическое ожидание величины xL используя ПФМ:

М' ^ = (1-21Гк/2 •

Тогда

= к(1-2СГ№’'1

и

h:=8(xD=-^i=

Подобным же образом можно получить

3?(х1) = 2/с.

Случай неединичной дисперсии

Пусть величина ж распределена по нормальному закону ^(0, о2) вместо N (0, 1), т. е. ж~./У(0, о2). Тогда величина жг/о будет обладать единичной дисперсией, к

и выражение и — 2 ^t)oy вновь окажется величиной %1. i=i к.

В этом случае 2 жг — °^и представляет собой случайную г=1

величину ~ о2х1.

Преобразование нескольких случайных величин

Допустим, что необходимо преобразовать случайные величины

вв®1> ^2> • • • , Хп

в

в

^11 ^2, • • • , ^71,

причем hi = ht (^, ..., жп) при каждом I.

Совместная плотность вероятности Цх41 ...,хп), зависящая от Xi, преобразуется в новую плотность, зависящую от hi, посредством операции, которая является обобщением правила

g^ dh^j[x (Л)]g^ dh^j[x (Л)]dx (&) " dhdx (&) " dhdhdh

g^ dh^j[x (Л)]

g^ dh^j[x (Л)]

dx (&) " dh

dx (&) " dh

dh

dh

для случая одной переменной.

Прежде всего найдем обратное преобразованиеxt = xt (hb h2, ..., hn) = Xi (h).

Плотностью вероятности для hi является gQ4, ...,/?„) = /[^(h), ж2(Ь), ..., xn (h)] X

I 9 (x., a™, ,.., xCi

где | d (a-j, ..., x^d^, ..., /гп) | — абсолютное значение якобиана преобразования.

Определение. Линейным ортогональным преобразованием называется линейное преобразование

hi = 2 ^ijXj (i — 1, 2, . . . vjl^

3=1

при условии, что пП■

2м=3^.i= 1з= 1

Якобиан такого преобразования равен единице. Кроме того, если ■;-

^1 = О 2 $h

то для hly h3l .. ., hn имеем

n

Cij = 0 при i> 2.

В матричных обозначениях рассматриваемое преобразование имеет вид

h = Сх.

Поскольку должно выполняться соотношение

h'h = х'С'Сх = х'х,

то отсюда следует

С'С = I.

Такое преобразование эквивалентно вращению координатных осей в /4-мер пом евклидовом пространстве.

Сумма квадратов отклонений от среднего

Рассмотрим случайную выборку, содержащую п независимых величин xt из совокупности, которая подчиняется нормальному закону N(p, о2). Пусть выборочное среднее равно х.

Введем величину пп

w = ^ (xt— х)й =xl — n (ж)2.(88)

i=li=l

Чтобы найти распределение случайной величины ш, воспользуемся ортогональным линейным преобразованием. * Введем новую переменную

Остальные hi обладают следующим свойством:

§ <N = ^ (2 с^ = 2 с^ - р 2 си, т. е.

g(hi) — O при i>2.

Кроме того, пп

3«=24i= 1j=i

Из формулы (88) следует

^М — Н^ 2 М,i=li=2

где И, ~ N (0; о2) при I > 2.

Таким образом,

1

Это означает, что сумма квадратов отклонений от среднего пропорциональна случайной величине %2 с (и—1) степенями свободы. Грубо говоря, мы показали, что сумма квадратов п независимых нормально распределенных случайных величин (ж, — ж), т. е.

Ш= 2 (ж1 —ж)2,i= 1

эквивалентна сумме квадратов (н—1) независимых нормально распределенных случайных величин Н^.

" Появление зависимости случайных величин объясняет

ся тем, что п величин Zi = xt—ж связаны соотношением '

В общем случае число степеней свободы v распределения %2 для суммы квадратов типа (88) равно

V — п — Число линейных соотношений.

Выборочная дисперсия

Выборочная дисперсия s2 определяется следующим образом:

1=11=2

независимо от вида распределения величин hi или х;.

Так как g(/t;) = O, то g (hl) = о2 и, п

следовательно,

1п-\

У а2 = а2

г=2

при люоом распределении.

В случае нормального распределения

2

п — 1

(89)

причем

о (s2) = а21/ —, ' У п — 1

ГЛАВА ТРЕТЬЯ

Проверна гипотез

10. Критерий согласия %2 )

Рассмотрим сначала случайную величину ж, которая может принимать к возможных значений х^, . . ., х^. Это означает, что х обладает дискретным распределением. В случае непрерывного распределения к исходов можно определить подобно тому, как это сделано на фиг. 12, где к = 5.

ж, х2 х3 х4х5

Фиг. 12.

Пусть 9j = 1, когда, х = xt и 9^ = 0 в остальных случаях (гдег = 1, 2,к). Иными словами, 9г представля

ют собой случайные числа, подчиняющиеся условию к

г=1

В более общем случае, когда опыт повторяется п раз, введем величину 6tj, причем 9ZJ- = 1, если х = хг в /-м опыте, и 9;, = 0 в остальных случаях.

Полную частоту появления г, мы получим, просуммировав 0гу по полному числу опытов у = 1, 2, . . ., п, т. е.

и гг=2б^, i — 1, 2, .к. '(90)

j=i

Полученное выражение является прямым обобщением биномиального распределения с /с — 2; распределение величины г, называется полиномиальным распределением.

Запишем его в виде

- ^w^... Р;\(91)

к■

где if ^х = жг) = pt и ^п^п.

г=1

Выражение (90) для частоты гг подчеркивает тот факт, что каждое г^ является суммой большого числа п случайных величин б,,- с одинаковым распределением. Таким образом, для каждого rt справедлива центральная предельная теорема.

Важно отметить, что в том случае, когда величина г-, описывается полиномиальным распределением,- можно весьма точно определить скорость, с которой оно сходится к нормальному распределению.

Положим"

S (г^) = UPi = ИЦ.

Каждое из гг в отдельности распределено по биномиальному закону. Мы уже видели (стр. 23 и 26), что биномиальное распределение быстро сходится к распределению Пуассона со средним значением и дисперсией, равными ц = npi- В свою очередь распределение Пуассона сходится к нормальному распределению по мере возрастания ц, причем сходимость можно легко оценить. Для удобства мы можем считать, что при ц ^- 5 распределение Пуассона уже достаточно хорошо аппроксимирует нормальное распределение. На фиг. 13 изображено распределение Пуассона для случая ц = 5.

Таким образом, при nPi ^ 5 случайная величина г, распределена примерно по нормальному закону со средним значением npt и дисперсией пр^. Значит, распределе-

ние величины

= Tj — npi = Tj— mjVnPi Vmiпримерно совпадает с ^ (О, 1). Таким образом, величина

kА

^24=2^4^<93>

i—li=l

распределена примерно по закону %2.

Допустим, что мы хотим проверить гипотезу, состоящую в том, что (г^ = Ш; (I i, 2, . . ., к). Для этого вычислим величину и и посмотрим, настолько ли хорошо

согласие между г{ и т^, что и можно рассматривать как приемлемую выборку из распределения %2. Когда г, имеет распределение, у которого § (г;) не совпадает с величиной mt, проверяемой данной гипотезой, формула (93) будет предсказывать очень большое значение и.

Число степеней свободы

Выше было получено соотношениекг=1

связывающее к величин г^. Часто бывает известно, что распределение {рг} принадлежит к определенному классу,

однако полностью найти его не удается до тех пор, пока из экспериментальных данных не произведена оценка одного или нескольких параметров этого распределения. Если данные используются для оценки t параметров, то это подразумевает наличие t дополнительных соотношений, и, таким образом, число степеней свободы оказывается равным

v = к - 1 - I. (94)

Пример. Двадцать лет собирались сведения о количестве кавалеристов прусской армии, погибших в результате гибели под ними коня [4]. Эти данные основывались на ежегодных докладах десяти армейских корпусов, представленных за двадцать лет, что в целом составляет 200 донесений.

Обозначим через х число людей, погибших в одном корпусе за год. Соответствующие частоты гх даны в табл. 3.

Таблица 3

Число погибших офицеров, х

0

1

2

3

4

5

6

Всего

Число донесений гх с указанием х погибших

109

65

22

3

1

0

0

200

Ожидаемые (по

Пуассону) частоты тх

108,7

66,3

20,2

4,1

0,6

0,07

0,01

200

Из таблицы следует, что полное число погибших равно 0x 109 + 1x65 + 2x22 + 3x3 + 4x1 = 122. Таким образом, среднее число погибших в одном корпусе за год составляло 122/200 = 0,61. Проверим гипотезу о том, что эти данные описываются распределением Пуассона, т. е. что

+ (ж ^ = х^ ~ Pi — — .

Мы видим, что для полного определения pt нужно оценить параметр ц. Пусть этой оценкой будет выборочное среднее ц = 0,61.

Тогда для ожидаемых частот получаем

т. = nPi = гОО-О^Г-е-0’61-^)-1.

Эти значения приведены в третьей строке табл. 3. Поскольку ожидаемые частоты для ж О 2 малы, мы объединим последние четыре значения ж и составим новую табл. 4.

Таблица 4

ОС

0

1

2

^ з

Гх

109

65

22

4

108,7

66,3

20,2

4,8

Для проверки гипотезы вычислим

1(0,3)2 , (1,3)2 ,

(1,8)2(0,8)2

+ 20,2 + 4,8 —

Наблюдаемые частоты связаны двумя линейными соотношениями

2^-200 и 2^ = 122.

Второе соотношение обусловлено тем, что мы оценивали параметр ц по данной выборке. Таким образом, число степеней свободы равно v = 4 — 1 — 1=2. Следовательно, величина и должна быть распределена примерно как Хг> т. е. и ~ х".

Выясним теперь, не окажется ли величина и столь большой, что исходная гипотеза (о распределении Пуассона) неправдоподобна. Из таблиц распределения Хг (см., например, [7, 321) ^ находим, что с вероятностью 0,95

!) См. также табл. IV, стр. 258.— Прим. реЭ.

величина м должна лежать в интервале от 0 до 6,0. Поскольку значение м попадает в этот незначимый интервал, проверяемая гипотеза принимается.

Но, с другой стороны, если бы мы получили для и значение 6,1 или больше, то должны были бы считать его значимым. Дело в том, что если проверяемая гипотеза верна, то не более чем в 5 случаях из 100 величина и

Фиг. 14.

будет принимать столь большие значения. Мы говорим, что и = 6,0 есть 5%-ная граница распределения Ха-

Наряду с этим укажем и другие значения ^ соответствующие уровням значимости 1% и 0,1%:

1%1Ы = 9,2,[х|]о,1% = 13,8.

Рассмотренный пример иллюстрирует общую теорию проверки гипотез. Сначала по экспериментальным данным составляется функция и и на основе «нулевой гипотезы» Н вычисляется ее распределение. Затем проверяют, как изменится и, если гипотеза Н неверна. Обычно и в этом случае принимает намного большие значения.

На фиг. 14 изображены два распределения величины и, соответствующие двум конкурирующим гипотезам Я и Я. Если из опыта получается большое значение и, то можно сказать, что либо справедлива гипотеза Я, но произошло чрезвычайно маловероятное событие, либо более правде-

подобна справедливость гипотезы Н. Если оставаться в пределах одной лишь гипотезы, то результат следует признать значимым в том смысле, что он выходит за рамки обычного. Теория проверки гипотез позволяет оценить и неопределенность, присущую сделанному выводу.

Отвергая нулевую гипотезу Н, когда она справедлива, мы совершаем ошибку первого рода. Принимая нулевую гипотезу Н, в то время как на самом деле справедлива конкурирующая с ней гипотеза Н, мы совершаем ошибку второго рода (подробнее см. [27], гл. 12)

. Распределение t Стьюдентаи его применения

Начнем с примера. Пусть мы хотим проверить, действительно ли средний рост большой группы людей равен 167 см. В выборке из десяти человек рост распределился следующим образом:

160, 160, 167, 170, 173, 176, 178, 178, 181, 181.

*) Таким образом, при проверке нулевой гипотезы Н возможны следующие ситуации:

справедлива гипотеза Н и критерий допускает Я;

справедлива гипотеза Н, но критерий отвергает И;

справедлива гипотеза Н и критерий отвергает Н;

справедлива гипотеза Н, но критерий допускает Н.

Только в случаях 1 и 3 проверка гипотезы приводит к правильному результату. Вероятность ошибки первого рода (случай 2) численно равна уровню значимости а, задаваемому при проверке гипотезы. Если вероятность ошибки второго рода (случай 4) равна Р, то 1 — Р называют мощностью критерия. Часто мощность критерия удается увеличить лишь за счет увеличения а. Иными словами, возможен компромисс между уровнем значимости и мощностью критерия, причем иногда большая мощность оказывается существеннее малого а. В примере, приведенном на фиг. 14, ситуация оказывается именно такой. Действительно, пусть и — выборочная статистика. Тогда, если и > ма, мы отвергаем Н и принимаем И, и наоборот, если и < иа. Площадь под распределением Н вправо от иа равна уровню значимости а, т. е.^вероятности ошибки первого рода. Площадь под распределением Н влево от иа равна вероятности ошибки второго рода р, а вправо от ма — мощности критерия. Таким образом, чем больше а, тем больше 1 — р. Подробнее см., например, [45, 53, 57, 58], а также дополнение II. — Прим, ред,

Нулевая гипотеза состоит в предположении, что величина роста х распределена по нормальному закону со средним значением 167, и дисперсией ст2. Конкурирующая гипотеза Н заключается в допущении, что х ~ N (н, ст2), где ц > 167.

Выборочное среднее

ж =172,4.

Можно ли считать эту величину достаточно большой, чтобы оправдать принятие гипотезы Н, или тот факт, что ж >167, обусловлен, просто игрой случая?

Введем величину

2 = 1^О^>А?(95)

распределенную по закону W (0, 1).

Если бы дисперсия с!2 была известна, можно было бы воспользоваться таблицами нормального распределения вероятности и проверить, является ли z значимо большим нуля при условии, что ц = 167. Но так как мы не знаем величины ст2, то ее надо оценить с помощью выборочной дисперсии s2. Найдем

ю

.s2 = 2 ^^^^ = 62,9,

1

т. е.

вели-вели-s = 7,93.

вели-

вели-

Оценка среднеквадратичного отклонения для чины х:

(96)(96)По аналогии с z [формула (95)] введем величину t (ж— р) Д/п S*

(96)

(96)

■, Величина t служит критерием проверки, и нам необходимо вычислить ее распределение в предположении нулевой гипотезы.

6-254■ ’

Если переписать выражение (96) в виде

(97)(97)я —р L-. Л s2 _ N

(97)

(97)

Уу)Г / V оз" “"уу ’

то становится очевидным, что числитель N распределен по нормальному закону N (0, 1), а знаменатель U имеет распределение %^-У(п — 1)- Таким образом, t есть функция двух случайных величин N и U, чьи распределения известны, так что распределение величины t можно вычислить по известным правилам.

Запишем двумерную плотность распределения по N и U;

,-№/2 и г

У2л / w—1 У | 2(и-1)/2

при — сю у N ^ сю и 0 < Z7 < ОО.

Сначала преобразуем ее, положив hpN,U) = t = ^, MN, U) = U,

а затем вычислим плотность распределения g(t, Uy Интегрируя по U, получаем

fW-\g4,U)dtr=Y(98) ° L1; IJ

где t имеет (и — 1) степеней свободы, поскольку исходная величина Х^-х имела (и—1) степеней свободы.

В выражении (98) постоянная С равна

При п = 2 распределение (98) переходит в распределение Коши (33). В более общем случае у ^-распределения с v степенями свободы существуют только такие начальные моменты цг, для которых г <2 у,

В нашем примере

172,4-167,0

Если принять нулевую гипотезу, то оказывается, что с вероятностью 0,95 величина #э^1,83. Таким образом, наблюдаемое значение 2,15 является значимым при 5%-ном уровне значимости. На фиг. 15 изображена соответствующая плотность распределения / (f).

Итак, можно сделать вывод, что значение 167 вряд ли может служить надежной оценкой среднего роста группы людей.

Различие между двумя выборочными средними

Покажем теперь, как можно свести к предыдущему случаю несколько более сложную задачу. Пусть дана выборка из гц значений нормально распределенной величины ж и и2 значений нормально распределенной величины у. Предположим, что

. ac — N^v-i,^ и у ~ IV (р2, о2),

где величина о2 неизвестна, и мы хотим проверить гипотезу

Н1 — Д2-

Предположение относительно нормальности распределения указанных величин не входит в проверяемую гипотезу. Выборочные средние ж и у имеют соответствующие 6*

дисперсии: a^nt и а^Пг- Если бы величина а2 была известна, то мы могли бы вычислить

W =—4W =—4Х — У о2 о2 «1«2

W =—4

W =—4

и проверить, будет ли нормально распределенная величина w значимо отлична от нуля.

Когда а2 .неизвестна, мы воспользуемся объединенной оценкой о2, полученной из обеих выборок:

П1П2

2 (ж,—ч2+ 2 (z/i—у)2

s2 =.(101)

™Г7™2

Вместо и? мы используем статистику t с v = «1-|-n2-2 степенями свободы:

х — уо (г—у)х — уо (г—у)(102)(102)

х — у

о (г—у)

х — у

о (г—у)

(102)

(102)

Использование распределения t в (102) необходимо обосновать. Числитель этого выражения представляет собой разность двух нормально распределенных величин и, следовательно, тоже описывается нормальным распределением. Утверждение о том, что |11 = ц2, эквивалентно Ц1 — ц2 = 0, и тогда, согласно нулевой гипотезе, среднее значение числителя равно нулю. Необходимо также показать, что объединенная оценка s2 следует распределению %2, которое не зависит от (ж — у). Действительно, х не зависит от 2 fo ~ж)2, а у не зависит от 2 (Уг — У)2? значит, s2 не зависит от (ж — у). Кроме того,

т. е. ло существу надо доказать:

у 2 - I у 2у 2

1 1 ЛП2—1АП1+П2— 2‘

Производящие функции моментов для x^-i и %n2-i соответственно равны (1 — 2s)“("1^1)'/2 и (1 — 2s)-(И2-1)/2 (см. стр. 68). ПФМ суммы двух независимых случайных величин получается в результате перемножения соответствующих ПФМ слагаемых [формула (47)1, следовательно,

ПФМ (х^, + Х^) = (1 -

Стоящее справа выражение есть ПФМ величины %2 с (^ + л2 — 2) степенями свободы.

Пример. Требуется подвергнуть испытанию 13 образцов пряжи, чтобы выяснить, не изменяется ли при намокании ее способность к вытягиванию. Шесть произвольно отобранных образцов были проверены на растяжение, для чего подвешивался груз заданной величины. Их относительные удлинения (у) оказались равны (в %)

у = 12,3, 13,7, 10,4, 11,4, 14,9, 12,6.

Остальные семь образцов были тщательно намочены, после чего их относительные удлинения (ж) при такой же проверке с тем же грузом дали следующие результаты:

ж = 15,7, 10,3, 12,6, 14,5, 12,6, 13,8, 11,9.

При этом ж =13,06, у = 12,55, так что ж — у = 0,51.

Случайно ли полученное различие? Из приведенных данных следует 7- 6

2 (жг -13,Об)2 = 18,98; 3 (уг -12,55)2 = 12,86.

11

Отсюда

12,86+.18,98 =

11’

и оценка 3 (х — у) равна

2,89(1 + ^) =0,895,

что дает

о (ж — у) = 0,95.

Следовательно,

0,95“^’^’

Используя таблицы распределения t1), находим, что при # = 0,54 и v= 11

Р^=^ f(t)dt = 0,30.

Поскольку необходимо выяснить, не приводит ли намокание как к увеличению, так и к уменьшению длины пряжи, следует применить двухсторонний критерий:

P \t)= j f^dt^- J H^dt = 0,60.(103)

В необходимости двухстороннего критерия можно убедиться, заметив, что с самого начала лишь из соображений

удобства одна выборка была обозначена через х, а другая через у. Если поменять местами эти обозначения, то получилось бы х — у = —0,51. Поэтому в данной задаче большие отрицательные значения следовало бы считать так же значимыми, как и большие положительные (фиг. 16).

9 См., например, [32] (см. также табл. V, стр. 260.— Прим, ред.у

Соотношение (103) показывает, что даже если между двумя сравниваемыми партиями пряжи нет различия, мы будем в среднем получать величину t, равную или большую 0,54, примерно в шести из каждых десяти испытаний. Следовательно, нет оснований считать необычным полученный в данном случае результат. Таким образом, обнаруженная разница незначима.

Используемое в статистике выражение «сильно значимый» надо понимать как «оказавшийся за пределами разумных сомнений». Но то, что «оказалось», не следует автоматически рассматривать как нечто действительно важное или полезное.

Представим себе аналогичный, но больший по объему эксперимент. Пусть объем выборки возрос в 25 раз, и при этом обнаружена такая же разница (ж — у). Из выражения (102) видно, что новое значение t будет равно

f = 0,54 /25 = 2,7.

Двухсторонний критерий указывает, что эта величина значима при 2 %-ном уровне значимости. Имеется лишь один шанс из 50 наблюдать подобное или большее значение t, если на самом деле обе партии пряжи одинаковы. В этом случае мы предпочитаем говорить, что различие, вероятно, существует, и рассматривать (ж — у) = 0,51 в качестве наилучшей оценки величины (р-! — ц2).

Однако изготовитель пряжи еще мог бы рекламировать ее как не имеющую «заметной усадки» длины после намокания. Даже если во втором эксперименте обнаружится значимо отличная от нуля разница 0,51, он не сочтет, что это имеет существенное значение. В конце концов всегда можно считать себя введенным в заблуждение игрой случая, приведшей к такому значению I, которое встречается в одном случае из пятидесяти в подобной выборке большого объема при p,t — ц2 = 0.

Можно также представить, какими были бы наши выводы, если бы в первом опыте различие оказалось равным 5,1, а не 0,51. В этом случае t = 5,4 и оказывается сильно значимым. Такой результат уже не только значим, но и важен. Изготовитель теперь должен был бы обраба- Тдгвать всю пряжу прежде, чем пускать ее в продажу.

Доверительный интервал «'.tsueeiirilteeieeiriBsitsereeneiEi

Вернемся к исходной задаче п покажем, как можно представить полученный результат, используя понятие доверительного интервала.

Из таблицы распределения t с числом степеней свободы v = И получим

j / (t) dt = 0,025,

2,2 так что

j / (f) dt + j- / (t) dt = 0,05,

— oo2,2

т. e. случайная величина tn с вероятностью 0,95 заключена в интервале от —2,2 до +2,2. Допустим, что действительное различие между ц, и ц2 есть некоторая постоянная

—ц2.(Ю4)

Тогда

+=++ = <„(105)

и

-2,2<^^+=^L<2,2(106)

гИ2

с вероятностью 0,95. В выражении (106) случайными величинами являются, конечно, не 6, а ж, у и s2.

Перепишем формулу (106) в виде

(ж —у) —2,2s i/^+^<6 + (;(:-y) + 2,2Sj/+

(Ю7)

с вероятностью 0,95. Этим вновь подчеркивается, что именно крайние точки интервала искомых значений представляют собой случайные величины. Подставив найден-

ные значения, получим

0,51 - 2,08 = -1,57 < 6 < 2,59 - 0,51 + 2,08. (108)

Строго говоря, смысл неравенств (108) заключается

в том, что интервал

(-1,57; 2,59)(109)

с вероятностью 0,95 содержит истинное значение 6. Поскольку этот интервал включает нуль, мы говорим, что найденное значение (ж — у) с вероятностью 0,95 незначимо отлично от нуля. Интервал (109) называется 95 %-ним доверительным интервалом для величины 6 (или интервалом, соответствующим доверительной вероятности 0,95). ■

Как уже говорилось, физики обычно предпочитают приводить результат ± одно среднеквадратичное отклонение; в соответствии с этим

б = (ж —у) ± о (ж —у) = 0,51 ± 0,95.

По существу такая запись содержит указание доверительного интервала

-0,44 < б < 1,46.-0,44 < б < 1,46.(109а)(109а)

-0,44 < б < 1,46.

-0,44 < б < 1,46.

(109а)

(109а)

Из таблиц распределения t следует, что доверительный интервал полушириной в одно среднеквадратичное отклонение содержит истинный результат с вероятностью всего 0,66.

Утверждение (109а) может оказаться несправедливым с вероятностью 0,34, в то время как утверждение (108) несправедливо лишь с вероятностью 0,05.

В рассмотренном выше гипотетическом втором эксперименте 95%-ный доверительный интервал равен

0,51-^ = 0,09<бС0,93 = 0,51 + ^ . (110)

Вероятность того, что истинное значение б заключено в максимально возможном не содержащем нуль интервале 0'< 6 << 1,02, равна 0,98.

§ 12. Анализ сделанных предположений

Специальный характер распределений. Наиболее очевидное предположение, использованное выше, заключается в том, что случайные величины считались распределенными по нормальному закону. Позже будет показано, как можно провести грубую проверку нормальности распределения, используя специальную вероятностную бумагу.

Равенство дисперсий.Менее очевидно сделанное на стр. 83 предположение о том, что два нормальных распределения имеют одну и ту же дисперсию о2. Ниже будет показано, как построить критерий проверки для отношения двух дисперсий

о| '

Мы могли бы углубиться в анализ, обнаружив при этом проблемы и методологического характера.

Рандомизация. Предположим, что в шляпу опущено 13 номеров, которые соответствуют 13 различным образцам пряжи. Шляпа хорошенько встряхивается, и из нее вынимают шесть номеров, чтобы решить, какие из образцов должны первыми подвергнуться проверке. Могло случиться, что среди оставшихся семи образцов оказалось несколько таких, которые по своей природе склонны к заметному растяжению независимо от того, намачивали их или нет. Иными словами, сам факт проведения рандомизации мог бы способствовать решению вопроса благодаря пристрастному выбору для намачивания семи образцов. Можно ли с научной точки зрения допустить, что процедура перемешивания номеров в шляпе влияет на исход эксперимента? Ответ заключается в том, что: а) отсутствие рандомизации не гарантирует от возможной ошибки из-за наличия семи «растягивающихся» образцов пряжи; б) лучше всего, чтобы ошибка могла проявиться равновероятным образом в обеих выборках.

Априорное знание. Выше мы действовали так, как если бы величина 6 — pt — ц2 была абсолютно неизвест-

на. Однако экспериментатор мог бы сказать, что маловероятно, чтобы, например, | 6 ] 2> 100; таким образом, уже до начала эксперимента мы обладаем некоторой априорной информацией относительно величины 6. Хотя мы и не использовали это априорное знание, кто-то мог бы предложить метод анализа, в котором такое знание используется; это позволило бы на основании тех же экспериментальных данных сделать более точное заключение.

В идеальном случае необходима процедура вычисления, которая строго была бы математически эквивалентна следующему утверждению:

(Априорное знание)-[-(Результаты эксперимента)—*

—> (Апостериорное знание).

Этой цели служит теорема Бейеса, изложенная на стр. 138.

Смысл <^ || < | > | <о |]. Пусть получено значение t = 0,54. Пытаясь выяснить значимость такого результата, мы вычисляем вероятность получить | И = I ^о | = = 0,54 плюс вероятность получить | i | > 0,54. Почему мы учитываем вероятность второго события, которое не происходило?

Проблема закона Научной индукции. Существует и эта фундаментальная проблема. Любой вывод, основанный на статистическом анализе, зависит от эксперимента, проведенного в прошлом. Насколько можно быть уверенным в том, что любой из открытых «законов» природы останется незыблемым в будущем?

Очевидно, что подобная проблема выходит за рамки содержания книги.

Первые два из перечисленных вопросов будут кратко рассмотрены ниже х). Вопрос 4 разбирается в гл. 4, посвященной принципу максимального правдоподобия.

Вопросу критериев проверки нормальности распределения посвящен § 5.5 книги Диксона и Месси [9]. Общее обсуждение проблемы дано в первой части гл. 10 книги Арлея и Буха [1]. В гл. 4 книги Кроу и др. [7) рассмотрен ряд наиболее современных критериев проверки.

Использование вероятностной бумаги для проверки распределения внутри выборки

На фиг. 5 (стр. 31) была изображена S-образная кривая накопленной нормальной вероятности. Функцию F (ж) можно интерпретировать следующим образом.

Выберем значение ж; доля значений случайной величины X ^ х в очень большой (практически бесконечной) выборке равна F (ж). В случае выборки конечного объема п положение различных точек на кривой F (ж) можно оценить, вычисляя доли выборки, которые содержат величины, не превышающие х. Получается упорядоченная, выборка'.

— ОО <Ж(1) <Ж(2) < • • . <Ж(П-1) < XW < ОО. (111) Функция распределения накопленной вероятности имеет вид -

= ( e-^№2dt. '

' V ' "|/2л ст J

Если имеется (^+1) интервалов

( — ОО, Ж(1)), (Ж(1), Ж(2)), . .., (ж(п_!), Х^, (х№, ос), (112) то обычно говорят, что- на каждый интервал приходится Min + 1) часть выборки. Таким образом, на долю значений <^ж(ц приходится Min + 1) часть выборки, т. е. Min + 1) есть оценка F (^ц); доля выборки, в которой X ж<2), равна 2/(n + 1); . . .; доля выборки, в которой X ^ xwi равна пЦп + 1). Таким образом, in + l)/(n + 1) есть точное значение F (сю). Поэтому условимся оценивать кривую F (ж) точками

[ж; F(^)] = Fx(i); —, i = 1, 2, . . ., п. (ИЗ)

Строго говоря, надо было бы написать

показывая тем самым, что F = ilin + 1) заранее фиксировано и х^ служит оценкой для х iF) = x\i/in + 1)]. Доказательство того, что'ж(ц является хорошей оценкой,

довольно сложно и основано на том, что

1^)]=^(114)

для всех случайных величин, имеющих непрерывное распределение. Соотношение (114) не зависит от характера распределения, т. е. является непараметрическим.

Линеаризация кривой

Сравнение небольшого числа точек на графике с теоретической S-образной кривой весьма затруднительно.

Поэтому кривую F (ж) линеаризуют, преобразуя масштаб по оси ординат Ц?\ После этого значительно проще сравнивать отдельные точки с прямой линией.

Преобразуем шкалу F в интервале от 0 до 1 в новую шкалу по у в интервале от —оо до + оо; для этого запишем

F = f _^_ e-w ds.(115)

J "1/2л

Это уравнение следует решить относительно у (F^ при заданном F. Допустим, что ж подчиняется нормальному распределению со средним значением ц и среднеквадратичным отклонением о; тогда уравнение кривой F (ж) в новой шкале будет иметь вид

Ц1Г А А Г* V

у =(И6)

(фиг. 17). На фиг. 17 видно, как расположились три точки А, В и С после преобразования кривой (см. фиг. 5). Обычно на такой графической бумаге указывается только преобразованная шкала F, так что соответствующие значения у откладываются автоматически вместо того, чтобы решать уравнение (115) для каждого F.

Пример. Мы можем расположить результаты случайной выборки (см. стр. 85) в возрастающем порядке и иметь дело с порядковой статистикой. Соответствующие значения Fay приведены в табл. 5.

Таблица 5

г

F

У

1

10,3

0,125

—1,150

2

11,9

0,250

—0,674

3

12,6

0,375

—0,319

4

12,6

0,500

0

5

13,8

0,625

0,319

6

14,5

0,750

0,674

7

15,7

0,875

1,150

Значения у получены с помощью стандартных статистических таблиц г). На фиг. 18 порядковая статистика

]) См., например, [321 (см- также табл. II и III стр. 256 и

257,— Прим. ре&.у

изображена на вероятностной бумаге для нормального распределения. Линейный характер расположения точек на этом графике свидетельствует о том, что выборка распределена приблизительно по нормальному закону. Проведя на глаз прямую линию через точки, получаем следующие оценки:

ц2. = 13s08, ст2 = 2,20.

Эти значения можно сравнить с оценками, полученными на стр. 85:

ц= 13,06, о = / -1^8 = 1,78.

§ 13. Распределение ^ Фишера

Для проверки, не являются ли значимо различными средние значения двух нормальных выборок, можно использовать критерий t. Когда необходимо проверить, не являются ли значимо различными дисперсии двух нормальных выборок, применяется критерий JF. Допустим, что s2 представляет собой оценку дисперсии о2; более точно

(И7)

Сравним эту величину с независимой оценкой s2 дисперсии о2, причем

Проверяемая гипотеза состоит в том, что

■0^ = 0^ = о2.

Согласно этой гипотезе, и s2 и s2 представляют собой оценки дисперсии а2.

При использовании распределения t для проверки различия между двумя выборочными средними целесообразно полагать, что t пропорционально разности этих величин

t = k^! — ж2).

Таким образом, статистика, на основе которой строится критерий проверки, не зависит от неизвестного параметра ц, характеризующего положение выборки.

При сравнении двух выборочных дисперсий удобно подвергнуть проверке их отношение.

Введем величину

,2

^.1,х4 = ^.(119)

Чтобы найти распределение ^^ можно воспользоваться тем фактом, что

(120)(120)8? О^ЛЧ _ %^/Visi ~ <T2Xv2/V2 ~ Xv2/V2

(120)

(120)

не зависит от неизвестного параметра ст2. Поскольку обе величины %2 в выражении (120) делятся на соответствующие числа степеней свободы, то и числитель и знаменатель оказываются порядка единицы. Следовательно, плотность распределения JF будет группироваться в окрестности единицы.

Нам нужно найти плотность вероятности функции двух независимых случайных величин Xvi и %v2- Дело в сущности сводится к решению простой задачи на применение правил вычисления плотности вероятности функции случайных величин (см. стр. 69). Результат дается формулой (127), промежуточные выкладки могут быть при первом чтении опущены.

Введем для удобства обозначения

P=X=V1 и W = X^

и, кроме того, обозначим m = v1, ra = v2. Совместная плотность вероятности двух переменных V и W равна

*) 2

11— -1

(121)

С1)!

Введем новую переменную

п V т W 'п V т W '(122)(122)

п V т W '

п V т W '

(122)

(122)

Для проведения вычислений указанным методом необходимо, чтобы число новых переменных равнялось числу старых. Поэтому, кроме введем еще

V = V.

7-254

Теперь необходимо выразить в новых переменных старые. Поскольку 7 = 7 и

W = —(123)

т д

то якобиан перехода будет равен

д (V, W)

дУ дУ

av

ЗУ

0

1

— n[124]

д ^, V)

aw

aw

n V

n 1

ag=

av

m ^^

m ff

Подставим в соотношение (121) вместо 7 и W их выражения через у и 7 (123) и полученный результат умножим на абсолютное значение якобиана (124). Мы получим плотность вероятности в переменных JF и 7

^ \^2 222^-1 у nVI_2e 12. (125)Г-* 'h—* 1 .^^ \^2 222^-1 у nVI_2e 12. (125)Г-* 'h—* 1 .^q^, Т)=р[Т(^, 7), W(^, к»|-^^ n-f-m

^ \^2 222^-1 у nV

I_2e 12. (125)

Г-* 'h—* 1 .^

^ \^2 222^-1 у nV

I_2e 12. (125)

Г-* 'h—* 1 .^

Проинтегрировав это выражение по 7, получим маргинальное (безусловное) распределение величины 5р. Итак,

j 5CF, 7)с/7.(126)

о

Основная часть интегрирования сводится к вычислению [см. (41)]

j 7ае-^/3 с/7 = а!р«+1,о

где

2mg- + п

В итоге

г^ =(127)

(.т^ + п) 2

причем

Г (/__гА\

С-=(128)г ( — \ г \ 2 /\ 2 /С-=(128)г ( — \ г \ 2 /\ 2 /На фиг. 19 изображена функция г^\ По своему виду она аналогична распределению Хт при малых значенияхНа фиг. 19 изображена функция г^\ По своему виду она аналогична распределению Хт при малых значениях

С-=(128)

г ( — \ г \ 2 /\ 2 /

С-=(128)

г ( — \ г \ 2 /\ 2 /

На фиг. 19 изображена функция г^\ По своему виду она аналогична распределению Хт при малых значениях

На фиг. 19 изображена функция г^\ По своему виду она аналогична распределению Хт при малых значениях

V = Xm- Действительно, плотность вероятностиV = Xm- Действительно, плотность вероятностикак следует из формулы (86),как следует из формулы (86),

V = Xm- Действительно, плотность вероятности

V = Xm- Действительно, плотность вероятности

как следует из формулы (86),

как следует из формулы (86),

s(^) =s(^) =1C'V 21C'V 2ev^ev^

s(^) =

s(^) =

1

C'V 2

1

C'V 2

ev^

ev^

Однако у распределения JF заметен более длинный «хвост»). Это означает, что величины, соответствующие достаточно высокому уровню’вероятности, будут располагаться значительно правее моды распределения. Так, при m = 12 и п = 6 мода соответствует значению ^ = 0,625, в то время как 5%-ная граница соответствует значению S7 = 4,0. Иными словами, для значимого различия при 5 %-ном уровне значимости s, в 4 раза должно превышать ^. Такое различие может показаться чрезмерно большим. Однако столь большое значение JF вполне разумно, если вспомнить, что s®/s® > 4 означает всего лишь st/s2 "> 2.

Пример. В задаче, приведенной на стр. 85, рассматривались две партии пряжи. Были получены следующие значения выборочных дисперсий для величин растяжения пряжи под нагрузкой:

S2=J^98 =3)16

4 == 2,57.

Значимо ли различие этих величин? Находим отношение ^:

3^6,53^6,52 Зх25У2 Зх25У3,162,573,162,571,23.1,23.

3^6,5

3^6,5

2 Зх

2

5У

2 Зх

2

5У

3,16

2,57

3,16

2,57

1,23.

1,23.

Вероятности 0,95 соответствует значение ^6,5, равное 4,95; таким образом, значение 1,23 незначимо отлично от единицы.

Применение критерия ^ к решению задачи•

о проведении кривой по точкам

Важнейшее применение критерия ^ связано с рассмотрением отношения двух независимых оценок дисперсии а2 из одной и той же выборки.

Пусть необходимо произвести оценку величины а, причем можно построить сумму квадратов

s, = Да3 + о2 —,1

где V следует распределению Хт- Если величина W дает независимую оценку о2, так что s^^o^WIn (причем W следует распределению Хп), т0 можно подвергнуть проверке отношение

V О2 +^2 о 1НЬ\J

Т = а» w ~ ^пп.

Нетрудно видеть, что отношение (129) имеет распределение S' в том и только в том случае, когда а = 0. С дру-

гой стороны, если а ^ 0, это отношение будет принимать значения, много большие единицы, при условии, что к достаточно велико. Детальный анализ показывает, что к растет по мере увеличения объема эксперимента, так что более обширный эксперимент обеспечивает более мощный критерий проверки нулевой гипотезы а = 0.

Выражение (129) указывает на общую структуру критериев, объединенных общим наименованием дисперсионный анализ ). Это наименование может несколько вводить в заблуждение, поскольку чаще всего интерес представляет не дисперсия о, а параметр а. Пусть, например, необходимо аппроксимировать экспериментальные точки некоторой кривой, и мы используем для аппроксимации следующую форму:

У = «о + «^ + а2ж2 + . . . + a^7" + е. (130)

Здесь е — ошибка с дисперсией о2, а значение г нам неизвестно. Мощным методом решений этой задачи является критерий «^ с помощью которого проверяется значимость коэффициента ат. Именно в такой постановке критерий ^ будет нами использован в дальнейшем при изложении метода наименьших квадратов 2).

ГЛАВА ЧЕТВЕРТАЯ

Принципмаксимального правдоподобия^

Функция правдоподобия

Оценка параметров составляет основную цель всех научных исследований, и часто подходящим средством для получения таких оценок оказывается принцип (или метод) максимального правдоподобия. Дальнейшее применение этого метода позволяет найти приближенные ошибки полученных оценок. Можно показать, что в большинстве случаев эти ошибки оказываются меньше, нежели при любых других методах оценки параметров.

Подход к оценкам, основанным на методе максимального правдоподобия, мы изложим в три этапа. На первом, проиллюстрированном двумя примерами, рассматриваются дискретная случайная величина т и неизвестный параметр р, принимающий конечное число возможных значений. На втором этапе величина г остается по-прежнему дискретной, а параметр р будет непрерывным и в рассмотренном примере заключен в интервале O^p^l. И наконец, в третьем случае непрерывными будут как случайная величина ж, так и неизвестный параметр ц, причем — оо < р < оо.

Биномиальное распределение

Пусть имеются две урны, содержащие каждая черные и белые шары. В урне А на каждый белый шар приходится три черных, в урне В на каждый черный шар приходится три белых. Сначала произвольно выбирается одна из урн, а затем из нее вынимаются (с последующим возвращением) три шара. Вероятность того, что среди этих

шаров окажется г черных, равна [см. формулу (8)] ^W = Qpr(i-p)3’r,(131)

где р = 3/4 для урны А и р = V4 для урны В.

Задача состоит в оценке параметра р на основании произведенной выборки.

В табл. 6 приведены значения <^ (г, р) для всех возможных г и двух значений р, вычисленные по формуле (131).v J

Таблица 6

Г

0

1

2

3

(г, 3/^

& (Г, 1/4)

1/64 27/64.

9/64

27/64

27/64

9/64

27/64

1/64

Предположим, что среди трех шаров черного не оказалось, т. е. г = 0. В этом случае мы делаем заключение, что полученный результат должен был наблюдаться в 27 раз с большей вероятностью при р = V4, нежели при р = 3/4. В общем можно утверждать, что наиболее

Таблица 7

Г

0

1

2

3

^(г, Пю)

0,729

0,243

0,027

0,001

•^(^ 2/ю)

0,512

0,384

0,096

0,008

3° (г, з/10)

0,343

0,441

0,189

0,027

(Г, 4/10)

0*,216

0,432

0,288

0,064

3й V, 5Ло)

0,125

0,375

0,375

0,125

^ (г, 6/ю)

0,064

0,288

0,432

0,216

(Г, 7/10)

0,027

0,189.

0,441

0,343

•^(r, 8/10)

0,008

0,096

0,384

0,512

9й (г, »/10)

0,001

0,027

0,243

0,729

правдоподобной оценкой параметра р будет 1/4, если г = 0 или 1, и 3/4, если г = 2 или 3.

Мы можем обобщить эту задачу на случай, когда возможные значения р равны 0,1; 0,2; . . .; 0,9, предположив, что произвольно выбирается одна из девяти урн, в каждой из которых находится необходимая смесь белых и черных шаров.

В табл. 7 содержатся значения биномиальных вероятностей, относящиеся к указанному примеру [29].

Как и в предыдущем случае, для каждого возможного значения г существует набор значений Чю, а/ю> • • -, 9Ло рассматриваемого параметра р. Мы выбираем значение р, которое с наибольшей вероятностью должно приводить к появлению данного результата.

В табл. 8 приведены оценки р, основанные на принципе максимального правдоподобия.

Непрерывный параметр

Вообще говоря, можно допустить, что в урне имеется совершенно неизвестная смесь черных и белых шаров, так что р может принимать любое значение от 0 до 1.

Функция

Цр^1^ = ^рт^~рГт (132) при известном г и неизвестном р называется функцией правдоподобия для параметра р. Например, при г=1 ((р|1) = 3р(1-р)«.(133)

Чтобы найти величину р, которая с наибольшей вероятностью приводит к наблюдаемому значению г = 1, необходимо определить, при каком р выражение (133) достигает максимума. Когда параметр непрерывен, максимум

функции правдоподобия можно найти, как обычно, посредством дифференцирования. При этом

^■ = 3(l-p)2-6p(l-p) = 3(3p’-4p+l) = 0, откуда следует

Заметим, что множитель 3 в выражении (133) оказывается общим для всех р, поэтому в функции правдоподобия его можно опустить и, как правило, вместо С^р1" (1 — р)п~г пишут

Цр\г^ = рЧ1-рГг. .(134)

В общем случае биномиального параметра выражение (134) достигает максимума при

(135)

[см. также (27)].

Широко используется также логарифмическая функция правдоподобия, представляющая собой иную запись (134): L (р | г) = In I (р | г) = г In р + (л — г) In (1 — р). (136) Максимум функции L (р | г) достигается при том же значении р, что и максимум функции 1(р\гУ Следует отметить, что отбрасывание постоянного множителя у функции I (р | г) эквивалентно добавлению к L (р | г) (или вычитанию) постоянной.

Параметры непрерывного распределения

Допустим, что случайная величина ж имеет непрерывное распределение с плотностью / (ж [ 6), причем 6 — единственный параметр. Тогда распределение вероятности для выборки объема п будет иметь вид

д1Р («!, Ж2, • • • , Жп) = П / (Ж* I 6) ^i-(137)

1=1

Если величины жг известны, а 9 неизвестна, то функция правдоподобия для 9 имеет вид

/(9|х) = Q /(^ 19)(138)

(множитель Ц^ опущен, так как он не зависит от 9); логарифмическая функция правдоподобия для 9:

£(9|х)= § 1п/(ж;|9).

1

Пример. Пусть случайная величина распределена по нормальному закону с единичной дисперсией и неизвестным средним значением, т. е.

Тогда

Z^jx)^^5^^^272(139)

[множитель (2л)-п/2 опущен], а

Функция L (р) представляет собой квадратичную параболу по переменной ц для любого п. Эта функция достигает максимума при таком значении р, для которого минимальна сумма

S (ж,-ц)2. 1= 1

Мы получаем результат, хорошо известный из «метода наименьших квадратов»:■

i=l

Случай неизвестной дисперсии. Если в рассмотренном выше примере дисперсия распределения неизвестна, то вод-

никает двухпараметрическая задача. В этом случае

,_ (*-Ц)а

Цх I и, о2) = —е 202 .

' У2па2

Следовательно,

2(*г-ц)2 /(p,o2|x) = (o2)“"/2^202,(140)

а

£ (щ о! | х) = - у In д* - ^ |1'2~г11)8 ■(140')

Необходимо найти пару значений (р, о2), которые с наибольшей вероятностью приводили бы к наблюдаемым результатам. Для этого нужно решить совместно два уравнения:

52v л dL zx — = 0 и = 0. 5рдо2

Согласно (140'),

ijr^^S — ^ = 0;

следовательно, р, = х.

Далее из формулы (140')

следовательно,

Как видно, о2 оказываетсй несколько смещенной оценкой дисперсии о2, поскольку

^Й-^а2(142)

[ср. формулу (89)].

Равномерное распределение. В этом случае

/ (ж | а, 6)

1

5 — а ’

х^<Ь.

Упорядочим выборку, расположив ее элементы в порядке возрастания:

Ж(1) 0(2) < . . . <Т(п-1) <^(п),

так что а^х^, Ь> х^. Функция правдоподобия двух параметров а и 6 изображена на фиг. 20.■

Очевидно, что

Z(O|x) = ^l^n", а<хиъ

6>ж(п).

Этот пример выбран для того, чтобы показать, что максимум функции правдоподобия не всегда удается найти

дифференцированием, даже если параметры непрерывны в некоторой области. На фиг. 20 указаны контуры функции правдоподобия. Эта функция достигает максимума при наименьшем из возможных значений ее знаменателя, т. е. когда

Ъ = Ж(п) — Ъ,

■а = ж<1) = а.

Оставшаяся часть упорядоченной выборки {«J

'^2^3■ • * "^ (n— 1)

уже не добавляет информации к оценкам а и Ъ.

Поскольку вся информация, которую несет выборка относительно оценок параметров а и Ъ, заключена в элементах ж(1) и ж(П), последние называют достаточными для а и Ь. Если получение выборки преследовало лишь единственную цель оценить а и 6, то все промежуточные элементы не представляют интереса и могут быть отброшены. •

Достаточные статистики ’)

В примере с нормальным распределением мы видели ЧТО ЦИН3 ЯВЛЯЮТСЯ функциями 2 ж= и 2 ^1- Нельзя ли извлечь какую-либо полезную информацию и из других функций от исходных величин, таких, например, как 2 I жг h или 2 ^t или (ж(п) —Ж(1))? Мы увидим, что относительно ц и а вообще нельзя получить никаких дополнительных сведений, и фактически, коль скоро известны 2 ж; и 2жп т0 исходная выборка {ж,} может быть «уничтожена». Мы называем 2 жг и 2 ж4 достаточными статистиками, а любые оценки параметров, зависящих от 2 $i и 2 жь представляют собой достаточные оценки. (Тем не менее для решения вопроса о том, какими функциями от 2 ^i и 2 ^г нужно пользоваться, могут оказаться необходимы иные критерии.)

’) При первом чтении этот раздел можно опустить.

Пусть имеется выборка ^t, ,. . , хп из генеральной совокупности с плотностью вероятности /(ж|0). В качестве оценки параметра используется функция этих данных

0^0 (х).

Совместная плотность распределения выборки:

П №16)- г=1

Предположим, что эту функцию можно.разложить на множители ■

п

П/(^|0) = g(x|0)^(0|O),(143)

г=1

где g (х | 0) — функция только от х и не зависит от 0. Из формулы (143) следует, что g (х | 0) есть условное распределение х при заданном значении 0 (х). Поскольку параметр 0 уже не входит в это распределение, функцию g (х 10) нельзя использовать для получения информации относительно 0. Аналогично множитель h (0 ^ 0) зависит от х только через посредство 0 (х), так что в 0 должна содержаться вся информация, касающаяся оценки 0.

Пример. Пусть

,(х~Р)2

есть плотность распределения с единственным неизвестным параметром ц. Плотность распределения для выборки имеет вид

[] f (ж, | ц) = (2n)-n/2e2=

i=l

np2-2pSxj

= (2л)-п/2е"^^/2 е 2.(144)

Из сопоставления формул (144) и (143) следует, что 2 t$ является достаточной статистикой для ц, и поэтому

представляет собой достаточную оценку. Величина 2 ж4 в формуле (144) не имеет отношения к оценке ц.

Не в каждой задаче оценки параметров имеется достаточная статистика, но когда у параметра существует достаточная оценка, метод максимального правдоподобия дает именно эту оценку.

Графический анализ функции правдоподобия

Одно из достоинств использования функции правдоподобия при анализе экспериментальных данных состоит в том, что часто удается найти графический вид этой функции и тем самым наглядно представить полученный результат. Этот метод неудобен, если имеется три или большее число параметров, оценки которых не независимы.

Допустим, что имеется один неизвестный параметр 9. Изобразив графически функцию I (0) или функцию L (0) = In I (0), можно сразу же найти значение 0=0, которому соответствует «наивысшая» точка кривой. Это избавляет нас от трудоемких численных расчетов в тех случаях, когда соответствующее максимуму значение 6 не может быть найдено аналитически и приходится прибегать к итерациям. Кроме того, используя график, можно тотчас указать доверительный интервал или ошибку полученной оценки, проведя на графике соответствующую линию. Все это будет видно из дальнейшего.

В том случае, когда имеется два параметра 0 и ф, функция правдоподобия представляет собой поверхность, контуры которой можно изобразить на плоскости (0, ср), как это было сделано на фиг. 20. При этом вновь без труда можно найти точку максимального правдоподобия. Обычно, когда максимум расположен внутри допустимой области, контурами равного правдоподобия являются замкнутые кривые (см. фиг. 27, стр. 135). В этом случае двумерным доверительным интервалом служит область, охватываемая контуром.

Случай дискретного параметра

В примере, рассмотренном на стр. 103, был найден набор функций правдоподобия биномиального параметра р для всевозможных результатов эксперимента. Функ

ции правдоподобия для г = 0 и г = 1 изображены графически на фиг. 21. Из фиг. 21 (вверху) видно, чтор = г/10. Кроме того, мы могли бы определить, насколько значение Vio более вероятно, нежели ближайшее к нему значение а/ю- Поскольку подобный вопрос возникает часто,

целесообразно нанести функцию L (р [0) = In I (р ] 0), дающую ответ непосредственно. Такая функция особенно полезна в случае непрерывного параметра. В данном примере значение р = 1/10 всего в 1,5 раза более вероятно, чем р = 2/10, так что эксперимент малого объема не позволяет получить достаточно надежного разделения. В логарифмическом масштабе мы получили бы

В случае, изображенном на фиг. 21 (внизу), р — 3/10, но почти столь же вероятно и р = 4/10. Действительно, набор значений 2/10, 3/10, 4/10 и 5/10 можно грубо рассматривать как доверительный интервал, который с большой вероятностью содержит истинное значение р. В следующем разделе будет дано более точное выражение этого утверждения. '

Случай непрерывного параметра

Пусть имеется нормальное распределение с единичной дисперсией и неизвестным параметром ц. Функция правдоподобия ц, полученная из выборки объема п, имеет вид

S(X—H,)2

Z (ц j х) = е 2.

Она представляет собой такую же колоколообразную кривую, что и плотность вероятности с центром в точке ц = ж. В данном случае удобнее иметь дело с логарифмической функцией правдоподобия

£(NX) = — у 2 {xi — ц)2.(145)

К выражению (145) можно добавить любую произвольную постоянную, не содержащую ц. Если в качестве такой постоянной взять.

У [3 ^i "п (ж)2] ,

то мы получим функцию

L(p|x)=-^-(p-^)2,(146)

представляющую собой параболу, ширина которой растет пропорционально V п, а максимум, равный нулю, расположен при ц = ж. Если п=1, то

£(ц | ж) = — -|-(н — ж).(147)

Эта функция изображена на фиг. 22.Эта функция изображена на фиг. 22.

Эта функция изображена на фиг. 22.

Эта функция изображена на фиг. 22.

(148)(148)Подобный график лежит в основе анализа большого класса функций правдоподобия, которые зависят от одного параметра и обладают следующими свойствами:

(148)

(148)

характеризует доверительный интервал

(ж — а) ^ р -^ (ж + а),(149)

который часто записывают в виде

р = ж + а,

где а — среднеквадратичное отклонение.

Согласно свойствам нормального распределения, выражению (149) соответствует доверительная вероятность, равная 68,3%. Аналогично отрезок прямой, проведенной на уровне L — — 2, соответствует 95 %-ному доверительному интервалу (на самом деле 95,5%-ному, так как в случае нормального распределения 95%-ному доверительному интервалу соответствует L = —1,96, а не —2,0).

Приведем теперь нестрогое доказательство теоремы, имеющей важное практическое значение. Но сначала докажем лемму.

лемма. Пусть g (р) — любая однозначная функция р. Тогда функция правдоподобия для go = g (ро) совпадает с функцией правдоподобия для р0.

Переформулируем лемму с тем, чтобы провести доказательство менее формально. Функция правдоподобия для р0 характеризует возможность «объяснить» р0 с помощью имеющихся данных. Если преобразовать неизвестный параметр р с помощью взаимно однозначного соответствия в параметр g новой шкалы, то величина g0 будет точно соответствовать величине р0 по старой шкале. В этом случае g0 в той же степени, что и р0, позволяет «объяснить» имеющиеся данные и, следовательно, имеет ту же функцию правдоподобия, что и р0.

Доказательство. По определению функция правдоподобия для Ро

11 (Ро ] ж) = ^ (ж | р0).

Но ^ (ж | Ро) = ^ (ж [ ^0), поскольку е^(ж|р0) ПОЛНОСТЬЮ определено, если известно р0; g0 можно вычислить, зная Ро, а ^ (ж | go") полностью определено, если известно g0. По определению

^2 (go | ж) = ST (ж I go);

следовательно,

k (So | ж) = lY (р.о^ х), что и требовалось доказать.

теорема. Свойство «инвариантности». Наиболее вероятное (в смысле максимального правдоподобия) значение ц преобразуется в наиболее вероятное значение g, т. е. g = = £(Ю-

Доказательство. Пусть g' = g (ц). Из леммы следует, что Z2(g') = MlO^M^) Для всех И (по определению и). Но для любого р существует такое g, что Zt (р) = Z2(g). Следовательно, 4(g')> 4(g') Для всех р, а значит, и для всех g.

Таким образом, g' — g, что и требовалось доказать.

Пример. Пусть ж-^(ц, 1), и пусть g = р3.

(х—Цо)2(Цо— х)а

Тогда Д (ж | р0) = Се 2 и Zj (р01 ж) = Се 2.

С другой стороны,

(х-£д/3)2

/а (ж | go) = Се 2=/1(ж|р0)

и

(g^-s)2

Ч (go I ж) = Се 2= Zi(po|£).

Причина того, что лемма справедлива в столь простой форме, заключается в различии между понятиями вероятности и функции правдоподобия. Вероятность ^ (ж) остается вероятностью ж независимо от того, является ли параметром просто р0 или g (р0).

Итак, мы указали простой способ нахождения функции правдоподобия для функции параметра в противоположность более сложной операции нахождения вероятности (или плотности вероятности) функции случайной величины.

Принцип правдоподобия

Определение 1. Предположим, что в двух экспериментах Е\ и Е^, каждый из которых содержит неизвестный параметр 0! и 62, получены соответствующие

результаты xt и х2. Если функции правдоподобия в этих случаях оказались одинаковыми, т. е. 1^ (0! | xj — = Z2 (9а I хг)> то мы логически вынуждены сделать одинаковые выводы относительно 0! и 02.

Определение 2. Сказанное выше справедливо и в том случае, когда l^ (9± | xt) = kl^ (02|х2), если только к не зависит от Oi или 02.

При всей кажущейся наивности эта аксиома содержит весьма мудрые результаты. В конечном смысле она приводит к выводу, что экспериментатор может заготовить математическую часть анализа эксперимента один раз на все случаи жизни. Результаты всех последующих опытов можно преобразовать так, что они станут эквивалентными первому, для которого ответ уже получен. Тогда все, что останется сделать,— это преобразовать ответ к исходной шкале последнего эксперимента. Как это делать, будет видно из теоремы о доверительных интервалах, получаемых непосредственно из функции правдоподобия.

теорема. Йусть L6 (6 | х) — непрерывная функция 0 с единственным максимумом в области допустимых значений 0. Доверительный интервал для 0 можно найти с помощью той же процедуры, что и доверительный интервал для среднего значения р в случае единичной выборки х из распределения N (р., 1).

Добавим к функции Lg (0 | х) константу так, чтобы Max Lq (0 I х) = Lq (0 | х) = 0.

е

На графике логарифмической функции правдоподобия Lg проведем прямую линию на уровне L — — 1/2, что даст 68%-ный доверительный интервал, либо на уровне L = — 2, что даст 95%-ный доверительный интервал, и т. д.

Доказательство. Существует преобразование g (0) параметра 0, которое превращает кривую Lg (01 х) в параболу

LgU\^ = — y(g-^)2. '

Напомним, что в случае, когда среднее значение р. оценивалось по нормальной единичной выборке ж, логарифми-

ческая функция правдоподобия имела вид

^Ш = —у (Ц —Ж)2.

В соответствии с принципом максимального правдоподобия мы должны относительно величины g сделать тот же вывод, что и для р. Это означает, что в качестве точечной оценки можно выбрать

g= ж,

и, кроме того, проведя на графике логарифмической функции правдоподобия прямую линию на уровне Lg = — 2, определим 95%-ный доверительный интервал для g

g — 2<g<g+2.

(Строго говоря, этот интервал следовало бы называть «правдоподобным интервалом», подчеркивая тем самым, что он получен на основании принципа максимального правдоподобия.)

Получив доверительный интервал для g, необходимо преобразовать его в доверительный интервал для исходного параметра 6. Однако, как следует из леммы, в подобной сложной процедуре обратного преобразования нет необходимости. Пусть прямая линия, проведенная на уровне L ~ — 2, пересекает кривую Lg в точках, соответствующих g0 и gi, т. е.

Lg (go)" Lg (gt) =2.

Нам нужно найти значения 0О и 0!, такие, что

^-^(Оо) и g^g^i).

Согласно лемме,

Lq (0о) = Lg (g0) =2

и

Lq (0i) = Lg (gt) =2.

Это означает, что точки 0О и 0t можно найти по известным значениям ординат кривой LQ; проведя же прямую L = — 2, мы найдем ее отрезок, заключенный между ветвями кривой LQ, который и представляет собой иско-

мый доверительный интервал. Таким образом, с вероятностью 0,95'

Оо<6<91,

что и требовалось доказать. Полученный результат проиллюстрирован на фиг. 23.

Свойства оценок максимального правдоподобия в случаях выборки малого и большого объема )

Верхняя граница точности, которая может быть достигнута при решении задачи об оценке параметров, удовлетворяющей некоторым условиям регулярности, устанавливается неравенством Крамера — Рао. Это неравенство не зависит от вида распределения случайных величин х в данном эксперименте. Оно записывается через величину среднего квадрата ошибки оценки t — t (х) параметра 0.

Средний квадрат ошибки определяется следующим образом:

g [(< - 0)2] = g [^ g (0]2 + [g (;) - 0]2.

Первое слагаемое представляет собой дисперсию оценки, которая характеризует средний квадрат отклонения случайной величины t от ее среднего значения g (?). Второе — смешение (или систематическую ошибку) оценки, характеризующее разность между g (0 и величиной, оценкой которой является t, а именно 0. Следовательно,

g[G-0)2]-aH0) + P(0).(150)

Допустим, что объем выборки равен ти Тогда неравенств

Крамера — Рао утверждает, что

g[(;_9)2]>g[(;_9)2]>у2 №)пу2 №)п(151)(151)

g[(;_9)2]>

g[(;_9)2]>

у2 №)п

у2 №)п

(151)

(151)

УпТ(9)УпТ(9)

Уп

Т(9)

Уп

Т(9)

т. е. что точность оценки не превышает

(152)

L(/i)=L(g)L(/i)=L(g)Фиг. 23.Фиг. 23.

L(/i)=L(g)

L(/i)=L(g)

Фиг. 23.

Фиг. 23.

гдегдеТ2(6) =Т2(6) =2/ (# | 0) dx2/ (# | 0) dx(153)(153)

где

где

Т2(6) =

Т2(6) =

2

/ (# | 0) dx

2

/ (# | 0) dx

(153)

(153)

^(6)12

Оценку t называют эффективной, если ее точность в действительности достигает верхней границы (152).

Приведем теперь свойства оценок, основанных на методе максимального правдоподобия.

Первые два свойства справедливы для любого щ однако их называют свойствами «малой выборки», чтобы отличить от остальных свойств, справедливых лишь при большом п.

Если существует достаточная оценка, то метод максимального правдоподобия дает именно эту оценку и тем самым исчерпывает всю имеющуюся информацию.

Если существует эффективная оценка, то метод максимального правдоподобия дает именно эту оценку и более точной оценки найти нельзя.

Следующие два свойства справедливы асимптотически при большом п. Иными словами, они строго справедливы в пределе при п —> оо и оказываются приближенными в случае большого, но конечного п.

Оценка максимального правдоподобия является асимптотически эффективной.

Оценка максимального правдоподобия имеет асимптотически нормальное распределение со средним значением 0 и дисперсией

L 902 J

где L — логарифмическая функция правдоподобия 9. Выражение для cr# можно в данном случае приближенно записать’в виде

■ (155)

«Интуитивное» обоснование формулы (155) следует из параболического графика на фиг. 22. Несколько обобщая,

представим себе, что х распределено по закону N (ц, Пх), где а2 известно, но необязательно равно единице. Тогда

и легко видеть, что

L dp2 Jn=x

Иначе говоря, мы утверждаем только то, что форма параболы и получающиеся доверительные интервалы полностью определяются значением второй производной в максимуме. Параболический вид логарифмической функции правдоподобия, конечно, обеспечивается асимптотической нормальностью распределения. Следующее свойство представляет общетеоретический интерес.

Оценка максимального правдоподобия инвариантна относительно преобразований параметра, как было доказано на стр. 116. Иными словами, если g = g(Q), то g = g (0). Например, если s2 = (1/га) 2 (ж« — ж)2 — оценка максимального правдоподобия дисперсии а2, то оценкой максимального правдоподобия о будет просто з. Не так обстоит дело с критерием несмещенности, согласно которому несмещенной оценкой а2 служит s^ = [1/ (п— 1)] X х2(^~ж)2, а несмещенной оценкой о служит sv = = {[(и —3)/2]!/ К2 [(^ —2)/2]!} У^^-х)Ч Поскольку s^z^(sy)2, то этот критерий определенно нарушается.

Главная трудность, возникающая при использовании метода максимального правдоподобия в качестве критерия оценки, заключается в том, что при этом приходится предполагать известным вид распределения вероятности. Так, мы считали, что х ^ N (ц; 1) (ц неизвестно). Это допущение может наложить сильное ограничение. Для определенного класса задач метод наименьших квадратов дает точную оценку при любых распределениях случайной величины, т. е. не зависящую от распределения.

В добавление к сказанному выше следует отметить, что относительно использования принципа максимального правдоподобия существуют противоречивые мнения.

В последних статьях собраны различные мнения специалистов из разных стран, а также приведены результаты всех обсуждений [2, 35].

Пример использования функции правдоподобия

Пусть ж ~7V(0, о2), где значение о2 неизвестно. Вероятность получить в результате выборки величину х равна

(156)(156)(157)(157)/ (х | о2) dx = (2ла2)-«/2е2^/2о2сгх,

(156)

(156)

(157)

(157)

так что функция правдоподобия для о2 имеет вид

Zt (о2 | х) = (<j2)-n/2c 21/0

Если преобразовать параметр о3 в формуле (157) в новый параметр о = |/о2, то, согласно лемме, приведенной на стр. 115, мы получим то же самое численное значение правой части:

-А2х!/О2г2(а|х) = (оГс-А2х!/О2г2(а|х) = (оГс(158)(158)

-А2х!/О2

г2(а|х) = (оГс

-А2х!/О2

г2(а|х) = (оГс

(158)

(158)

т е., очевидно, 71 (ст2 * х) = Z2 (о | х). Из выражения (158) следует, что 2 ж* представляет собой достаточную статистику. Предположим, что нам известна только величина

(159)(159)W=^Xi,

(159)

(159)

а исходные данные iq, ж2, ..., жп утеряны. Найдем плотность вероятности случайных величин х по заданному значению w. Известно, что w ~ а2Х«. На стр. 68 мы уже встречались с плотностью распределения м^Хп, а именно

ф(^ф(^и2 с'1'22.

ф(^

ф(^

На основании этого получим плотность распределения преобразованной величины ю — с^и

Плотность распределения х, которая дается выраже

нием (156)

/(х| о2) = (гло2)-^3^/202,

можно разложить на множители:

/ (х| о2) = ^-^— 1) ! л-п/2^ ^^ [тр (ш | о2)] =

= £(х|ш)-ф(ю| о2),(161)

где g"(x]iy) не зависит от о2 и постоянно при заданном w. Это, кроме того, означает, что если известно w, но неизвестны отдельные {ж,}, то эти величины будут равномерно распределены по сфере

2 ^г=w.

Прежде чем записать функцию правдоподобия для о2, используя выражение (161), обратим внимание на то, что первый множитель есть константа, и поэтому можно записать

Z3 (а21 щ) ф (щ | о2). (462)

Все выводы из формулы (162) используют данные об х только через посредство величины w, и, таким образом, оценка максимального правдоподобия оказывается функцией достаточной статистики. Можно еще больше упростить соотношение (162) [или вернуться к первоначальному определению /(х|о2)] и получить

Z4(a2|iy) = (G2)-n/2e-w/2o2i(163)

Логарифмическую функцию правдоподобия можно записать в виде

Л(а2|ш)=-^-1пп2-^ + -^-1п^,(164)

причем последнее слагаемое добавлено для того, чтобы L в максимуме было равно нулю.

Случайная выборка малого объема

С помощью таблицы случайных чисел произведена выборка объемом 6 из генеральной совокупности с распределением N (0, а2), где а2 — 1. Получены следующие

значения х:

1,468, -2,097, 0,146, -0,295, -2,120, 0,017.(165)

По формуле (164) вычислим логарифмическую функцию правдоподобия при условии, что и? = 11,55, п = 6:

L (о21 it) = 4,860 - 3 Ino2 -^ .

В табл. 9 приведены результаты численного расчета Z(o2|tr). Оценку максимального правдоподобия о2 найдем,

дифференцируя L. В максимуме dL п , из л

Отсюда

62 = —= -2^- = 1,86.

На фиг. 24 изображена эта функция. Найдя точечную оценку, можно также определить доверительные интер-

валы, проведя яа графике соответствующие линии, .параллельные оси абсцисс. В данном случае мы поступаем аналогично определению доверительного интервала ц = ж ± ст

Таблица 9

02

0

0,5

0,75

1

1,4

—3 In 02

—5,578/а2

+4,860

— ОО

2,080

—11,155

4,860

0,863

—7,437

4,860

0

—5,578

4,860

—1,009

—3,986

4,860

L (d2./w)

— со

—4,215

—1,714

—0,718

—0,135

О2

1,86

3

5

10

15

CD

—3 In а2 —5,578/а2 +4,860

—3,296

-1,859

4,860

—4,828

—1,116

4,860

—6,908

—0,558

4,860

—8,124

-0,372

4,860

— ОО

L (а2/и?)

0

-0,295

—1,084

—2,606

—3,636

— со

в задаче для JV (ц | 1), выбрав точки пересечения кривой L (о21 zy) с прямой линией L = — 1/2. Это дает

1,10 < о2 < 3,49 (ср. о2 = 1,86).

Мы видим, что подобный «узкий» доверительный интервал не содержит известного истинного значения о2 = 1. Можно ожидать, что при использовании узкого доверительного интервала подобное обстоятельство будет встречаться в 32 случаях из 100.

Интервалу р, = ж + 2о в задаче для М (ц | 1) будут эквивалентны точки пересечения кривой L (о2 [ ш) с прямой линией L-. —2; в этом случае

0,71 С а2 С 7,8 (ср. а2 = 1,86).

Эффективность оценки и2 .

Воспользовавшись формулой (153), покажем, что о2 обладает 100%-ной эффективностью. Действительно,

. О" —.

Поскольку

Ш^ = п И ^(х^)-2щ то

g(o2)^O2 и 5>(о2)=_^1.(166)

По определению смещение р (о2) = ^ (о2) — р2 = 0. Далее вычислим

2о22о4 •2о22о4 •3 In / Qr [ о2)

2о22о4 •

2о22о4 •

За2 ' Следовательно,

1100004о4 3/ 2ло34о4 3/ 2ло3yV=w&= -L-.О4 /2П4yV=w&= -L-.О4 /2П4

1

1

00

00

4о4 3/ 2ло3

4о4 3/ 2ло3

yV=w&= -L-.

О4 /2П4

yV=w&= -L-.

О4 /2П4

Из неравенства Крамера — Рао видно, что наименьшая из возможных дисперсий регулярной оценки в данном случае равна ^мин = 2о4/п.

Таким образом, оценка а2 имеет 100%-ную эффективность, ибо ее дисперсия равна нижнему пределу; это означает, что данная оценка позволяет извлечь максимум информации из имеющихся результатов.

Случайная выборка большого объема

Представим себе случайную выборку объемом 40 из генеральной совокупности с распределением N (0, о2), причем, как и в предыдущем случае, о2 = 1. Величина 40

^=3^(167)

1

должна подчиняться распределению xL- Для наших целей достаточно знать величину w; поэтому для получения

единственного значения и? можно также воспользоваться таблицами случайных чисел. Пусть выбрано случайное

число г = 0,4176. Соответствующая случайная величина с распределением х»о равна

и? = 37,52.

Отсюда следует

о2 = 0,938.(168)

Согласно (164), логарифмическая функция правдоподобия

L(o2|za) = 18,72 -201no2-^l.(169)

Эта функция изображена графически на фиг. 25. Прямая линия L — — х/2 дает нам доверительный интервал

0,765Со2<1,18,

который расположен примерно симметрично относительно значения о2, т. е.

о2=о2±3:Ь4.(170)

Близость распределения полученной оценки к нормальному следует из почти параболической формы кривой. Кроме того, можно проверить приближенное выражение для дисперсии 35 (о2) [формула (155)], часто используемое на практике:

35 (о2) ж ^ ^ । х^ .

L (do2)2 Ja2=Sa

[Такая процедура эквивалентна несколько необычному описанию L (о21 iv) параболой с теми же значениями: L (о2), La2(o2) и Ь^г (о2).] Из формулы (164) следует

d^L (о21 а;) п ш п ^2

(90^~ 2 (02)2 “ (О2)3 - — ^^ ПРИ О = О •

Отсюда

35 (а2) -ур для п = 40

и среднеквадратичное отклонение, т. е.

о (о2)= 0,21.

k '1/20

Этот результат близок к полученному более точным методом (170).

Для сопоставления приведем результаты, полученные на основании выборки объемом 6:

о2 = 1,86,

а2 = о210;76 приЛ=—у;

среднеквадратичное отклонение о (о2) равно

Оценка

ст2 = о2 ± 1,06

9—254

совершенно упускает из виду то обстоятельство, что истинное значение а2 вполне может более чем вдвое отклоняться в обе стороны от а2. Следует задуматься, компенсирует ли эта упрощенная запись только двух величин (ст2 и ее среднеквадратичного отклонения) весьма существенную потерю информации.

Предположение относительно нормальности распределения

Допустим, что все 40 значений хг оказались отрицательными. Независимый наблюдатель должен был тогда отвергнуть гипотезу ц = О, так как ее вероятность составляет 2-40. Однако метод максимального правдоподобия приведет к той же оценке ст2, поскольку он имеет дело лишь с {ж2}. Поэтому надо тщательно проверять, справедливы ли допущения, на которых основано применение метода.

Двумерная функция правдоподобия

Рассмотренный выше подход можно без труда обобщить на случай двух параметров. Если функцию правдоподобия можно представить в виде произведения двух сомножителей

Z (9, Ф | х) = Zt (61 х) Z2 (ф | х),(171)

то для решения задачи каждую из функций Zj и Z2 можно рассматривать отдельно, поскольку оценки 0 и ф будут независимы. Таким образом, теперь мы имеем дело с более общим случаем. Нам предстоит определить 9 и ф одновременно. Разобранный ниже пример выбран специально для того, чтобы полученные результаты можно было использовать впоследствии при изложении метода наименьших квадратов.

Аппроксимация результатов прямой линией. Пусть необходимо произвести оценку параметров а и Ъ, причем y-N^aW, 1),(172)

где ж — независимая переменная. Задачу иллюстрирует фиг. 26. Прямая линия

ц (ж) [у (ж)] = а 4- Ъх(173)

представляет собой геометрическое место точек, соответствующих средним значениям случайной величины у (ж), распределенной по нормальному закону. Такое геометри

ческое место точек называется кривой регрессии. Допустим, что экспериментальные данные включают точку fo, у^. Разность

si = У1 - £(У1)(174)

называется ошибкой или случайным отклонением, и в данном случае

е—ЛДО, 1).(175)

Плотность распределения для п пар (xit у^

-а/2 2 <Vi-Q-bxi^

/ (у, а, Ь) = (2л)~п/2 е ^,(176)

откуда функция правдоподобия параметров а и Ь:

Ца, Ь\У) = еа Ьх<(177)

Логарифмическая функция правдоподобия, в которую добавлена константа, обеспечивающая L^c = 0, имеет вид

L (а, ь Гу) =L (а, ь Гу) =2 ^i-a-^bx^2 ^i-a-^bx^

L (а, ь Гу) =

L (а, ь Гу) =

2 ^i-a-^bx^

2 ^i-a-^bx^

(178)

Это выражение необходимо исследовать на максимум по отношению к а и Ъ. Тот же результат получится, если оценку этих параметров провести из условия минимума по а и & выражения

З^^-а-Ьх^.(179)

Такой подход лежит в основе хорошо известного критерия наименьших квадратов, который будет рассмотрен несколько позже.

Итак, вновь обратимся к логарифмической функции правдоподобия. Из выражения (178) следует

4™- =2 кУ1 — а — Ьх^ = О

и

^• = 2 Ж1 (yi — a—bxi^O.

Мы получили систему уравнений

ка + &2 ^Ё = 2 У1(180)

и

а 22 ж? = 2 жгУг •

Решением этой системы являются величины

п = 2*12^—2^2*^/п

»2*М2*02

И

£ П 2 ж^ ~ 5 Xi 5 У5- »2 4-он2 ‘

Пример. Снова воспользуемся нормальной выборкой (165) объемом 6. Эту выборку можно рассматривать как результаты эксперимента. Предположим, что кривая регрессии имеет вид

Л (ж) = £ [у (ж)] = 1 + 2ж и что данные имеют вид

[ж, -п (ж) + ej,

где е — 7V(0, 1); х= — 5, — 3, — 1, 1, 3, 5, а набор значений {в;} взят из (165). Итак, при п= 6 имеем

X

—5

—3

—1

1

3

5

У

—7,532

—7,097

—0,854

2,705

4,880

11,017

Отсюда следует, что

а-0,520, 6=1,89.(182)

Существует большое число задач, в которых может возникнуть необходимость сделать выводы относительно а и Ъ в отдельности. Здесь же мы по-прежнему будем иметь дело с двумерным параметром (а, 6). Мы получили точечную оценку (а, 6) [см. (182)1, и теперь нам надо найти двумерную доверительную область, которая дает интервальную оценку (а, 6).

| ' ■ Вычислим

L = -±[(-7,532-а + 56)2 + (-7,097-а + 36)2 + . ..

...+ (11,017 — а— 56)3] -{-const (183)

для различных значений а и Ь, что позволит изобразить контуры поверхности L в плоскости (а, 6). Ранее мы нахо-

дили пределы ошибок параметра 6 в одномерной задаче, «смещаясь» по ветвям логарифмической функции правдоподобия относительно максимума до уровня А = — V2 (или —2). Таким способом мы определяли наименьший из возможных доверительных интервалов, соответствующий заданной доверительной вероятности 0,68 (или 0,95).

Аналогично найдем наименьшую из возможных дове- рителъных областей для (а, 6), «смещаясь» по логарифмической поверхности правдоподобия до заданного уровня L относительно максимума. По определению границей такой области является просто контур сечения поверхности. Соответствующая доверительная вероятность определяется, как обычно в случае нормальных параметров со средними значениями, например р и v. Пусть х и у независимы, так что

_ (У-У)2

/ (я, У) =е 32 .

Тогда

^(Ц, v) = —^"(ж-ц)2 —-^-(У —v)2 = 0 при ,т = р, y = v.

С другой стороны,

(ж —ц)24-(у —V)3 —Хг

и, таким образом, величина —2L обладает распределением Хг- Доверительная вероятность определяется следующим образом:

^(X2<-2Z),(184)

причем Лмм!0 = 0. Ниже приведено несколько характерных значений:

L

0

-1/2

-1

-Ы/2

-2

’ -31/2

—3

ОО

3

0

39,4%

63,2%

77,7%

86,5%

91,8%

95%

100 %

Грубо говоря, область, ограниченная контуром L ^а, Ь) = — 1,15, соответствует такой же доверительной вероятности, что и интервал, соответствующий L (р) =

= — Vai а контур L (а, 6) = — 3,1 можно считать эквивалентным интервалу, отвечающему L (р) = — 2. Поэтому разумно считать «малой» доверительной областью для

Фиг. 27.

(а, 6) область, лежащую внутри контура

L (а, Ь) = - 1, и «большой»— область внутри контура

L {а, Ь) =2- 3.

На фиг. 27 изображен ряд контуров L (а, Ь|у) для некоторых значений L. Как и в одномерном случае, малая

доверительная область не содержит известного истинного значения (я, 6) = (1, 2), что имеет место в 37 случаях из 100. Большая доверительная область содержит точку (1, 2).

Прямая максимального правдоподобия имеет вид

(185)(185)у — а + Ъх.

(185)

(185)

Таким образом, это выражение представляет собой уравнение «случайной» прямой на плоскости, причем среднее значение задается «истинной» прямой у = а + Ъх.

Насколько эта случайная прямая может отклоняться от средней, очевидно, зависит от отклонений точки (я, 5) от своего среднего (я, 5). Поскольку (я, 5), вообще говоря, неизвестно, необходимо учитывать разброс точек ^aj, by)} относительно (я, Ь). Обозначим через Rl область в плоскости (я, Ь), которая ограничена контуром, расположенным на уровне —L. Каждой точке (яу, bj) 5 Rl соответствует прямая, аналогичная (185). Точнее, доверительная область Rl для (я, Ь) эквивалентна пучку прямых в плоскости (ж, у)

У) = а3 + Ь}х,(186)

। де (aj, bj) ^Rl. Беря огибающую этого пучка прямых, мы получаем доверительную область для истинной прямой.

Пусть уп (ж) — верхняя граница огибающей. По определению огибающей

Уз = яу + bjX < у0 (х)

для всех х и для всех (яу, bj)£Rp. Таким образом, у0 (ж) может быть найдено путем определения максимума выражения yj = aj + bjX при любом х и при всех (яу, bj) С Rl- Нетрудно видеть, что при заданном х значение (яу, bj), обеспечивающее максимум yQ (ж), должно лежать на границе области Rl. С помощью детального анализа, основанного на использовании множителей Лагранжа, можно показать, что

Уо(ж) = у(ж)± (-2L)[^- +Уо(ж) = у(ж)± (-2L)[^- +зт)] ’ (187)зт)] ’ (187)

Уо(ж) = у(ж)± (-2L)[^- +

Уо(ж) = у(ж)± (-2L)[^- +

зт)] ’ (187)

зт)] ’ (187)

Фиг, 28.

т. е. представляет собой гиперболу. Знак минус после величины у (ж) соответствует нижней границе огибающей, и, таким образом, доверительная область расположена симметрично относительно у (ж) ). Малая доверительная область в плоскости (а, Ь) соответствует малой доверительной области для у (ж), определяемой из уравнения (187) с L — -1, т. е.

у (ж) = 0,520+1,89ж ± [2 (± + ^-)]1/2 .(188)

На фиг. 28 изображены: набор данных

(^, У;),.

истинная кривая регрессии

g[y (ж)]= 1 + 2ж,(189)

ее оценка максимального правдоподобия

у (ж) — 0,520 + 1,89ж,(190)

малая доверительная область для у (ж) [см. (188)] и большая доверительная область для у (ж), которая соответствует выражению (187) с L— — 3,

у№ = У№±[6(44+-)]‘/’.(191)

При ж = 3 верхняя граница выражения (189) для малой доверительной области равна 6,95, в то время как Bly (3)] = 7. Таким образом, некоторый участок истинной линии регрессии § [у (ж)] лежит вне малой доверительной области. Этого следовало ожидать, поскольку мы видели (стр. 135), что точка (а, 6) = (1, 2) также не попадает в пределы малой доверительной области для (а, Ь").

§17. Теорема Бейеса

На стр. 91 мы поставили вопрос: каким образом учесть априорное знание при анализе экспериментальных результатов? Ответ на него был дан Томасом Бейесом в его известной работе «Ап essay towards solving' a problem

in the doctrine of chances» («Попытка решения задачи в проблеме случая»), опубликованной посмертно в 1763 г. Теорема Бейеса требует использования понятия распределения вероятности для характеристики предполагаемой возможности, что неизвестный параметр принимает определенное значение. Таким образом, мы распространяем обычное представление о вероятности, сводящееся к утверждению «^ (ж <^ 1) = х/3» для случайной величины х на тот случай, когда утверждение «9s (0 ^ 2) = V2» относится к неизвестному параметру 0.

Проиллюстрируем различие между этими двумя представлениями о вероятности. Многократно повторяя определение случайной величины х, мы ожидаем, что доля случаев, в которых ее значение ^ 1, примерно равна одной трети. Но мы не можем повторять эксперимент для получения различных значений 0, ибо 6 постоянно. Понятие- «вероятности» по отношению - к 0 скорее отражает предполагаемую возможность. Конечно, выгоднее держать пари, что 0 <^ 2 с неравными ставками, нежели с равными, и если в дальнейшем выяснится истинное значение 0, то можно ожидать выигрыша пари в 50 случаях из 100.

Определение 1. Априорная вероятность р (0) параметра 0 характеризует предполагаемую возможность осуществления различных значений 0 до того, как проведен эксперимент.

- Объективный подход требует, чтобы эта предполагаемая возможность основывалась на известных фактах, таких, как результаты предыдущих экспериментов 1).

Определение 2. Апостериорная вероятность q (0 | х) характеризует возможность осуществления различных значений 0 после того, как к априорному знанию добавлено знание, извлеченное из экспериментальных данных х.

и 3.и 3.теорема бейеса. Утверждается, что апостериорная вероятность параметра 0 получается умножением априор-

и 3.

и 3.

ной вероятности на функцию правдоподобия. Более точно? g (9 | х) =-^Ц^М ,(192)

где С — константа, выбранная так, чтобы

j g (91 х) d9 = 1 (в случае непрерывного 9)

или

3?(®НХ) = 1 (в случае дискретного 9). г

Это значит, что

С = j p(9)/(9|x)d9(193)

или

С=3р(9г)/(94|х).(194)

Из формул (192) — (194) следует, что любой постоянный множитель у функции I (9 | х) может быть опущен и это не изменит результата.

Доказательство теоремы сос.тоит из простых операций над вероятностями с учетом определений совместной, условной и маргинальной (безусловной) вероятности.

Рассмотрим совместную вероятность для 9 и х. Согласно правилу умножения,

^(0рх) = ^(х).^ (9 J х),

т. 6.

ж /п I „\ 3й (Эрх)

Подобным образом

^(9Пх) = ^(9)-^(х|9), откуда следует

Ж /П I „X 3й (6)-^ (х | 6)

27 I XI - - ^j •

Если 6 неизвестно, а х получено на опыте, то

SS(e|x) = #(W|x)

в силу определения Z(9|x). Тогда остается лишь вычислить 3й (х). Распределение маргинальной (безусловной) вероятности ^ (х) получается усреднением ^ (х П 0) по всем возможным' значениям 9.

В случае непрерывного параметра 9

^(х)= J ^(xp9)J9= j ^(9)Z(9|x)d9— ОО—ОО

на основании предыдущего.

В случае дискретного параметра 9

-^(х) = 2^(9£)/(9£|х).

Этим и исчерпывается доказательство.

Следует подчеркнуть, что теорема оказывается логически неуязвимой только при условии, что мы приняли существование распределения вероятности для параметров.

Применение априорной вероятности

Прежде всего возникает задача вычисления априорной вероятности параметра 6. Вернемся к задаче с двумя урнами (стр. 102). Мы имеем здесь дело с дискретным параметром, принимающим лишь два возможных значения: 9 = 3/4 или V4. Мы должны считать, что каждая урна имеет равные шансы быть выбранной, так что априорные вероятности -

/л 311

Функция правдоподобия параметра 9 для случая, когда из п выбранных шаров г оказались черными, равна

Ц9\г^рЦ1-рГт-

Следовательно, апостериорная вероятность 0 = V4 есть

(195)(195)поскольку можно сократить на р (V4) = р (3/4) = 1/8, Аналогичным образомпоскольку можно сократить на р (V4) = р (3/4) = 1/8, Аналогичным образом(196)(196)

(195)

(195)

поскольку можно сократить на р (V4) = р (3/4) = 1/8, Аналогичным образом

поскольку можно сократить на р (V4) = р (3/4) = 1/8, Аналогичным образом

(196)

(196)

В любом случае в качестве точечной оценки параметра 0 мы выбираем такое значение 0, которое делает апостериорную вероятность максимальной. Так, сравнивая выражения (195) и (196), следовало бы выбрать О = V4 или 0 = 3/4 в соответствии с наибольшим значением апостериорной вероятности. В частности, при равномерном распределении априорной вероятности для 0 точечная оценка параметра 0 совпадает с оценкой максимального правдоподобия, поскольку в этом случае выражение (192) превращается в

?(0|х) = 1^-. (197)

Случай, когда априорная вероятность неизвестна

Допустим теперь, что в рассмотренной задаче ни слова не сказано о способе выбора одной из урн. Каким образом тогда правильно вычислить априорную вероятность, которая отражала бы отсутствие сведений о величине 0? Сколько-нибудь удовлетворительного ответа на этот вопрос, по-видимому, не существует. Попыткой выйти из затруднительного положения явился постулат, который был опубликован Бейесом вместе с теоремой.

постулат бейеса. Если распределение априорной вероятности для 0 неизвестно, то, предполагая, что все значения 9 априори равновероятны, мы сможем охарактеризовать нашу полную неосведомленность относительно 0. Иными словами, следует положить

р (6) = const.

Автор сам был настолько неуверен в справедливости данного постулата, что так и не опубликовал его при жизни. Хотя этот постулат логически и несостоятелен, тем не менее он в свое время был поддержан Лапласом, рассматривавшим его как аксиому. Впервые с серьезной критикой постулата Бейеса выступил в 1854 г. Джордж Буль. В его работе «Законы мышления» говорится: «Однако я опасаюсь, что этот метод слишком произволен... Если недостаток (априорных) данных восполняется гипотезой, то решение будет, вообще говоря, зависеть от характера этой гипотезы»..

В качестве примера, иллюстрирующего трудности, которые возникают в связи с использованием постулата Бейеса, рассмотрим оценку среднеквадратичного отклонения <г нормально распределенной случайной величины с нулевым средним значением. Пусть для определенности известно, что 1 <^ а <Г 2, и это единственное, что нам известно о а. Согласно постулату, плотность априорной вероятности а

/(о) da = 1 • da, если l^a^^;

= 0 для остальных значений а.

Функция правдоподобия для о при выборке единичного объема равна

Цо\хУ-= — е~^2.х 1 / а

Распределение апостериорной вероятности а

1,е-х2/2а2 J_

д(о|ж) = -^при 1<а<2.

Г c-x2/2g2 da

Интересно также найти распределение апостериорной вероятности о2. Пусть п = о2; тогда du = 2о cfo = 2 рЛГdo, т. е. da = du/2 Vn. Отсюда следует

г (м | ж) =-^-е~х2/2г* при

Допустим теперь, что другой экспериментатор пожелал использовать те же данные с несколько иной целью. Его больше интересует не среднее квадратичное отклонение, а дисперсия, которую он считает важной величиной и намерен оценить. Относительно и — а2 ему известно лишь, что значение и заключено между 1 и 4.

Для получения априорной вероятности экспериментатор вновь обратился бы к постулату Бейеса:

g(и) du = -^-du, если 1<п<4;

= 0 для остальных значений и.

Функцией правдоподобия для такой же выборки будет

V Wи распределение апостериорной вероятности иg—x2/2u1

s (u 1 ж) — —4ЗДА— прИ ^ ^ц.^4,

Г g —X2/2U ^ц

J 3 у»

Полученное выражение отличается от г(п|ж); таким образом, создается неприглядное положение, когда два различных экспериментатора, произведя математический анализ одних и тех же данных, приходят к различным выводам. Очевидно, что это различие обусловлено произвольным выбором распределения априорной вероятности.

Современный подход к общим проблемам экспериментов с неизвестной априорной вероятностью заключается в том, что для нахождения точечных оценок используются критерии максимального правдоподобия или наименьших квадратов, а для проверки гипотезы — критерий значимости.

Библиография

Принцип максимального правдоподобия был использован еще Гауссом [15]. В качестве общего метода оценки параметров метод максимального правдоподобия был введен в 1912 г. Р. Фишером в работе «Об абсолютном критерии для приближения частотных кривых» [12]. Впоследствии Фишер внес большой вклад в развитие этого метода (см., например, [11]).

Легко доступна для чтения по тому же вопросу книга Кендалла и Стьюарта [21], том 1, гл. 8; следует также порекомендовать книгу Ван дер Вардена [36]. Более строгое рассмотрение проблемы дано Уилксом [38], § 6.2, а также Кендаллом и Стьюартом [21], том 2, гл. 18. Фундаментальная «Теория вероятностей» Г. Джеффриса [20] содержит исследование теоремы Бейеса с его постулатом, который рассматривается как аксиома. По этому поводу в книге сказано: «...мы обеспечены... формальным правилом, соответствующим здравому смыслу, которое учит нас практике выбора гипотез».

В книге Муда и Грейбилла [28], § 8.9 и далее, проведено сравнение метода максимального правдоподобия, метода моментов и оценок Бейеса. Недавно опубликованная работа Л. Сейвиджа и др. [34] содержит общетеоретическую дискуссию ведущих специалистов в этой области.

ГЛАВА ПЯТАЯ

Метод наименьших квадратов

. История развития метода

Первая работа, в которой использовался метод наименьших квадратов, принадлежит Лежандру. В 1805 г. в статье «Новые методы определения орбит комет» он писал: «После того как полностью использованы все условия задачи, необходимо определить коэффициенты так, чтобы величины их ошибок были наименьшими из возможных. Для этого нами указан, вообще говоря, простой метод, который состоит в отыскании минимума суммы квадратов ошибок».

Первым, кто попытался поставить этот метод на прочную математическую основу, был, по-видимому, Р. Адрейн. В его работе «Исследования, касающиеся вероятностей ошибок, которые появляются при измерениях» (1808 г.) можно найти грубое «доказательство» того, что в некоторых условиях эти ошибки е подчиняются распределению вероятности

ф (е) =Се-№5!,

т. е. нормальному распределению. Отсюда автоматически вытекал метод наименьших квадратов, дающий «наиболее вероятное» или наиболее правдоподобное решение для неизвестных параметров некоторой линейной формы.

В 1809 г. Гаусс в известной работе о вычислении орбит дал второе обоснование нормального закона распределения ошибок. Кроме того, Гаусс отстаивал приоритет использования метода наименьших квадратов с 1795 г.

Интересно упомянуть и другие методы, использовавшиеся в те времена. Так, в 1792 г. Лаплас применял критерий, согласно которому наименьшее значение должна принимать сумма абсолютных ошибок 2 led> а не сумма их квадратов 2 et Начиная с 1810 г. метод наи

меньших квадратов использовали Лаплас, а также Бессель и позже Энке.

В 1831 г. Коши предложил метод, в котором требовалось, чтобы «наибольшая сумма всех ошибок, взятых без учета их знаков, достигала минимума», т. е. он предложил минимизировать Мах- 2 I et I- Этот принцип минимакса иногда еще применяется и по сей день.

Дальнейшее развитие метода наименьших квадратов связано с именем Лапласа, который в 1812 г. в работе «Аналитическая теория вероятностей» показал, что этот метод позволяет найти несмещенные оценки безотносительно к типу исходного распределения.

Гаусс опубликовал свои соображения в 1821 г. Не используя такие понятия, как дисперсия, и не обращаясь к матричной алгебре, он доказал, что среди класса оценок, которые являются: а) линейными комбинациями исходных данных и б) несмещенными оценками параметров, оценки, получаемые методом наименьших квадратов, обладают наименьшими погрешностями. Самое важное свойство оценок, основанных на методе наименьших квадратов, заключается в независимости от типа распределения.

В более общем виде эта теорема была доказана в 1912 г. А. Марковым и в настоящее время известна как-теорема Гаусса — Маркова.

И наконец, большой вклад в развитие метода был внесен в 1934 г. Эйткеном, который обобщил теорему на случай коррелированных результатов наблюдений с различными дисперсиями. .

Читателю можно порекомендовать работу М. Мерримана «Перечень работ, относящихся к .методу наименьших квадратов, с историческими и критическими замечаниями» [25].

. Анализ регрессий г)

Введение

Пусть имеются две случайные величины хну, которые связаны между собой следующим образом. Среднее значение величины у представляет собой не константу, а функ

*) См. также [21], гл. 26—30, том 2.

ЦИЮ ОТ X

g [у (ж)] = т| (х, 6),

где 9 — обозначение набора неизвестных параметров, полностью определяющих функцию ц (г, 9). Принятый в статистике классический подход состоит в использовании случайной выборки двумерной величины (х, у) и метода максимального правдоподобия оценки 9.

В качестве примера допустим, что х и у означают величины соответственно наименьшего и наибольшего диаметров картофеля. Произвольно отберем партию картофеля и сделаем измерения (х;, уг) каждого экземпляра. Здесь не предполагается, что {ж;} заранее определены (см. [21], гл. 28).

С точки зрения экспериментатора часто более естественно считать, что {жг} фиксировано заранее. В этом случае х будет «независимой» величиной, а ц —«зависимой». (Слова «независимый» и «зависимый» мы применяем здесь в алгебраическом смысле, подчеркивая тем самым, что г| рассматривается как функция х, а не наоборот.) Чтобы получить оценку ц (жг), мы используем выборку (одномерной) случайной величины у (х^. Очень часто нет необходимости точно оценивать ц (ж); достаточно в качестве приближения для ц (г) использовать разложение в ряд Тэйлора или в ряд Фурье. Но тогда возникает вопрос: сколько членов ряда следует удерживать в разложении^ При разложении в ряд Тэйлора, например, необходимо знать, какую надо выбрать степень полинома, чтобы он давал наилучшее описание.

Если случайный разброс у (х) относительно ц (х) подчиняется нормальному распределению, то решение, основанное на использовании метода наименьших квадратов, лшк-решение, совпадает с решением, полученным методом максимального правдоподобия. Это обстоятельство служит мощным обоснованием применения мнк- критерия в качестве метода оценки. Однако предположение о нормальном характере распределения часто оказывается неоправданным. Мы увидим, что лнк-решение т] (г) обладает определенными оптимальными свойствами, которые не зависят от характера распределения у (г). Прежде всего предпримем необходимые меры предосторож-

ности, оперируя с. результатами у^ которые имеют различ

ные дисперсии

где и^ называется весом yt. Затем покажем, что среди класса несмещенных оценок ц (ж), являющихся линейными функциями ^самих данных {у,}, лкк-оценки обладают наибольшей точностью.

Вся, оставшаяся часть этой главы будет посвящена технике вычислений, с помощью которой методом наименьших квадратов в простейших случаях находят решения. Мы увидим, как использование ортогональных функций упрощает и расчет, и интерпретацию результатов. При выяснении вопроса о числе членов, которым следует ограничиться в разложении в ряд Тэйлора, будет использован критерий

Аппроксимация полиномом!)

Стандартный метод оценки линии регрессии основан на использовании следующей линейной относительно параметров модели:

71 (?) = Mo to + Mi to + • • ■ + Mr to, (198) где /о to, /i to, • • •> fr (?) — заданные функции. Несмотря на то что нас будут интересовать главным образом разложения по полиномам, следует отметить применимость излагаемой теории к случаю разложения в ряд Фурье, т. е. когда

/о to)=—, /i to) =sin $, /2 to) = cos ж, ...

. .., /2r-i (?) — sin га» far (ж) = cos rx.

При разложении в ряд Тэйлора

/0(ж) = 1, и(ж) = ^, /2to) = $2, fr(ж) = хг, так что

т] (ж) = % + 91^ + 62ж2 + ... + Мг•

*) См. также книгу Плэкетта [331-

В общем виде случайную величину yi можно записать как

Уг = ч(^)4-ег.

где ег — ошибки, представляющие собой случайные величины с одинаковой дисперсией, причем распределения ег вовсе не обязательно должны быть нормальными. Таким образом, ошибки характеризуют разброс {рг} относительно их математического ожидания {§ (рг)}:

(199)(199)et = yv — 0О — 0л — .. . — 0Г^,82 = 1/2 — 00 — 01^2— • ■ ■ —0г®2,

(199)

(199)

^П ~ Уп 0Q 01®п• • •Оу®^'

В примере, рассмотренном на стр. 133, мы полагали г = 1. '

пi=lпi=lПроизведем оценку неизвестных параметров {0;} в выражении (198). Для этого потребуем, чтобы сумма квадратов ошибок достигала минимума. Иными словами, найдем минимум величины

п

i=l

п

i=l

(200)

по переменным 0О, 0Ь . .., 0Г..

Очевидно, что

S = 3 ^-^-^-. • ■ -9гжр2,(201)

и экстремальное значение 5 получится в результате решения системы линейных уравнений

^=-2^ (уг-Оо-0^- ... -М) =0,'

"дб7"^^^(Ю 00 91жг . ..~0ГЖ() = О, (202)

^-=-2 S ^(^t —0о —61-^— • - - — 0г^г) = О.

Эти уравнения можно переписать в виде так называемых нормальных уравнений'. .

(203)(203)иОд ~Ь 61 3 ж: ~Н • • • + Or 2 Ж1 — 2 У11 0» 2 xi + 01 2 4* • • • 4“ ®r 2 xi^ = 2 xtyii

(203)

(203)

9o2 xi + 0i 2^i+1 + • • • + 0r 2 ^ = 2 ^УЬ

Решение этих уравнений сильно упрощается, если использовать матричную алгебру. Кроме того, можно пока не обращать внимания, на то, что в данном случае мы имели дело с /; (ж) — х3. Тогда все рассмотрение приобретает более общий характер. ■

Введем конструкционную {структурную) матрицу

121хХХ11хгхХ . . .41Хп/у2^П . • •X1" п121хХХ11хгхХ . . .41Хп/у2^П . • •X1" пЛ =Л =(204)(204)

1

21

хХ

Х1

1

хг

хХ . . .

4

1

Хп

/у2

^П . • •

X1" п

1

21

хХ

Х1

1

хг

хХ . . .

4

1

Хп

/у2

^П . • •

X1" п

Л =

Л =

(204)

(204)

имеющую п строк и римеющую п строк и рстолбцов, а также матрицу

имеющую п строк и р

имеющую п строк и р

имеющую всего одну строку, содержащую р элементов, причем p = r-rl, а штрих означает транспонированную матрицу.

Матричная алгебра применима и в том случае, когда линейная модель носит более общий характер, т. е. когда, например, первая строка матрицы А имеет вид

[/о (ж1), /1 C^l), • • • , /г (-^1)] •

Перепишем уравнения (199) — (201) в матричной форме

8 = у-ЛО,(199')

5 = 8'8,(200')

5 = (у-Л0)'(у-Л0),(201')

£ = у'у-20'Л'у+0'Л'Л0,(206)

Если продифференцировать выражение (206) по каждому 0j, то получится система уравнений

-24'у + 24'40 = О,(202'

которую мы перепишем в виде

(4'4) 0 = 4'у.(203')

Решение уравнений (203) и (203') имеет вид

0 = (4'4)-! 4'у(207)

при условии, что

С = 4'4(208)

является матрицей полного ранга. Матрица С будет сингулярной только в том случае, когда производится оценка избыточного параметра, как, например, Ф2 в линейной форме

Т] (х) = Ф0 + Ф^г + ф2.г,

где должно быть только

Ц (ж) = Фо + Ф^.

Вообще говоря, избыточность имеет место, если строки матрицы А' линейно зависимы.

Остаточная сумма квадратов

Разность между аппроксимирующей величиной

У г ~ % 4" в}Жг + • • - + 9fXi(209)

и экспериментальным значением yt называется остатком Так, г-й остаток равен

У1 У1" У г 0q 91®;• • • 0r-Ti ,

а вектор остатков

■у —у = у—40.

Сумма квадратов остатков называется остаточной суммой квадратов R. Подставив 0 в уравнение (201'), найдем

минимальное значение S, которое оказывается равным

(201")(206')(201")(206')^(у-Лб^у-ЛО),

(201")

(206')

(201")

(206')

R = у'у — 2у'Л0 + б' А' ле,

Д — у'у — 2у'Л (А'А) 1Л'у -[- у'А (А'А) 1 А' А (Л'Л) 1 А'у —

= У'У — у'^ И'^) 1 ^'У = У'У — У'^-(210)

Говоря языком статистики, из исходной суммы квадратов у'у вычтена сумма квадратов у'Л0, полученная в результате аппроксимации 6. Из уравнения (210) следует, что остаточную сумму квадратов можно найти, не вычисляя самих остатков. К сожалению, в решение уравнения (210) округлением легко вносятся ошибки, так что часто приходится обращаться к исходному уравнению (201"). Это объясняется тем, что часто многие из р элементов (у/Л) 0 имеют один и тот же порядок величины, но разные знаки. При этом может оказаться, что на вычислительной машине, оперирующей с восьмизначными цифрами в десятичной системе, придется вычесть одно из другого два восьмизначных числа, у которых первые пять значащих цифр одинаковы. Полученная при этом разность будет содержать три значащие цифры.

Не зависящие от вида распределения свойства оценок наименьших квадратов

Полученная методом наименьших квадратов оценка 0 обладает тремя важными свойствами, которые не зависят от вида распределения 8.

1)0 является несмещенной оценкой 0. Докажем это. Ранее было найдено, что

б = (Л'Л)-1 Л'у и g(y) = Л0.

Следовательно,

g (0) = (Л'ЛГ1 А'. g (у) = (Л'Л)-1 А'А О,

т. е.

(211)(211)g(0) = 0.

(211)

(211)

Теорема Гаусса — Маркова. Среди класса оценок 0 величины 0, которые а) являются несмещенными оценками и б) представляют собой линейные комбинации исходных данных у, с помощью критерия наименьших квадратов можно найти такую оценку 0, что

^(0,)С^(0*) для любого /.^

Иными словами, 0 есть наиболее точная оценка 0 из всех возможных, принадлежащих данному классу.

Прежде всего необходимо найти выражение для 35 (0Д. Для вычисления дисперсий и ковариаций всех {ОД удобно воспользоваться матричной алгеброй. Введем определение ковариационной матрицы (матрицы ошибок) векторной случайной величины у Д:

3> (у) =3> (у) =^(уДCov (уь у2)^(уДCov (уь у2)35 (у2)... Cov (у2, Уп)35 (у2)... Cov (у2, Уп)Cov(y17 У2) ... Cov(ylf Уп)

3> (у) =

3> (у) =

^(уД

Cov (уь у2)

^(уД

Cov (уь у2)

35 (у2)... Cov (у2, Уп)

35 (у2)... Cov (у2, Уп)

Cov (уй уп) Cov (у2, Уп) 35 (уп) |(пХп)

(212)

Предположим, что величины {уД независимы и обладают одинаковыми дисперсиями, так что 35(у,) = а2 (о2 неизвестно) и Cov (у,, уД = О при i^i- В этом случае

(у) = O2Z(nxn)l

где 7(пхп) означает единичную матрицу с п строками и п столбцами.

ЛЕММА

Ф(6) = а2ХЛ,Л)"1.

Доказательство. Мы имеем

0 = (ЛМ)-М'(у).(213)

Поскольку это выражение есть линейная комбинация {уД, воспользуемся правилом переноса ошибок: 3) (Жу) = = W5) (у) W' с тем, чтобы точно вычислить 5)(0). При

атом получим

(ё) = (/ГЛ)’14'3) (у) А (А'А)-1 = = о2 (А'А^АЧА (А'А)"1, откуда следует

3)(6) = о2(4'4)-1.(214)

При атом нет необходимости проводить дополнительные вычисления, поскольку (4'4)-1 мы уже нашли при вычислении 6.

Теперь перейдем к доказательству самой теоремы в современной трактовке, принадлежащей Плэкетту.

Пусть 6* представляет собой любую иную оценку 6, являющуюся линейной комбинацией исходных данных, т. е.

6*рх 1)= ^(рхп) ■ У(«х 1)1(215)

в то. время как, согласно формуле (213),’

0 = (4'4)"М' (у).

Потребуем, чтобы оценка 6* была несмещенной, т. е. g(6*)^t/s (У) = [740=0.

Таким образом, необходимо, чтобы

UA — I.(216)

(Заметим, что ифА~\ так как эти матрицы не являются квадратными.)

. Найдем ковариационную матрицу для 6*

(6*) = U S)(y) U' = фиГО*; 1

3)(0*) = o2[7Z7/.'(217)

Сравним UU' и (А'А)-1, имея в виду соотношение (216). Введем обозначения

С = А'А и ^ = С-1 = (АМ)-1.

Согласно формуле (214),

(0) - ФК.

Мы можем записать UU' в форме, необходимой для доказательства теоремы:

UU'= К-уф— КА')ф— КА')'(218)

[используя формулу (216), правую часть данного выражения легко свести к виду К — KA'U — UAK'-yUU' + + KA'AK' ^К—К—Ку UU' + К]. Умножим обе части равенства (218) на а2, тогда

(0*) = а^К + о2 ф - КА') ф - КА')' =

= 2) (0) + а2 ф - С-1 А') ф - С^А')'.

Для 0 имеем U = C-1A', благодаря чему второй член последнего выражения обращается в нуль. Для любой другой оценки 0* этот член неотрицателен, так что

2) (0*)> 2) (0), где знак > означает, что каждый диагональный элемент матрицы 2) (0*) не меньше соответствующего диагонального элемента матрицы 2) (0), что и требовалось доказать.

Оценка параметра о2. Мы приходим к третьему, не зависящему от распределения свойству оценки 0

$ф) = (п-р)ай.(219)

Важность данного свойства заключается в том, что для оценки о2 можно использовать остаточную сумму квадратов R, т. е.

о4 = ^.(22°)

Доказательство формулы (219) приведено в приложении I.

Случай исходных данных с неодинаковыми ишшиишшиишшиишшиишшиишшшп дисперсиями

В формуле (199) для ошибок

et = yt — 0О — б^г— ... — 0гж[(221)

предполагалось, что £8 (е,) — о2. Если же на самом деле £8 (si) = aaJwi (u?i — вес), то можно вновь прийти к урав-

нению типа (221), полагая

et^eiVw^^i—е0- е^ —... — e^ijK^i

для любого i от 1 до п. Тогда

$ ^*) = Wi$ (ег) = о2,

и можно, как и прежде, иметь дело с величиной 5 = 2 (е?)3 = 2 шгеь В таком случае нормальные уравнения будут иметь вид

9п 2 Wjxj + 6, 2 и^а^^Ц- ... +9r 2 ^Лж^ = 2 tt’i^jyi, (222)

где 7 = 0, 1, ..., г. Решением этих уравнений опять будет решение максимального правдоподобия, если

§ 20. Ортогональные полиномы

В § 16 мы успешно использовали метод наименьших квадратов для оценки параметров 90 и Qj в линейной модели

т] (ж, 9) = Оо + 91Ж. (223) Однако можно было бы произвести оценку Фо и ®! в модели

£(ж, Ф^Фо + ФДж —ж), (224) п

где ж = 2 ^гц а затем вычислить 90 = Ф0 —жФ1 и О^Фр i=i

Оказывается, что в принципе значительно удобнее решать эту задачу с использованием модели (224). Найдем решение Ф методом наименьших квадратов. Для уравнения

у=ВФ+е'

конструкционной является матрица

ч

xt — 'ж

1 в = •

ж2 — ж

.1

жп — ж.

Мы вновь имеем дело с линейной моделью, поскольку можно положить

/о (ж) = 1 и Д ^^х — х.

Это означает, что для получения решения Ф следует воспользоваться уравнением (207). Метод наименьших квадратов приводит к решению

Ф^Д'ЯрД'у,

где

л ^xt — пх "I _Гп 0

S^i — пх ^^Хг — ^У._0 2(ж« —ж2)

Тогда

Здесь следует отметить то обстоятельство, что матрица (В'В) является диагональной и, следовательно, может быть легко и точно обращена без ошибок, вызванных округлением. Эта отличительная черта оказывается особенно важной в тех случаях, когда проводится аппроксимация полиномом более высокой степени. Обичный полином в общем случае имеет вид

ц (х, 0) = 0ОТ- О^ + ... + 0гЖг. (225)

Такая модель приводит к матрице (Л'Л):

Л'Л =Л'Л =п 22 ж< • • • 2п 22 ж< • • • 22^2^ 2 ®? ■ • • 2 ^+12^2^ 2 ®? ■ • • 2 ^+1

Л'Л =

Л'Л =

п 22 ж< • • • 2

п 22 ж< • • • 2

2^2^ 2 ®? ■ • • 2 ^+1

2^2^ 2 ®? ■ • • 2 ^+1

3^ 2^r+1 2Я+2... ^тГ J

плохо обусловленной при больших г. Более того, плохая обусловленность может еще ухудшиться с возрастанием объема выборки; в итоге при вычислении (А'А) могут возникнуть значительные ошибки, вызванные округлением. Почему это так, можно видеть из следующего грубого рассмотрения.Не нарушая общности, можно считать, что все {я,} заключены в интервале от 0 до 1. Допустим, что множество п {^i} равномерно расширяется при п —» оо. Тогда12 и J йх =1г + 11"* г + 2плохо обусловленной при больших г. Более того, плохая обусловленность может еще ухудшиться с возрастанием объема выборки; в итоге при вычислении (А'А) могут возникнуть значительные ошибки, вызванные округлением. Почему это так, можно видеть из следующего грубого рассмотрения.Не нарушая общности, можно считать, что все {я,} заключены в интервале от 0 до 1. Допустим, что множество п {^i} равномерно расширяется при п —» оо. Тогда12 и J йх =1г + 11"* г + 2и, следовательно,и, следовательно,11ооА'А « пА'А « п22+23+2313141314= пНт,= пНт,

плохо обусловленной при больших г. Более того, плохая обусловленность может еще ухудшиться с возрастанием объема выборки; в итоге при вычислении (А'А) могут возникнуть значительные ошибки, вызванные округлением. Почему это так, можно видеть из следующего грубого рассмотрения.

Не нарушая общности, можно считать, что все {я,} заключены в интервале от 0 до 1. Допустим, что множество п {^i} равномерно расширяется при п —» оо. Тогда

1

2 и J йх =

1

г + 1

1

"* г + 2

плохо обусловленной при больших г. Более того, плохая обусловленность может еще ухудшиться с возрастанием объема выборки; в итоге при вычислении (А'А) могут возникнуть значительные ошибки, вызванные округлением. Почему это так, можно видеть из следующего грубого рассмотрения.

Не нарушая общности, можно считать, что все {я,} заключены в интервале от 0 до 1. Допустим, что множество п {^i} равномерно расширяется при п —» оо. Тогда

1

2 и J йх =

1

г + 1

1

"* г + 2

и, следовательно,

и, следовательно,

1

1

о

о

А'А « п

А'А « п

2

2

+2

3

+2

3

1

3

1

4

1

3

1

4

= пНт,

= пНт,

1111

_г + 1 7+2 г + 3 * * ' 2г + 1 где Нр — гильбертова матрица ранга р, которая, как известно, плохо обусловлена при больших р.

Линейную модель с ортогональными полиномами, эквивалентную модели (225) с обычными полиномами, можно получить, если произвести специальную перегруппировку в правой части (225). Пусть

£ (ж, Ф) = Фо + ФА (ж) + ФА (ж) +■... + ФА (ж) (227) (=0o + 0i^+ ... + 0гжг), где полиномы

^(ж) = /с,о + /сдж+ ...(228)

Коэффициенты kjQ, к^, ..., kj,^ (их число равно /) определяются / соотношениями

2^о(^)^Н = О,

2 ^1 (ж<) Gj (ж.) = О,

^Gj-^GAx^O,

причем Go (х) = 1. Ортогональные полиномы выбраны с таким расчетом, чтобы недиагональные элементы матрицы А'А, которую следует обратить, оказались равны нулю. [Недиагональные элементы следовало бы заново вычислять для каждого различного набора {а^} в отличие от случая ортогональных полиномов, для которых 1

J Gj(x)Gm(x')dx = 0, если ]^=тД о

Оказывается, что вычисление ортогональных полиномов с последующим обращением диагональной матрицы

2 Go Н 2 «о И Gi Ы • • • 2 Go Ы GrH

В'В=В'В=2 G, (хД Go (хД 2 Gi to) • • • 2 Gi to) G^)

В'В=

В'В=

_2Grto)Goto) 2Grto)Gito)--- S^to) _

"2^to)0...0 "

o 2Gito)--- о(230)

_ оо... 2 g* to) J(r+i)x(r+i)

приводит к меньшим ошибкам округления, чем при вычислении обычных полиномов, хотя обе процедуры алгебраически эквивалентны. Кроме того, из формулы (230) видно, что не представляет труда сравнить аппроксимации полиномами степеней г и г + 1; новая система лтнк-уравнений, выраженных через ортогональные полиномы, будет содержать матрицу ф'фф которую следует обратить для получения решения Ф^ = (Ф', Фг+1)1х(г+2)« При этом

(231)

ф;в^ =ф;в^ =Ф'ву1 : о . . .. (232)

ф;в^ =

ф;в^ =

_ о • [ 2 ^r+ito)] J(r+2)X(r*2]

Если для сравнения привести соответствующую матрицу для случая обычных полиномов [см. (226)], то она имеет

вид

A^A+ =

А'А

V 2r+l

У -Z+1 У ^ + 2 . 7171 t^i• •

v 2r-M * V 2r+2

(r+2)X(r+2)

Вычисление (А^А+)-1, очевидно, оказывается значительно более трудоемким.

Наконец, ниже будет показано, что в том. случае, когда из экспериментальных данных необходимо определить степень г аппроксимирующего полинома, использование ортогональных полиномов приводит к чрезвычайно ясному статистическому анализу.

Рекуррентное соотношение Форсайта tiiiiiiiiiiiiiiuaiuiiiiiiiiiiiniaiiiuiiiiiiiiuiiii

Преобразовать форму

ц (ж, 9) = 0О + 9^ + ... + 9Тхг

в линейную комбинацию ортогональных полиномов (227)

£ (ж, Ф) = Фо + ФА (ж) + . . . + ФГ6Г (ж)

можно с помощью решения системы совместных уравнений (229). В этом заключается метод ортогонализации Грама — Шмидта. Предложенный Форсайтом метод аналогичен предыдущему, однако значительно проще.

■ Для упрощения дальнейших выкладок будем оперировать ортогональными нормированными полиномами Qj (ж), такими, что ^Q^ (жг) = 1. [Аналогичные вычисле- г

ния можно было бы провести и с полиномами Gj (ж).] Итак, мы имеем

№)=

и в общем виде

(Ж)

Qj(^ =’,(233)

12ез(ж)Г/3

или. '

Qj (®) = 9 Jo + Чцх + • - • + Чцх.

Пусть теперь линейная форма, выраженная через орто- нормированные полиномы, имеет вид

фг (ж, го) = <в0<20 (ж) + сщ^ (ж) + . .. + torQT (ж). (234) Чтобы вычислить С;(ж), необходимо было совместно решить / уравнений. Соотношение Форсайта устанавливает следующую связь между ортонормированными полиномами:

XQj (я) = xQ^ (ж) - aQ^ (ж) - р(?Л2 (х),(235)

где константы аир можно определить из уравнений п

«=2 XiQj-v^ i=i и

Р - S xtQj-^x^Q^I.Xi1), 1=1

и тогда константа X определится из условия

2№И

1=1

Работа [14], в которой содержится доказательство приведенного выше рекуррентного соотношения, посвящена весьма доступному описанию . метода аппроксимации результатов.

Применяя метод наименьших квадратов к линейной форме (234), можно получить следующие очень простые результаты:

решение ■ О = (Л'Л)-1 Л'у.

Для ортонормированных полиномов А' А = I и поэтому ® = Л'у, причем

Г Qo (^i)Qi (^i)•••Qr (яД"

д Qo (^2)Qi (^2)■•-Qr (^2)(237)

-Qo к$п)Qi (^л)•••Qr ($л)_

^(иД=оа.(238)

Докажем это соотношение. На основании формулы (236) имеем.

W = 2 Qj to) ^ ы - п2 2 Qj to) = ^2-1=1 -1=1

Аппроксимирующий полином степени г имеет вид

У=Зе,Ш.(239)

j=0

Его можно вновь привести к виду (225), выписывая множители

. tojQj to = ®j (qj0 + q^x + • • • + 9/^0 и затем группируя коэффициенты при хт, что дает

6/л = ^rQrm “Ь ®г-17г-1, т “Ь • • • “Ь ^тЧтт'

Остаточная сумма квадратов при аппроксимации полиномами степени г равна

(240)(240)Rr=^yX-^<i=i 1=0

(240)

(240)

Действительно, из формулы (210) следует

го0

СО!СО!71.

СО!

СО!

Rr= 2 Ui — (Уь У2, • • •, Уп)А

1=1

(йГ

Подставив вместо Л его выражение (237), получим

<у^у^. ■уп) л-ISyiQo^tY ^ytQi^t),.. .,2^<2г(^)] =

-= [®0, ®17 . . . , Иг].'

Оценкой о2 является •'

а2 =—5z_.(241)

Можно, кроме того, исследовать отклонение от уТ (ж) при повторных экспериментах. Для этого вычислим

Гг ■

з [у. (ж)] = 2 Q^ (ж) a Н = о2 2 ^ (ж).(242)

7=07=0

Поскольку Ут^хА является оценкой для ^[у(х)1, дисперсия (242) служит мерой точности оценки ц (ж) = ^ [у (ж)] для любого заданного ж. Результаты 3, 5 и 6 удобно записать в виде единой формулы

§ [У И = Ут (ж) ± о [ 2 ^ (ж£)Г/2(243)

i=0

или

g ly (х)] = Ут (ж) ± 2о [ 2 $ (ж011/2(244)

i=0

в зависимости от желания указать одно или два средних квадратичных отклонения.

Увеличение степени полинома

■■■ ■■■*■■ еаееае ■■■■■■■■■■■! ев аец tie ■■■■■■■'

Может понадобиться проверить, не улучшается ли аппроксимация при увеличении на единицу степени полинома. Очевидно, для этой цели очень удобно иметь дело с ортонормированными полиномами.

Найдем сначала.

Qr+i (ж) = [xQr (х) — aQr (ж) — p<2r-i (ж)] -|-, где

-a = .2$i92r($i)>

п

' S XiQr^Q^iiXi)

г— 1

и константа л выбрана так, чтобы выполнялось равенство

S(2r+iW = l. г=1

Тогда имеем

п>

юг+1 — 3 yiQr^l (^г),

1

(245)(245)Уг+1 (Ж) = Ут &} + Юг+1(?г+1 (ж),

(245)

(245)

Кт.1Д=Кт ®г+1<

'п—г—2 ’

. 25 {уг} ।/ х

а2 ~ О2 tVhiW'

Улучшение согласия характеризуется вычитанием (or+i из остаточной суммы квадратов. Оно достигается ценой возрастания дисперсии аппроксимирующего полинома на величину a2Q?+i (ж).

Как правило, существует критическое значение г = к^ соответствующее первым (& + 1) членам разложения в ряд Тэйлора функции т| (ж). Это значение к определяет оптимальную аппроксимацию. Если попытаться провести аппроксимацию полиномом степени г 5> к -}- 1, то можно, конечно, получить лучшее согласие ут (ж) с экспериментальными данными, но при этом неизбежно получается худшее согласие ут (ж) с истинной кривой ц (ж), которую мы пытаемся оценить. Следует подчеркнуть, что экспериментальные данные представляют собой случайные величины и содержат лишь ограниченную информацию, которую можно использовать для оценки ц (ж).

Перефразируем этот важный результат следующим образом. Если бы функция ц (ж) была нам известна, то, повышая степень полинома, можно было бы тем самым, безусловно, увеличить точность разложения в ряд Тэйлора (т. е. полинома). Однако когда мы попытаемся использовать точки {у (ж)}, для которых , ■

^lz/(^) = nMJ=°>

то это следует делать до тех пор, пока извлекается из них надежная информация относительно ц (ж). В данном случае мы должны продолжать оценку величины QTxT при возрастании г лишь постольку, поскольку статистические критерии указывают на значимость величины QT. Говоря точнее-, повышать степень полинома следует лишь до тех пор, пока юг еще значимо отлично от нуля. В этом смысле процедура аппроксимации полиномами основана на своего рода «асимптотическом» разложении, которое с ростом числа членов до некоторого момента постепенно улучшается, а затем ухудшается. -

В следующем параграфе изложен метод выбора критического значения к в случае нормально распределенных ошибок, а также рассмотрено некое видоизменение обычной процедуры, гарантирующее определенные меры предосторожности.

§ 21. Нормальный регрессионный анализ

Полученные выше .мик-результаты не зависят от вида распределения ошибок в. Теперь допустим, что

в - N (0, ц27),(246)

т. е. что ошибки ег подчиняются независимым, одинаковым нормальным распределениям с нулевым средним значением и дисперсией о2. Мы может вычислить плотность вероятности для любых функций исходных данных, которые может оказаться необходимым подвергнуть статистическим проверкам. Так,

п

°’J " ^ Qj ^i) У‘

есть линейная комбинация нормально распределенных величин {</,}; следовательно, со; распределено по нормальному закону. Мы уже видели, что л««-оценки всегда несмещенные, т. е. ^ (юу) = Юу, и, кроме того, 3 (оу) — ц2. Отсюда вытекает

о2).(247)

Если си / 0, то

Если бы мы знали о2, то для проверки гипотезы ы? ~ - О можно было бы воспользоваться распределением %2, так как

при со^О.(249)

Когда о2 неизвестна, используется ее оценка с v степенями свободы

где

Rr-^tiX-^^(251)

1 о и

V = 71 — Г — 1.

Необходимо найти распределение и2. Мы сделаем это, прибегнув к простой математической уловке. Хорошо известно, что п точек {т/г} можно аппроксимировать полиномом (п — 1)-й степени. В этом случае для каждого i получим у^ = ур [Как было отмечено ранее, если {^J — случайные величины, то подобная кривая скорее всего не имела бы ничего общего с истинной кривой ц (ж).] В каждой точке г остаток равен нулю, yt — у = 0, а значит, и остаточная сумма квадратов равна нулю:

(252)

1 о

Сравнивая это выражение с формулой (251), получаем пгп—1п—1

«V (253) 10г+1г+1

Таким образом, мы получили сумму квадратов величин, распределенных по нормальному закону. Это означает, что 7?,- ~ о^,(254)

при условии, что

tof'+i = 0 — 0++2 ~ . . . — tt>n_j.

Из формулы (250) следует

У3

^ ~,(255)

где м = м—г—1. Из формулы (249) следует -

Wj ~ о2Х1 (для / = 0, 1, . . ., г),

но поскольку Ov есть функция от со2+1, . (o2_lf то а2 и со2 независимы (для / — О, 1, . . ., г).

Тогда‘-

-т-4- — ^t, v, если со у = 0(256)

[согласно определению распределения ,4, данному на стр. 97, coj/Oy~(o2Xi/l)/(o2Xv/v) = ^i.vl- Кроме того, из формулы (247) вытекает со2— со2 + о2х2, если юу^О. В таком случае для проверки гипотезы <в7- = 0 можно использовать выражение (256). В частности, если мы уже аппроксимировали результаты с помощью

Уг = ю0(?0 (ж) + ... 4- сог<2г (ж)

и хотим узнать, не следует ли расширить эту модель, превратив ее в полином степени (г + 1), то следует проверить гипотезу <Dr+1 = 0 г).

Мера предосторожности

Всегда может оказаться, что юг+1 = 0, но (ог+2 ф 0. Согласно изложенной выше в общих чертах процедуре, мы должны были бы остановиться на величине <вг. Чтобы избежать подобной случайности, следует сначала рассмотреть полином более высокой степени, например г = 6,

!) Аналогичным образом проверяется гипотеза 6г+1 = 0 и в случае линейной модели (225), часто используемой на практике. В этом случае можно воспользоваться статистикой

1) _.

п

где Rr = ^ Ш1 (У1~у№ w,—вес, а у; дается формулой (209). i—1

Если отношение незначимо, то коэффициент 0г+1 при s/^1 следует положить равным нулю и проверить на значимость коэффициент 0г при хг. Если отношение значимо, то целесообразно проверить гипотезу 0Г+2 = О и т. д. Подробнее см. дополнение II.— Прим, ред.

а затем проверить, нельзя ли свести форму

§ fl/б ($)] = ю0@0 (ж) + • ■ • + ю5^5 (ж) + ю6^6 (^) К

'£ЧуИ2)1^юо(^(ж)+• ■ • лю5(>5^^

При этом в качестве статистики, лежащей в основе критерия, используется величина

- F

11 "~7 ReKn-iy 71

где Д6 = 2 1Уг~ ®о<2о(^) — • • • — й)6у6(ж)]2.

Если окажется, что <в6 незначимо отлично от нуля, то мы исключаем из модели член, содержащий со6, и затем подвергаем проверке величину

Я5/(«-6) и т. д.

Пример. Рассмотрим набор данных (zit г/г), полученных следующим путем: к 19 значениям ординаты кубической параболы

g [у (х)] =--1 + х — 0,055ж2 + 0,001 х3 были добавлены случайные отклонения, обладающие нормальным распределением с единичной дисперсией. Эти результаты представлены в табл. 10.

Таблица 10

г

хг

if №))

Уг

г

Ч

ig[y(^)]

У;

1

2

2,79

2,84

и

22

7.03

7,35

2

4

4,18

5,50

12

24

7,14

6,11

3

6

5,24

5,96

13

26

7,40

6,67

4

8

5,99

4,50

14

28

7,83

9,67

5

10

6,50

6,45

15

30

8,50

7,35

6

12

6,81

7,39

16

32

9,45

9,99

7

14

6,96

6,67

17

34

10,72

10,31

8

16

7,02

5,72

18

36

12,38

12.03

9

18

7,01

7,95

19

38

14,45

13,51

10

20

7 ,00

5,93

Для решения задачи использовалась программа вычислительной машины «Меркурий», Ортогональные полиномы {Gj (ж)} вычислялись в ненормированном виде, так что в действительности

WjQj (ж) = CjGj (ж),

что, однако, не вносило различия в анализ. Основными числами первой цифропечати являлись величины отношения pF. Согласно статистическим таблицам [7] распределения pF, 95%-ный уровень для pF i,i2 соответствует значению 4,751). Как видно из табл. И, коэффициенты при шестой, пятой и четвертой степенях полинома оказались незначимыми, т. е. со6 = «5 = со4 = 0. В качестве наилучшей оценки было принято выражение

у3 (ж) = 2,200 + 0,744ж - 0,04148ж3 + 0,0007862ж3.

Затем та же программа использовалась вновь для аппроксимации исходных данных полиномом третьей степени и вывода на цифропечать необходимой информации относительно ошибок и т. д. В частности, были получены аппроксимирующие значения {у3 (ж,)} и в качестве

Таблица 11

Максимальная степень полинома j

^"1,12

0

907,1

1

76,3

2

6,0

3

10,4

4

0,3

5

0,0

6

0,1

ошибок удвоенное среднеквадратичное отклонение для {у3 (ж;)}. На фиг. 29 приведены аппроксимирующая кривая у., (ж) и истинная кривая ^[у (ж)].

’) См. табл. VII, стр. 281.—Прим. ред.

Следует отметить, что оценка величины 0 — 1 при числе степеней свободы 15 оказалась равной or = 0,982.

Библиография

Укажем прежде всего на доступное изложение метода наименьших квадратов в книге Уизерборна [37]. Весьма обширное изложение стандартных приемов регрессионного анализа содержится в книге Дэвиса [8], стр. 150.

Одной из типичных монографий на эту же тему является книга Плэкетта [33]. Изложение охватывает случай, когда ошибки имеют разные веса и, кроме того, коррелированы. Подробно рассмотрены примеры применения регрессионного анализа во втором томе книги Кендалла и Стьюарта [21].

В более современных задачах требуется аппроксимировать результаты нелинейной формой. При этом обычно используется линеаризация посредством разложения в ряд Тэйлора. Регрессионные уравнения в этом случае решаются методом итераций, описанным, например, в книге Вильямса [39]. Там же приведены довольно необычные примеры из области лесоводства.

В ряде задач параметры связаны между собой некоторым уравнением, так что число неизвестных параметров можно уменьшить на единицу. Такое уравнение также может быть нелинейным относительно параметров. Подробно этот вопрос рассмотрен в гл. 3 обзора Жоно и Морел- ля [19].

Если корреляция между ошибками является функцией порядка, в котором были получены экспериментальные данные, то такие данные называют «временном рядом». Современному изложению этого вопроса посвящена книга Гренандера и Розенблатта [18].

ПРИЛОЖЕНИЕ I

Математическое ожиданиеостаточной суммы квадратов

Докажем, что ^ (Я)-(«-/?) о2.(219)

Сначала докажем общую лемму о некоторых квадратичных формах, а затем применим ее к случаю квадратичной формы R. лемма. Пусть Q^'y'U's есть квадратичная форма п случайных величин {уг}, a U — квадратная матрица ранга п. Допустим также, что "П = S (у) и 3) (у) =-a3Znxn. Тогда

^ (9) = °2 Sp U + i)'t7ц

(след матрицы U: SpU есть сумма ее диагональных элементов).

Доказательство. Обозначим НЫ- Тогда п п уи^= 2 2 Uijyiyj^ i=l j=i п пп п

-22 Му^-^шуйН 2 2 и^у^ш.

i=l з=1i=l j=l

Рассмотрим первую из этих сумм. При i^j имеем ё (у2г) - Ш (yi)P-Se (уt)------о^.

При i=# 3 имеем

^ (УгУЙ — ^ (у0 ^ (Уд = Cov (yt, yj\Согласно принятому предположению,Cov(y£, УЙ = О.

Вторая сумма представляет собой константу. Следовательно,

^^ = 2 ^£а2 + ^(у)]'^1§(у)1-^8рГ7 + ^- i=l

Теперь изложим доказательство соотношения (219), принадлежащее Плэкетту. Согласно формуле (210) для остаточной суммы квадратов

н = Уу—у'Л'ё.

Перепишем это выражение в виде

R = (у-леу (I-AC^A') (у-ЛО),

где члены, содержащие 0, сокращаются, а С = ЛрХ„Лпхр — квадратная матрица и ее ранг равен р.

Можно проверить правильность последней записи для R, проведя умножение в правой части:

у'у — у'ЛО — у'ЛС^Л'у + у'ЛС^Л'ЛО — О'Л'у + + О'Л'ЛО + О'Л'ЛС^Л'у - в'Л'ЛС’М'ЛО - = у'у — у'ЛО — у'ЛО + у'ЛО — О'Л'у + О'СО -{- + 0'Л'у-О'СО = у'у-у'ЛО.

Итак, справедливость этого выражения доказана. Далее допустим, что

U^I-AC^A'.

Тогда ^(у-Л0) = 0

(у —ЛО) — 5) (у) — а2/пХп-

Чтобы. применить доказанную выше лемму, необходимо вычислить

SpU — Sp (Tnxn*" ЛпХрСрхрЛрХп) = Sp/«xn Sp (ЛС 'A ). Но

Sp (АС^А') = Sp (C^A'A) -

— Sp Ipxp = P-

Значит,

Sp U = n —- p.

Следовательно,

^ (Я) = a2 (n —-p) + 0'770 = (n — p) a2, что и требовалось доказать.

ПРИЛОЖЕНИЕ II

Получение выборкислучайных величин с заданнойплотностью вероятности

Задача заключается в получении случайной величины х, являющейся выборкой из распределения с плотностью / (ж); при этом имеется набор случайных чисел {г}, которые равномерно распределены в интервале от 0 до 1.

теорема. Пусть величины г представляют собой выборку из генеральной совокупности с плотностью распределения

р(г) = 1 при 0<г<1.

Определим функцию ж = ж(г), такую, что

х(г)r= j /(^)^.

Тогда ж (г) подчиняется требуемому распределению.

Доказательство. Согласно уравнению (80), новая плотность распределения величины ж есть

g (ж) dx = р [г (ж)]g (ж) dx = р [г (ж)]dr (я)dxdr (я)dxdx.dx.

g (ж) dx = р [г (ж)]

g (ж) dx = р [г (ж)]

dr (я)dx

dr (я)dx

dx.

dx.

Поэтому прежде всего необходимо произвести обратное преобразование, выразив г через х. Очевидно,

г(ж) = j f^dt— оо

и

Кроме того, поскольку p(r) — 1, то и /?[г(ж)) = 1, ибо правая часть не содержит г. Следовательно,

g (ж) dx = 1 -1 / (ж) | dx,

т. е.

g(x) = f (х).

Пример 1. Пусть

№>=w^‘'2-

Случайную величину, распределенную по закону N (0, 1), мы получим, решая методом итераций уравнение

х(г)

г = f —£=- у-'2/2 dt,Д У 2 л

Пример 2. Допустим, что необходимо получить значение случайной величины и? ~ Хм- Для «2<0 имеем /(zy) = O, а для ш>0 [см. (86)]

/ (zy) = 2-20гу19у“^2 -^у-.

Предположим, что из таблицы случайных чисел получено г = 0,4176. Тогда w определяется из уравнения

0,4176= j З-20^-^2 ~.о

И если теперь воспользоваться статистическими таблицами для распределения х2 [32], то мы получим

zy = 37,52, что уже было использовано на стр. 128.

Дополнения

1

ДЖ. МАЛВИ

Статистические методы обработкиэкспериментальных данныхЧ

ВВЕДЕНИЕ

Предварительные замечания

Ниже приводится сводка некоторых данных по математической статистике и основных формул, полезных при оценках неизвестных величин по результатам эксперимента.

Материал изложен по возможности в наиболее общем виде, что позволяет применять его для решения самых разнообразных проблем. Центр тяжести перенесен на результаты математической статистики, без каких-либо попыток доказывать приведенные соотношения или обсуждать предмет теории вероятностей, за исключением тех случаев, где это помогает глубже осмыслить результаты.

Тем, кто заинтересован в более подробном изучении данных вопросов, следует порекомендовать работы, указанные в литературе (стр. 292). Необходимо отметить, что содержание обзора касается самым непосредственным образом лишь таких экспериментов, интерпретация которых базируется на статистическом анализе результатов; в связи с этим для рассмотрения отобраны наиболее эффективные методы анализа.

Определения и обозначения

Случайная величина. Величина X, представляющая собой результат случайного опыта, называется случайной величиной. Непостоянство результатов такого опыта может быть связано с наличием случайных ошибок измерений

*) High Energy and Nuclear Physics Data Handbook, Ed. by W. Galbraith, W.S.C. Williams, Chilton, 1963,

12—1254

или (кроме того) со статистической природой измеряемой величины (например, времени жизни). Отдельные значения случайной величины будут обозначаться как ж^, где i = 1, 2, . . ., п. Любая функция от Xi также случайная величина.

Выборка и генеральная совокупность. Полезно различать выборку, состоящую из конечного числа значений случайной величины, и генеральную совокупность — полный набор всех возможных значений, которые может принимать случайная величина.

Распределение вероятности (частотная функция). Генеральную совокупность можно описать с помощью распределения вероятности; если распределение является дискретным, то вероятность получить в отдельном испытании результат хг равна Pf, в случае непрерывного распределения элементарная вероятность / (tz) dx, представляет собой вероятность результата, заключенного между Xi и xt + dxi. Распределение вероятности нормировано так, что .

АГ

2^=1, (Ын) 1=1

где N — число интервалов дискретного распределения, или

Цх)дх = 1 ' (1.16)

в случае непрерывного распределения.

Параметры генеральной совокупности. Распределение вероятности, которое описывает генеральную совокупность, содержит постоянные параметры, такие, например, как среднее значение и среднеквадратичное отклонение; они обычно обозначаются греческими буквами, в частности для указанных параметров это р и о.

Оценки. Цель математической статистики — указать методы, с помощью которых по результатам выборки можно было бы получить оценки неизвестных параметров генеральной совокупности и их погрешности, которые сами суть случайные величины. Эти оценки, как и другие характеристики выборки, будут обозначаться курсивными

латинскими буквами; например, ж, $ и s (ж) соответственно обозначают выборочное среднее значение случайной величины ж, ее выборочное среднеквадратичное отклонение и среднеквадратичное отклонение среднего.

Математическое ожидание. Математическое ожидание функции g (ж) обозначается через ^lg (ж)] и определяется следующим образом:

= ^Ptg^(1.2а)

г=1

в случае дискретного распределения и

№^)\ = ^ f(x)g(x)dx(1.26)

в случае непрерывного распределения.

Если функция g (ж) есть некоторая выборочная оценка [например, g (ж) = si, то ее математическое ожидание представляет собой среднее значение, получаемое при осуществлении повторных выборок объемом п из одной и той же генеральной совокупности. При этом результат может быть функцией как параметров совокупности, так и объема п.

Асимптотика. В дальнейшем будут нередко приводиться результаты, носящие асимптотический характер и соответствующие выборкам предельно большого объема, т. е. при п —> ОО.

Несмещенные оценки. Если а — оценка параметра а генеральной совокупности, полученная из выборки объемом п, и если

g[a —а]=0,

то такая оценка называется несмещенной. В тех случаях, когда подобный результат достигается лишь при выборках большого объема (при п—> оо), то говорят, что оценка асимптотически несмещенная.

Эффективные оценки. Наиболее эффективную оценку можно определить как оценку, для которой величина

§ [а —а]2 минимальна.1

ОПРЕДЕЛЕНИЯ ХАРАКТЕРИСТИК ВЫБОРКИ

Меры положения

Среднее х:

п

ж = ^5Жг-<1>3)

i=l

Взвешенное среднее х№. Если каждому значению хг приписан вес wi4 то взвешенное среднее:

2

жю” ^-(Ь4)

2

1=1

Медиана т. Если все значения Xi расположены в порядке возрастания их величин, то медианой называется

m = X(n+i)/2при п нечетном,

т = у(жп/2 + ^(п/2)+1) при п четном.

Понятие медианы иногда используется в качестве характеристики асимметричного распределения.

Мода. Модой называется значение х^ соответствующее максимуму в распределении выборки.

Меры рассеяния

Среднеквадратичное отклонение s1):

’={^2^-58},/’-а-5)

i=l

Дисперсия есть квадрат среднеквадратичного отклонения s2.

*) См. также раздел 3, п. 2.

Среднее отклонение <7:

п

(1.6)

(L7)(L7)Размах г. Размахом (или вариационным размахом) называется разность между наибольшим и наименьшим значениями х в выборке:

(L7)

(L7)

Г — ^макс ^мше

Коэффициент корреляции

Для выборки, содержащей п пар значений (жь ?/г) двух случайных величин ж и у, вводится понятие коэффициента корреляции q: п

— 2 (^"^(i/i —£/)

g = _M,(L8)

ИЛИ

sxsy

где ж и г/ — средние значения по выборочным распределениям Xi и у г в отдельности, a sx и su — соответствующие среднеквадратичные отклонения.

Если q = 0, то говорят, что ж и у не коррелированы; однако эти величины необязательно независимы. Если q — ^l, то между х и у существует прямая пропорциональность.

ОЦЕНКИ ПАРАМЕТРОВ ГЕНЕРАЛЬНОЙ

СОВОКУПНОСТИ ПО ХАРАКТЕРИСТИКАМ ВЫБОРКИ

Перечисленные выше характеристики сами являются случайными величинами. В этом разделе мы рассмотрим их следующие свойства: 1) приближение среднего значения некоторой характеристики выборки (которое получается на основании повторных выборок объема п) к соот-

ветствующему параметру генеральной совокупности и 2) среднеквадратичное отклонение полученной оценки. В дальнейшем мы воспользуемся определением математического ожидания g[g(ж)] [см. (1.2)]. Относительно рассматриваемых выборок предполагается, что они производятся из генеральной совокупности случайной величины X со средним и и среднеквадратичным отклонением о.

Среднее. Каково бы ни было распределение случайной величины X,

^ (ж) = р,

и если ж, некоррелированы, то дисперсия среднего есть

^[(ж-ц)2]

Согласно центральной предельной теореме х), если п велико (практически достаточно, если п Да 30) и ж, не кор-

релированы, то ж подчиняется нормальному распределению (см. раздел 4, § 1) со средним значением ц и среднеквадратичным отклонением о7|/п. Этот результат справедлив для любого "распределения X в предположении, что оно обладает конечными средним значением и дисперсией. Если X распределено по нормальному закону, то высказанное выше утверждение является строгим при любом п.

На практике ц и о обычно неизвестны, и в качестве их оценок используются ж и $. В этом случае среднеквадратичное отклонение ж приближенно (при больших и) считают равным s[V"и и результат серии измерений, как правило, записывают в виде (см. раздел 5, § 2)

Дисперсия. Для любого распределения случайной величины X

g(s2) = ^o2.

т) См. стр. 55 настоящей книги, а также [6].

Таким образом, выборочная дисперсия [формула (1.5)] является смещенной оценкой о2. Поэтому для выборок малого объема лучше пользоваться выражением п

«5=^13(1-Ю

1=1

Если $i принадлежит нормальному распределению с дисперсией о3, то дисперсия величины s2 равна 2о4/(я—1); в то же время величина (я—1)$с/о2 подчиняется распределению х2 с (и— 1) степенями свободы (см. раздел 4, § 2).

Среднеквадратичное отклонение. Если случайная величина X распределена по нормальному закону, то и, следовательно, s есть асимптотически несмещенная оценка о. Более того, среднеквадратичное отклонение для s в этом случае равно

Если имеется несколько серий результатов измерений, причем они соответствуют генеральным совокупностям с различными средними, но одинаковыми среднеквадратичными отклонениями а, то, используя эти данные, можно получить более точную оценку а. Пусть gj — среднеквадратичное отклонение [формула (1.5)1, полученное в у-й выборке, и пусть N — полное число результатов измерений в т выборках; тогда “ т

N — ти среднеквадратичное отклонение s приблизительно равно[ТСУ^)]1^ ‘

Взвешенное среднее. Известно, что

^(Хц,)^,

причем его дисперсия равна

71

2-1

g[(^-H)2i=^-^-^

I 2

\t=l 7

Если Xi независимы и получены из генеральных совокупностей с одним и тем же средним ц, но разными дисперсиями о|, то наиболее эффективной оценкой ц является взвешенное среднее (веса Wi= IfaXV Тогда среднеквадратичное отклонение для хш равно

п

Медиана. Когда распределение X симметрично относительно среднего, то

g (т) = ц.

Если распределение нормально, то среднеквадратичное отклонение для медианы (при большом и) равно

при и ^ 10 это выражение превращается в ~ 1,2а/|/ п.

Размах. В отличие от большинства характеристик выборки размах не является асимптотически нормальной величиной. Тем не менее его нередко используют, чтобы быстро (хотя и грубо) оценить меру рассеяния; при этом в случае нормально распределенных величин xt можно получить указание о среднеквадратичном отклонении, поделив размах на коэффициент с, значения которого для разных п приведены в табл. I (стр. 254).

1/21/2Среднее отклонение. Если a?i подчиняются нормальному распределению, то

1/2

1/2

' f L J

и среднеквадратичное отклонение для d приближенно равно

8^8^2 \Va ол / 1А '2 \Va ол / 1А '

8^

8^

2 \Va о

л / 1А '

2 \Va о

л / 1А '

Коэффициент корреляции. Если две величины х и у распределены по нормальному закону, то

СПЕЦИАЛЬНЫЕ РАСПРЕДЕЛЕНИЯ

Нормальное (гауссово) распределение

Параметрами нормального • распределения являются среднее значение р и среднеквадратичное отклонение о; плотность вероятности имеет вид

(Х-Ц)2

.(1.11)

<7 |/ 2Л

Это распределение играет фундаментальную роль в теории ошибок, поскольку

оно описывает распределение ошибок, обусловленных множеством малых независимых вкладов, носящих случайный характер;

многие функции случайных величин (такие, например, как среднее, среднеквадратичное отклонение и т. п.) распределены асимптотически нормально даже в тех случаях, когда исходная величина не следует нормальному закону (см.. [6]).*

Стандартизованная случайная величина

X — Ц■

и =—

о

распределена по нормальному закону с нулевым средним и единичным среднеквадратичным отклонением.

Как будет видно из дальнейшего, для вычисления доверительных пределов полезно иметь таблицы различных значений ир и вероятностей р обнаружить значения

и "^ ир. Это означает, что р представляет собой интеграл

р =— f e"u3/2 du.

ыр

В табл. II (стр. 254) протабулированы значения р и ординаты плотности вероятности нормального распределения / (iz-p) как функции от мр; в табл. III (стр. 255) приводятся значения ир как функции р.

Распределение %2

Если Xi — независимые нормально распределенные случайные величины со средним, равным нулю, и среднеквадратичным отклонением, равным единице, то сумма квадратов этих величин

%2 = 31=1

подчиняется распределению %2 с п степенями свободы. Плотность вероятности этого распределения

f» W>= —. \ „ , е-х'/2(х2)<”-2>'2 для 0 < %2 < со. 2„,2Г)

Среднее значение %2 равно и, а ее дисперсия равна 2п.

Сумма т независимых величин %2, каждая из кото- •рых обладает п3 степенями свободы, также подчиняется т распределению %2 с числом степеней свободы, равным2 ^г 3=1

Распределение %2 имеет важное практическое значение при проверке гипотез (см. раздел 9, §2), поскольку распределение величины ]/ п(ж — р,)/а стремится к нормальному с нулевым средним и единичным среднеквадратичным отклонением.

В табл. IV (стр. 256) содержатся значения %2 и вероятностей р обнаружить значения %2 > %р.

В тех случаях, когда число v превышает 30, можно пользоваться приближенной формулой

X^l^v-l/^ + ^l2,

где ир — значение стандартизованной нормально распределенной величины (см. табл. II и III).

Распределение t (Стьюдента)

Пусть имеется выборка величины X объемом п из генеральной совокупности, подчиняющейся нормальному распределению со средним р; тогда оказывается, что величина■

t = —s—(ж-р) подчиняется распределению t с числом степеней свободы (т?-—1). Плотность вероятности этого распределения

Распределение t симметрично относительно среднего, равного нулю; его дисперсия равна (п — 1)/(и — 3).

В табл. V (стр. 258) приведены абсолютные значения tp и вероятности р обнаружить значения 111 J> tp в зависимости от числа степеней свободы V. Вероятность р определяется как

7? 2j fv (£) dt.

По мере возрастания п распределение t стремится к нормальному распределению; основное различие заключается в том, что для формы распределения t характерны более длинные «хвосты». Это распределение играет важную роль и используется при проверке гипотез (см. [5], а также раздел 9, § 3).

Равномерное (прямоугольное) распределение

Если вероятность того, что ж заключено в интервале от xt до Xi + 6жг, одинакова для любых значений xt, а область изменения х ограничена интервалом от а до b (6 > а), то х подчиняется равномерному распределению, причем плотность вероятности

/(ж) ■

Среднее значение х равно (а + ^)/2, а среднее квадратичное отклонение равно (Ь — a)/p^l2.

Биномиальное распределение

Если в результате эксперимента можно получить одно из двух возможных значений Л или В (например, речь может идти о событии, относящемся либо к передней, либо к задней полусфере при измерениях углового распределения), то частота к появления результата А (при полном числе испытаний п) подчиняется биномиальному распределению. Пусть вероятность результата А в одном испытании равна р (при этом вероятность В равна 1 — р = д), тогда вероятность обнаружить А в к из п испытаний равна к-му члену разложения (р + g)n в ряд, т, е.

pk-q^'kK, k = Q, 1,

Если набор из п испытаний многократно повторяется, то среднее значение величины к будет стремиться к пр; при этом среднеквадратичное отклонение для к будет равно j/n/jg.

В качестве оценки неизвестной величины р используется р = к]п. Оценку среднеквадратичного отклонения можно получить, если в выражение VP^A—'PW подставить р вместо р.

В случае большого п (такого, что npq > 10) биномиальное распределение хорошо аппроксимируется нор- мальным распределением; в случае большого п, но мало-

го р для аппроксимации можно использовать распределение Пуассона (см. § 6).

Таблицы биномиального распределения и значения накопленных сумм (т. е. вероятности того, что в и испытаниях число благоприятных исходов к > к0 при заданном р) приводятся в работе [291 для р = 0,01 (0,01) 0,50 и и — 1 (1) 49. Приведенная в книге табл. VI (стр. 260) соответствует значениям р=0,1 (0,01) 0,5 и п=2 (1) 10 х).

Распределение Пуассона

Если эффективное число испытаний и в некотором эксперименте стремится к бесконечности, тогда как вероятность благоприятного исхода р стремится к нулю, так что произведение пр остается конечным и постоянным, то биномиальное распределение переходит в распределение Пуассона. Это распределение очень важно (особенно в экспериментах, где используются различные счетчики), поскольку описывает распределение вероятностей редких событий.

Если вероятность осуществления события в интервале 6ж (пространства, времени и т. п.) равна Хбж, где К — постоянная величина, то вероятность того, что в конечном интервале ос событие произойдет независимым образом к раз, дается распределением Пуассона

где К — Хх — среднее число событий в интервале х. Среднее число событий равно К, а среднее квадратичное отклонение равно ]/К. Оценкой параметра X служит величина к(х со средним квадратичным отклонением VkJx -

При малом р (р ^ 0,10) распределение Пуассона можно использовать в качестве приближения для биномиального распределения, причем К = пр. В книге Молина [261 приводятся таблицы значений как отдельных членов распределения Пуассона, так и накопленных вероятностей.

J) Принятое здесь обозначение указывает пределы изменения величин (крайние цифры) и значение шага (цифра в скобках), с которым изменяются эти величины.— Прим, перев.

ДОВЕРИТЕЛЬНЫЕ ПРЕДЕЛЫ

Если значение неизвестного параметра а с вероятностью (1 — р) заключено в интервале от а4 до а2, то cq и а2 называются 100(1 — />)%-ными доверительными пределами для а.

Выборки из нормального распределения

Понятие доверительных пределов можно использовать для оценок параметров нормального распределения при наличии выборки любого объема.

Доверительные пределы для среднего-.

- tpStp8

X И X Д, ,

У«-1 ул-1 .

где tp — абсолютное значение величины t (критерий Стьюдента), для которого t У tp с вероятностью р при числе степеней свободы п — 1 (см. табл. V).

Доверительные пределы для среднеквадратичного отклонения-

где /У = 1 —р/2, р" = у2, а Хр' и Хр" — значения X2, Для которых с вероятностью р' и р" соответственно х2 > Хр' и х2 > Хр", при числе степеней свободы п — 1 (см. табл. IV).

Следует отметить, что если п велико, то и распределение t, и распределение %2 приближаются к нормальному, и в таких случаях обычно применяются более простые методы оценок (см. раздел 9), основанные на нормальном законе.

Большие выборки и приближенно нормальныеоценки

В случае выборок, не подчиняющихся нормальному распределению, не всегда удается найти доверительный интервал; тем не менее этот метод применяют к выборкам

большого объема, так как при этом считается, что распределение оценки обычно приближается к нормальному г).

Таким образом, при большом п можно говорить о приближенных 100 (1 — />)%-ных доверительных пределах для параметра а, которые даются в виде а ± ups (ос), где ос — оценка ос; s(а) — ее среднеквадратичное отклонение; ир — значение стандартизованной нормально распределенной величины, для которой и ^ ир с вероятностью р (см. табл. II и III).

Такой метод дает надежные доверительные пределы для' среднего значения, если п > 30 и распределение не очень асимметрично; что касается оценок среднеквадратичного отклонения, коэффициентов корреляции и т. и., то в этих случаях п должно превышать 100.

МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

Оценка максимального правдоподобия

Метод максимального правдоподобия представляет собой наиболее важный общий метод оценки параметров. Если величины xt (i = 1, 2, . . ., п) составляют выборку из генеральной совокупности для ж с плотностью вероятности / (ж, ос), где ос — постоянный параметр, то элементарная вероятность получить именно эту выборку равна

/ (жъ ос) / (ж2, ос) .. . / (жл, ос) dxv dx^ .. . dxn.

Совместная плотность вероятности

п

I (ж,, ж2, ..., хп; ос) П / (^ь ос) (1.12а) i=l

называется функцией правдоподобия выборки. ‘

В случае дискретного распределения функция правдоподобия имеет вид п

П [Л(а)Р,(1.126)

где гг (с = 1,2,. . ., п) — частота появления хь а Р^ (ос) — вероятность получить этот результат.

*) О доверительных пределах в случае биномиального распределения см. работу [5).

Метод максимального правдоподобия состоит в том, что в качестве оценки неизвестного параметра а выбирается такое значение, которое максимизирует функцию правдоподобия. В ряде случаев максимум этой функции удается найти аналитически, решая уравнение

(ЫЗ)

1=1

где L — In [/ (жь . .., жп; а)]. Пример использования такого метода дается в следующем параграфе.

В случае m неизвестных параметров а, (/ = 1, ..., т) их оценки получаются из решений системы т. уравнений:

Часто на практике не удается получить решение в аналитическом виде, и тогда для нахождения максимума функции правдоподобия прибегают к численным расчетам. В подобных случаях, особенно когда выборка невелика и вид функции правдоподобия далек от нормального, целесообразно изображать графически функцию правдоподобия, откладывая по оси абсцисс значения оцениваемого параметра; в случае двух параметров удобно пользоваться контурными диаграммами (см. гл. 4).

Свойства оценок максимального правдоподобия;среднеквадратичное отклонение

Можно показать, что метод максимального правдоподобия позволяет найти наиболее эффективную оценку а параметра а, являющуюся при некоторых общих условиях асимптотически нормальной со средним значением а и среднеквадратичным отклонением

s (а) — |^ [s (а) — |^ [д2£"П -Vs—да2JJд2£"П -Vs—да2JJ(L14)(L14)

s (а) — |^ [

s (а) — |^ [

д2£"П -Vs

—да2JJ

д2£"П -Vs

—да2JJ

(L14)

(L14)

Здесь ^ — значение математического ожидания, полученное усреднением по распределению совместной вероятности I (xv ..., хп; а).

При вычислении величины $ (а) следует использовать тот факт, что

Для иллюстрации метода вычислим среднеквадратичное отклонение s ($) от оценки з среднеквадратичного отклонения генеральной совокупности а, предполагая, что xt распределены по нормальному закону со средним генеральной совокупности р.

ппВ случае выборки объема п функция правдоподобия

п

п

отсюда

L = — n In а — 2^2 2 (^г— И-)2 + const,i=i

dL п дооdL п доо^2 (^-н)2*^2 (^-н)2*

dL п доо

dL п доо

^2 (^-н)2*

^2 (^-н)2*

Полагая dLjdo=0, получаем оценку для о, т. е. п

-1=1

Далее вычисляем d^L __ 2п 3 dL до2а2 а до '

Находя математическое ожидание этого выражения, получаем (с учетом §[dZ//do]=0)

® / d2L \ 2«

6 V доз ) — аа 1 Следовательно,

з ($) = —”=.

Приближения. Нередко ошибка, которая дается формулой (3.14), представляет собой функцию неизвестных параметров; иногда специальным выбором параметра мож- 13—254

но ослабить эту зависимость; обычно для получения приближения, достаточно хорошего в случае малой величины среднеквадратичного отклонения, используются оценочные значения параметров [например, s (s) ^ si V^2тг].

Во многих случаях математическое ожидание не удается вычислить аналитически, и тогда в качестве приближения величину д^Ыда? определяют из выборки численным путем; Орир [31] предложил использовать следующее выражение:

f 92Z „ ,

j I (a) da

§ 3. /9-Функция Бартлетта

Использование этой функции лежит в основе метода получения оценок максимального правдоподобия для одного параметра, а также определения доверительных пределов; эти пределы, вообще говоря, более правильны, нежели те, которые получаются методом, указанным в предыдущем параграфе. 5-Функция Бартлетта (см. [3]) определяется следующим образом:

она имеет нулевое среднее и единичную дисперсию. .

Вычисляя 5 (а) как функцию а, можно получить оценку максимального правдоподобия а, являющуюся решением уравнения 5 (а) = 0. Кроме того, в предположении, что 5 (а) подчиняется нормальному распределению, можно из уравнения 5 (а) = + 1 определить 68,3 %-ный доверительный интервал (т. е. плюс или минус одно среднеквадратичное отклонение); подобным образом из уравнения 5 (а) = + 2 можно найти доверительные пределы, соответствующие двум среднеквадратичным отклонениям, и т. д.

Примеры использования этого метода в частных задачах оценки времени жизни частиц по их распаду, наблюдаемому в камере Вильсона (или пузырьковой камере), приводятся в работах [3, 16].

ПЕРЕНОС ОШИБОК

Часто результат эксперимента представляет собой некоторую функцию от нескольких различных случайных величин ХТ. Предположим, что каждое наблюдаемое значение хт принадлежит генеральной совокупности со средним цг и среднеквадратичным отклонением от. Теория переноса ошибок позволяет определить значение среднеквадратичного ' отклонения, которое следует приписать величине у (а^, . . ., жт).

Матрица ошибок (ковариационная матрица)

Для набора m случайных величин Xr(r=l, . ..,т) матрица ошибок S) (х) определяется следующим образом:

[Э(х)]т8 = 1 [(хг — МС^ — ps)L (1.17а)

где г, s = 1, ..., т.

Из этого следует, что 3) (х) — симметричная матрица ранга т, диагональные элементы которой представляют собой дисперсии соответствующих величин:

'[5> (х)]гг = о=;(1.176)

недиагональные элементы этой матрицы связаны с коэффициентами корреляции prs:

[3) (x)]rs ~ <jrosprs.(1.17в)

Если величины некоррелированы, то матрица 5) (х) диаго- нальна. На самом деле везде вместо значений or, os и prs фигурируют их оценки: s(^r), s (ж8) и q^xT, xs).

Линейные функции

Пусть величины уТ (г = 1, . . ., т) являются линейными функциями переменных xs(s = 1, . . ., п); это означает, что

п

Уг — а^^лц —}- а^х^ ■ -■ Н- drnXn 2 ®тв®в» (1.18а) 8=1

где аГ8 — постоянные, представляющие . собой элементы матрицы А. Уравнение (1.18а) в матричном обозначнии

запишется в видезапишется в видеу = Лх.у = Лх.(1.186)(1.186)

запишется в виде

запишется в виде

у = Лх.

у = Лх.

(1.186)

(1.186)

Если произведено несколько измерений каждой величины «s, то оценка величины уг получается при замене х5 на их средние х8. Пусть 5) (х) — матрица ошибок величин х8, тогда матрицей ошибок для функций уг будет

5)(y) = ЛS(x)Л,.(1.19)

Нелинейные функции

Результаты предыдущего параграфа можно обобщить и на случай нелинейных функций ут = /г (ац, . . ., ж8, . . , . . ., х^, предположив, что функция /г слабо меняется в области, ограниченной среднеквадратичным отклонением, от ее среднего значения, или, иными словами, что с точностью до членов первого порядка ее разложение в ряд Тэйлора имеет вид

Ут = fr (^1, ■ ■ • 5 Жп^ = /г (Ж|, • . ■ , Ж») ф-

+2{о.-^|х}.(1.20)

8=1

В этом разложении х8 есть среднее значение х5, а х обозначает набор («ь ..., х8, .. ., хп). Тогда оценка величины ут есть

Уг " /г (я-н • • • > ж^),(1.21а)

а элементами матрицы ошибок являются

п п

®1(уЖ.=2 2 (о.-^о,—^йШ.} • (L216)

Можно показать, что выражение (1.216) приводит к следующему результату для 5) (у):

S(y) = F3)(x)F',(1.22)

где F— матрица, элементы которой равны

Среднеквадратичное отклонениеотношения двух величин

В качестве простого примера применения общего метода, описанного выше, рассмотрим одномерный случай отношения двух случайных величин ^ и ж^. '

Среднее значение этого отношения

(1.23)

Матрица ошибок для «1 и ж2

_ Г «1$1$2?12"

’ '_®1S2912 S2 -

и, кроме того, ■

Р' = А(1.25)

■«2(ж2>2

Тогда ошибка величины у равна

з2 (у) = 4 {4 + 4- 2у12.(1.26)

Xj I Х^ XIх^ х2 J

Примечание. Если xv и ж2 распределены по нормальному закону и если х^8г больше 5, то у будет приблизительно подчиняться нормальному распределению со средним значением (1.23) и дисперсией (1.26).

Среднеквадратичное отклонениепроизведения двух величин

Если исходные величины обладают свойствами, описанными в § 3, то рассмотрение, аналогичное предыдущему, дает

У » ад(1.27)

и

^(y)=s{4+4+2^—• (L28)

Х^ ж2 '

Примечание. Если Xj и ж2 — независимые нормально распределенные величины, то строгим выражением для дис-

персии их произведения является

«Ч?) = Ф1 + ФН8Х,(1.29)

и оно может существенно отличаться от приближенного выражения (1.28) (при 912 = 0), если ошибки хх и ж2 велики.

Общая формула переноса ошибокдля независимых переменных

В заключение запишем 'обычную формулу (приближенную для нелинейных функций) переноса ошибок в случае одного параметра, зависящего от некоторого количества независимых переменных.

Если у = t (ад), t — 1, . . ., п, то

1=11

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ.АППРОКСИМАЦИЯ ПОЛИНОМОМ

§ 1. Постановка задачи

В этом разделе рассмотрена задача получения наилучшего решения, описывающего соотношение между двумя величинами X и У, где экспериментальные результаты представляют собой серии измерений У, уг (г = 1, . . ., п) со среднеквадратичными отклонениями <тг, выполненные при соответствующих значениях X, хт, которые не имеют ошибок. Будем предполагать также, что значения величины У независимы и распределены по нормальному закону.

Пусть полином, которым предполагается описать экспериментальные данные, представлен в общем виде

У = У («1, • • ., «р; х),

где a.j (у = 1, . . ., р) — неизвестные постоянные параметры. В результате процедуры аппроксимации будут получены оценки а; параметров а^ и наилучшие значения pr (at, . . ., ар: хг) величины У в точках хт. Если^у, под-

чиняются нормальному распределению, то оценками максимального правдоподобия оказываются у, которые минимизируют величину

-М = У , (I,зо)

Эту процедуру обычно называют методом наименьших квадратов. Значения a.j получаются в результате решения системы р уравнений .

^ = 0.да;

Величина М подчиняется распределению %2 с числом степеней свободы, равным (« — р). Следовательно, в данном случае можно применять критерий согласия, основанный на сводке данных раздела 4, § 2 (см. также раздел 9, § 1).. . .

Оценки «у в общем случае будут коррелированными; метод получения матрицы ошибок

[3)(a)h;=g [(а, — а<) (а, —а,)]

состоит в следующем (см. [31]):

3)(а) = С-1, причем

М„

9СЦда3 av ...,ар(L32)

Если ошибки ог неизвестны, но известны их весовые множители wT, зависящие от хг, ,т. е.

то уравнения (1.30)— (1.32) следует преобразовать следующим образом:

М' = 2 ^(z/r —z/(zr))2,(1.30')

Г=1

.^=0,(ЕЗГ)

да.

И

3)(a) = s2C"1,

где s2 — оценка а2. Она может быть найдена из разброса значений уг относительно аппроксимирующего полинома:

п—р

В таком случае можно считать, что величина

подчиняется распределению %2 с (п — р) степенями свободы.

Линейные функции

Если y(an ..., ap; х) линейно по aj, т. е.

у (an ..., “р; х) = 2 М/ (х).(1-34)

то уравнениями для од будут

' р п

<!-35)

&=1 7=1 Т

И

[ЗУ1 (а)]^- = 2 ^.h^ .(L36)

, От

Аппроксимация прямой линией

Уравнение прямой

(1.37)(1.37)y = ai + a2x.

(1.37)

(1.37)

Воспользовавшись результатами предыдущих параграфов, найдем

h^^ — V 12^ = хг,(1.38)

Детерминант матрицы Са=(2^)(54)-(2^)2.Детерминант матрицы Са=(2^)(54)-(2^)2.(1.40)(1.40)а матрица 2) (а), обратная С, являющаясяа матрица 2) (а), обратная С, являющаясяматрицейматрицейошибок для «! и а2, оказывается следующей:ошибок для «! и а2, оказывается следующей:(1.41)(1.41)Решение задачиРешение задачиа2а2H(s^)(s4Mst)(sy}-

Детерминант матрицы С

а=(2^)(54)-(2^)2.

Детерминант матрицы С

а=(2^)(54)-(2^)2.

(1.40)

(1.40)

а матрица 2) (а), обратная С, являющаяся

а матрица 2) (а), обратная С, являющаяся

матрицей

матрицей

ошибок для «! и а2, оказывается следующей:

ошибок для «! и а2, оказывается следующей:

(1.41)

(1.41)

Решение задачи

Решение задачи

а2

а2

В данном примере р = 2, и, таким образом, М подчиняется распределению %2 с (и — 2) степенями свободы.

Обобщенный метод наименьших квадратов

Во многих важных приложениях, таких, как кинематическое описание результатов экспериментов, полученных в пузырьковых камерах, метод наименьших квадратов обобщается на случай коррелированных величин и нелинейных функций. Эти вопросы рассмотрены в работах [1, 16] т).

9. ПРОВЕРКА ГИПОТЕЗ

Общие замечания

Статистическая проверка некоторой гипотезы относительно набора экспериментальных данных сама по себе не дает доказательств, правильна или ложна эта гипотеза;

В Сц. также [63] и дополнение 2,—Прим, перее,

подобная проверка лишь указывает степень согласия гипотезы с результатами эксперимента.

Критерий проверки обычно выбирают таким, чтобы вероятность р отвергнуть гипотезу была малой, когда гипотеза верна. Значение р называется уровнем значимости и, как правило, может быть вычислено. G другой стороны, оценить вероятность того, что гипотеза будет принята, если она неверна, вообще говоря, невозможно, поскольку для этого следовало бы рассмотреть все прочие возможные гипотезы, число которых, по-видимому, бесконечно.

Если проверяется несколько различных гипотез, дающих объяснение одним и тем же данным (ситуация, типичная для экспериментов с пузырьковой камерой), то часто возникает неопределенность, обусловленная тем, что заданному критерию удовлетворяет несколько гипотез. Выход из положения может зависеть от эксперимента (к примеру, дополнительная информация может оказаться способной разрешить возникшую неоднозначность), но в общем случае было бы неверно вносить последующие поправки в имеющийся критерий проверки и затем его применять исключительно к сомнительным случаям с целью получить решение. В принципе сомнительное событие следовало бы отнести (при отсутствии какой-либо дополнительной информации) к любому из типов, удовлетворяющих заданному критерию согласия; здесь имеется в виду, что события некоторых типов могут быть плохо различимы и сильно замаскированы событиями более часто встречающихся типов.

Еще одна трудность часто возникает в тех случаях, когда гипотеза формулируется лишь после изучения экспериментальных данных; это происходит, например, при проверке на значимость новых «резонансов», обнаруженных в экспериментальных данных, причем положение и характер предполагаемого резонанса неизвестны до того, как обработаны экспериментальные результаты. В подобной ситуации единственным действительно удовлетворительным критерием значимости, по-видимому, может служить повторный эксперимент,

Критерий ^

Часто бывает необходимо проверить для заданной выборки xt (i = 1, . . ., га) случайной величины X гипотезу о том, что / (X) является плотностью вероятности для X. Для получения меры отклонения имеющихся данных от ожидаемых согласно гипотетическому распределению используется величина %2; критерием проверки гипотезы может служить сопоставление величины %2 с табличным значением, которое соответствует заданному 100р%-ному уровню значимости.

Прежде всего весь диапазон значений ж в данной выборке разбивается на п неперекрывающихся интервалов. Если р^ обозначает гипотетическую вероятность того, что ж принимает значение, относящееся к i-му интервалу (причем число значений из выборки, попадающих в i-й интервал, равно v^), то

Х==2<М,(ь42)

1=1

где п — объем выборки, и

п

2 (Vj — и;?/) = 0.(1.43)

1=1

Если предполагаемое число значений в каждом интервале больше десяти (т. е. npt > 10), то величина

(1.44)

будет распределена асимптотически нормально. В таком случае %2 представляет собой сумму квадратов п асимптотически нормальных величин, которые должны подчиняться условию (1.43); из этого следует, что если гипотеза верна, то величина %2 (1.42) подчиняется (по мере роста га) распределению %2 с числом степеней свободы, равным (га — 1).

Пусть Хр — значение %2, для которого х2^ Хр с вероятностью р в случае га — 1 степеней свободы.

Тогда проверка гипотезы на 100р%-ном уровне значимости состоит в следующем.

Если вычисленная величина %2 превысит Хр» то следует считать, что данная выборка обнаруживает значимое отличие от гипотетического распределения, и тогда гипотеза отвергается; в противном случае (%2 < Хр) гипотеза принимается. Согласно этому правилу, вероятность отвергнуть правильную гипотезу равна р.'

Чтобы удовлетворялись сделанные предположения, необходимо разбивать диапазон значений х так, чтобы в каждом интервале оказывалось больше десяти ожидаемых значений.

Значения Хр как функции р и числа степеней свободы v можно получить, пользуясь соответствующей номограммой или табл. IV (стр. 256). В тех случаях, когда v превышает 30, можно использовать приближенную формулу z;, = 4{(2v-1)‘,= + hp)=,(1.45)

где tip соответствует 100р%-ному уровню для нормального распределения и может быть найдено из табл. II (стр. 254).

Оценка параметров с помощью критерия х2

В данном параграфе рассматривается случай, когда гипотетическое распределение не полностью определено заранее. Неизвестные параметры этого распределения можно оценить методом максимального правдоподобия или, что то же самое, методом наименьших квадратов (по минимуму значения х2) Для приближенно нормально распределенных частей выборки в каждом интервале. Можно показать, что тогда найденная величина х2 будет подчиняться распределению х2 с числом степеней свободы, равным (п — s — 1), где s — число параметров, оцениваемых из данной выборки. Сам же критерий х2 затем применяется аналогично предыдущему случаю.

Если методом наименьших квадратов оценивается единственный параметр а, то результат полезно изображать в виде графика зависимости вероятности р получить большее значение х2 от соответствующего значения оценки а.

Это позволит наглядно убедиться в пригодности полученного решения и одновременно определить доверительный интервал для а. В случае двух параметров а и Р используется графическое представление на плоскости а, Ь, где изображаются контуры постоянных р.

Проверка положения среднего значениянормального распределения

В обзоре Камерона [5] рассмотрено несколько критериев проверки положения среднего значения нормально распределенной величины. В данном параграфе будет изложен способ проверки, отлично ли среднее значение от некоторой заданной величины.

Пусть х и s — соответственно среднее значение и среднеквадратичное отклонение, найденные на основании выборки объема п из нормального распределения со средним р. и среднеквадратичным отклонением сг.

Необходимо проверить гипотезу р = р0. Для этого используется статистика

♦ |ж —Pol

и если гипотеза справедлива, то величина t подчиняется распределению t с (п — 1) степенями свободы.

При 100/7%-ном уровне значимости гипотезу следует отвергнуть, если наблюденное значение t превышает значение tp, для которого t "^> tp с вероятностью р в случае п — 1 степеней свободы. Значения tp могут быть найдены в табл. V (стр. 258).

Практически при больших п хорошим приближением для распределения t служит нормальное распределение. Какое п можно считать «большим»— в некоторой степени зависит от уровня значимости, на котором проводится проверка; так, при п = 10 и ^ = 3,29 вероятность t > 3,29 равна ~10~3 согласно нормальному распределению и ~10~2 согласно распределению t.

II

У. К. ГАМИЛЬТОН

Метод наименьших квадратови проверка линейных гипотез1)

Метод наименьших квадратов

Допустим, что результаты эксперимента представляют собой п различных величин

У1, У^ • • •, Уп,(ПЛ)

причем известно, что каждая из этих п величин линейно зависит от т ^п) параметров

91} е2, ..ет.(п.2)

С каждой из наблюдаемых величин уг связана случайная ошибка ег, так что можно написать:

У1 = ац91 + ^1202 4" • • • 4" с1т0т + 81>

' У2 — a2i9j + ®2202 + • • • + a2m0m + е2>(П.З)

Уп — Яп161 4" ап^2 4" • • • 4* апт^т 4" 8п-

Систему „линейных уравнений (П.З) можно записать в матричной форме, а именно

у = Л9 + е.’(П.За)

Матрица Л ранга т предполагается известной. Она часто называется структурной или конструкционной матрицей. Мы считаем, что параметры 9 содержат важную физическую информацию. Поэтому наша задача состоит в получении оценок 0 этих параметров.

Если число наблюдаемых величин равно числу параметров и если уравнения (П.З) совместны, то можно найти единственное решение 9, удовлетворяющее системе (П.З); в этом случае ошибки е должны обратиться в нуль.

4 См. [53], гл. 4, 5.

Поскольку каждое у, содержит экспериментальную ошибку, мы обычно стараемся, чтобы число наблюдаемых величин превышало количество параметров. Это дает нам возможность получить более точные оценки 9 параметров 9 и в то же время найти оценки их дисперсий. Условие п > пг соответствует «переопределенное™» параметров. Из-за наличия ошибок 8 данному набору наблюдаемых величин у отвечает, вообще говоря, не единственное решение для 9. [В случае неизвестных 9 и е система уравнений (II.3) имеет бесконечное число решений.] Конечно, можно было бы выбрать любые п уравнений и решить их относительно т параметров. Однако мы интересуемся наиболее точным решением.

Будем считать, что ошибки е подчиняются совместно му распределению с нулевым математическим ожиданием, т. е. что

8(у)гуо = ЛО,(IL4)

и ковариационная матрица 2) (у) ранга п

/ ^13)(y) = | aia2p12/ ^13)(y) = | aia2p12^l^Pia • • • OjOnPmOg ... o^npan^l^Pia • • • OjOnPmOg ... o^npan(II.5)(II.5)

/ ^1

3)(y) = | aia2p12

/ ^1

3)(y) = | aia2p12

^l^Pia • • • OjOnPm

Og ... o^npan

^l^Pia • • • OjOnPm

Og ... o^npan

(II.5)

(II.5)

OlHnpin О^РпРап • • • On 1

где

OiOi(П.6)

Oi

Oi

и

(П.7)(П.7)OlOjpij = § (ег8У) = Gov (yb у5у

(П.7)

(П.7)

9-М9-МТаким образом, одно из основных предположений состоит в том, что ошибки 8, величин у^ принадлежат распределениям с конечными вторыми моментами. Здесь можно отметить, что это условие является единственным и в методе наименьших квадратов вовсе не требуется предположения о нормальном законе распределения ошибок, хотя обычно это условие ошибочно считают необходимым. Можно показать, что существуют оценки

9-М

9-М

(П.8)

такие, что для любой линейной функции от 9

/ = П0(II.9)

оценка

f — U9(11.10)

будет несмещенной оценкой / с минимальной дисперсией. Оценки 0, обладающие таким свойством, не зависят от вида U.

Пример. Допустим, что имеется два параметра 9t и 92. Линейную функцию / (П.9) можно записать в виде

/ = нД^ -{- н202

с оценкой (11.10)

7 = иД* -J- u202.

Далее, если оценки параметров являются несмещенными, го

g (7) = и^ (90 + u2g (02) = нД! 4- ^2 = /

и

о2 (7) = и^ (90 4- ф2 (90 + 2M1M2Cov (*0ь 60.

Примечательно, что значения 9i и 92, приводящие к минимуму о2 (/), не зависят от ut и м2.

Можно показать, что эти оценки 9 идентичны оценкам, полученным простым методом Гаусса, который рассматривал специальный случай■

®(У) = /,(П.11)

т. е. случай некоррелированных ошибок е, с одинаковыми дисперсиями. Метод наименьших квадратов Гаусса основан на минимизации остаточной суммы квадратов

К = ^(У1-У1У,(П.12)

где

у^ле.(П.13)

Если ввести вектор остатков

V = y —у = у—Л0,(11.14)

то минимизация величины R, которая определена равенствами (11.12), эквивалентна минимизации квадратичной формы

R=W.(11.15)

Это означает, что в случае неединичной матрицы S) (у) соответствующая задача состоит в нахождении минимума формы

fl = V'3)-i(y)V.(11.16)

Преобразуем это выражение, а именно

ган (у) v=(у - лёуз?-1 (у) (у - Лё)=у'а>-1 (у) у +

+ 0'Л 'ЗУ1 (у) Л0 - у"S)1 (у) лё - ё'Л'Э-1 (у) у. (II. 17)

Вводя дифференциальный оператор б, мы получим условие минимума:

6 [V'®-1 (у) V] = 2 (60)' [Л'ЗН (у) Л0 - Л'ЗГ1 (у) у] = 0,

(11.18)

которое приводит к системе так называемых нормальных уравнений

M'SH (у)Л]0 = Л'Э-1(у)у,

или

В^ = Л'3)-1(у)у,(И. 19)

где В = Л'З)"1 (у) Л—матрица системы нормальных уравнений. Уравнение (IL19) можно решить относительно искомых оценок 0:

О^/ГМ'ЯГ^у.(11.20)

Замечательно, что минимизация обобщенной суммы квадратов остатков приводит к тем же наилучшим оценкам ё, что и минимизация дисперсии произвольной линейной комбинации от 0. Полученная методом наименьших квадратов оценка (жнк-оценка) ё соответствует минимуму дисперсии оценки любой линейной комбинации и параметров, и в частности по этой причине лнк-оценки имеют столь важное значение. Следовало бы еще раз подчеркнуть, что лшк-результаты не требуют специальных ограничений 14-354

на распределение ошибок величин у. Как уже отмечалось, необходима лишь конечность вторых моментов, хотя часто неверно считают, что метод наименьших квадратов основан на предположении о нормальном законе распределения ошибок. Возможно, это заблуждение обусловлено тем, что лишь при нормальном законе распределения ошибок принцип максимального правдоподобия приводит к тому же решению 6, что и метод наименьших квадратов.

Таким образом, в случае нормально распределенных оши- | бок жнк-оценка идентична оценке, полученной методом j максимального правдоподобия.

Теперь допустим, что 3) (у) известна лишь с точностью до некоторого множителя:

S(y) = aW(П.21)

и

(П.22)

где матрица N известна, а величина а2 неизвестна. Иными словами, известны относительные, а не абсолютные значения элементов ковариационной матрицы. Тогда нормальные уравнения приобретают вид

Уа'М->а6 = -Га'М-^.(11.23)

Величина о2, стоящая в обеих частях уравнения, сокращается, и решение в итоге не зависит от абсолютной величины элементов ковариационной матрицы. Матрица

=(11.24)

называется весовой матрицей, а о2 —дисперсия наблюдения с единичным весом. Пусть для примера

3)(у) = о2/.(11.25)

Тогда весовая матрица

Г1 = 7,(П.26)

т. е. веса всех наблюдаемых величин равны единице, а их дисперсии одинаковы и равны о2.

Ниже мы убедимся, что о2 можно рассматривать как оцениваемый параметр и что эта оценка обладает многими

свойствами критерия согласия. Перепишем .мик-результат в виде.

0 = (AWA^A'Wy.(11.27)

В случае нематричных обозначений мы имеем дело с системой линейных уравнений-

Уь^-сь 7=1,...;™, .(П.28)

где п п bij = 2 3 Q'kiArjldkr(11.29)

k=l r=l

и.

n n

Ci = 2 3 aMyrwhr,(11.30)

k=l r=l

Если весовая матрица диагональна, то

1Угу = 0 при 15^7(11.31)

и

iPi^Wu(11.32)

могут быть приписаны отдельным уравнениям. Тогда соотношения (11.29) и (11.30) сведутся к

Ьц = 2 aMahjwhl(И.33)

ь=1

£i= 2 aktUkWh-(11.34)

h=l

Это эквивалентно умножению каждого из уравнений (II. 1) на квадратный корень из соответствующего веса и переходу к новой системе уравнений, не содержащей веса, т. е.

apq = u?p/2aPq,(11.35)

Ур = ^ур,(П. 36)

bu = 2 Mi,(П.37)

k=l'

с;= 2 М-(IL38)'

Ошибки оценок параметров. После того как в результате решения системы нормальных уравнений получены оценки, остается показать, что ковариационная матрица (или матрица ошибок) этих оценок равна обратной матрице системы нормальных уравнений, т. е. В-1. Искомую матрицу можно записать в виде

3(0) = ^ [(0-0) (0-0)'].(11.39)

Тогда

9 (0) = g [ТГМ'ЗГ1 (у) (у- у„) (у - уо)'®"1 (у) АВ"Ч -

= В-^А'^ (у) g [(у — Уо) (У — Уо)Ч Э1 (У) АВ-Ч (11.40)

Но поскольку

9(у) = ^[(у-Уо)(у — Уо)1,(П.41)

получаем

(0) = В-^А'^ (у) 3) (у) ЗГ1 (у) АВ"1 = В"\ (11.42) что и утверждалось.

Далее, коль скоро

В = Л'ЗГ1(у)Л = -1гЛ,1РЛ,(11.43)

оказывается, что

(11.44)

Чтобы получить ковариационную матрицу оценок параметров, нужно либо знать о2 —дисперсию наблюдения с единичным весом, и тогда 3) (0) полностью определена, либо иметь несмещенную оценку о2, и тогда мы будем иметь несмещенные оценки элементов искомой матрицы. Ниже будет показано, что метод наименьших квадратов действительно позволяет получить несмещенную оценку о2.

Рассмотрим величину

^V'TVi^o^lV'^tyjV], (П.45) которая представляет собой обобщенную (взвешенную) остаточную сумму квадратов. Далее

У'ЗГ1 (у) V = V'S)"1 (у) (у - ЛО) У'ЗГ1 (у) у, (П.46) поскольку условие

V'3)-1 (у) Л = 0(11.47)

эквивалентно системе нормальных уравнений. Кроме того, обращаясь к нормальным уравнениям, можно показать, что

V^ (у)у-(у'-О'Л') З)"1 (у) (у) =

- У 'Э1 (у) у - б'Л'Э1 (у) у - у'®1 (у) у - 0'50. (11.48) Полученное выражение равно

(у - у0)' Э"1 (у) (у —у0) - (0 - 0)' В (0- 0). (11.49) Таким образом,

% [У'ЗГ1 (у) V] 11(у — у0)' 3)^ (у) (у — Уо)] -

-g [(0-0') В (0 — 0)]. (11.50)

Можно показать, что это приводит к результату

g [У'ЗГЧуПЧ^-т,(11.51)

где п и т — ранг матриц 5) 1 (у) и В соответственно1). Итак,

(11.52)(П.53)(11.52)(П.53)g (VWV) = (п — т) о2и несмещенная оценка о2 дается выражением% VWV

(11.52)

(П.53)

(11.52)

(П.53)

о2 =——■— .

п —т

Следовательно, несмещенная оценка 3) (0):

«Й=-^-(Л^Г,<п-54>

Если $t (i = l, ..., и)—случайные величины с нулевыми средними значениями, конечными дисперсиями и ковариационной матрицей 2) ранга п, то легко показать, что

6 (Х'ЗНХ) = п.

Доказательство:

-6 (Х'Ю^Х) г g [Sp (Х'Э^Х)] =

= S [Sp (X'XS^1)] - Sp % (XX'2)-1) = Sp ss-1 = Sp I = n.

Соотношение (11.51) следует из того факта, что у — уо и 0—0суть случайные величины с нулевыми средними и ковариационными матрицами ранга п и т соответственно.

или просто равна обратной Матрице нормальных уравнений, умноженной на несмещенную оценку а2. Следует особенно подчеркнуть, что ни один из полученных выводов не требует предполагать Нормальный закон для распределения ошибок величин yt. Необходимо лишь, чтобы уг были несмещенными оценками (с конечной дисперсией) математического ожидания генеральной совокупности. Л/нк-оценка 9 представляет собой несмещенную оценку 0 с минимальной дисперсией, которая не зависит от вида распределения; несмещенная оценка матрицы 2) (9) дается формулой (П.54). Однако в задачах проверки гипотез мы будем считать распределение ошибок нормальным. Кроме того, когда распределение предполагается нормальным, оценка а2 (11.53), оставаясь несмещенной, обладает некоторыми оптимальными свойствами. Тогда, как уже указывалось, оценка максимального правдоподобия совпадает с лшк-оценкой.

Пример. Допустим, что с помощью трех измеренных величин у^, уг, у3 надо определить два параметра 9j и 92, причем известно ’

У1 — 391 + 9г>

у2 = 291 + 92,у3 = 391 ф- 292.

Все найденные на опыте величины оказались равными 4,0. Предположим, что дисперсии во всех трех случаях одинаковы и равны, например 2а = 4, и что, кроме того, имеется коэффициент корреляции между первыми двумя величинами, равный 0,5. Тогда ненормированная ковариационная матрица наблюдений будет иметь вид

Весовая матрицаВесовая матрица/ 0,3333/ —0,1667\ 0,0000/ 0,3333/ —0,1667\ 0,00002,0 0,0\ 4,0 0,0 .

Весовая матрица

Весовая матрица

/ 0,3333

/ —0,1667

\ 0,0000

/ 0,3333

/ —0,1667

\ 0,0000

0,0 4,0/

-0,16670,33330,0000

Кроме того.

/4,0

У = 4,0

\4,0

и А =

3,0

2,0

3,0

Производя необходимые вычисления,

1,0\

1,0 .

2,0/

получаем

A'WA =

4,58 3 2,333

2,333 1,333

и

/1,00\

Вектор остатков

/ 0,25'

У = у-Л9-1,25

\-0,50

и

V'P7V = 0,5000.

Поскольку число наблюдений равно 3 и число параметров равно 2, несмещенная оценка о2

% VWV 0,5000 n сппп

о2 === 0,5000,

п т3 — 21

а оценка ковариационной матрицы параметров

—1,750\3,437/ '—1,750\3,437/ '- а VWV/ 1,000

—1,750\

3,437/ '

—1,750\

3,437/ '

Оценки средних квадратичных отклонений a (OJ^l,000)^2 = 1,000, а(92) = (3,437)1/2= 1,854,

представить сц = 1,00, 02 = 1,85.представить сц = 1,00, 02 = 1,85.в видев видетак что л«<к-результат можно 9^1,00, 92 = 0,75,

представить сц = 1,00, 02 = 1,85.

представить сц = 1,00, 02 = 1,85.

в виде

в виде

Однако у корреляционной матрицы

/ 1,00

Pi7 = \—0,94

— 0,94)

1,00^

столь большие недиагональные элементы, что бессмысленно приводить оценки среднеквадратичных отклонений, не упоминая о сильной корреляции. Большая положительная ошибка в 91 потребует большой отрицательной ошибки в 92.

Геометрическая интерпретация матрицы ошибок

Весьма полезной и поучительной может оказаться геометрическая интерпретация матрицы ошибок. Квадратичная форма

50 = (9 —е)'®"1 (9) (9 —9) = А'2)-1 (9) А = A'SA (11.55) представляет собой уравнение гиперэллипсоида с центром в точке А = 0 (нулевой вектор) или 0 = 9 в т-мерном пространстве параметров. В большинстве приложений плотность вероятности ошибок будет функцией лишь SQ, так что приведенное выше уравнение описывает гиперэллипсоид постоянной вероятности.

Рассмотрим гиперэллипсоид, соответствующий специальному случаю So = 1; будем называть его гиперэллипсоидом среднеквадратичного отклонения. Если обозначить элементы вектора А через бг, то проекция этого гиперэллипсоида на плоскость (01; 92) есть эллипс, уравнение которого ’

5-+#~1т-6Л=1-р^ (п.5в)

Проекции этого эллипса на оси координат характеризуют удвоенные значения маргинальных среднеквадратичных отклонений at и а2. Подобным образом, маргинальное среднее квадратичное отклонение для каждого из параметров равно половине длины проекции исходного гиперэллипсоида на соответствующую ось. Если 6t фиксировано, то

8{6г|6<) = Р12-?-61 = —^-6, (П.57)

— условное математическое ожидание величины 62— лежит на линии с наклоном p12a2/ai, обозначенной на фиг. 11,1

буквой В. Эта линия называется линией регрессии величины 62 по бР Аналогичным образом линия с наклоном (l/pi2) o^°ii обозначенная на той же фигуре буквой А, представляет собой линию регрессии величины 6t по б2. Условное среднеквадратичное отклонение величины б2,

Фиг. 11.1. Эллипс среднеквадратичного отклонения в случае двух коррелированных параметров.

Проекции эллипса на оси координат являются маргинальными среднеквадратичными отклонениями. Отрезки OQ и ОР представляют собой условные среднеквадратичные отклонения о (а | 1) и о (11 в).

0^11 равно половине длины отрезка прямой, параллельного оси 62, и ограничено размерами эллипса. Это условное среднеквадратичное отклонение не зависит от величины dj.

В общем случае m-мерного пространства можно записать

g{61|62 ... 6m) = d112...m= 2-^-е,. (П.58)

Величины (— Ь^5!Ъ^ представляют собой парциальные коэффициенты регрессии 04 по Оу. Подобным образом условная дисперсия дается выражением

(п,59)

Условная дисперсия всегда меньше маргинальной дисперсии, если корреляции между 9t и 6;- не равны нулю при всех значениях j; в противном случае обе дисперсии равны друг другу.

Для более подробного рассмотрения распределения вероятности необходимо вводить специальные распределения ошибок наблюдаемых величин.

Вводя ортогональное преобразование, которое диагонализирует матрицу З)-1 (9) = В, можно найти такие линейные комбинации Ai оценок параметров Ао, у которых взаимные ковариации равны нулю, что является условием статистической независимости в случае многомерного нормального распределения. Главные оси гиперэллипсоида ошибок будут параллельны новым осям параметров. Если

TST^T'^M,(11.60)

где матрица М диагональна, то

А^"1 (0) Ао = А;м Ai = А;?1®-1 (9) Г Ai (11.61) и

А1 = (Г)"1А0 = ГА0,(11.62)

поскольку матрица Т предполагается ортогональной. Так как диагонализирована матрица В, то для нахождения независимых (в указанном смысле) линейных комбинаций оценок параметров нет необходимости искать лшк-решение.

Многомерное нормальное распределение и свойствараспределений квадратичных форм

Выше было указано, что наилучшие оценки параметров и дисперсий могут быть получены без специальных предположений относительно закона распределения ошибок. Однако ясно, что для определения доверительных интервалов и проверки гипотез такие предположения необходимы. Мы сосредоточим основное внимание на распределениях, имеющих отношение к нормальному закону. Плотность вероятности m-мерного нормального распределения с нулевыми средними может быть записана в виде

У(6)=С'ехр(-19,3)-10) ,(11.63)

гдегде

где

где

(11.64)(11.64)Г _ [det В-^Уа(2л)т/2

(11.64)

(11.64)

Матрица З)-1 квадратичной формы в экспоненте (11.63) представляет собой обратную ковариационной матрице- Это можно показать, используя интегральное выражение

(Cov(91, 92)} = (7 j ... j 00'exp(—^-О'ЗГЧ)) t70± . .. dQm.

■(11.65)

Пусть

0 = 7Y,(II. 66)

так что-

O'S"10 == Y'Y.(11.67)

Тогда■

4-оо 4~°о

{Cov(0„%)}=—Г^ f ... [ m'T'e-^det...de„ = \^Л) J J

4~OO—oo

=1 [^S L " jde,... &,„] Г.

(11.68)

Но матрица в скобках есть единичная матрица, так как величины уд независимы. Поэтому

8 (99') = Cov (0ь 0;) = Т1Г = ТГ.(П.69)

И поскольку

■ ТТ = ^,(11.70)

в итоге получаем

Cov(9b 9;) = 3).(II.71)

Нас будет интересовать распределение квадратичной формы

0'ЗГ1 0.0'ЗГ1 0.(11.72)

0'ЗГ1 0.

0'ЗГ1 0.

Произведя линейное преобразование

(11.73)

получим

O^-i о = у' Y = уХ + УХ + • •. + Ут- (И- 74)

Эта квадратичная форма представляет собой сумму квадратов т нормально распределенных величия с нулевыми средними и единичными среднеквадратичными отклонениями. Следовательно, она распределена как %2 с тп степенями свободы.

В случае многомерного нормального распределения с отличными от нуля средними

к |е) = ^^ «р [—Н0-0»)’3-110-0»)] - (п-75>

аналогично можно показать, что квадратичная форма

е'э^е(П.76)

следует нецентральному распределению %2 с параметром нецентральности

^2 = 6;3)-16О.(11.77)

Если 0О равно нулю, параметр нецентральности исчезает, и распределение переходит в обычное распределение %2. Полезно отметить, что в общем виде квадратичная форма О'Х0 ранга q и порядка т распределена как %2 с q степенями свободы в том и только том случае, когда ранг квадратичной формы 6' (Э-1 — К) 6 равен т — q.

Распределение квадратичных формв методе наименьших квадратов

Пусть дана квадратичная форма 0'50 ранга т, кроме того, предположим, что на 0г наложены р независимых линейных связей

Q(pXm)0(mXl) — 0(рХ1)> ■(11.78)

При таких условиях форма 0'50 распределена как %2 с тп—р степенями свободы, поскольку число независимых переменных 6; теперь равно не т, а т — р.

Рассмотрим теперь квадратичную форму

(1.179)(1.179)V'®"' (y) V,

(1.179)

(1.179)

где V —вектор остатков, полученных при лшк-аппроксима- ции. В § 1 дополнения II мы показали, что

У'®"1 (у) .4 = 0,(11.80)

так что,

введя обозначение

Q' = S)-i(y)A,(11.81)

получим

(?V = 0.(11.82)

Матрица Q имеет ранг т, поэтому форма V'3)1(y)V распределена как %^_т. Так как # (/^) = п, неудивительно, что для случая нормального распределения мы получили то же самое, что и в общем случае, а именно

^[V'S'^y)^-^-^.(11.83)

Таким образом, о — VWNKji — тп) представляет собой несмещенную оценку а2 и распределено как

у2

.(П.84)

п— тх '

Ранее мы видели, что

VS-1 (у) V — (у _ уо)' S-1 (у) (у _ у0) _ (0 _ 0) В (0 - 0). Поскольку (у-уо)' 2)-1(у)(у — у0) распределено как ^, a V'5)4(y)V распределено как %^_т, то (0 — 0)'5 (0 — 0) должно быть распределено как 7^; это следует также из того, что если существует лнк-решение, то ранг матрицы В равен т. Значит, если известен множитель о2 ковариационной матрицы, то отклонения от мнк-оценок можно было бы проверить с помощью критерия /2. Однако, как уже отмечалось, чаще всего а3 оценивается с помощью о2, критерия согласия, и это вынуждает нас поступать несколько иначе.

Вводя прежнее обозначение оценки ковариационной матрицы искомых параметров

Э (0) = о2 (nwnf1,мы приходим к распределению следующей формы:

<0—ег я)-1 (0)(ё—е).(П.85)

Так как И^^ЗГЧу),(11.86)

то

(6 - 6)' Э-1 (6) (0 - 0) = (0 -0)' В (0 -6) -^ . (11.87)

и не зави-(11.88)(11.89)(11.90)и не зави-(11.88)(11.89)(11.90)Поскольку о2 распределено как о27^_т/(п— т) сит от (0— 0)' В (0— 0), то

и не зави-

(11.88)

(11.89)

(11.90)

и не зави-

(11.88)

(11.89)

(11.90)

(0 — 0)' З"1 (0) (0 — 0)будет распределено како ~т. п—т*

Итак, чтобы проверить нулевую гипотезу Ну.

О = 0Н, необходимо вычислить величину -^=-5 <»-6sY а-Че^ё-ен)

и сравнить ее с критерием ^т.п-т- Если SHlm превы-

шает ^m.n-m.ai то на уровне значимости а гипотезу Но можно отвергнуть. В дальнейшем (§ 6) этот вопрос будет рассмотрен в общем виде.

§ 5. Метод наименьших квадратов при наличиилинейной связи параметров

0O = z,0O = z,Вернемся к задаче нахождения лшк-оценки параметров, но допустим теперь, что 0^ не независимы, а удовлетворяют системе линейных уравнений

0O = z,

0O = z,

(11.91)

причем ранг матрицы Q равен 6. Вводя множители Лагранжа А(1Хь), построим функционал

(П.92)(П.92)G = V'2)-i (y)V-2A (00-Z).

(П.92)

(П.92)

Пусть у' — лик-оценка линейно-связанных параметров. Тогда

65 = 2V'S)^ (у) 6V - 2AQ69,

0 = 2 [-у'ЗГ1 (у) 4 + 0'5-40 66,(П'93>

т. е.

Л^ = 0'5 —у'З)-1 (у)4.(11.94)

Заметим, что

у'ЗГЧуМ-в^,(11.95)

где 6 — лик-оценка в отсутствие связи между параметрами. Таким образом,

. XQ = (6 — 6/5,

XQB^Q' = (0-0)' 0 = Z' - 0'0.(11.96)

В итоге■

Л = (Z' -0'0) (QB^Q')"1.(П.97)

Исключая Л из последних двух выражений, находим (^-6)'5 = (Z'-6'0) (QB-W Q, или

5' = 6' + (Z' - 0'0) (QB^Q'y1 QB"1.(11.98)

Для решения уравнения (11.98) мы можем опять использовать матрицу (AWA) вместо матрицы 5.

Поскольку 5-1 — ковариационная матрица 6, ковариационной матрицей 0 будет

) (б) = 5"1 - B^Q' (QB^Q')-1 QB-1.(11.99)

Взвешенная остаточная сумма квадратов при наличии линейной связи между параметрами имеет вид

Rq = VWV + (0-ё)' (AWA) (^-0), (II. 100) где V — вектор остатков в случае независимых параметров, т. е. V = у — 40. Математическое ожидание Ва равно (п — т + Ь) ст2. Второй член правой части равенства (11.100) можно переписать как

RH = RQ-R0,(II. 101)

где Ro = V'VFV — остаточная сумма квадратов при отсутствии связи параметров, a RH — дополнительная остаточная сумма квадратов, возникающая из-за наличия связи. Простыми преобразованиями можно получить

RH = (Z - Q0)' IQ ^A'WAy1 Q'Y1 (Z - Q^Y (11.102)

Из этого соотношения видно, что для вычисления величины RH при наличии связи (11.91) вовсе нет необходимости решать уравнение (11.98).

Многомерные линейные гипотезы

Теперь мы можем использовать некоторые результаты предыдущего параграфа для проверки гипотез и определения доверительных интервалов оценок параметров. Некоторые из этих результатов уже обсуждались. Так, мы показали, что (1/т) (0 — 6)' S)-1 (6) (0 — 6) имеет распределение ^т, n-m. Таким образом, многомерная доверительная область задается гиперэллипсоидом

(9 — 0)' 5)"1 (6) (6-6)= т^т,п_т,а. (11.103)

Вероятность того, что эта область не содержит истинного значения 0, равна а. Ниже будет приведена более общая формулировка проблемы проверки гипотез.

Рассмотрим общую гипотезу, которая представляет собой некое утверждение относительно либо всех параметров, либо части из них. Ограничимся классом линейных гипотез, которые можно записать в виде

Q(bxm)9(mx 1) — Z(bx !)•Q(bxm)9(mx 1) — Z(bx !)•(11.104)(11.104)

Q(bxm)9(mx 1) — Z(bx !)•

Q(bxm)9(mx 1) — Z(bx !)•

(11.104)

(11.104)

Ранг гипотезы равен рангу матрицы Q, который предполагается в свою очередь равным b ^ т. Нулевая гипотеза состоит в том, что истинное значение 0 удовлетворяет приведенному уравнению. Естественной проверкой этой гипотезы могло бы быть сравнение остаточной суммы квадратов в том случае, когда верно Но, с остаточной суммой квадратов, полученной при отсутствии связи. Использование результатов предыдущих параграфов показывает, что, если гипотеза Но справедлива, остаточная сумма квадратов, отвечающая этой гипотезе, RH = Rq — Ro,

будет распределена как о2%ь и не будет зависеть от RQ. Величина же Нй распределена как о2^1_т. Следователь

но, отношениено, отношениеRh _Rq-RqRo RoRh _Rq-RqRo Ro(11.105)(11.105)

но, отношение

но, отношение

Rh _Rq-Rq

Ro Ro

Rh _Rq-Rq

Ro Ro

(11.105)

(11.105)

должно быть распределено как

(11.106)

(Важно отметить, что Rq/R0 не следует .^-распределению, ибо Rq и Ro не являются независимыми величинами, распределенными как %2.) Как и в случае распределения Стьюдента t, распределение отношения RH!R0 не зависит от о2, а значит, от нормировки весовой матрицы.

Ранее было показано, что

Rh = ^-W (Q (^'WAVQT1 (Z-$).

Кроме того,

R0 = N'W'V = (n — m) a2,

где о2 — несмещенная оценка о2 в отсутствие связи. Тогда

Ro 'Но посколькуRo 'Но посколькуRh (z-W(С(л^л)-1СГЧ2-С9)Rh (z-W(С(л^л)-1СГЧ2-С9)(re — m) о2(re — m) о2, (11.107), (11.107)^^--Э-1 (9),о2v "^^--Э-1 (9),о2v "

Ro '

Но поскольку

Ro '

Но поскольку

Rh (z-W(С(л^л)-1СГЧ2-С9)

Rh (z-W(С(л^л)-1СГЧ2-С9)

(re — m) о2

(re — m) о2

, (11.107)

, (11.107)

^^--Э-1 (9),о2v "

^^--Э-1 (9),о2v "

(z-c^Hcaj-HS) ст1 (z-w(z-c^Hcaj-HS) ст1 (z-wп — т Rhп — т Rh(11.108)(11.108)величина

(z-c^Hcaj-HS) ст1 (z-w

(z-c^Hcaj-HS) ст1 (z-w

п — т Rh

п — т Rh

(11.108)

(11.108)

ъ

распределена как jrb, n_m. Мы отвергаем гипотезу, если вычисленное значение этой статистики превышает табличное значение ^ъ, п-т, а-

Одной из наиболее распространенных проверок гипотез является проверка непротиворечивости лшк-параметров предсказаниям некоторой теоретической модели. Пусть теоретический набор параметров есть 6Г. Тогда нулевая гипотеза

Яо: 6 = ег,Яо: 6 = ег,(11.109)

Яо: 6 = ег,

Яо: 6 = ег,

т. е.т. е.

т. е.

т. е.

(11.110)(11.110)61 = 0Г,62=6Г

(11.110)

(11.110)

0т- 0^.

Введем соответствующие величины Q и Z:

Q(mXm') — ^(mxm)i Z(mxl) = 6^. (II.Ill)

Наша гипотеза является ти-мерной, и по критерию jrm> п_т следует проверить статистику.

(9-9г)3) ~1(ё) (0-07)т(9-9г)3) ~1(ё) (0-07)т(11.112)(11.112)

(9-9г)3) ~1(ё) (0-07)т

(9-9г)3) ~1(ё) (0-07)т

(11.112)

(11.112)

Здесь дан более общий подход к вопросу о многомерной доверительной области, нежели в начале параграфа.

В качестве другого крайнего случая можно проверить гипотезу, касающуюся лишь одного параметра безотносительно к значениям всех прочих. Выбирая в качестве такого параметра 6^ получим

И если верна гипотеза

то величина

(11.114)

где а® — оценка дисперсии сг^, распределена как ^1( n_m. Она просто совпадает с квадратом величины t критерия Стьюдента с (и — пг) степенями свободы. Значит доверительные интервалы оценок единичного параметра в многомерном случае задаются величиной t с использованием оценки маргинальной дисперсии. При этом, как и следовало ожидать, число степеней свободы равно числу наблюдаемых величин минус число искомых параметров.

Конечно, для большинства гипотез, представляющих интерес, значение Ъ заключено между 1 и т.

Пример. Рассмотрим некоторые гипотезы относительно параметров, полученных во втором примере из § 1. Пусть

я^е^б.о,

Я2: 62 - 6,0,

^3: et = 6,0; 02-6Д

Я4: 6,-63.

Для проверки гипотез 1 и 2 вычислим

(i=l,2)

и сопоставим с табличным значением ^,, ,, а. Вычисленные величины равны

$а пк _ (5,25)2 о

1 —3,437 —

Поскольку ^1;1;о, 05 ~ 161,45, мы делаем вывод, что ни одну из этих гипотез не следует отвергать на 5%-ном уровне значимости. Гипотеза Я3 имеет ранг 2, так что следует вычислить величину

(9Г —е)'5)-1 (0) (07—в) 2—

1/9,167 4,667 X/5,00 X

= А(5,00; 5,25) (4да 2,667 Д5,25 ДбЗ

и сравнить ее с ^2; 1; о,os = 199,50. Таким образом, эта гипотеза должна быть отвергнута на 5%-ном уровне значимости. -

Гипотеза Я4 утверждает просто равенство двух параметров безотносительно к их конкретному значению. Поэтому

iQ=(i; -1),1

Z = z —0,

. ./ 1,000 -1,750 V

3,437Н-1Г7’937’

^H „(z-^ + Qa)2- (0,25)2

Rg 7,9377,937 v.uuo-

Эту гипотезу явно нельзя отвергать. Установим 95%-ныйдоверительный интервал для разности 9t — 92 = z, полагая

(z-0,25)2

7,937

ИЛИИЛИ12 —0,25 | <35,8,12 —0,25 | <35,8,

ИЛИ

ИЛИ

12 —0,25 | <35,8,

12 —0,25 | <35,8,

- 35,6 <9i-92< 36,0.

Следует заметить, что гипотезы не отвергались из-за большого значения ^", характерного для случая одной степени свободы знаменателя. Другими словами, оценка сг2 является крайне слабой в силу того, что число наблюдаемых величии превышает число параметров лишь на единицу. При большем числе степеней свободы для всех линейных функций, входящих в гипотезы, доверительный интервал будет существенно меньше. Например, увеличив число степеней свободы с единицы до двух, мы уменьшим величину ^ примерно в 10 раз.

Мощность критерия jF для многомернойлинейной гипотезы

КнГ°величины—г в случае,RoM~ т)J ’КнГ°величины—г в случае,RoM~ т)J ’Для определения мощности критерия ^ необходимо

КнГ°величины—г в случае,

RoM~ т)J ’

КнГ°величины—г в случае,

RoM~ т)J ’

исследовать распределение

когда гипотеза не верна. Знаменатель этого отношения

распределен как центральное %2, деленное на число степеней свободы, независимо от того, верна гипотеза или нет.

С другой стороны, числитель распределен как центральное %2/6 только в том случае, если гипотеза верна; в противном случае он распределен как нецентральное %2/&,

причем параметр нецентральное™

£2 = ч/ (qC-iq')-i ф^£12М!^(П.115)

где

ф = ()0 — Z,

характеризует отклонение гипотезы от истины. Таким образом, интересующая нас статистика распределена как нецентральное ^. Одна из важнейших особенностей этого

распределения заключается в том, что мощность критерия при заданном числе степеней свободы всегда растет с ростом параметра нецентральности |2.

Выбор весов в методе наименьших квадратов

При нахождении лшк-решений предполагалось, что весовая матрица W известна с точностью до множителя. Это эквивалентно тому, что известны относительные значения элементов ковариационной матрицы наблюдаемых величин. Множитель а2, конечно, оценивается по критерию согласия этих величин с некоторой моделью. На практике весовая матрица часто оказывается диагональной, так что необходимы лишь относительные дисперсии каждой наблюдаемой величины.

На самом деле у нас будут лишь оценки дисперсий наблюдаемых величин. При отсутствии дополнительной информации о распределении ошибок в генеральной совокупности, из которой получена выборка данных, можно считать, что эти оценки дают наилучшие веса для проведения лшк-анализа. Если такие оценки не соответствуют истинным дисперсиям генеральной совокупности, то оценки дисперсий параметров будут смещенными. С другой стороны, оценки параметров будут несмещенными при условии, что таковы сами наблюдаемые величины. Эот следует из того, что, какой бы ни была ковариационная матрица 5),

g (0) = g (S^H^-1 у) = S-M'S)"1 g (у) =

= S-M'fD-1 у0 = 0. (11.116)

Но если веса известны не точно, то эти несмещенные оценки параметров могут не обладать минимальными дисперсиями.

Одной из распространенных ошибок при использовании весов является пренебрежение корреляциями погрешностей наблюдаемых величин. Если считать весовую матрицу диагональной, в то время как имеются значительные корреляции, то это может сильно повлиять на полученные лгнк-решения, и особенно оценки дисперсий найденных параметров. Если имеются какие-либо данные отно-

сительно корреляций, то их следует разумным образом ввести в недиагональные элементы весовой матрицы. В ряде случаев оценка таких корреляций оказывается столь же простой, что и оценка дисперсий. Мы проиллюстрируем это приведенным ниже примером.

Пример. Предположим, что число рассеянных на газе электронов измеряется с интервалом углов рассеяния ф, равным 0,01°. Процедура наблюдения состоит в измерении интенсивности J (ф) под каждым из углов. Используя эти данные, можно с помощью лнге-анализа определить межатомные расстояния в молекулах рассеивающего газа. Предположим далее, что основные ошибки результатов обусловлены шумами с характерной длиной волны, т. е. типичным проявлением ошибки было бы обнаружение резкого возрастания измеряемой величины в одной угловой позиции, менее резкого в следующей и так далее с уменьшением этого эффекта по мере удаления от первоначальной позиции. Таким образом, должна существовать заметная, но монотонно падающая корреляция между ошибками в соседних точках измерений. Возможную форму матрицы корреляций можно было бы представить как

Так, для р12 = 0,5 мыимели бы

(

10,50,250,125...\

0,510,50,25...]

0,250,51 г

Если матрица корреляций имеет такой простой вид, то существуют методы надежной оценки величины р12 (см., например, [33]). На самом же деле корреляции в экспериментах по дифракции электронов, вообще говоря, не столь просты. Поэтому для того, чтобы получить таким путем экспериментальную оценку характера и величины корреляций, присущих данному методу, лучше всего проанализировать результаты нескольких .мнк-аппроксимаций.

Последнее утверждение относится не только к задаче оценки корреляций, но в равной степени и к задаче оцен-

ки дисперсий. Поэтому часто оказывается более разумно использовать оценки дисперсии генеральной совокупности, полученные на основании большого опыта работы с данной экспериментальной методикой, нежели оценки, полученные просто из имеющихся под рукой данных. Это особенно важно, когда измерения представляют собой выборки крайне малых объемов, поскольку возникает опасность сильно переоценить одни веса по сравнению с другими. Как и в случае дисперсионного анализа, оценки дисперсий при наличии большого числа степеней свободы оказываются более устойчивыми, нежели оценки, полученные из данных с очень малым числом степеней свободы.

П ример. Допустим, что измеренная интенсивность рентгеновских лучей обнаруживает в области отдельного дифракционного пика J (НкД разброс, оцениваемый в среднем как ОДО х J (h-кГ). На одной из серий пленок были дважды обмерены несколько дифракционных пиков и найдены величины ожидаемых погрешностей. Два результата измерений /(101) оказались равными 5020 и 5010. Оценка разброса на основе такой выборки равна ^50. Тем не менее казалось бы неразумным приписать этому измерению вес Vso для дальнейшего лнк-анализа. Надежнее было бы использовать при этом значение веса, равное (1/501,5)2, взятое на основании опыта работы с данной экспериментальной методикой. Конечно, если столь малая величина оценки дисперсии встречалась неоднократно, следовало бы пересмотреть оценку разброса измеренных величин, равную 0,1/. В противном случае экспериментатор должен предположить, что в измерениях существует систематическая погрешность. При определении весов важна величина не выборочной дисперсии, а дисперсии генеральной совокупности. Поэтому, если в нашем распоряжении есть оценка дисперсии генеральной совокупности и оценка выборочной дисперсии, то со всех точек зрения следует предпочесть первую из них.

Допустим, что ковариационная матрица наблюдаемых величин, а следовательно, и весовая матрица выбраны плохо. Возникает вопрос, можно ли предугадать, как это скажется на результатах жнк-анализа и при последующей проверке гипотез. Исследование такой проблемы проведе-

но в работах [36а, 366]. Показано, что доверительные интервалы для линейных гипотез могут быть связаны довольно сложным образом с характеристическими числами истинной ковариационной матрицы. Хотя такой метод применим к более сложным случаям, при желании его вполне можно использовать и для выявления неверного взвешивания, проводя лкк-анализ и последующую проверку гипотез с варьированием весовой матрицы, возможно, даже за пределами разумных значений. Если результаты проверки гипотез оказываются весьма чувствительны к выбору весов, то целесообразно проверить такие гипотезы при более высоком уровне значимости, чем обычно. С другой стороны, результаты проверок гипотез могут оказаться довольно нечувствительными к значениям используемых весов. Это следует принять в качестве приятной неожиданности и проводить дальнейшую проверку гипотез с большим доверием к результатам.

Пример. Пусть для некоторых измеренных величин не удалось найти выборочные дисперсии. При отсутствии дополнительной информации относительно дисперсий генеральной совокупности всем измеренным величинам следует приписать единичный вес. Важно отметить, что в таком случае можно не получить правильных оценок ошибок. Но если в проведенных ранее анализах подобных экспериментов успешно использовалась некая схема взвешивания, то ею, несомненно, следовало бы воспользоваться.

Перенос ошибок

Допустим, что в результате лгнк-анализа получены оценки параметров и их ошибок, и возникает необходимость определить ошибки линейных функций найденных параметров.

Пусть задано многомерное распределение, т. е. мы рассматриваем функцию распределения

Ф(О)-Ф(^, ...,gn\ (П.117)

где случайные величины g, имеют нулевые средние значения. Пусть также задана матрица вторых моментов 5) (G) ранга п. Если величины Д (i= 1, ,,., т) представляют

собой линейные функции от gf.

F(mx 1) ~ ^(mxn)^(nxl)i(11.118)

ТО

(F) = g {FF} = g {TGG'F} = Tg {GG'} Г = T3) (G) T'.

(11.119)

Вновь отметим, что нет необходимости предполагать нормальным характер распределения; требуется лишь существование вторых моментов распределения. Вектор F может содержать больше, столько же или меньше компонент, чем вектор G. В любом случае ранг матрицы 3) (F) не превышает ранга 3) (G). Если т больше, чем п, то компоненты вектора F не будут линейно независимыми, матрица 5) (F) будет особенной, а соответствующий тп-мерный гиперэллипсоид ошибок — вырожденным, т. е. некоторые из его главных осей будут иметь нулевую длину.

Если G распределено по нормальному закону

O(G) = Cexp (-1g,3)"1(G)G) ,(11.120)

то, как было показано ранее, плотность распределения F будет иметь вид

O(F) = C'exp (-уР'ЗН^г) (11.121)

при условии, что матрица 3) (F) неособенная. Приведенные здесь соотношения полезны в том случае, когда требуется вычислить ошибки величин, которые представляют интерес с точки зрения физики, но непосредственно не извлекаются из Л1«к-анализа.

Метод наименьших квадратов в случаенелинейной зависимости от параметров

Традиционное изложение метода наименьших квадратов и задачи проверки линейных гипотез не отвечает требованиям нелинейных задач. Между тем измеренные на опыте величины у, нередко оказываются нелинейными функциями подлежащих оценке параметров 0г. В данном

параграфе изложен подход к решению таких задач и рассмотрены изменения, которым могут подвергнуться полученные ранее результаты.

Линеаризация задачи. В общем случае мы будем иметь дело с набором п наблюдаемых величин yt, являющихся функциями ттг параметров 0^:

Vi = yi (61, • • •, 6m), i= 1, • ■ - , п.

Эти функции можно разложить в ряд Тэйлора в окрестности точки (6®, . .., 6m), сохранив лишь члены первого порядка малости, а именно

yi~yt№еу+-^ (6, - 6?) + • • • + -^ (9„ - еу (11.122)

или.

й-Й^Е^^-»?).(П.123)

7=17

т» е, ■

Д^=2-^Л97 0=1, ..-, ^).(П.124)

7=17

Если разложение справедливо, то тем самым задача сведена к линейной, в которой матрица А представляет собой матрицу частных производных первого порядка от исходных функций по соответствующим параметрам, а вектор наблюдаемых величин задается отклонениями измеренных значений от значений функций в точках разложения. Таким образом,

. Л = Ы={-^}.(П-125)

У={Лй).(II-126)

0 = {А97).(II.127)

Дальнейшая процедура такова: сначала выбираются приближенные значения параметров 6®, т. е. по возможности наиболее близкие к искомым значениям 67. Значения функций, вычисленные для этих приближенных значений

параметров, равны у®. Разности между наблюдаемыми величинами функций и вычисленными

*о набл , выч

=— Уг = Уг — Уг

играют роль линейных функций в обычном методе наименьших квадратов. Для нахождения АО,- решаются обычные жик-уравнения. В итоге получаются уточненные значения параметров:

О^еНЛО/-(П.128)

Эти 0, используются в качестве новых приближенных значений для вычисления новых величин у™4, которые должны лучше согласовываться с наблюдаемыми величинами, чем предыдущие. Это согласие, однако, может оказаться еще не столь хорошим, как требуется, и тогда вся процедура повторяется снова. Если исходная задача, решаемая методом наименьших квадратов, линейная, то уже на нервом этапе решение нормальных уравнений дает искомый результат. В случае нелинейной задачи необходимо использовать итерационную процедуру, в процессе которой получаются новые значения параметров, и, следовательно, производные и конструкционная матрица будут изменяться. Итерационная процедура продолжается до тех пор, пока изменения параметров не станут крайне малыми или равными нулю. При этом говорят, что итерационная процедура в методе наименьших квадратов сходится. Последовательное приближение к наилучшему решению иногда называют уточнением параметров.

В процессе подобного уточнения каждая итерация выполняется так же, как и в линейном случае. Веса как обычно выбираются обратно пропорциональными дисперсиям наблюдаемых величин. После того как уточнение получено, предполагается, что ошибки параметров задаются обратной матрицей системы нормальных уравнений, и проводятся, как обычно, проверки гипотез относительно параметров или функций от параметров. Эту процедуру следует проводить с некоторой осторожностью и тщательно исследовать влияние нелинейных эффектов. В дальнейшем мы вернемся к этому вопросу.

Теперь рассмотрим несколько подробнее ряд этапов метода наименьших квадратов в нелинейном случае.

Справедливость разложения в ряд Тэйлора. Применение метода наименьших квадратов в нелинейных задачах справедливо лишь постольку, поскольку справедливо разложение в ряд Тэйлора в той области значений параметров, где ищется уточнение. Укажем на две из возможных трудностей, присущих данной задаче. Рассмотрим функцию уг, изображенную на фиг. II.2, в зависимости от

Фиг. IL2. Функция у;, нелинейно зависящая от параметра 9;. Если правильное значение бу равно а и если в некоторой итерации лнк-реше- ния нелинейной задачи 6у оказывается равным Ъ, то при использовании этой функции в последующих итерациях величина параметра бу будет изменяться в неправильном направлении, указанном стрелкой.

параметра бу. Допустим, что наилучшая аппроксимация исходных данных достигается при наборе параметров, в котором бу равно а. Соответствующее значение величины yt есть у^а\ и для упрощения будем считать, что оно совпадает с наблюдаемым значением уг. Если теперь окажется, что на некотором этапе уточнения этот параметр принимает значение 6, a yi — соответствующее значение у^\ то в соответствии с разложением в ряд Тэйлора согласие будет улучшаться при возрастании бу, вместо стремления

к а. И действительно, согласие для этой функции будет улучшено, однако при этом, возможно, ухудшится согласие для других функций. Таким образом, уточнение этой функции будет противопоставлено остальным. Если к тому же она обладает большим весом или если имеется довольно много функций одинакового вида, то возможно (и даже вероятно), что итерационная процедура никогда не сойдется к решению с минимальной дисперсией. Скорее всего эта процедура будет сходиться к неверному решению, которое вполне может дать лишь относительный минимум для остаточной суммы квадратов.

Эту тенденцию процесса уточнения сходиться к ложному минимуму остаточной суммы квадратов можно иногда обнаружить, задавая различные начальные значения параметров. В том случае, когда число параметров невелико, можно эффективно исключить эту опасность, варьируя начальные значения в разумных пределах (если таковые на самом деле известны) и проверяя, всегда ли уточнение сходится к одному и тому же значению. Сходимость к правильному значению в каждом случае зависит от деталей структуры многопараметрической поверхности ошибок в окрестности начальной точки. Тем не менее можно сделать общее утверждение о том, что сходимость очень маловероятна, если значения производных большого числа наблюдаемых величин меняют знак. И наоборот, если изменения знака отсутствуют, то сходимость почти всегда гарантирована.

Данное утверждение проиллюстрировано на фиг. II.3, где отмечена еще одна возникающая при этом опасность. Может так случиться, что два сильно отличающихся друг от друга набора параметров приводят к одинаковым (или почти одинаковым) значениям остаточной суммы квадратов. С математической точки зрения каждый из этих наборов является приемлемым решением, и получение того или другого набора зависит от выбора начальных значений. Если обнаружена подобная ситуация, то основания для отбора одного из двух решений следует искать, не прибегая к статистике. В большинстве случаев мы вынуждены поставить вопрос: какое из решений более разумно с физической точки зрения, и найти достаточно мужества признать, что эксперимент не дал однозначного ответа.

Если начальное значение соответствует экстремуму функции по некоторому параметру, например точка с на фиг. II.2, то возникает еще одна трудность. В этой точке исчезает первая производная, и из разложения в ряд Тэйлора, представленного только первым членом, следует (конечно, неверно), что при изменении параметра согласие не улучшается и не ухудшается. Если подобная ситуация

Фиг. II.3. Схематическое изображение зависимости R от значения параметра 9.

Точка б, соответствует абсолютному минимуму ft и является искомой. Точки 6, и 0д соответствуют относительным минимумам той же величины. Если выбранное для уточнения начальное значение параметра находится вблизи этих точек, то истинное значение параметра скорей всего не будет найдено. Во всяком случае при использовании модифицированного метода Гаусса —

Ньютона обеспечена сходимость к «ложному минимуму» 0, или 9,.

приводит к серьезным затруднениям в процедуре уточнения. Но если при некотором значении параметра все функции достигают экстремума и если итерационный процесс происходит вслепую (что, к сожалению, часто бывает в большинстве задач), то получающаяся матрица нормальных уравнений оказывается особенной, и решение не существует.

Один из возможных способов обойти эту трудность состоит в следующем. В данном случае функции уг можно выразить в виде

»| = !'!+2wa9>+tt№‘<1l129>

кфз1

Если все функции имеют такой вид, то можно рассматривать (ДО;)2 как оцениваемый параметр и действовать обычным образом, используя в конструкционной матрице вторые производные по 0;. Решение может привести к неожиданному результату — отрицательному значению (ДО;)3; это может означать, что в начальной точке или вблизи нее находится истинный минимум остаточной суммы квадратов, т. е. что Д6; в действительности равно нулю. В таком случае к этой части задачи на самом деле неприменим метод наименьших квадратов, поскольку этот метод требует, чтобы экстремум лежал внутри области возможных значений параметра. Если значения параметров лежат в некоторой области, заданной соответствующими неравенствами, то для получения решения можно использовать методы линейного программирования.

Если подобная ситуация имеет место лишь для небольшой части функций, которые все же желательно учитывать при поиске уточнения, их можно записать как

(»--й1/^±(4^-),,,де;+... . (п.130)

К сожалению, в этом уравнении неизвестен знак, так что в начальной стадии процедуры уточнения лучше всего эти члены опустить. На заключительных этапах, когда обычно дело идет к оценкам ошибок параметров, такие члены могут сыграть большую роль. При некоторых обстоятельствах небольшие отклонения параметров от этих особых значений могут привести к большим расхождениям, и это следовало бы учитывать при оценке ошибок. При этом согласие будет весьма хорошим, так что величина у, —• у” будет малой. Тогда в обычную лшк-процедуру можно включить члены, представленные в приведенном выше уравнении, и хотя изменения параметров, которые последуют от включения этих членов, должны быть малыми, достоверность таких оценок, благодаря учету дополнительной информации, должна возрасти.

Выбор начальных значений параметров. Из всего сказанного выше ясно, что трудностей, связанных с разложением в ряд Тейлора, можно избежать, если выбрать

начальные значения параметров по возможности близкими к конечным или истинным значениям. Таким образом, варьируя начальные значения, можно изучить необходимую стратегию их выбора. В некоторых случаях, как, например, в классическом уточнении Дюмондом и Коэном [9а] фундаментальных физических констант, выбор начальных значений очевиден. В качестве исходных брались последние наилучшие значения констант, и метод наименьших квадратов давал истинные уточнения хорошо известных величин. Аналогичным образом можно поступать и во многих других экспериментальных задачах, когда накопленные новые данные позволяют получить более точные значения параметров, уже известных с хорошей степенью точности.

В большинстве других случаев для выбора начальных значений используются графические, аналитические или основанные на интуиции методы. Если известно или предполагается, что начальные значения далеки от истинных, можно применять следующий подход. На первых этапах процедуры уточнения следует использовать лишь те функции, которые довольно плавно зависят от значений параметров, если, конечно, таких функций достаточно для проведения жнк-анализа. На этой стадии следует опустить функции, сильно зависящие от параметров, поскольку они скорей всего и приводят к рассмотренным выше трудностям, а именно попаданию на «ложную» ветвь максимума или минимума функции. После того как первое уточнение проведено, такие функции можно учесть, возможно, сначала с малым весом, а впоследствии с полным весом. Из-за высокой чувствительности к изменениям определенных параметров эти функции крайне полезны для получения весьма точных оценок параметров. С другой стороны, приписывая им слишком большой вес на ранней стадии уточнения, мы можем в итоге достичь ложного минимума.

Сходимость леше-процедуры в случае нелинейных задач. В случае нелинейных задач нельзя доказать, что мнк- процедура будет сходиться хотя бы к относительному минимуму взвешенной остаточной суммы квадратов V'TEV. Однако Хартли [18а] показал, что при некоторых доволь-

но общих условиях сходимость всегда будет иметь место, если использовать следующую модификацию рассмотренной выше процедуры Гаусса — Ньютона. Для получения поправок Д9 к оценкам параметров как, обычно, решается система нормальных уравнений. Далее вводится скалярный множитель 0 ^ 5 ^ 1, и исправленные значения оценок параметров записываются в виде

@нов = ^стар+ ?А0. (11.131)

Теперь квадратичная форма V'TPV будет функцией от q. Исходным для следующей итерации служит набор параметров, для которого У'РГУ достигает минимума по q. Таким образом, обычное решение дает направление изменения поправок, а численная минимизация величины У'РГУ позволяет получить их значение. Практически наилучшее q удобно находить, вычисляя У'ЖУ для q = 0, т/2 и 1 и аппроксимируя результаты параболой.

Найденный минимум может не быть абсолютным. В большинстве случаев судить о том, достигнут истинный минимум или этого не произошло, приходится на основании физического смысла полученных параметров и известного характера,наблюдаемых функций, например степени их отклонения от линейности, кривизны и т. п.

На практике плохая сходимость может быть обусловлена ограниченной точностью вычислительного устройства. Если решение лежит вдали от минимума или если у некоторых параметров велики коэффициенты корреляции, т. е. матрица нормальных уравнений почти особенная, то' ошибки округления даже при использовании вычислительной машины с большой длиной слова могут оказаться причиной неразрешимости задачи.

Проверка гипотез, нелинейных относительно параметров. В предыдущих параграфах отмечалось, что мнк- процедура в нелинейном случае все же часто сходится к искомому набору значений параметров, минимизирующему среднюю квадратичную ошибку. Однако оценить ошибки параметров и проверить линейные гипотезы оказывается совсем не просто,

Если оценки ошибок малы, и функции действительно линейны относительно каждого параметра в пределах нескольких средних квадратичных отклонений, то можно применять обычные методы проверки линейных гипотез. В случае нормального распределения ошибок наблюдаемых величин оценки параметров будут распределены также по нормальному закону, и тогда к соответствующим квадратичным формам можно применять критерий Если в тех же пределах заметно отклонение от линейности, такой критерий неприменим, и, не зная точного характера функций, нельзя дать общей рекомендации относительно критериев проверок гипотез.

Часто нас будет интересовать проверка нелинейной гипотезы, имеющей вид

^(61» 02, ..., M = z^ Л= 1, 2, ..., Ъ. (11.132)

Мы не в состоянии сформулировать удовлетворительную процедуру проверки столь общей гипотезы и поэтому вновь вынуждены прибегнуть к линеаризации. Разложим Qh в ряд Тэйлора в окрестности точки (6°, . . ., 6^):

е»-«=2-^г^-егн-..-• (плзз) 1=11

Если ограничиться только первым членом разложения, то мы придем к случаю линейной гипотезы, которую можно проверить стандартным образом, предполагая, что ковариационная матрица для Д6г получена методом наименьших квадратов. Следует особенно отметить, что эта линеаризация проводится помимо линеаризации (разложения в ряд Тэйлора) наблюдаемых функций. Поэтому вновь следует быть уверенными в справедливости линеаризации в той области значений параметров, которая используется при проверке гипотез. Эта область, вероятно, должна быть в несколько раз больше среднеквадратичного отклонения каждого из параметров, или лежать внутри гиперэллипсоида ошибок, концентричного с гиперэллипсоидом среднеквадратичных отклонений, но превышающего его в 3—4 раза. При проверке гипотез, нелинейных относительно параметров, которые получены с помощью линейного метода наименьших квадратов, мы,

конечно, должны столкнуться с аналогичными ограничениями.

Если проверяемая гипотеза особенно проста и состоит в том, что всем параметрам должны быть приписаны фиксированные значения, то мы имеем дело со случаем линейной гипотезы относительно параметров, найденных в нелинейной задаче. Тогда справедливость линейной гипотезы зависит только от возможности использовать квадратичную форму VWNKji — m) в качестве оценки ст2 и от инвариантности матрицы В = А ’ WA в области значений параметров, рассматриваемой в этой гипотезе. В нелинейном случае практически, конечно, лучше вычислять у и, следовательно, V для проверяемых параметров, нежели использовать уравнение, справедливое в линейном случае:

VWV^y'lEy — G'^O. (11.134)

Согласие величин V'WV, полученных двумя разными способами, может служить критерием линеаризации в интересующей нас области изменения параметров. Вероятно, лучше всего вычислять обе величины и использовать любую из них на всякий случай, чтобы избежать ошибки при проверке гипотез. Как обычно, в случае грубых проверок может понадобиться провести проверку на большем уровне значимости по сравнению со случаем, когда к задаче строго применимы использованные методы.

Для проверки нелинейных гипотез могут быть использованы и более точные методы, однако они часто оказываются слишком сложными и, конечно, зависят от конкретного характера отклонения от линейности. Во многих физических задачах достаточно использовать критерии проверки, известные в линейных случаях, соблюдая при этом осторожность и тщательно исследуя влияние нелинейности.

Для оценки нелинейности в среднем Биль [За] предложил использовать специальный параметр. По величине этого параметра можно оценить степень нелинейности и модифицировать обычные доверительные пределы, если нелинейность значительна. Подобная процедура, несмотря на рекомендации, не нашла у физиков широкого применения.

§11. Задача планирования эксперимента

Пусть уравнения для наблюдаемых величин записаны в виде

у = 40+ 8,(11.135)

причем конструкционная матрица А является абстрактной характеристикой реально выполненного эксперимента. Матрица А показывает, какие конкретные функции параметров измерены на опыте. Одной из важных задач планирования эксперимента является предварительное детальное изучение матрицы А.

Какие функции следует измерять для получения нужной информации относительно параметров при минимальной затрате времени?

Как следовало бы выбрать матрицу А, чтобы сделать матрицу системы нормальных уравнений приблизительно диагональной, т. е. по возможности уменьшить корреляции между параметрами?

С какой точное.ыо необходимо измерять функции, чтобы можно было проверить данную гипотезу Но относительно альтернативной гипотезы Н^ на уровне значимости а И С МОЩНОСТЬЮ Р?

Подобные вопросы составляют содержание задачи планирования эксперимента. Мы надеемся, что читатель уже достаточно хорошо знаком с проблемами и методами как Л(нк-аппроксимаций, так и проверки гипотез и в состоянии самостоятельно сформулировать и решить многие из поставленных вопросов. Здесь мы изложили частное решение одного из аспектов первого из вопросов.

Рассмотрим систему уравнений

у = ле 4 е,

и пусть ковариационная матрица у имеет вид

2)(y) = o2ip-i.(II. 136)

При этом мы считаем, что можно изменять веса отдельных наблюдаемых величин путем некоторых изменений в эксперименте, например просто затрачивая больше времени на каждое отдельное измерение. Как уже известно,

общее лшк-решение имеет вид

(A'W^e^^'Wy.(II. 137)

Если W — диагональная матрица,

(

и\ . .. О \

.. I(11.138)

О ...

(или произвольная матрица, для которой определена величина РР1/2), то, как было указано ранее, умножая уравнения для наблюдаемых величин (11.137) на матрицу И7^2, мы получаем

Ж1/2у = W'^AO-;-^^.

Теперь наблюдаемыми функциями будут

g =

а конструкционной матрицей РР^Л. Ковариационной матрицей величин g будет матрица оЧ, характерная для метода наименьших квадратов без учета весов. Мы сделаем ряд замечаний в связи с этим аспектом планирования эксперимента, т. е. в связи с задачей выбора весов в случае линейной регрессии (если имеется возможность такого выбора). При этом мы ограничимся случаем диагональной весовой матрицы.

Прежде чем проводить эксперимент, нужно выяснить, какую цель он преследует. Вообще говоря, надо с самого начала формулировать линейные гипотезы, которые должны подвергаться проверке. Допустим, что цель эксперимента состоит в проверке линейной гипотезы

<26 = Z. (11.139)

Поставим вопрос: можно ли найти оптимальные веса для проверки этой гипотезы, и если да, то каким образом? С этой целью выберем веса так, чтобы сделать максимальной мощность критерия проверки гипотезы, т. е. свести к минимуму вероятность принятия ложной гипотезы.

Предварительно отметим, что мощность критерия jF монотонно возрастает с ростом параметра нецентральности д2. Следовательно, задача сводится к максимизации д2 при любом дополнительном условии, наложенном по желанию.

Величина ^2 дается выражением

(11.140)(11.140)8' [<? (AWA)-i (У]-! 9

(11.140)

(11.140)

□2

Если предполагать, что весовая матрица нормирована на величину о2, так что W ^S)-1^), то

^WWWk (11.141)

Теперь максимизируем д2 при условии, что некоторая линейная функция весов

S rtWi гS rtWi г(11.142)

S rtWi г

S rtWi г

остается постоянной величиной (причина такого условия вскоре будет очевидна). Для решения этой задачи будем варьировать функцию

G = ^2 + ^S^.(П.143)

г

(11.144)(11.145)(11.144)(11.145)и если искомый экстремум существует, то его можно найти, решая систему нелинейных уравнений

(11.144)

(11.145)

(11.144)

(11.145)

т. е.

ii; = i

г, 8ш1 rj dwj ’’ ■'’ ‘ ‘ " ’

Эту систему уравнений можно решить с помощью итерационной процедуры и определить величины ?уг. Однако существует затруднение, связанное с тем, что wt могут принимать только положительные значения. Решение, обеспечивающее максимум д2, часто будет находиться на границе области

Wt ^ 0, i = i, . . ., п.(11.146)

Таким образом, некоторые из весов будут равны нулю. Если бы мощность критерия не возрастала с увеличением числа степеней свободы, то лишь m весов имели бы конеч-

ные значения. Поскольку не всегда удается достичь экстремум, данный метод оказывается недостаточным и задачу следует решать иными способами. В частности, для решения экстремальных задач, в которых наилучшие значения могут лежать на границе области, заданной неравенствами, применим метод нелинейного программирования. Существующие методы программирования могут оказаться недостаточными для решения имеющейся задачи в общем виде.

Предположим теперь, что экспериментальные данные представляют собой результаты измерений числа отсчетов, причем каждая из наблюдаемых величин подчиняется распределению Пуассона. (В дальнейшем будем полагать, что число отсчетов достаточно велико, чтобы распределение ошибок было приблизительно нормальным и для проверки гипотез был бы применим критерий jF.) Пусть необходимо измерить п различных скоростей счета с математическим ожиданием каждой из них, равным у” отсчетов в 1 мин. Для проведения измерений в нашем распоряжении имеется время Т. Пусть на измерение величины уг тратится Т г минут. Если количество отсчетов обозначить через Nb то

= и ^ = 17 •(П.147)

Так как

аЧ^) = ^,(II. 148)

то дисперсия измеренной величины yi равна

=(П.149)

Соответствующий вес i-го измерения

=(II. 150)

Мы хотим максимизировать значение £2 при условии, что

Т=^Тг = ^у>г(11.151)

постоянно. Как было указано ранее, для сложных задач нет готовых методов такой максимизации. Однако ряд простых примеров продемонстрирует возможность подобного подхода.

Пример 1. величины и два соотношениемПример 1. величины и два соотношениемДопустим,параметра,Допустим,параметра,что имеются две измеренные связанные с ними простымчто имеются две измеренные связанные с ними простым^-61;^-61;У2 —®2,У2 —®2,

Пример 1. величины и два соотношением

Пример 1. величины и два соотношением

Допустим,параметра,

Допустим,параметра,

что имеются две измеренные связанные с ними простым

что имеются две измеренные связанные с ними простым

^-61;

^-61;

У2 —®2,

У2 —®2,

причем веса этих величин равны соответственно г^ и ia2. Тогда

(A'WA^ = \* ,,.Q = (a, 6).(A'WA^ = \* ,,.Q = (a, 6)./1 о\/ш, о \

(A'WA^ = \* ,,.

Q = (a, 6).

(A'WA^ = \* ,,.

Q = (a, 6).

Рассмотрим гипотезу т. е.

В таком случае

Q^WAW = ^^

и величина g2 равна

Е2 m2 101^3

Мы хотим максимизировать |2 при условии

Т\ + Т2 = У^! 4" 2/^2 = !•.

(Нормируем полное время на единицу.) Пусть

С^^ + Х^^ + у^).

Тогда

= “ми +М-0.

дш^я2и?2 4 Ь^и^’

25_ _+ w = о.

8шг а^и)г 4- 621У1 ~ ^2

Исключая величину X, получаем

Ь2и?Х уХ ’

ИЛИ'

= У/а«Ч « I X У§ /

И

21 = А (чкУ11

Г1 а \у»)*

Теперь допустим, что проверяемая гипотеза имеет вид

<26 = z, причем

<? = (! 1), т. е.

6i 102 = 2.

В таком случае Ыа^1. Предположим далее, что y^ly^^ Тогда 7^ = 271 т. е. на измерение большей величины затрачивается вдвое больше времени. Поскольку

a49i + 92)=a49J + a2(92)=^^

то для получения оптимального решения

Л = "з> ^2 = "з" и У1 = -^, Уг — 1-

Таким образом, о2(91 + 92) = 9.

Пусть теперь на самом деле относительные ошибки измеренных величин одинаковы. Это значит, что

или в данном примере

и

о2(91 + 92) = 21,25.

Итак, добиваясь максимума g2, мы получили минимальное значение ст2 (Ot + 02), что всегда характерно для случая одномерной гипотезы. Отметим очевидный факт: если а = 1, b = 0, то все время следует затратить на измерение

величины yv Из приведенного примера видно, что для определения наилучших весов или интервалов времени измерения необходимо заранее знать скорость счета в каждом отдельном измерении. Если предложенную здесь процедуру применять к реальному эксперименту, то сначала следует на опыте грубо оценить значения измеряемых величин. Тогда данный метод позволит найти оптимальное распределение времени для проведения эксперимента с целью проверки конкретных гипотез.

Пример 2. Допустим, что нам приблизительно известна структура некоторого кристалла. Это значит, что приблизительно известны интенсивности дифракционного рассеяния рентгеновских лучей. Планируется новый эксперимент, в котором интенсивность дифракционного рассеяния будет, измеряться с помощью счетчиков. Целью этого эксперимента является проверка равенства длин некоторых связей. Развитый в этом параграфе формализм мог бы дать указания на то, под какими углами следует производить измерения. Знание приблизительной структуры здесь необходимо не только для того, чтобы знать относительные величины у, но и для выяснения применимости линейной аппроксимации у® = Л0, где А — известная конструкционная матрица. Хотя мы здесь не рассматриваем примеры многомерных задач, из следующего примера будет видно, как можно получить общие качественные результаты.'

Пример 3. Пусть имеется серия наблюдаемых величин, описываемых выражением

y” = qt ехр( — ВрО, где В — искомый параметр. Если мы хотим проверить гипотезу В = В0, то, используя линейную аппроксимацию (справедливую в окрестности So)

. dy°t=—piQtexp^—Bp^dB =—pty^dB, можно показать, что

^-кв-в^рЦу^ич-

= (В — Z^)2 2 Ptyiti,i

если справедливы сделанные выше предположения относительно времени измерения числа отсчетов. Параметр нецентральности достигает наибольшего значения, если все время затрачено на измерение той величины, для которой произведение р^у” максимально. Для специалистов по кристаллографии это обстоятельство не удивительно, так как им известно, что «температурный фактор» В наиболее чувствителен к рассеянию с большой интенсивностью при больших значениях рг = (sin а. А)2, где аг — угол рассеяния в t-м наблюдении. В этом примере использована конкретная зависимость, имеющая место при некоторых упрощающих предположениях, без учета возможных корреляций с остальными параметрами.

Как уже отмечалось, в проведенном выше обсуждении и примерах мы упускали из вида одно важное обстоятельство, полагая, что мощность критерия проверки гипотез увеличивается с ростом £2. Это верно лишь в том случае, когда при оценке о2 число степеней свободы остается неизменным, а для большинства задач попытка максимизировать £2 приводит к выводу, что на п — т наблюдений вовсе не следует тратить времени. Однако с точки зрения практики число наблюдаемых величин должно превышать число искомых параметров, даже если о2 можно получить, вычисляя дисперсии наблюдаемых величин из распределения Пуассона. Независимая оценка о2 необходима, чтобы иметь возможность обнаружить неизвестные источники экспериментальных ошибок или несостоятельность теоретической модели. Поэтому число степеней свободы желательно поддерживать большим. Следовательно, при необходимости использовать нелинейное программирование вместо условия Тг^0, вероятно, лучше пользоваться условием Ti ^> То, где То — минимальный интервал времени, который надо затрачивать на каждое отдельное измерение.

Исследование в общем виде вопроса о связи £3 с числом степеней свободы при определении мощности критерия чересчур громоздко, чтобы пользоваться на практике.

Более простой путь’’ планирования эксперимента с лшк-анализом состоит в выборе весов, при котором det (Л'ТИЛ)-1 минимален. Это не дает предпочтения какой- либо частной гипотезе, но сводит к минимуму объем гипер-

эллипсоида среднеквадратичных отклонений, что является вполне разумным шагом. Такая процедура непосредственно связана с максимизацией мощности критерия проверки гипотез, когда Q задано в виде единичной матрицы. Для подробного знакомства с приложением к нелинейным задачам мы отсылаем читателя к работе [4а] 1),

т) См. также [63].— Прим. ред.

Статистическиетаблицы

Таблица I

Соотношение между размахом и среднеквадратичнымотклонением для нормальных выборок [5, 32J

71

5

10

20

30

100

В таблице указаны значения с (см. дополнение I,

С

2,3

3,1

3,7

4,1

5,0

раздел 3) для различных объемов выборки

Таблица II

Нормальное распределение

/(mp)=z-L= е иУ, р = Г е м2/2йм

Му

UP

/ («р)

р

U р

/(up

р

0,0

0,39894

1,00000

1,4

0,14973

0,16152

о,1

0,39595

0,92034

1,5

0,12952

0,13362

0,2

0,39104

0,84148

1,6

0,11092

0,10960

0,3

0,38139

0,76418

1,7

0,09405

0,08914

0,4

0,36827

0,68916

1,8

0,07895

0,07186

0,5

0,35207

0,61708

1,9

0,06562

0,05744

0,6

0,33322

0,54850

2,0

0,05399

0,04550

0,7

0,31225

0,48392

2,1

0,04398

0,03572

0,8

0,28969

0,42372

2,2

0,03547

0,02780

0,9

0,26609

0,36812

2,3

0,02833

0,02144

1,0

0,24197

0,31732

2,4

0,02239

' 0,01640

1,1

0,21785

0,27134

2,5

0,01753

0,01242

1,2

0,19419

0,23014

2,6

0,01358

0,00932

1,3

0,17137

0,19360

2,7

0,01042

0,00694

25b

Продолжение табл. II

Up

/ (Up)

р

Up

/ (Up)

р

. 2,8

0,00792

0,00512

3,5

0,00087

0,00046

2,9

0,00595

0,00374

3,6

0,00061

0,00032

3,0

0,00443

0,00270

3,7

0,00042

0,00022

3,1

0,00327

0,00194

3,8

0,00029

0,00014

3,2

0,00238

0,00138

3,9

0,00020

0,00010

3,3

0,00172

0,00096

4,0

0,00013

0,00006

3,4

0,00123

0,00068

'Таблица III

Нормальное распределение (значения и$ при различных р)

Р

1,00

0,95

0,90

0,85

0,80

0,75

0,70

0,65

0,60

Uy

0,00

0,0627

0,1257

0,1891

0,2533

0,3186

0,3853

0,4538

0,5244

Р

0,55

0,50

0,45

0,40

0,35

0,30

0,25

0,20

0,15

ир

0,5978

0,6745

0,7554

0,8416

0,9346

1,0364

1,1503

1,2816

1,4395

Р

0,10

0,05

0,01

0,001

0,0001

Up

1,6449

1,9600

2,5758

3,2905

3,8906

Таблица IV

Распределение X2

Значения %2 и вероятности р того, что %2 > Хр,при числе степеней свободы v [13]

V

р=0,99

0,98

0,95

0,90

0,80

0,70

1

0,000157

0,000628

0,00393

0,0158

0,0642

0,148

2

0,0201

0,0404

0,103

0,211

0,446

0,713

3

0,115

0,185

0,352

0,584

1,005

1,424

4

0,297

0,429

0,711

1,064

1,649

2,195

5

0,554

0,752

1,145

1,610

2,343

3,000

6

0,872

1,134

1,635

2,204

3,070

3,828

7

1,239

1,564

2,167

2,833

3,822

4,671

8

1,646

2,032

2,733

3,490

4,594

5,527

9

2,088

2,532

3,325

4,168

5,380

6,393

10

2,558

3,059

3,940

4,865

6,179

7,267

И

3,053

3,609

4,575

5,578

6,989

8,148

12

3,571

4,178

5,226

6,304

7,807

9,034

13

4,107

4,765

5,892

7,042

8,634

9,926

14

4,660

5,368

6,571

7,790

9,467

10,821

15

5,229

5,985

7,261

8,547

10,307

11,721

16

5,812

6,614

7,962

9,312

11,152

12,624

17

6,408

7,255

8,672

10,085

12,002

13,531

18

7,015

7,906

9,390

10,865

12,857

14,440

19

7,633

8,567

10,117

11,651

13,716

15,352

20

8,260

9,237

10,851

12,444

14,578

16,266

21

8,897

9,915

11,591

13,240

15,445

17,182

22

9,542

10,600

12,338

14,041

16,314

18,101

23

10,196

11,293

13,091

14,848

17,187

19,021

24

10,856

11,992

13,848

15,659

18,062

19,943

25

11,524

12,697

14,611

16,473

18,940

20,867

26

12,198

13,409

15,379

17,292

19,820

21,792

27

12,879

14,125

16,151

18,114

20,703

22,710

28

13,565

14,847

16,928

18,939

21,588

23,647

29

14,256

15,574

17,708

19,768

22,475

24,577

30

14,953

16,306

18,493

20,599

23,364

25,508

Продолжение табл. IV

V

0,50

0,30

0,20

0,10

0,05

0,02

0,01

1

0,455

1,074

1,642

2,706

3,841

5,412

6,635

2

1,386

2,408

3,219

4,605

5,991

7,824

9,210

3

2,366

3,665

4,642

6,251

7,815

9,937

И ,345

4

3,357

4,878

5,980

7,779

9,488

11,668

13,277

5

4,351

6,064

7,289

9,236

11,070

13,388

15,086

6

5,348

7,231

8,558

10,645

12,592

15,033

16,812

7

6,346

8,383

9,803

12,017

14,067

16,622

18,475

8

7,344

9,524

11,030

13,362

15,507

18,168

20,690

9

8,343

10,656

12,242

14,684

16,919

19,679

21,666

10

9,342

11,781

13,442

15,987

18,307

21,161

23,209

И

10,341

12,899

14,631

17,275

19,675

22,618

24,725

12

11,340

14,011

15,812

18,549

21,026

24,054

26,217

13

12,340

15,119

16,985

19,812

22,362

25,472

27,688

14

13,339

16,222

18,151

21,064

23,685

26,873

29,141

15

14,339

17,322

19,311

22,307

24,996

28,259

30,578

16

15,338

18,418

20,465

23,542

26,296

29,633

32,000

17

16,338

19,511

21,615

24,769

27,587

30,995

33,409

18

17,338

20,601

22,760

25,989

28,869

32,346

34,805

19

18,338

21,689

23,900

27,204

30,114

33,687

36,191

20

19,337

22,775

25,038

28,412

31,410

35,020

37,566

21

20,337

23,858

26,171

29,615

32,671

36,343

38,932

22

21,337

24,939

27,301

30,813

33,924

37,659

40,289

23

22,337

26,018

28,429

32,007

35,172

38,968

41,638

24

23,337

27,096

29,553

33,196

36,415

40,270

42,980

25

24,337

28,172

30,675

34,382

37,652

41,566

44,314

26

25,336

29,246

31,795

35,563

38,885

42,856

45,642

27

26,336

30,319

32,912

36,741

40,113

44,140

46,963

28

27,336

31,391

34,027

37,916

41,337

45,419

48,278

29

28,336

32,461

35,139

39,087

42,557

46,693

49,588

30

29,336

33,530

36,250

40,256

43,773

47,962

50,892

Таблица V

(-Распределение Стьюдента

Значения tp и вероятности р того, что t отличаетсяот нулевого среднего в любую сторону более чем на tp,при числе степеней свободы v [13]

V

Р=0,9

0,8

0,7

0,6

0,5

0,4

1

0,158

0,325

0,510

0,727

1,000

1,376

2

0,142

0,289

0,445

0,617

0,816

1,061

3

0,137

0,277

0,424

0,584

0,765

0,978

4

0,134

0,271

0,414

0,569

0,741

0,941

5

0,132

0,267

0,408

0,559

0,727

0,920

6

0,131

0,265

0,404

0,553

0,718

0,906

7

0,130

0,263

0,402

0,549

0,711

0,896

8

0,130

0,262

0,399

0,546

0,706

0,889

9

0,129

0,261

0,398

0,543

0,703

0,883

10

0,129

0,260

0,397

0,542

0,700

0,879

11

0,129

0,260

0,396 '

0,540

0,697

0,876

12

0,128

0,259

0,395

0,539

0,695

0,873

13

0,128

0,259

0,394

0,538

0,694

0,870

14

0,128

0,258

0,393

0,537

0,692

0,868

15

0,128

0,258

0,393

0,536

0,691

0,866

16

0,128

0,258

0,392

0,535

0,690

0,865

17

0,128

0,257

0,392

0,534

0,689

0,863

18

0,127

0,257

0,392

0,534

0,688

0,862

19

0,127

0,257

0,391

0,533

0,688

0,861

20

0,127

0,257

0,391

0,533

0,687

0,860

21

0,127

0,257

0,391

0,532

0,686

0,859

22

0,127

0,256

0,390

0,532

0,686

0,858

23

0,127

0,256

0,390

0,532

0,685

0,858

24

0,127

0,256

0,390

0,531

0,685

0,857

25

0,127

0,256

0,390

0,531

0,684

0,856

26

0,127

0,256

0,390

0,531

0,684

0,856

27

0,127

0,256

0,389

0,531

0,684

0,855

28

0,127

0,256

0,389

0,530

0,683

0,855

29

0,127

0,256

0,389

0,530

0,683

0,854

30

0,127

0,256

0,389

0,530

0,683

0,854

ОО

0,12566

0,25335

0,38532

0,52440

0,67449

0,84162

Продолжение табл, V

V

0,3

0,2

0,1

0,05

0,02

0,01

1

1,963

3,078

6,314

12,706

31,821

63,657

2

1,386

1,886

2,920

4,303

6,965

9,925

3

1,250

1,638

2,353

3,182

4,541

5,841

4

1,190

1,533

2,132

2,776

3,747

4,604

5

1,156

1,476

2,015

2,571

3,365

4,032

6

1,134

1,440

1,943

2,447

3,143

3,707

7

1,119

1,415

1,895

2,365

2,998

3,499

8

1,108

1,397

1,860

2,306

2,896

3,355

9

1,100

1,383

1,836

2,262

2,821

3,250

10

1,093

1,372

1,812

2,228

2,764

3,169

11

1,088

1,363

1,796

2,201

2,718

3,106

12

1,083

1,356

1,782

2,179

2.681

3,055

13

1,079

1,350

1,771

2,160

2,650

3,012

14

1,076

1,345

1,761

2,145

2,624

2,977

15

1,074

1,341

1,753

2,131

2,602

2,947

16

1,071

1,337

1,746

2,120

2,583

2,921

17

1,069

1,333

1,740

2,110

2,567

2,898

18

1,067

1,330

1,734

2,101

2,552

2,878

19

1,066

1,328

1,729

2,093

2,539

2,861

20

1,064

1,325

1,725

2,086

2,528

2,845

21

1,063

1,323

1,721

2,080

2,518

2,831

22

1,061

1,321

1,717

2,074

2,508

2,819

23

1,060

1,319

1,714

2,069

2,500

2,807

24

1,059

1,318

1,711

2,064

2,492

2,797

25

1,058

1,316

1,708

2,060

2,485

2,787

26

1,058

1,315

1,706

2,056

2,479

2,779

27

1,057

1,314

1,703

2,052

2,473

2.771

28

1,056

1,313

1,701

2,048

2,467

2,763

29

1,055

1,311

1,699

2,045

2,462

2,756

30

1,055

1,310

1,697

2,042

2,457

2,750

ОО

1,03643

1,28155

1,64485

1,95996

2,32634

2,57582

Таблица VI

м 05 О

Биномиальное распределение [29]

п

В таблице приведены значения вероятности 2 C^phqn-h наблюдать число «благоприятных»исходов, равное или большее г, в и независимых испытаниях, если вероятность благоприятногоисхода в одном испытании равна р

р

п = 2, г = 2

п = 2, г = 1

п = 3, г = 3

п= 3, г = 2

п = 3, г = 1

п = 4, г = 4

р

0,01

0,0001000

0,0199000

0,0000010

0,0002980

0,0297010

0,0000000

0,01

0,02

0,0004000

0,0396000

0,0000080

0,0011840

0,0588080

0,0000002

0,02

0,03

0,0009000

0,0591000

0,0000270

0,0026460

0,0873270

0,0000008

0,03

0,04

0,0016000

0,0784000

0,0000640

0,0046720

0,1152640

0,0000026

0,04

0,05

0,0025000

0,0975000

0,0001250

0,0072500

0,1426250

0,0000062

0,05

0,06

0,0036000

0,1164000

0,0002160

0,0103680

0,1694160

0,0000130

0,06

0,07

0,0049000

0,1351000

0,0003430

0,0140140

0,1956430

0,0000240

0,07

0,08

0,0064000

0,1536000

0,0005120

0,0181760

0,2213120

0,0000410

'0,08

0,09

0,0081000

0,1719000

0,0007290

0,0228420

0,2464290

0,0000656

0,09

0,10

0,0100000

0,1900000

0,0010000

0,0280000

0,2710000

0,0001000

0,10

0,11

0,0121000

0,2079000

0,0013310

0,0336380

0,2950310

0,0001464

0,11

0,12

0,0144000

0,2256000

0,0017280

0,0397440

0,3185280

0,0002074

0,12

0,13

0,0169000

0,2431000

0,0021970

0,0463060

0,3414970

0,0002856

0,13

0,14

0,0196000

0,2604000

0,0027440

0,0533120

0,3639440

0,0003842

0,14

0,15

0,0225000

0,2775000

0,0033750

0,0607500

0,3858750

0,0005062

0,15

0,16

0,0256000

0,2944000

0,0040960

0,0686080

0,4072960

0,0006554

0,16

0,17

0,0289000

0,3111000

0,0049130

0,0768740

0,4282130

0,0008352

0,17

0,18

0,0324000

0,3276000

0,0058320

0,0855360

0,4486320

0,0010498

0,18

0,19

0,0361000

0,3439000

0,0068590

0,0945820

0,4685590

0,0013032

0,19

0,20

0,0400000

0,3600000

0,0080000

0,1040000

0,48800q0

0,0016000

0,20

0,21

0,0441000

0,3759000

0,0092610

0,1137780

0,5069610

0,0019448

0,21

0,22

0,0484000

0,3916000

0,0106480

0,1239040

0,5254480

0,0023426

0,22

0,23

0,0529000

0,4071000

0,0121670

0,1343660

0,5434670

0,0027984

0,23

0,24

0,0576000

0,4224000

0,0138240

0,1451520

0,5610240

0,0033178

0,24

0,25

0,0625000

0,4375000

0,0156250

0,1562500

0,5781250

0,0039062

0,25

0,26

0,0676000

0,4524000

0,0175760

0,1676480

0,5947760

0,0045698

0,26

0,27

0,0729000

0,4671000

0,0196830

0,1793340

0,6109830

0,0053144

0,27

0,28

0,0784000

0,4816000

0,0219520

0,1912960

0,6267520

0,0061466

0,28

0,29

0,0841000

0,4959000

0,0243890

0,2035220

0,6420890

0,0070728

0,29

0,30

0,0900000

0 5100000

0,0270000

0,2160000

0,6570000

0,0081000

0,30

0,31

0,0961000

0,5239000

0,0297910

0,2287180

0,6714910

0,0092352

0,31

0,32

0,1024000

0,5376000

0,0327680

0,2416640

0,6855680

0,0104858

0,32

0,33

0,1089000

0,5511000

0,0359370

0,2548260

0,6992370

0,0118592

0,33

0,34

0,1156000

0,5644000

0,0393040

0,2681920

0,7125040

0,0133634

0,34

0,35

0,1225000

0,5775000

0,0428750

0,2817500

0,7253750

0,0150063

0,35

0,36

0,1296000

0,5904000

0,0466560

0,2954880

0,7378560

0,0167962

0,36

0,37

0,1369000

0,6031000

0,0506530

0,3093940

0,7499530

0,0187416

0,37

0,38

0,1444000

0,6156000

0,0548720

0,3234560

0,7616720

0,0208514

0,38

0,39

0,1521000

0,6279000

0,0593190

0,3376620

0,7730190

0,0231344

0,39

0,40

0,1600000

0,6400000

0,0640000

0,3520000

0,7840000

0,0256000

0,40

totoПродолжение табл. VI

to

to

р

п — 2, г = 2

п= 2, ?"= 1

Ti = 3, г — 3

п= 3, г — 2

п = 3, г — 1

п = 4, г = 4

р

0,41

0,1681000

0,6519000

0,0689210

0,3664580

0,7946210

0,0282576

0,41

0,42

0,1764000

0,6636000

0,0740880

0,3810240

0,8048880

0,0311170

0,42

0,43

0,1849000

0,6751000

0,0795070

0,3956860

0,8148070

0,0341880

0,43

0,44

0,1936000 '

0,6864000

0,0851840

0,4104320

0,8243840

0,0374810

0,44

0,45

0,2025000

0,6975000

0,0911250

0,4252500

0,8336250

0,0410062

0 45

0,46

0,2116000

0,7084000

0,0973360

0,4401280

0,8425360

0,0447746

0,46

0,47

0,2209000

0,7191000

0,1038230

0,4550540

0,8511230

0,0487968

0,47

0,48

0,2304000

0,7296000

0,1105920

0,4700160

0,8593920

0,0530842

0,48

0,49

0,2401000

0,7399000

0,1176490

0,4850020

0,8673490

0,0576480

0,49

0,50

0,2500000

0,7500000

0,1250000

0,5000000

0,8750000

0,0625000

0,50

р

п = 4, г = 3

п = 4, г = 2

п = 4, г = 1

п = 5, г = 5

п = 5, г = 4

и = 5, г = 3

р

0,01

0,0000040

0,0005920

0,0394040

0,0000000

0,0000000

0,0000099

0,01

0,02

0,0000315

0,0023365

0,0776318

0,0000000

0,0000008

0,0000776

0,02

0,03

0,0001056

0,0051864

0,1147072

0,0000000

0,0000040

0,0002580

0,03

0,04

0,0002483

0,0090957

0,1506534

0,0000001

0,0000124

0,0006022

0,04

0,05

0,0004812

0,0140188

0,1854938

0,0000003

0,0000300

0,0011581

0,05

0,06

0,0008251

0,0199109

0,2192510

0,0000008

0,0000617

0,0019703

0,06

0,07

0,0013000

0,0267280

0,2519480

0,0000017

0,0001133

0,0030799

0,07

0,08

0,0019251

0,0344269

0,2836070

0,0000033

0,0001917

0,0045253

0,08

0,09

0,0027192

0,0429648

0,3142504

0,0000059

0,0003044

0,0063413

0,09

0,10

0,0037000

0,0523000

0,3439000

0,0000100

0,0004600

0,0085600

0,10

0,11

0,0048848

0,0623912

0,3725776

0,0000161

0,0006676

0,0112105—

0,11

0,12

0,0062899

0,0731981

0,4003046

0,0000249

0,0009373

0,0143189

0,12

0,13

0,0079312

0,0846808

0,4271024

0,0000371

0,0012795

0,0179086

0,13

0,14

0,0098235

0,0968005—

0,4529918

0,0000538

0,0017057

0,0220003

0,14

0,15

0,0119812

0,1095188

0,4779938

0,0000759

0,0022275

0,0266119

0,15

0,16

0,0144179

0,1227981

0,5021286

0,0001049

0,0028574

0,0317587

0,16

0,17

0,0171464

0,1366016

0,5254168

0,0001420

0,Q036081

0,0374538

0,17

0,18

0,0201787

0,1508933

0,5478782

0,0001890

0,0044930

0,0437073

0,18

0,19

0,0235264

0,1656376

0,5695328

0,0002476

0,0055256

0,0505275

0,19

0,20

0,0272000

0,1808000

0,5904000

0,0003200

0,0067200

0,0579200

0,20

0,21

0,0312096

0,1963464

0,6104992

0,0004084

0,0080904

0,0658883

0,21

0,22

0,0355643

0,2122437

0,6298494

0,0005154

0,0096513

0,0744338

0,22

0,23

0,04027228

0,2284592

0,6484696

0,0006436

0,0114175

0,0835557

0,23

0,24

0,0453427

0,2449613

0,6663782

0,0007963

0,0134038

0,0932512

0,24

0,25

0,0507812

0,2617188

0,6835938

0,0009766

0,0156250

0,1035156

0,25

0,26

0,0565947

0,2787013

0,7001342

0,0011881

0,0180962

0,1143424

0,26

0,27

0,0627888

0,2958792

0,7160176

0,0014349

0,0208325—

0,1257232

0,27

0,28

0,0693683

0,3132237

0,7312614

0,0017210

0,0238487

0,1376478

0,28

0,29

0,0763376

0,3307064

0,7458832

0,0020511

0,0271596

0,1501045

0,29

0,30

0,0837000

0,3483000

0,7599000

0,0024300

0,0307800

0,1630800

0,30

0,31

0,0914584

0,3659776

0,7733288

0,0028629

0,0347244

0,1765593

0,31

0,32

0,0996147

0,3837133

0,7861862

0,0033554

0,0390070

0,1905263

0,32

р

п = 4, г = 3

и = 4, г = 2

п = 4, г = 1

п = 5, г = 5

п = 5, г = 4

п = 5, г = 3

р

0,33

0,1081704

0,4014816

0,7984888

0,0039135

0,0436419

0,2049631

0,33

0,34

0,1171259

0,4192581

0,8102526

0,0045435

0,0486426

0,2198509

0,34

0,35

0,1264812

0,4370188

0,8214938

0,0052522

0,0540225

0,2351694

0,35

0,36

0,1362355.

0,4547405—

0,8322278

0,0060466

0,0597943

0,2508973

0,36

0,37

0,1463872

0,4724008

0,8424704

0,0069344

0,0659705—

0,2670122

0,37

0,38

0,1569339

0,4899781

0,8522366

0,0079235

0,0725627

0,2834907

0,38

0,39

0,1678728

0,5074512

0,8615416

0,0090224

0,0795824

0,3003084

0,39

0,40

0,1792000

0,5248000

0,8704000

0,0102400

0,0870400

0,3174400

0,40

0,41

0,1909112

0,5420048

0,8788264

0,0115856,

0,0949456

0,3348596

0,41

0,42

0,2030011

0,5590469

0 8868350

0,0130691

0,1033083

0,3525403

0,42

0,43

0,2154640

0,5759080

0,8944400

0,0147008

0,1121367

0,3704549

0,43

0,44

0,2282931

0,5925709

0,9016550

0,0164916

0,1214383

0,3885753

0,44

0,45

0,2414812

0,6090188

0,9084937

0,0184528

0,1312200

0,4068731

0,45

0,46

0,2550203

0,6252357

0,9149694

0,0205963

0,1414876

0,4253194

0,46

0,47

0,2689016

0,6412064

0,9210952

0,0229345

0,1522460

0,4438849

0,47

0,48

0,2831155

0,6569165—

0,9268838

0,0254804

0,1634992

0,4625400

0,48

0,49

0,2976520

0,6723520

0,9323480

0,0282475

0,1752500—

0,4812550—

0,49

0,50

0,3125000

0,6875000

0,9375000

0,0312500

0,1875000

0,5000000

0,50

р

п = 5, г = 2

п = 5, г = 1

п = 6, Г = 6

п = 6, г = 5

п = 6, г = 4

п = 6, т — 3

р

0,01

0,0009801

0,0490100

0,0000000

0,0000000

0,0000001

0,0000196

0,01

0,0g

0,0038424

0,0960792

0,0000000

0,0000000

0,0000023

0,0001529

0,02

0,03

0,0084721

0,1412660

0,0000000

0,0000001

0,0000116

0,0005044

0,03

0,04

0,0147580

0,1846273

0,0000000

0,0000006

0,0000360

0,0011684

0,04

0,05

0,0225925

0,2261191

0,0000000

0,0000018

0,0000864

0,0022298

0,05

0,06

0,0318713

0,2660960

0,0000000

0,0000044

0,0001762

0,0037643

0,06

0,07

0,0424934

0,3043116

0,0000001

0,0000095—

0,0003210

0,0058389

0,07

0,08

0,0543613

0,3409185—

0,0000003

0,0000184

0,0005384

0,0085121

0,08

0,09

0,0673805

0,3759679

0,0000005

0,0000328

0,0008477

0,0118348

0,09

0,10

0,0814600

0,4095100

0,0000010

0,0000550 J

0,0012700

0,0158500

0,10

0,11

0,0965117

0,4415941

0,0000018

0,0000878

0,0018273

0,0205936

0,11

0,12

0,1124509

0,4722681

0,0000030

0,0001344

0,0025431

0,0260947

0,12

0,13

0,1291956

0,5015791

0,0000048

0,0001986 <

0,0034413

0,0323759

0,13

0,14

0,1466673

0,5295730

0,0000075

0,0002850

0,0045469

0,0394537

0,14

0,15

0,1647900

0,5562947

0,0000114

0,0003987

0,0058852

0,0473386

0,15

0,16

0,1834910

0,5817881

0,0000168

0,0005453

0,0074816

0,0560359

0,16

0,17

0,2027002

0,6060959

0,0000241

0,0007312

0,0093619

0,0655457

0,17

0,18

0,2223506

0,6292602

0,0000340

0,0009637

0,0115516

0,0758631

0,18

0,19

0,2423777

0,6513216

0,0000470

0,0012504

0,0140760

0,0869790

0,19

0,20

0,2627200

0,6723200

0,0000640

0,0016000

0,0169600

0,0988800

0,20

0,21

0,2833185

0,6922944

0,0000858

0,0020216

0,0202280

0,1115487

0,21

0,22

0,3041169

0,7112826

0,0001134

0,0025253

0,0239035—

0,1249641

0,22

0,23

0,3250616

0,7293216

0,0001480

0,0031216

0,0280093

0,1391020

0,23

0,24

0,3461014

0,7464475—

0,0001911

0,0038221

0,0325671

0,1539352

0,24

0,25

0,3671875

0,7626953

0,0002441

0,0046387

0,0375977

0,1694336

0,25

0,26

0,3882738

0,7780993

0,0003089

0,0055842

0,0431203

0,1855646

0,26

18—254

Продолжение табл. VIК

У

и = 5, г = 2

и = 5, г = 1

п = 6, г = 6

п = 6, г = 5

п = 6, г = 4

п = 6, г = 3

р

0,27

0,4093166

0,7926928

0,0003874

0,0066722

0,0491530

0,2022934

0,27

0,28

0,4302743

0,8065082

0,0004819

0,0079168

0,0557124

0,2195832

0,28

0,29

0,4511077

0,8195771

0,0005948

0,0093326

0,0628136

0,2373955—

0,29

0,30

0,4717800

0,8319300

0,0007290

0,0109350

0,0704700

0,2556900

0,30

0,31

0,4922565—

0,8435969

0,0008875

0,0127400

0,0786932

0,2744255-

0,31

0,32

0,5125046

0,8546066

0,0010737

0,0147640

0,0874932

0,2935593

0,32

0,33

0,5324940

0,8649875—

0,0012915—

0,0170239

0,0968779

0,3130483

0,33

0,34

0,5521962

0,8747667

0,0015448

0,0195372

0,1068534

0,3328483

0,34

0,35

0,5715850

0,8839709

0,0018383

0,0223218

0,1174239

0,3529148

0,35

0,36

0,5906359

0,8926258

0,0021768

0,0253958

0,1285914

0,3732032

0,36

0,37

0,6093266

0,9007563

0,0025657

0,0287777

0,1403559

0,3936685

0,37

0,38

0,6276363

0,9083867

0,0030109

0,0324864

0,1527154

0,4142660

0,38

0,39

0,6455465—

0,9155404

0,0035187

0,0365408

0,1656655

0,4349512

0,39

0,40

0,6630400

0,9222400

0,0040960

0,0409600

0,1792000

0,4556800

0,40

0,41

0,6801017

0,9285076

0,0047501

0,0457632

0,1933103

0,4764088

0,41

0,42

0,6967179

0,9343643

0,0054890

0,0509696

0,2079858

0,4970949

0,42

0,43

0,7128768

0,9398308

0,0063214

0,0565983

0,2232135

0,5176963

0,43

0,44

0,7285679

0,9449268

0,0072563

0,0626682

0,2389786

0,5381721

0,44

0,45

0,7437825

0,9496716

0,0083038

0,0691980

0,2552639

0,5584823

0,45

0,46

0,7585132

0,9540835—

0,0094743

0,0762063

0,2720502

0,5785885

0,46

0,47

0,7727541

0,9581805—

0,0107792

0,0837109

0,2893163

0,5984534

0,47

0,48

0,49

0,50

0,7865008

0,7997501

0,8125000

0,9619796

0,9654975—

0,9687500

0,0122306

0,0138413

0,0156250

0,0917294

0,1002787

0,1093750

0,3070388

0,3251924

0,3437500

0,6180412

0,6373176

0,6562500

0,48

0,49

0,50

9

n= 6, г = 2

и = 6, Г = 1

п = 7, г = 7

71—7, Г = 6

71= 7, г= 5

71 = 7, г = 4

Р

0,01

0,00'14604

0,0585199

0,0000000

0,0000000

0,0000000

0,0000003

0,01

0,02

0,0056871

0,1141576

0,0000000

0,0000000

0,0000001

0,0000053

0,02

0,03

0,0124559

0,1670280

0,0000000

0,0000000

0,0000005—

0,0000264

0,03

0,04

0,0215528

0,2172422

0,0000000

0,0000000

0,0000020

0,0000813

0.04

0,05

0,0327738

0,2649081

0,0000000

0,0000001

0,0000060

0,0001936

0,05

0,06

0,0459248

0,3101302

0,0000000

0,0000003

0,0000147

0,0003915—

0,06

0,07

0,0608207

0,3530098

0,0000000

0,0000008

0,0000313

0,0007072

0,07

0,08

0,0772859

0,3936450—

0,0000000

0,0000017

0,0000600

0,0011763

0,08

0,09

0,0951534

0,4321307

0,0000000

0,0000034

0,0001061

0,0018366

0,09

0,10

0,1142650

0,4685590

0,0000001

0,0000064

0,0001765

0,0027280

0,10

0,11

0,1344708

0,5030187 .

0,0000002

0,0000112

0,0002791

0,0038916

0,11

0,12

0,1556289

0,5355959

0,0000004

0,0000188

0,0004234

0,0053693

0,12

0,13

0,1776055—

0,5663738

0,0000006

0,0000300

0,0006202

0,0072028

0,13

0,14

0,2002741

0,5954328

0,0000011

0,0000464

0,0008817

0,0094339

0,14

0,15

0,2235157

0,6228505—

0,0000017

0,0000695

0,0012216

0,0121032

0,15

0,16

0,2472185

0,6487020

0,0000027

0,0001013

0,0016551

0,0152503

0,16

0,17

0,2712775—

0,6730596

0,0000041

0,0001443

0,0021984

0,0189131

0,17

0,18

0,2955943

0,6959933

0,0000061

0,0002014

0,0028695—

0,0231276

0,18

р

п= 6, г = 2

и = 6, г = 1

>=7, г = 7

п = 7, г = 6

п = 7, г = 5

п = 7, г = 4

р

0,19

0,3200770

0,7175705—

0,0000089

0,0002757

0,0036873

0,0279276

0,19

0,20

0,3446400

0,7378560

0,0000128

0,0003712

0,0046720

0,0333440

0,20

0,21

0,3692034

0,7569125

0,0000180

0,0004923

0,0058450—

0,0394053

0,21

0,22

0,3936934

0,7748004

0,0000249

0,0006440

0,0072285—

0,0461368

0,22

0,23

0,4180414

0,7915776

0,0000340

0,0008320

0,0088458

0,0535606

0,23

0,24

0,4421844

0,8073001

0,0000459

0,0010625

0,0107209

0,0616955—

0,24

0,25

0,4660645—

0,8220215—

0,0000610

0,0013428

0,0128784

0,0705566

0,25

0,26

0,4896285—

0,8357935

0,0000803

0,0016805

0,0153436

0,0801558

0,26

0,27

0,5128282

0,8486658

0,0001046

0,0020843

0,0181420

0,0905009

0,27

0,28

0,5356198

0,8606859

0,0001349

0,0025637

0,0212996

0,1015962

0,28

0,29

0,5579638

0,8718997

0,0001725

0,0031288

0,0248421

0,1134424

0,29

0,30

0,5798250

0,8823510

0,0002187

0,0037908

0,0287955—

0,1260360

0,30

0,31

0,6011720

0,8920818

0,0002751

0,0045618

0,0331855

0,1393702

0,31

0,32

0,6219773

0,9011325

0,0003436

0,0054546

0,0380373

0,1534344

0,32

0,33

0,6422168

0,9095416

0,0004262

0,0064832

0,0433757

0,1682141

0,33

0,34

0,6618702

0,9173460

0,0005252

0,0076622

0,0492247

0,1836917

0,34

0,35

0,6809201

0,9245811

0,0006434

0,0090075

0,0556075

0,1998457

0,35

0,36

0,6993523

0,9312805

0,0007836

0,0105356 '

0,0625462

0,2166517

0,36

0,37

0,7171556

0,9374765

0,0009493

0,0122642

0,0700617

0,2340816

0,37

0,38

0,7343215

0,9431998

0,0011442

0,0142116

0,0781734

0,2521046

0,38

0,39

0,7508441

0,9484796

0,0013723

0,0163973

0,0868994

0,2706869

0,39

0,40

0,7667200

0,9533440

0,0016384

0,0188416

0,0962560

0,2897920

0,40

0,41

0,7819481

0,9578195—

0,0019475

0,0215655

0,1062575—

0,3093807

0,41

0,42

0,7965294

0,9619313

0,0023054

0,0245909

0,1169164

0,3294116

0,42

0,43

0,8104670

0,9657036

0,0027182

0,0279404

0,1282428

0,3498411

0,43

0,44

0,8237658

0,9691590

0,0031928

0,0316375

0,1402448

0,3706237

0,44

0,45

0,8364326

0,9723194

0,0037367

0,0357062

0,1529277

0,3917122

0,45

0,46

0,8484755

0,9752051

0,0043582

0,0401710

0,1662945

0,4130579

0,46

0,47

0,8599045

0,9778356

0,0050662

0,0450571

0,1803454

0,4346107

0,47

0,48

0,8707306

0,9802294

0,0058707

0,0503900

0,1950779

0,4563199

0,48

0,49

0,8809663

0,9824037

0,0067822

0,0561956

0,2104864

0,4781337

0,49

0,50

0,8906250

0,9843750

0,0078125

0,0625000

0,2265625

0,5000000

0,50

9

П = Че Г ■= 3

п = 7, г = 2

п = 7, г = 1

п = 8, г = 8

п = 8, г = 7

п = 8, г = 6

р

0,01

0,0000340

0,0020310

0,0679347

0,0000000

0,0000000

0,0000000

0,01

0,02

0,0002636

0,0078565

0,1318745—

0,0000000

0,0000000

0,0000000

0,02

0,03

0,0008630

0,0170930

0,1920172

0,0000000

0,0000000

0,0000000

, 0,03

0,04

0,0019838

0,0293803

0,2485525

0,0000000

0,0000000

0,0000001

0,04

0,05

0,0037570

0,0443805

0,3016627

0,0000000

0,0000000

0,0000004

0,05

0,06

0,0062940

0,0617771

0,3515224

0,0000000

0,0000000

0,0000012

0,06

■ 0,07

0,0096876

0,0812739

0,3982991

0,0000000

0,0000001

0,0000029

0,07

0,08

0,0140140

0,1025946

0,4421534

0,0000000

0,0000002

0,0000064

0,08

0,09

0,0193335—

0,1254814

0,4832390

0,0000000

0,0000004

0,0000127

0,09

0,10

0,0256915

0,1496944

0,5217031

0,0000000

0,0000007

0,0000234

0,10

0,11

0,0331201

0,1750111

0,5576867

0,0000000

0,0000014

0,0000407

0,11

р

п = 7, г = 3

п = 7, г = 2.

п = 7, г = 1

п = 8, г = 8

п = 8, г = 7

п — 8, г = 6

р

0,12

0,0416388

0,2012250—

0,5913244

0,0000000

0,0000026

0,0000673

0,12

0,13

0,0512558

0,2281454

0,6227452

0,0000001

0,0000044

0,0001067

0,13

0,14

0,0619685

0,2555963

0,6520722

0,0000001

0,0000074

0,0001633

0,14

0,15

0,0737652

0,2834159

0,6794229

0,0000003

0,0000119

0,0002423

0,15

0,16

0,0866251

0,3114559

0,7049097

0,0000004

0,0000185—

0,0003499

0,16

0,17

0,1005201

0,3395804

0,7286395—

0,0000007

0,0000279

0,0004891

0,17

0,18

0,1154147

0,3676661

0,7507145

0,0000011

0,0000413

0,0006816

0,18

0,19

0,1312677

0,3956008

0,7712321

0,0000017

0,0000596

0,0009239

0,19

0,20

0,1480320

0,4232832

0,7902848

0,0000026

0,0000845—

0,0012314

0,20

0,21

0,1656562

0,4506224

0,8079609

0,0000038

0,0001176

0,0016164

0,21

0,22

0,1840845

0,4775369

0,8243443

0,0000055—

0,0001611

0,0020926

0,22

0,23

0,2032581

0,5039547

0,8395148

0,0000078

0,0002176

0,0026751

0,23

0,24

0,2231150

0,5298122

0,8535481

0,0000110

0 0002899

0,0033805

0,24

0,25

0,2435913

0,5550537

0,8665161

0,0000153

0,0003815—

0,0042267

0,25

0,26

0,2646212

0,5796314

0,8784872

0,0000209

0,0004964

0,0052329

0,26

0,27

0,2861378

0,6035043

0,8895260

0,0000282

0,0006391

0,0064109

0,27

0,28

0,3080735—

0,6266383

0,8996939

0,0000378

0,0008150—

0,0078097

0,28

0,29

0,3303603

0,6490052

0,9090488

0,0000500

0,0010298

0,0094256

0,29

0,30

0,3529305

0,6705828

0,9176457

0,0000656

0,0012903

0,0112922

0,30

0,31

0,3757169

0,6913541

0,9255365—

0,0000853

0,0016040

0,0134351

0,31

0,32

0,3986531

0,7113070

0,9327701

0,0001100

0,0019791

0,0158811

0,32

0,33

0,4216739

0,7304340

0,9393929

0,0001406

0,0024250—

0,0186577

0,33

0,34

0,4447157

0,7487320

0,9454484

0,0001786

0,0029518

0,0217935

0,34

0,35

0,4677167

0,7662014

0,9509777

0,0002252

0,0035708

0,0253175

0,35

0,36

0,4906169

0,7828465—

0,9560195

0,0002821

0,0042944

0,0292594

0,36

0,37

0,5133587

0,7986743

0,9606102

0,0003512

0,0051358

0,0336492

0,37

0,38

0,5358871

0,8136952

0,9647839

0,0004348

0,0061098

0,0385171

0,38

0,39

0,5581494

0,8279219

0,9685726

0,0005352

0,0072321

0,0438932

0,39

0,40

0,5800960

0,8413696

0,9720064

0,0006554

0,0085197

0,0498074

0,40

0,41

0,6016799

0,8540554

0,9751135—

0,0007985—

0,0099909

0,0562892

0,41

0,42

0,6228574

0,8659982

0,9779202

0,0009683

0,0116653

0,0633676

0,42

0,43

0,6435877

0,8772187

0,9804510

0,0011688

0,0135637

0,0710705—

0,43

0,44

0,6638333

0,8877388

0,9827291

0,0014048

0,0157085—

0,0794247

0,44

0,45

0,6835599

0,8975816

0,9847756

0,0016815

0,0181230

0,0884559

0,45

0,46

0,7027366

0,9067711

0,9866107

0,0020048

0,0208321

0,0981878

0,46

0,47

0,7213354

0,9153321

0,9882529

0,0023811

0,0238619

0,1086426

0,47

0,48

0,7393321

0,9232900

0,9897193

0,0028179

0,0272400

0,1918402

0,48

0,49

0,7567054

0,9306706

0,9910259

0,0033233

0,0309948

0,1317981

0,49

0,50

0,7934375

0,9375000

0,9921875

0,0039062

0 0351562

0,1445312

0,50

р

n = 8, г = 5

и = 8, г = 4

и — 8, г = 3

и — 8, г — 2

п = 8, г = 1

и = 9, г = 9

р

0,01

0,0000000

0,0000007

0,0000539

0,0026901

0,0772553

0,0000000

0,01

0,02

0,0000002

0,0000105

0,0004155—

0,0103369

0,1492370

0,0000000

0,02

0,03

0,0000013

0,0000515—

0,0013499

0,0223408

0,2162566

0,0000000

0,03

0,04

0,0000052

0,0001574

0,0030797

0,0381472

0,2786104

0,0000000

0,04

tc-гм

р

п =' 8, г = 5

п = 8, г = 4

п = 8, г = 3

п = 8, г = 2

п = 8, г — 1

п = 9, г = 9

р

0,05

0,0000154

0,0003718

0,0057882

0,0572447

0,3365796

0,0000000

0,05

0,06

0,0000373

0,0007456

0,0096229

0,0791618

0,3904311

0,0000000

0,06

0,07

0,0000786

0,0013359

0,0146987

0,1034657

0,4404182

0,0000000

0,07

0,08

0,0001493

0,0022033

0,0211005—

0,1297593

0,4867811

0,0000000

0,08

0,09

0,0002619

0,0034113

0,0288868

0,1576795

0,5297475—

0,0000000

0,09

0,10

0,0004316

0,0050244

0,0380918

0,1868953

0,5695328

0,0000000

0,10

0,11

0,0006765

0,0071068

0,0487281

0,2171054

0,6063411

0,0000000

0,11

0,12

0,0010169

0,0097216

0,0607892

0,2480369

0,6403655—

0,0000000

0,12

0,13

0,0014759

0,0129297

0,0742514

0,2794433

0,6717883

- 0,0000000

0,13

0,14

0,0020790

0,0167887

0,0890764

0,3111029

0,7007821

0,0000000

0,14

0,15

0,0028539

0,0213525—

0,1052128

0,3428170

0,7275095—

0,0000000

0,15

0,16

0,0038303

0,0266703

0,1225980

0,3744085—

0,7521241

0,0000001

0,16

0,17

0,0050399

0,0327863

0,1411603

0,4057205—

0,7747708

0,0000001

0,17

0,18

0,0065160

0,0397393

0,1608200

0,4366148

0,7955859

0,0000002

0,18

0,19

0,0082929

0,0475622

0,1814910

0,4669707

0,8146980

0,0000003

0,19

0,20

0,0104064

0,0562816

0,2030822

0,4966835

0,8322278

0,0000005

0,20

0,21

0,0128926

0,0659180

0,2254991

0,5256634

0,8482891

0,0000008

0,21

0,22

0,0157883

0,0764853

0,2486441

0,5538346

0,8629886

0,0000012

0,22

0,23

0,0191302

0,0879910

0,2724183

0,5811335

0,8764264

0,0000018

0,23

0,24

0,0229548

0,1004362

0,2967223

0,6075088

0,8886965

0,0000026

0,24

0,25

0,0272980

0,1138153

0,3214569

0,6329193

0,8998871

0,0000038

0,25

0,26

0,0321948

0,1281168

0,3465239

0,6573339

0,9100805

0,0000054

0,26

0,27

0,0376789

0,1433229

0,3718268

0,6807302

0,9193540

0,0000076

0,27

0,28

0,0437826

0,1594099

0,3972716

0,7030939

0,9277796

0,0000106

0,28

0,29

0,0505362

0,1763486

0,4227673

0,7244179

0,9354246

0,0000145

0,29

0,30

0,0579676

0,1941044

0,4482262

0,7447017

0,9423520

0,0000197

0,30

0,31

0,0661027

0,2126377

0,4735644

0,7639506

0,9486202

0,0000264

0,31

0,32

0,0749644

0,2319043

0,4987023

0,7821752

0,9542837

0,0000352

0,32

0,33

0,0845724

0,2518558

0,5235647

0,7993904

0,9593932

0,0000464

0,33

0,34

0,0949435-

0,2724399

0,5480813

0,8156156

0,9639959

0,0000607

0,34

0,35

0,1060909

0,2936006

0,5721863

0,8308731

0,9681355

0,0000788

0,35

0,36

0,1180242

0,3152791

0,5958195

0,8451888

0,9718525

0,0001016

0,36

0,37

0,1307490

0,3374141

0,6189255

0,8585906

0,9751844

0,0001300

0,37

0,38

0,1442673

0,3599420

0,6414542

0,8711089

0,9781660

0,0001652

0,38

0,39

0,1585766

0,3827973

0,6633607

0,8827757

0,9808293

0,0002087

0,39

0,40

0,1736704

0,4059136

0,6846054

0,8936243

0,9832038

0,0002621

0,40

0,41

0,1895380

0,4292234

0,7051539

0,9036892

0,9853170

0,0003274

0,41

0,42

0,2061644

0,4526588

0,7249765

0,9130054

0,9871937

0,0004067

0,42

0,43

0,2235301

0,4761522

0,7440490

0,9216086

0,9888571

0,0005026

0,43

0,44

0,2416115

0,4996359

0,7623517

0,9295345

0,9903283

0,0006181

0,44

0,45

0,2603807

0,5230437

0,7798697

0,9368189

0,9916266

0,0007567

0,45

0,46

0,2798056

0,5463101

о'7965925—

0,9434974

0,9927698

0,0009222

0,46

0,47

0,2998501

0,5693713

0,8125139

0 ,9496049

0,9937740

0,0011191

0,47

0,48

0,3204741

0,5921658

0,8276319

0,9551761

0,9946540

0,0013526

0,48

0,49

0,3416336

0,6146339

0,8419484

0,9602447

0,9954232

0,0016284

0,49

0,50

0,3632812

0,6367188

0,8554688

0,9648438

0,9960938

0,0019531

0,50

р

п = 9, г = 8

п = 9, г = 7

п= 9, г = 6,

п = 9, г = 5

п = 9, г = 4

п = 9, г = 3

р

0,01

0,0000000

0,0000000

0,0000000

0,0000000

0,0000012

0,0000803

0,01

0,02

0,0000000

0,0000000

0,0000000

0,0000004

0,0000186

0,0006139

0,02

0,03

0,0000000

0,0000000

0,0000001

0,0000028

0,0000904

0,0019796

0,03

0,04

0,0000000

0,0000000

0,0000003

0,0000113

0,0002743

0,0044824

0,04

0,05

0,0000000

0,0000000

0,0000012

0,0000332

0,0006426

0,0083610

0,05

0,06