Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ГЛАВА 1
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
Статистические выводы и статистические решения
«Сырьем» для статистического исследования служит совокупность результатов наблюдений; эти результаты представляют собой значения случайных величин X, распределение которых Ре хотя бы частично неизвестно. О параметре 0 предполагается известным лишь то, что это один из элементов некоторого множества Q (пространства параметров). Статистические выводы используют материал наблюдений для получения информации относительно распределения X (или значения параметра 0, от которого оно зависит). Чтобы прийти к более точной формулировке задачи, мы рассмотрим цели статистических выводов.
Необходимость статистического анализа возникает из того факта, что распределение X, а следовательно, и некоторые черты ситуации, лежащей в основе математической модели, неизвестны. Следствием этого недостаточного знания является неопределенность в выборе наилучшего поведения. Чтобы формализовать понятие «поведения», допустим, что необходимо выбрать одно из нескольких действий. Результаты наблюдений, давая информацию относительно исходного распределения, тем самым указывают путь к наилучшему решению. Задача состоит в определении правила, ставящего в соответствие каждому результату наблюдений решение, которое должно быть принято. С точки зрения математики, такое правило есть функция б, которая каждому возможному значению х случайных величин приписывает решение d = 6(х), т. е. функция, областью определения которой является множество значений X и областью значений — множество возможных решений.
Чтобы понять, как следует выбирать б, необходимо сравнить последствия использования различных правил. С этой целью предположим, что принятие решения d при условии, что распределение X равно Ре, приводит к потере, которая может быть выражена неотрицательным числом L(0, d). Тогда средний убыток, возникающий от применения 6 в длинном ряду повторений
эксперимента, приближенно равен математическому ожиданию £0[L(0, 6(Х)))], вычисленному в предположении, что распределением X является Ре. Это математическое ожидание, которое зависит от решающего правила 6 и распределения Ре, называется функцией риска для б и будет обозначаться Р(6,6). Принимая решение по результатам наблюдений, мы заменяем первоначальную задачу выбора решения d при функции потерь L(0, d) задачей выбора б при функции потерь /?(0, 6)).
Приведенные выше рассуждения наводят на мысль о том, что целью статистики является выбор решающей функции, минимизирующей возникающий риск. Как будет видно впоследствии, такое определение цели статистики недостаточно точно, чтобы быть вполне осмысленным; его надлежащая интерпретация в действительности оказывается одной из основных проблем теории.
Точная постановка проблемы решения
Методы, требующиеся для решения какой-либо отдельной статистической задачи, существенно зависят от трех элементов, которые ее определяют: класса ^ = {^0, 0^Q}, которому, по предположению, принадлежит распределение X; структуры пространства D возможных решений d; формы функции потерь L. Чтобы прийти к конкретным результатам, необходимо, следовательно, сделать определенные предположения относительно этих элементов. С другой стороны, если рассматривать теорию, как нечто большее, чем собрание изолированных результатов, предположения должны быть достаточно широкими, с тем чтобы или быть часто применимыми или выделять классы задач, допускающих единообразный подход.
Рассмотрим сначала класс ^. Точные числовые предположения относительно вероятностей или вероятностных распределений обычно не могут быть оправданы. Однако часто можно допустить, что некоторые события имеют равные вероятности, а некоторые другие статистически независимы. Предположения другого типа касаются относительной величины некоторых инфинитезимальных вероятностей, например вероятностей наступления событий во временном или пространственном интервале при длине интервала, стремящейся к нулю. Приводимые ниже классы распределений построены на основании предположений только такого рода и, следовательно, могут встретиться в большом числе случаев.
Биномиальное распределение &(р, п) с
Р(Х = х) = (")рж(1-р)"^, х = 0п; 0<р<1,(1)
есть распределение числа успехов в п независимых испытаниях, в каждом из которых вероятность успеха равна р.
Распределение Пуассона Р^ с
Р^Х = х^ = ^е"\ х = 0, 1, О < т,(2)
это — распределение числа событий, происходящих в фиксированном временном или пространственном интервале, при условии, что вероятность наступления более чем одного события в короткий промежуток времени является величиной более высокого порядка малости, чем вероятность наступления одного события, и что числа событий в непересекающихся интервалах статистически независимы. При этих предположениях процесс появления событий называется пуассоновским процессом*).
Нормальное распределение N^ о2) с плотностью вероятно* сти
р(х) = /7- ехрГ— ТТ^- ^21’ ~ 00 < х» ^ < 00: 0 < °’
V2no L 2а2 J
при весьма общих предположениях, которые уточняются центральной предельной теоремой, является приближенным распределением суммы большого числа независимых случайных величин, каждая из которых мала по сравнению со всей суммой.
Мы рассмотрим теперь структуру пространства решений D. Большое разнообразие возможностей указывается следующими примерами.
Пример 1. Пусть Хь ..., Хп — выборка из совокупности с одним из распределений (1) —(3), т. е. величины X независимы и одинаково распределены по одному из этих законов. Пусть 9 обозначает р, т или пару (£, о) соответственно, и пусть у = у (9) —действительная функция 9.
Если хотят решить, превосходит у некоторое определенное значение Уо или нет, то выбирают одно из решений: d^. у > уо или dx\ у ^ Уо- В отдельных приложениях эти решения могут соответствовать принятию или отклонению партии товаров или опытного образца самолета (по его пригодности к испытательным полетам), или нового способа лечения, предложенного в качестве лучшего по сравнению с принятым, и т. д. Функция потерь зависит от области применений. Типично, однако, что потеря равна нулю, если выбрано правильное решение, в то время как при неправильном решении потери
^о) и L(y, rfi) являются возрастающими функциями |у— у0|.
(И) В силу сложности пространства решений значительно более трудной проблемой является отыскание числовой оценки для у.
Здесь решением d, которое принимает статистик, служит действительное число — оценка у, и функцией потерь может быть, например, L^, d) = = u(y)to(|d — у|), где со — строго возрастающая функция ошибки \d — у|.
Промежуточное положение занимает случай выбора между тремя альтернативными решениями — d0\ у < у0, ^ь у > уь d^. уо ^ Y ^ Уь например, принятием нового способа лечения, отклонением его или рекомендацией дальнейшего его изучения.
Различия, иллюстрируемые этим примером, лежат в основе одного из главных способов классификации статистических методов. Задачи с двумя решениями, такие, как (I), формулируются обычно в терминах проверки гипотезы, которая должна быть принята или отвергнута (см. главу 3). Мы будем иметь дело, в значительной степени, с теорией именно этого класса задач. Другой важной ветвью статистики является теория точечных оценок, занимающаяся такими проблемами, как (II). Исследование процедур со многими решениями, таких, как (III), начато только в последние годы.
Пример 2. Предположим, что даны выборки Хц, j = 1, .. ., ni, из нормальных совокупностей N^i, a2), i = 1, ..., s.
Рассмотрим сначала случай s = 2. Поставим вопрос о том, имеется ли существенное различие между этими двумя совокупностями. Вопрос имеет ту же самую структуру, что и задача (III) в предыдущем примере. Здесь производится выбор между тремя решениями — do: |?2 —5i| ^ A, dx: g2 > > |i + A, d^ Ь < 5i — А, где А — наперед заданное число. Аналогичная проблема, включающая s + 1 возможное решение, возникает в общем случае s совокупностей. Здесь нужно произвести выбор между решениями d0: max |tz — — gi | ^ А (совокупности не отличаются существенно одна от другой) и d*: max | g/ — g/1 > А и gt — наибольшее из средних.
Близкой к рассмотренной является задача о расположении совокупностей в порядке возрастания соответствующих средних значений.
Пусть задан некоторый стандрат g. Задача состоит в том, чтобы определить, превосходят ли этот стандарт какие-либо из средних значений (и какие именно).
Пример 3. Рассмотрим два распределения, для определенности — два распределения Пуассона P(ti), Р(т2). Предположим, что Ti меньше т2, но в остальном параметры т неизвестны. Пусть случайные величины zi, ..., zn распределены независимо, каждая в соответствии с законом P(ti) или Р(т2). Требуется каждую из величин z отнести к одному из двух классов, соответственно теоретическому распределению. Здесь функция потерь могла бы равняться числу ошибок в классификации, умноженному на некоторую функцию от Ti и т2. Степень сложности, которой может достигать эта задача, а также возникающие трудности, как математические, так и концептуальные, иллюстрируются усилиями антропологов разделить человечество на некоторое число однородных рас с помощью изучения частот различных групп крови и других генетических характеристик.
Все рассмотренные до сих пор проблемы могли бы быть названы проблемами действия. В каждой из них предполагалось, что если 0 известно, то лишь одно решение d будет правильным, т. е. при любом данном 6 существует единственное d, для которого L(0, d) = 0. Однако не все статистические задачи ставятся так отчетливо. Часто вопрос заключается в удобном сводном
описании данных или в указании содержащейся в них информации относительно неизвестного параметра или распределения. Эта информация используется затем в различных обстоятельствах, но она не является единственной основой какого-либо определенного решения. В таких случаях в статистической проблеме ударение делается на выводах, а не на решении, хотя формально проблема может рассматриваться как проблема решения: для этого результат вывода должен интерпретироваться как решение, которое следует принять. Важный класс подобных задач составляют оценки интервалами); для иллюстрации ниже приводится пример.
Пример 4. Пусть X = (Хь ..., Х„) является выборкой из нормальной совокупности N^ а2), и пусть решение состоит в выборе интервала [L, L] и утверждении, что он содержит g. Предположим далее, что процедура решения допускает только интервалы [L(X), L(X)], математическое ожидание длины которых при всех g и о не превосходит ко, где к— некоторая заранее заданная константа. Функцию потерь можно было бы положить равной нулю, если решение правильное, а в остальных случаях сделать зависящей от относительного расположения интервала и истинного значения |. В таком случае данному распределению N(^, о2) соответствует несколько правильных решений.
Нам остается обсудить выбор функции потерь. Вероятно, что из трех элементов, определяющих статистическую проблему, этотхуточняется с наибольшим трудом. Даже в простейшем случае, когда все потери в конечном счете сводятся к денежным, трудно рассчитывать на то, что мы сумеем оценить все как немедленные, так и более отдаленные следствия некоторого действия. Часто можно упростить положение, принимая во внимание только некоторые черты функции потерь. В качестве иллюстрации возьмем пример 1 (I). Пусть L(6, d^=a для у(6)^уо и L(9, dj) = b для у (9) > у0. Тогда функция риска равна
от Ах _ f «pe{6W = ^o}> если у<у0,
R (9’ 6) ~ ( ЬР9 {б (X) = с^, если у > у0, (4)
и, таким образом, зависит только от двух вероятностей ошибок, веса при которых могут быть подобраны с учетом сравнительного значения этих ошибок. Аналогично в примере 3 можно ограничиться числом ошибок в классификации.
К сожалению, подобное естественное упрощение не всегда возможно. Отсутствие точных сведений приводит к необходимости выбирать функцию потерь некоторым условным образом. При этом математическая простота рассматривается как важное обстоятельство. Так, в проблемах точечной оценки, подобных рассмотренной в примере 1 (II), оценивая действительную
функцию у = у (0), обычно используют квадрат ошибки или, несколько более общим образом, выражение
L (0, d) = о (9) (d - у)2. (5)
Будучи весьма простым математически, оно может восприниматься как приближение к истинной функции потерь в предположении, что при каждом фиксированном 9 функция £(0, d) дважды дифференцируема по d, £(0, у(0)) = О для всех 0, и что ошибка невелика.
Часто случается, что в рамках одной задачи возможны различные типы потерь, для которых трудно подыскать общую единицу измерения. Вернемся еще раз к примеру 1 (1) и допустим, что уо представляет собою значение у, получающееся при использовании в некоторой ситуации (например, в медицине, сельском хозяйстве или промышленности) стандартного способа действий. Задача состоит в том, чтобы сравнить какой-то новый способ (с неизвестным у) с указанным стандартным способом. Отклонение нового метода, когда он превосходит старый, или принятие его в противоположном случае влекут за собою, очевидно, весьма различные последствия. Иногда в таких случаях бывает удобно оперировать по отдельности с несколькими компонентами, скажем £i, £2, ..., Lr. Предположим, в частности, что г = 2 и что L\ соответствует более существенной стороне дела. Тогда можно ограничить эту компоненту риска, т. е. наложить условие вида
££,(0, 6(Х))<а (6) и при этом условии минимизировать другую компоненту. Эту процедуру иллюстрирует пример 4. Длина интервала [£, £] (измеренная в о-единицах) является одной компонентой функции потерь. Другую образуют потери, возникающие тогда, когда этот интервал не покрывает истинное значение £.
Рандомизация. Выбор эксперимента
Данное выше описание решающего правила в некоторых отношениях остается слишком узким. Мы предполагали, что каждому возможному значению случайных величин соответствует ровно одно решение. Вместо этого удобно допустить выбор одного из нескольких решений в соответствии с заданными вероятностями или, более общим образом, в соответствии с некоторым распределением вероятностей на пространстве решений. Это распределение зависит, конечно, от наблюденного значения х. Один из способов описания такой рандомизированной процедуры состоит в том, что задаются нерандомизированная процедура, зависящая от X, и случайная величина Y, значения которой
лежат в пространстве решений и условное распределение которой при данном х не зависит от 9.
Хотя интуитивно может показаться, что такая дополнительная рандомизация не имеет значения, это допущение большей свободы выбора не может нанести вреда. Если интуитивные сомнения будут правильны, то окажется, что оптимальные процедуры всегда имеют нерандомизированный характер. В действительности введение рандомизированных процедур создает важное математическое упрощение: расширение класса функций риска делает его выпуклым. К тому же, существуют проблемы, в которых некоторые характеристики функции риска (например, ее максимум) могут быть лучше использованы, если допустить и рандомизированные процедуры.
Другое предположение, которое молчаливо до сих пор принималось, состоит в том, что был выбран определенный план эксперимента. Поэтому известно, какие именно наблюдения будут произведены. Однако статистические рассмотрения, связанные с планированием эксперимента, нисколько не менее важны, чем касающиеся анализа этого эксперимента. В частности, еще до того, как предпринято исследование, необходимо решить, сколько наблюдений должно быть произведено, учитывая, что потери от неправильных решений не должны быть чрезмерными. Часто оказывается, что требуемый объем выборки зависит от неизвестного распределения и, следовательно, не может быть фиксирован заранее. Вместо этого объем определяется в зависимости от наблюдений, и решение о продолжении эксперимента принимается последовательно на каждом его шаге на основе имеющихся к этому моменту результатов наблюдений.
Пример 5. Допустим, что по выборке Xb ..., Хп из нормального распределения N^o2^ желают оценить среднее значение 5- Здесь функция риска для оценки (например, математическое ожидание квадрата ее отклонения от I) зависит от о. При больших о выборка содержит мало информации в том смысле, что два распределения N^a^ и N^o^ с фиксированной разностью $2— Ji становятся неразличимыми при а->оо; вследствие этого риск стремится к бесконечности. Наоборот, риск стремится к нулю при о->0, так как в этом случае среднее почти точно известно. Таким образом, число наблюдений, необходимое для поддержания риска на заданном уровне, неизвестно. Однако после того как произведено некоторое количество наблюдений, возможно оценить о2 и, следовательно, определить число требуемых дополнительно наблюдений.
Пример 6. Пусть относительно последовательности испытаний с постоянной вероятностью успеха р желают выяснить, какое из двух неравенств Р 7г или р > 72 верно. Как правило, мы будем быстро приходить к решению, если р близко к 0 или 1, когда практически все наблюдения приводят к одному и тому же результату. В то же время для промежуточных значении р потребуется выборка большего объема. Это различие может частично уравновешиваться тем обстоятельством, что для промежуточных значений потери, возникающие из-за неправильного решения, предположительно менее серьезны, чем для значений, близких к краям.
Пример 7. Возможность последовательного определения объема выборки важна не только потому, что распределения Pq имеют большую или меньшую информационную ценность, но и потому, что это же самое верно для результатов наблюдений. Рассмотрим, например, выборку из равномерного на интервале (0 — V2, 0 + V2) распределения), и пусть задача состоит в оценке 0. Здесь нет различия в количестве информации, доставляемой различными распределениями Pq. Однако по выборке Хь Хг, ..., Хп можно почти точно определить 0, если шах |Х/— Х,| достаточно близок к единице; если же тах|Х7—Х,| близок к нулю, то вся выборка дает информацию нисколько не большую, чем одно наблюдение. Снова необходимый объем выборки должен определяться последовательно.
Определение надлежащего размера выборки представляет собою, за исключением простейших ситуаций, лишь одну из сторон задачи планирования эксперимента. Вообще говоря, мы должны решить не только вопрос о числе наблюдений, но и то, какого они должны быть типа. Формально все эти вопросы можно включить в общую проблему решения, как она описана в начале этого раздела. С этой целью X интерпретируется как множество всех наблюдаемых случайных величин; вводятся понятия решения о продолжении и решения об остановке эксперимента на различных этапах; определяется (в случае продолжения), какого типа величину следует наблюдать на следующем шаге; наконец, стоимость наблюдений включается в функцию потерь. Однако, несмотря на эту формальную возможность, отыскание оптимального плана эксперимента в конкретных ситуациях представляет собою обычно задачу более трудную, чем отыскание оптимального решающего правила для данного эксперимента. Эта задача решена лишь в небольшом числе случаев. Здесь в первую очередь мы будем заниматься проблемой в том виде, в котором она предстает перед нами после того, как эксперимент выбран, и только в нескольких случаях мы постараемся сравнить различные планы эксперимента.
Оптимальные процедуры
В конце первого раздела было сказано, что цель статистической теории — отыскание такой решающей функции 6, которая минимизирует функцию риска .
Ш 6) = £e[L(9, б(Х))]. (7)
К сожалению, минимизирующее 6 зависит, вообще говоря, от неизвестного значения 6. Возьмем, например, некоторое специальное решение do и рассмотрим решающую процедуру 6(^) = d0, в соответствии с которой решение do принимается независимо от исхода эксперимента. Предположим, что do является правиль-
ным решением для некоторого Оо, т. е. L(0O, </0) = 0. Тогда 6 минимизирует риск для 0о, поскольку R(9o, 6) = 0, но, вероятно, ценой значительного риска для других значений 0.
При отсутствии решающей функции, которая минимизирует риск для всех значений 0, проблема остается математически неопределенной, так как неясно, что подразумевается под наилучшей процедурой. Хотя представляется невозможным дать определение оптимальности, которое было бы подходящим во всех случаях, приводимые ниже два подхода часто оказываются удовлетворительными.
Отсутствие оптимального решающего правила связано с тем, что процедура уделяет слишком большое внимание отдельному
значению параметра, пренебрегая многими другими. Это приводит к мысли ограничиться решающими процедурами, в какой-то степени беспристрастными; возможно, что внутри такого класса найдутся процедуры с равномерно наименьшим риском. Два ограничения подобного рода — инвариантность и несмещенность, будут обсуждены в следующем разделе.
Вместо сужения класса процедур возможен и другой подход к проблеме. Рассмотрим функции риска, соответствующие двум различным решающим правилам б, и 62. Если R(9,61) < 7?(0,62) при всех 0, то ясно, что 61 предпочтительнее 62, так как 61 приводит к меньшему риску, каково бы ни было истинное значение 0. Однако положение неясно, когда графики этих функций пересекаются, как на рис. 1. Необходим принцип, который в подобных случаях устанавливает, какая из двух функций риска предпочтительнее, т. е. который упорядочивает множество функций риска. Оптимальной будет та процедура, функция риска которой является наилучшей в смысле этого порядка.
Некоторые критерии, которые были предложены для упорядочения функций риска, будут рассмотрены в разделе 6.
Слабым пунктом теории оптимальных процедур, как она намечена выше, является ее зависимость от не относящихся к
существу дела обстоятельств: ограничения класса процедур, принципа упорядочения и от сведений о функции потерь и распределениях наблюдаемых случайных величин. Эти сведения в приложениях часто бывают или недоступны, или ненадежны. Подобные трудности могут вызвать сомнение в ценности оптимальной теории, покоящейся на столь шатком основании. Но они в принципе не отличаются от трудностей, возникающих в любых применениях математики к действительности. Математические формулировки всегда включают упрощение и аппроксимацию; поэтому на решения, полученные с их использованием, нельзя полагаться без дополнительной проверки. В нашем случае проверка состоит из всеобъемлющей оценки действия процедуры, даваемой теорией, и в исследовании ее чувствительности к отклонениям от предположений, при которых она была рекомендована.
Отмеченные трудности могут быть частично преодолены рассмотрением одной и той же проблемы в разных постановках. Если различные критерии оптимальности приводят к одному и тому же решению, то оно будет наилучшим с нескольких точек зрения, и, следовательно, правдоподобно, что оно будет удовлетворительным вообще. В противоположном случае этот метод указывает слабые и сильные стороны различных решений и тем самым может привести к некоторой компромиссной процедуре. Аналогично, чувствительность процедуры к отклонениям от предположений, при которых она была выведена, может быть испытана, например, отбрасыванием одного из предположений и сравнением процедуры, полученной в более широкой модели, с первоначальной.
Инвариантность и несмещенность )
Естественное определение беспристрастности появляется в ситуациях, симметричных по отношению к интересующим нас значениям параметра. От процедуры требуется в этом случае симметричность по отношению к этим значениям параметра.
Пример 8. Предположим, что сравниваются два способа действий, каждый из которых применяется п раз. Соответствующие результаты наблюдений ХиХ\п и Х^.-.Дгп представляют собою выборки из N^\>°^ иМ(£2, о2) соответственно. Допускаются три решения —d0: |£г — Bi| ^ А, ^ь ^г>|1+А, ^2- £2 < £i — А, и принятие решения d$ при условии, что истинно du приводит к потере wij. Если способы действий сравниваются только в терминах £ и никакие посторонние соображения не принимаются во внимание, то потери являются симметричными по отношению к этим способам, так что zyOi = ^02, до10 = г^2о, ^12 — ^гь Предположим теперь, что индексы 1 и 2, отмечающие
способы, меняют местами и соответственно меняют индексы у X, £ и решений d\ и d2. Это изменяет смысл символов, но формальная проблема решения, в силу ее симметрии, остается прежней. Поэтому естественно требовать соответствующей симметрии от процедуры 6, т. е. требовать, чтобы д(хп, ..., хщ, Х2ь х2п) = d0) dx или d2 одновременно с д(х2ь ••♦, ^п, Хп, ..., xVnY Если бы это условие не было выполнено, то решение того, какая из выборок имеет большее среднее, зависело бы от совершенно несущественного обстоятельства — нумерации выборок. Аналогичные замечания применимы и к другим типам симметрии, встречающимся в этой задаче.
Пример 9. Рассмотрим выборку Хь ..., Хп из распределения с плотностью о-1/[(х — 5)/а]. Пусть проблема состоит в оценке параметра сдвига J, скажем математического ожидания Хк при функции потерь (d — ^)2/o2, т. е. равной квадрату ошибки, выраженной в о-единицах. Предположим, что первоначально результаты наблюдений выражены в футах, и пусть Xt = аХ^ где а = 12, — соответствующие значения в дюймах. В преобразованной задаче плотность равна [(xz — V)/^'] где ^ = а^, а' = ао. Так как (d' — — ^yi^2 = (d — ^yic^t то формально проблема не меняется. Та же самая процедура, которая используется для первоначальных наблюдений, пригодна после преобразования. Для ^ = а^, где |' измерено в дюймах, она дает оценку 6(аХь ..., аХпу Переводя последнее выражение в футы, мы видим, что если потребовать независимость результата от выбора единицы измерения, то д должно удовлетворять условию масштабной инвариантности:
д(аХь ..., аХ„)/а = б(Хь .... Хп\
Общим математическим выражением симметрии является инвариантность относительно подходящей группы преобразований. Мы скажем, что группа G преобразований g пространства выборок оставляет статистическую проблему решения инвариантной, если она удовлетворяет следующим условиям:
Она оставляет инвариантным семейство распределений ^ = {Ре, 0eQ}, т. е. для любого возможного распределения Ре случайных величин X распределение gX, скажем Pes также принадлежит ^. Предполагается, что соотношение 0' = g9 отображает Q на Q и притом взаимно однозначным образом*).
Для каждого g е G существует отображение g* = h^ пространства решений D на себя, определяемое гомоморфизмом h (т. е. h удовлетворяет условию h(g\g^ = h^g^h^g^ и такое, что функция потерь не меняется при этом отображении, т. е.
L^ g*d) = L(Q, d^
При этих предположениях преобразованная задача в терминах ^'= gX, 0' = gQ и d' = g*d формально идентична первоначальной задаче в терминах X, 0 и d. Решающая процедура 6 первоначальной задачи остается пригодной и после преобразования. Интерпретируя преобразование как замену координатной системы и, следовательно, замену названий элементов, мы выбрали бы, наблюдая х', решение, которое в новой системе записывается
как 6(av), а в старой — как g*-^^^. Если принимаемое решение не должно зависеть от выбора системы координат, то последнее решение должно совпадать с первоначальным 6, т. е. процедура должна удовлетворять условию инвариантности;
б (sto = g*6 W Для всех хеХ, §еС.(8)
Рассмотрения, основанные на инвариантности, применимы лишь тогда, когда проблема обнаруживает некоторую симметрию. Альтернативная формализация понятия беспристрастности, применимая к проблемам другого типа, дается приводимым ниже условием несмещенности. Предположим задачу такой, что для каждого 6 существует единственное правильное решение и что каждое решение является правильным для некоторого 6. Допустим далее, что L(0i, d) = L(02, d) для всех d, если правильные решения для 01 и 02 совпадают. Тогда функция потерь Lt^d'^ зависит только от принятого решения, скажем d', и правильного решения d. Потеря может быть обозначена поэтому L^d, d') и эта последняя функция указывает, как далеко отстоит dz от d. При перечисленных предположениях решающая функция 6 называется несмещенной, если при всех 0 и d'
E^L (d\ 6 (Jf)) > E^L (d, 6 (JQ),
где индекс 0 указывает распределение, по отношению к которому берутся математические ожидания, и d обозначает решение, правильное для 0. Таким образом, 6 является несмещенным, если в среднем б(Х) подходит ближе к правильному решению, чем к любому из неправильных. Распространяя приведенное определение на любые проблемы решения, б называют несмещенным правилом, если для всех 0 и 0'
E.L^\ ЦХ^>Е^ б (JO).(9)
Пример 10. Предположим, что в задаче оценки действительного параметра 6 с помощью доверительных интервалов (пример 4) потеря равна 0 или 1 в зависимости от того, покрывает или не покрывает интервал [L, L] истинное значение 6. Тогда система интервалов [L(X),L(X)J является несмещенной, если вероятность покрытия истинного значения не меньше вероятности покрытия любого другого значения.
Пример 11. Рассмотрим задачу с двумя решениями такую, как в примере 1 (I). Пусть «о и (Di обозначают множества значений 6, для которых правильными решениями являются d0 и d\ соответственно. Предположим, что потеря равна 0, если выбирается правильное решение, а в противном случае определяется равенствами: L^d^ = а для Oeoi и L^,d\)=b для 6 е coo. Тогда
в 1 (ft' MYAX — S aPs№W — deV если 6'<=соь
0’ t 6Pe{6W = diL если б'ешо,
так что (9) приводится к-неравенству
аРе{6W = d6\>bP6\b^ = dx\ для 6е<в0
и к обратному неравенству для 6 е соь Так как Р0 {d (X) = сЦ + Рд {д (X) = = б/1} = 1, то условие несмещенности (9) превращается в неравенства
Ре {6(X) = di}<"rr Для бе соо, +(10)
Рв {д (X) = dll > -^у ДЛЯ ееюь
Пример 12. В задаче оценки действительной функции у(9) при потере, равной квадрату ошибки, условие несмещенности записывается в виде
Pg [d (X) - у (9')]2 > Ре [д (X - у (9)]2 для всех 9, 9'.
Добавляя и вычитая внутри скобок в обеих частях неравенства А(9) = = Е0д(Х), мы преобразуем его к виду
[А (9) — у (9')12 ^ \h (9) — у (9)]2 для всех 9, 9'.
Если А (9) является одним из значений функции у, то последнее соотношение выполняется тогда и только тогда, когда
Е0б(Х) = у(9).(11)
В теории точечных оценок (11) обычно принимается в качестве определения несмещенности. Кроме весьма патологических случаев, равенство (11) необходимо и достаточно для того, чтобы д удовлетворяло (9) (см. задачу 2 в конце главы).
Байесовские и минимаксные процедуры
Мы вернемся теперь к обсуждению способов упорядочения решающих процедур и их функций риска. Одно из таких упорядочений получается в предположении, что в повторных экспериментах сам параметр является случайной величиной 0. Если предположить для простоты, что его распределение имеет плотность р(9), то полная средняя потеря от применения решающей процедуры 6 равна
r(p, 6) = $£6L(9, 6(X))p(9)rf9=^(0, 6)p(9)d9(12)
и, чем меньше г(р, 6), тем лучше 6. Оптимальной является процедура, минимизирующая г(р, 6). Она называется байесовским решением данной проблемы, соответствующим априорной плотности р. Минимум г(р, 6) называется байесовским риском для р.
К сожалению, чтобы использовать этот принцип, надо предположить не только то, что 9 — случайная величина, но и то, что распределение ее известно. Последняя предпосылка на практике обычно не оправдывается. Правая часть (12) может быть иначе истолкована как взвешенное среднее рисков. В частности, Для р(9)= 1 это есть площадь под графиком функции риска. При такой интерпретации выбор весовой функции р показывает
степень значимости, которую экспериментатор приписывает различным значениям 6.
При отсутствии априорной информации относительно 6 имеет смысл рассматривать максимум функции риска как ее наиболее важную характеристику. Тогда из двух функций риска предпочтительнее та, которая имеет меньший максимум. Оптимальными процедурами являются те, которые минимизируют максимальный риск, т. е. обладают минимаксным свойством. Так как максимум указывает самые тяжелые (в среднем) потери, которые могут возникнуть при использовании данной процедуры, то минимаксное решение, по сравнению с другими, дает самую надежную защиту от больших потерь. Рис. 2 показывает, что иногда такой принцип может оказаться неблагоразумным: в большинстве случаев мы предпочли бы правило 61, хотя его функция риска имеет больший максимум.
Вероятно, что наиболее типичен случай, промежуточный между двумя только что описанными. С одной стороны, мы Д могли встречаться в прошлом с таким же или сходным экспериментом и потому можем иметь некоторое представление
об ожидаемых значениях 9. С другой стороны, эта информация не является ни достаточно точной, ни достаточно надежной, чтобы оправдать байесовский подход. В этой обстановке представляется желательным использовать доступную информацию, не опираясь на нее, однако, настолько, чтобы в случае ее неточности столкнуться с опасностью катастрофически высоких потерь. Для достижения этой цели можно задать верхнюю границу риска и рассматривать лишь такие процедуры 6, для которых
/?(0, 6)^ С для всех 6(13)
(здесь константа С должна быть больше максимального риска Со минимаксной процедуры, так как в противном случае не найдется процедуры, удовлетворяющей (13)). Гарантировав, таким образом, что риск ни при каких обстоятельствах не выйдет из- под контроля, экспериментатор может без опасений использовать свои сведения о ситуации. Последние могут быть следствием как теоретических соображений, так и прошлого опыта. Экспериментатор может следовать своим влечениям и угадывать распределение р параметра 0. Это приводит к выбору процедуры 6 (ограниченного байесовского решения), которая минимизирует риск
для этого априорного распределения (при условии (13)). Чем более мы уверены в выборе р, тем большим можно выбрать С. При этом, управляя большими значениями риска в случае неудачного предположения о р, мы уменьшаем риск при хорошей догадке.
Вместо непосредственного задания упорядочения, мы можем постулировать требования, которым оно должно удовлетворять.
Были исследованы различные системы таких условий ). Это привело к общему заключению, что этим требованиям удовлетворяют лишь упорядочения, основанные на значении байесовского риска по отношению к некоторому априорному распределению 6.
Метод максимума правдоподобия
Другим подходом, основанным на соображениях, отличных от использованных в предыдущих разделах, является метод максимума правдоподобия. В большом числе проблем он приводит к рациональным процедурам и до сих пор играет доминирующую роль при отыскании новых критериев или оценок. Предположим на время, что X может принимать только конечное или счетное число значений xi,x2, ... с вероятностями Ре(х) = = Ре ^Х = хУ Допустим, что мы хотим определить истинное значение 9 по наблюденному х. Естественно посмотреть для каждого возможного 0, сколь вероятным было бы х, если бы 0 было истинным значением параметра. Чем выше эта вероятность, тем более мы склоняемся к мнению, что рассматриваемое 0 является истинным; т. е., иными словами, тем более праводоподобным представляется нам это значение. В соответствии со сказанным, выражение P^W, рассматриваемое при фиксированном х как функция от 0, называется функцией правдоподобия для 0. Чтобы подчеркнуть это изменение точки зрения, обозначим функцию правдоподобия LX^Y Предположим теперь, что мы сталкиваемся с проблемой действия, включающей конечное или счетное число возможных решений, и что эта проблема сформулирована не в терминах потерь, как обычно, а в терминах выигрышей: выигрыш равен нулю, если принято неправильное решение, и равен а(0)>О, если принято правильное решение и 0 — истинное значение параметра. Тогда представляется естественным снабдить значения функции правдоподобия Lx^ весами, равными соответствующим выигрышам, и определить значение 0, максимизирующее произведение a^Lx^Y а затем принять
такое решение, которое было бы правильным, если бы найденное О было верным). Сделанные замечания применимы и к случаю непрерывных распределений, когда РЦх) обозначает плотность вероятности. Приведенные мотивировки неприменимы непосред
ственно к задаче оценки непрерывного параметра,, однако этот случай можно рассматривать как предельный.
sup Lx (6)Hew . Ох_ sup Lx (6) «о 6е (01sup Lx (6)Hew . Ох_ sup Lx (6) «о 6е (01В задачах точечной оценки я (9) предполагают обычно не зависящим от 0. Тем самым в качестве оценки 9 используют значение, максимизирующее функцию правдоподобия L*^, т. е., как говорят, оценку наибольшего правдоподобия. Другой интересный случай — проблемы с двумя решениями (ср. пример 1 (I)). Пусть <оо и Mi обозначают множества значений 0, для которых правильными являются решения do и dt соответственно, и пусть а(9) = а0 при 0 е ю0 и a(6) = ai при Оешь Мы принимаем решение do или di в зависимости от того, будет ли ах sup Lx (9) 6e(0i меньше или больше а0 sup Lx (0), т. е. будет ли беюо
sup Lx (6)
Hew . Ох_ sup Lx (6) «о 6е (01
sup Lx (6)
Hew . Ох_ sup Lx (6) «о 6е (01
sup LxW
илиили(14)(14)бе Oh Я1
или
или
(14)
(14)
sup Lx (6)a0 *
6eo)i
Эта процедура приводит к критерию отношения правдоподобия ).
Хотя принцип максимального правдоподобия не основывается на каких-либо ясно выраженных соображениях оптимальности, он применяется весьма успешно и приводит к удовлетворительным процедурам во многих конкретных задачах. Было показано также, что в широком классе задач метод максимального правдоподобия обладает свойством асимптотической оптимальности при неограниченно растущем объеме выборки). С другой стороны, существуют примеры, в которых метод максимального правдоподобия более чем бесполезен. Действительно, в этих примерах он столь плох, что можно найти лучший ответ, вовсе нс прибегая к наблюдениям (см. задачу 18 в главе 6).
Полные классы
Ни один из описанных до сих пор подходов не представляется вполне надежным в том смысле, что рекомендуемая им процедура не является с необходимостью удовлетворительной. Имеются задачи, в которых можно указать процедуру So с равномерно наименьшим риском среди всех несмещенных или инвариантных процедур; в то же время существует процедура 61,не обладающая этими свойствами беспристрастности, но лучшая 60 (см. задачи 14 и 16). Как было показано раньше, минимаксные процедуры также могут оказаться нежелательными, а успех в применении байесовских или ограниченных байесовских решений связан с наличием априорной информации, которая, если и доступна, то, как правило, не бывает очень надежной. Действительно, кажется вероятным, что при отсутствии надежной априорной информации ни один из принципов, приводящих к единственному ответу, не может быть вполне удовлетворительным.
Это выдвигает возможность, хотя бы в качестве первого шага, не настаивать на единственном решении, но исследовать, сколь сильно может быть редуцирована проблема без потери, относящейся к делу информации. Мы уже видели, что решающая процедура 6 может быть отклонена по той причине, что существует процедура 6', доминирующая ее в том смысле, что
R (0, 6')^/?(0, 6) для всех 6,
R$, б')</?(0, 6) для некоторого 0. ^^
В подобном случае 6 будет называться недопустимой. С другой стороны, 6 будет называться допустимой, если не существует доминирующей ее 6'. Класс ^ решающих процедур называют полным, если для любого 6, не принадлежащего ^, существует доминирующее его 6' в <6. Полный класс называют минимальным, если никакой его подкласс не является полным. Если минимальный полный класс существует (что типично), то он совпадает с множеством всех допустимых процедур.
Удобно ввести также следующий вариант понятия полного класса. Класс ^ называют существенно полным, если для каждой процедуры 6 найдется процедура 6' из ^, для которой при всех 0 /?(0, 6') ^/?(0, 6). Очевидно, что каждый полный класс является существенно полным. Действительно, оба определения расходятся только в обращении с эквивалентными решающими правилами, т. е. с решающими правилами, имеющими идентичные функции риска. Если 6 принадлежит минимальному полному классу %, то любое эквивалентное решающее правило также входит в ^. С другой стороны, минимальный существенно
полный класс должен содержать не более одного представителя от каждого множества эквивалентных между собою процедур.
Минимальный, существенно полный класс соответствует максимальной в некотором смысле редукции проблемы решения. С другой стороны, нет никаких причин рассматривать какую- либо из отклоненных (т. е. не входящих в этот класс) процедур. Для каждой из них найдется такая же или лучшая процедура в ^. В то же время этот класс невозможно уменьшить, так как, если даны две процедуры из ^, то иногда одна из них будет лучше, чем другая, и без дополнительной информации нельзя сказать, которая из них предпочтительнее.
Первоначальной заботой статистики было точное определение процедур (или классов процедур) в различных специальных задачах. Наиболее интенсивно изучались проблемы оценки и проблемы выбора между двумя решениями (проверка гипотез), теория которых составляет предмет настоящей книги. Однако некоторые заключения возможны без такой специализации. В частности, при весьма общих условиях были доказаны два результата, касающиеся структуры полных классов и минимаксных процедур *):
Совокупность всех байесовских решений и их пределов образует полный класс.
Минимаксные процедуры являются байесовскими решениями по отношению к наименее благоприятному априорному распределению, т. е. такому, которое максимизирует байесовский риск. Минимаксный риск равен этому байесовскому риску. Более общим образом, если не существует наименее благоприятного априорного распределения, а имеется лишь последовательность, для которой байесовские риски стремятся к максимуму, то минимаксные процедуры являются пределами соответствующей последовательности байесовских решений.
Достаточные статистики
Мы видели в предыдущем разделе, что минимальный полный класс соответствует максимальной возможной редукции проблемы решения, осуществляемой без потери информации. Часто возможно произвести сокращение (редукцию) данных, применимое одновременно ко всем проблемам, касающимся заданного класса ^ = {Ре, 0eQ} распределений случайной величины X. Эта редукция состоит в отбрасывании той части данных, кото-
формулировки и доказательства даны в книге: Wald, Statistical Decision Functions, New York, Wiley, 1950. (Русский перевод: В а л ь д A., Статистичские решающие функции, Сб. Позиционные игры, М., 1967, 300—
рая не содержит информации относительно неизвестного распределения Р^ и, следовательно, бесполезна для любой проблемы решения, касающейся 0.
Пример 13. Производятся независимые испытания с постоянной неизвестной вероятностью р успеха Пусть Xi равно 1, если t-e испытание закончилось успехом, и равно 0 в противном случае. Выборка (Хь ..., Х^ показывает число успехов и номера испытаний, в которых они произошли. Последняя информация ничего не проясняет в вопросе о значении р. Коль скоро общее число успехов / = Mt дано, то каждое из ( ^ ) возможных расположений этих успехов имеет одну и ту же вероятность безотносительно к тому, каково р. Отсюда следует, что, зная SXz, но не зная ни отдельных Х^ ни р, возможно с помощью таблицы случайных чисел построить множество случайных величин Хр ..., Хп> совместное распределение которых такое же, как и у Хь ..., Хп. Следовательно, информация, содержащаяся в Х^ такая же, как в 2Хг и таблице случайных чисел.
Пример 14. Пусть Хх, ..., Хп независимы и распределены нормально с математическим ожиданием 0 и дисперсией о2. Тогда условное распределение выборочной точки на каждой из сфер S X? = const равномерно, каково бы ни было о2. Зная SX?, можно построить эквивалентную выборку х'п, если располагать механизмом, который наудачу наносит точки на сферу.
Вообще, статистика Т называется достаточной для семейства ^ = ^Р^ 0 г Q} (или достаточной для 0, если из контекста ясно, о каком Q идет речь), когда условное распределение X при условии Т = / не зависит от 0. При слабых ограничениях*) отсюда следует, так же как и в указанных двух примерах, что нет необходимости использовать сами первоначальные результаты наблюдений X. Если мы наблюдаем лишь Т (вместо Х),то класс доступных решающих процедур не становится уже. Пусть для каждого значения / статистики Т Xt обозначает случайную величину, распределение которой совпадает с условным распределением X при Т = t. Такая величина может быть, по крайней мере теоретически, построена с помощью надлежащего случайного механизма. Если сначала наблюдение дает значение t для Т, а затем значение х' для Xt, то случайная величина Х\ получаемая в результате такой двукратной процедуры, имеет то же распределение, что и X. Таким образом, для любой заданной процедуры, основанной на X, возможно построить эквивалентную ей, основанную на X'. Эта последняя может рассматриваться как рандомизированная процедура, использующая только Т. Следовательно, если разрешена рандомизация (а мы всюду будем предполагать, что это так и есть), то ограничение достаточными статистиками не приводит к потере общности.
Необходимость вычислять условное распределение X при данном t с тем, чтобы установить — является ли статистика Т достаточной или нет, оказывается неудобной. Простой способ проверки дает следующий критерий факторизации.
Рассмотрим сначала случай дискретного X, и пусть Рв(х) = = РЦХ = xV Тогда необходимое и достаточное условие для того, чтобы статистика Т была достаточной для 0, состоит в существовании факторизации
P^x^g.VT^Ah^(16)
где первый множитель может зависеть от 0, а от х зависит только через Т^, в то время как второй множитель не зависит от 0.
Предположим, что (16) выполняется, и пусть Т^х) = L Тогда РДТ = t^ = 2Р6(х'), где сумма берется по хг с Т^х^ = t, и условная вероятность
РДХ = х\Т-^ = Р,^[Р. {T — t} = h(x)/SA^
не зависит от 0. Обратно, если это условное распределение не зависит от 0 и равно, скажем, ^(х,/), то Pq(x) = Р^Т = /} X X ^(х, /), так что (16) выполняется.
Пример 15. Пусть Хь ..., Хп независимы и одинаково распределены по закону Пуассона (2). Тогда
Sx, — пт
Рт(^ь •••> ^п)—",
откуда следует, что SX, является достаточной статистикой для т.
Рассмотрим случай, когда распределение X непрерывно и имеет плотность р£ (х). Пусть X и Т—векторы, скажем Х = = (Хи ..., Хп) и Т = (1\Тг). Допустим, что на пространстве выборок существует функция У = (У], ..., У„_г) такая, что преобразование
Un ..., x^^xY ...» ТДх\ УДх^ ..., Yn_r^ (17) взаимно однозначно в соответствующей области и что совместная плотность Т и У существует и связана с плотностью X обычной формулой*)
pUx) = Pt6-4TU), У (х)) • | J |,(18)
где J — якобиан (ЛТг, Уь ..., Уп-Л по отношению к (Xi, ..., хп). Так, в примере 14 Г = V^z и Уь ..., Уп-1 могут быть определены как полярные координаты выборочной точки. По совместной плотности p^-YV, у) Т и У мы находим условную плотность У при данном Т = 1;
W=W=Ре’Y (t, У)Ре’Y (t, У)5 Ре’У (<• У^ dy'5 Ре’У (<• У^ dy'(19)(19)
W=
W=
Ре’Y (t, У)
Ре’Y (t, У)
5 Ре’У (<• У^ dy'
5 Ре’У (<• У^ dy'
(19)
(19)
предполагая, что знаменатель отличен от нуля.
Так как в условном распределении при данном / меняются только величины У, то Т достаточна для 6, если условное распределение У при данном / не зависит от 9. Предположим, что Т удовлетворяет (19). Тогда, аналогично дискретному случаю, статистика Т будет достаточной тогда и только тогда, когда плотность допускает факторизацию вида
РеХМ = 5в[Г(х)]А(х)(20)
(см. задачу 19). Ниже приводятся два примера, иллюстрирующие применение критерия в этом случае. В обоих примерах существование функции У, удовлетворяющей (17) — (19), предполагается, но не доказывается. Как мы увидим позже (раздел 6 главы 2), это предположение не является необходимым для справедливости критерия факторизации.
Пример 16. Пусть XiХп независимы и имеют нормальную плотность распределения
РХ. о М ” ^TnR exp (- ^ Sx? + A 2Xi _ ^_ у).
Критерий факторизации показывает, что статистика (^Xv М?) достаточна для (£, о).
Пример 17. Пусть Хх, ..., Хп независимы и имеют равномерное распределение /?(0,6) на отрезке (0,6). Тогда р^ (х) = ^"п u(max хи 6), где Цсц &)= 1 при а ^. b и и (а, 6) = 0 при а>Ь. Следовательно, статистика max Xi достаточна для 6.
Другой критерий достаточности устанавливает прямую связь между этим понятием и некоторыми из основных понятий теории статистических решений. Как в байесовском подходе предположим, что неизвестный параметр 9 является случайной величиной в с априорным распределением. Для простоты примем, что оно имеет плотность р(9). Тогда, если Т достаточна, то условное распределение 0 при данном X = х зависит только от Т(х). Обратно, если р(9) #= 0 для всех 9 и если условное распределение 0 при данном х зависит только от Т(х), то Т достаточна для 9.
Действительно, при сделанных предположениях совместная плотность Хи 0 равна ре(х)р(0). Если Т достаточна, то из (20) вытекает, что условная плотность 0 при данном х зависит только от Т^ху Обратно, предположим, что для некоторого априорного распределения ср(0) =/= 0 при всех 0 условное распределение 0 при данном х зависит только от 7(х). Тогда
Ре W Р (е)Ре W Р (е)Ре' (*) Р (е') d^Ре' (*) Р (е') d^= Ш4= Ш4
Ре W Р (е)
Ре W Р (е)
Ре' (*) Р (е') d^
Ре' (*) Р (е') d^
= Ш4
= Ш4
откуда для реСт) получаем выражение, показывающее достаточность Т.
Каждое байесовское решение зависит только от условного распределения 0 при данном х (см. задачу 8) и, следовательно, от Т^ху Так как обычно байесовские решения и их пределы образуют существенно полный класс, то это же верно и в применении к решающим процедурам, основанным на Т. К этому заключению мы пришли также (и более непосредственно) в начале настоящего раздела.
Ограничиваясь достаточными статистиками, мы сокращаем данные. Желательно это сокращение сделать максимальным. Чтобы проиллюстрировать различные возможности, рассмотрим еще раз пример 13. Каково бы ни было целое /п, меньшее и, па- mп
ра (Ть Т2), где Т]= 2 ^z и Т2 = У, Хь образует достаточную
Z = 1i=m+l
статистику, так как условное распределение Х\, ..., Хп при условии Т1 = /ь Л = t2 не зависит от р. По той же причине и полная выборка (Хь ..., X») также является достаточной статиста- п
кой. Однако Т = У Xt приводит к большему сокращению, чем любая из вышеприведенных статистик и чем вообще любая, которая может быть построена. Достаточная статистика называется минимальной, если данные не допускают дальнейшей редукции без потери свойства достаточности. Для биномиального распределения, например, минимальной достаточной статистикой п
будет 2 Xt (задача 17). Этим иллюстрируется тот факт, что до- i = l
статочная статистика, найденная с помощью критерия факторизации, в конкретных примерах часто оказывается минимальной ),
Задачи
К разделу 2
Нижеследующие распределения получаются на основе предположений, сходных с использованными в формулах (1) — (3).
Независимые испытания с постоянной вероятностью успеха р проводятся до тех пор, пока не наступит заданное число т успехов. Если число необходимых испытаний равно X + т, то X имеет отрицательно-биномиальное распределение
р Ц = х} = (^ + ~ 1 ) pm (1 - р/, х = 0, 1, 2, ...
Дана последовательность случайных событий такая, что число событий, наступающих в любом промежутке времени длины т, имеет пуассоновское распределение Р(Хт), и числа событий в неперекрывающихся промежутках времени независимы. Тогда «время ожидания» Т, т. е. время от начального момента, скажем t = 0, до наступления первого события, имеет экспоненциальную плотность вероятности
p(O = Ae-W, t>0.
(Пусть Т\ обозначает промежуток времени от начала отсчета до наступления 1-го события, a Ti (I ^ 2) обозначает промежуток времени между (t—1)-м и 1-м событиями. Тогда верно, хотя и труднее доказывается, следующее утверждение: 7Ь Т2, ... независимы и распределены одинаково *).)
Пусть точка X выбирается «наудачу» в интервале (a/b), т. е., иными словами, вероятность попадания X в какой-либо подынтервал (а, Ь) зависит только от его длины (а не от положения). Тогда X имеет равномерное или прямоугольное распределение R(a, b) с плотностью
р^=Ть^' а<х<ь-
(И). Если t > 0, то Т > t в том и только том случае, когда в промежутке (0, 0 не происходит ни одного события.)
К разделу 5
Несмещенность точечных оценок. Предположим, что пространство параметров Q связно; у — непрерывная действительная функция на Q, не обращающаяся в константу ни на каком открытом подмножестве Q, математическое ожидание h (6) = Е^б (X) непрерывно как функция от 9 при любой оценке 6(Х) величины у (9). Тогда условие (11) необходимо и достаточно для того, чтобы оценка д(Х) была несмещенной при функции потерь, равной квадрату ошибки.
[Несмещенность влечет неравенство у2(9') — у2(9) > 2А(0)[у(9') — у (9)] при всех 9 и 9'. Если 9 не является ни относительным минимумом, ни относительным максимумом у, то существуют точки 9', сколько угодно близкие к 9, для одних из которых у(9) + у(9') ^ 2Л(9), а для других у(9) +у(9') ^ ^ 2А(9). Следовательно, у(9) = h(9). Из сделанных вначале предположений вытекает, что равенство выполняется и для точек экстремума у)
Медианная несмещенность. (I). Число m называется медианой случайной величины У, если Р {У > т} > ~- и Р {У < пг\ ^ ~. Для любых действительных 01, а^ для которых tn ^ at ^ а^ или m ^ а^ > az, имеем E\Y — ai| ^£|У —a2|.
(II) Пусть д(Х)—оценка у(6), и пусть /п~(0) и т+(0) означают точную нижнюю и точную верхнюю грани медиан д(Х). Предположим, что nv и /п+ — непрерывные функции 0.
Пусть Q связно, а у(0) непрерывна и отлична от константы на каждом открытом подмножестве й. Тогда оценка д(Х) является несмещенной по отношению к функции потерь L(0,d) = |у(6)—d\ тогда и только тогда, когда при каждом 0 у(0) есть медиана б(Х). Оценки с этим свойством называют медианно-несмещенными.
Отсутствие несмещенных процедур. Рассмотрим проблему решения, в которой для каждого 0 существует единственное правильное решение d. Предположим, что
L (0, d^ = h (0) V (d, d') для 0 e c^,
где tod — множество 0, для которых правильно решение d. Тогда, если h принимает по меньшей мере два различных значения на каждом tod, то функция риска для любой несмещенной процедуры тождественно равна нулю, т. е., как правило, несмещенные процедуры не существуют. Пусть, например, Xi, ..., Хп независимы и одинаково распределены с плотностью (1/я)/л(х — i)/a и 0 = (g,а). Тогда для £ не существует оценки, несмещенной по отношению к функции потерь (g —d)2/a2.
Пусть ^ — класс процедур, замкнутый относительно преобразований группы G (в том смысле, что из бе^ вытекает g*dg-1 е ^ для всех g е G). Если существует единственная процедура до, которая минимизирует риск равномерно в классе ^, то д0 инвариантна. Если д0 единственна с точностью до множеств меры нуль, то она почти инвариантна, т. е. для каждого g удовлетворяет соотношению ^^gx^ = g*6(x) при всех х, кроме, быть может, множества Ng нулевой меры.
Соотношение несмещенности и инвариантности. (I) Если до есть единственная (с точностью до множеств нулевой меры) несмещенная процедура с равномерно наименьшим риском, то она почти инвариантна.
Если G транзитивна, а G* коммутативна, и если среди всех инвариантных (почти инвариантных) процедур существует процедура до, равномерно минимизирующая риск, то она является несмещенной.
[(I) следует из предыдущей задачи и того факта, что несмещенность д влечет за собою несмещенность g*6g-1. (II) По самому определению транзитивности для любых 0, 0' существует такое g, что 0' = g^. Следовательно, для любых 0, 0'
ЕвЕ (6', do (X)) = E6L (g0, д0 (X)) = E6L (0, g‘-‘d0 (X)).
В силу коммутативности G процедура ^“’до инвариантна, так что
R (0, g^’d») > R (0, д0) = E6L (0, д0 (X)).]
Противоречащий пример. Заключение (II) задачи 6 не обязано выполняться, если нарушены предположения относительно G* и G. Рассмотрим, например, задачу об оценке среднего g в нормальном распределении N(^, a2) при функции потерь (g — d^lo2. Эта задача инвариантна относительно групп Gx: gx — х + b, —оо < b < оо, и G2: gx = ах + b, 0 < а < оо, —оо < < b < оо. Наилучшей инвариантной оценкой в обоих случаях служит X. Однако не существует оценки, не смещенной по отношению к указанной функции потерь.
К разделу 6
Структура байесовских решений. (I) Пусть 0— случайная величина с плотностью р(9), не наблюдаемая непосредственно. Пусть плотность X при 0 = 0 равна ре(х). Тогда, если решение б(х) при каждом х выбирается так, чтобы минимизировать
L (0, б (х)) л (0 | х) d^ где л (0 | х) = р (0) р0 (х)/ ^ р (0') р^, (х) d^f
— условная (апостериорная) плотность 0 при данном х, то б — байесовское решение.
Рассмотрим проблему с двумя решениями и с функцией потерь такой же, как в примере 11. Тогда байесовское решение состоит в выборе do, если
аР {0 е со! | х} < ЬР {0 е соо | х},
и выборе db если верно обратное неравенство. В случае равенства можно выбрать любое решение.
В задаче точечной оценки действительной функции ^(0) при функции потерь L(0, d) = (g(0) — dp байесовским решением служит б(х) == = E[g(0)|xJ. Если изменить функцию потерь, полагая L$,d) = |g(0)—d|, то байесовским решением будет любая из медиан условного распределения ^(0) при данном х.
[(I) Байесовский риск может быть записан в форме
L (0, б (х)) л (0 | х) d0j р (х) dx, где
Р U) = ^ Р (О') Pty to d^-
Условное математическое ожидание ^ L (0, d0) л (0 | х) d0 приводится к аР^б е (О) |х) (и аналогично для di).]
(I) Рассмотрим пример, в котором рандомизация уменьшает максимум риска: известно, что монета или стандартна (ГР), или имеет герб на обеих сторонах (ГГ). Одну из этих возможностей необходимо выбрать после одного бросания. Потеря равна 1 при неправильном решении и 0 при правильном. Пусть при появлении решетки принимается решение ГР, в противном случае решение принимается «наудачу»; ГР с вероятностью р, ГГ с вероятностью 1 — р.
Тогда максимум риска минимален при р = 7з'.
Несмещенность и минимакс. Пусть й = й0 U Йь где Йо и Й1 не пересекаются. Рассмотрим задачу с двумя решениями и функцией потерь L(0, di) = ai при 0ей/ (/¥= 0 и L(0, di) = 0 при 0 е Й/ (f = 0,1).
Каждая минимаксная процедура является несмещенной.
В предположении, что Р@ (Л) непрерывна по 0 при каждом Л, и множества Йо и Й1 имеют хотя бы одну общую граничную точку, верно утверждению, обратное к (I).
[(I) Условие несмещенности в рассматриваемом случае равносильно неравенству sup 2?б (0) ^ а0«i/(«o + «О- Это неравенство выполняется для любой минимаксной процедуры, что видно из сравнения с процедурой б(х) = d0 или б(х) = di с вероятностями Я1/(ло + °1)и аоЦао + аО соответственно.
Если 0О — общая для й0 и Й1 граничная точка, то в силу непрерыв- сти функции риска для любой несмещенной процедуры R^^o) =aoail(ao-V-ai). Следовательно, sup R^ (0) = ao«i/(«o + ^i).]
11. Инвариантность и минимакс. Пусть проблема инвариантна относительно групп G, G и G* преобразований пространств 3$, й и D соответственно.
Рандомизированная процедура Ух называется инвариантной, если при всех х и g условное распределение Y, при данном х совпадает с распределением Г"ХУ8х.
Рассмотрим решающую процедуру, инвариантную относительно конечной группы G = (gi, ..., gNY Если минимаксные процедуры существуют, то среди них найдется инвариантная.
Как показывает нижеследующий пример, для бесконечных групп это утверждение может не выполняться. Пусть пространство параметров Q состоит из всех элементов 9 свободной группы с двумя образующими, т. е. формальных произведений Л1 ... ля (п = О, 1, 2, ...), где каждое Л/ совпадает с одним из элементов а, а-1, Ь, Ь-1 и где члены вида асг1, сгха, bb-x и Ь-1Ь выбрасываются. Пустое произведение (п = 0) обозначается е. Выборочная точка X получается умножением 9 справа на один из четырех элементов а, а-1, Ь, Ь-1, выбираемых с вероятностью 74 каждый (и с сокращениями, если они возможны: например, когда случайный множитель равен л”1). Проблема оценки 9 при функции потерь £(9, d) = 0, при d = 9 и L(9, d) = 1 в других случаях, инвариантна относительно умножения X, 9 и d слева на произвольную последовательность л_т ... Л-2Л-1 (т = 9, 1, ...). Инвариантная процедура, которая минимизирует максимум риска, имеет функцию риска R(9, 6) = %. Существует, однако, не инвариантная процедура с максимальным риском 74.
[(I) Если Yx — минимаксная процедура (может быть рандомизированная), то инвариантная минимаксная процедура Yx определяется соотношением
N
Наилучшая процедура состоит в том, что за оценку 9 принимается или Л1 ... л*-ь если наблюдение дало Л1 ... л* (^ > 1), или с вероятностью 74 один из четырех элементов а, а"1, bt b~\ если наблюдение дало е. Оценка будет правильной, за исключением случая, когда последний элемент X сократился, т. е. будет правильной с вероятностью ^ 3/4-1
К разделу 7
(I). Пусть X имеет плотность вероятности р^х\ где 9 принимает одно из значений 9ь ..., 9Я, так что задача состоит в выборе одного из п решений: d| = 9Ь ..., dn = 9/i с выигрышем а(9/), если d/ = 9/ и 0 в других случаях. Если 9 — случайная величина, принимающая каждое из п значений с вероятностью 1/п, то байесовское решение (которое максимизирует средний выигрыш) совпадает с оценкой максимального правдоподобия.
Пусть X имеет плотность р^ (х) (0 ^ 9 ^ 1). Тогда оценка максимального правдоподобия совпадает с модой (точкой максимума) апостериорной плотности 0 при данном х, где априорное распределение 0 равномерно в интервале (9,1).
(I) Пусть Хь .... Хп — выборка из N^o^Y Рассмотрим проблему выбора между решениями (до: £ < 0 и ©i: £ > 9. Обозначим х = ^ х^п и С = ^ах[а^п. Процедура максимального правдоподобия приводит к выбору d0 или di в соответствии с тем, меньше или больше к будет выражение
л/пх
где к = — V^ — \ при С > 1 и к = аД\^С^]С при С < 1.
(II) В задаче выбора между соо: и < о0 и оч: а ^ а0 процедура максимального правдоподобия приводит к решению do или dx в зависимости от того, меньше или больше к будет
где & —наименьший корень уравнения Сх = е*-1 при С>1 и наибольший корень уравнения х = Сех-Х при С < 1 (С определяется как в (I)).
К разделу 8
Допустимость несмещенных процедур. (I) Если в предположениях задачи 10 среди несмещенных процедур имеется процедура с равномерно наименьшим риском, то она допустима.
Нижеследующий пример показывает, что .в общем случае процедура с равномерно наименьшим риском не обязана быть допустимой. Пусть X имеет усеченное в нуле пуассоновское распределение, т. е. Pg {X = х} = = 0хе~е/[х! (1 — е“е)] при х=1, 2, ... При функции потерь L (6, d) = = (d — О)2 для у (0) = е-^ существует единственная несмещенная оценка, но она не является допустимой.
[(II) Единственная несмещенная оценка 6oU) = (—l)x+1 доминируется оценкой 61 (х) = 0 при х четном и бДх) = 1 при х нечетном.]
Допустимость инвариантных процедур. Если проблема решения инвариантна относительно конечной группы и если среди инвариантных процедур имеется процедура до, равномерно минимизирующая риск, то 60 допустима._
[Это вытекает из тождества Р(0, d) = R(g$, g*dg~x) и замечания к задаче 11 (I).]
(I) Пусть X принимает значения 0 — 1 и 0 + 1 с вероятностью хк каждое. Проблема оценки 0 при функции потерь L(0, d) = min(|0 — d|, 1) остается инвариантной при преобразованиях gX = X + с, ^0 = 0 + с, g*d = = d + с. Оценки, принимающие значения X — 1 и X + 1 с вероятностями р и q (не зависящими от X), равномерно минимизируют риск в классе всех инвариантных оценок.
Утверждение задачи 15 не обязано выполняться для бесконечно^ G. Это можно установить сравнением наилучших инвариантных оценок п. (I) с оценкой di (х) = X + 1 при X < 0 и 6i (х) = X — 1 при X ^ 0.
К разделу 9
Рассмотрим последовательность п независимых испытаний с постоянной вероятностью р успеха и положим Xi равным 1 или 0 в зависимости от
п
того, окончилось ли i-e испытание успехом или нет. Тогда ^ Xi является ми- z=i
нимальной достаточной статистикой.
[Пусть Т=^Х{. Предположим, что U = f{Т) достаточна и что f№) = ... = f(£r) = и. Тогда Р^Т — t \ U = и} зависит от р.]
^ Пусть Xb ..., Хп — выборка из равномерного распределения “(0,0), 0 < 0 < оо, и Т = max(XiХпу Доказать, что Т достаточна, двумя способами: один раз, используя непосредственно определение достаточности, а другой — применяя критерий факторизации и допуская существование ститистик У/, удовлетворяющих условиям (17) —(19).
(П) Пусть Хь Хп — выборка из экспоненциального распределения с плотностью ae-Qix-b:> при значениях х ^ b (0 < а < оо, ОО < Ь < оо). рименить критерий факторизации для доказательства того, что статистика
I min (Хь •Х^, У, Xt )достаточна для а, Ь, допуская существование ста- \z = i /
тистики Yi, удовлетворяющих (17) —(19).
Статистика Т, удовлетворяющая условиям (17) — (19), достаточна тогда и только тогда, когда для нее выполняется (20).
Литературные ссылки
Некоторые из основных понятий статистической теории были введены в первой четверти XIX в. Лапласом в его фундаментальном труде «Theorie Analytique des Probabilites» (1812) и Гауссом в его работах по методу наименьших квадратов. Функции риска и потерь упоминались ими при обсуждении проблемы точечной оценки, для которой Гауссом было введено понятие несмещенности. Детальное изложение этой работы и последовавших за ней работ XIX в. дано в книге Чубера (1891).
В конце столетия работы К. Пирсона открыли период интенсивного развития статистических методов. Две области: оценка параметров и проверка гипотез, были особенно тщательно исследованы Р. А. Фишером, Ю. Нейманом и другими. Работа Фишера отражена в его книгах (1925, 1935) и в собрании его избранных статей (1950). Многие из принципиальных идей Неймана собраны в опубликованном цикле лекций (1938). Общее введение в современные приемы оценки параметров и проверки гипотез дается в книгах Уилкса (1944), Крамера (1946), Кендалла (1946), В а н - дер - В а рд ен а (1957) и в более теоретической работе Шметтерера (1956).
Формальное объединение теорий оценки параметров и проверки гипотез, охватывающее также и ряд других проблем, было дано В альдом. Ему принадлежит единая исчерпывающая фор- •мулировка задач общей теории решающих процедур. Полное изложение этой теории, близкой по своим идеям к созданной Дж. фон Нейманом теории игр, имеется в книге Вальда (1950). Часть статей Вальда, посвященных как отдельным аспектам общей теории решений, так и другим разделам статистики, помещена в отдельном томе (1958). Общая теория служит предметом двух недавних книг: Блекуэлла и Гирши к а (1954) и Сэвиджа (1954) ).
Блэкуэлл и Гирш ик (Blackwell D. and Girschick M.)
Theory of Games and Statistical Decisions, New York, John Wiley & Sons. (Русский перевод: Блэкуэлл Д. и Г и р ш и к М. А., Теория игр и статистических решений, ИЛ, 1958.)
Браун (Brown George)
On small sample estimation, Ann. Math. Stat., vol. 18, pp. 582—585. [Определение медианной несмещенности.)
Вальд (Wald Abraham)
Contributions to the theory of statistical estimation and test.ng hypotheses, Ann. Math. Stat., vol. 10, 299—326v [Общая формулировка статистических проблем, содержащая задачи оценки параметров и задачу проверки гипотез в качестве специальных случаев. Обсуждение байесовских и минимаксных процедур.)
An essentially complete class of admissible decision functions, Ann. Math. Stat, vol. 18, 549—555. [Определение и характеристика полных классов решающих процедур для общих проблем решения. Идеи этой и предшествующей работ были развиты позднее в ряде работ, завершившихся книгой Вальда, упомянутой выше.)
Statistical Decision Functions, New York, John Wiley & Sons. (Русский перевод: Вальд А., Статистические решающие функции. — Сб. Позиционные игры, М., Наука, 1967, стр. 300—522.)
Selected Papers in Statistics and Probability by Abraham Wald, Stanford University Press.
Ван-дер-Варден (van der WaerdenB. L.)
Mathematische Statistik, Berlin, Springer-Verlag. (Русский перевод: Б. <71. Ван-дер-Варден, Математическая статистика, ИЛ. 1960.) Вольфовиц (Wolfowitz I.)
On e-complete classes of decision functions, Ann. Math. Stat., vol. 22, 461—465.
The method of maximum likelihood and the Wald theory of decision functions, Indag. Math., vol. 15, 114—119.
Кендалл (Kendall M. G.)
The Advanced Theory of Statistics, vol. 2, London. (Русский перевод 3-го издания, написанного совместно с А. Стьюартом: М. Дж. Кендалл, А. Стьюарт, Статистические выводы и связи, М., Наука, 1973.) КолмогоровА. Н.
Определение центра рассеивания и меры точности по ограниченному числу наблюдений, ИАН СССР, серия матем., 6, 3—32. [Определение достаточности в терминах распределений для параметров.]
Крамер (Cramer Н.)
Mathematical Methods of Statistics, Princeton University Press. (Русский перевод: Г a p а л ь д Крамер, Математические методы статистики, ИЛ, 1948; 2-е изд., М., Мир, 1975).
Лаплас (L а р 1 а с е Р. S.)
(1812) Theorie Analytique des Probabilites, Paris.
Леман (Lehmann E. L.)
On families of admissible tests, Ann. Math. Stat., vol. 18, 97—104. [Вводится понятие полных классов в связи со специальными статистическими проблемами.)
v 1 21^^2^°me ^r’nciP^es 0^ ^е ^еогУ 0^ hypothesis testing, Ann. Math. Stat, 0951) A general concept of unbiasedness, Ann. Math. Stat., vol. 22, 587—
597. [Определение (8); Задачи 2—7 и 14.)
Ле Кам (L е Cam)
On some asymptotic properties of maximum likelihood estimates and related Bayes estimates, Univ. Calif. Pubis. Statistics, vol. 1, 277—329, Univ.
Calif. Press, Berkeley and Los Angeles. [Строгое и весьма общее изложение теории оценок наибольшего правдоподобия для случая выборок большого объема с обзором предшествующей литературы по этому вопросу.]
Нейман (N е у m a n J.)
Sur un teorema concernente le cosidette statistiche sufficienti, Giorn. 1st. Itai. Att, vol. 6, 320—334. [Получена теорема о факторизации в виде (20).]
L’estimation statistique traitee comme un probleme classique de probabilite, Actualites sci. et ind., № 739, 25—57. [Выдвигается точка зрения, что статистика в первую очередь интересуется тем, каково должно быть поведение в условиях неопределенности, а не определением неизвестных значений параметров, т. е. индуктивным поведением, а не индуктивными выводами.]
Lectures and Conferences on Mathematical Statistics and Probability, Washington, Graduate School. U. S. Dept. Argiculture, 1st. ed., 1938, 2nd ed., 1952.
Two breakthoughs in the theory of statistical decision making, Int. Stat. Rev., 30, № 1, 11—27.
Вводный курс теории вероятностей и математической статистики, пер. с англ., М., Наука.
Нейман и Пирсон (Neyman J. and Pearson Е. S.)
On the use and interpretation of certain test criteria for purposes of statistical inference, Biometrika, vol. 20A, 175—240, 263—294. [Предложено использовать отношение правдоподобия для получения рациональных критериев, даны применения ко многим конкретным проблемам.]
On the testing of statistical hypotheses in relation to probability a priori, Proc. Cambridge Phil. Soc., vol. 29, 492—510. [В связи с задачей проверки гипотез предлагается «взвешивание» различных возможных ошибочных решений и использование принципа минимакса.]
Пейсаков (PeisakoffM)
Transformation of parameters, Princeton. Неопубликованная диссертация. [Теория инвариантности Ханта — Стейна распространена на более общие классы проблем решения; задача 11 (II). Далее теория была обобщена в работах: J. Kiefer, Invariance, minimax sequential estimation, and continuous time processes, Ann. Math. Stat., vol 28 (1957), 573—601, и H. К u - d o, On minimax invariant estimates of the transformations parameter, Nat. Sci. Rept. Ochanomizu Univ., Tokyo, vol. 6 (1955), 31—73.]
П и т м e н (P i t m a n E. I. G.)
Location and scale parameters, Biometrika, vol. 30, 391—421.
Tests of hypotheses concerning location and scale parameters, Biometrika, vol. 31, 200—215.
[В этих работах ограничение инвариантными процедурами вводится в задачах оценки (или проверки гипотез) параметров сдвига и масштабных параметров.]
Сэвидж (Savage L. I.)
The Foundations of Statistics, New York, John Wiley & Sons.
У и л к c (W i 1 k s S. S.)
Mathematical Statistics, Princeton University Press. (Русский перевод последнего издания: С. Уилкс, Математическая статистика, М., Наука, 1967.)
Фишер (F i s h е г R. А.)
A mathematical examination of the methods of determining the accuracy of an observation by the mean error and by the mean square error, Monthly Notices Roy. Astron. Soc., vol. 80, 758—770.
On the mathematical foundation of theoretical statistics, Phil. Trans. Roy. Soc., London, Ser. A, vol. 222, 309—368.
On the mathematical foundat ons of theoretical statistics, Phil. Trans. Roy. Soc. London, Ser. A, vol 222, 309—368. [Развита теория точечных оценок на основе метода максимального правдоподобия.]
Theory of statistical estimation, Proc. Cambridge Phil. Soc., vol. 22, 700—725.
[В этих статьях развита идея достаточности главным образом в связи с теорией точечных оценок. Теорема факторизации дана формально в более слабой форме, но по существу эквивалентна (20).]
Statistical Methods for Research Workers, Edinburgh, Oliver and Boyd, 1 st ed., 1925; 11 th ed., 1950. (Русский перевод: P. Фишер, Статистические методы для исследователей, М., Госстатиздат, 1958.)
The Design of Experiments, Edinburgh, Oliver and Boyd.
Contributions to Mathematical Statistics, New York, John Wiley & Sons.
Хант и Стейн (Hu n t G. and Stein C.)
Most stringent tests of statistical hypotheses. [В этой работе, оставшейся, к сожалению, неопубликованной, развита общая теория инвариантности для проверки гипотез.]
Ходжес и Леман (Н о d g е s J. L., Jr. and Lehmann E. L.)
The use of previous experience in reaching statistical decisions, Ann. Math. Stat., vol. 23, 396—407. [Теория ограниченных байесовских решений.] Хотеллинг (Но t е 11 i ng Н.)
Relations between two sets of variates, Biometrika, vol. 28, 321— 377. [Одна из ранних работ, отчетливо использующих соображения инвариантности.]
Ч у бер (С zuber Е.)
Theorie der Beobachtungsfehler, Leipzig, В. G. Teubner.
Шметтерер (SchmettererL.)
Einfiihrung in die mathematische Statistik, Wien, Springer-Verlag. (Русский перевод 2-го издания: Л. Шметтерер, Введение в математическую статистику, М., Наука, 1976.)
Эджворт (Edgeworth F. Y.)
(1908—1909) On the probable errors of frequency constants, I. Roy. Stat. Soc., vol. 71, 381—397, 499—512, 651—678; vol. 72, 81—90. [Следуя Лапласу и Гауссу, автор исследует оценки «методом обратных вероятностей», т. е. в предположении равномерного априорного распределения параметра. Поскольку оценки определяются так, что они максимизируют моду апостериорного распределения, то они являются оценками максимального правдоподобия.]
ГЛАВА 2
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
Вероятность и мера
Математическую основу теории статистических решений составляет теория вероятностей, которая, в свою очередь, опирается на теорию меры и интегрирования. Настоящий и следующий разделы имеют целью определить некоторые важные понятия этих теорий, установить обозначения и сформулировать без доказательства некоторые из основных результатов. В оставшейся части главы более детально разбирается ряд специальных вопросов.
Теория вероятностей имеет дело с ситуациями, допускающими различные исходы. В абстрактной модели совокупность возможных исходов описывается множеством точек некоторого пространства 96. Поскольку изучаемые события составляются из этих исходов, они представляются подмножествами 96. Объединение двух множеств Дь Д2 будет обозначаться Д1 U Д2, их пересечение— Д1ПД2, дополнение к А будет обозначаться А = = 96— А. Пустое множество обозначим 0. Вероятность Р^А) события А — действительное число, лежащее между нулем и единицей; в частности,
Р(0) = 0 и Р(^)=1. (1)
Вероятность обладает свойством счетной аддитивности
РфА^^Р^, если Л,Л^4/ = 0 при i^j. (2)
К сожалению, оказывается, что функции множеств, с которыми мы будем встречаться, не могут быть, как правило, разумным образом определены для всех подмножеств 86, если сохранить требование (2). Невозможно, например, дать разумное определение «площади» для всех подмножеств единичного квадрата на плоскости.
Множества, для которых вероятностная функция определена, будут называться «измеримыми». Область определения Р должна включать наряду с каждым множеством А его дополнение и
вместе с каждым счетным классом событий — их объединение. По (1) она содержит также 96. Класс подмножеств, содержащий 96 и замкнутый относительно операций перехода к дополнению и счетного объединения, называется о-полем. Такой класс автоматически замкнут относительно счетных пересечений.
Отправной точкой любых вероятностных исследований являются, стало быть, пространство 96 возможных исходов и о- поле st подмножеств 96, представляющее события, для которых будет определена вероятность. Такая пара (96, st) называется измеримым пространством, а элементы ^ — измеримыми множествами. Мерой называется определенная на st, неотрицательная, счетно аддитивная (не обязательно конечная) функция множеств ц, для которой ц(0) = 0. Если ее значение для 96 равно 1, то она называется вероятностной мерой. Более общим образом, если р(Я?)-<оо, то |л, по определению, конечна; если найдется последовательность множеств Л1,Д2, ... из st (их можно взять попарно непересекающимися), для которой U At = 9? иц (At) < оо, / = 1, 2, ..., то ц, по определению, о-конечна. В нижеследующих примерах указаны важные специальные случаи.
Пример 1. Пусть 88— n-мерное евклидово пространство и ^ — наименьшее о-поле, содержащее все «прямоугольники»
7?={(Хр ..., х^; al<xl^bp /=1, ..., я} ).
Элементы ^ называются борелевскими множествами в 86. На ^ можно определить единственную меру р, значение которой для любого прямоугольника R совпадает с его объемом
пи w=П (6< - ai>1 = 1
Мера р может быть пополнена присоединением к з^ всех подмножеств меры нуль. Область определения р расширяется, таким образом, до о-поля ^', элементы которого называются измеримыми по Лебегу множествами. Термин мера Лебега будет использован для р как в случае, когда она рассматривается на борелевских множествах, так и в случае, когда она рассматривается на множествах, измеримых по Лебегу.
В этом примере объем может быть заменен любой неотрицательной функцией множеств v, которая определена и счетно аддитивна на классе всех прямоугольников R. Как и прежде, существует единственная мера ц на (^, ^), которая совпадает с v для всех R. Эта мера также может быть пополнена; однако возникающее о-поле зависит от ц и не обязано совпадать с ополем введенным выше.
*) Если л (х) — утверждение, касающееся некоторых объектов х, то {х: л.(х)} обозначает множество всех тех х, для которых л(^) верно,
Пример 2. Предположим, что ЭВ счетно, и пусть ^ — класс всех подмножеств Ж Для любого А положим р(Л) равным числу его элементов, если оно конечно; в противном случае положим меру равной +оо. Эту меру иногда называют считающей мерой.
В приложениях вероятности на (^, з<А отражают обстановку случайного эксперимента или наблюдет.ш, возможные исходы которых описываются точками хе 98. Обозначим результаты этих наблюдений, которые могут быть, например, действительными числами или векторами, буквой X. Пусть вероятность того, что X попадает во множество А, равна Р$еА) = Р(А). В таком контексте вероятность Р(Д) будет иногда обозначаться РХ(Л), а вероятностная мера Р— знаком Рх. Мы будем говорить об X, как о случайной величине) в пространстве (^, ^) и о вероятностной мере Р или Рх — как о распределении вероятностей X. Математически, таким образом, случайная величина есть не что иное, как «носитель» своего распределения. Пусть л(х)—какое-либо утверждение относительно точек х, и А — множество тех точек, для которых л(х) истинно. Тогда вероятность Р*(Л) мы будем иногда записывать в виде Р{л(Х)}.
Пусть X — действительная случайная величина с распределением вероятностей Рх, определенном на борелевских множествах числовой прямой. Функция точки а, определяемая для любого а равенством F(a) = Р^Х ^ а}, называется функцией распределения X. Функция F неубывающая, непрерывная справа, и Р(—оо) = О, Р(Д-оо) = 1. Если F — любая функция с этими свойствами, то равенство Р{а < X ^ 6} = F(b) — Р(а) определяет меру на интервалах. Как и в примере 1, эта мера единственным образом продолжается до меры на борелевских множествах. Таким образом, между распределениями вероятностей и функциями распределения устанавливается взаимно однозначное соответствие. Это остается справедливым и для распределений в «-мерном евклидовом пространстве, где функция распределения определяется соотношением F(ai, ..., ап) = = P{Xi ^ ai, ..., Хп^ап}. По распределению X можно найти распределение любой функции от X. Пусть Т — функция от результатов наблюдений, принимающая значения в некотором пространстве 9". Эта функция порождает в 9" а-поле 98', состоящее из множеств В, полные прообразы которых
А = Т"1 (В) = {х : х е 96, Т(х) е В}
входят в ^. Значения, принимаемые Т^, опять возникают как исходы случайного эксперимента, так что Т = Т (X) является
случайной величиной в пространстве (^", ^'). Так как X е Т-1 (В) тогда и только тогда, когда Т(Х} е В, то распределение вероятностей Т в (^", ^') задается равенством .
Рт (B) = P(TsB} = P{Xe Т~' (В}} = Рх (Т-1 (В)). (3) *чв
Часто случается, что в ^" заранее задано о-поле ^ его подмножеств, такое, что вероятность события Т е ^ должна быть определена для тех и только тех В, которые е ^. Отсюда с необходимостью вытекает, что Т-1 (В) е st для всех ВеЯ. Отображение (функция, преобразование) Т пространства (X, st} в*) (J", ^) называется в этом случае измеримым. Другим следствием является удобное порой использование вероятностных утверждений только применительно ко множествам, входящим в ^, даже если существует В ф %, для которых Т-1(В} е st и вероятность которых, следовательно, могла бы быть определена.
В приложениях «сырьем» для исследования служит совокупность результатов наблюдений, это единственно доступные данные. Результаты наблюдений представляются случайной величиной X, так что все другие случайные величины, которые могут встретиться, являются функциями от X. Пространство (^, st-}, то, в котором задано X, называется выборочным пространством, а каждое измеримое отображение Т пространства (89, st} в (9~, 98} — статистикой. Распределение Т определяется для всех В е 98 с помощью (3). При таком подходе статистика Т описывается заданием как функции Т, так и о-поля 98. Мы условимся считать, однако, что каждый раз функция Т принимает значения в евклидовом пространстве, в качестве а-поля 98 измеримых множеств будет выбираться класс борелевских множеств (если только явно не сказано противное). При таком соглашении указывать 98, в том числе и в обозначениях, нет никакой необходимости.
Различие между статистикой и случайной величиной, как они введены выше, оказывается незначительным. Термин «статистика» используется лишь с тем, чтобы подчеркнуть, что эта величина является функцией «основных» результатов наблюдений. Все статистики в какой-либо данной задаче представляют собой функции на выборочном пространстве (89, st}. С другой стороны, каждая статистика есть случайная величина, так как она имеет распределение в (9", 98}, и она будет именоваться слу-
чайной величиной в обстоятельствах, когда ее происхождение несущественно. Какой термин употреблять — зависит, следовательно, от точки зрения и до известной степени произвольно ).
Интегрирование
В соответствии с соглашением предыдущего раздела, действительная функция f, определенная на (^, ^), измерима, если ЩВ) е ^ для любого борелевского множества В на прямой. Такая функция называется простой, если она принимает лишь конечное число значений. Пусть ц—мера в (^, ^) и / — простая функция, принимающая различные значения а\, ..., ат на множествах Ль ..., Ат, принадлежащих ^ (так как /— измерима). Если р(А)< оо при a,i ^ 0, то интеграл от / относительно р определяется равенством
р ^=X№w
Какова бы ни была неотрицательная измеримая функция f, существует неубывающая последовательность простых функций fn, сходящаяся к /. Тогда интеграл от / определяется формулой
\fdn = lim \fnd[i.(5)
Jn->OO J
Можно показать, что это определение не зависит от специального выбора последовательности fn. Для любой измеримой функции ее положительная и отрицательная части
f+ (х) = шах [/ (х), 0] и /“ (х) = max [—/ (х), 0](6)
также измеримы, и
Цх) = Г^-Г^.
Если интегралы от /+ и /~ оба конечны, то / называется интегрируемой, и ее интеграл полагается равным
f dp = ^ /+ dp — ^ /“ dp.
Если же один из двух интегралов конечен, а другой бесконечен, то интегралу от / приписывается соответствующее бесконечное значение.
Пример 3. Пусть 96 — замкнутый интервал [а, 6], ^ — класс борелев- ских или измеримых по Лебегу множеств и ц — мера Лебега. Тогда интеграл
от f по ц записывается как f (х) dx и называется интегралом Лебега от /.
а
Этот интеграл обобщает интеграл Римана в том смысле, что если последний существует, то и первый существует и имеет то же самое значение.
Пример 4. Пусть 96 — счетное множество, состоящее из точек хь х2,...; ^ — класс всех подмножеств 96 и р приписывает точке х/ меру Ъь Тогда / интегрируема, если ряд £ f (xz) bt сходится абсолютно, и интеграл j f dpi равен этой сумме.
Пусть Рх— распределение вероятностей случайной величины X и Т — действительная статистика. Если Т(х) интегрируема, то ее математическое ожидание определяется формулой
£(П=$Г(х)^(х).(7)
Как будет показано в лемме 2 раздела 3 (см. ниже), интегрирование можно также проводить в /-пространстве по отношению к распределению Т, даваемому (3), так что
Е (Г) = ^t dPT (f).(8)
Приведенному выше определению интеграла соответствует следующая основная теорема о сходимости.
Теорема 1. Пусть fn — последовательность измеримых функций и пусть fn(x) -*Цх) при всех х. Тогда
если выполнено одно из следующих условий;
(Теорема Лебега о монотонной сходимости) fn— неотрицательны и последовательность не убывает.
(Теорема Лебега об ограниченной сходимости) — существует интегрируемая функция g такая, что | fn (х) | ^ g (х) при всех п и х.
Для любого множества А е st обозначим 1д его индикатор;
^аМ=^ или 0, когда хе А или хе А»(9)
и положим
\fd^=vIAd^ (10)
А
Если ц — мера и / — неотрицательная измеримая функция на st), то
vM) = ^fdVL(11)
А
также является мерой на (^, ^). Тот факт, что (11) выполняется для всех Л е^, выражается записью
dv = fdy, или 1 = (12)
Пусть р и v — две данные о-конечные меры на (^, ^). Если существует функция Д удовлетворяющая (12), то она этим равенством определяется с точностью до множеств меры нуль, так как из равенства f dp. = g d^ при всех Д G ^ вытекает, что
А А
f = g p-почти всюду). Такая f называется производной Радона — Никодима меры v по мере р и, в частном случае, когда v есть вероятностная мера, плотностью вероятности v по отношению к р.
Вопрос существования функции Д удовлетворяющей (12), решается в терминах, даваемых следующим определением. Мера v называется абсолютно непрерывной по отношению к р, если
из р (Л) = 0 следует v (Д) = 0.
Теорема 2. (Радон — Никодиму Если р и v — о-конечные меры на (38, st), то измеримая функция f, удовлетворяющая (12), существует в том и только том случае, когда v абсолютно непрерывна по отношению к р.
Прямым (или декартовым) произведением АХ В двух множеств Д, В называется множество всех упорядоченных пар (х, у) с х е А, у е В. Пусть (38, st) и (^, ^) —- два измеримых пространства, и пусть stX^ обозначает наименьшее о-поле, содержащее все множества вида А X В, где А е st и В е ^. Если р и v — две о-конечные меры на (38, st) и (^, ^) соответственно то существует единственная мера X = р X v на (38 X ^, st X $), называемая произведением р и v, такая, что для любых А е st, Ве$
Х(АХВ) = \к(А)^(В). (13)
Пример 5. Пусть ^ и ^ — евклидовы пространства размерности m и п соответственно, ^ и ^ — a-поля борелевских множеств в этих пространствах. Тогда ^ X ^ является (т + п)-мерным евклидовым пространством, а Ж X $ — классом его борелевских множеств.
Пример 6. Пусть Z = (X, У) — случайная величина на (Я? X ^, st X X &) • Предположим, что случайные величины X и У имеют распределения Рх и PY на (^,^) и (^, ^). Тогда X и У называют независимыми, если распределение Pz величины Z является произведением Рх X Р¥-
В терминах этих понятий сведение двойного интеграла к повторному дается следующей теоремой.
Теорема 3. (Фубмяи.) Пусть р и v — о-конечные меры на (%, ^) и ^/, 98) соответственно, и пусть X = р X v. Если f {х, у) интегрируема относительно X, то
для почти всех (у) фиксированных у функция f(x,y) интегрируема относительно р;
функция ^ f (х, у) dp (х) интегрируема относительно v, и $ f (х, у) dX (х, у) = $ [^ f (х, у) du (х)] dv (у).(14)
3. Статистики и подполя
В соответствии с определением раздела 1, статистика есть измеримое отображение Т выборочного пространства (^, ^) в измеримое пространство (^“, 9В). Это отображение индуцирует в первоначальном выборочном пространстве подполе )
^0 = T~l(^) = {7’~1(B): Ве^У(15)
Так как Т~*[Г(Л)] содержит А, но не обязано с ним совпадать, то подполе ^о не обязано совпадать с ^ и, следовательно, может оказаться собственным подполем ^. С другой стороны, предположим на время, что 9" = Т(^), т. е. что Т является отображением на 9" (а не в 9"). Тогда
Г[Т-'(В)] = В для всех В е 98,(16)
так что формула Ло = Г-1 (В) устанавливает взаимно однозначное соответствие между классами ^0 и ^. Это соответствие изоморфно, т. е. сохраняет теоретико-множественные операции пересечения, объединения и перехода к дополнению. Поэтому для большинства целей несущественно, оперировать ли с пространством (^, j^o), или с пространством ^9", 98). Эти пространства порождают два эквивалентных класса событий, два класса измеримых функций, возможных решающих процедур и т. п. Если Т является отображением в 9", то указанное взаимно однозначное соответствие применяется к классу 98' входящих в ^ подмножеств 9"' = Т^) (а не непосредственно к ^). Однако любое множество Ве$ эквивалентно В' = В П 9"' в том смысле, что любая мера на ^96, ^) принимает на В' и В одинаковые значения. Следовательно, рассматриваемые как классы событий ^о и 98 продолжают быть эквивалентными с той лишь
разницей, что ^ содержит несколько (эквивалентных) представлений одного и того же события.
Пусть, например, 98—действительная прямая, ^ — класс борелевских множеств и Г (х) = х2. Пусть 9" означает или положительную полупрямую, или всю прямую, а $ — класс борелевских подмножеств 9". Тогда ^0 является классом всех борелевских множеств, которые симметричны по отношению к началу координат. Рассматривая, скажем, действительные измеримые функции и оперируя в 9"-пространстве, мы ограничились бы измеримыми функциями от х2. Вместо этого мы могли бы остаться в первоначальном пространстве, и ограничение сводилось бы к обращению только с четными измеримыми функциями х. Эквивалентность подходов очевидна. Какое представление выбрать — это вопрос удобства.
Нижеследующая лемма показывает, что соответствие между множествами До = Г-1 (в) ^ ^ и В ^ S8 продолжается в аналогичное соответствие между измеримыми функциями на (^, ^о) и (^, ^).
Лемма 1. Пусть статистика Г, отображающая ^98, ^) в VT, ^), индуцирует подполе ^0- Тогда действительная ^-измеримая функция f является ^-измеримой тогда и только тогда, когда существует такая ^-измеримая функция g, что
f(x) = gVT(x)) при всех х.
Доказательство. Предположим сначала, что такая функция g существует. Тогда множество
Vx;f(x)<r) = T~x((t:g(t)<r))
лежит в ^о и f ^о-измерима. Обратно, если f .^-измерима, то множества
А1п=Цх: 4f<ito<L¥-Y / = 0, ±1, ±2, ...
при каждом фиксированном п попарно не пересекаются, принадлежат ^о и в сумме дают все 9В. Далее, существуют Bin е ^ такие, что Ain = Т~х(В1п). Пусть
Bin = Bin П U Bjn.
Так как при ё^/Л^иЛ/, не пересекаются, то множество Т~} (B\in П Bjn), а вместе с ним и множество Г-1 (В<„ П Вм) пусто. Следовательно, при фиксированном п множества Ви попарно не пересекаются и удовлетворяют соотношению А1п = Т-1 (Ви). Полагая
fп (х) ^п Для х ^^ Ain, ^ 0, it 1, it 2, .,.,
мы можем написать
где
/х ( 4г для teBu, i = o, ± 1, ±2, 5» (0 = 5 2
< 0 в других случаях.
Так как функции gn ^-измеримы, то множество В, на котором gn^ сходятся к конечному пределу, входит в ^. Пусть R = = 7(^) — область значений Т. Тогда для t е R
Пт gn [Г (х)] = lim fn (х) = f (х)
для всех хе 8?, так что R содержится в В. Следовательно, функция g, равная limgn(f) для t е В и 0 в других случаях, является искомой.
Соотношение между интегралами функций f и g дается следующей леммой.
Лемма 2. Пусть 7 — измеримое отображение пространства ^38, ^) в (^", 53), ц — о-конечная мера на (88, &) и g— действительная измеримая функция от t. Если р* — мера, определенная на (3~, S3) равенством
ц*(В) = ц[7~,(в)] для всех Be S3,(17)
то для любого В е53
J g[T(x)№(x)=$g(0<W)(18)
т-Цв)в
в том смысле, что если один из этих интегралов существует, то существует и другой и их значения совпадают.
Доказательство. Не ограничивая общности, допустим, что В совпадает со всем пространством Т. Если g является индикатором некоторого множества Во е ^, то утверждение леммы верно, так как правая и левая части (18) приводятся к ^[Г-^Во)] и р*(6о) соответственно, а эти выражения равны, по определению р*. Отсюда (18) переносится последовательно на все простые функции, на все неотрицательные измеримые функции и, наконец, на все интегрируемые функции.
4, Условное математическое ожидание
и условная вероятность
Если две статистики индуцируют одно и то же подполе j^0, то они эквивалентны в том смысле, что они приводят к эквивалентным классам измеримых событий. Эта эквивалентность существенна в рассуждениях, касающихся условной вероятности.
Так, если X распределено нормально с нулевым средним значением, то статистики |Х|, X2, е~хг и т. д. доставляют нам одну и ту же информацию. Из равенств |Х| = t, X2 — t2, е~хг = е~‘г следует, что X = ±t и любое разумное определение условной вероятности должно приписать каждому из этих значений вероятность 1/2. В данное ниже общее определение условной вероятности существенным образом входит именно ^о, а не пространство Т значений статистики Т. Однако если рассматривать только ^/о, то понятие проигрывает в наглядности, и разрыв между элементарным и общим определениями без всякой необходимости увеличивается. По этой причине часто оказывается более удобным иметь дело с конкретными представлениями статистик, включающими определенный выбор пространства значений (0", #).
Пусть Р— распределение вероятностей на (^, ^), Т — статистика с пространством значений (Т, 58) и ^о — порожденное ею подполе. Рассмотрим неотрицательную функцию /, которая («s£, Р) интегрируема, т. е. ^-измерима и Р-интегрируема. Тогда f dP определен для всех /1 е ^ и тем более для всех
А
Ло е ^о- Из теоремы Радона — Никодима (теорема 2) вытекает, что существует функция /0, интегрируемая (з^о, Р), для которой
^fdP = ^fodP при всех Лое^о,(19)
ЛоЛэ
и что fo (^о, Р)-единственна. По лемме 1 f0 зависит от х только через T^xY В примере со случайной величиной X, распределенной нормально с нулевым средним, и 7 = Р функция /0 определяется тем, что (19) должно выполняться для всех множеств До, симметричных относительно начала координат, так что
fo(x)=y[f(x) + f(-x)].
Функция f0, участвующая в (19), определяется двумя свойствами:
Ее среднее значение по мере Р на любом множестве До то же, что и у Д
Она зависит от х только через Т^ и, стало быть, постоянна на множествах DXs на которых постоянна Т.
Интуиция подсказывает способ построения такой функции: /о(х) следует определить, как условное P-среднее на множестве Dx. Мы заменили бы тогда однократный процесс усреднения, т. е. интегрирования Д представляемый левой частью, двукратным процессом усреднения (повторным интегрированием). Эта конструкция может быть осуществлена, когда X — дискретная
величина, или в регулярном случае, рассмотренном в разделе 9 главы 1. В этих случаях f0(x) оказывается условным математическим ожиданием f(X) при данном Т^. В общем случае неясно, как можно определить условное математическое ожидание непосредственно. Так как оно, однако, должно обладать свойствами (I) и (II) и так как fo определяется (^о, Р) однозначно (через (19)), то мы принимаем в качестве общего определения условного математического ожидания 5[f(X) Щх)] функцию fo(x) из равенства (19). Если f0(x) = g[T(x)], то можно записать
т. е. £[f(x)p] является ^-измеримой функцией, определенной с точностью до (S8, Рт) -эквивалентности. Если в указанном в лемме 2 соотношении между интегралами принять ц = Рх, то ц* = Рт, и мы видим, что функция g может быть выражена непосредственно через f с помощью соотношения
f (х) dPx (х) = ^ g (Z) dPT (0 для всех Ве^, (20)
Г-1 (В)5
эквивалентного (19).
До сих пор функция f предполагалась неотрицательной. В общем случае условное математическое ожидание f определяется как разность:
£[f (X) И = £[Г (X) Id - Elr (X) Id.
Пример 7. Пусть Хь ..., Хп независимы и имеют одну и ту же непрерывную функцию распределения. Положим
Т^хъ ..., Xn) = U^\ ...» х^\
где х(1) ^ ... ^ х^ обозначают Хк, расположенные в порядке возрастания. Не ограничивая общности, мы можем рассматривать только точки, где х<!> < ... < х^, так как вероятность совпадения каких-либо координат равна нулю. Тогда 88 будет множеством точек с попарно различными координатами, У — множеством точек со строго возрастающими координатами, и ^ — классами борелевских подмножеств 88 и 8Г. При обратном отображении Т-1 множество, состоящее из одной точки а= (aiа^ переходит во множество из п\ точек (я^, .а^ ), получающихся из а всевозможными перестановками координат. Отсюда следует, что ^0 является классом всех множеств, симметричных в том смысле, что если Ло содержит х = (хь ... •.., хя), то оно содержит и все точки (х^, ..., xt^.
Для любой интегрируемой функции / положим
где суммирование производится по всем п! перестановкам (хь ..., хп). Тогда /о будет ^-измеримой, так как -она симметрична относительно п своих аргу-
ментов. Итак,
$ f (%1xnVP М • • • dP VQ = $ f (xitxln^ dP (xl) • • • dP Iх nY ЛоЛо
так что /о удовлетворяет (19), откуда следует, что /о(х) представляет собой условное математическое ожидание /(х) при данном Г(х).
Условное математическое ожидание f(X) при заданной статистике Т^х) может быть вычислено и без предположения, что Хк независимы и одинаково распеределены. Предположим, что X имеет плотность А(х) по отношению к мере р (такой, как мера Лебега), которая симметрична, т. е. которая при любом Л е ^ и любой перестановке (н/„) приписывает всем множествам {х: (х(. , ..., xz ) е Л} одну и ту же меру. Пусть
причем суммирование в этой формуле (так же, как и в дальнейших) распространяется на все п\ перестановок (ib ..., UY Функция /0 симметрична по п своим аргументам и, следовательно, ^-измерима. Каково бы ни было симметричное множество Ло, интеграл
ЛоЛо- xn^h<xhХ!^МХ\хп)- xn^h<xhХ!^МХ\хп)
Ло
Ло
- xn^h<xhХ!^МХ\хп)
- xn^h<xhХ!^МХ\хп)
имеет одно и то же значение при любой перестановке (х^Xj ), и потому
\ fo (*iхп) h (хь ..., х„) dp (X!хп) =
Ло
= ^о(Х1^^гУЛ^чХ^г Хп) = А»
= ^/(Хь .xn)hUi» •••> *n)dp(xi, .... хп)
А.
Отсюда мы видим, что f0(x) = £[f(X) Щх)].
Статистике Т(х) = (х(1), ..., х<п)) (координаты которой называются порядковыми статистиками) эквивалентна статистика U (х) =(Z^.S4- .^х1^. Это немедленно вытекает из того факта, что равенства Г(х°) = = /° и С/(х°) = и0 влекут равенство Г"1 ({/°}) = U-x ({и0}) = S, где {/°} и {и0} обозначают множества, содержащие по одной точке (/° или ц°), и где S — множество точек х = (хь ..., хп), получаемых из х° = (хр ..., х®) всевозможными перестановками координат. Очевидно, что Т^Щ/0}) = S. Чтобы установить аналогичное соотношение для U~Y, введем
vw=(Lxi'И xixp £ xixixkxix2---xA
V i t<i i<i<k)
так что компоненты У(х) являются элементарными симметрическими функ-
циями 01 = ^^^. • • м уп = ^1 • • • хп от л аргументов хь ..., хп. Тогда
(х —xi) ... ^х —хп^ = хп — х>ххп~х А-^х^... +(—1)"^п.
Следовательно, из V (х°) = о0 = (о®, ..., о®) вытекает, что y-1({u°})=S; в этом случае и U”l^u0^ = S, как это видно из соотношений (так называемых тождеств Ньютона))
«й-°1“й-1 +Vfe-2-+ (-l)ft-1»ft-i“i + (-1)6toft = 0,Х^к^п.
Как легко вывести из данного выше определения, условное математическое ожидание обладает большинством обычных свойств математических ожиданий. Из неединственности этого определения следует, что эти свойства выполняются только (X Рг)-почти всюду. Формулировки даны в следующей лемме.
Лемма 3. Если Т — некоторая статистика и функции f, g, ... (s/, Р)-интегрируемы, то (&, Р7^-почти всюду
Е [af (X) + bg (X) \t] = aE [f (X) | t] + bE [g (X) | /];
£[/г(Т)/(Х)|/1 = /г(0£[/№|/];
а^Цх)^Ь влечет a^£[f (Х)|/]^6 ^, Р)-почти всюду, (IV) |f„Kg, fnU)->fW влечет
Е [f„ (X) !/]->£[/ № И (^, РУпочти всюду.
Другой полезный результат получается из (20) в случае, когда В равно всему пространству Т.
Лемма 4. Если Еу(X)] < оо и g(t) = £[f (X) р], то
Ef(.X’) = Eg(T),(21)
т. е. математическое ожидание может быть вычислено, как среднее значение условного математического ожидания.
Так как РуХ^А) =£[/л(Х)], где 1А — индикатор множества А, то условную вероятность А при данном Т = t естественно определить равенством
Р(А|О = £[/Л(Х)|/].(22)
Принимая во внимание (20), мы можем записать уравнение, определяющее Р(Д|/), в виде.
РХ U Л '(#)) =$ dPx(x) =
А(]т~1 (В)
= ^P(A\0dPT^ для всех Ве1 (23) в
Из леммы 3 немедленно вытекает, что с соответствующими оговорками, касающимися множеств нулевой меры, для Р(Д|/)
имеют место обычные для вероятностей соотношения. Результаты сформулированы в следующей лемме.
Лемма 5. Если Т — некоторая статистика с пространством значений ^9", ^ и Д, В, Дь Д2, ... —множества, принадлежащие si, то ($, Рт)-почти всюду;
0^Р(Др)^1;
(И) если множества Дь Д2, ... попарно не пересекаются, то Р(иД/|/) = £Р(ДД/);
) A cz В влечет Р(Л|/) ^ Р(В|/).
В соответствии с определением (22), условная вероятность Р(Д|/) должна рассматриваться при каждом фиксированном А как ^-измеримая функция /. Мы видим контраст между этим и элементарным определением; в последнем / считают фиксированным и рассматривают Р(Д|/) при меняющемся А как функцию множеств на ^. Лемма 5 может привести к мысли, что интерпретация Р(Д|/) при фиксированном /, как распределения вероятностей на сохранится и в общем случае. Однако равенство Р(Л U A2U) = P Mi 10 + Р(Д210> например, может нарушаться на множестве нулевой меры, а это множество может меняться в зависимости от Ai и А2. Объединение всех исключительных нулевых множеств ) не обязано иметь меру нуль.
Для важного класса случаев эту трудность можно преодолеть за счет неединственности выбора значений функции Р(А |/), которая при каждом фиксированном t определяется с точностью до множеств нулевой меры по L Так как различные варианты выбора эквивалентны, то достаточно найти такой специальный вариант для каждого А, чтобы при фиксированном / получить распределение вероятностей на ^. Эта возможность иллюстрируется примером 7, в котором можно принять, что условное распределение при данном Т^= t приписывает вероятность каждой из п\ точек, для которых Т (х) = /. В более общей обстановке вопрос о существовании подобных условных распределений будет изучен в следующем разделе.
Условные распределения вероятностей )
Мы исследуем теперь вопрос о существовании условного распределения вероятностей при условии, выполняющемся в большинстве статистических приложений, а именно, что 98 — боре
левское множество в евклидовом пространстве. Для краткости мы будем говорить, что 98 — евклидово и будем предполагать, если явно не оговорено противное, что з^ — класс борелевских подмножеств 98.
Теорема 4. Если 98 — евклидово, то существует вариант выбора Р(А|0 такой, что при каждом t Р(А|/) будет вероятностной мерой на зФ.
Доказательство. Полагая вероятность любого борелев- ского множества, лежащего вне 98, равной нулю, мы можем распространить данную меру на класс всех борелевских множеств и можем, следовательно, не ограничивая общности, предположить, что 98 совпадает со всем пространством. Для простоты мы рассмотрим только одномерный случай. Выберем некоторый вариант вероятностной функции и при каждом х положим Р(х, 0 = = Р((—оо, х]|/). Пусть и, г2, ... — рациональные числа, занумерованные в каком-либо порядке. Тогда неравенство г, < г/ влечет неравенство Е(п, /)^ F^rj, t) для всех t, кроме входящих в некоторое нулевое множество Мц. Следовательно, F^x, f) при каждом t, не входящем в нулевое множество N' = \}Мц, возрастает на множестве рациональных значений х. Аналогично, из леммы 5 вытекает, что для всех t, не принадлежащих некоторому нулевому множеству N", при п-*оо справедливы равенства: lim F (гг + ^-, = F (rh 0 для / = 1, 2, ... ; lim F(n, f) = 1 и ПтР(—п, /) = 0. Поэтому для всех t, не входящих в нулевое множество N'\JN", F^x,t^, рассматриваемая как функция х (х— рационально), надлежаще нормирована на бесконечности, монотонна и непрерывна справа. Обозначим для t, не входящих в N'\3N", F*(x,f), единственную непрерывную справа по х функцию, которая совпадает с Р(х, /) для всех рациональных х. Тогда F*(x, t) будет функцией распределения и потому определяет некоторую вероятностную меру Р*(А|/) на з^. Мы покажем теперь, что Р*(А|/) является условной вероятностью А при данном t, для чего установим, что при каждом фиксированном А эта функция ^-измерима по t и удовлетворяет (23). Последние утверждения мы получим из равенства
Р* (А 11) = Р (А | /) (^, Рг)-почти всюду
при любом фиксированном А е^. По определению Р* это равенство верно, если А имеет вид (— оо, х], где х— рационально. Оно выполняется и для интервалов (а, 6] =(—оо, Ь]—(—оо,а], концы которых рациональны, так как Р* — мера, а для Р верна лемма 5 (II). Следовательно, доказываемое равенство выполняется для всех элементов поля У, образованного конечными суммами интервалов (а,, 6,] с рациональными концами. Класс множеств, для которых наше равенство выполняется, оказы-
вается монотонным (см. задачу 1) и поэтому содержит ог-поле, порожденное ^, т. е. J^. Мера Р(Л|/) на ^, как она введена выше, определена для /, не входящих в Af'UAf". Но поскольку ни измеримость функции, ни величина ее интеграла не зависят от значений на множестве меры нуль, то для t е N' U N" мы можем выбрать произвольные вероятностные меры на ^ и тем завершим построение.
Пусть X— случайный вектор с распределением Рх и Т — статистика, заданная на (^, ^). Пусть Рхи обозначает любой из вариантов семейства условных распределений Р(Л|/) на j^, существование которых утверждается теоремой 4. Связь с понятием условного математического ожидания указывается следующей теоремой.
Теорема 5. Если X — случайный вектор и Е| f (X) | < оо, то ($, Ртупочти всюду
E(HX)\t] = \f(x)dPx^^ (24)
Доказательство. Соотношение (24) выполняется, если f — индикатор любого множества Л е ^. Из леммы 3 следует, что оно верно для любой простой функции и потому для любой интегрируемой функции.
Вариант условного математического ожидания £[/(Х)|#], представляемый правой частью (24), обладает для каждого / обычными свойствами математических ожиданий ((I), (III) и (IV) в лемме 3). Ранее мы должны были исключать множества нулевой меры, зависящие от рассматривавшихся функций /, g, .., При условиях теоремы 4 аналогичное усиление допускает утверждение (II) леммы 3. Теперь мы в состоянии показать, что оно выполняется, за исключением, быть может, нулевого множества V, не зависящего от h. Для наших целей достаточно провести доказательство для случая, когда пространство значений статистики также евклидово*).
Теорема 6. Если Т — статистика, у которой область определения (35, ^) и пространство значений (Т, 5§) — евклидовы, то найдется вариант PXV условных вероятностных распределений и нулевое множество N такие, что условное математическое ожидание, вычисленное по формуле
£[/(Х)к] = ^(х)^1Чх)
для всех t ф N, удовлетворяет соотношению
E[a(TW)M==a(O£[f(W]. (25)
Доказательство. Для простоты допустим, что Т — действительная функция (это по существу не ограничивает общности). Для каждого / обозначим РХ1ЦЛ) распределение вероятностей на ^, существование которого гарантируется теоремой 4. Для Ве$ индикатор /6(0 ^-измерим и
$ IB (/) dPT (I) = Рт (В' ()В) = РХ (Т'В' П Т^В).
В'’
Таким образом, в силу (20),
1в(0 = РХ'1 (Г'в) Рг-почти всюду.
Обозначим Вп, п = 1, 2, ..., интервалы в ST с рациональными концами. Тогда существует Р-нулевое множество N=\JNn такое, что для t ^ N
при всех п. При фиксированном t ф N две функции множества, рх'Чт~хВ^ и 1в^), являются распределениями вероятностей на ^; -второе из них приписывает множеству вероятность 1 или 0 в зависимости от того, содержит ли это множество точку / или нет. Так как значения этих функций совпадают на рациональных интервалах Вп, то они совпадают при всех 8е^. В частности, для t ф N множество, состоящее из единственной точки t, входит в ^, и если обозначить
4W = {x: Т(х) = 0,
то при всех t ^N
px\t^ = \.(26)
Таким образом, для t ф N
\a\T^\t^dPx't^ =
= а [Т (х)] f (х) dpx\1 ^ =a(O^f (х) dPxV (х), л«)
что и требовалось доказать.
Как следствие теоремы 6 получаем, что для t ^ N Е[а(Т) |/] = а(/) и, в частности, Р(Т е B|Z) равна 1 или 0 при (еВ или t ^ В.
Условные распределения Px'f отличаются от введенных в элементарном случае (раздел 9 главы 1) тем, что определены на (Я?, ^), а не на Aw и о-поле з^(0 его борелевских подмножеств. Однако (26) влечет при всех t ф N
PxU(A) = Px'4A(\AW).
Вычисления с условными вероятностями и математическими ожиданиями можно производит^ следовательно, заменив для t^N Рх1< на распределение Р*^, которое определено на (AW, j^W) и приписывает каждому подмножеству AW ту же вероятность, что и Рхи.
Теорема 6 устанавливает при / ^ N существование условных распределений вероятностей Pxtt, определенных на (А(0, s^w), для которых по лемме 4
^[fWl= $ И f(x)dP^(x)]dPr(0 (27)
при любой интегрируемой функции f. Обратно, рассмотрим любое семейство распределений, удовлетворяющих (27), и эксперимент, в котором сначала наблюдается Т, а при Т = t—случайная величина с распределением Pxv. Результатом этой двухстепенной процедуры будет случайная точка в (^, j^), распределенная по тому же закону, что и X. Таким образом, Рх'{ удовлетворяет этому «функциональному» определению условной вероятности. .
Если (^,^) является произведением (^Х6^, ^Х^). то AW будет произведением ^ на множество, состоящее из одной точки t. Для t^N условное распределение Рх\* индуцирует распределение на (<V, ^), которое по аналогии с элементарным случаем будет обозначаться Ру1'. В этом случае определение можно распространить на все 9", принимая, например, что при t^N PY^ приписывает вероятность 1 некоторой выбранной нами точке //о. При таком определении из (27) выводим
ЕНТ,¥)= И\Г(1,уНР^ЦуЙаРЧ0. (28) ^ Ly J
В качестве приложения мы докажем следующую лемму, которая затем будет использована в разделе 7.
Лемма 6. Пусть (9~,^ и (^.^— евклидовы пространства, и пусть Ро’Y — некоторое распределение на произведении (SB, .Ж) = (Э'Х^, ^Х^). Предположим, что другое распределение Р\ на (SB, з£) таково, что
dPi (t, у) = а (у) b (0 dP0 (t, у)
с а (у') > 0 при всех у. Тогда при Pi частное распределение Т и вариант условных распределений Y при данном t даются формулами;
dPTx (0 = b (t) [$ а (у) dPV * GO] dPl (О
ИИdPl'4y)dPl'4y)_a_WPp4y)_ ^ a UH dP^'1 UH У
И
И
dPl'4y)
dPl'4y)
Доказательство. Первое утверждение леммы следует из равенств
Рх VI е 5} = Ех Vb (П] = Ео и В (П а (У) b (Г)] =
= $И/)Цй(уИРоГ1Чу)рРо(О. в Ls/J
Чтобы проверить второе утверждение, достаточно показать, чте для любой интегрируемой f математическое ожидание Exf(Y, Т) удовлетворяет (28). Но это получается сразу. Заметим, что знаменатель у d?Pl положителен, так как a(z/)>0 при всех у.
Характеристика достаточности
Мы можем теперь обобщить определение достаточности, данное в разделе 9 главы 1. Если 9 = {Ре, 9е й) — любое семейство распределений, определенных на одном и том же выборочном пространстве (^, ^), то статистика Т называется достаточной для 9 (или для 0), если для каждого А из st можно выбрать вариант условной вероятностной функции Ре (Л | /), не зависящий от 0. В качестве примера возьмем случай, когда Ль ... ..., Хп независимы и имеют общую функцию распределения Ее, 9 е Q. Из примера 7 следует, что совокупность Т(X) = = (Х(1>XW) порядковых статистик достаточна для 6.
Теорема 7. Если 96 — евклидово и статистика Т достаточна для 9, то найдется вариант условных распределений вероятностей Ре(Л|/), не зависящий от 9, и такой, что для каждого фиксированного t Р (Л | /) — вероятностная мера на st.
Доказательство. Справедливость утверждения можно усмотреть из доказательства теоремы 4. По определению достаточности мы можем при каждом рациональном г выбрать функцию Р(г, /) не зависящей от 9. Получаемое этим путем условное распределение также не будет зависеть от 9.
В главе 1 понятие достаточности разъяснялось указанием на то, что в некотором смысле достаточная статистика содержит всю доступную информацию. Теорема 7 показывает, что это замечание сохраняет силу в общем случае евклидовых выборочных пространств. Исходя из достаточной статистики Т, мы мо-
жем с помощью случайного механизма построить случайный вектор X', имеющий то же самое распределение, что и первоначальный вектор X. Другое обобщение прежнего результата, не связанное с ограничением евклидовыми выборочными пространствами, дано в задаче 11.
Критерий факторизации для достаточных статистик, выведенный в главе 1, может быть распространен на любое домини- рованное семейство распределений, т. е. на любое семейство 9s = {Ре, 9 е й} распределений, обладающих плотностями ре по отношению к о-конечной*мере на (^, ^). Доказательство этого утверждения основано на существовании распределения вероятностей Х = ^,С{Р6. (см. теорему 2 в дополнении), эквивалентного 9* в том смысле, что для любого А е. st
X (А) = 0 тогда и только тогда, когда Р6 (Л) = 0 при всех бей. (29)
Теорема 8. Пусть 9s = {Ре, бей} — доминированное семейство распределений вероятностей на (9?, .я?) и пусть X = ^,ctP6i удовлетворяет (29). Тогда статистика Т с пространством значений (9~, 9^ достаточна для 9 в том и только том случае, когда существует неотрицательная 9-измеримая функция geW такая, что
dPy(x) = gy[T(x)]dK{x) (30) для всех 9 е й.
Доказательство. Предположим, что Т достаточна для 9 и пусть ^о — подполе, индуцированное Т. Тогда для всех 9 Е й, Ao ^ sdy и А е s4*
Jp(A|T(x)) dPe(x) = P9 (А П Ло), Ло
и так как Х = £сгРе<> то
Р (А | Г (х)) dX (х) = X (А П Ао),
т. е. Р(А|7’(х)) является условной вероятностной функцией также и для X. Пусть ge(T(x)) обозначает производную Радона— Никодима dP9(x)/dX(x) для (^0, X). Для доказательства (30) необходимо установить, что gyVI^S является также производной Ре для (^, X). Последнее следует из приводимых ниже выкладок. В качестве начального шага мы полагаем в первом
из приведенных выше соотношений Ло равным 96 \
Р9 (Л) = $ Р (Л I Т (х)) dP6 (х) = J Ек и А (х) | Т (x)J dP6 (х) =
= J Ек Ua (х) I Т (x)]ge (Г (х)) dX кх) =
= J Ек [ge кТ (х)) /л (х) | Т (х)] dX (х) =
= J ge кТ (х)) /д (х) dX (х) = ge кТ (х)) dX кх).
А
Здесь второе равенство использует установленное в самом начале доказательства утверждение о том, что Р(Л |Ткх)) — условное распределение для X; третье равенство выполняется, так как подынтегральная функция .^-измерима и dPe = gedX для (^о, X); четвертое равенство — приложение леммы 3 (II); пятое использует определение условных математических ожиданий.
Предположим теперь обратное, т. е. что (30) имеет место. Мы докажем, что условная вероятностная функция РХ(Л|/) является в то же время условной вероятностной функцией для всех Ре^1, Пусть ge(7(x)) = dPekx) /dX{x) на ^. Для фиксированных Л и 9 введем меру v на ^/, определив ее равенством </v = = IAdPe- Тогда на J#o dv(x)/dP0(x) = £е [/л(Я)| 7(х)] и поэтому
dv(x)/dX(x) = PeM|T(x)]ge(T(x)) на *
С другой стороны, dv(x)/dX(x) = /x(x)g0(7(x)) на зЗ, и, следовательно,'
^- = £A[/AtoSe(7'W)|T(x)] = PxM|T(x)]g9(T(x)) на ^0-
Поэтому (^о, X)-почти всюду (а стало быть, и (j^0, Ре)-почти всюду) РХ(Л |7(x))g6(7(x)) = P0M|7(x))g0(7(x)). Так как (^о, Р0) -почти всюду ge(7(x))^0, то это равенство показывает, что Р0(Л|7(х)) = Рх(Л|7(х)) (^0, Ре)-почти всюду, т. е. что Рх(Л|7(х)) является вариантом Ре(Л|7(х)).
Вместо вышеприведенной формулировки, в которой явно участвует распределение X, иногда бывает удобна другая, данная непосредственно в терминах доминирующей меры ц.
Следствие 1. СГеорема факторизации.) Пусть распределения Ре семейства 9 имеют плотности ре = dP9/dp по отношению к о-конечной мере ц. Статистика Т достаточна для 9 тогда и только тогда, когда существуют неотрицательная ^-измеримая функция g9 на Т и неотрицательная зЗ-измеримая функция h на 98 такие, что
Ре (х) = g6 [7 (х)] h (х)к-^. р)-почти всюду. (31)
Доказательство. Пусть X = ^,CiPQl удовлетворяет (29). Тогда, если Т достаточна, то (31) следует из (30) с к = = dV^P-- Обратно, если выполняется (31), то
dX (х) = X Cig6i [Г (х)] к (х) dp (х) = к [Т (х)] к (х) dp (х)
и потому dPe(x) = ge(T(x))dX(x), где g*6 (/) = g6 (t)lk (/) при к^ > 0 и может быть определено произвольным образом при к^ =0.
Экспоненциальные семейства
Важным примером семейств распределений, допускающих редукцию с помощью достаточных статистик, являются экспоненциальные семейства, плотность которых по отношению к некоторой о-конечной мере ц на евклидовом выборочном пространстве (57, зГ) имеет вид
Ре (х) = С (0) exp |^^ Q, (9) Т, (х)] к (х).(32)
Распределение выборки Х= (Х\, ..., Хп^ взятой из биномиальной, пуассоновской или нормальной совокупности, относится к этому классу. В биномиальном случае, например, плотность по отношению к мере, которая для каждого целого числа равна единице, имеет вид
(;)/(1-рГх = (1-/0"ехр[х1о§ (т^-)](;).
Пример 8. Если величины Уь ..., ¥п независимы и каждая из них имеет плотность (по отношению к мере Лебега), равную
1-1
П (1Л—У ехр [-у/(2о2)]
Ра \У)* У /
(2а2) Г (//2)
то совместное распределение ¥к образует экспоненциальное семейство. При а = 1 (33) является плотностью %2-распределения с f степенями свободы; в частности, при целом f последняя плотность совпадает с плотностью суммы f
^ Ху, где Xj образуют выборку из нормального распределения Af(O, 1). /=1
Пример 9. Рассмотрим п независимых испытаний, каждое из которых с вероятностями pips заканчивается одним из исходов Еь ..., Es. Пусть Хц равно 1, если г-е испытание закончилось £/-м исходом и равно 0 в других случаях. Тогда совместное распределение ХК имеет вид
Р (X = Х , ..., X = х \ = p^xi\p^xi2 . .. p^xis
I 11 If ’ ns ns) P1 p2ps ’
где каждое хц равно 0 или 1 и ^ хц—1 Это семейство снова экспоненциаль-
п
ное с ТДх^= X Хц (/=1s — 1). Статистики Г/ имеют совместное Z = 1
полиномиальное распределение
Р <71 = #i| .. <s_,| („_/,_ ... -r,_t)| x
XpV • • • pV-x' (* - Pl - • • • - Ps-xf"*1"(34)
Если Xi, ..., Xn — выборка из распределения с плотностью (32), то совместное распределение Xi (< = 1п) образует экспоненциальное семейство с достаточными статистиками
п
2 T}QQ U= !,...,&)• Таким образом, сколь бы велик ни был i = l
объем выборки, для (Хь ..., ХД) существует ^-мерная достаточная статистика. Обратно, пусть Х\, ..., Хп является выборкой из распределения с некоторой плотностью ре (я) и пусть множество, на котором эта плотность положительна, не зависит от 0. Тогда при условиях регулярности, позволяющих осмысленно применить понятие размерности, можно и из существования к- мерной достаточной статистики с к < п вывести, что плотности ре(х) образуют экспоненциальное семейство *).
Используя более естественную параметризацию и включая множитель h^ в ц, мы придадим экспоненциальному семейству форму dP^x^ = p^(x)d\k(x), где
^e^wj.(35)
Правая часть (35), если ее интеграл конечен, может быть надлежащим выбором С (9) превращена в плотность вероятности. Множество Q параметрических точек 9= (91, ..., 9^), для которых это имеет место, называется естественным параметрическим пространством экспоненциального семейства (35).
Оптимальные критерии для проверки различных гипотез, касающихся 9/, находятся в главе 4. Мы установим сейчас некоторые свойства экспоненциальных семейств, необходимые для этой цели.
Лемма 7. Естественное параметрическое пространство экспоненциального семейства выпукло.
Доказательство. Пусть (0h . ..,9J и (9ь...,0£) — две параметрические точки, для которых интеграл от (35) конечен. Тогда по равенству Гельдера для любого 0 < а < 1
5 ехР [X И + (1 - а) 0/1 Tj (х)] dp (х) <
^[^ехрE^N^^nSехр[X ®/^/(x)]dp(x)]' ” < оо.
Если выпуклое множество Q лежит в линейном пространстве размерности меньшей 6, то (35) может быть переписано в форме, включающей менее к компонент Т. Поэтому мы, не ограничивая общности, предположим £2 6-мерным.
Из теоремы о факторизации вытекает, что статистика Т(х) = = (Ti(x), ..., Г*(х)) достаточна для ^ = (Ре, 9 е Q).
Лемма 8. Пусть X имеет распределение из экспоненциального семейства
dPi »(х) = С (9, Ф) ехр [ £ 9^, (х) + £ Ф,Т, (х)] dp (х).
Тогда существуют меры Хе и вероятностные меры v< на s и г- мерном евклидовом пространствах соответственно, такие, что
распределение Т = (Т\, ..., Ts) принадлежит экспоненциальному семейству
dP»,»(/) = С (9, #) ехр [ £ »///] ^9 (0,(36)
условное распределение U= (Ui, ..., Ur) при данном Т — t принадлежит экспоненциальному семейству вида
dP^1 т (и) = Ct (9) ехр [ £ ^щ] dv( (u),(37)
т. е. в частности не зависит от -О1.
Доказательство. Пусть (0°, ft0) — точка естественного параметрического пространства и р* = Рео, ^. Тогда dPb(x)=
= ^СТГ ехр [ X (9, - 9?) Ut (х) + £ (О/ - ^/) Tj (х)1 dp* (х), ’L<=1/=1J
и результат следует из леммы 6 с
dX6 (/) = ехр (^ ^?/^ £ ехр £^ (9< — 9?) ut j dP^!»» (и) j dPe»,»»(t)
ИИdv, (u) = dP^- ^и\
И
И
Теорема 9. Пусть ф — ограниченная измеримая функция на ^,^. Тогда
интеграл
<р (х) ехр[Еб/ВД^х),(38)
рассматриваемый как функция комплексных переменных 6/ = = £/ + Щ1 (/ = L • • • ♦ *)> является аналитической по каждой из этих переменных в области R параметрических точек, для которых (gi, ..., 5^) является внутренней точкой естественного параметрического пространства Q;
производные любого порядка от интеграла (38) по 9 могут вычисляться дифференцированием под знаком интеграла.
Доказательство. Если |<р| ^ М, то
IФ (х) ехр [ £ 0,7, (х)] | < М ехр [ 2 Vi (*)1
так что интеграл (38) существует и конечен для всех точек (£ь •.., 1ft) из Q. Пусть (g?, ..., 6»)— некоторая фиксированная внутренняя точка Q. Рассмотрим одну из величин, например 6ь Выделяя в множителе ф (х) ехр [(^ + й]®) 72 (х) + ... + (^ + + й]^) Тк (х)] его действительную и мнимую части и разлагая каждую из последних на положительную и отрицательную части, включая затем надлежащие множители в меру ц, мы представим интеграл (38) в виде
§ ехр [0,7 1 (х)] dp, (х) — ^ ехр [0,7, (x)J dj*2 (х) +
+1 ^ ехр [0,7, (х)] d]i3 (х) — i ^ ехр [0,7, (x)]dn4(x).
Достаточно доказать требуемый результат для интегралов вида Ф (61) = $ ехр [0,7, (х)] dp (х).
Так как (£?,..., ^) — внутренняя точка Q, то существует такое 6 > 0, что ф(01) конечна для всех 0, с [^ — ^|^6. Рассмотрим разностное отношение
Ф(^)-Ф(е?)е,-е(Ф(^)-Ф(е?)е,-е(dp. (х).dp. (х).ехр [0,7, (х)] - ехр [0?Г, (х)]
Ф(^)-Ф(е?)е,-е(
Ф(^)-Ф(е?)е,-е(
dp. (х).
dp. (х).
е,-е®
3 Э. Леман
Подынтегральное выражение может быть записано в виде
exp[6?Ti (х)]exp[6?Ti (х)]6,-0?6,-0?
exp[6?Ti (х)]
exp[6?Ti (х)]
6,-0?
6,-0?
Применяя ко второму множителю неравенство
при | 2 | ^ 6,при | 2 | ^ 6,exp (az) — 1 I exp (d | а |)г I д
при | 2 | ^ 6,
при | 2 | ^ 6,
мы видим, что подынтегральное выражение по абсолютной величине не превосходит
у1 ехр (е?Т1 + б I Л I) I ^ у I ехр [(0? + д) 7, ] + ехр [(б? - б) Л] |,
если 10]— 01|^б. Так как правая часть интегрируема, то из теоремы Лебега об ограниченной сходимости (теорема 1 (II)) вытекает, что для любой последовательности точек О*"*, сходящейся к 0?, разностное отношение if стремится к
$Л (x)exp[0?Ti(x)]dp(x).
Этим завершается доказательство (I) и доказывается (II) для случая первой производной. Доказательство для высших производных проводится по индукции и вполне аналогично тому, что сделано выше.
Задачи
К разделу 1
Монотонные классы. Класс ^ подмножеств данного пространства называется полем, если он содержит все пространство, замкнут относительно дополнений и конечных пересечений. Класс Ж называется монотонным, если объединение (пересечение) любой возрастающей (убывающей) последовательности множеств из Ж снова входит в Ж. Наименьший монотонный класс Ж^ содержащий данное поле 9", совпадает с наименьшим a-полем ^, содержащим 9".
[Сначала докажите, что Жй — поле. Чтобы показать, например, что Л П В е ^о, когда Л и В принадлежат Жо, рассмотрим для фиксированного Л е^" класс Жа всех В еЖ^, для которых Л П 5 еЖ^. Тогда Жа— монотонный класс, содержащий 9*, и потому Жа = Ж^. Таким образом, Л П В е Ж а при всех В. Эти рассуждения могут быть теперь повторены с произвольным фиксированным В е J^q и классом Ж в тех множеств Л е Ж^, для которых Л П В е Жо. Так как Ж^ — поле и к тому же монотонно, то оно является о-полем, содержащим 9", а следовательно, и ^. Но любое о-поле является монотонным классом, так что Ж^ содержится в ^.]
К разделу 2
Производные Радона — Никодима. (I) Если X и ц — a-конечные меры на (^,«^) и И абсолютно непрерывна по отношению к X, то
ДЛЯ любой р-интегрируемой функции f.
(И) Если X, р и v — о-конечные меры на (Я?, ^) такие, что v абсолютно непрерывна по р, а р — по X, то
dv d» du А
Х'ПОЧТИ ВСЮДУ-
Если р и v — о-конечные меры, которые эквивалентны в том смысле, что каждая абсолютно непрерывна по другой, то
d-v / dp X-1
diT=w) Ц, v-почти всюду.
Если р^,, & = 1, 2, ..., и р — a-конечные меры на (^, б£) такие, что ^ р^ (Л) = р (Л) при всех Л е Л, и если р^ абсолютно непрерывны по отношению к о-конечной мере X, то и р абсолютно непрерывна по X и
пп
d Е ^ Д du^^ du
Tri= /lim —Tnл-почти всюду.
dXdX n-^co dX dX
k = \
[(I) Рассматриваемое соотношение выполняется в случае, когда f— индикатор некоторого множества. Отсюда переходим к простым f и затем к интегрируемым.
Применить (I) с f = dv/dp.)
К разделу 3
Пусть (<^, ^) — измеримое пространство и ^0 — cr-поле, содержащееся в зФ. Для любой функции Т определим о-поле ^ как совокупность тех множеств В, для которых Т-ЦВ) s ^0- Может не существовать функция Т такая, что Т~х^ = ^0.
[Примером может служить любое ^0, содержащее все одноточечные множества.)
К разделу 4
(I) Пусть ^ — семейство распределений X = (Хь ..., Х^ таких, что р№. Х<+1Хп, X,Xi-t) е Л} = Р {№Хп)еА\
для всех борелевских множеств А и всех i = 1, ..., п. Для любой выборочной точки (х!х„) определим (yiУп^ = (xi, xi+lxn,
.xz—t), где xj = х<’> = min(xi, ..., хл). Тогда условное математическое ожидание f(x) при данном У = у равно
Уп^=^ ^ ^ь У") +/(УгUn. i/i)+ • ••
... +f (Уп, УхУп-1)].
Пусть G = {gb ..., gA — некоторая группа перестановок координат хь ..., хп точек х и-мерного пространства. Обозначим gx точку, получающуюся применением g к координатам х. Пусть ^ — некоторое семейство распределений Р вектора X = (Хь ..., Х^. Допустим, что для Р имеет место
Р {gX е Л} = Р (X е Л} для всех g е G.(39)
Для любой точки х выберем какую-либо одну из к точек gkX, к = 1, ..., г (например, точку с наименьшей первой координатой, если она этим требованием определяется однозначно, или, в противном случае, точку с наименьшей второй координатой и т. д.). Полученную функцию обозначим Т^ = I. Тогда
6=1
Допустим, что в (II) распределение Р не удовлетворяет условию инвариантности (39), а определяется формулой
dP (х) = h (х) dy, (х),
где р инвариантна в том смысле, что ц{х: gx^A\ — М-(Л). Тогда
TJlgkWA
Е [/ (X) I Л =.
К разделу 5
Докажите теорему 4 для случая n-мерного выборочного пространства [Условие возрастания функции распределения заменяется на
х„<Х„<<)>0.
Условие непрерывности справа прингмает вид
lim P(X1+-L, ..., Хп 4.2.) = р (х,х„),1
т->оо X mm )J
Пусть ^ = ^ X ^" и Ро, Р\ — два распределения, для которых
^Ро to, О = f (у) g W dy, (у) d^ (0, dPx Uh /) - h (у. 0 dy (у) dv UY
где h (у, /)// to) g (0 < oo. Тогда при Pi плотность У по отношению к р равна.
р! (у) = f (У) Ед [^(^(У) I Y = у]•
ГрГ (У) ” А (У. 0 dv (0 = f (У) ^ h^a’JuV 6 ^ dv ^^1
К разделу 6
Симметричные распределения. (I) Пусть ^ — некоторое семейство распределений X = (Хь ..., Хп), симметричных в том смысле, что
р{ечx^v11^^)ел>
для всех борелевских множеств А и всех перестановок ( ib ..., in) чисел (1, . п). Тогда статистика Т примера 7 достаточна для ^, и формула для условного математического ожидания E\j(X) |Т(х)], данная в первой части примера, остается справедливой.
Статистика Y задачи 4 достаточна.
Пусть Хь ..., Хп независимы и имеют одно и то же непрерывное распределение Р е ^. Предположим, что распределения класса ^ симметричны по отношению к началу координат. Пусть Vf = |XJ и Wi = W>. Тогда статистика (№,, Wn) достаточна для ^).
Достаточность отношений правдоподобия. Пусть Ро, Р\ — два распределения с плотностями ро, Pv Тогда статистика Т(х) = pi(x)/po(x) достаточна для ^ = {Ро, Pi}-
[Это следует из критерия факторизации и равенств
pi = Т • ро, Ро = 1 • Ро-1
Попарная достаточность. Статистика Т называется попарно достаточной для ^, если она достаточна для каждой пары распределений из ^.
) Если ^ счетно и Г — попарно достаточна для ^, то Т достаточна для ^.
) Если ^ — доминированное семейство и Т попарно достаточна для ^, то Т достаточна для ^.
[(I) Пусть ^ = {Ро, Ри - • } и ^о — достаточное подполе, индуцированное Т. Пусть X =£cipi (ci>°) эквивалентно ^. При каждом / = 1, 2, ... вероятностная мера X/, пропорциональная (Coin) Ро + с,Рь . эквивалентна {Ро, Р/}. В силу попарной достаточности производная
h = dPolV(coln)dPo + CjdPj\
п
является .^-измеримой. Пусть S/ = {х: fj(x) = 0} и S= [J S/. Тогда S е ‘/=1
пп
е^0, Po(S) = 0 и на 88 — S производная dP^d X с^ равна ^ \ffp т. е.
Ло-измеримой функции. Из задачи 2 вытекает, что тогда ^0-измерима и
п
d £ с.Р,dP0 , dP0 (Д 1 1
Пусть % = У, с(Р6 эквивалентно У. Из попарной достаточности Т /-1 '
следует, что при любом 0О dP^dP^ + dX) и dP^JdX являются измеримыми функциями от TJ°
Если статистика Т достаточна для ^, то, какова бы ни была (б£, Реинтегрируемая при всех 6 eQ функция f, найдется вариант условной функции Eq [f (X) | /], не зависящий от 0.
[Если 8В — евклидово, то утверждение следует из теорем 5 и 7. В общем случае, если f неотрицательна, то существует неубывающая последовательность неотрицательных простых функций fn, сходящаяся к Д По лемме 3 (II) условное математическое ожидание простой функции может быть выбрано не зависящим от 0. Теперь желаемый результат вытекает из леммы 3 ПУ).]
В проблеме решения с конечным числом возможных решений класс процедур, зависящих только от достаточной статистики Г, является существенно полным ).
[Для евклидовых выборочных пространств это следует из теоремы 4 без каких бы то ни было ограничений на пространство решений. Для рассматриваемого случая обозначим решающую процедуру 6(х) = (6(1)(х), .б^^х^, где 6^^ —вероятность, с которой принимают решение di, если наблюдают х. Если Т достаточна и л^ЧО = £[6(0(X)|fl, то процедуры д и т) имеют одну и ту же функцию риска.]
К разделу 7
Пусть Xi (i = 1, ..., s) независимы и распределены по закону Пуассона P(Xi). Пусть То = ^ Xb Ti = Xi, X = ^Xj. Тогда То имеют распределение Пуассона Р(Х), и условное распределение ТхTs-i при То = /0 является полиномиальным распределением (34) с п = t0 и pi = Xi]X. [Используйте прямой подсчет.]
Испытания на продолжительность жизни. Пусть Хх, Хп независимы и имеют распределение с показательной плотностью (20)-хе-х^ при х ^ 0. Обозначим Хк, расположенные в порядке возрастания, через У1 ^ ^ У2 ^ • • • ^ Vn. Допустим, что в процессе наблюдений мы обнаруживаем сначала ¥х, затем У2 и т. д. до ¥г. Подобный процесс может встретиться при испытаниях на продолжительность жизни: каждая из величин X может означать продолжительность «жизни» электронной лампы, когда одновременно испытывается п ламп. Другой пример: радиоактивный распад вещества, где п — число атомов, а наблюдения продолжаются до появления r-й а-частицы.
Совместные распределения ¥х, ..., ¥г образуют экспоненциальное семейство с плотностью
о С У\ < • • • < У Г-о С У\ < • • • < У Г-1 п\/ = 1
о С У\ < • • • < У Г-
о С У\ < • • • < У Г-
(II) Величина(II) Величина(2в)г (п - г)! еХр _26
(II) Величина
(II) Величина
имеет ^-распределение с 2г сте
пенями свободы.
Пусть ¥х, У2, ... обозначают промежутки времени до наступления первого, второго и т. д. событий в процессе Пуассона с параметром 1/20' (см. задачу 1 в главе 1). Тогда величины ZX = YXI(¥, Z2 = (У2—У1)/0', Z3 = = (У3—У2)/0' независимы и имеют каждая распределение %2 с двумя степенями свободы. Совместные плотности Уь ..., ¥г образуют экспоненциальное семейство с плотностью
(2е')гехр( 2уУ(2е')гехр( 2уУ0^У1<. ... ^уг.0^У1<. ... ^уг.
(2е')гехр( 2уУ
(2е')гехр( 2уУ
0^У1<. ... ^уг.
0^У1<. ... ^уг.
Величина Уг/0' имеет распределение %2 с 2г степенями свободы.
Та же модель пригодна для описания испытаний на продолжительность жизни, если число п ламп поддерживается постоянным, для чего перегоревшие лампы заменяются новыми. Здесь У1 обозначает момент времени, когда перегорает первая лампа, У2 — момент, когда перегорает вторая лампа и т. д. При этом предпола1ается, что фиксирован некоторый начальный момент времени, от которого идет отсчет.
[(II) Случайные величины 7/ = (л — i + 1) ^Yt — Yi-\^№ U = 1, • • > г) независимы и каждая из них имеет распределение х2 с двумя степенями свободы и Г ^ ^ + (п — г) Уг= )Г Zi.l
L i = 1J t = 1 J
Математические ожидания и ковариации статистик Tj в экспоненциальном семействе (35) даются формулами
EVTi (X)] = - d log С ^/d&j U = 1А),
Е [Tt (X) Г/ (X)] - VETt (X) ETj (X)] = --^^ V. / = 1)•
Пусть Q означает естественное параметрическое пространство экспоненциального семейства (35), и пусть ^06 —естественное параметриче
ское пространство для семейства условных распределений при условии Тг+\ = = tr+ь •••, Tb = tb (/г+ь . ., tb, г < к — фиксированные числа).
Тогда Q06 содержит проекцию й0 е 6 пространства Q на 6ь .. •, 6Г.
Семейство плотностей
0 является собственным подмножеством0 является собственным подмножествомРе,е2 (*• у) = с (6р е2) ехР (eix + е2У ~ ХУ)> х’ У > °-
0 является собственным подмножеством
0 является собственным подмножеством
дает пример, в котором Q0^ $ер 6/
Литературные ссылки
Теория меры и интегрирования в абстрактных пространствах излагается во многих книгах, в том числе в книгах X а л м о ш а (1950), Лоэва (1955) и Сакса (1937) *).
Определение и основные свойства условных верятностей и математических ожиданий были даны Колмогоровым (1933). Болес детальное изложение, содержащее большое число дополнительных результатов, можно найти в книгах Дуба (1953) и Лоэва (1955) ).
Названия этих книг, а также более специальные ссылки на литературу к разделам 3, 6 и 7 даются ниже.
Бахадур (Bahadur R. R.)
Sufficiency and statistical decision functions, Ann. Math. Stat., vol. 25, 423—462. [Подробное изложение абстрактной теории достаточных статистик, включая теорему факторизации, структурную теорему для минимальных достаточных статистик и обсуждение достаточности для случая последовательных экспериментов.]
Statistics and subfields, Ann. Math. Stat., vol. 26, 490—497.
Бахадур и Леман (Bahadur R. R. and Lehman Е. L.)
Two comments on «sufficiency and statistical decision functions», Ann. Math. Stat, vol. 26, 139—142. [Задача 3]
Дуб (Doob J. L.)
Stochastic Processes, New York, John Wiley & Sons. (Русский перевод: Дж. Л. Дуб, Вероятностные процессы, ИЛ, 1956.)
Колмогоров
Grundbegriffe der Wahrscheinlichkeitsrechnung, Berlin, J. Springer, или русский вариант: A. H. Колмогоров, Основные понятия теории вероятностей, ОНТИ, М., 1936; 2-е изд., М., Наука, 1974.
Л и н н и к Ю. В.
Статистические задачи с мешающими параметрами, М., Наука.
Л о э в (L о ё v е М.)
Probability Theory, New York D. Van Nostrand Co. (Русский перевод второго (1960 г.) издания: М. Лоэв, Теория вероятностей, ИЛ, 1962.) Сакс (Saks S.)
Theory of the Integral, New York, G. E. Stechert and Co. (Русский перевод: С. Сакс, Теория интеграла, ИЛ, 1949.)
X а л м о ш (Н а 1 m о s Р. R.)
Measure theory, New York, D. Van Nostrand Co. (Русский перевод:
П. X а л м о ш, Теория меры, ИЛ, 1953.)
Ха л мош и Сэвидж (Н а 1 m о s Р. R. and Savage L. J.)
Application of the Radon — Nikodym theorem to the theory of sufficient statistics, Ann. Math. Stat., vol 20, 225—241. [Первая абстрактная формулировка понятия достаточной статистики; теорема факторизации. Задача 9]. Эпстейн и Собел (Epstein В. and SobelM.)
Some theorems relevant to life testing from an exponential distribution, Ann. Math. Stat, vol. 25, 373—381. [Задача 13.]
ГЛАВА 3
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ
Постановка проблемы
Мы начинаем теперь изучение статистических проблем, теория которых была разработана в наибольшей степени, а именно проблем проверки гипотез. Как видно из самого названия, при этом хотят выяснить, верна или неверна какая-либо данная гипотеза. Выбор здесь производится только между двумя решениями: принятием или отклонением гипотезы. Решающая процедура в таких проблемах называется критерием гипотезы, о которой идет речь.
Решение должно быть основано на значениях некоторой случайной величины X, о которой известно, что ее распределение принадлежит данному классу ^ = {Ре, 6ей). Мы предположим, что если бы 9 было известно, то можно было бы сказать — верна гипотеза или нет. Соответственно, распределения класса ^ могут быть разделены на две группы: для одной из групп гипотеза верна, а для другой — нет. Эти группы будут обозначаться буквами Н и К, а соответствующие им подмножества Q — буквами ttH и Qk, так что Н U К = 3 и йя U Йк = Q. Математически гипотеза эквивалентна утверждению, что Ре принадлежит Н. Поэтому удобно отождествить гипотезу и это утверждение и обозначать ее также буквой Н. Аналогично мы называем распределения из К альтернативными к Н, так что К есть класс альтернатив.
Обозначим решения, состоящие в принятии или отклонении Н, буквами d0 и d\ соответственно. Нерандомизированная процедура проверки гипотезы приписывает каждому возможному значению х случайной величины X одно из двух решений. Тем самым выборочное пространство делится на два взаимно дополнительных множества So и Si. Если X попадает в So, гипотеза принимается, в других случаях она отвергается. Множество So называется областью принятия гипотезы, а множество Si — областью отклонения или критической областью,
В процессе проверки можно или прийти к правильному решению, или совершить одну из двух ошибок: отвергнуть гипотезу, когда она верна (ошибка первого рода), или принять гипотезу, когда она неверна (ошибка второго рода). Последствия этих ошибок часто оказываются совершенно различными. Например, если проверяется наличие некоторого заболевания, то неправильное заключение о необходимости лечения может создать пациенту неудобства. С другой стороны, неудача в попытке обнаружить имеющееся заболевание может привести к смерти пациента.
Желательно провести проверку таким образом, чтобы свести к минимуму вероятности обоих типов ошибок. К сожалению, когда число испытаний задано, мы не можем управлять обеими вероятностями ошибок одновременно. Обычно задают границу для вероятности отклонения Н, когда она верна, и при этом условии стремятся минимизировать вероятность другой ошибки. Иными словами, выбирают число а между 0 и 1 (называемое уровнем значимости) и налагают условие
Ре{6(X) = d!} = P^{X е SJ^a для всех OeQ^. (1)
При этом условии желательно сделать минимальной РЦЦХ) = = So} для 0 е Q^ или, что то же самое, сделать максимальной
Р6 {6 (X) = dj = Pq {X е SJ для всех 9eQk. (2)
Хотя обычно из (1) вытекает, что
supP0{XeS1} = a,(3)
удобно для левой части (3) ввести специальное название: ее называют размером критерия или критической области.
Принимая условие (1), мы ограничиваемся, следовательно, критериями, размер которых не превосходит заданного уровня значимости. Вероятность (2), рассматриваемая как функция 0, 0 е Qj<, называется мощностью критерия при альтернативе 0. Рассматриваемая как функция 0, 0 е й, вероятность (2) называется функцией мощности критерия и обозначается 0(0).
Обычно выбор уровня значимости а до некоторой степени произволен, поскольку в большинстве ситуаций нет точной границы для «разрешенной» вероятности ошибки первого рода. Стало обычным выбирать для а одно из стандартных значений, таких как 0,005, 0,01, 0,05. Эта стандартизация имеет некоторые преимущества, так как она позволяет сократить объем таблиц, используемых при проведении различных испытаний. Никакой другой специальной причины для выбора именно этих значений нет. Действительно, выбирая уровень значимости, необходимо
также обращать внимание на мощность критерия при альтернативных гипотезах. Если мощность оказывается слишком малой, то может оказаться желательным использование значений а, превосходящих обычные, например 0,1 или 0,2).
Другое обстоятельство, которое часто влияет на выбор уровня значимости — это наше отношение к гипотезе до проведения эксперимента. Если мы твердо верим в истинность гипотезы, то потребуются убедительные свидетельства против нее для того, чтобы мы отказались от своей уверенности; соответственно уровень значимости будет выбран весьма низким (низкий уровень значимости приводит к тому, что гипотеза отвергается при таких комбинациях результатов наблюдений, полная вероятность которых при нашей гипотезе мала, так что появление этих результатов крайне неправдоподобно при справедливости //).
В приложениях мы обычно сталкиваемся с семействами вложенных друг в друга критических областей. В этих случаях полезно определять не только то, что гипотеза принимается или отвергается с данным уровнем значимости, но и указывать для каждого х наименьший уровень значимости а = а(х), критиче.- ский уровень, при котором гипотеза отвергается для данного результата наблюдения. Это число дает представление о том, сколь сильно данные наблюдений противоречат гипотезе (или ее подкрепляют), и делают возможным для других прийти к заключению, соответствующему выбранному ими уровню значимости (см. задачу 7 и в главе 4 задачу 2).
Рассмотрим теперь структуру рандомизированного критерия. При любом х такой критерий приводит к выбору между двумя решениями — принятием или отклонением гипотезы* и этот выбор осуществляется с зависящими от х вероятностями, которые будут обозначаться ф(х) и 1 — ф(х) соответственно. Если X принимает значение х, то производится случайный эксперимент с двумя возможными исходами: R и R, вероятности которых равны Ф(х) и 1 — ф(х). Если эксперимент заканчивается исходом R, то гипотеза отвергается, а в противном случае принимается. Рандомизированный критерий, таким образом, полностью характеризуется функцией ф — критической функцией, 0^ф(х)^1 при всех х. Если ф принимает только значения 0 и 1, то мы возвращаемся к случаю нерандомизированного критерия. Множество точек, в которых ф(х) = 1, совпадает в этом случае с критической областью, так что для нерандомизированного критерия ф является индикатором (характеристической функцией) критической области.
Если X распределена по закону Р0 и используется критическая функция ф, то вероятность отвергнуть гипотезу равна
£еф (X) = ф (х) dP0 (х),
е. равна условной вероятности отклонения гипотезы при данном х, проинтегрированной по распределению X. Задача состоит в выборе такого ф, чтобы сделать мощность
РФ (0) = ^еФ (^) Для всех 0 е Йк(4)
максимальной при условии
Е0ф(Х)^а для всех 0еЙя.(5)
Но здесь возникает та же самая трудность, с которой мы уже встречались в общих рассуждениях главы 1. Как правило, критерий, максимизирующий мощность при какой-либо определенной альтернативе класса К» зависит от этой альтернативы. Поэтому необходимы дополнительные соображения о том, что следует понимать под оптимальной процедурой. Имеется одно важное исключение: если класс К содержит ровно одно распределение, т. е. мы имеем дело с одной альтернативной гипотезой, то проблема целиком определяется соотношениями (4) и (5), и с математической точки зрения сводится к максимизации некоторого интеграла при некоторых определенных ограничениях. Теория для этого случая и ее статистические приложения составляют основное содержание настоящей главы. В некоторых случаях может, конечно, оказаться, что один и тот же критерий максимизирует мощность для всех альтернатив из К (даже если их много). Примеры таких равномерно наиболее мощных (РИМ) критериев будут указаны в разделах 3 и 7.
В данной выше формулировке задачу можно рассматривать, как специальный случай общей проблемы решения с двумя типами потерь. Соответственно двум типам ошибок мы вводим две компоненты функции потерь
( Li (0, di)=l или 0 при 0еЙя или 0 е QK
1 Li (0, d0) = 0 для всех 0 и
( L2 (0, d0) = О или 1 при 0ейя или 0eQk (L2(0, dJ = O для всех 0.
При таком определении проблема проверки гипотезы, как она сформулирована выше, равносильна минимизации £L2(0,6(х)) при ограничении EL\ (0, 6(Х)) а.
Формально введенные функции потерь L\ и L^ вообще говоря, не будут совпадать с истинными потерями. Потеря, воз-
пикающая при ошибочном принятии гипотезы, может не быть одной и той же для всех альтернатив: чем больше отличается альтернатива от основной гипотезы, тем более серьезны последствия такой ошибки. Как было указано ранее, мы намеренно уклонились от большей детализации, требуемой этой критикой. Предпочтительнее основывать теорию на простых и интуитивно привлекательных понятиях ошибок первого и второго рода. Впоследствии мы увидим, что по крайней мере некоторые из результатов остаются верными и в более сложной обстановке.
Фундаментальная лемма Неймана — Пирсона
Класс распределений будет называться простым, если он содержит ровно одно распределение. В противном случае он будет называться сложным. Проблема проверки гипотезы полностью описывается соотношениями (4) и (5), если класс К — простой. Если класс Н также простой, то проблема может быть решена точно. Пусть гипотезе Н соответствует распределение Ро, а гипотезе К — распределение Рь Допустим на время, что эти распределения дискретны, и обозначим Pi^X = x} = Pi(x) для I = 0, 1. Если ограничиться нерандомизированными критериями, то оптимальный критерий соответствует критической области S, для которой
X Ро(х)<«(6)
xeS
И
У Р!(х) = тах.xeS
Нетрудно понять, какие именно точки должны быть включены в S. Выбранные точки должны иметь суммарную вероятность, не превосходящую а, в одном случае, и вероятность возможно большую— в другом. Подобные задачи часто возникают и в иной обстановке. Так, покупатель с ограниченными средствами, желающий приобрести как можно больше необходимых ему предметов, будет руководствоваться их количеством на доллар. Лицо, желающее как можно быстрее преодолеть некоторое расстояние, должно выбирать скорейший способ передвижения, т. е. такой, при котором число миль в час оказывается максимальным. Аналогично и в нашей проблеме, наиболее ценными являются точки х с большими значениями:
г (х) = £ I.WW Ро (X) •
Точки, следовательно, упорядочиваются соответственно величине этого отношения и затем в S включают максимальное число их, согласующееся с требованием (6). Формально это означает, что
S есть множество тех точек х, для которых г(х) > с, где с определяется условием
P0{XeS}= 2 PoW = a.
х: г W<c
Здесь возникает некоторая трудность. Может случиться, что, включив очередную точку, мы еще не достигнем уровня а, а включив следующую — превзойдем его. Точное значение а при этом или совсем не может быть получено, или же достигается присоединением к S какой-либо из следующих по порядку точек. Эта трудность исчезает при переходе к рандомизированным критериям. С помощью рандомизации можно «расщепить» очередную точку, взяв в S такую ее «часть», чтобы получить суммарную вероятность, в точности равную а, не нарушая принятого порядка точек. Эти рассуждения формализуются в нижеследующей теореме (фундаментальной лемме Неймана — Пирсона).
Теорема 1. Пусть Ро и Р\ — распределения вероятностей, обладающие плотностями ро и pt соответственно, по отношению к некоторой мере р).
Существование. Для проверки Н; ро при конкурирующей гипотезе К: Р\ найдется критерий ф и константа к такие, что
£оф№ = « (7) и
1, когда рх^>крйкх\
О, когда рх (х) < kpo(x).
Достаточное условие для критерия наибольшей мощности. Если критерий удовлетворяет требованиям (7) и (8) при некотором к, то он является наиболее мощным критерием уровня а для проверки распределения ро при конкурирующем р\.
Необходи мое условие для критерия наибольшей мощности. Если ф — наиболее мощный критерий уровня а для проверки распределения ро при конкурирующем р\, то при некотором к он удовлетворяет (8) почти всюду по мере р. Он также удовлетворяет (7), кроме случая, когда существует критерий размера < а и мощности 1.
Доказательство. Для а=0 и а=1 теорема очевидным образом верна: достаточно принять в (8) к = + оо, полагая произведение 0-оо равным 0. Поэтому мы предположим в дальнейшем, что 0 < а < 1.
(I) Обозначим а(с) = Po{pi (X)} > ср0{(Х)}. При вычислении Р0-вероятностей достаточно рассматривать множества, где р0(х)>0. Поэтому а(с) равно вероятности того, что случайная величина р\(Х) /ро(Х) превосходит с. Таким образом, 1—а(с) является функцией распределения и а (с) не возрастает и непрерывна справа,
При данном а, 0 а ^ а(со —0)При данном а, 0 а ^ а(со —0)а (с — 0) — а (с) = Ро VP\ №/р0 (X) = с}, а (— оо) = 1, а (оо) = 0.
При данном а, 0 а ^ а(со —0)
При данном а, 0 а ^ а(со —0)
'1,
когда
Р1(х) >
CoPokxY
Ф W = -
а — а (ср)
когда
Pl (х) =
Соро (х),
а (с0 — 0) — а (с0) ’
.0.
когда
Рх (х) <
Соро (х).
< а < 1, определим с0 из соотношений а(с0) ^ и введем критерий ф, полагая
Здесь второе равенство имеет смысл всегда, кроме случая а(со) = а(со — 0), но в этом последнем случае P0{pi(^) = = CopoW^ = 0, следовательно ф определена почти всюду. Размер ф равен
Е<№кХ) — Р0^ рв^ > Со ] + а(со_о)_а(Со) Роу ра(х) —coJ—а-
Таким образом, величина с0, участвующая в формулировке теоремы, может быть выбрана равной А.
Интересно отметить, что величина с0 определяется, по существу, единственным способом. Единственное исключение — это случай, когда а(с)=а для целого интервала значений с. Если (с', с") — такой интервал, причем
тотоС = { х: ро W > о и с' < Ррй £] < с" },
то
то
Р0(С) = а (с') — а (с" — 0) = 0 и р(С) = 0, Pt(C) = 0.
То есть множества, соответствующие различным значениям с, отличаются друг от друга точками, в совокупности имеющими нулевую вероятность при обоих распределениях, и потому вообще могут быть исключены из выборочного пространства.
(П) Предположим, что критерий ф удовлетворяет (7) и (8). Пусть ф* — какой-либо другой критерий с £оф*(^)^ ос. Обозначим S+ и S- множества точек выборочного пространства, в которых ф(х)—ф*(х)>0 и ф(х)—ф*(х)<0 соответственно. Если xeS+, то ф(х) > 0 и pi(x)> кроклУ Аналогично pi(x)^ крокх) для всех х е S-. Следовательно,
(ф — Ф*) (pi — кро) du = ^ (ф — ф*) (р! — кр0) dp > 0,S+US™
и для разности мощностей ф и ф* получаем
(ф — ф*) pi dp > к (ф — ф*) рй dp > 0,
что и требовалось доказать.
Предположим, что ф* является наиболее мощным критерием уровня а для проверки гипотезы р0 при альтернативе рь и ф удовлетворяет условиям (7) и (8). Пусть S обозначает пересечение множества S+ U 5_, на котором ф =# ф*, и множества {х: pi(x)=# kp^x^Y Допустим, что p(S)>0. Так как произведение (ф — Ф*) (pi — кр0^ положительно на S, то
5 (ф — Ф*) (Pi — кРо) ^ц = ^ (ф — ф*) (р, — кр0^ dp > 0, s+us~ s
т. е. ф оказывается при альтернативе pi более мощным, чем ф*. Мы приходим к противоречию. Следовательно, p(S) = 0, что и требовалось доказать.
Если бы ф* имел размер < а и мощность < 1, то было бы возможно включить в критическую область дополнительные точки (или «части» точек). Этим мы увеличили бы или мощность до 1, или размер критерия до а. Таким образом, или Е0ф*Р0 = = а, или Е1ф*(Х) = 1.
Доказательство части (III) показывает, что наиболее мощный критерий определяется соотношениями (7) и (8) однозначно всюду, кроме, быть может, точек, для которых pi^ = kp^xY На этом множестве ф можно определить произвольным образом, лишь бы размер критерия был равен а. Действительно, мы показали, что на этом пограничном множестве ф можно выбрать постоянным. В тривиальном случае, когда существует критерий мощности 1, константа к в (8) равна 0, и мы будем принимать Н во всех точках, где p\^=kp^xY хотя, быть может, размер критерия окажется меньше а.
Из этих замечаний вытекает, что наиболее мощный критерий определяется однозначно из соотношений (7) и (8) (с точностью до множеств нулевой меры) каждый раз, когда множество р\(х>)= кро^ имеет р-меру, равную 0. Очевидно, что этот единственный критерий будет нерандомизированным. Вообще, мы видели, что рандомизация может потребоваться только на пограничном множестве и только в случае необходимости сделать размер критерия в точности равным а. На практике предпочитают в таком случае заменить уровень значимости таким, который не требует рандомизации. В случае, когда существует критерий мощности 1, соотношения (7) и (8) по-прежнему определяют наиболее мощный критерий, но он может не быть единственным, поскольку может существовать другой наиболее мощ-
ный критерий, удовлетворяющий (7) и (8) при некотором а' < а.
Следствие 1. Пусть 0 обозначает мощность наиболее мощного критерия уровня а для проверки гипотезы Ро при конкурирующей Р\. Тогда а.< 0„ за исключением случая РО = РХ.
Доказательство. Так как критерий уровня а, определяемый формулой ф(х)= а, имеет мощность а, то ясно, что а ^ 0. Если а = 0< 1, то критерий ф(х)=а оказывается наиболее мощным, и по теореме 1 (III) он должен удовлетворять (8).
Тогда р0(х) = pi(x) почти всюду по мере р, следовательно Ро = Рь
Альтернативный метод доказательства теоремы настоящего раздела основан на следующем геометрическом представлении проблемы проверки простой гипотезы при простой альтернативе. Пусть N обозначает множество всех точек (а, 0), обладающих свойством: существует критерий ф, для которого
а=:£оф№, 0 = £1Ф(Х).
Это множество выпукло, содержит точки (0,0) и (1,1) и центрально симметрично по отношению к точке ( ^ » у) (т* е* вместе с любой точкой (а, 0) это множество содержит также точку (1—а, 1—0)) (рис. 3,а). Кроме того, множество замкнуто. [Это следует из теоремы о слабой компактности множества критических функций, см. теорему 3 в добавлении; аргументация совпадает с используемой в доказательстве теоремы 5(1).]
При каждом 0 < а0 < 1 критерии уровня а0 изображаются точками, абсциссы которых ^а0. Наиболее мощный из этих критериев (а он существует, так как N замкнуто) соответствует точке на верхней границе N, имеющей абсциссу ао- Эта точка будет
единственной, соответствующей наиболее мощному критерию уровня ао, за исключением случая, когда в N существует точка (а, 1) с а < а0 (см. рис. 3, б).
Рассмотрим в качестве примера геометрическое доказательство следствия 1. Предположим, что для некоторого 0 < ао < 1 мощность наиболее мощного критерия уровня ао равна ао. Тогда из выпуклости N следует, что включение (а, 0)е N влечет Р ^ а, а из симметрии N вытекает, что N совпадает с отрезком, соединяющим точки (0,0) и (1,1). Это означает, что ФРо^|1= ^ ФР1 dp для всех ф и потому р0 = рх p-почти всюду, что и требовалось доказать.
Опирающееся на эти идеи доказательство теоремы 1 содержится в более общем доказательстве теоремы 5.
3. Распределения с монотонным отношением правдоподобия
Случай, когда и проверяемая гипотеза, и класс альтернатив являются простыми, представляет главным образом теоретический интерес, так как в прикладных задачах встречаются, как правило, параметрические семейства распределений, зависящие от одного или нескольких непрерывных параметров. В простейшей из подобных ситуаций распределения зависят от одного действительного параметра и проверяемая гипотеза является односторонней, скажем Н: 6 ^ 90. Наиболее мощный критерий проверки Н при альтернативе 91 > 9о зависит, вообще говоря, от 91 и потому не будет РНМ. Однако при некоторых дополнительных требованиях РНМ критерий существует. Говорят, что зависящее от действительного параметра семейство плотностей имеет монотонное отношение правдоподобия, если для любых 9 и 9' распределения Р6 и Ру различны и существует функция Т(х) такая, что отношение ру (х) / ре (х) является неубывающей функцией от Т (х).
Теорема 2. Пусть 9 — действительный параметр и случайная величина X имеет плотность вероятности ре(х) с монотонным относительно Т(х) отношением правдоподобия. Тогда
Для проверки Н: 9 ^ 9о при конкурирующей гипотезе К: 9 > 90 существует РНМ критерий
Г 1,когда>с,ф (х) = •V.когда= С,.0,когдаПх)<С,Г 1,когда>с,ф (х) = •V.когда= С,.0,когдаПх)<С,(9)(9)
Г 1,
когда
>с,
ф (х) = •
V.
когда
= С,
.0,
когда
Пх)
<С,
Г 1,
когда
>с,
ф (х) = •
V.
когда
= С,
.0,
когда
Пх)
<С,
(9)
(9)
где Сиу выбираются так, чтобы выполнялось равенство £ооф(х)=а.(10)
Функция мощности
0(0) = Е6ф№
этого критерия строго возрастает во всех точках, где 0(0) < 1.
Для всех О' критерий, определенный равенствами (9) и (Ю), является РНМ для проверки Н': 0 ^ О' при конкурирующей К':9> 9' и при уровне а' = 0(0').
Для любого 0 < 9о наш критерий минимизирует 0(0) (вероятность ошибки первого рода) в классе всех критериев, удовлетворяющих (10).
Доказательство. (I) и (II). Рассмотрим сначала гипотезу Н: 0 = 0о и некоторую простую альтернативу 0i > 0о. Применяя фундаментальную лемму, мы находим, что наиболее мощный критерий отклоняет гипотезу, когда
Ре, () Г
Ре0(*)’
или, эквивалентным образом, когда
Т (х) > С *).
Из теоремы 1 (I) следует, что существуют такие постоянные С и у, что равенства (9) и (10) выполняются. Если 0' < 0", то по теореме 1 (II) соответствующий критерий является наиболее мощным для проверки Ре, при конкурирующей Ру и при уровне а'= 0(0'). Утверждение (II) теоремы вытекает теперь из следствия 1. Так как 0(0) не убывает, то критерий удовлетворяет неравенствам
Ееф(Х)^а для 0<0О.(11)
Класс критериев, для которых верно (11), содержится в классе критериев с EQ^(V)^a. Так как данный критерий максимизирует 0(01) в этом более широком классе, он тем более максимизирует 0(01) при условии (11). Так как он не зависит от специального выбора альтернативы 01 > 0о, то он является РНМ при альтернативе К.
доказывается аналогичными рассуждениями.
следует из того факта, что критерий, минимизирующий мощность в задаче проверки простой гипотезы при простой аль. тернативе, получается из фундаментальной леммы (теорема 1) если в ней все неравенства заменить на обратные.
Очевидными изменениями проведенных рассуждений мы получим решение двойственной проблемы Н: 0 ^ 0О, К: 0 < 0ц.
Ниже будут даны некоторые примеры семейств с монотонным отношением правдоподобия и соответствующих РНМ критериев. Однако главные применения теорема 2 получит позже, когда в качестве подобных семейств будут выступать или множества условных распределений, взятых по отношению к некоторой достаточной статистике (главы 4 и 5), или распределения максимального инварианта (главы 6 и 7).
Пример 1. Из партии, содержащей N деталей, наудачу берут п деталей и каждую из них проверяют. Если полное число дефектных изделий в партии равно D, то число X дефектных изделий в выборке имеет гипергеометрическое распределение
(?)C-f)
РИ-»1-Рв(»)_—, Д .»-0. ID.
G /
Интерпретируя Pd^ как плотность по отношению к мере ц, которая для каждого множества на прямой равна числу содержащихся в нем точек с целыми неотрицательными координатами, и замечая, что
PD+1 (х) D + 1 N - D - п + х" PD (х) N - D D+\-x’
мы заключаем, что рассматриваемые распределения имеют монотонное отношение правдоподобия с Г(х) = х. Следовательно, существует РНМ критерий проверки гипотезы Н: D ^ Do при альтернативе К: D > Do. Этот критерий отвергает Н, когда X чрезмерно велико. Аналогичный критерий можно построить для проверки ЛГ: D ^ Do.
Важный класс семейств распределений, для которых выполняются предпосылки теоремы 2, образует однопараметрические экспоненциальные семейства.
Следствие 2. Пусть 9 — действительный параметр и пусть X имеет распределение с плотностью (по отношению к некоторой мере р)
р^ (х) = С (0) eQ <0) т м А (х),(12)
где Q — строго монотонная функция. Тогда существует РНМ критерий для проверки // : 0 ^ 0О при альтернативе К : 0 > 0О. Если Q возрастает, то
Ф (х) = уОФ (х) = уО1 при Т (х) > С,
Ф (х) = у
О
Ф (х) = у
О
при Т (х) = С,при Т (х) < С,
где Сиу определяются равенством Е^ф^) —а. Если Q убывает, то эти неравенства заменяются противоположными.
Если X имеет дискретное распределение, то правая часть (12) будет обозначаться Ре(х). Как и в примере 1, ре(х) может рассматриваться как плотность по отношению к мере р, которая
для любого множества на прямой равна числу возможных значений X, входящих в него.
Пример 2. Биномиальное распределение Цр,п} с
/W)=(”)px(l-p)"~x
удовлетворяет (12) с Г(х)=х, 9 — р, Q(p) = log[р/(1 — р)]. Проблема проверки гипотезы Я: р ^ Ро возникает, например, в обстановке примера 1, если предположить, что процесс производства подвергается статистическому контролю и при этом результаты обследования выбранных изделий независимы с вероятностью встречи дефектного изделия, равной р. Число X дефектных изделий в выборке объема п является в этом случае достаточной статистикой для совместного распределения случайных величин Xi (i = 1, ... .п), где Xi обозначает число дефектных изделий при i-м обследовании (т. е. О или 1). Очевидно, X имеет биномиальное распределение Ь(р, п). Следовательно, существует РИМ критерий проверки Я, который отвергает эту гипотезу, если X слишком мало.
Другой план выбора, который иногда применяется в «биномиальной» ситуации, — это обратный биномиальный выбор. Здесь испытания заканчиваются только по достижении определенного числа m успехов (например, выздоровлений при использовании нового способа лечения). Пусть У/ обозначает число испытаний между (/— 1)-м и i-м успехами. Тогда вероятность того, что Yi = = у, равна pqy, у = 0, 1, ... Поэтому совместное распределение величин Уь ..., Ym равно,
Рр^\> •••• Ут)= Рт<?81. у6 = 0, 1,6=1т.
Это семейство оказывается экспоненциальным с Т(у) = hyt и Q(p) = = log( 1 — р). Так как Q(p) — убывающая функция р, то РИМ критерий проверки гипотезы Я: р ^ р0 отвергает ее, когда Т слишком мало. Этот вывод совпадает с тем, чего естественно было бы ожидать, поскольку наступление m успехов при числе испытаний, лишь немногим превосходящем т, указывает на большое значение р. Статистика Г, равная разности между числом испытаний до т-го успеха включительно и числом т, имеет отрицательно-биномиальное распределение (глава 1, задача 1 (I)):
Пример 3. Если Хь ..., Хп независимы и распределены по закону Пуассона с Е^Х^ = X, то их совместное распределение равно
PxU\, .... хп^PxU\, .... хп^X 1п .xj ... хп\ *X 1п .xj ... хп\ *
PxU\, .... хп^
PxU\, .... хп^
X 1п .
xj ... хп\ *
X 1п .
xj ... хп\ *
Мы снова получаем экспоненциальное семейство с Т^ = Sxz и Q(X) = = log %. Односторонние гипотезы о значении X могут возникать, например, если X обозначает плотность бактерий, а Хк — количество бактерий в пробах; или если Хк обозначают число а-частиц, выделяемых в равные и непере- секающиеся промежутки времени радиоактивным источником, и т. д. РИМ критерий для гипотезы X ^ Хо отвергает ее, если ^Xi чрезмерно велика. Здесь статистика HXi, на которой основан критерий, сама имеет распределение Пуассона с параметром пХ.
Вместо того чтобы наблюдать радиоактивное вещество заданное время или подсчитывать число бактерий на определенном участке стеклянной пластинки, можно использовать также метод «обратной выборки»). В этом
случае эксперимент продолжается (или интервал наблюдения расширяется) до появления m-го из интересующих нас объектов. Результатом наблюдения является система чисел Гь ..., Тт, равных соответственно времени до первого появления, времени от первого появления до второго и т. д. Если наблюдаемый процесс — процесс Пуассона и число появлений во временном или пространственном промежутке длины т имеет распределение
p^—.^Le-^, х = 0, 1
то величины Ть ..., Тт независимы и каждая имеет показательное распределение с плотностью Хе-^ для / ^ О (см. задачу 1 (II) в главе 1). Совместные плотности
(
т \
образуют экспоненциальное семейство с Т(/ь ..., /т) = 2// и Q(X) =—X. РИМ критерий проверки Н: X ^ Хо отвергает ее, когда Т = HTi слишком мало. Так как 2XTi имеет плотность х12е~и/2 при и ^ 0, т. е. такую же, как Х2-распределение с двумя степенями свободы, то 2ХТ имеет х2-распределение с 2т степенями свободы. Поэтому границу критической области можно определить по таблицам х2-распределения.
В формулировке проблемы проверки гипотез, данной в начале этой главы, потери, возникающие от принятия неправильного решения, выражались в терминах ошибок первого и второго рода. Чтобы прийти к более детальному описанию задачи проверки //: 0 ^ 0о при альтернативе 0 > 0о, можно поставить ее как проблему с решениями d0 (принятие Н) и di (отклонение Н) и функцией потерь L(0, d/) = Lt (0). Обычно Lo(0) = O при 0 ^ 0о и строго возрастает при 0 ^ 0О; Li(0) = 0 при 0 ^ 0О и строго убывает при 0 ^ 0о. Разность Lx и Lo удовлетворяет неравенству
Lx (0) - Lo (0) ^ 0, если 0 ^ 0О. (13)
Теорема 3. (I) В предположениях теоремы 2 семейство критериев, определяемых формулами (9) и (10) с О^а^ 1, является существенно полным, если допустить, что функции потерь удовлетворяют (13).
Это семейство является минимальным существенно полным, если множество точек х, для которых р^^ > 0, не зависит от 0.
Доказательство. (I) Для любого критерия ф функция риска равна
R (0, ф) = ^ р0 (х) {ф (х) Lx (0) + [1 — Ф (х)] Lo (0)} dp (х) =
= J Ро (х) {Lo (0) 4- [L1 (0) — Lo (0)1 ф (х)} dp (х)
и, следовательно, разность двух функций риска равна
R (9, ср') — R (0, ф) = [Л, (0) — Lo (0)] $ (ф' — ф) р6 dp.
Это выражение ^0 для всех 0, если
Рф'(6) —Рф(6) = ^ (ф'-ф)Р9^§° при ege0.
Для заданного критерия ф положим Е6о ф(Х) = а. Из теоремы 2 (I) следует, что существует удовлетворяющий (9) и (10) РИМ критерий ф' уровня а для проверки гипотезы 9 = 9о при альтернативе 0 > 0о- По теореме 2 (IV) ф' также минимизирует мощность при 0 < 0о. Поэтому /?(9, ф') ^ Р(9, ф) при всех 0, что и требовалось доказать.
(II) Пусть фо и фо, имеют размеры а и а' соответственно и, кроме того, являются РИМ для проверки гипотезы 9 = 90 при альтернативе 0 > 90. Тогда Рфа (0) < рФо, (0) при всех 0 > 90, исключая случай Рфа(9) = 1. Рассматривая задачу проверки той же гипотезы 0 = 9о при альтернативе 0 < 0g, заключаем, что это неравенство выполняется и при всех 0 < 9о, исключая случай рФа,(0) = О. Так как, в силу наших предположений, исключительные случаи невозможны, то R (0, ф') S R (9, ф) при 9 ^ 90. Следовательно, каждая из двух функций риска лучше другой для подходящих значений 9.
Теперь мы видим, что полученный ранее класс РИМ критериев, соответствующих различным величинам уровня значимости, является существенно полным классом в значительно более общей проблеме решения, в которой функции потерь должны удовлетворять некоторым широким качественным условиям. С этой точки зрения фиксирование уровня значимости можно рассматривать как простой способ выбора какой-либо отдельной процедуры из существенно полного класса.
Свойство монотонности отношения правдоподобия порождает весьма сильное упорядочение семейства распределений. В дальнейшем мы будем использовать также следующее несколько более слабое определение. Семейство одномерных функций распределения Fg будет называться стохастически возрастающим (этот же термин будет применяться и к случайным величинам с такими функциями распределения), если эти распределения различны и из 9 < 9' вытекает Fe(x)^Fe, (х) для всех х. Тогда, если X и X' имеют распределения Fg и Fg,, соответственно, то при всех х Р{Х > х}^ Р(Х' > х}, так что X' имеет тенденцию принимать большие значения, чем X. В этом случае мы скажем, что случайная величина X' стохастически больше X. Это отношение
между величинами поясняется следующей леммой, характеризующей стохастическое упорядочение двух распределений.
Лемма 1. Пусть Fq и Fy— две функции распределения на прямой. Неравенство Fy^^ Fo^ выполняется при всех х в том и только том случае, когда существуют две неубывающие функции fo и fy и случайная величина V такие, что (а) /0(у) ^ Л(^) при всех и и (б) распределения fo(V) и fi(V) совпадают с F^ и Fy соответственно.
Доказательство. Допустим сначала, что требуемые /о, fi и V существуют. Тогда .
Fy (х) = Р {fy (V) ^}^Р {f0 (V) < х} = Fo (х)
при всех х. Обратно, пусть Fy (х) ^ F^x^ при всех х и пусть fi^y) = inf {х : Fi\x — 0) ^ у ^ F^x^, i = 0, 1. Эти функции не убывают и для них выполняются неравенства (мы для краткости опускаем индекс /):
/ VF (х)] ^ х и F [/ (у)] ^ у для всех х или у.
Поэтому y^F^Xo) влечет f (у) ^/[^(хо)] ^ х0 и, обратно, /(у) ^ х0 влечет ^[/(у)] ^ ^(хо) и у ^ F(х0), так что неравенства f(y)^Xo и у ^ ?(хо)— эквивалентны. Пусть V распределено равномерно на (0, 1). Тогда Р{fi(V) ^ х) = Р{V ^ Fi(x)} = = Л(х). Из того, что при всех х Fy^^F^x^ вытекает, что при всех у fo(y)^ Л(у), чем доказательство завершается.
Одним из простейших примеров стохастически упорядоченного семейства является семейство с параметром сдвига, т. е. семейство, для которого
Покажем, что это семейство стохастически возрастает. Пусть X —случайная величина с функцией распределения F(x). Тогда из 0 < 0' вытекает
F (х ~ 0) — Р {X < х - 9} ^ Р {X С х - 0') = F (х - 0'), что и требовалось доказать.
Другим примером могут служить семейства с монотонным отношением правдоподобия. Это видно из приводимой ниже леммы, в которой указываются некоторые существенные черты таких семейств.
Лемма 2 *). Пусть р^ (х)— семейство одномерных плотностей с отношением правдоподобия, монотонным относительно х.
Если ф— неубывающая функция х, то Е^(х)— неубывающая функция 6; если Ль ..., Хп независимы и имеют одну и ту же плотность р^, а ф'— функция от хх, ..., хп, неубывающая по каждому аргументу в отдельности, то Е^' (Ль ..., Л„) является неубывающей функцией 6.
Для любых 0 < 0' функции распределения X, соответствующие значениям 0 и 0' параметра, удовлетворяют неравенству
Fw (х)<.ЕДх) при всех х.
Пусть ф— функция, меняющая знак ровно один раз. Более точно, пусть существует значение х0 такое, что ф(х)^0 при х < хо и ф(х) ^ О при х ^ х0. Тогда существует 0О, для которого Ееф(Л) ^.0 при 0 < 0о и £еф(Л) ^ 0 при 0 > 0о; при этом исключается случай, когда Ееф(Л) положительно (или отрицательно) при всех 0.
Доказательство. (I) Пусть 0 < 0'. Обозначим А и В множества, на которых соответственно р^Дх) < ре(х) и рвДх) > > ре (х). Если а = зирф(х) и 6 = ш!ф(х), то Ь — а^О и
\We--P9W>a $ (Ру-Ре)^ + Ь^(рд,-р6^р =
= Ц>-а> J (pe, — p^ dp > 0,
что доказывает первое утверждение. Для п >• 1 применяется индукция.
Положим ф(х) = 1 при х>• х0 и 4>(х) = 0 в других случаях. Тогда утверждение (II) следует из (I).
Мы покажем сначала, что при любых О' < 0" из Е0.'ф(Х)>О вытекает Ее,;ф(Х)>0. Если р0„(хо)/р6, (х0) = оо, то рв,(х) = 0 при х^х0 и, следовательно, Ед,^ (X) ^ 0. Допустим поэтому, что Р9»(хо)/ре-(хо) = с < оо. Тогда -ф(х)>0 на множестве S = (х: рд, (х) = 0 и р6„ (х) > 0} и
\ сфр9, dp= сЕ6,^ (Х)^0.X»\ сфр9, dp= сЕ6,^ (Х)^0.X»Ед^ (X) > ( -ф ^1 p^ dp > ^ сфрв, dp +уРе'~
\ сфр9, dp= сЕ6,^ (Х)^0.
X»
\ сфр9, dp= сЕ6,^ (Х)^0.
X»
5“-оо
Выбирая 0О = inf{0: Еди^Х) > 0}, мы приходим к нужному результату.
Часть (II) леммы показывает, что каждое семейство распределений с монотонным по х отношением правдоподобия является стохастически возрастающим. Обратное утверждение неверно.
Так, для распределений Коши
1
л 1 + (х — О)2
отношение правдоподобия не будет монотонным, хотя семейство стохастически возрастает (так как 0 — параметр сдвига). Условия, при выполнении которых семейство с параметром сдвига обладает монотонным отношением правдоподобия, даны в главе 8 (пример 1).
Сравнение экспериментов )
Предположим, что для проверки простой гипотезы Н при простой альтернативе К возможно провести различные эксперименты. Допустим, что результатом одного эксперимента является случайная величина X, которая имеет плотность ^g^ при гипотезе Н (К); результатом другого эксперимента пусть будет X' с плотностью f'(g'). Обозначим 0(a) и 0'(а) мощности наиболее мощных критериев, основанных на X и X' соответственно. В общем случае соотношение между 0(a) и 0'(а) зависит от а. Однако, если 0'(a) ^ 0(a) при всех а, то X или эксперимент f(g) будет называться лучше информирующим, чем X'. Рассмотрим, например, экспоненциальное семейство плотностей ро(х) (см. (12)) и примем
f = f' = P6„ g = Pv g' = P(h> гДе 6о < 6i < 62-
Тогда, в силу теоремы 2, эксперимент (f, g) лучше информирует, чем (Г,^).
Простое достаточное условие ) того, чтобы X лучше информировало, чем Хг, состоит в том, что существуют функция А(х, и^ и случайная величина U, не зависящая от X и имеющая известное распределение, такие, что плотность У = h (X, U) равна f' или g', если плотность X равна f или g. Так же как и в теории достаточных статистик, это утверждение вытекает из возможности построить, исходя из X (с помощью (У) случайную величину У, эквивалентную X'. Можно рассуждать также следующим образом. Пусть ф(х')—наиболее мощный критерий уровня а для проверки f' при альтернативе g'. Положим ф(х) = Еф [й(х, (У)]. Тогда Еф(Х) = Еф(Х') как при Н, так и при К. Критерий ф(х) имеет уровень а и мощность 0'(а) и, следовательно, 0(a) >
В случаях, когда указанная функция h существует, мы будем говорить, что эксперимент (f, g) достаточен для (f, g'). Тогда, если Хх, ..., Хп и Х(, ..., Хп — суть выборки из распределений, соответствующих X и X', то первая из этих выборок лучше информирует, чем вторая. Она также лучше информирует, чем (2Ь ..., Zn)» где каждое из Zi с некоторой вероятностью равно Xi или Xi.
Пример 4. Каждый элемент совокупности обладает или не обладает одним из двух признаков — А и В. Необходимо проверить гипотезу о независимости этих признаков. Вероятности р = Р(А) и л = Р(В) (т. е. доли объектов, обладающих признаками А и В) предполагаются известными. Это знание может проистекать оттого, что ранее каждый из признаков был исследован по отдельности. Вероятности четырех возможных комбинаций АВ, АВ, АВ, АВ, как вычисленные при гипотезе независимости, так и вычисленные при альтернативе, что Р(АВ) равно некоторому заданному р, — приведены в следующей таблице:
При Н
При К
В
в
в
В
А
А
рП
(1 — Р) Л
р (1 — л)
(1 -р)(1 - л)
Р л — р
р — р
1 — р — Л + р
Допустим, что экспериментальный материал доставляется выборкой объема s. Эта выборка может быть взята, например, наудачу из числа элементов совокупности, которые обладают признаком А. Для каждого элемента выборки отмечают, обладает он признаком В или нет, т. е., следовательно, имеют дело с выборкой из биномиального распределения с вероятностями
Н: Р(В|Д) = л и К: Р (В М)=^-.
Вместо А можно было бы взять какой-нибудь из остальных признаков. При этом каждый раз получалась бы выборка из биномиального распределения. Соответствующие вероятности приведены в таблице:
Выбранная совокупность
Вероятность
н
к
А
Р (В 1 Д)
л
р/р
В
Р (Д 1 В)
р
р/л
В
р (Д I В)
р
(р-р)/(1 - л)
А
р (В 1 д)
л
(л — р)/(1 — р)
Не ограничивая общности, допустим, что обозначения классов А, А, В и В выбраны так, что р ^ л ^ V2. Мы покажем теперь, что из четырех перечисленных экспериментов первый (выбор из А) является лучше всего информирующим и, более того, достаточным для каждого из оставшихся остальных.
Сравним выбор из А и из В. Пусть X и X' принимают значения 0 и 1, и пусть вероятность равенства единице дается соответственно первый и второй строками таблицы. Пусть U не зависит от X и распределено равномерно на (0,1), и пусть У — h(X, U) = 1 при X = 1 и (/ ^ р/л, У = 0 в других случаях. Тогда Р^У = 1) равна р при Н и равна р/л при К, так что У имеет то же распределение, что и X'. Этим доказано, что X достаточно для X' и, следовательно, является лучше информирующим. Для сравнения выбора из Л и выбора из В положим У = 1 при X = 0 и U ^ р/1 — л, У = 0 в других случаях. Тогда вероятности события У = 1 совпадают с указанными в третьей строке таблицы. Наконец, вероятности события У = 1 совпадают с указанными в последней строке таблицы, если положить У = 1 при X = 1 и U ^ ^ (л — р)/(1 — р) и при X = 0 и U > (1 — л — р)/(1 — р).
Из общих замечаний, предшествующих разбираемому примеру, вытекает, что экспериментальный материал, если он должен доставляться выборкой объема s, необходимо брать из категории Л, т. е. самой редкой из всех категорий. Этот способ предпочтительнее извлечения выборки объема s из всей совокупности, так как последняя процедура эквивалентна выбору каждого элемента или из А (с вероятностью р), или из А (с вероятностью 1 —р).
Установленное соотношение между различными экспериментами не зависит не только от а, но и от р. Далее, если выборка взята из категории Л, то по следствию 2 существует РИМ критерий Н при односторонней альтернативе положительной связи: Р(В|Л) > л, т. е. р > рл, в соответствии с которой вероятности АВ и АБ больше, а вероятности АВ и АВ меньше, чем при гипотезе независимости. Этот критерий обладает наибольшей мощностью, которой можно достичь, проверяя гипотезу независимости по выборке объема s.
Пример 5. В процессе Пуассона число событий, наступающих в интервале времени длины и, имеет распределение Пуассона P^XvV Проблема проверки гипотезы о том, что значение параметра равно Хо при альтернативном значении Хь возникает и при изучении пространственного распределения частиц в объеме и. Покажем, что эксперимент информирует тем лучше, чем длиннее промежуток наблюдения и. Пусть и < w. Обозначим X и У число событий в промежутках (/, / + и) и (f + о, / + w). Тогда величины X и У независимы и имеют каждая распределение Пуассона; Z = X + У является достаточной статистикой для X. Таким образом, каждый критерий, основанный у X, может быть заменен равносильным критерием, основанным на Z, т. е. Z лучше информирует, чем X. То, что Z действительно информирует существенно лучше, чем X (в очевидном значении этого высказывания), можно понять из следующего: единственный наиболее мощный критерий проверки Хо при альтернативе Xi зависит от X + У и, следовательно, не может быть заменен критерием, основанным только на X.
Иногда бывает невозможно определить число наступивших событий, но можно установить, имело ли место хотя бы одно из них или нет. В бактериологии, например, бактериальная культура смешивается с некоторым количеством воды, из которой берется затем несколько проб фиксированного объема и каждая испытывается на наличие или отсутствие в ней бактерий, т. е. в каждой из п проб может наступить или не наступить некоторое событие. В результате мы приходим к биномиальной схеме с вероятностью успеха (т. е. появления по крайней мере одной бактерии)
р = 1 — е“Хо.
Так как очень большие иди очень маленькие объемы почти достоверно привд*
дят к успеху или неудаче, то можно подозревать, что для проверки Ло при альтернативе Л) промежуточные значения о лучше информируют, чем крайние. Оказывается, однако, что эксперименты (Лоу. Xtt>) и (Ло®, Xi®) не сравнимы ни при каких значениях о и w (см. задачу 14) *).
Доверительные границы
Теорию РНМ односторонних критериев можно применить к отысканию нижней и верхней границ для действительного параметра 6. Задача отыскания нижней границы возникает, например, когда 9 есть величина разрушающего усилия для нового сплава; отыскание верхней границы необходимо, когда 9 — токсичность медикамента или вероятность нежелательного события. Рассуждения для случая верхней и нижней границ сходны. Поэтому достаточно рассмотреть только случай нижней границы 9.
Так как 9 = 9(Х) должно быть функцией результатов наблюдения, то невозможно требовать, чтобы 9 достоверным образом было меньше 9. Можно лишь требовать, чтобы вероятность этого события была близка к единице. Выберем число 1 — а — доверительный уровень — и ограничимся границами 9, для которых
Ре{9(^)<9} > 1 — а для всех 9.(14)
Функция 9 называется нижней доверительной границей для 9, соответствующей доверительному уровню 1 — а; точная нижняя грань левой части (14), которая практически обычно равна 1 — а, называется доверительным коэффициентом 9.
Границу 9 следует выбирать так, чтобы она удовлетворяла условию (14) и недооценка 9 была возможно меньше. Можно потребовать, например, чтобы вероятность попадания 9 левее любого 9 была минимальна. Функция 9, для которой
Р6 {9 (XX 9'} = min(15)
при всех 9'< 9, и для которой имеет место (14), называется равномерно наиболее точной нижней доверительной границей для 9, соответствующей доверительному уровню 1 — а.
Пусть £(9, 9) обозначает меру потерь, возникающих от недооценки 9, так что при каждом фиксированном 9 функция L^, 9) определена и неотрицательна для 9 < 9, и не возрастает по второму аргументу. Тогда желательно минимизировать
£eL(9,9)(16)
*) Воспрос о выборе и в этой и подобных ситуациях обсуждается у Н о d - ges, The choice of inspection stringency in acceptance sampling by attributes, Univ. Calif. Publ. Statistics, 1 (1949), I—14.
при условии (14). Можно показать, что равномерно наиболее точная нижняя доверительная граница 9 минимизирует (16) при условии (14), какова бы ни была функция потерь L (см. задачу 17).
Отыскание равномерно наиболее точных нижних доверительных границ облегчается введением более общего понятия, которое будет рассмотрено детальнее в главе 5. Семейство подмножеств S(x) пространства параметров Q является, по определению, семейством доверительных множеств, соответствующих доверительному уровню 1 — а, если
Р0{9 е S(X)} ^ 1 — а для всех 9 е Q,(17)
т. е. если случайное множество S(X) покрывает истинную параметрическую точку с вероятностью ^ 1 — а. Нижняя доверительная граница соответствует специальному случаю, когда S(x) есть односторонний интервал
S(х) = {0: 9(х)<9 < оо).
Теорема 4. (I) Рассмотрим для каждого 80е йкакой-либо критерий уровня а для проверки гипотезы //(9О):9 = 90. Обозначим А(90) область принятия гипотезы. При каждом х определим множество S(x) значений параметра, полагая
S(x) = {9: хе А (9), 9 ей}.
Тогда S{x) является семейством доверительных множеств для 9 с доверительным уровнем 1 — а.
Если А(90) является РНМ критерием уровня а для проверки Н(%) при альтернативе K^oV то S(x) минимизирует вероятность
Р6 {9' е S (X)} для всех 9 е К (9')
в классе всех семейств доверительных множеств для 9 с доверительным уровнем 1 — а.
Доказательство. (I) По определению S(х)
9eS(x) тогда и только тогда, когда хеА(9),(18)
и, следовательно,
Р6 {0 е S (X)} = Р6 {X е А (9)} > 1 - а.
Если S*(x)— любое другое семейство доверительных множеств уровня 1 — а и если А*(9) = {х: 9 е S*(x)}, то
Р0 (X е А* (9)} = Р0 {9 е S* (X)} > 1 - а,
так что А*(90) является областью принятия для критерия Я(9о) с уровнем а. Из допущений, касающихся А(90), вытекает, что
при любом 6 е ^(9o)
Рв{ХеЛ*(9о)}>Ре{А'еД(ео)}
и что, следовательно,
Pe{9oeS*(X)}>Pe{0oeS(X)},
что и требовалось доказать.
Соотношение эквивалентности (18) описывает структуру доверительных множеств S (х); S (х) есть совокупность тех значений параметра, для которых принимается //(0) в случае, когда наблюдается х. Семейство доверительных множеств связывается, таким образом, с критериями различных гипотез //(0), показывая как те значения, при которых гипотеза принимается (9 е eS(x)), так и те, при которых она отвергается (OeS(x)).
Следствие 3. Допустим, что семейство плотностей ре(х), бей, имеет отношение правдоподобия, монотонное относительно Г(х), и что функция распределения Е6^ статистики Т = = Т^Х^ непрерывна по t при каждом фиксированном 9.
При каждом значении 1—а доверительного уровня существует равномерно наиболее точная доверительная граница 9 для 9.
Если х обозначает наблюденное значение X и1=Цх) и если уравнение
Р9 (/)=!—а(19)
имеет решение 9 = 9 е Q, то это решение единственно и 9(х) = 0.
Доказательство. (I) Для каждого 9о найдется константа С(9о) такая, что Ре, {Т > С (0о)} = а и по теореме 2 множество Т > С(9о) мо, но рассматривать как критическую область РНМ критерия уровня а для проверки гипотезы 9 = 9о при альтернативе 9 > 9о- По следствию 1 мощность этого критерия при любой альтернативе 91 > 9о превосходит а. Следовательно, С(9о) < С(91) и функция С—строго возрастающая. Обозначим Л(0О) соответствующую область принятия: Т ^С(90) и определим S(x) формулой (18). Из монотонности функции С вытекает, что S (х) состоит из тех 9 е Q, для которых 9^9, где
9 = inf {9: Г(хХС(9)}.
По теореме 4 множества {9:9(х)^9} образуют семейство доверительных множеств с уровнем 1 — а, и это семейство минимизирует Р{99'} при всех 9еК(9'), т. е. при всех 9 > 9'.
Этим доказано, что 9 — равномерно наиболее точная доверительная граница для 9.
Из следствия 1 вытекает, что РеЮ является строго убывающей функцией 9 в каждой точке /, в которой 9<Р0(/)<; 1.
Следовательно, (19) имеет не более одного решения. Предположим теперь, что наблюденное значение Т равно / и что уравнение FG(f) = 1 — а имеет решение 9еЙ. Тогда (г) = 1 — а и, по определению функции С, С(9) = I. Неравенство t ^ С(6) эквивалентно неравенству С(9)^С(9), а следовательно, 9^9. Таким образом, 9 = 9, что и требовалось доказать.
При тех же предположениях соответствующая верхняя доверительная граница с коэффициентом доверия 1 — а является решением 9 уравнения Р6{Т 5? /} = 1 — а или уравнения Ге (/) = а.
Пример 6. Чтобы определить верхнюю границу степени радиоактивности X радиоактивного вещества, его наблюдают до момента регистрации счетчиком Гейгера m-й частицы. Совместная плотность вероятности для промежутков Tt (/= 1, ..., m) между (i—1)-й и t-й регистрациями равна
р(/ь ^m) — X е , /1, ..., /уп^О*
Пусть Т = hTi обозначает полное время наблюдения. Тогда 2ХТ имеет х2-рас- пределение с 2m степенями свободы и, как показано в примере 3, область принятия для наиболее мощного критерия проверки Я(Х0): X = Хо при альтернативе X < Хо имеет вид 2Х0Г ^ С, где С определяется уравнением
с
Множество S(fb ..., tm), определенное формулой (18), оказывается совокупностью тех X, для которых X ^ С/2Т и, как следует из теоремы 4, X = С/2Т является равномерно наиболее точной верхней оценкой для X. Это заключение можно вывести также из следствия 3.
Если X или Т имеют дискретное распределение, то следствие 3 не может быть непосредственно применено, так как функция распределения F^ не будет непрерывной, и для большинства значений 9о оптимальный критерий для Н: 9 = 9о будет рандомизированным. Однако каждый рандомизированный критерий, основанный на X, может быть представлен, как нерандомизированный критерий, зависящий от X и случайной величины U, распределенной равномерно на (0,1). При этом X и U независимы. При данной критической функции ф определим критическую область /? равенством
R = {(*> и): ^ ^ ф W}.
Тогда, каково бы ни было распределение X
Р {(X, U^ е /?} = Р {U < ф (X)} = £ф (X),
так что R имеет ту же самую функцию мощности, что и ф, и эти два критерия эквивалентны. Пара (X, I/) имеет особенно про-
стикастикастое представление, когда X целочисленно. В этом случае стати
стика
стика
эквивалентна паре (X, Щ, так как с вероятностью 1
Х = [7], U — T-\TY
где [7] обозначает наибольшее целое ^7. Распределение Т непрерывно и доверительные границы можно строить, отправляясь от этой статистики.
Пример 7. Допустим, что мы интересуемся верхней границей для биномиальной вероятности р, которая может быть, например, вероятностью того, что в дозе вакцины полиомиелита, произведенной в соответствии с определенными правилами, содержится хотя бы один живой вирус. Пусть Хь ..., Хп обозначают исходы п испытаний, Xi принимает значения 1 и 0 с вероятностями р и q соответственно. Пусть X = £ Х^ Тогда Т = X + U имеет плотность
( ["] ) p‘V4<1. 0</<п+1.
Эти плотности удовлетворяют условиям следствия 3, и верхняя доверительная граница р является решением (если оно существует) уравнения
Рр{Т</} = а,
где t — наблюденное значение Т. Решение существует для всех а ^ / ^ п + + а. Для л + а < / гипотеза Я(р0): р = ро при альтернативе р < р0 принимается при любом ро, и следовательно, р = 1. Для t < а Я(р0) отклоняется при всех ро и доверительное множество S^t) оказывается пустым. Рассмотрим теперь множества S*(/), которые равны S(f) при / ^ а и состоят из одной точки р = О при t < а. Они также образуют семейства доверительных множеств с уровнем 1 — а, так как при всех р
Рр {р е S* (Г)} >PpVpeS (Т)} = 1 - а.
С другой стороны, Рр{р' е S* (Г)} = Рр {р' е S (Г)} при всех р'> О, и, следовательно.
Рр {р' е S* (Г)} = Рр {pr е S (Г)} при всех р' > р.
Таким образом, семейство множеств S*^ минимизирует вероятность покрытия р' при всех р' > р в классе семейств с уровнем 1 — а. Соответствующая доверительная граница
р* (/) = р (/) при / ^ а и р* (0 х= 0 при t < а является равномерно наиболее точной верхней доверительной границей для р с уровнем 1 — а.
На практике, с целью избежать рандомизации и установить границу, не зависящую от дополнительной величины U, величину Т обычно заменяют величиной X + 1 = [Г] + 1. Так как р*^ —неубывающая функция /, то получаемая на этом пути верхняя доверительная граница р*(И + 1) оказывается несколько завышенной; в качестве компенсации оиа приводит к большей вероятности попадания в область правее истинного р.
Пусть 0 и О обозначают нижнюю и верхнюю границы для 0 с Доверительными коэффициентами 1 — он и 1 — ос2, и предположим.
4 Э. Леман
что 0(х) <6(х) при всех х. Так, например, будет в условиях следствия 3, если ai + a2 < 1. Интервалы (6,6) являются в этом случае доверительными интервалами для 6 с доверительным коэффициентом 1 — ai — аг, т. е. они содержат истинное значение параметра с вероятностью 1 — ai — аг, так как
Рв {6 ^ 6 ^ ё} = 1 — а( — а2 при всех 6.
Если границы 6 и 6 равномерно наиболее точные, то они минимизируют, при данном уровне, математические ожидания EeLi (6,6) и Ее£2(6, ё) при любой Li, не возрастающей по 6 при 6 < 6 и равной 0 при 6 ^ 6, и при любой L2, не убывающей по ё при 6 > 6 и равной 0 при ё ^ 6. Полагая
L(6; 6, ё) = £1(6, 6) + L2(6, ё),
мы видим, что интервалы (6, ё) минимизируют E9L(6;6, ё) при условиях
Pe{e>6}<ab Р9{ё<6)<а2.
еслиеслиеслиеслиеслиесли9< 9 < 9,9<Д9 < 9,9< 9 < 9,9<Д9 < 9,Примером подобной функции потерь может служить
если
если
если
если
если
если
9< 9 < 9,
9<Д
9 < 9,
9< 9 < 9,
9<Д
9 < 9,
г ё-e, L(6; е, ё) = ] ё-е, I е-е,
что представляется естественной мерой точности интервалов. От* метим, что действительная длина 9— 9 не была бы столь же осмысленной мерой, так как короткие интервалы, лежащие далеко от истинного 9, не дают никакой выгоды.
Важный предельный случай соответствует уровням ai = = a2 = V2. В предположениях следствия 3 и при условии, что область, где плотность положительна, не зависит от 9, так что критерии мощности 1 невозможны при a < 1, верхняя и нижняя доверительные границы 9 и 9 совпадают. Их общее значение удовлетворяет соотношению
Рв{е<6} = Рв{6>6} = 1
и оценка 6 для 6 в равной степени как недооценивает 6, так и переоценивает его. Оценки с этим свойством называются медиан- но несмещенными (о соотношении этого понятия несмещенности с другими см. задачу 3 в главе 1). Из вышеприведенных резуль-
татов вытекает, что среди всех медианно несмещенных оценок 0 минимизирует £L(0, 0) при любой функции потерь, которая для фиксированного 9 имеет нулевой минимум при 0 = 0 и не убывает по мере удаления 0 от 0 вправо или влево. Полагая, в частности, £(0, 0)=О при |0 — 0|^Д и £(0, 0)=1 в других случаях, мы заключаем, что в классе всех медианно несмещенных оценок 0 минимизирует вероятность отклонения от 0 большего заданной величины. Более общим образом 0 максимизирует вероятность
М-Д^О-О^Д,}
при любых Д1, Д2 ^ 0.
Обобщение фундаментальной леммы
Нижеследующее утверждение представляет собой полезное обобщение теоремы 1 на случай нескольких ограничивающих условий.
Теорема 5. Пусть /ь ..., /Vn— действительные функции, определенные на евклидовом пространстве 86 тг интегрируемые относительно некоторой меры ц. Предположим, что при заданных константах сь ..., ст существуют критические функции ф, для которых
^hd^ = Сь i—\, ..., пи(20)
Обозначим ^ класс всех таких критических функций.
В классе ^ существует элемент, максимизирующий^fm+ldp,
Для того чтобы элемент из ^ максимизировал
J ф/m+l dp,
достаточно существования таких констант ki, ..., km, что
Ф to = 1 при U*\ to > Е kifi (х),
‘т(21)
Ф to = о при /т+1 to < Е kifi to-
Если элемент класса ^ удовлетворяет (21) с констан-, тами k\, ..., km ^ 0, то он максимизирует
5 ф/m+l dp
в классе всех критических функций, для которых
^^hd,p.C.cb i=\,...,m.(22)
Множество М точек m-мерного пространства с координатами
(^фМР $Vfm^)
где ф — критическая функция, является выпуклым и замкнутым. Если (ci Ст)—внутренняя точка*) М, то существуют константы к\, ..., km и критерий ф, удовлетворяющие (20) и (21), и необходимое условие для того, чтобы элемент из ^ максимизировал
ф/т+1 dp,
состоит в том, что (21) выполняется p-почти всюду.
Здесь термин «внутренняя точка М» в утверждении (IV) может означать точку, внутреннюю для М как относительно всего m-мерного пространства, так и относительно наименьшего линейного подпространства (размерности ^пг), содержащего М. Теорема справедлива при обоих интерпретациях, но является более сильной при последней, при которой она и будет доказана.
Отметим также, что вполне аналогичный результат верен в задаче минимизации ^ ф/т+1 dp.
Доказательство. (I) Пусть {фп} — такая последовательность функций из 8’, для которой ^фп/т+1^Н стремится к sup \ ф/m+i dp. По теореме о слабой компактности для крити- ф J
ческих функций (теорема 3 в Дополнении) существуют подпоследовательность {фп<} и критическая функция ф такие, что 5ф»Л^~*$ Ч>Мр для к=\т+1.
Отсюда следует, что ф е ^ и максимизирует интеграл от fm+i^P в классе ®\
и (III) доказываются точно так же, как часть (II) в теореме 1.
Замкнутость М вытекает из теоремы о слабой компактности, а его выпуклость из того факта, что, каковы бы ни были критические функции ф1 и фч, их комбинация аф1+(1—а)фг при любом 0 < а < 1 также является критической функцией.
Обозначим N множество точек (m + 1)-мерного пространства
с координатамис координатами( $ фА dp J ф/т+1 dp),( $ фА dp J ф/т+1 dp),
с координатами
с координатами
( $ фА dp J ф/т+1 dp),
( $ фА dp J ф/т+1 dp),
где ф пробегает класс всех критических функций. Тогда, по тем же причинам, что и выше, N будет выпуклым и замкнутым. Условимся обозначать координаты точек М и N символами («ь ... ..., Um) и (ui,Um+i) соответственно. Точки N, первые т координат которых равны cj, ..., ст, образуют замкнутый интервал [с*, с**].
Предположим сначала, что с* <_ с** (рис. 4). Так как (ci,... • •., ст, с**) является граничной точкой N, то существует гиперплоскость П, проходящая через эту точку и такая, что все точки N лежат или на П, или под П. Пусть уравнение П имеет вид
т+1т
2 ^1^1 == 2 ^i^i + ^m+l^ • /•1Z-l
Так как (ci, ..., cm)— внутренняя точка М, то коэффициент ^m+i ^ 0. Чтобы показать, это, выберем с, с* < с < с**. Точка
(сь ..♦, ст> с)—внутренняя точка N. Поэтому существует сфера с центром в этой точке, целиком лежащая в N, и следовательно, расположенная под П. Таким образом, мы видим, что точка (ci, ..., ст) с) не лежит на П и, стало быть, кт-ц #= 0. Мы можем положить Am+i = — 1, и тогда для каждой точки из N
тт
^т*И" ' kjUi^zn+1□kiCi»
Z=1i=l
Иными словами, для любой критической функции ф^
/zn \,m ^
5»(fm+l —£ fc.fi №<$<?**( Zm+1 — ^fc/f<)M\Z = 1/Xi = l/
где ф** — критерий, соответствующий точке (ci, ..., ст, c**Y Таким образом, критическая функция ф** максимизирует правую часть последнего неравенства. Так как интеграл, стоящий в этой части, получает максимальное значение при ф = 1 в точках, где подынтегральное выражение положительно, а при ф = 0 в других точках, то ф** p-почти всюду должна удовлетворять (21).
Рассмотрим случай с* = с**. Пусть (сь ..., Ст) ~ точка из М, отличная от (сь ..., ст). Мы покажем сейчас, что существует ровно одно действительное число с' такое, что (сь ..., Cm, с') лежит в N. Допустим противное, т. е. что две точки (ci, ..., с™, с') и (с!, ...» Ст, с') лежат в N. Возьмем любую точку (cf, ..., с™, с'} из N так, что точка (сь ..., ст) лежит внутри прямолинейного отрезка, соединяющего (сь ..., Сп^ и (с", ..., с^. Такая точка существует, так как (еь ..., с^ — внутренняя точка М. Тогда выпуклое множество, «натянутое» на три точки
\ Р 1 nv _ г \ 1w / X 1/
содержится в N и содержит точки (сь ..., ст, с) и (сь ... ..., ст, с) с с< с, что приводит к противоречию. Так как N выпукло, содержит начало и имеет самое большее одну точку на каждой вертикали щ = с[, ..., um = с'т, то N содержится в гиперплоскости, проходящей через начало и не параллельной оси Um+l. Поэтому т
5 »fm+l5 ф^ ^
для всех ф. Это может быть лишь в тривиальном случае
т
U-v\=Y» kill Ц-почти всюду
1 = 1
и, следовательно, (21) выполняется автоматически.
Следствие 4. Пусть р\, ..., pm, pm+i являются плотностями по отношению к мере р и пусть 0 < а < 1. Тогда существует критерий ф такой, что Е^^ = а(/ = 1, ..., пг) и Ет^^Х)^ пг
2> а, исключая тот случай, когда pm.v = У. ktpt p-почти всюду. < —1
Доказательство. Мы используем индукцию по пг. При m = 1 утверждение сводится к следствию 1. Допустим, что оно доказано для любой системы из пг плотностей, и рассмотрим случай (m + 1) ПЛОТНОСТИ PlPm+b Если pl, .... pm линейно зависимы, то число pt может быть сокращено, и теорема верна по предположению индукции. Примем теперь, что р\, ..., рт линейно независимы. Тогда для каждого / = 1, ..., пг существуют, в силу предположения индукции, критерии ф/ и ф/ такие что Eiq>i(X) = Ei<p'j(X) = a при всех 1=1, ...,/—!, / + 1, ... . ,.,т и Е/ф/^) < а < £/ф/(X). Отсюда следует, что точка /п-мерного пространства, все координаты которой равны а, является внутренней точкой М, так что применимо утверждение (IV) теоремы 5. Критерий ф(х) = а таков, что Е,ф(Х) = а при 1 = 1, ..., пг. Если среди всех критериев, удовлетворяющих наложенным ограничениям, этот критерий является наиболее мощным, он должен удовлетворять (21). Так как 0 < а < 1, то из сказанного следует т
Рт+г = £ kipi р-почти всюду,
что и требовалось доказать.
Наиболее полезными в теоремах 1 и 5 являются части (II), дающие достаточные условия для того, чтобы критическая функция максимизировала некоторый интеграл при определенных дополнительных ограничениях. Эти результаты могут быть весьма просто получены (как показано ниже) методом неопределенных множителей.
Лемма 3. Пусть F\, ..., Ет^\ — действительные функции, определенные на пространстве U. Рассмотрим проблему максимизации Fm+\(u) при ограничениях Fi(u)=Ci (/=1, ...» m). Для того чтобы точка и0, удовлетворяющая этим ограничениям, была решением данной проблемы, достаточно, чтобы она максимизировала выражение пг
Fm+i(u) — ktFt (U)1 = 1
хотя бы при одном выборе k\km.
Применяя эту лемму, максимизацию производят обычно при произвольных к и затем определяют эти константы так, чтобы выполнялись наложенные ограничения.
Доказательство. Пусть и — любая точка, удовлетворяющая наложенным ограничениям. Тогда
тт
Fm+x (и) - S kiFt (и) < Fm+l ^ - £ ktFt (и^,
и, следовательно, Fm+i(u)^ Fm+i(M°).
Рассмотрим, в качестве иллюстрации, проблему, разобранную в теореме 5. Пусть U будет пространством всех критических функций ф и пусть Ft (ф) = ^ ф/( dp. Тогда достаточное условие для того, чтобы ф максимизировала ^т+^ф) при ограничениях FiW = Ct, состоит в том, что ф максимизирует Fm-n (ф) — — ^ ktFt (ф) = J (fm+i — У ktfi^ ф dp. Последнее же выражение делается максимальным, если принять ф(х)= 1 или 0 при fm+l (х) > ИЛИ < 2 kih (х).
Двусторонние гипотезы
РИМ критерии существуют не только для односторонних, но также и для некоторых двусторонних гипотез типа
Я: 0^01 или 0>02(0,<02).Я: 0^01 или 0>02(0,<02).(23)(23)
Я: 0^01 или 0>02(0,<02).
Я: 0^01 или 0>02(0,<02).
(23)
(23)
Проблемы подобного рода могут возникать, например, если мы желаем определить, удовлетворяются ли заданные требования относительно пропорции ингредиента в каком-либо медикаменте. Другой пример — определение того, является ли измерительный инструмент, скажем линейка, правильно размеченным. Мы выдвигаем гипотезу, что 0 не лежит в заданных пределах. Здесь ошибка первого рода состоит в объявлении, что 0 удовлетворительно, в то время, как оно таковым не является. На практике решение принять Н сопровождается обычно указанием, считать ли 0 ^ 01 или 0 ^ 02. Последствия гипотезы Н бывают, обычно, весьма весомы, и поэтому принятие Н в любом случае должно сопровождаться более тщательным исследованием. Так, если при испытании измерительного прибора перед его выпуском обнаруживают, что он не сбалансирован надлежащим образом, то потребуется дополнительная работа по доведению этого прибора до необходимого стандарта. В научном исследовании неравенства 0 ^ 01 и 0 ^ 02 могут противоречить некоторым высказанным ранее предположениям, и может потребоваться более сложная теория или дополнительные эксперименты. В подобных ситуациях допустимы только две основные возможности: или действовать так, как если бы 01 < 0 < 02, или производить дальнейшее исследование. Сведение задачи к проверке гипотезы Я
может оказаться весьма подходящим. В настоящем разделе мы докажем для экспоненциальных семейств существование РНМ критерия для Н.
Теорема 6. (I) В однопараметрическом экспоненциальном семействе существует РНМ критерий гипотезы Н: 0 ^ 01 или 0 ^ 02(91 < 9г) при альтернативе К: 01 < 0 < 02- Этот критерий определяется равенствами
фМ = < V/, .0,фМ = < V/, .0,(24)(24)если С] < Т (х) < С2 (Ci < С2), если T^ = Ci, 1 = 1, 2, если Т (х) < С, или > С2,
фМ = < V/, .0,
фМ = < V/, .0,
(24)
(24)
где С{ и у; определяются из условий
£б1ф(Х) = £в,Ф(Х) = а.(25)
Этот критерий минимизирует £еф(А) при условии (25) при всех 0 < 01 « 0 > 02.
При 0 < а < 1 функция мощности этого критерия имеет максимум в точке 0О, лежащей между 01 и 02, и строго убывает при удалении 0 от 0О вправо или влево. При этом исключается тот случай, когда существуют два числа tx и t2, для которых
Р9 {Т (X) = / J + Р6 {7 (X) = 4} = 1 при всех 0.
Доказательство. (I) Мы можем ограничиться случаем, когда Т = Т (X) — достаточная статистика, распределение которой в соответствии с леммой 7 главы 2 равно
dPe(O = C(0)e«(e><<Zv(/),
где Q(0) предполагается строго возрастающей. Пусть 01 < О' < < 02. Рассмотрим сначала проблему максимизации £уф (7) при условии (25), если в нем ф(х) = ф[7(х)]. Обозначим М совокупность всех точек (£е,'ф(7), £е2ф(7)), получающуюся, когда Ф пробегает класс всех критических функций. Тогда точка (а, а) будет внутренней точкой М. Это вытекает из следующего соображения. По следствию 1 М содержит точки (а, щ) и (а, и2) с «1 < а < u2, а потому содержит все точки (и, и) с 0 < и < 1. По теореме 5 (утверждение (IV)) существуют константы ki, кг и критерий фо(О такие, что фо(х) = фо[7(х)] удовлетворяют (25) и что фо (0 = 1, когда
кхС (00 ei ^ ‘ + к2С (02) е^ ^‘<С (0') е^ <е'>', т. е. когда
aiebit + a2ew < 1 (&i < 0 < b^,
и фо(О = 0, когда левая часть последнего неравенства больше единицы.
Здесь оба числа а не могут одновременно быть отрицательными, так как тогда бы критерий всегда отклонял гипотезу. Если одно а ^ 0, а другое а ~> 0, то левая часть строго монотонна, и критерий имеет односторонний характер, рассмотренный в следствии 2. Поэтому его функция мощности строго монотонна и не может удовлетворять (25). Следовательно, оба числа а положительны и критерий удовлетворяет (24). По теореме 5(III) он максимизирует £е,'Ф(Л и при более слабых ограничениях £е.ф (Г) ^а (z = 1, 2). Для завершения доказательства того, что этот критерий проверки Н РИМ, необходимо установить, что он удовлетворяет неравенствам £эф(7')^а при 9 ^ 9] и при 9 ^ 9г- Это выводится из (II) посредством сравнения с критерием ф (/) = а.
Пусть 9'< 9Ь Для минимизации £уф(Х) при условии (25) используем теорему 5 (IV). Нетрудно видеть, что интересующему нас критерию соответствует критическая область вида axebit + a2ebit < 1 (bx <0 < b^.
Таким образом, он совпадает с критерием, найденным в (I). По теореме 5 (IV) первое и третье из условий (24) являются необходимыми и потому в предположении Р{Т = С,} = 9 оптимальный критерий единствен.
Не ограничивая общности, допустим, что Q(9) =9. Из (1) и непрерывности р(9) = £еф(Х) следует, что или р(9) удовлетворяет (III), или существуют три точки 9' < 9" < 9"', для которых р(9') = р(9") = Р(9'")- Общее значение с этих величин лежит между 9 и 1, так как предположение Р(9') =0 (или 1) влекло бы ф(/) =9 (или 1) v-почти всюду. Но эта возможность исключается равенствами (25). Как мы видели при доказательстве пункта (I), рассматриваемый критерий максимизирует £еф (X) при условиях £е-ф (j) = £е"'ф (X) = с, каково бы ни было 9' < 9 < 9'". Возможность равенства £е"ф(Х) = с исключается следствием 4 во всех случаях, кроме того, когда р9„ = kvpw + + к^,,, v-почти всюду. По сделанным в формулировке пункта (III) предположениям, из последнего равенства вытекало бы существование трех точек t\, t^ /3, для которых
,_b Ре-<^1 Ре"^^,_b Ре-<^1 Ре"^^, Ре"' (*<)2 Pe^i) *, Ре"' (*<)2 Pe^i) *1=1. 2, 3.1=1. 2, 3.
,_b Ре-<^
1 Ре"^^
,_b Ре-<^
1 Ре"^^
, Ре"' (*<)
2 Pe^i) *
, Ре"' (*<)
2 Pe^i) *
1=1. 2, 3.
1=1. 2, 3.
Но это невозможно, так как функция [А?]Р9, (0 + k2p^„ V5\]p». (0 выпукла.
На практике, чтобы определить С, и у,, начинают с некоторых пробных значений СТ, у*, затем отыскивают такие Сг, уг, что ^*(9^=0, и вычисляют р*(9г). Последнее, как правило, оказывается или слишком большим, или слишком маленьким.
При выборе следующих пробных значений полезно заметить следующее: если Р*(0г) < а, то истинная область приемки лежит справа от выбранной, т. е. или(?1 > С*, или Ci = Cf и тогда у, < yj. Если р*(0г) > а, то справедливо обратное утверждение. Сказанное вытекает из леммы 2, примененной к Т(х). Любой критерий ф*, удовлетворяющий соотношениям (24) и Р*(0|) = а, должен располагаться или справа, или слева от критерия ф, удовлетворяющего (24) и (25). В соответствии с тем, находится ли ф слева или справа от ф* функция ф(/) = = Ф*(0—ф(/) является монотонно возрастающей или монотонно убывающей, и по лемме р*(0г) ^ а или Р*(0я) ^ а.
Хотя в экспоненциальном семействе существует РНМ критерий проверки гипотезы: 0 ^ 01 или 0 ^ 02, РНМ критерий для двойственной гипотезы Н; 01 ^ 0 ^ 02 или для гипотезы 0 = 0о может не существовать (см. задачу 26). Но, как будет показано в главе 4, существуют РНМ несмещенные критерии для этих гипотез.
Наименее благоприятные распределения
Как следует из теоремы 1, всегда существует наиболее мощный критерий проверки простой гипотезы при простой альтернативе. Возьмем более общий случай. Пусть в евклидовом выборочном пространстве даны мера ц и функции fe, 9 е ю, и g, являющиеся плотностями по отношению к этой мере. В задаче проверки Н: fe, 0 е ш при простой альтернативе К: g существует наиболее мощный критерий уровня а. Это можно установить, исходя из теоремы о слабой компактности для критических функций (теорема 3 Дополнения); ср. теорему 5 (I).
В теореме 1 для случая простых гипотез указывается также способ построения наиболее мощного критерия. Мы распространим теперь эту теорему на сложные гипотезы, придерживаясь направления теоремы 5 и используя метод неопределенных множителей. Однако результат здесь оказывается заметно менее точным. Он оставляет, по существу, открытым вопрос о выборе множителей, совокупность которых принимает теперь форму произвольного распределения. В конкретных задачах этот выбор сопряжен со значительными трудностями.
С другой точки зрения, наш подход к задаче можно рассматривать, как сведение сложных гипотез к простым. Это достигается введением «взвешенных средних» распределений из Н. Сложная гипотеза Н заменяется при этом простой гипотезой Нх, при которой плотность X определяется формулой hx^=^MdX(9), (О
где X — распределение вероятностей на с». Проблему отыскания надлежащего X часто можно упростить с помощью следующих соображений. Так как Н не дает информации о точном значении 0 и так как Нх должно быть эквивалентно Н (с точки зрения альтернативы g), то естественно требовать, чтобы знание X было как можно «менее полезным». Уточним эту мысль. Допустим, что 0 имеет распределение X. Тогда максимальная мощность Рх, которая может быть достигнута при альтернативе g, соответствует наиболее мощному критерию фх проверки Нх при альтернативе g. Назовем распределение X наименее благоприятным (при уровне а), если при всех X' имеет место неравенство px^pv.
Теорема 7. Пусть на со задано a-поле такое, что плотности fe(x) измеримы по совокупности переменных 6 и х. Предположим, что существует определенное на этом a-поле распределение вероятностей X со следующим свойством-, наиболее мощный критерий фх уровня а для проверки Нх при альтернативе g имеет размер ^а по отношению к первоначальной гипотезе Н. Тогда:
Критерий фх является наиболее мощным для Н при альтернативе g.
Если фх — единственный наиболее мощный критерий уровня а для Их при альтернативе g, то он будет единственным наиболее мощным критерием для Н при альтернативе g.
Распределение X является наименее благоприятным.
Доказательство. Заметим сначала, что hx также является плотностью по отношению к ц. Действительно, по теореме Фубини (теорема 3 главы 2)
( hx{x)dy.{x)= ( dX^ ( fetodpto = ( dX(9) = 1. e о»
Предположим, что фх — критерий уровня а для Я, и пусть Ф*— любой другой критерий уровня а. Так как при всех 0 е со £еф* (х) < а, то мы имеем
Ф* (х) hx to dpi to = $ ^еФ* (X) dX (О) С а.(О
Следовательно, ф* — критерий уровня а для Нх, и потому его мощность не превосходит мощности фх. Этим доказаны (I) и (II). Пусть теперь X' — любое распределение. Тогда фх является критерием уровня а для Нх- и, следовательно, его мощность при альтернативе g не превосходит мощности наиболее мощного критерия, а эта последняя по определению равна Рх,.
Условиям доказанной теоремы можно придать несколько иной вид. Заметим, что фх может удовлетворять условиям
£6Фх (X) dX (9) = а и £ефх(Х) ^ а для всех 0
©
только тогда, когда множество всех 0, для которых £ефх(Х) = а имеет Х-меру единица.
Следствие 5. Пусть X — распределение вероятностей на ю и о/— подмножество а>, для которого Л(ф')*1. Пусть фх — такой критерий, что
1, если g (х) > k ^ /6 (*) dX (0),
г(26)
0, если g (х) < к j fe (х) dX (0).
Тогда в предположении, что
£уФх W = SUP Е^ (X) = о для всех 0' ев а/,(27)
бе©''
Фх является наиболее мощным критерием для Н при альтернативе g.
Из теоремы 7 легко получаются теоремы 2 и 6. Множество со', на котором сосредоточено наименее благоприятное распределение X, в первом из этих примеров состоит из единственной точки 0о, а во втором — из двух точек 01 и 02. Этого результата естественно было ожидать, так как в обоих случаях в Н имеются распределения, представляющиеся ближайшими к К. Ниже приводится другой пример, когда наименее благоприятное распределение сосредоточено в одной точке.
Пример 8. Пусть X — характеристика, измеряющая качество изделий некоторого производства. Это может быть, например, величина разрывающего усилия для образцов материала, или длительность горения, или яркость электроламп. Изделие считается удовлетворительным, если X превосходит заданную величину и. Требуется проверить гипотезу Н: р ^ ро, где
р = Р^Х<Щ
— вероятность получить дефектное изделие. Пусть Х\, ..., Хп — значения рассматриваемой характеристики в выборке объема п, так что Хц независимы и имеют одну и ту же функцию распределения, о которой никаких сведений не имеется. Каждое распределение на прямой может быть охарактеризовано заданием вероятности р и условных распределений Р- и Р+ величины X при условиях X ^ и и X > и соответственно. Если распределения Р- и Р+ имеют плотности р_ и р+, например, по отношению к мере ц = Р- + Р+, то совместная плотность Хь ..., Хп в выборочной точке хь .... хп> для которой
,чк ‘п—пг
будет равна
pm(l-p)"-3P_(xZi) ... p_(xejp+(x/i) ... р+ (xtn_my
Фиксируем теперь определенную альтернативу к Я, например (#1, Р_, Р+) с pi < ро- При этом следовало бы ожидать, что наименее благоприятное распределение на Я приписывает вероятность 1 распределению (ро, Р_, Р+), так как последнее представляется ближайшим к выбранной альтернативе. При таком выборе X критерий (26) превращается в
р J к р J > или <
(т. е. при т < или > С соответственно). Критерий отвергает, следовательно, гипотезу, если число дефектных изделий М в выборке слишком мало. Точнее, он достоверно отвергает гипотезу при М •< С и отвергает ее с вероятностью у при М = С, С и у определяются равенством
Р {М < С} + уР {М = С} = а при р = р0. (28)
Распределение числа М является биномиальным распределением &(р, л) и не зависит от Р+ и Р-. Как следствие этого, функция мощности критерия зависит только от р и является убывающей функцией р, так что при Я она принимает свое наибольшее значение для р = ро. Этим доказано, что X — наименее благоприятно, а критерий ф^ — наиболее мощный. Так как критерий не зависит от специального выбора альтернативы, то он оказывается РИМ.
Выраженная в терминах переменных Zi = Xi — и статистика М, на которой основан критерий, равна числу этих переменных ^ 0. Сам критерий становится при этом критерием знаков (см. раздел 7 главы 4). Он может служить примером непараметрического критерия, так как он выведен без предположений такого рода, как предположения нормальности, равномерности, принадлежности классу законов Пуассона распределения X. Предположения такого рода оставляют неизвестными лишь некоторые параметры.
С очевидными видоизменениями вышеприведенные рассуждения можно применить к случаю, когда изделие признается удовлетворительным по признаку и < X < и. Такой случай может встретиться, например, если X — длина металлического изделия или пропорция ингредиента в некоторой смеси, для которых заданы некоторые допустимые пределы. Рассуждения применимы и в ситуациях, где X — вектор. Предположим, что изделие считается удовлетворительным только в том случае, когда X попадает в некоторое множество S, например, если размеры детали или пропорции ингредиентов лежат в заданных пределах. Вероятность дефектного изделия будет при этом равна
р = Р {Л е §},
а Р- и Р+ будут обозначать условные распределения X при условиях X е S и Хе 5 соответственно. Как и прежде, здесь существует РИМ критерий для Я: р ^ ро, который отвергает Я, если число дефектных изделий М в выборке достаточно мало. Граница критической области определяется из (28).
Распределение X, удовлетворяющее условиям теоремы 7, существует в большинстве обычных статистических задач и, в частности, при следующих предположениях). Пусть выборочное пространство евклидово, со — борелевское множество в s-мерном евклидовом пространстве, f^x) —непрерывно по 6 при почти всех х.
Пусть
lim ( L (х) dp (х) = О
для любого ограниченного множества S в выборочном пространстве и любой последовательности векторов 0^, расстояние которых от начала неограниченно возрастает. Тогда, каково бы ни было g, существует удовлетворяющее условиям теоремы 7 распределение X.
Отсюда следует (подобно тому, как следствия 1 и 4 вытекают из теорем 1 и 5), что при выполнении вышеприведенных условий и при 0 < а < 1 существует критерий проверки Н: fe, 6 ^ о) при альтернативе g мощности 0 > а. При этом исключается случай, когда при некотором X g= fedX(0). Последняя возможность осуществляется, например, если fe и g являются нормальными плотностями N^, Оо) и N (0, а?), соответственно с ао < ^ (см. стр. 112—113).
Проверка гипотез о среднем и дисперсии в нормальной совокупности
Проблемы проверки гипотез о среднем g и дисперсии о2 нормального распределения особенно важны, так как имеют широкую область применения. Здесь и в аналогичных проблемах в дальнейшем мы предполагаем, что параметр, который не оценивается, — неизвестен; но это не будет указываться при задании гипотезы. Мы будем писать, например, о ^ оо вместо более точного утверждения о ^ оо, — оо < g < оо. Стандартные (основанные на отношении правдоподобия) критерии гипотез а ^ а0 и g ^ go задаются критическими областями:
ТД^-х^С^
и
У» (х — go)
,30)
Критерии для гипотез о ^ о0 и g ^ g0 получаются заменой знаков неравенств в (29) и (30) на противоположные. Как будет показано в последующих главах, эти четыре критерия являются РНМ как в классе всех несмещенных, так и в классе всех инвариантных критериев. Однако при обычных уровнях значимости только первый из них является РНМ.
Пусть Х\, ..., Хп — выборка из N(g, а2). Рассмотрим сначала гипотезы Я]; о ^ о0 и Н2: о ^ о0 и простую альтернативу
К: 6 = 61. <т = аь Кажется целесообразным предположить, что наименее благоприятное распределение X на (£, о)-плоскости сконцентрировано на прямой о = Оо. Так как пара У = ^Х^п = = Х и U = ^<Xi— Ху образует достаточную статистику для параметров (5, о), то можно ограничиться этими величинами. Их совместная плотность при гипотезе Н^ равна
С^иЗ (п 3) ехр (— -^2-) ( ехр Г— -^ (у — У21 dX (|),
а при К равна
С1Ы2ехр| ——г)ехр -—Т(у-11У .
у ZU| у I ZU|
Как видно, выбор X влияет только на распределение У. Наименее благоприятное X должно, следовательно, обладать тем свойством, что плотность У при Нх
-^^-ХуЛах^-^^-ХуЛах^
-^^-ХуЛах^
-^^-ХуЛах^
сближается возможно сильнее с альтернативной плотностью
п2(71п2(71(у-^1)2].(у-^1)2].
п
2(71
п
2(71
(у-^1)2].
(у-^1)2].
Начиная с этого места, гипотезы Н\ и Н2 следует рассматривать по отдельности. В первом случае oi < оо- Надлежащим выбором X среднее значение У может быть сделано равным 5ь однако дисперсия если и изменится, то только возрастет по сравнению с первоначальным значением о20. Это наводит на мысль что наименее благоприятное распределение приписывает вероятность 1 точке 5 = gi, так как при этом распределение У оказывается нормальным и при Н, и при К, причем среднее будет одно и то же в обоих случаях, а расхождение между дисперсиями будет минимальным. Для Hi (при которой по < oi) положение будет несколько иным. Если наименее благоприятное распределение имеет плотность, скажем, Х\ то плотность У при Нх будет
( -4= ехр Г {у - 5)21 X' (9 dg.
-ОО V2na0 L 2a°J
Это — плотность суммы двух независимых случайных величин, одна из которых распределена по N (0, о^/л), а другая имеет плотность Х'(£). Если в качестве X выбрать N (^, (о^ _ о^пу то
распределение Y при Нк (как, впрочем, и при /С) равно
Мы используем теперь следствие 5 с X, предложенным выше. При Н\ более удобно оперировать с первоначальными величинами, чем с У и U. Из (26) получаем, что <р(х) = 1 при
т. е. прит. е. при(2ла2) 2 ехр(2ла2) 2 ехрЕ^-^сс.Е^-^сс.(31)(31)
т. е. при
т. е. при
(2ла2) 2 ехр
(2ла2) 2 ехр
Е^-^сс.
Е^-^сс.
(31)
(31)
Чтобы оправдать выбор X, мы должны показать, что
НЕ^-^^СЦ.а}
в полуплоскости о ^ По достигает максимального значения в точке £ = $ь о = о0. Для любого фиксированного о это выражение равно вероятности того, что случайная точка, координаты которой независимы и имеют распределение N(%, а2), попадает внутрь сферы фиксированного радиуса. Это вероятность максимальна, когда центр сферы совпадает с центром распределения, т. е. когда £ = ^. Ее значение при этом равно
где Vb ..., Vn независимы и распределены по Af(O, 1). Правая часть является убывающей функцией о и потому максимальна при о = а0.
В случае Н^ применение следствия 5 к достаточной статистике (У, U) показывает, что ф(у, и) = 1 при
exp I ) ехр(у — gi)2 I
С^ ехр Г— ( ехр Г— (# — £)2] ^ (I) ^
V 2*0 Л L 2ao J
= Кехр[-|(Л— -L)]>C, т. е. при
и = У, (xt — х)2 "> С.(32)
Так как распределение 5№ — Х^/о2 не зависит ни от §, ни от о, то вероятность Р{2(X, — Я)2 ^ С|£, о} не зависит от £ и возрастает вместе с о, так что условия следствия 5 выполняются. Критерий (32), будучи независимым от gi и Оь является РНМ
для проверки гипотезы о ^ о0 при альтернативе о > о0. Как видно, он совпадает с критерием отношения правдоподобия (29). С другой стороны, наиболее мощный критерий (31) для проверки гипотезы о ^ оо при альтернативе о < о0 не зависит от значения среднего при альтернативной гипотезе, т. е. от gb
До сих пор неявно предполагалось, что п > 1. При п = 1 и гипотезе Н\ наши рассуждения применимы без изменений и приводят к (31) с n = 1. При гипотезе Я2 статистика U отпадает, и Y совпадает с X. Используя то же К что и раньше, мы видим, что X имеет одно и то же распределение как при Нъ так и при К, и критерий фх принимает вид фх(х) = а. Последний критерий удовлетворяет условиям следствия 5 и потому оказывается наиболее мощным критерием в рассматриваемой задаче. Мы приходим к выводу, что единственное наблюдение не имеет значения при проверке гипотезы Я2 (что интуитивно очевидно), но что оно может быть использовано для проверки Н\, если класс альтернатив достаточно узок.
Соответствующее исследование для гипотезы g ^ go более сложно. Можно показать), что критерий Стьюдента (30) является наиболее мощным при уровне а ^ 1/2 и любой альтернативе gi > go, оь Иными словами, этот критерий РИМ при а ^ 1/2. С другой стороны, при а < 1/2 наиболее мощный критерий для Н отклоняет гипотезу при 2(xz — ар ^ 6, где а и b зависят от альтернативы (gi, ai) и от а. Таким образом, для уровней значимости, представляющих действительный интерес, РИМ критерий для Н не существует. Случай g > go не порождает новых задач, так как преобразованием У/= go— (Xi— g0) он сводится к уже рассмотренному.
Последовательный критерий отношений вероятностей
В соответствии с фундаментальной леммой Неймана — Пирсона, наилучшая процедура проверки простой гипотезы Н: плотность X равна ро, при простой альтернативе: плотность X равна Рь принимает или отклоняет Н в зависимости от того, больше или меньше отношение
Pin _ Pl М ... рх (Хп)
Роп ро(Х1) ... PoUn)
некоторой надлежаще выбранной константы С. Однако, если нс фиксировать объем выборки заранее, но сделать его зависящим от хода наблюдений, то возможны дальнейшие улучшения. Наилучшая, в некотором смысле, процедура доставляется следующим последовательным критерием отношений вероятностей.
Пусть Ло < Л1 — две заданные константы. Предположим, что наблюдения проводятся все время, пока отношение р\п/р^п удовлетворяет неравенствам
Ло<7Г<Л*-<33)
Роп
Гипотеза Н принимается или отвергается при первом нарушении (33). Эти решения соответствуют неравенствам рщ/роп ^ Ло и рхп/роп ^ Ль Качество подобной процедуры измеряется обычно вероятностями ао и ai отклонения Н при р = ро и принятия Н при р = р\ и, кроме того, средним числом Et(N) наблюдений при Р = р,(1 = 0,1).
Теорема 8. Среди всех критериев (последовательных или нет), для которых
Pt (принятия /У)^аь Ро (отклонения Я)^а0
и Eo(N), Ei(N) конечны, последовательный критерий отношений правдоподобия с вероятностями ошибок «о и ai минимизирует как Ео (N), так и Ev (N).
В частности, последовательный критерий отношений вероятностей требует в среднем меньше наблюдений, чем критерий с фиксированным объемом выборки и такими же вероятностями ошибок. Мы отложим доказательство теоремы до раздела 12. В настоящем и следующем разделах будут указаны основные свойства последовательного критерия отношений вероятностей.
Точное определение границ Ло и Ль соответствующих заданным ао и ai, сопряжено с большими трудностями. Поэтому полезны приводимые ниже неравенства. Обозначим Rn часть п- мерного пространства, определяемую неравенствами
А0<£^-<Ах при ^=1, ...,п— 1 и АхС.-^-.
Рокроп
Это множество тех точек (хь ..., хп), для которых процедура заканчивается на N = п-м шаге отклонением Н. Тогда
V Г / 1 V f 1 — a,«0=2. V^n;L ур^-АГ-
n-l Rnn=l Rn
Аналогично, если Sn обозначает часть «-мерного пространства, для которой N — п и Н принимается, то
1—«0=^
/1 = 1 sn
При этом мы молчаливо предполагали, что
0000
^ pt(N = п) = ^ J р1п=Л Для 1 = 0, 1,
«-1»=1 RnUSn
т. е. что вероятность неограниченного продолжения процедуры равна 0. Доказательство этого факта см. в задачах (34) и (35). Неравенства
Ао>Т=^’(34)
наводят на мысль об аппроксимации границ До и Дь соответствующих заданным ао и аь величинами
Д/_«1д, 1— «1
1 — а0«о
В силу (34) вероятности ошибок в этой приближенной процедуре удовлетворяют неравенствам
°1°11 ~ai л/ 1 ~а1
—Ч-<Д5 = —i— и т-1.>Д( =-,
откуда
°1 — ai11 — ао
Если, как это типично бывает, «о и ai имеют порядок от 0,01 до 0,1, то превышение а' над a; (i=l, 0) оказывается пренебрежимо малым, т. е. с большой точностью можно принять, что ошибки обоих типов ограничены сверху заданными ао и аь Последнее заключение подкрепляется тем фактом, что а' + а[ ^ ^а0 + аг Это можно видеть, складывая неравенства «1 С1 — ао)^«1 (! — °о) и «^-“^«оО-О-
Единственный серьезный риск, связанный с употреблением приближенных границ, состоит, следовательно, в том, что а' и а' могут оказаться намного меньше заданных значений, что приведет к существенному увеличению числа необходимых наблюдений. Однако есть причины надеяться, что это увеличение будет умеренным. Действительно, положим
z‘ '^LmijJ-(35)
Тогда (33) превращается в п log До < S ^ < logAb
и если гипотеза Н отклоняется, то величины ж удовлетворяют неравенствам
Z|+ ... 4- Z„-1< log Д1<21+ ... +z„.
Аппроксимация состоит в замене zi + ,,. + zn на log Дь Ошиб-
ка, как правило, будет умеренной, так как после (п— 1)-го наблюдения ^zi все еще остается <ЛЬ и погрешности не накапливаются, а обусловливаются единственным наблюдением. Аналогичные замечания применимы к другой границе.
Пример 9. Рассмотрим последовательность биномиальных испытаний с постоянной вероятностью успеха р. Пусть задача состоит в проверке р = р^ при альтернативе р = pi (ро < pi). Тогда
Pin _Pl 'Q-Pl) 1 = plVo) 1 (Pl Y
Pon ^xi 0 _ p^^^i ' P°9X ' XQo /
В случае, когда отношение log (p^g l)/log (^j 9 рационально, известны точные формулы *) для вероятностей ошибок и среднего размера выборки, что позволяет оценить результат замены точных Ло и Ai на приближенные Ло и Лр Для иллюстрации ) предположим р0 = 0,05, pi = 0,17, а0 = 0,05, ai = = 0,1. Тогда «0 = 0,031, aj = 0,099 и средние размеры выборки для приближенной процедуры равны Ео (N) = 31,4, Ех (М) = 30,0. Имеется и другой план, найденный методом последовательных приближений, для которого- «о = 0,046, «* = 0,097, Eq (А) = 30,6, E*(V) = 26,1. С другой стороны, процедура с фиксированным объемом выборки и вероятностями ошибок 0,05 и 0,10 требует 57 наблюдений.
Для определенности мы предположили в определении последовательного критерия отношений вероятностей, что наблюдения продолжаются только то время, пока отношение вероятностей лежит строго между Ло и Ль Но рассуждения применимы, в равной мере, и к правилу, по которому наблюдения продолжаются, пока До < Ры/роп < Д1 заканчиваются соответствующими решениями, когда впервые рш/роп < До или > Дь а на границах решения принимаются с некоторыми вероятностями. Термин «последовательный критерий отношений вероятностей» будет применяться и к этой более общей процедуре. Все эти процедуры эквивалентны, когда отношение pi(X)/po(X) имеет непрерывное распределение. Однако в случае дискретно распределенных отношений вероятностей целесообразно сохранить возможность рандомизации на границе, с тем чтобы получать в точности заданные вероятности ошибок. Если допустить рандомизацию так-
же и при решении вопроса: начинать наблюдения, или принять решение без наблюдений, то, как можно показать, достижимы любые наперед заданные вероятности ошибок ).
Мощность и средний размер выборки для последовательного критерия отношений вероятностей
Предыдущий раздел в какой-то степени вводит в заблуждение тем, что в нем рассматривается проверка простой гипотезы при простой альтернативе. Но эта постановка задачи интересна, главным образом, теми следствиями, которые получаются из нее применительно к более реалистической ситуации семейства распределений, зависящих от непрерывного параметра. К сожалению, утверждение о равномерно наибольшей мощности, справедливое для критерия отношений вероятностей с фиксированным объемом выборки в случае семейств с монотонным отношением правдоподобия (теорема 2), не распространяется на последовательный критерий. Более точно, рассмотрим последовательный критерий отношений вероятностей для проверки гипотезы Н: 9о при альтернативе К: 91 и пусть 0(9) = Ре (отклонения И) — его функция мощности. Тогда, если 02 — некоторая другая альтернатива, то последовательный критерий отношений вероятностей для проверки 0О при этой альтернативе, соответствующий вероятностям ошибок ао и аь не совпадает, вообще говоря, с первоначальным критерием, который поэтому не минимизирует ЕеДМУ Действительно, представляется правдоподобным, что с общей точки зрения последовательный критерий отношений вероятностей не приводит к наилучшей последовательной процедуре для семейств с непрерывным параметром, хотя, обычно он лучше, чем соответствующий критерий с фиксированным объемом выборки.
Допустим, что плотность зависит от действительного параметра 0 и что проверяется гипотеза 0 ^ 9о. При этом обычно не интересуются мощностью критерия при альтернативах 0, близких к 0о, но желают контролировать вероятность обнаружения альтернатив, достаточно удаленных от 0О. Критерий, следовательно, должен удовлетворять условиям
0(9)^ а при 9<900(9)^ а при 9<900 (9) ^ 0 при 0^010 (9) ^ 0 при 0^01(90 < 90,(90 < 90,(36)(36)
0(9)^ а при 9<90
0(9)^ а при 9<90
0 (9) ^ 0 при 0^01
0 (9) ^ 0 при 0^01
(90 < 90,
(90 < 90,
(36)
(36)
что будеть иметь место, в частности, когда0(6о) = а, 0(90 = 0
и 0(0) — неубывающая функция 0. Последовательный критерий отношений вероятностей для проверки 0О при альтернативе 01 и вероятностях ошибок а0 = а, ai = 1 — 0 — решает поставленную задачу, если предположить, что его функция мощности — неубывающая.
Лемма 4. Пусть Х\, Х2, ... независимы и одинаково распределены с плотностью р^хУ Допустим, что семейство ре(х) имеет отношение правдоподобия, монотонное относительно Т(х). Тогда любой последовательный критерий отношений вероятностей для проверки 0о при альтернативе 0i (0О < 0i) имеет неубывающую функцию мощности.
Доказательство. Пусть Z.=log[pQi (Xz)/pOj(X.)] = Чт0 где h не убывает, и пусть 0 < 0'. По лемме 2 для функции распределения F^^ величины Ti имеем F^ (/) < Fq (/) при всех t. Следовательно, по лемме 1, существуют случайные величины Vi и функции f и f'{f{v) ^ У(и) при всех у) такие, что распределения величин ЦУГ) и ЩУГ) совпадают с F^ и F^ соответственно. Рассматриваемый последовательный критерий допускает сле- ✓ пX
дующее геометрическое представление на I п, ^ А (^) )-плоско- \ <=1/
сти. Наблюдения продолжаются до тех пор, пока выборочная точка остается внутри полосы, образованной параллельными прямыми
п
Ц Htt) = logAb j = 0, 1.
<=i
Гипотеза отвергается, если путь, образованный точками
(1, А (/,)), (2, А^ + А^)), .... (N, W + ... +АО, выходит из полосы через верхнюю границу. Вероятность этого события равна, следовательно, вероятности отклонения гипотезы. Для ее подсчета при 0 нужно заменить Т, на ЦУГ), а при 0'— h на ЩУ^. Так как j(К) ^ fvVi) при всех I, то путь, порожденный величинами ?'(УГ), заведомо покидает полосу через верхнюю границу, если это происходит с путем, порожденным ЦУГ). Следовательно, 0(0) ^ 0(0'), что и требовалось доказать.
Таким образом, в случае монотонного отношения правдоподобия последовательный критерий отношений вероятностей с вероятностями ошибок ао = а и ои = 1— 0 удовлетворяет (36). Из оптимального свойства, сформулированного в разделе 10, вытекает, что среди всех критериев, удовлетворяющих (36), последовательный критерий отношений вероятностей минимизирует средний объем выборки при 0 = 0О и при 0 = 0ь Но теперь нас интересует ЕЦМ) при всех 0. Обычно функция Eq(N) имеет максимум между 0О и 01 и убывает, когда точка 0 удаляется от точки
максимума в любом направлении. Часто оказывается, что максимум меньше /г0 — наименьшего фиксированного размера выборки, при котором существует критерий, удовлетворяющий (36). Но это не всегда так. В частности, в обстановке примера 9 при ро = 0,4; pi = 0,6; а0 = ai = 0,005 фиксированный объем выборки «о равен 160, и хотя EP(N) для большинства значений р оказывается меньшим этой границы, при р = 1/2 EP(N) равно 170. Важная проблема отыскания критерия, который минимизировал бы sup Ее (N) при условии (36), все еще не решена.
Точное определение функции мощности р(9) и среднего объема выборки Ee(N) для последовательного критерия отношений вероятностей в общем случае представляет собой крайне трудную задачу. Однако, если уравнение
£e{[MWW]A} = 1 (3?)
имеет ненулевое решение й = А(О) (что верно при не слишком жестких ограничениях), то возможно дать простые приближенные формулы (см. задачу 38). В этом случае
также является плотностью вероятности. Допустйм теперь, что Л > 0 (другой случай разбирается аналогично), и рассмотрим последовательный критерий отношений правдоподобия с границами А^, А* для проверки рв при альтернативе р*в. При такой процедуре наблюдения продолжаются до тех пор, пока
<Al<Al,л < Ре (*i)Ре (*„)
<Al
<Al
Mxi)РеМ
Если Од (1— а*) обозначает вероятность отклонения гипотезы при истинном распределении рв (р^), то по (34) можно определить приближенные выражения для границ ’
ААк Ск С°1-*1 -«0°1-*1 -«0Л?Л?1 — а*«о1 — а*«о
А
А
к С
к С
°1
-*
1 -«0
°1
-*
1 -«0
Л?
Л?
1 — а*«о
1 — а*«о
Однако рассматриваемый критерий в точности совпадает с последовательным критерием отношений вероятностей с вероятностями ошибок ao = a, ai = 1 — р для проверки 00 при альтернативе 6ь Следовательно, Uq и р(9) — вероятности отклонения гипотезы этими критериями при истинном распределении ре — должны быть равны. Разрешая вышеприведенные соотно-
шения относительно а, мы находим
0(6)~0(6)~1~44-4 ‘1~44-4 ‘(38)(38)
0(6)~
0(6)~
1~4
4-4 ‘
1~4
4-4 ‘
(38)
(38)
Приближенное значение для E^N) может быть получено из тождества Вальда
£в (^ + - • • + Z^ = Ев (М) Ев (Z),(39)
которое, во всяком случае, выполняется тогда, когда величины независимы и одинаково распределены, и процедура такова, что средний объем выборки конечен. Доказательство этого соотношения смотри в задаче 37. Если величины Z, (i = 1, 2, ...) определены равенством (35), и процедура соответствует последовательному критерию отношений вероятностей, то Zi + ... + Zn может быть аппроксимирована выражением logДl, когда Н отклоняется, и выражением log До, когда Н принимается. Поэтому в предположении Ее (Z) =/= О, из (39) вытекает
E6W~E6W~(40)(40)fi(0) log А, + [1 — р (в)] 1о8Л0
E6W~
E6W~
(40)
(40)
EeW
Пример 10. В биномиальной схеме примера 9 уравнение (37) принимает вид
Левая часть, как функция А, является выпуклой и равна единице при h = 0. Отсюда видно, что, за исключением случая р = log (t/0/<7i)/log (p^o/po^/i) (когда левая часть минимальна при Н = 0), уравнение (41) имеет ненулевое решение. Соотношения (38) и (41) задают приближенную функцию мощности в параметрическом виде. Ее можно вычислять, придавая h различные значения иопределяя из (38) и (41) соответствующие значения р и 0 (для h = 0 0 определяется по непрерывности). Ниже приведено сравнение точных и приближенных значений Р(р) и EP(N); числовые данные взяты из примера 9: Ро = 0,05, р = 0,099, pi = 0,17 *)
РФ.)
Р(р)
P(Pi>
Е_ W Ро
$р№
ЕР1m
0,05 0,031
0,44 0,409
0,90 0,901
30
31,4
39
46,8
15 30,0
Приближенно Точно
Оптимальное свойство последовательных критериев отношений вероятностей )
Основная часть доказательства теоремы 8 состоит в решении следующей вспомогательной задачи. Пусть проверяется гипотеза Н: плотность X есть р при альтернативе, что она есть рь Пусть потери, возникающие от неправильного отклонения (принятия) Н равны t^o(^i) и пусть стоимость каждого наблюдения равна с. Риск последовательной процедуры (т. е. средние потери плюс средняя стоимость наблюдений) при истинной плотности pi равен
<4^1 + cEi (A/), где
а0 = Р0 (отклонения Н), а{ = Р{ (принятия 77)
— вероятности ошибок. Допустим, что номер i плотности также случаен и принимает значения 0 и 1 с вероятностями л и 1 —л соответственно. Тогда полный средний риск процедуры 6 равен
г (л, 6) = л [аошо + сЕо (М)] + (1 — л) [a^i + сЕх (N)].(42)
Мы определим байесовскую процедуру для этой задачи, т. е. процедуру, которая минимизирует (42). Здесь интерпретация (42) как байесовского риска помогает лучше понять доказательство и приводит к некоторым задачам, имеющим самостоятельный интерес. Однако, с точки зрения теоремы 8, введение величин о), с и л является просто математическим приемом, и задача состоит в минимизации формального выражения (42).
Байесовское решение содержит две постоянные л' ^ л", которые однозначно выражаются через w0, wx и с с помощью уравнений (44) и (45) (см. ниже), и которые не зависят от л. Нам достаточно будет ограничиться случаем 0 < л' < л" < 1, предполагая также, что априорная вероятность л удовлетворяет неравенству л' ^ л ^ л".
Лемма 5. Пусть л' и л" удовлетворяют уравнениям (44). Если 0 < л' < л" < 1, тогда при всех л' ^ л < л" байесовский риск (42) минимизируется любым последовательным критерием отношений вероятностей с границами
Л Л 1 — Я" д Л1 — л'
Доказательство.' (1) Мы начнем с исследования того, стоит ли вообще производить наблюдения, в результате чего риск будет не меньше с, или лучше принять решение немедлен-
но. Пусть 6o(6i) —процедура, которая отвергает (принимает) Н без наблюдений, так что
г (л, 60) = лшо (г (л, 6J = (1 — л) tyj.
Пусть
р (л) = inf г (л, 6),
где ^ обозначает класс всех процедур, требующих хотя бы одного наблюдения. Тогда для любого 0 < X < 1 и любых ло, Л1 р[Ал0 + (1 — А)Л1] = <тЦЛг(л0, 6) + (1 — Х)г (ль 6)]>
> Хр (л0) + (1 — X) р (л,).
Следовательно, р — вогнутая функция, и так как ее значения
интервале(44)(45)интервале(44)(45)
интервале
(44)
(45)
интервале
(44)
(45)
ограничены снизу нулем, то она непрерывна на (О, 1)). Если
о (^ А < W°W1
к ^0 + «Н / Wo+ ®1 ’
то мы определим л' и л" из уравнений
г (л', б0) = р (л') и г (л", 6j) = р (л")
(см. рис. 5). В противном случае положим
_/zz_W1
Л — Л ■-।•
йУ0+ WX
в рассматриваемом нами случае (0 < л'< л" < 1) 6о
минимизирует (42) тогда и только тогда, когда л ^ л', а 61
минимизирует (42) тогда и только тогда, когда л ^ л". Отсюда вытекает единственный оптимальный способ поведения на первом шаге при л =/= л', л": если л < л' (л > л"), то наблюдения не производятся, а гипотеза Н отвергается (принимается); если л' < л < л", то производится первое наблюдение Хь
Доказательство завершается теперь по индукции. Пусть л' < л < л" и произведено п наблюдений с исходами Xi = = xi, ..., Хп = хп. Мы сталкиваемся с возможностями: не брать ни одного дополнительного наблюдения, отклоняя или принимая Н (с потерями о>0 и wt в случае неправильного решения), или произвести наблюдение Xn+ь Положение весьма сходно с проанализированным в пункте 1. Допустимо неограниченное накопление наблюдений. Тот факт, что уже израсходовано пс единиц, не влияет на задачу, так как раз уже мы понесли эти потери, то никакие будущие события не могут их уменьшить. Таким образом, процедура совпадает с прежней: наблюдения не производятся, если вероятность того, что Н верна, меньше л' или больше л", в то время как при л' •< л < л" производится дополнительное наблюдение Хп+ь
Наличие результатов хь ..., хп уже произведенных наблюдений изменит только одну сторону ситуации. Вероятность того, что гипотеза Н верна, будет теперь равна не л, а
т. е. условной (апостериорной) вероятности Н при Xi=xi, ... ..., Xrt = хп. Процедура, следовательно, требует продолжения наблюдений только в случае л' < л (хь ..., хп) < л", т. е. в случае
Л _ Л1 — Л"Ptn ^ л1 — л' _ л
U 1 — Л Л'роп 1 — л л1
Гипотеза Н принимается, если при первом нарушении этих неравенств -^- < До, и отвергается, если это отношение больше А^ Роп
Как показано в части (1) доказательства, на первом шаге процедуры решение однозначно определяется (6о при л < л', 61 при л > л", произвести наблюдения при л' < л < < л"). При л = л' процедура бо снова минимизирует (42), но перестает однозначно определяться этим свойством, т. е. существует процедура 6е$, для которой г(л', 6) =р(л')- Чтобы принадлежать к <8, эта процедура должна требовать по меньшей мере одного наблюдения. Коль скоро значение Xi стало известным, то, как следует из части (2), наилучшая процедура в ^ получается, если наблюдения продолжать при
л' < Л(Х] ..., Хп) < л".
На первом шаге, следовательно, является несущественным, будут ли при пограничном значении эксперименты продолжены, или мы примем вышеуказанное решение. То же самое верно и для последующих шагов. Этим доказано, в частности, что при л' ^ л ^ л" процедура, состоящая в проведении первого наблюдения и в следовании в дальнейшем последовательному критерию отношений вероятностей с границами (43), является байесовской.
Связь между вспомогательной и основной задачами устанавливается следующей леммой.
Лемма 6. Каковы бы ни были 0 < по < Ло < 1, найдутся числа 0 <_ w <_ 1 и с > 0 такие, что байесовское решение вспомогательной задачи с w0 = 1 — w, wi = о», с и априорной вероятностью л (ло < л < по) дается последовательным критерием отношений вероятностей с границами
Л 1 ^— Яр Л 1 — Яр
Доказательство*). (1) По лемме 5 величины л' и л" — суть функции от гу и с и потому достаточно найти такие ® и с, что л' (гу, с) = л6, я"(гу, с) = ло. Обозначим (при фиксированном w) л'(с) = л'(гу, с) и л"(с) = л"(гу, с). Если Со — наименьшее с, при котором л'(со) =л"(со), то при 0 < с < с« величины л'(с) и л" (с) определяются из уравнений
(1 — гу) л' = р (л', с), (1 — л") гу = р (л", с),
где р(л, с) обозначает то, что ранее мы обозначали р(л). Функция р(л', с), рассматриваемая как функция с при фиксированном л', обладает следующими свойствами: (I) она непрерывна, что вытекает из ее вогнутости; (II) она строго возрастает, так как при любом 6 е ^ риск строго возрастает вместе с с и так как минимальный риск р (л', с) достигается на процедуре 6 е ^; (III) при с, стремящемся к нулю, р(л', с) и р(л", с) также стремятся к нулю. Последнее утверждение вытекает из того, что, рассматривая критерии с фиксированным объемом выборки п и беря п достаточно большим, можно сделать вероятности ошибок сколь угодно малыми.
Из этих свойств функции р вытекает, что при 0 < с < Со функция л7(л") непрерывна, строго возрастает (убывает) и что л'(с)->0, л"(с)->-1 при с->0. С другой стороны, при с—»с0 л"(с)—л'(с)—»0, так что обе величины стремятся к решению л'= л" = гу уравнения л'(1 — zy) = (l—л')гу. Из
перечисленных свойств следует, что при фиксированном о>
; _ л' (с)1 ” л" М
л w — 1 - л' (с) * л" (с)
является непрерывной, строго возрастающей функцией, которая изменяется от 0 до 1 при изменении с от 0 до c0 = c0(w).
Пусть
л _\ л'(^, с) 1—л"(ау, с) __х л"(^, с) с)— 1с) * л"(со. С) ’Y^’1с) •
Вместо того, чтобы оперировать с переменными л' и л", более удобно иметь дело с X и у. Докажем, что существуют о» и с такие, что
ГГ!!Г
Л/ъ 1 ЛлЛл
X (да, с) = -— = Хо, у (да, с) = - = у0.
1 ло ло1 ^о
Согласно части (1) доказательства, для любого w существует единственное c = c(w) такое, что X^w, с) =Х0. Ниже будет показано, что функция 'y(w) = у [со, с (до)] осуществляет взаимно однозначное отображение интервала 0 < w < 1 на 0 < у < оо и, следовательно, найдется единственное значение wt для которого у (до) = уо- Этим доказательство леммы будет завершено.
По лемме 5 для вспомогательной задачи с константами w, c = c(w) и л = л'[до, с (до)] существует байесовское решение 6', которое является последовательным критерием отношений вероятностей с границами
л,_ лЧ^Ч^.±^Л|=1.
1 — л [а>, с (со)] л [со, с (со)]1 ’' /J »>1
Пусть б" обозначает соответствующее решение при константах да, с = с(да) и л = л" [да, с (да)], так что для б" границы равны д/z, д» _ л" ^ с ^^ . 1^гДЧД1£1Д11 — 1
0’11 — л" [го, с (со)] л' [со, с (го)] Хо ’
Тогда вероятности ошибок и средние размеры выборок, т. е. а', а], ЕДО, E'tW для б' и а" а" Е" Ж Е" W для б" зависят от да и с только через Хо, но не через у. Поэтому при фиксированном Хо они будут фиксированными числами. Байесовские риски для л = л'[да, с (да)] и л = л" [да, с (да)] равны
р (л') = г (л', д') и р (л") = г (л", д"),
и из (44) следует, что
г (л', д0) = г (л', д') и г (л", dj = г (л", д").
Эти уравнения могут быть более подробно записаны в форме л' (1 - да) = л' [а' (1 - да) + сЕ^ ((V)] + (1 - л') [а[да + сЕ'х (^)]
И
(1 _ Л") W = л" [а" (1 - w) + сЕ" (^)] + (1 - л") [а^ + сЕ" (ЛО].
Если сюда подставить Хоу вместо л'/(1—л') и у вместо л"/(1 —л"), а затем исключить с, то мы придем к одному уравнению, связывающему у и w:
{М (1 - <) - w [М (1 - а') + а'] } {YE" W + Е" (N)} = = {- уа" + w [(1 - а") + Y<] } • {W W + Е\
Оно линейно относительно w и при каждом у > О имеет решение 0 < w < 1. Как функция у оно является квадратным трехчленом, причем коэффициент при квадрате и свободный член имеют при 0 < w < 1 противоположные знаки. Следовательно, в этом случае существует единственное положительное решение у, которое и устанавливает желаемое взаимно однозначное соответствие между у и w.
Чтобы закончить доказательство теоремы 8, рассмотрим теперь какой-либо последовательный критерий отношений вероятностей с До < 1 < Д1 и любой константой 0 < л < 1. Пусть
ч' =5 —-
+— Д0(1-л) + л*
Эти значения удовлетворяют (43) и 0 < л' < л < л" < 1. По лемме 6 найдутся, следовательно, константы 0 < ^ < 1 и с > О такие, что данный критерий оказывается байесовским решением вспомогательной задачи, в которой истинная плотность равна Ро с вероятностью л, потери равны wo = 1 — w и twi = w и стоимость одного наблюдения — с. Пусть а0, ai, E^N), E^N) будут вероятностями ошибок и средними объемами выборок для данного критерия. Рассмотрим любую конкурирующую процедуру 6* с вероятностями ошибок а*^а. и размерами выборок Е1^<оо (z = 0, 1). Так как данный критерий минимизирует байесовский риск, то для него
«1(1 -^ao + cEoWJ + Cl -л) [tyaXcE, WJ^
<«[(1 — w)a‘ + сЕ*(АГ)] + (1 — л)[даа* + cE‘(N)<]
и, следовательно,
лЕ0 W + (1 - л) Е, W < лЕо W + (1 - л) EJ (N).
Справедливость этого неравенства при всех 0 < л < 1 влечет Ео(^ХЕИ^) и ^^ХЕГ^), что и требовалось доказать.
13. Задачи
К разделу 2
РНМ критерий для Р(0,0). Пусть X = (X , ..., Хп)—выборка из распределения, равномерного на (0,0).
. Для проверки Я: 0 ^ 0О при альтернативе К; 0 > Оо РИМ уровня а будет любой критерий, для которого £6оф (X) = а, £9ф (X) ^ а при 0 ^ Оо и Ф(х) = 1, когда max(xi, ..., хл) > 0О.
Для проверки Н: 0 = 0О при альтернативе К: 0 ^ Оо существует единственный РИМ критерий. Для него ф(х) = 1 при тах(хь .... хп) > Оо
п
или max (хь ..., x^^OoV^ и <р(х) = 0 в других случаях.
[(II) Определите РИМ критерий для проверки 0 = 0О при альтернативе 0 < 0о и соедините этот результат с (I).]
РНМ критерий для экспоненциальных семейств. Пусть Хь ..., Хп— выборка из экспоненциального распределения с плотностью ae-Q^x-b\ х ^ Ь.
Определите РНМ критерий для проверки Н; b = Ьо при альтернативе К: b Ьо, если а известно.
Определите РНМ критерий для проверки Н: а = а0, b = Ьо при альтернативах а >• ао, b < Ьо. Объясните, с чем связано (весьма неожиданное) существование в этом случае РНМ критерия для двупараметрической проблемы.
[ (I) Случайные величины У/ = е aXl образуют выборку из равномерного на (0, е-аЬ^ распределения.].
Если выборочное пространство 86 евклидово и Ро и Pi имеют плотности по отношению к лебеговской мере, то существует нерандомизированный наиболее мощный критерий проверки Ро при альтернативе Pi при любом уровне значимости а ).
[Это вытекает из теоремы 1 и следующей леммы): пусть f ^0 и ^f(x^dx = a; тогда при любом 0^6 а существует подмножество В А
множества А такое, что f (х) dx = b. ]
в
Вполне информирующие статистики. Статистика Т называется вполне информирующей, если в любой проблеме решения процедуры, основанные только на Т, образуют существенно полный класс. Если семейство ^ домини- ровано и статистика Т вполне информирующая, то Т достаточна.
[Рассмотрим любую пару распределений Ро, Pi е ^ с плотностями ро, pi, и пусть gt = р.7(ро + Pi). Предположим, что Т — вполне информирующая статистика. Обозначим s^o подполе, индуцированное Т. Тогда ^0 содержит подполе, порожденное парой (go, g\), так как оно содержит каждую критическую область, которая является (единственной) наиболее мощной для проверки Ро при альтернативе Pi (или Pi при альтернативе Ро) для какого-либо уровня а.
Следовательно, Т достаточна для каждой пары распределений и потому (см. задачу 9 в главе 2) достаточна для ^.]
К разделу 3
Пусть X — число успехов в п независимых испытаниях с вероятностью успеха р. Пусть ф(х) — РИМ критерий (9) для проверки р ^ р0 при альтернативе р > ро с уровнем значимости а.
(I) Для п = 6, ро = 0,25 и уровней а = 0,05; 0,1; 0,2 определите С и у и найдите мощность критерия при альтернативах рх = 0,3; 0,4; 0,5; 0,6; 0,7. - (II) Допустим, что при р = 0,2 и а = 0,05 желательно построить критерий мощности р > 0,9 при альтернативе рх = 0,4. Определить необходимый объем выборки: (а) используя таблицы биномиального распределения, (б) используя нормальное приближение*).
. (III) Используйте нормальное приближение для определения необходимого объема выборки при а = 0,05; 0 = 0,9; ро = 0,01; рх = 0,02.
(I) Допустим, что существует смешанная вторая производная d3 log р0 (х)/д9 дх. Плотности р^ (х) имеют монотонное относительно х отношение правдоподобия тогда и только тогда, когда эта производная ^ 0 при всех 9 и х.
(II) Равносильное условие состоит в том, что
при всех 6 и х.при всех 6 и х.д4рв (х) др6 (х) др6 (х)
при всех 6 и х.
при всех 6 и х.
P9W дйдх ^30 дх
Пусть плотности р^ случайной величины X имеют монотонное относительно 1 (х) отношение правдоподобия. Рассмотрим проблему проверки Н; 6 ^ 9о при альтернативе 9 > 9о. Если распределение Т непрерывно, то критический уровень а определяется равенством а = Р^ {?>/}, где / — наблю
денное значение Т. Это верно и без предположения непрерывности, если определить d для рандомизированного критерия, как наименьший уровень значимости, при котором гипотеза отвергается с вероятностью 1.
Пусть Хь ..., Хп независимы и имеют плотность (29)-1 е~^2в, х^0, и пусть У1 ^ ... ^ Уп обозначают Xi (t = 1, 2, ..., п), расположенные в порядке возрастания. Допустим, что в процессе наблюдений мы обнаруживаем сначала Уь затем Уг, потом Уз и т. д. до Yr. На основе Yx, ..., Yr необходимо проверить гипотезу 77: 9 > 9о = 1999 с уровнем значимости а = 0,95 при альтернативе 9 < 0q.
Определите критическую область при г = 4 и найдите мощность критерия при альтернативе 01 = 500.
Yi-Hn-f) YrYi-Hn-f) YrJ/бJ/бНайдите значение г, необходимое для достижения мощности 0 > 0,95 при этой альтернативе.
Yi-Hn-f) Yr
Yi-Hn-f) Yr
J/б
J/б
[В задаче 13 главы 2 установлено, что величина
имеет х2-распределение с 2г степенями свободы.]
В процессе Пуассона, наблюдаемом в промежутке времени длины т, число появившихся событий имеет распределение Пуассона Р(Хт). В другой схеме процесс наблюдается до момента появления r-го события; при этом время наблюдения Т является случайной величиной, и 2ХТ имеет распределение х2 с 2г степенями свободы. Применяя для проверки гипотезы Н*. X ^ Хо с уровнем а любую из этих схем, мы можем, выбирая т и г достаточно боль-
*) Обсуждение другого удобного метода, применимого к этой и близким проблемам, см. в работе: Mos teller and Tukey, The uses and usefulness of binom'al probability paper, J. Am. Stat. Assoc. 44 (1949), 174—212.
5 Э. Леман
шими, достичь любой наперед заданной мощности 0 по отношению к альтернативе М.'
Отношение необходимого времени наблюдения для первой схемы к необходимому в среднем времени для второй равно Хт/г.
Определите, для каких значений X какая схема предпочтительнее, если Хо = 1, Xi = 2, а = 0,05, 0 = 0,9.
10. Обобщение леммы 2. Пусть Ро и Pi — два распределения с плотностями р0 и pi такими, что отношение pi(x)/p0(x) является неубывающей функцией от действительной статистики T^xY
Если плотность Т при Pt равна р^, то pf W/Pq (О ~ неубывающая функция 1.
Еоф(Т) ^ Ех^Т) для любой неубывающей функции ф.
Если Р1(х)/ро(х) — строго возрастающая функция / = Т(х), то такова же pf (Q/pJ (/) и Еоф (Т) < Е^ (Г), исключая случаи, когда ф[Т(х)] постоянна (Ро + Pi)-почти всюду или когда Еоф(Т) = Ех^^Т^ = ±оо.
Для любых двух различных распределений с плотностями р0, pi
- оо < £0 log [ Рх ^ 1 < El log Г P1 ^ 1 < ОО.
LРо JL po(A)J
[(I) Предположим, не ограничивая общности, что pi(x)/p0(x) = T^xY Тогда для любой интегрируемой ф
$ ф (/) p'v ^ d^=\^VT (x)J Т (х) р0 (х) dp (х) = J ф (о tp'Q (О dv VY
и, следовательно, р{ (/)/рд (/) = / почти всюду.
V) Возможность Ео log[pi (Х)/р0(Х)] = оо исключается, так как в силу выпуклости логарифмической функции,
Eq log I f Y\ I(Y\ I
Lpo (A)JL po(A)J
To же верно и для Ev. Строгое неравенство вытекает из (III) с Т(х) = = Рх W/po (х).]
Пусть Ро и Pi — две функции распределения на действительной прямой такие, что при всех х Pi (%) ^ F^xY Тогда Еоф(Х) ^ Е1ф(Х) для любой неубывающей функции ф.
К разделу 4
Если эксперимент (f, g) лучше информирует, чем (j',g'Y то (gj) лучше информирует, чем (g'/l'Y
Условия, обеспечиваюи^ие сравнимость. (I) Пусть X и X' — две случайные величины, принимающие значения 1 и 0. Предположим, что Р {X = 1} = р0, Р {X' = 1} = р' или Р {V — 1} = pv, Р {X' = 1} = p'v Допустим, не ограничивая общности, что р0 < рд, р0 < рр рд < р[ (этого можно достичь перестановкой случайных величин X и X' и значений 0 и 1 у одной или обеих случайных величин). Тогда X лучше информирует, чем X' в том и только в том случае, когда (1 — р^ (1 — р^ < (1 — р0) (1 — pf).
) Пусть Uo и Ux независимы и распределены равномерно на отрезке (0,1), и пусть У = 1, если X = 1, Ux ^ yi или если ^ = 0, Uo ^ у0 и У = 0 в других случаях. В предположениях пункта (I) существуют 0 ^ уо, Yi ^ 1, для которых Р {У = 1} = р< при Р{Х = 1} = pt (i = 0, 1) в предположении, что (1 —• pj (1 — р^ ^ (1 — р0) (1 — р^у Это неравенство, являющееся, как
мы видим, достаточным для того, чтобы выборка Хь ..., Хп из X лучше информировала, чем выборка X'v ..., Х^ из X', оказывается и необходимым. Аналогично условие PgPi < F0P1 необходимо и достаточно для того, чтобы выборка из Хг лучше информировала, чем выборка из X.
[(I) Мощность 0(a) основанного на X наиболее мощного критерия уровня а для проверки р0 при альтернативе рх равна apjpt для а < р0 и Pi + ^i^o"1 (а ~ Ро) для Ро ^ а- Сравнивая графики 0(a) и 0'(а), мы приходим к искомому результату.
) Вторая часть пункта (II) вытекает из сравнения при а, близких к 1, мощностей 0п(а) и 0„(а) наиболее мощных критериев уровня а, основанных на Т>Х1 и 2Х< соответственно. Двойственное условие получается из задачи 12.]
Для случая 2X2 таблицы, описанной в примере 4 при сделанном там предположении р ^ л ^ 1/2, выборка из В лучше информирует, чем выборка из X. С другой стороны, выборки из В и В несравнимы.
[Необходимое и достаточное условие сравнимости дано в предыдущей задаче.]
В обстановке примера 5 производится п биномиальных испытаний с вероятностью успеха р = 1 — е~Кх). Необходимо проверить X = Хо при альтернативе X = Хь Эксперименты, отвечающие различным значениям и, несравнимы.
К разделу 5
(I) Для п = 5,10 и 1—a = 0,95 начертите верхние доверительные пределы р и р* примера 7 как функции от t = х + и.
Для тех же значений а и ai = «з = 0,05 начертите нижний и верхний доверительные пределы jp и р.
Доверительные границы с минимальным риском. Допустим, что функция L(0,0) неотрицательна, не возрастает по второму аргументу при £<0 и равна 0 для 0^ > 0. Если 0 и^* —две нижние доверительные границы для 0 такие, что
Ре {9 С О7} ^ Ре (8* С О7} при всех 0' < 0, то
E^L (0, 0) < E^L (0, (Г).
[Определите функции распределения F и F* равенствами F (и) = = PelO^/^o^CO}; Г*(ц) = РеНГ<ц}/Ре{0*<0} при « < 0 и F («) = = F* (и) = 1 при и^в. Тогда при всех и F(iz)^F*(m) и из задачи 11 вытекает, что
Ee\L (0, 0)]<Ре{0* = 0} ^Еф, ц) dF (и)^
< Рв {0* < 0} ^ L (0, а) dF* (и) = Eg [L (0, 0*)].]
К разделу 6
Обозначим 0(0) функцию мощности РИМ критерия следствия 2. Если функция Q в (12) дифференцируема, то 0'(0) > 0 для всех 0, для которых Q'(0) > 0.
[Чтобы показать, что 0'(0о) > 0, рассмотрите проблему максимизации производной 0'(0о) (или, что то же самое, величины £0 Т[(Х) ф (X)] при условии £0оФ(Х) = а.]°
Оптимальная процедура отбора. Каждый элемент некоторой совокупности измеряется п раз. Пусть (Хц ..., ХПХ; = X — результаты измерений. Это
могут быть, например, итоги п тестов проверки способностей, которые проводятся для отбора кандидатов иа обучение по некоторой программе. Результат будущего измерения У (такого, как итог проверки по завершении программы) весьма интересен, но не доступен. Совместное распределение X и ¥ предполагается данным.
Желательно отобрать заданную пропорцию а кандидатов таким образом, чтобы сделать максимальным математическое ожидание У для этой группы. Этого можно достигнуть, отбирая тех кандидатов, для которых £(У|х) С, где С определяется условием: кандидат отбирается с вероятностью а. При £(У|х) = С может оказаться необходимой рандомизация (чтобы получить вероятность, в точности равную а).
При иной постановке, когда требуется максимизировать вероятность того, что У для отобранных кандидатов превзойдет заданный уровень у0, следует выбирать тех, для кого условная вероятность Р^У^ ^0[^} достаточно велика.
[(I) Пусть ф(х) обозначает вероятность отбора кандидата с характеристикой х. Задача состоит в максимизации
$ [ $ gpY 1 * ^ ’ ^ dy] рх ^ dx
при условии
J Ф (х) рх (х) dx = а.]
Нижеследующий пример показывает, что следствие 4 не распространяется на счетные (бесконечные) семейства распределений. Пусть рп — равномерная плотность на [0,1 + 1/п] и р0 — равномерная плотность на [0,1].
Тогда ро линейно независимо от (pi, рг, ...), т. е. не существует таких КОНСТаНТ Cj, С^ ЧТО Ро = ^СпРп-
Не существует критерия ф такого, что
^фрл”» при п»1, 2, ..., но фро > а. .
Пусть fb ..., Fm+i — действительные функции, определенные на пространстве U. Чтобы «о максимизировало Fm+\ при условиях Fi(u^ < a (Z = = 1, ..., т), достаточно, чтобы оно максимизировало Fm+xW-—^iFi^ при некоторых константах kt ^ 0, причем для I с kt > 0 должно быть Ft^ - а.
К разделу 7
Для случайной величины X с биномиальным распределеним Ь(р, п) определите константы С/, у, (/ — 1, 2) в РНМ критерии (24) для проверки гипотезы Н: р ^ 0,2 или р > 0,7, когда а = 0,1 и п — 15. Найдите мощность критерия относительно альтернативы р = 0,4.
Классы типа Пойа. Семейство распределений с плотностями р^ (х), которые непрерывны по действительным аргументам 0 и х, относится к типу Пойа, если при всех Xi < ... < хп и 01 < ... < 0rt
Аа«=Аа«=рб.(^1) ••• р0,ЮРепМ ••• PeJ*»)рб.(^1) ••• р0,ЮРепМ ••• PeJ*»)>0 для п = 1, 2, ...>0 для п = 1, 2, ...(46)(46)
Аа«=
Аа«=
рб.(^1) ••• р0,Ю
РепМ ••• PeJ*»)
рб.(^1) ••• р0,Ю
РепМ ••• PeJ*»)
>0 для п = 1, 2, ...
>0 для п = 1, 2, ...
(46)
(46)
Оно относится к типу Пойа в строгом смысле, если в (46) имеют место строгие неравенства. При п = 1 из (46) выводим, что р^ (х) 0, при п = 2, — что р^ (х) имеет монотонное отношение правдоподобия. Экспоненциальные семейства (12) с 7(х) » х и Q(0) «5« 0 относятся к типу Пойа в строгом смысле. - '
[Положительность определителя | e^tXi |, Z, / = 1, ..., п, может быть доказана по индукции. Разделим Z-й столбец на е xXl, i = 1, ..., п, вычтем в получившемся определителе (л—1)-й столбец из n-го, (л —2)-й из (л—1)- 1-й из 2-го. Разложим получившийся определитель по первой строке. Тогда мы увидим, что Ап имеет тот же самый знак, что и
А'= | е^^е^Х^1 |, Z, / = 2, ..., я,
Где тр = 0/ — Оь Если разложить этот определитель по элементам первого столбца, то получится сумма вида
ai - eV1) + ... + (Л*2 - Л*1) =
= h (х2) — h (хО = (х2 — Xi) hr ку^
где Xi ^ ^2 ^ х. Переписав hr (ya) в форме детерминанта, у которого все столбцы, кроме первого, совпадают со столбцами АЛ, и поступая аналогично с последующими столбцами, мы придем к определителю! e^^l |, Z, / = 2, ..., п, который положителен по предположению индукции.]
Тип Пойа 3. Пусть 0 и х означают действительные переменные, и допустим, что плотности р9 (х) таковы, что р^ (х)/р0 (х) строго возрастает по х при 6 < О'. Тогда приводимые ниже два условия эквивалентны.
Для 01 < 02 < Оз и Ai, Аг, Аз > О положим
g (х) = А^, (х) - А2р02 (х) + А3р0з (х).
Если ^(х^ ** g(x3) = 0, то функция g положительна вне интервала (хь х3) и отрицательна внутри его.
Определитель А3, задаваемый (46), положителен при всех 01 < 02 < < 03, хх < х2 < х3. (Из (а) следует, что уравнение g(x) = 0 имеет не более двух решений.)
[Что (б) влечет (а) можно установить, рассматривая при Xi < х2 < х3 определитель
Sf(^i) вМ й(х3)
Ре.^1) ^9,(^2) Ре,(*з) .
РОзМ РвзМ Ре,(*з)
Обратно, предположим, что (а) выполняется. Монотонность отношений правдоподобия влечет, что ранг Д3 не менее двух, так что существуют константы ^ь А2, Аз, для которых g(xt) = й(хз) = 0. Положительность чисел А вытекает из монотонности отношений правдоподобия.]
Обобщение теоремы 6. Заключение теоремы 6 остается верным, если плотности р^ достаточной статистики Т (которую, не ограничивая общности, мы примем равной X) удовлетворяют следующим условиям: (а) р^ (х) непрерывна по х при каждом 0; (б) р0, (х)/р0 (х) строго возрастает по х при 6 < 0' и определитель Аз из формулы (46) положителен при всех 01 < 02 < < 03 и Х1 < х2 < х3.
[При доказательстве теоремы 6 были использованы два свойства экспоненциальных семейств, а именно непрерывность по х и свойство из пункта (а) предыдущей задачи.]
Для проверки гипотезы Н': 01 < 0 < 02 (01 < 02) при альтернативах ° или 0 > 02 или гипотезы 0 = 0О при альтернативах 0 ^ 0О в предположении, что семейство экспоненциально (или, в общем случае, удовлетворяет условиям задачи 25), не существует РИМ критерия,
Это вытекает из рассмотрения РНМ критериев для односторонних гипотез Hf. 0 > 01 и Н^. 0 С 02-]
К разделу 8
Пусть случайные величины Xi (/* 1, ..., s) независимы и распределены по закону Пуассона Р(Х^. Для проверки гипотезы Н* SX/ ^ а (например, гипотезы о том, что общая радиоактивность нескольких образцов радиоактивного вещества не превосходит а) существует РНМ критерий, отвергающий ее при ^Xj > С,
[Разложите совместное распределение Xi в произведение частного распределения ^Xj (распределение Пуассона со средним 2%/) и условного распределения величин Yi = XiFLXt при данной с^мме SX, (полиномиальное _с вероятностями Pi = X//SX/); дальнейшие рассуждения те же, что и в примере 8.]
Доверительные границы для медианы пусть ль ..., А\ — выборка из распредления с непрерывной функцией распределения F. Обозначим g медиану F, если она единственна, или, в общем случае, g = inf{g':F(g') = 1/2}.
Пусть Xi расположены в порядке возрастания Х(1) < ... < Х^. Равномерно наиболее точная нижняя доверительная граница для g определяется соотношениями g — Х^> с вероятностью р, g = Х^*1) — с вероятностью (1 —р), где к и р находятся из уравнения
п п
i=k i=k-H
Эта граница имеет доверительный коэффициент 1—а для любой медианы F.
Найдите наиболее точную нижнюю доверительную границу для 100р-процентной точки g распределения F, определяемой равенством g = = inf{^: F^) = pY
[При фиксированном g0 проблема проверки Н: g = g0 при альтернативе К: g > go эквивалентна проверке Н': р = 1/2 при альтернативе К'; р < 1/2.] 29. Противоречащий пример. Как правило, при меняющемся а наиболее мощные критерии уровня а для проверки гипотезы Н при простой альтерна-
1
2
3
4
р
2
4
3
4
0
13
13
13
13
р
4
2
1
6
13
13
13
13
4
3
2
4
Q
13
13
13
13
равно Ро или Рх при альтернативеравно Ро или Рх при альтернативетиве устроены так, что соответствующие критические области Ra вложены одна в другую Ra cz Ra/ при любом а < а'. Это соотношение всегда выполняется, если гипотеза Н простая, но, как показывает приводимый ниже пример, этого может не быть при сложной Н.
равно Ро или Рх при альтернативе
равно Ро или Рх при альтернативе
Пусть X принимает значения 1, 2, 3, 4 и распределения Ро, Р\, Q приписывают этим значениям вероятности, указанные в таблице. Тогда наиболее мощный критерий проверки
гипотезы о том, что распределение X . _ . , А Q и при уровне а = 5/13, отклоняет гипотезу, когда X = 1 или X = 3; если же уровень а = 6/13, то при X = 1 или X = 2.
30. Пусть X и К обозначают число успехов в двух сериях по п биномиальных испытаний в каждом и с вероятностями успеха рх и р^ соответственно.
При уровне а < 1/2 наиболее мощный критерий проверки гипотезы Н: р2 ^ Рх при альтернативе (р(, р^ с р{ < р^ и р' + р' = 1 отклоняет гипотезу всегда, когда Y — X > С, и с вероятностью у> когда Y — X = С.
Этот критерий не является РНМ при альтернативе рх < р^
[(I) Возьмите в качестве априорного распределения на Н распределение X, приписывающее вероятность 1 точке р\ = р2 = 1/2. Наиболее мощный критерий при альтернативе (р(, р£) совпадает тогда с предложенным выше. Можно показать, что X является наименее благоприятным. Рассмотрим вероятность р(р1,Рг) отклонения гипотезы для рх = р2 = р. По симметрии
20 (р, р) = Р {| Y - X | > С) + уР {| Y - X | = С}.
Пусть Х^У/) равно 1 или 0 в зависимости от того, закончилось i-e испытание п
первой (второй) серии успехом или нет. Тогда Y — X = У k¥i-Xi\ и тот 1 = 1
факт, что 2Р(р, р) достигает максимума при р = 1/2, может быть доказан индукцией по п.
Так как 0(р,р) < а при р ^ 1/2, то мощность 0(pi, р^ будет < а для альтернатив рх < р2, достаточно близких к отрезку рх = р2. То, что предложенный критерий не является РНМ, следует теперь из сравнения с ф(х,у) = а.)
Достаточные статистики при «мешающих» параметрах.
Статистика Т называется достаточной для 9 при наличии «мешающего» параметра tj, если параметрическое пространство является прямым произведением множеств возможных значений 6 и т) и если выполняются следующие два условия: (а) условное распределение при Т = / зависит только от т); (б) частное распределение Т зависит только от 9. Если эти условия выполнены, то существует зависящий только от Т РНМ критерий проверки сложной гипотезы Н; 9 = 90 при сложной альтернативе 9 = 9ь
Часть (I) указывает новое доказательство того, что критерий примера 8 является РНМ.
[Пусть фо(0—наиболее мощный критерий уровня а для проверки 90 при альтернативе 9ь зависящий только от I. Пусть ф(х)—любой критерий уровня а и ф(/) = Ет)1 [ф(Х) р]. Так как £е^ф (Г) = Eq^ ^qp (X), то ф — критерий уровня а для Н, и потому его мощность, а вместе с тем и мощность Ф не превосходит мощности ф0.]
К разделу 9
Пусть Хь ..., Хщ и Yx, ..., Yn — две независимые выборки из N(^ 1) и N(t\, 1). Рассмотрим гипотезу Я: ч ^ § при альтернативе К: ч > g. Тогда существует РНМ критерий, отвергающий гипотезу, если разность F— X слишком велика.
[Пусть gi < 41— специальная альтернатива. Тогда распределение, приписывающее вероятность 1 точке ч = £ = (w§i + H4i)/(fn + и), является наименее благоприятным.]
Пусть X, ..., Хт, Уь ..., Yn независимы и распределены нормально со средними £ и ч и дисперсиями о2 и т2 соответственно. Рассмотрим гипотезу Н: т ^ о при альтернативе К: а < т.
(I) Если £ и ч известны, то существует РНМ критерий с критической областью 2(У1 — 4)2/S(Xz — SV> С.
П) РНМ критерий не существует при неизвестных g и т).
К разделу 10
Распределение объема последовательной выборки. Пусть X/ (t = 1, ) независимы и одинаково распределены, и пусть Z; определены по (35). Обозначим Я число наблюдений до принятия окончательного решения в последовательном критерии отношений вероятностей (33) с Ло < 1 < Ль Если
истинное распределение X таково, что P^Z = 0}< 1, то найдутся 0 < 6 < 1 и С > 0, для которых Р {N п} С6П.
[Обозначим c = logAi— logA0 и допустим сначала, что P{|Z| ^с} = = р < 1. Из события N ^ п вытекает, что
10g Ло <2b 21 + 22, . .., 21+ ... + Zn-X < 10g АЬ
и, следовательно, что величины I2J, |22||zn-i| все ^ с. Тогда Р ^М "> ^ п} ^ рп-х = р-х-рп. Если Р {|Z| < с) = 1, то существует такое г, что
PUZX+ ... +Zr\^cA = p< 1,
откуда следует, что Р ^N ^rm^ ^ рт~х, и потому
Р W > п} < р^-Х ^ pmr-l = р-2 (р1/2)" ]
Моменты объема последовательной выборки. В предположениях предыдущей задачи (I) E(N) < 00 и (II) при некотором / > 0 E(etN) < 00, так что E(Nk) < 00 при всех к = 1, 2, ... Кроме того, (III) Р {Z = 0} < 1, если истинное распределение X совпадает с Ро или Рх и Ро ^ Рь
[(I) £(ЛГ)= £ nP^N = ^= £ P\N>n\ С С У 6"< оо.
П=АП=\П“1
(II) Е (etN) < £ etnP {N^n}^C^ (бе1)п<оо в предположении е'<д-1.]
К разделу 11
Мощность последовательного критерия отношений вероятностей в биномиальном случае. В примерах 9 и 10 последовательный критерий отношений вероятностей применялся к проверке гипотезы: вероятность успеха равна ро при альтернативе рх. Положим рх = q0 и допустим, что log A0/log (<7qPo™Г) в = — а и log A^log (^оРо^1) ^ Ь, где а и b—положительные целые числа.
Тогда неравенства (34) превращаются в равенства, и приближения (38) и (40) становятся точными формулами.
Мощность критерия равна
oaDb — Da+b1
=Адя Р2*
(по непрерывности).
Правило остановки испытаний совпадает с правилом окончания игры в задаче о разорении, где два игрока с капиталами а и b проводят последовательность игр с единичной ставкой с вероятностями выигрыша р и q соответственно до разорения одного из них *).
[Испытания продолжаются до тех пор, пока — а < 2 ^ х{ — п <Ь, и (I) и (II) следуют из того факта, что средний член этого неравенства равен 0 при п = 0 и при каждом испытании увеличивается или уменьшается на 1.]
Тождество Вальда. Если Zh Z^ ... независимы, одинаково распределены и E\Z\ < оо, и число наблюдений определяется в соответствии с последовательным правилом, для которого E^N) < оо, то
Е^х + ... *Z^ = EWEIZY(47)
(Левая часть равна
оо Г*1 оо оо
У P{№n} 2^(^l^-«) -Z y,PlN-n\ElZt\N = nl-
= ^PVN>AE(Zt\N>i\ Z = 1
Так как событие N ^ i зависит только от Zh ..., Zi-X и не зависит от Z^ и так как ^ Р \N ^ /} = Е (NY то мы приходим к требуемому соотношению. Чтобы оправдать перестановку членов бесконечного ряда, заменим всюду Zt на \Zi\. Это показывает, что
^| ^+ ... 4^„|<Е(|^| + ... +\Zn\) = E\Z\.EW<oo>
откуда вытекает нужная абсолютная сходимость.]
(I) Пусть Z— такая случайная величина, что (a) E(Z) =/= О, (б) VW ^ Е(еНг) существует при всех действительных Н, (в) P{ez < 1 — — 6) и P(ez > 1 + б) положительны при некотором б > 0. Тогда существует одно и только одно решение h ф 0 уравнения ф(Л) = 1.
Это приводит к достаточным условиям существования ненулевого решения у уравнения (37).
[(I) Функция ф выпукла, так как ^''М = E(Z2ehz) > 0; кроме того, ф(Л)->оо при Л->±оо. Следовательно, ф имеет минимум Ао, в котором ф'(Ло) = E^Z^ z) = 0, так что по (а) Но Ф 0. Раз ф(0) = 1, то существует единственное hi ^ 0, для которого ф(/ц) = 1.
(II) Определяя Z с помощью (35), мы можем записать (37) в виде Е^ = 1.]
Следующий пример показывает, что мощность критерия иногда может быть увеличена за счет случайности объема выборки (даже когда рандомизация не связана с результатами наблюдений) *). Пусть Хь ..., Хп независимы и распределены одинаково по ^(0,1). Рассмотрим проблему проверки гипотезы Я: 0 = 0 при альтернативе К: 0 = 01 > 0.
Мощность наиболее мощного критерия, как функция от объема выборки п, не обязана быть вогнутой.
В частности, при а = 0,005, 01 = 1/2 бблыпая мощность получается, если взять 2 или 16 наблюдений (то и другое с вероятностью 1/2), чем если взять выборку фиксированного объема 9.
Дальнейшего увеличения мощности можно достичь, если допустить два возможных уровня значимости он и а2 для двух объемов выборки и требовать только, чтобы средний уровень значимости был равен а = 0,005. Примеры: (а) с вероятностью 1/2 берут пх = 2 и строят критерий с уровнем ai = — 0,001 или берут п2 = 16 и критерий с уровнем а2 = 0,009; (б) с вероятностью 1/2 берут пх = 0 или п2 = 18 при соответствующих уровнях ai = 0, «2 = 0,01.
Литературные ссылки
Методы проверки гипотез развивались постепенно и на первых этапах сводились к весьма расплывчатым утверждениям о значимости или незначимости совокупности результатов наблюдений. Отдельные приложения (самые ранние восходят, вероятно, к Лапласу (1773)) встречаются в 19 веке в работах, например, Г а в арэ (1840), Л ексиса (1875, 1877) и Эджворта (1885). Систематическое использование проверки гипотез началось с работ К а р л а Пирсона; особенно следует отметить статью о х2-критерии (1900).
Первыми авторами, указавшими, что рациональный выбор критерия должен основываться не только на проверяемой гипотезе, но и на допускаемых альтернативах, были Нейман и Пирсон (1928). Они ввели понятие ошибок первого и второго рода и мотивировали использование отношения правдоподобия как основы общего метода построения критериев. Логическое завершение этих исследований дано в работе Неймана и Пирсона (1933), где была развита теория РНМ критериев).
Вероятно, самый ранний пример доверительных интервалов встречается у Лапласа (1812), который показал, как можно обратить (приближенное) вероятностное утверждение о степени расхождения наблюдаемой частоты и биномиальной вероятности р, с тем чтобы найти подходящий интервал для р. Другие примеры можно найти в работах Г аусса (1816), Фурье (1826) и Лекси с а (1875). Однако, хотя во всех этих случаях сделанные утверждения формально правильны, авторы стремились рассматривать параметр как переменную, которая с заданной вероятностью попадает в фиксированный доверительный интервал. Правильная интерпретация была в первый раз отмечена, по-видимому, у Е. Б. Вилсона (1927). Примерно в это же время два точных доверительных утверждения были высказаны Уоркингом и Хотеллингом (1929), и Хотеллингом (1931).
Общий метод отыскания точных доверительных границ для действительного параметра в непрерывном распределении был предложен Фишером (1930), который впоследствии отказался от этой интерпретации своей работы. (Библиография, касающаяся фишеровской концепции доверительных вероятностей, в терминах которых формулируется теория, приведена у Т ь ю к и
.) Примерно в то же время) Нейманом была развита общая теория доверительных утверждений). Им же была показана их тесная связь с теорией проверки гипотез. Детальное изложение результатов, которое лежит в основе приведенной здесь трактовки материала, было опубликовано Нейманом в статьях 1937 и 1938 годов.
Бирнбаум и Чепмэн (Birnbaum Z. W. and Chapman D. G.)
On optimum selections from multinormal populations, Ann. Math. Stat., vol. 21, 443—447. [Задача 19.]
Блекуэлл (В 1 a ckwe 11 D.)
Comparison of experiments, Proc. Second Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, Univ. Calif. Press, 93—102.
Equivalent comparisons of experiments, Ann. Math. Stat., vol. 24, 265-—272. [Теория, пример 4 и задачи раздела 4.]
Вальд (W а 1 d А.)
Sequential Analysis, New York, John Wiley & ’Sons. (Русский перевод: А. Вальд, Последовательный анализ, Физматгиз, 1960.) [Теория и применение последовательных критериев отношения вероятностей.]
Вальд и Вольфовиц (W а 1 d A. and Wolfowitz J.)
Optimum character of the sequential probability ratio test, Ann. Math. Stat., vol. 19, 326—339.
Bayes solutions of sequential decision problems, Ann. Math. Stat., vol. 21, 82—99 [В этих работах доказываются оптимальные свойства последовательного критерия отношения вероятностей, данные в разделе 12. В этой связи см также работу Эрроу, Бле куэлла и Г и р ш и к а.]
Вилсон (W i 1 s о n Е. В.)
Probable inference, the law of succession, and statistical inference, J. Am. Stat. Assoc., vol. 22, 209—212.
Вольфовиц (W о 1 f о witz J.)
The efficiency of sequential estimates and Wald’s equation for sequential processes. Ann. Math. Stat, vol. 18, 215—230. [Доказательство тождества Вальда (45), данного в задаче 37.]
Г а в а рэ (Gavarret J.)
Principes generaux de statistique medicale, Paris.
Гаусс (G a u s s C. F.)
Bestimmung der Genauigkeit der Beobachtungen, Z. Astronomic und verwandte Wissenschaften, vol. 1. (Перепечатано в собрании сочинений Гаусса, т. 4, стр. 109—119.)
Гренандер (G г ena nd ег U.)
Stochastic processes and statistical inference, Arkiv for Matematik, vol. 1, 195—277. [Применение фундаментальной леммы к проблемам в стохастических процессах.]
Данциг и Вальд (D a n t z i g В. and Wa 1 d A.)
On the fundamental lemma of Neyman — Pearson, Ann. Math. Stat, vol. 22, 87—83. [Даны необходимые условия (включая условия теоремы 5)
для того, чтобы критическая функция, которая максимизирует некоторый интеграл при нескольких органичениях интегрального типа, удовлетворяла (21).]
Дворецкий, Кифер и Вольфовиц (Dvoretzky A., Kiefer J. and Wolfowitz J.)
Sequential decision problems for processes with continuous time parameter. Testing hypotheses, Ann. Math. Stat., vol. 24, 254—264. [Оптимальное свойство последовательного критерия отношений вероятностей распространяется на непрерывно наблюдаемые случайные процессы.]
Карлин (Karlin S.)
Decision theory for P61ya type distributions. Case of two actions, I., Proc. Third Berkeley Symposium on Mathematical Statistics and Probability, vol. 1, Berkeley, Univ. Calif. Press, 115—129.
Polya type distributions, II, Ann. Math. Stat, vol. 28, 281—308. [Свойства распределений типа Пойа, включая задачи 23—25.]
Карлин и Рубин (Karlin S. and Rubin H.)
The theory of decision procedures for distributions with monotone likelihood ratio, Ann. Mat. Stat, vol. 27, 272—299. [Общая теория семейств с монотонным отношением правдоподобия, включая теорему 3.]
Кендалл и Стьюарт (К е n d а 11 М. G., S t u а г t А.)
Статистические выводы и связи, пер. с англ., М., Наука.
Лаплас (L а р 1 а с е Р. S.)
Memoire sur 1’inclinaison moyenne des orbites des cometes, Mem. acad. roy. sci. Paris, vol. VII (1776), 503—524.
Theorie Analytique des Probabilites, Paris. [Третье издание 1820 г. перепечатано в виде седьмого тома собраний сочинений Лапласа.]
Л екс и с (Lexis W.)
Einleitung in die Theorie der Bevolkerungsstatistik, Strassburg.
Zur Theorie der Massenerscheinungen in der menschliechen Gesellschaft, Freiburg.
Леман (L e h m a n n E. L.)
Ordered families of distributions, Ann. Math. Stat., vol. 26, 399— 419. [Леммы 1, 2 и 5.]
Леман и Стейн (Lehmann Е. L. and Stein С.)
Most powerful tests of composite hypotheses, Ann. Math. Stat., vol. 19, 495—516. [Теорема 7 и ее применения.]
Нейман (N е у m a n J.)
Outline of a theory of statistical estimation based on the classical theory of probability, Phil. Trans. Roy. Soc., vol. 236, 333—380. [Развита теория оптимальных доверительных множеств. Задача сводится к определению оптимальных критериев в соответствующих классах гипотез.]
L’estimation statistique traitee somme un probleme classique de pro- babiliti6, Actualites sci. et ind., vol. 739, 25—57.
Lectures and Conferences on Mathematical Statistics, Washington, Graduate School, U. S. Dept. Agriculture, 2nd ed., 43—46. [Описание разнообразных подходов к проблеме проверки гипотез.]
Optimal asymptotic tests of composite, Probability and Stat.: The H. Gramer volume, Upsala, 213—234.
Нейман и Пирсон (N e у m a n J. and Pearson E. S.)
On the use and interpretation of certain test criteria, Biometrika, vol. 20A, 175—240, 263—294.
On the problem of the most efficient tests of statistical hypotheses, Phil. Trans. Roy. Soc., Ser. A, vol. 231, 289—337. [Основная работа по теории проверки гипотез. Проблема сформулирована в терминах ошибок двух родов; изложена основа теории, включая фундаментальную лемму. Применения, включая задачу 1.]
Contributions to the theory of testing statistical hypotheses 1. Unbiased critical regions of type A and type Ai, Stat. Res. Mem., vol. 1, 1—37. [Обобщение фундаментальной леммы на случай нескольких ограничивающих условий.]
Sufficient statistics and uniformly most powerful tests of statistical hypotheses, Stat. Res. Mem., vol. 1, 113—137. [Задача 2 (II) J
Пирсон (P e a r s о n К.)
On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen rom random sampling, Phil. Mag., Ser. 5, vol. 50, 157— 172.
Стейн (Stein С. M.)
A note on cumulative sums, Ann. Math. Stat, vol. 17, 489—499. [Задачи 34 и 35.]
A property of some tests of composite hypotheses, Ann. Math. Stat, vol. 22, 475—476. [Задача 29.]
Томпсон (Thompson W. R.)
On confidence ranges for the median and other expectation distributions for populations of unknown distribution form, Ann. Math. Stat., vol. 7, 122—128. [Задача 28.]
Тьюки (Tukeу W.)
Some examples with fiducial relevance, Ann. Math. Stat., vol. 28, 687—695.
У op кинг и Хотеллинг (Working H. and Hotelling H.)
Applications of the theory of error to the interpretation of trends, J. Am. Stat Assoc., Suppl., vol. 24, 73—85.
Фишер (Fisher R. A.)
Inverse probability, Proc. Cambridge Phil. Soc., vol. 26, 528—535.
Фрезер (F r a s e r D. A. S.)
Non-parametric theory: Scale and location parameters, Canad. J. Math,, vol. 6, 46—68. [Пример 8.]
Sufficient statistics with nuisance parameters, Ann. Math. Stat, vol. 27, 838—842. [Задача 31.]
Фурье (F о u r i e r J. В. J.)
Recherches statistiques sur la ville de Paris et le departement de la Seine, vol. 3.
Хотеллинг (Hotelling H.)
The generalization of Student’s ratio, Ann. Math. Stat., vol. 2, 360—
Чернов и Шеффё(СЬегпоИН. and Scheff6H.)
A generalization of the Neyman — Pearson fundamental lemma, Ann, Math. Stat., vol. 23, 213—225.
Ш и р я е в А. Н.
Статистический последовательный анализ, М., Наука.
Эджворт (Edgeworth F. Y.)
Methods of statistics, Jubilee volume of the Stat. Soc., London, E. Stanford.
Эпстейн и Собел (Epstein В. and Sobel M.)
Life testing. J. Am. Stat. Assoc., vol. 48, 486—502. [Задача 8.]
Эрроу, Блекуэлл и Гиршик (Arrow R. J., Blackwell D. and GirschickM. A.)
Bayes and minimax solutions of sequential decision problems, Eco- nometrica, vol. 17, 213—244.
ГЛАВА 4
НЕСМЕЩЕННОСТЬ: ТЕОРИЯ И ПЕРВЫЕ ПРИМЕНЕНИЯ
Несмещенность при проверке гипотез
Простое условие, которое можно требовать от критериев гипотезы Н; 9ейн при сложной альтернативе К: 9 г Йд, состоит в том, что ни при одной альтернативе из К вероятность отклонения гипотезы не должна быть меньше размера критерия. Если это условие нарушено, то найдутся альтернативы, при которых принятие гипотезы более вероятно, чем в некоторых случаях, когда она верна. Критерий ф, для которого выполняется указанное условие, т. е. для функции мощности рф(0) = Ееф№ которого верны неравенства
РФ(9)<а, если 0ейя,
Рф (9) ^ а, если 6 е йк,
называется несмещенным. При надлежащем выборе функции потерь это определение оказывается, как было показано в главе 1, частным случаем общего определения несмещенности. РИМ критерий, если он существует, оказывается несмещенным, так как его мощность не может быть меньше мощности критерия ф(х) = s а.
В широком классе проблем, где РНМ критерии не существуют, тем не менее существуют РНМ несмещенные критерии. В частности, сюда включаются некоторые гипотезы вида 0 ^ 9о или 9 = 0О в предположении, что распределения результатов наблюдений зависят кроме 0 также и от других параметров.
Если р1() (0) — непрерывная функция 0, то несмещенность влечет
Рф (9) =« Для всех 0 е ф, (2)
где <0 — общая граница йн и йк, т. е. множество точек 0 предельных как для Вщ, так и для й*. Критерии, удовлетворяющие последнему условию, называются подобными на границе (Пн
К1). Так как более удобно оперировать с (2), чем с (1), то нижеследующая лемма играет важную роль в отыскании РНМ несмещенных критериев.
Лемма 1. Если распределения Ре таковы, что функция мощности любого критерия непрерывна, и если фо является РНМ среди всех критериев, удовлетворяющих (2), и имеет уровень а как критерий Н, то ф0 — РНМ несмещенный критерий.
Доказательство. Класс критериев, удовлетворяющих (2), содержит в себе класс несмещенных критериев и, следовательно, фо равномерно не менее мощен, чем любой несмещенный критерий. С другой стороны, критерий ф0 является несмещенным, так как он равномерно не менее мощен, чем ф(х) = а.
Однопараметрические экспоненциальные семейства
Пусть 0—действительный параметр и X = №Хп) — случайный вектор, имеющий по отношению к некоторой мере ц плотность
рв(х) = С(е)е6гМА(х).
Как было показано в главе 3, РНМ критерий существует в случаях, когда гипотеза Н и класс альтернатив К определяются условиями (I) Н: 9 ^ 0о, К: 0 > 0о (следствие 2) или (II) Н: 6 ^ 01 или 0 > 02(0i < 02), К: 01 < 0 < 02 (теорема 6), и не существует в случае (III) Н: 01 ^ 0 ^ 02, К; 0 < 01 или 0 > 02. Мы покажем теперь, что в случае (III) существует РНМ несмещенный критерий, задаваемый равенствами
фМ = < YiфМ = < Yiпри припри приТ (х) < С] или > С2,Т (х) < С] или > С2,T(x} = Ct Z=l,2,T(x} = Ct Z=l,2,(3)(3), 0 при, 0 приCi < Г (х) < С2,Ci < Г (х) < С2,
фМ = < Yi
фМ = < Yi
при при
при при
Т (х) < С] или > С2,
Т (х) < С] или > С2,
T(x} = Ct Z=l,2,
T(x} = Ct Z=l,2,
(3)
(3)
, 0 при
, 0 при
Ci < Г (х) < С2,
Ci < Г (х) < С2,
где постоянные Сиу находятся из уравнений
Ее№т = Еед№ = а.(4)
Функция мощности непрерывна по теореме 9 главы 2, так что лемма 1 применима. Множество ш состоит из двух точек 01 и 02, поэтому мы рассмотрим сначала задачу максимизации Ее'ф(х) для 0', лежащего вне интервала [01, 02], и с учетом ограничений (4). Если задачу сформулировать в терминах 1—ф(х), то из части (II) теоремы 6 главы 3 вытекает, что ее решение дается формулами (3) и (4). Следовательно, построенный критерий является РНМ в классе критериев, подчиненных (4), и по лемме 1 — в классе всех несмещенных критериев. Как видно из части (III) цитированной теоремы, мощность этого критерия имеет минимум в точке, лежащей между 01 и 02, и строго возрастает при удалении от точки минимума влево или вправо.
ии£е,[Г(Х)ф(Х)] = £еЛГ№.£е,[Г(Х)ф(Х)] = £еЛГ№.(6)(6)
и
и
£е,[Г(Х)ф(Х)] = £еЛГ№.
£е,[Г(Х)ф(Х)] = £еЛГ№.
(6)
(6)
Проблема проверки Я: 0 = 0О при альтернативе 9 ^ 0о близка к уже разобранной. Для нее также существует РИМ несмещенный критерий, определяемый по (3); константы в этом случае находятся из уравнений
(5)(5)£б,[ф(Х)] = а
(5)
(5)
Чтобы доказать это, обозначим О' какую-либо специальную альтернативу и возьмем достаточную статистику Т, распределение которой в соответствии с леммой 7 главы 2 имеет вид
dP6(/) = C(0)e9<dv(/).
Несмещенность критерия ф(/) влечет (5) с ф(х) = ф [Т(х)]; отсюда же вытекает наличие у функции мощности р(9) = = £е[ф(Л1 минимума при 0 = 0о. По теореме 9 главы 2 функция Р(0) дифференцируема и ее производная может быть вычислена дифференцированием £еф [Г] под знаком математического ожидания, так что для всех критериев ф (t)
₽' (0) = £в [Гф (Г)] + Ев [ф (Г)].
Для ф(/) г а последнее уравнение превращается в
о-e, сп+^.
Подстановка в выражение для р'(0) Дает
Р' (0) = Ее [Гф (Г)] - Ее (Г) £в [ф (Г)],
и, следовательно, несмещенность, в дополнение к (5), влечет и (6).
Пусть М обозначает множество точек (£еЛФСГ)Ь Ее, [Гф (Т)]), где ф пробегает совокупность всех критических функций. Тогда М выпукло и содержит все точки (iz, и£еЛГ)) с 0 < и < 1. М также содержит точки (а, ы2) с и2 > а£е,(Г). Это следует из того факта, что существуют критерии с £еЛФ(Г)]=а и р' (0о) > О (см. задачу 18 главы 3). Так как по сходным причинам М содержит точки (a, ui) с ui < а£е, (Г), то точка (а, а£е„ (Г)) является внутренней для М. Поэтому по теореме 5 (IV) главы 3 существуют константы &b fc2 и критерий ф(/), удовлетворяющие (5) и (6) с ф (х) = ф [г (х)] и такие, что ф (/) = 1 при
С(0о)(^ + Ме9»,<С(0,)е9'<,
т. е. при
щ -I- cijt <С ebt.
Эта область представляет собою или полупрямую, или внешнюю часть некоторого интервала. По теореме 2 (II) главы 3 односторонний критерий имеет строго монотонную функцию мощности и потому не может удовлетворять (6). Таким образом, ф(/) равно 1 при t < Ci или / > С2, и наиболее мощный критерий, подчиненный (5) и (6), дается формулой (3). Этот критерий несмещенный, как можно видеть, сравнивая его с ф(х) = а. Он также является РИМ несмещенным, так как класс критериев, удовлетворяющих (5) и (6), включает класс несмещенных критериев.
Определение критерия можно упростить, если при 0 = 9о распределение Т симметрично относительно некоторой точки а, так что Ре0 {Г < а — й\ = Ped {Г > а + «} при всех действительных и. Любой критерий, симметричный относительно а и удовлетворяющий (5), непременно удовлетворяет и (6), поскольку Е^ [Гф (Г)] = Е^ [(Г - а) ф (Г)] + аЕ0оф (Г) = аа = Е0и (Л а. Константы Сиу находятся поэтому из уравнений
^,{^<Ci} + Y1-Peo{7' = C1}=f. C2 = 2a-Cb Y2 —Yp
Полученные выше критерии гипотез 91 ^ 9 ^ 02 и 9 — 9о являются строго несмещенными в том смысле, что их мощность больше а при всех альтернативах 9. Для первого из этих критериев, определенного формулами (3) и (4), строгая несмещенность является немедленным следствием теоремы 6 (III) главы 3. Действительно, последняя устанавливает, что мощность рассматриваемого критерия имеет минимум в точке 9о между 01 и 02 и строго возрастает при удалении 9 от 9о в любом направлении. Второй из этих критериев, определяемый формулами (3), (5) и (6), имеет непрерывную функцию мощности с минимумом размера а при 9 = 0О. Таким образом, существуют 01 < < 9о < 92 такие, что P(0i) = Р(02) = с, где а ^ с < 1. Рассматриваемый критерий совпадает, следовательно, с РИМ несмещенным критерием уровня с для проверки гипотезы 91 ^ 9 ^ 92, и его мощность строго возрастает при удалении от 0О в любом направлении. Утверждение доказано.
Пример 1. Пусть X— число успехов в п биномиальных испытаниях с вероятностью успеха р. Теория, которая должна быть проверена, приписывает параметру р значение р0, так что ей соответствует гипотеза Н: р — р0. Отвергая гипотезу Н, обычно стремятся указать, превосходит ли р значение р0 или нет. Раз заключение р ф р0 все равно приводит к необходимости дальнейших исследований, то на первом шаге разумно решить, согласуются ли данные с гипотезой р = ро или пот. Поэтому формулировка задачи, как задачи проверки вышеуказанной гипотезы, вполне приемлема.
РИМ несмещенный критерий проверки Н дается формулой (3) с Т^Х) = 8= X. Уравнение (5) превращается в'
Ё (") р»сх+Ё о - y<) (;г) pcx"Ci=1 - °- №Cj + l1 = 1
и левая часть может быть подсчитана с помощью таблиц вероятностей отдельных значений и функции распределения X. Соотношение (6) с помощью
тождества
г Г П пхпп~х -пп ( п ”Мп-!)-(*-D
х\х)р^ -пР»\х-\)Рй q°
приводится к виду
С2-1
x=Ci +1
2
1=1
Левая часть снова может быть подсчитана по таблицам биномиального распределения.
При возрастании п распределение величины (^ — npo)/V^Po^o стремится к нормальному N(0,1). Поэтому при не слишком малых объемах выборки и /?о, не слишком близком к 0 или 1, распределение X приближенно симметрично относительно точки пр0. В этом случае много проще критерий, которому соответствуют «равные хвосты» распределения, т. е. для которого Сиу определяются уравнениями
Ё ( х ) р5<* + V1 ( £ ) Ро'^"0' = х=0
х=С2+1
Этот критерий является приближенно несмещенным и хорошо аппроксимирует несмещенный критерий. Ясно, что если п велико, то константы можно определять прямо по таблицам нормального распределения.
Пример 2. Пусть X = (Хь ..., Хп) — выборка из нормального распределения со средним 0 и дисперсией о2, так что плотность X равна
( 1 У„,(_±УА
\V2na /\ 2а2^ U
Статистика Г (х) = У, х2 достаточна для а2 и имеет плотность (1/а2) fn (у/а2)> где
in (У)in (У)^1 uW-le-W)2л/2Г(п/2)^1 uW-le-W)2л/2Г(п/2)(у>0)(у>0)
in (У)
in (У)
^1 uW-le-W)
2л/2Г(п/2)
^1 uW-le-W)
2л/2Г(п/2)
(у>0)
(у>0)
— плотность %2-распределения с п степенями свободы. При меняющемся а эти распределения образуют экспоненциальное семейство, которое встречается также в задаче об испытаниях на продолжительность жизни (см. задачу 13
главы 2) и в задачах, касающихся нормальных распределений с неизвестными средним и дисперсией (раздел 3 главы 5). Область принятия у РНМ несмещенного критерия для гипотезы Н: а = о0 состоит из точек, для котоРЫХV 2
С1<-^-<С2, где с, U (у) dy = \—a,
f(l-a)SeM
\ gin (У) dy - »iV^_£Z- = n (1 - a).
Для определения констант из таблиц %2-распределения удобно использовать тождество
У1п (У') = nfn+2 (#) и переписать второе уравнение в форме с,
М+2 (У) dy » 1 - a
С,
или же можно проинтегрировать yfn (у) dy по частям и привести второе с,
уравнение к форме
Хорошую аппроксимацию к несмещенному критерию, исключая случаи малых п или по, близких к 0 или оо, дает критерий с «равными хвостами», для которого£-
5 fn (у) dy — fn (у) dy — у.ос,
Это вытекает из того, что при надлежащей нормировке распределение Т стремится к нормальному, и, следовательно, Т распределена асимптотически симметрично.
Подобие и полнота
Во многих важных задачах подлежащие проверке гипотезы касаются одного действительного параметра, в то время как распределение результатов наблюдений зависит дополнительно от некоторых «мешающих» параметров. В широком классе таких задач существует РНМ несмещенный критерий, который можно отыскать с помощью леммы 1. Но для этого требуется характеристика критериев ф, для которых
£вФ (X) = a
при всех распределениях X, принадлежащих заданному семейству $РХ = {Ре, бею}. Такие критерии называются подобными по отношению к ^ или © по следующей причине. Если критерий <р является нерандомизированным и имеет критическую область S, то S «подобна выборочному пространству» ^ в том смысле, что обе вероятности Pe{XeS} и Ре{Х е ^} не зависят от 6 Gm.
Пусть Т — достаточная статистика для ^х и пусть ^г означает семейство (Ре, 9 е ю} распределений Т, где 0 пробегает с». Тогда любой критерий, для которого
Е [ф (X) | /] = а ^г-почти всюду ),(7)
оказывается подобным по отношению к ^х, так как
Eq [ф (X)] = Ев {Е [ф (X) | Т]} = а для всех 0 е ю.
О критериях, удовлетворяющих (7), говорят, что они имеют неймановскую структуру относительно Т. Характерное обстоятельство состоит в том, что вероятность отклонения гипотезы равна а на каждой из поверхностей Т = L Так как распределение на каждой из этих поверхностей не зависит от 0 для 0 е ©, то условие (7) по существу сводит проблему к проверке простой гипотезы при каждом значении t. Среди критериев, обладающих неймановской структурой, часто без труда находится наиболее мощный, для чего проблема оптимизации решается на каждой поверхности отдельно. Найденный критерий оказывается наиболее мощным среди всех подобных критериев в предположении, что каждый подобный критерий обладает неймановской структурой. Условия, при которых верно это последнее утверждение, мы сформулируем в терминах следующего определения.
Семейство ^ распределений вероятностей Р называется полным, если для любой измеримой функции f
£P[f(X)] = O для всех Р^Ф(8)
влечет
f(x) = O ^-почти всюду.(9)
В приложениях роль ^ будет играть семейство распределений достаточной статистики.
Пример 3. Рассмотрим п независимых испытаний с вероятностью р успеха, и пусть Xi равно 1 или 0, в соответствии с тем, закончилось i-e испытание успехом или нет. Тогда Т = Х\ 4- ... + Хп является достаточной статистикой для р, и семейство возможных распределений равно 8” = {Ь (р, п), О ^ Р < 1). Для этого семейства из (8) вытекает, что
п
2 ^ ^ ( " ) = ^ При ВСеХ ® < Р < °°>
t-o
где р = р/(1 — р). Левая часть есть многочлен от р, все коэффициенты которого должны быть равны нулю. Следовательно, /(/) = 0 для / = 0, ..., п, и биномиальное семейство распределений полно (или, что то же самое, Т-полно).
Пример 4. Пусть ХхХп — выборка из равномерного распределения Я(0, 0), 0 < 0 < оо. Тогда Г = тах(Х1Хп^ является достаточной статистикой для 0, и (8) превращается в
6
^UndP^W — nB^^Wt*1-'dt = O при всех 0. о
Пусть /(/) = /+(0—f~(0, где /•■(/) и /-(/) обозначают положительную и отрицательную части /(/) соответственно.
Тогда
V+ (4) = /+ (0 t""1 dt и v" (Л) = ^ Г (О tn~x diАА
являются мерами на борелевских множествах (0, оо), которые совпадают для всех интервалов, а следовательно, и для всех А. Отсюда вытекает, что t*^ — = 1-^, за исключением, быть может, множества нулевой меры Лебега. Поэтому /(/) = 0 ^г-почти всюду.
Пример 5. Пусть Х^ ..., Хт\ Уь ..., Yn независимы и распределены нормально по законам N(i, о2) и N(^, т2) соответственно. Тогда совместная плотность этих случайных величин равна
С (g, а, т) exp (^^- S.r^ + Д^ Hxt ^Г ^/ + "^Г ^/) •
Статистика Т=(Ы{, SX?, 2Уу, 2Уу) является достаточной. Она неполна, так как E^Yjln — hXilm) равно тождественному нулю. Однако если У/ (/= = 1, ..., п) имеет среднее E(Y) = q, которое меняется независимо от g, то множество возможных значений параметров 01 = —1/2о2, 02 = |/о2, 0з = = —1/2 т2, 04 = л/т2 содержит четырехмерный прямоугольник, и потому, как следует из теоремы 1 (см. ниже), семейство ^г полно.
В широком классе случаев (включающем пример 3) полнота семейств распределений может быть выведена из следующей теоремы.. ' '
Те'орема 1. Пусть X—случайный вектор с распределением вероятностей
dP^ (х) = С (6) ехр Г £ 6jTj W W
и пусть 0Т — семейство распределений статистики Т = = (Ti(X), ...., 7\(Х)) при 0, пробегающем множество со. Тогда, если со содержит k-мерный интервал, то У1 полно.
Доказательство. Производя, если необходимо, сдвиг в пространстве параметров, мы можем предположить, не ограничивая общности, что со содержит прямоугольник
/ = {(01, ОД ~а<0/<а, /=1, ..., кУ
Пусть функция /(/) = /+(/) —f^(Z) такова, что
Ее? (Г) = О ПРИ всех 9 ^ ®.
Обозначим v меру, индуцированную ц в пространстве значении Т. Тогда при всех 0 е /
J e^if+ (О dv (/) = $ Wf ^ dv (О
и, следовательно, в частности,
p+(/)dv(0=$T(/Mv(/).
Разделив f на надлежащую константу, мы можем принять, что общее значение последних интегралов равно 1, так что
dP+(/) = /+ (/) dv (/) и dP~ (Л = Г (/)dv(/)
являются вероятностными мерами, для которых
J е20?/ dP+ (/) = $ е29/'/ dP" (/)
при всех 6е /. Рассмотрим теперь эти интегралы, как функции комплексных переменных 0/ = &/ + ^ь j = h • • • > к. При любых фиксированных 0], ..., 0/-ь 0/+ь ..., 0, действительные части которых лежат строго внутри промежутка от —а до +«, эти интегралы по теореме 9 главы 2 являются аналитическими функциями 0/ в полосе R,: —а < gy < а, —оо<т]у«<оо комплексной плоскости. При фиксированных действительных 02, ..., 0а, лежащих между —а и Ц-а, равенство интегралов имеет место в интервале {(^i, t]i) : —а < ji < а, тц = 0} и потому верно в полосе Рь в которой интегралы аналитичны. По индукции равенство может быть распространено на многомерную комплексную область {(0ь ..., 0а): (В/, w) ^ Ri, j = V • • •. ку Отсюда, в частности, вытекает, что при всех действительных Oli1]»)
$ e^Yi dP* (/) = dP" UY
Последние интегралы представляют собой характеристические функции распределений Р+ и Р~ соответственно, и по теореме единственности для характеристических функций*), распределения Р+ и Р- должны совпадать. Из их определения следует, ЧТО f+(^) =1”^ v-почти всюду, и потому НО = 0 ^Г-ПОЧТИ всюду, что и требовалось доказать.
Пример 6. Пусть Хх, ..., XN независимы и одинаково распределены с функцией распределения F eST, где ^ — семейство всех непрерывных распределений. Как было показано в разделе 6 главы 2, совокупность порядковых статистик Т(Х) = (Х<1)> , <<f Х^) достаточна для 9". Мы докажем теперь полноту распределений Т. Так как статистика I*' (X) =(^z,sx|,.... sx") эквивалентна Т(Х) в том смысле, что обе индуцируют одно и то же подполе в выборочном пространстве, то Т'(Х) также достаточна. Кроме того, Т'(Х) полна тогда и только тогда, когда полна статистика Т(Х). Чтобы доказать полноту а тем самым и полноту Т(Х), рассмотрим семейство плотностей
f to = С (6]0^)ехр(— x2W + 0zx + ... + 6/^),
где С — нормирующая константа. Эти плотности определены при всех значениях аргументов 0, так как интегралы от экспоненты конечны. Соответствующие распределения принадлежат ^. Плотность для выборки объема N равна
с" exp (-Sx^ + е^х, + ... +0^х/),
и эти плотности образуют экспоненциальное семейство ^Fo. По теореме 1 Т^Х) полно для ^0, а следовательно, и для 5Г, что и требовалось доказать. (Иное доказательство см. в задачах 12 и 13).
Этот же метод доказательства позволяет установить более общий результат. Пусть Хц, / = 1, ..., М; Z = 1, ..., с, независимы и имеют непрерывные функции распределения Fu и пусть X^ < ... < Х^1^ обозначают Nt наблюдений ХпXiNf расположенных в возрастающем порядке. Тогда система порядковых статистик
И”хГ'^4’4"e))
достаточна и полна для семейства распределений, получаемого, когда Fb ... ..., Fc независимо пробегают класс tF. Здесь полнота доказывается рассмотрением подсемейства ^0 семейства ^, в котором распределения Ft имеют плотности вида -
fl (*) = Ct (0neZJV.) exp (- x™‘ + ezlx + ... + 9tNxNi"y
Для настоящих целей достаточным было бы и более слабое понятие огра- ниченнбй полноты: семейство 9* называется ограниченно полным, если (8) влечет (9) для всех ограниченных функций f. Если У полно, то оно тем более ограниченно полно.
Теорема 2. Пусть X — случайная величина с распределением Ре? и пусть Т — достаточная статистика для 9. Тогда, чтобы все подобные критерии имели неймановскую структуру относительно Т, необходимо и достаточно, чтобы семейство У7 распределений Т было ограниченно полным.
Доказательство. Предположим, что 9Т ограниченно полно и ф (X) — критерий, подобный относительно £Р. Тогда
Е [ф (X) — а] = 0 при всех Р е?, и, следовательно, если ф(/) обозначает условное математическое ожидание разности ф(Х) — а при данном t, то
^ КП — 0 при всех Рт е 9Т,
Так как по лемме 3 главы 2 можно считать, что -ф(^) ограничена, то из ограниченной полноты ^г вытекает ф(/) = Q и £[<р(Х) |/] = а ^-почти всюду, что и требовалось доказать.
Обратно, допустим, что ^ не является ограниченно полным. Тогда найдется функция f такая, что |f (0 |^ М при некотором М, Ef(T) = 0 при всех Рте^т и /(Г) N= 0 с положительной вероятностью при некотором Рт е Зт. Положим ф(/) = cf(7')+a, где c = min(a, 1— a)/M. Тогда ф— критическая функция, так как 0^ф(/)^1, и она определяет подобный критерий, поскольку £ф(0 = а для всех Рт г ^Л Но ф не имеет неймановской структуры, так как ф(7) ^= а с положительной вероятностью по крайней мере для одного распределения класса ЗР
РНМ несмещенные критерии для экспоненциальных семейств со многими параметрами
Важный класс составляют гипотезы относительно действительного параметра в экспоненциальном семействе, при условии, что остальные параметры остаются неуточненными, «мешающими» параметрами. Во многих подобных случаях РНМ несмещенные критерии существуют и могут быть построены с помощью теории предыдущего раздела.
Пусть X распределено по закону
[
ь 1
6У (х) + Е ^Ji (х) J dp(х), (8, 0)eQ, (10)
и пусть 8 = (От, ..., ^к) и Т = (Ti, ..., Тк). Мы рассмотрим проблему проверки следующих гипотез Hj при альтернативах КИ=Х, ..., 4:
Hf. 9<0оHf. 9<0оКг. е>е0
Hf. 9<0о
Hf. 9<0о
Н2: 0^0] или 0 ^ 02Н2: 0^0] или 0 ^ 02^2- 01 < 0 < 02^2- 01 < 0 < 02
Н2: 0^0] или 0 ^ 02
Н2: 0^0] или 0 ^ 02
^2- 01 < 0 < 02
^2- 01 < 0 < 02
Я3: ®1 ^ 0 ^ 02Я3: ®1 ^ 0 ^ 02Ht: 0 = 0ОHt: 0 = 0ОК3: 0 < 01 или 0 > 02
Я3: ®1 ^ 0 ^ 02
Я3: ®1 ^ 0 ^ 02
Ht: 0 = 0О
Ht: 0 = 0О
К4: 0¥=0о.
Мы предположим, что пространство параметров й выпукло и что его размерность равна к + 1, т. е., что оно не содержится ни в каком линейном пространстве размерности <_к + 1. В частности, это имеет место, если й — естественное пространство параметров экспоненциального семейства. Мы предположим также, что в й найдутся как точки, для которых 0 меньше, так и точки, для которых 0 больше 0о, 01 и 02 соответственно.
Можно ограничиться только достаточными статистиками (^, 7), которые имеют совместное распределение
4Р^ (и, f) = C (О, ^ехрГоы + Е м] dv (u, /), (0, О) s й. (11)
L i-l J
При данном Т — t U остается единственной переменной, и по лемме 8 главы 2 условное распределение U при данном t входит в экспоненциальное семейство
dPe и^ = Ct (0) exp (Ou) dMt (и).
Для условных распределений по следствию 2 главы 3 существует РНМ критерий для проверки Н\ с критической функцией Ф1 такой, что
1 при и > Со (0,
Ф1 («, 0 = Vo (0 При- 0 приФ1 («, 0 = Vo (0 При- 0 прии — Со (/),и — Со (/),и < Со(/),и < Со(/),(12)(12)
Ф1 («, 0 = Vo (0 При
- 0 при
Ф1 («, 0 = Vo (0 При
- 0 при
и — Со (/),
и — Со (/),
и < Со(/),
и < Со(/),
(12)
(12)
где константы Со и уо определяются из уравнения
^[ф^С, Т)|/] = а при всех t.(13)
Для проверки На в семействе условных распределений можно по теореме 6 главы 3 построить РНМ критерий с критической функцией
^1 (/) <. и < С2 (/),и = С( (/), i = 1, 2,^1 (/) <. и < С2 (/),и = С( (/), i = 1, 2,(14)(14)' 1 при ф2(н, 0 = ) V/ (0 при
^1 (/) <. и < С2 (/),
и = С( (/), i = 1, 2,
^1 (/) <. и < С2 (/),
и = С( (/), i = 1, 2,
(14)
(14)
0 при и<Сх ^ или0 при и<Сх ^ илис2(0,с2(0,
0 при и<Сх ^ или
0 при и<Сх ^ или
с2(0,
с2(0,
где константы С и у определяются из уравнения
Еб1[Ф2^, П\^ = Е^и, T)\q = a.(15)
Рассмотрим теперь критерий ф3 такой, что
1
при и<Сх (0 если > С2 (/),
Ф^уО^^уЛО при u = Ci^) Z=l,2,(16)
0
При С! (/) < U < С2 (/),
где Сиу определяются из уравнения
£6|[Фз(^ Л |/] = £61[Фз([/, п |/] = «.(17)
При данном Т = t этот критерий в соответствии с разделом 2 настоящей главы будет РНМ несмещенным для проверки На и РНМ среди всех критериев, удовлетворяющих (17).
Пусть, наконец, ф4 — критическая функция, удовлетворяющая (16) с константами С и у, которые находятся из уравнений
С6о[ф4(С, Л1/] = «(18)
и
Се,[Сф4(С, П|/] = аСеДС|/].(19)
При данном Т = t из результатов раздела 2 снова выводим, что ф4 является РНМ несмещенным критерием для проверки Щ и РНМ в классе всех критериев, для которых выполняются (18) и (19).
До сих пор критические функции ф/ рассматривались как условные при Т = t. Интерпретируя их теперь как критерии, основанные на U и Т и предназначенные для гипотез относительно распределений X (или совместного распределения U и Т), т. е. возвращаясь к первоначальной точке зрения, мы приходим к следующей важной теореме.
Теорема 3. Определим критические функции: ф1 по (12) и (13); фа по (14) и (15); фз по (16) и (17), ф4 по (16), (18) и (19). Эти функции приводят к РНМ несмещенным критериям уровня а для проверки гипотез Нх, ..., Щ соответственно, если совместное распределение U и Т дается формулой (11).
Доказательство. Статистика Т достаточна для 0- при любом фиксированном 0 и, следовательно, Т достаточно для каждого
О/ = {(е, а): (о, »)ее, 0 = 0,}, / = 0,1,2.
По лемме 8 главы 2 соответствующее семейство распределений Т получается из формулы
jdve(/), (Op О) stopjdve(/), (Op О) stopdPT^-Сф,, ^^tVi
jdve(/), (Op О) stop
jdve(/), (Op О) stop
i=o, 1, 2.
Так как, по предположению, Q выпукло, имеет размерность А + 1 и содержит точки, лежащие по обе стороны от 0 = О/, то (о, выпукло и имеет размерность к. Поэтому ©/ содержит £-мер- ный прямоугольник. По теореме 1 семейство
^=^Рб},»: (0, ^еш,}
полно. Из подобия критерия ф на <щ вытекает
ЕеДфф, П1/] = «.
Рассмотрим сначала Н\. По теореме 6 главы 2 для экспоненциального семейства мощность любого критерия непрерывна. Следовательно, достаточно доказать, что ф1 является РНМ критерием в классе всех критериев, подобных на соо (лемма 1), и тем самым в классе критериев, удовлетворяющих (13). С другой стороны, безусловная мощность критерия ф при альтернативе (9, О) равна
Ее, # [ф (U, 7)] = Ц $ ф (и, 0 dP^‘ («)] dPTM MY (20)
Мы сделаем максимальной безусловную мощность, максимизируя условную мощность при каждом отдельном / (т. е. максимизируя выражение, стоящее в квадратных скобках). Так как ф1 делает максимальной условную мощность при любой альтернативе 0 > 0о и при ограничении (13), то мы получаем требуемый результат.
Доказательства для Н2 и На совершенно аналогичны. По лемме 1 достаточно доказать, что ф2 и фз являются РИМ среди всех критериев, подобных на ©i и ю2, и, следовательно, среди критериев, удовлетворяющих (15). При каждом / ф2 и фз максимизируют условную мощность в соответствующих задачах при указанном ограничении. Поэтому они максимизируют и безусловную мощность.
Несмещенность критерия для Щ влечет подобие на ©о и
-^ [Де, аФ (U, Т)] = 0 на ©о-
В левой части этого соотношения дифференцирование можно перенести под знак математического ожидания, и с помощью тех же вычислений, что ранее привели к (6), мы находим, что это уравнение равносильно следующему:
Ee..(AlW, T)-atq = O на ©о.
Поэтому, так как ^о полно, несмещенность влечет (18) и (19). Как и в уже разобранных случаях, критерий (который удовлетворяет (16)) является РИМ среди всех критериев, удовлетворяющих этим двум условиям. Так же, как при доказательстве леммы 1, из сравнения с критерием ф(«,/) = а вытекает, что предложенный критерий — РНМ несмещенный.
Функции фь ..., ф4 определены при каждом фиксированном t как функции от и. Для завершения доказательства необходимо установить, что эти функции измеримы по совокупности переменных и и t, так что математическое ожидание (20) существует. Мы докажем здесь это утверждение для ф1; доказательство для остальных случаев намечено в задачах 14 и 15. Чтобы показать измеримость фь мы выведем сначала измеримость по t Со(О и уо(О> определенных в (12) и (13). Опуская индекс 0 и обозначая
Ft^ = P6AU<u\f\
условную функцию распределения U при Т = t и 0 = во, мы можем переписать (13) в форме
Ft Ю - у [^ (С) - Ft (С - 0)] = 1 - а.
Здесь С = C(t) таково, что Ft (С — 0)^ 1 — a ^ Ft^C) и, следовательно,
C^ = F74l~«'),
где F71 (у) = inf {«: Ftku^yY Мы видим, что С(0 и у(/) будут измеримы, если Л(ы) и Ft (и — 0) измеримы по совокупности переменных и и t и F7X (1 — а) измерима по t.
При каждом фиксированном и функция Ft (и) измерима по / и при каждом фиксированном t она является функцией распределения, а потому монотонна и непрерывна справа. Из второго свойства вытекает, что Л(и)^с в том и только том случае, когда для каждого п существует рациональное г такое, что
u^r -<и+ \/п, Ft(r)^c.
Следовательно, обозначая Г], гг, ..., занумерованные каким-либо образом рациональные числа, имеем
{(u, ty. Ft(«)>c} = Q(J{(u, ty 0<г(-и<-^. F((rt)>cy п i
Отсюда видно, что Ft (и) измерима по совокупности переменных и и t. Для Ft (и — 0) доказательство совершенно аналогично. Так как Р7Чу)^=и равносильно Ft^^y, то F7X Уу^ /-измерима при любом фиксированном у. Доказательство закончено.
Критерий ф1 доказанной теоремы остается РНМ несмещенным, если заменить й множеством й' = й П {(9, О) : 9 > 90}, т. е. если проверять гипотезу Н': 9 = 9о при альтернативе 9 > 6о. Предположение о том, что й содержит точки с 9 < 9о, было в действительности использовано только для доказательства наличия внутри (оо ^-мерного прямоугольника. Но это утверждение остается верным, если й заменить на й'.
Оставшаяся часть этой главы, равно как и вся следующая глава, посвящена в основном применениям предыдущей теоремы к различным статистическим задачам. Этот путь — наиболее быстрый путь доказательства того, что соответствующие критерии являются РНМ несмещенными. Однако имеется и другой, более элементарный, вариант подхода к проблеме. Именно, доказательство теоремы 3 совершенно элементарно во всех пунктах, за исключением следующих: (I) того факта, что условные распределения U при данном Т = t образуют экспоненциальное семейство, (II) что семейство распределений Т полно, (III) что производная от £в.еф(1/, Г) существует и может быть вычислена Дифференцированием под знаком математического ожидания, (IV) что функции фь ..., ф4 — измеримы. Вместо проверки свойств (I) — (IV) в общем случае, как было сделано в выше приведенном доказательстве, можно проверять эти свойства непосредственно в каждой отдельной задаче, что порой очень легко.
С помощью преобразования параметров теорема 3 может быть распространена на гипотезы относительно параметров типа
9* = а09 + Е а А.«о ^ 0.
1 = 1
Преобразование формально дается нижеследующей леммой, доказательство которой очевидно.
Лемма 2. Экспоненциальное семейство распределений (10) может быть представлено в виде
dPl,»(х) = К(9*. в)exp[9W(х) + 2^75(х)]dp(х), где
Применение теоремы 3 к распределениям в той форме, как они даны в этой лемме, приводит к РИМ несмещенным критериям для гипотезы Я]: 9*^90 и определенных, аналогично предыдущему, гипотез Нг, Нз, Н».
Проверяя одну из гипотез Я/, мы часто интересуемся мощностью Р(9', О) критерия ф/ по отношению к какой-либо альтернативе 9'. Как подчеркнуто в обозначении и видно из (20), эта мощность зависит, обычно, от неизвестных «мешающих» параметров О. С другой стороны, мощность условного критерия при данном Т = t
Р(9'|/) = Мф(£Л Г)|/]
не зависит от О' и имеет, следовательно, известное значение.
Величину р(9'|/) можно интерпретировать двумя способами. (I) Это есть вероятность отклонения Я при Т = t. Если значение 7 уже известно и равно t, то возникает представление, что, по крайней мере в некоторых проблемах, указанная вероятность дает более подходящее к ситуации выражение мощности, чем Р(9', О). Последнее получается осреднением Р(9'|1) по значениям I, не имеющим отношения к рассматриваемому случаю. Этот аргумент наталкивается на трудности, так как могут налагаться еще и дополнительные условия, и неясно, когда же следует остановиться.
Более отчетливая интерпретация состоит в том, что Р(9'|/) рассматривается как оценка р(9\ О). Так как
Е6^[Р(9'|7)] = р(9', О),
то эта оценка является несмещенной в смысле главы 1 (равенство 11). Далее, из теории несмещенных оценок и полноты экспоненциального семейства следует, что в классе всех несмещен-
ных оценок мощности 0(0', ft) предлагаемая имеет наименьшую дисперсию *).
Безотносительно к способу интерпретации 0(О'| О имеет по сравнению с безусловной мощностью тот недостаток, что ее величина становится известной после проведения наблюдений. Следовательно, она непригодна для планирования эксперимента, в частности, для определения размера выборки, если это необходимо сделать заранее, до проведения эксперимента. С другой стороны, заданная мощность 0 при альтернативе 6 = 6' достигается последовательным накоплением наблюдений до тех пор, пока условная мощность 0(О'|/) не станет ^0.
Сравнение двух пуассоновских или биномиальных совокупностей
Часто возникает необходимость сравнения двух способов воздействия на изучаемые объекты или какого-либо способа воздействия с контрольной ситуацией, где он не применяется. Если результатом наблюдений является число успехов в последовательности испытаний каждого способа, например число пациентов, излеченных от некоторой болезни, проблема сводится к проверке равенства двух биномиальных вероятностей. При сравнении степени радиоактивности двух веществ исходными были бы распределения Пуассона, а проблема состояла бы в проверке тождественности этих распределений.
Желая проверить, дает ли предлагаемый способ выигрыш по сравнению с контрольными испытаниями, где он не применяется, мы формулируем одностороннюю гипотезу. Обозначая g2 и |i значения параметра при применении воздействия и в контрольных опытах, мы представим класс альтернатив в виде К*. £г > £ь Основная гипотеза имеет вид £2 = £ь если априори известно, что предлагаемый способ или не вносит изменений, или дает преимущество, и вид g2 |ь если допускается возможность ухудшения. Так как при обеих формулировках критерии оказываются одними и теми же, то более безопасная вторая формулировка часто оказывается и более предпочтительной.
Односторонние гипотезы оказываются уместными и в тех случаях сравнения новых способов со стандартными, когда первые представляют интерес исключительно лишь при условии улучшения результатов. С другой стороны, если два способа находятся в одинаковом положений, то проверяют гипотезу g2 = gi при двусторонней альтернативе £2 =# gb Здесь формулировка представляется довольно искусственной, так как в случае
. *) См. теорему 5.1 в работе: Lehmann and S с h е f f ё. Completeness, similar regions and unbiased estimates, Sankhya, 10 (1950), 305—340.
отклонения гипотезы мы несомненно стремимся понять, какой же способ лучше). Однако двусторонние критерии находят важное применение при построении доверительных границ для меры превосходства одного способа над другим.
Чтобы применить теорему 3 к задаче сравнения, необходимо представить соответствующие распределения в экспоненциальной форме с 0 = f(|b ^2), например, 0 = |г— Si или S2/S1, ело; вом, в такой форме, чтобы интересующая нас гипотеза была эквивалентна встречающимся в теореме 3. В настоящем разделе будут рассмотрены пуассоновское и биномиальное распределен ния. Случаем нормальных распределений мы займемся в главе 5.
Начнем с распределений Пуассона. Пусть X и У независимы и имеют распределения Р(Х) и Р(ц), соответственно, так что их совместное распределение может быть представлено в форме
Р^Х = х, У = z/} =-^-1^2-exp [у log-^ + (х + t/) log xj.
Согласно теореме 3 существует РНМ несмещенные критерии для четырех гипотез Hi, На, На, Щ, касающихся параметра 0 = = log(p/X), или, что то же самое, отношения р = р/Х. Сюда, в частности, включаются гипотезы р ^ X, (или р = X) при альтернативе р > X, и р = X при альтернативе р ^ X. Сравнивая распределение (X, У) с (10), мы видим, что здесь U = У и Т = X + У, и по теореме 3, критерии применяются условным образом в целых точках отрезка прямой X + У = t, лежащего в первом квадранте х, у-плоскости. Условное распределение У при X + У = t равно (см. задачу 12 главы 2)
у = 0, 1, ..., I, т. е. является биномиальным распределением, соответствующим / испытаниям с вероятностью успеха р = р/(Х + и). Первоначальные гипотезы сводятся этим приемом к аналогичным гипотезам относительно параметра р биномиального распределения. Например, гипотеза Н: р^аХ превращается в Н: р ^ а/(а + 1), которую отвергают при слишком больших У. Критическое значение зависит, конечно, не только от а, но и от t. Его можно определить по таблицам биномиального распределения, а при больших /— (приближенно) по таблицам нормального закона.
Во многих применениях отношение р = р/Х оказывается разумной мерой расхождения между пуассоновскими совокупностя-
ми, поскольку параметры X и ц указывают на скорость (в пространстве или во времени), с которой появляются события в сравниваемых процессах Пуассона. Можно было бы надеяться, что мощность указанных выше критериев зависит только от этого отношения, но это в действительности не так. Более того, при каждом фиксированном р, соответствующем альтернативе к проверяемой гипотезе, мощность 0 (X, ц) = 0 (X, рХ) является возрастающей функцией X и стремится к 1 при Х-*оо и к а при X—*0. Чтобы показать это, рассмотрим мощность 0(р|/) условного критерия при данном t. Эта мощность есть возрастающая функция t, поскольку она представляет собой мощность оптимального критерия, построенного по / биномиальным испытаниям. Статистика Т имеет распределение Пуассона с параметром Х(1 + -}- р), и ее распределения при меняющемся X образуют экспоненциальное семейство. Из леммы 2 главы 3 следует, что безусловная мощность ^![Р(р|Т)] является возрастающей функцией X. При X—*0 или X —» оо Г, по вероятности, стремится к 0 или со, а мощность относительно фиксированной альтернативы р — к а или 1.
Приведенные выше критерии применимы и к выборкам XiХщ и Уь .... У„ из двух распределений Пуассона. Ста- mп
тистики Х=^Xi и У= ^1^1 будут при этом достаточными для X и р и будут распределены по закону Пуассона с параметрами тХ и пц соответственно. При планировании эксперимента естественно желание взять m = п столь большим, чтобы критерий гипотезы, скажем Н; р ^ р0, имел при фиксированной альтернативе pi мощность, не меньшую заданного 0. Однако замечания, сделанные по поводу функции мощности при n = 1, остаются справедливыми при любом п, и потому высказанное пожелание неосуществимо при фиксированном п, сколь бы велико оно ни было. Это можно увидеть и непосредственно, поскольку при X -> 0 вероятность события X = У = 0 стремится к 1 как при р = ро, так и при р = рь Поэтому мощность любого критерия уровня а при альтернативе р = pi и при меняющемся X не может быть «удалена» от а. Эту трудность можно преодолеть только при последовательной процедуре наблюдения. Мы можем, например., выбрать /о столь большим, чтобы критерий гипотезы Р ^ Ро/ (1 + ро), построенный по /о биномиальным испытаниям, имел мощность ^0 при альтернативе p = pi/(l +pi). Наблюдая пары №, У^, (Х2, Уг), ... до тех пор, пока не станет 2 Ui + У,) > t0, мы получим критерий, мощность которого при всех альтернативах с р ^ pi *).
*) Обсуждение этой и альтернативной процедур для достижения той же самой цели дается в работе: Birnbaum, Statistical methods for Poisson processes and exponential populations, J. Am. Stat. Assoc. 49, 254—266.
6 Э. Леман
Сравнение биномиальных вероятностей совершенно аналогично. Пусть X и У — независимые случайные величины с совместным распределением
PVX = x, Y^yj^^p^^P^-11-
-^СЛ^ ехр К10? -й— 1о8 7?) + (Х + ^108 Й ‘ Мы можем проверить каждую из четырех гипотез Нх, Н^, Н3, Ht относительно параметра 9 = log ("^'/'^■) или> что эквивалентно, относительно отношения р = — /—. Сюда включаются, в частности, проблемы проверки Ну р^ ^ рх при альтернативе р2 > рх н.Н% Р2 = РХ ПРИ альтернативе р^ рх. Как и в случае распределений Пуассона, U — Y и Т = XЛ-Y, и критерий выражается в терминах условного распределения Y на отрезке прямой X + Y = L Это распределение равно
P{r = z/l^-f-y = O = C((p)(^J(;)p», у=М,..., t, (21) где
с.(р)-1/Ё )(;)р»-. '
у'-О
В частном случае гипотез Нх и Я< пограничное значение 9о (см. формулы (13), (18), (19)) равно 0, а соответствующее значение р равно 1. Условное распределение превращается в гипергеометрическое расределение)
( m )(П)
Проверка независимости в 2 X 2 таблицах
Задача о том, независимо ли распределение некоторых характеристик А и В в данной совокупности, обсуждалась в разделе 4 главы 2 (пример 4). При этом предполагалось, что частные вероятности р(Д) и р(В) известны. Мы видели, что лучше всего информирующей среди выборок объема s является та, ко
торая взята из самой редкой из четырех разновидностей А, А, В, В. Пусть это будет, например, А. Тогда задача сводится к проверке гипотезы Н: р = р(В) относительно биномиального распределения b^p, s).
В более типичной ситуации, когда р(Л) и р(В) неизвестны, выборка только из одной категории, скажем Л, не может служить основой для различения гипотезы и ее альтернатив. Это следует из того факта, что число элементов выборки, обладающих свойством В, имеет биномиальное распределение с вероятностью успеха р(В|Л), совершенно неизвестной как в случае, когда гипотеза верна, так и в противоположном случае. Гипотеза может быть, однако, проверена, если выборка берется из двух категорий: А и А (или В и S). Возьмем, например, последний случай. Если объемы выборок равны т и п, то числа элементов этих выборок, обладающих свойством Л, будут независимыми случайными величинами с биномиальными распределениями fc(pi,/n) и Ь(ръ п) соответственно. Здесь рх = Р(А\В) и р^ = = Р(А\В). Гипотеза независимости двух характеристик: р(Л|6) = р(Л) эквивалентна гипотезе рх = р2 и задача сводится, таким образом, к разобранной в предыдущем разделе.
Вместо извлечения выборок из двух категорий часто бывает удобнее взять случайную выборку из совокупности, рассматриваемой как целое. Результаты подобной выборки могут быть сведены в следующую 2X2 таблицу сопряженности признаков» В ее клетках указано количество объектов разных категорий:
AA
В
в
XX'
YY'
M
N
TT'
s
Величины X, Х\ У и У' имеют совместное полиномиальное распределение
pVX = x, Х' — х', Y = y, Y' = tA = s! х х' у у' — xl х'! у! у'! РавРавРавРав —
$! S Г . РАВРддРдв 1
^7Г?!у\у'\ Р^в exp hlog — + X log—+ z/log—I.
uABABrAB -1
Лемма 2 и теорема 3 применимы к любому параметру вида
9 = Яо log -^- + «i log~~~ + «2 logy52--
РМРЪвРА^
Полагая а|=а2 = 1, а0 = -1, А = е6* = (РлвРдвО/ОлвРла) и обозначая рд = p№ + рд§ и рв = р№ + р^в вероятности категорий Л и В в рассматриваемой совокупности, мы имеем
. 1 -д
РавРаРв*дРавРав>
— Д
РХвРхРвдРавРаЙ»
1-Д
РавPaPsдРавРав<
РХвРаРвтдPabPaS'
Независимость Л и В эквивалентна равенству А = 1, а неравенства А < 1 и А > 1 указывают соответственно на положительную и отрицательную зависимость *).
Критерий гипотезы независимости, или любой другой гипотезы относительно А, описывается в терминах условного распределения X при данных X + X' = т, X + У = I. Вместо того чтобы непосредственно вычислять это распределение, рассмотрим сначала условное распределение при условии X + X' = т (которое влечет У + У' = s — т = п). Это распределение, как лег- го видеть, равно
Р^Х = х, Y = у\Х + X'= т} —
т. е. представляет собой совместное распределение двух независимых биномиальных величин с параметрами т, рх = рдв/рв, и п, Р2~Рав!Рв соответственно. Действительно, это ясно и без вычислений, поскольку теперь мы имеем дело с выборками фиксированных объемов т й п из категорий В и 5, вероятность А в которых равна рх и р2- Если наложить дополнительное условие X + У = /, то условное распределение X при двух условиях
X + X' = т и X + Y = / будет таким же, как у X при данном X -VY = t в случае двух независимых биномиальных величин, рассмотренных в предыдущем параграфе. Стало быть, оно равно
Р(Х = х\ХА-Х' = т, X + Y = t}^
(мы заменили в (21) у на х; следует заметить, что выбор именно X для построения критериев совершенно произволен; с таким же успехом мы могли бы выбрать У). Для параметра р имеем выражение
р =—/— = —лв лэ = Д41'4 х РавР^в ‘
Из проведенных рассуждений мы видим, что условный критерий при данных Х-^Х' = тиХ-уУ = 1 для проверки любой гипотезы, относящейся к А, идентичен с условным критерием при данном X + Y = t для той же самой гипотезы относительно р = А в обстановке предыдущего раздела (в котором X + X' = = т было дано априори). В частности, условный критерий для проверки независимости А = 1 (критерий Фишера — Ирвина) совпадает с критерием проверки равенства двух биномиальных параметров р и потому может быть выражен в терминах гипергеометрического распределения.
В начале раздела уже отмечалось, что гипотеза независимости может быть проверена на основании выборок, взятых различными способами. Выборки фиксированного объема можно взять из А и А или из В и В, или, наконец, из совокупности как целого. Какой из этих планов более эффективен, зависит от стоимости выбора из различных категорий и из всей совокупности, а также от стоимости необходимой классификации отобранных индивидуумов в соответствии с рассматриваемыми характеристиками. Предположим, однако, на время, что мы пренебрегаем этой стороной дела и желаем сравнить планы эксперимента в терминах мощностей отвечающих им критериев при одной и той же альтернативе. Тогда при возрастании объема выборки s до бесконечности верны следующие асимптотические утверждения ):
Если выборки объемов тип (т + п — s) извлекаются из В и В иди А и А, то наилучшими значениями тип будут т = п = $/2.
Выборки равного объема s/2 лучше извлекать из В и В, чем из Л и А, если | рв — у | > | рА — у |.
Случайная выборка из всей совокупности хуже, чем выборки равного объема из Д и А или из В и В.
Мы не будем доказывать здесь эти утверждения. Отметим лишь, что их можно получить, используя нормальное приближение к биномиальным распределениям X и У, и замечая, что при случайном выборе из всей совокупности Mis и N/s стремятся по вероятности к рв и pg соответственно.
Критерий знаков
Чтобы определить, какой из двух товаров предпочитает потребитель, опрашивают п лиц. Результат отмечается знаком плюс, когда предпочитают товар Л, и знаком минус в другом случае. Полное число плюсов У имеет тогда биномиальное распределение Ь(р, п). Рассмотрим проблему проверки гипотезы р = *А об отсутствии разницы в спросе при альтернативе р^ *А (как и раньше, мы отвлекаемся от того факта, что при отклонении гипотезы необходимо решить, какой из товаров предпочитают). Соответствующий критерий, двусторонний критерий знаков, отклоняет гипотезу, если значение I У — у п | слишком велико. Это — РИМ несмещенный критерий (раздел 2).
Допустим, что потребители могут воздержаться от ответа. Обозначим р+, р- и ро вероятности предпочесть А, предпочесть В и воздержаться соответственно, тогда числа X, Y и Z потребителей, для которых осуществляются указанные возможности, имеют совместное полиномиальное распределение с вероятностями
-^ИР-Р"+Ро (x + y + z = n),(22)
и гипотеза, которую надлежит проверить, имеет вид Н: р+ = р_ Распределение (22) можно записать в форме
( Р+ Yf р° V П-п -пx\g\z\ V-Р0~ Р+ / V-Po-P+/ Р° Р+' ’
из которой видно, что это — экспоненциальное семейство с U = У, Т — Z, 0 = log[p+/(l—р0 —р+)], » = log[p0/(l — Ро — —р+)]. Гипотеза Н, как легко видеть, эквивалентна гипотезе 0 = 0. Поэтому существует РИМ несмещенный критерий для Н. Мы придем к этому критерию, если сначала фиксируем z, а затем определим наилучший несмещенный условный критерий для Н при Z = z. Так как условное распределение У при данном z
является биномиальным Ь(р,п— z) с р = р+/(р+ + Р-)» то проблема сводится к проверке гипотезы р = 1/2 в биномиальном распределении с п — z испытаниями, а в этом случае критическая область имеет вид | У — у (п — z) | > С (z). Мы получаем, следовательно, РНМ критерий, отбрасывая случаи, когда предпочтение не было высказано («ничьи»), и применяя критерий знаков к оставшимся данным.
Мощность критерия сильно зависит от ро, определяющего распределение величины Z. Можно ожидать, что при больших ро число п — z испытаний в условном биномиальном распределении будет мало, и поэтому мощность критерия также будет невелика. Правда, в этом случае есть и преимущество — большое значение ро указывает, безотносительно к величине р+/Р-> что потребители в целом весьма безразличны к товарам, о которых идет речь.
Вышеприведенный условный критерий знаков применим в любой ситуации, где наблюдаются п независимых испытаний, каждое из которых заканчивается успехом (+), неудачей (—) или ничьей. В качестве альтернативного способа обращения с ничьими иногда предлагают приписать каждой ничьей наудачу (с вероятностями 1/2) знак плюс или минус. После такого «расщепления» ничьих полное число плюсов становится биномиальной случайной величиной с распределением 6 (л, л), где л = = р+ + у р0. Гипотеза Н заменяется гипотезой л = 1/2 и отклоняется, когда | У' — у л | > С. С определяется тем, что вероятность отклонения должна быть равна а при л = 1/2. Этот критерий можно рассматривать как рандомизированный критерий, основанный на X, У и Z. Как критерий для Н, он не смещен, поскольку р+ = р_ или р+ =£ р_ при л = 1/2 или л #= 1/2. Так как критерий включает рандомизацию не только на границе критической области, то он менее мощен, чем РНМ несмещенный критерий для этой ситуации. Таким образом, случайное «расщепление» ничьих приводит к потере мощности.
Можно полагать, что это замечание поможет ответить на следующий вопрос: что лучше делать при определении вкусов потребителей — позволять им воздержаться или настаивать на выражении ими определенного мнения. Однако здесь неприменимо предположение о полной случайности «расщепления» ничьих. Даже в случаях, когда индивидуум полностью не уверен в том, что именно он предпочитает, обычно имеется небольшая склонность к одной из двух возможностей. Она в большинстве случаев обнаруживается при вынужденном решении. Но эта сторона Дела уравновешивается большей изменчивостью вынужденных
решений по сравнению с добровольными. Какой из этих двух факторов главный, зависит от степени предпочтения.
Часто вопрос о предпочтении возникает, когда сравниваются стандартный продукт и некоторая его модификация или новый продукт. Если каждому опрашиваемому необходимо выразить определенное мнение, то гипотеза формулируется обычно как односторонняя: р+ ^ р_, где + означает, что предпочитают модификацию. Однако, если можно воздерживаться от ответа, то проверяемой гипотезой будет не р+ ^ р_, а р+ ^ ро + Р-, поскольку, как правило, модификация интересна, если ее действительно предпочитают. Как было показано в примере 8 главы 3, односторонний критерий знаков, который отвергает гипотезу при слишком большом числе плюсов, является РНМ для этой задачи.
В некоторых исследованиях опрашиваемое лицо должно не только выразить свое предпочтение, но и дать более детальную оценку, например указать число из некоторой шкалы оценок. В зависимости от ситуации, гипотеза может принимать одну из двух форм. Можно интересоваться тем, имеется ли различие в отношении потребителей к двум видам товаров. Формально соответствующая гипотеза утверждает, что распределение оценок Xt, ..., Хп, где Xt выражает степень предпочтения t-м лицом модифицированного продукта, симметрично относительно начала. Эта задача, в которой РНМ несмещенный критерий без дополнительных предположений может не существовать, будет рассмотрена в разделе 9 главы 6.
При ином подходе гипотеза имеет прежний вид Н: р+ = р— Так как р- = Р{Х < 0} и р+ = Р^Х > 0}, то
Я:Р{Х>0} = Р{Х<0}.
Здесь симметрия величин X более не предполагается, даже в случае Р^Х < 0} = Р{Х > 0}. Если не делать никаких предположений о распределении X, кроме того, что множество его возможных значений известно, то критерий знаков, основанный на числе положительных и отрицательных Xi, продолжает быть РНМ несмещенным.
Для доказательства заметим, что любое распределение X полностью определяется заданием вероятностей
р_ = Р{Х<0}, р+=Р{Х>0}, ро = Р{Х = О)
и условных распределений F_ и F+ величины X при условиях X < 0 и X > 0 соответственно. Фиксируем любые два распределения F_, F'+ и обозначим ^"о семейство всех распределений с F_=F'_, F+ = F'+ и произвольными р-, р+, ро. Каждый критерий для Н, который не смещен в первоначальном семействе рас-
пределений 5", где F_ и F+ неизвестны, остается несмещенным и в более узком семействе ^"о- Ниже мы покажем, что существует РНМ несмещенный критерий фо Для Н в классе ^"о- Оказывается, что <ро является также несмещенным критерием для проверки Н в S' и не зависит от F'_, F'+. Пусть ф — любой другой несмещенный критерий для гипотезы Н в У, Рассмотрим какую- либо фиксированную альтернативу. Не ограничивая общности, можно предположить, что она входит в ^о. Так как критерий ф не смещен в #", он не смещен и для гипотезы р+ = р-, проверяемой в ^*о. Следовательно, мощность ф0 при выбранной альтернативе не меньше мощности ф. Поэтому фо — РНМ несмещенный критерий.
Чтобы построить РНМ несмещенный критерий для Н в ЗГ», обозначим f_ и /^ плотности распределений F- и F'+ по отношению к некоторой мере ц. Совместная плотность величин X в точке (xiхп) с
равнаравнаХЧх1,<° — х11 —~х1,<х11х«„
равна
равна
Совокупность статистик (г, s, т) достаточна для (р-, ро, р+) и ее распределение дается формулой (22) с х = г, у = т, z = s. Мы видим, что, как и раньше, критерий знаков является РНМ несмещенным.
Задачи
К разделу 1
Допустимость. Любой РНМ несмещенный критерий ф0 является допустимым, т. е. не существует другого критерия фь который был бы не менее мощен, чем ф0 при всех альтернативах, и более мощен при некоторой из них.
[Если критерий ф несмещенный и ф' равномерно не хуже (в смысле мощности), чем ф, то ф' также несмещенный).]
Критические уровни. Рассмотрим семейство критериев для Н; 0 = 9о (или 9 ^ 9о) уровня а, с критическими областями Sa такими, что (а) Р0о {Х е Sa} = а для всех 0 < a < 1 и (б) Sao = Q Sa для всех 9 < a>a0
< «о < 1 (отсюда вытекает, в частности, что Sa с: Sa, при a < a').
Тогда критический уровень равен a = a (х) = inf {a: х е Sa}.
При 9 = 9о распределение а равномерно на (9,1)
Если критерии Sa-несмещенные, то распределение а при любой альтернативе 9 удовлетворяет неравенству
Р0 {a < а} > Р0о {а < а} = а,
т. е. как бы «сдвинуто» к началу координат.
Если критические числа определяются из нескольких независимых экспериментов, то в сочетании с (II) и (III) можно получить безусловный критерий) для рассматриваемой гипотезы [а ^ а тогда и только тогда, когда х г Sa, следовательно, Pg {d С «} = Ре {X е Sa} = 0a (0), что равно а при 0 = 0О и ^ а, если 0 — альтернатива Я.]
К разделу 2
Пусть X имеет биномиальное распределение Ь(р, п). Рассмотрим гипотезу Н: р = ро при уровне значимости а. Определите границы РИМ несмещенного критерия для п = 10; a = 0,1; р0 = 0,2 и a = 0,05; ро =0,4. В каждом случае постройте функции мощности несмещенного критерия и критерия с равными «хвостами».
Пусть X имеет распределение Пуассона Р(т). Рассмотрим гипотезу Н: т = т0. Тогда условие (6) сводится к
С8-1х-12С,— !
X 77^Н)Ге“Y<) (с"=Л)Ге T,==1
х-С,+11-1
Пусть Тп№ имеет ^-распределение с п степенями свободы. Найдите, сколь большим должно быть п, чтобы мощность РНМ несмещенного критерия для проверки Н: 0 = 1 с уровнем значимости a « 0,05 была > 0,9 как при 0 > 2, так и при 0 С 1/2. Сколь велико должно быть п, если не требовать несмещенности критерия?
Пусть X н У независимы и распределение каждой величины входит в однопараметрическое экспоненциальное семейство, так что совместное распределение дается формулой
dP^ е2 (*• У) = с (е0 ®е,Т М ^ W К (02) е0’у W dv (у).
Тогда для проверки Я: 01 = а, 02 = b при альтернативе 01 ^ а или 02 ^ Ь не существует РНМ несмещенного критерия.
[Наиболее мощные несмещенные критерии при альтернативах 0i = a, 02# Ф b и 0i ^ a, 02 = b имеют соответственно области принятия К\ < U(y) < < Кг и Сх < Т(х) < С2. Эти критерии остаются несмещенными и при более широком классе альтернатив К: 01 ^ о или 02 ^ Ь, или и то и другое.]
Допустим, что распределение (X, У) входит в экспоненциальное семейство
dP6), е2 (х, у) = С (0р 02) e6‘x+6»dpi (х, у).
Единственным несмещенным критерием для проверки Я: 0j ^ a, 02 ^ b при альтернативах К: 01 > а или 02 > Ь, или и то и другое, является ф(х, у)=а. [Возьмем а = b = 0. Пусть 0(0i,02) — мощность какого-либо критерия уровня а. Несмещенность влечет Р (0, 02) = а для 02 < 0 и, следовательно, для всех 02, так как 0(0,02) — аналитическая функция 02. При фиксированном 02 > 0 0(01,02), рассматриваемая как функция 0Ь имеет минимум при 01 = 0, так что производная д0(0ь 02)/^0i равна нулю при 01 = 0 и всех положительных 02, а следовательно, и при всех 02. Рассматривая положительные и отрицательные значения 02 и используя тот факт, что частные производные всех порядков от 0(0ЬО2) по 0i аналитичны, мы находим, что при каждом фиксированном 02 эти производные все обращаются в нуль в точке 0i = 0.
Поэтому функция р должна быть постоянной. В силу полноты (X, У) из р( (01, в2) = а вытекает ф(х, у) s а.]
Рассмотрим задачу проверки гипотезы Н; 0 = 0О в однопараметрическом экспоненциальном семействе раздела 2. Обозначим ^ класс всех критериев, удовлетворяющих (3) и (5) при некоторых —оо ^ Сх ^ С2 ^ оо и О ^ уь Y2 ^ Ь
Класс ^ полон в том смысле, что, каков бы ни был критерий ф0 Для Н уровня а, найдется ф е ^ такой, что он равномерно не менее мощен, чем фо-
Если фь ф2 s ^ то ни один из этих критериев не может быть равномерно более мощным, чем другой.
Рассмотрим задачу с двумя решениями do и dXl соответствующими принятию и отклонению Я, и с функциями потерь L(0, di) = L/(0), i = 0, 1. В предположении, что Li(0) < Lo(0) при всех 0 ^= Оо, ^ является существенно полным классом.
Распространите результат части (III) на гипотезу Я': 01 ^ 0 ^ 02- [(I) Обозначим р производную функции мощности Рфо критерия ф0 в точке 0 = 0о- Тогда найдется критерий ф е ^ такой, что рф (0О) = р, и ф является РИМ среди всех критериев с этим свойством.
См. конец раздела 7 главы 3.
См. доказательство теоремы 3 в главе 3.]
К р азде л у 3
Пусть Xt, ..., Хп — выборка из (I) нормального распределения N(ao, а2) с фиксированным а и 0 < а < оо; (II) равномерного распределения Р ^0 — у, 6 + у), — оо < 0 < оо; (III) равномерного распределения P(0i, 0г), —оо < 01 <02 < оо. В этих трех семействах распределений следующие статистики являются достаточными: (I) Т = (SXP SX?), (II) и (III) Т = (min(Xb ..., Хп), max(Xb ..., Хп)). Семейство распределений Т полно в случае (III), но в случаях (I) и (II) не является ни полным, ни даже ограниченно полным.
[(I) Распределение отношения SX^/^SX^ не зависит от о.]
Пусть Хь ..., Хт и Уь ..., Уп —выборки из N^o2) и Я(§, т2). В примере 5 было показано, что Т = (SXZ, 2Ур SXp 2У^ не является полной. Т не будет и ограниченно полной.
[Введите f(0, равное 1 или —1 в зависимости от того, положительно#— х или нет.]
Противоречащий пример. Пусть случайная величина X принимает значения —1,0, 1, 2, ... с вероятностями
Р0{Х = - 1} = 0; Р0 {X = х} = (1 — 0)2 0^, х = 0, 1, ...
Тогда ^={Р0, О<0<1} не будет полным, но будет ограниченно полным.
Пусть ^ = {Р}— семейство распределений с тем свойством, что для любых Р, Q е^ найдется 0 < р < 1 такое, что рР + (1 — p)Q е ^. Предположим, что Л(хь ..., хп) —симметричная функция, для которой
$ А (*ь ..., хп) dP (xi) ... dP (хп) = 0 при всех Ре^. (23) Тогда
\ A Ui, ..., хп) dPx (xt) ... dPn (хп) = 0 при всех РХ1 ..., PnG ^.(24)
) Если Рь ..., Р* е ^, то существуют вероятности рь ..., р*, в сумме дающие единицу и такие, что (PiPi + ... + PiPi)/(pt + ... + pi) ^^ при всех i = 1, ..., к.
) Для любых целых 1 ^ i\ < h < ... < к ^ п обозначим а (и, ..., Z*) множество всех n-наборов (/ь ..., in) таких, что (а) каждая компонента совпадает с одним из ii, ...» и и (б) каждое из этих целых встречается хотя бы раз среди (/ь ..., jn). Если
Vv • • •• in) =Pjx - --PinV (*!’ •' - xn) dPii (*1) • • • dPin ^ то в силу (23)
E /(/ь ....w-o
для всех (Zi, ...,/*) с к ^ п.
Это утверждение доказывается индукцией по к. При к = 1 оно следует непосредственно из (23). Чтобы доказать, например, что £ I (/ь ..., jn) = а (1,2)
= О, обозначим Р= (р\Р\ +Ра?а)Црх+Ра) элемент ^, существование которого гарантируется (1). Тогда
о — ^ Л (хь ..., хп) dP (xt) ... dP (х„) (р, 4- р2)" =
- Е ниы+ Е ^п...../„). а(1,2)а(1Ща(2) .
и, так как второй член в правой части равен нулю, мы получаем желаемый результат.
) Из (2) при к = п следует, что ^Щъ ..., M)s0, где суммирование распространяется на все перестановки (/ь ..., in) чисел (1, ..., п). Так как / симметрично по своим аргументам, отсюда вытекает /(1, ..., п) = О, что и требовалось доказать.]
Продолжение. Пусть ^ — класс всех равномерных распределений на конечном интервале и ^ — класс конечных выпуклых комбинаций распределений из ^. Если Хь ..., Хп независимы и распределены по закону Ре^, то совокупность порядковых статистик Т = (Х(1>, ..., Xw) достаточна для ^, и семейство ^г распределений Т-полно.
[Достаточность Т видна из примера 7 главы 2. Для доказательства полноты рассмотрите уравнение EPh(T) = 0 для всех Р е ^ и примените результаты предыдущей задачи.]
Измеримость критериев теоремы 3. Функция ф3, определяемая (16) и (17), измерима по совокупности переменных и н t
[Обозначим Сх = о, С2 = w. Определяющие уравнения для о, w, уь Vs имеют вид•
Ft (о-) + [1 - Ft (ш)] + Yi УЧ (v) - Ft (о-)] + Y2 [Р/ W - Ft (^“)] - а (25) и
Gt (v-) + (1 - Gt (»)] + у, [G( (v) - Gt (с-)] + у2 [G, (w) - Gt («,-)] = а, (26) где
ии
Ftto- ^C^e^d^W, G,(.u)= J C^e9*9^)<27)
— условные функции распределения U при данном /, когда 0 = 01 и 0 = 02 соответственно.
Для каждого О С У < а положим о (у, /) = Ft 1 (у) и w (у, /) = = F^x (1 — а + УК где обратная функция определена как при доказательстве теоремы 3. Выберем такие Yi(^>0 и ^У>0, что для v = u(t/,/) и w = = wiy,0
Ft (о*) + Yi lFt (у) - Ft (У”)1 = У»
1 — Ft (w) + Y2 \Ft W — Ft (w~)] = a — y.
Обозначим H(y,t) левую часть (26) с u = u(y, /) и т. д. Тогда Я (О, О > а и Я (а,/) < а. Это следует по теореме 2 главы 3 из того, что v(0, t) = —оо, w (а, /) = оо (т. е. что условные критерии при у = 0 и у = а являются односторонними) и что левая часть (26) при любом у есть функция мощности условного критерия.
При фиксированном / функции
Нх (у, О = Gt (о-) + Yi [Gf (у) ~ Gt (о~)] и
Я2 (у, n = \-Gt W + Y2 VGt (ф) - Gt (ш-)]
суть непрерывные функции у. Действительно, как видно из (27), разрывы и горизонтальные участки функций Ft и Gt совпадают ^г-почти всюду, а отсюда следует высказанное утверждение.
Функция Я (у, t) измерима по совокупности переменных у и t. Это можно вывести из непрерывности Я с помощью рассуждений, сходных с использованными в тексте при доказательстве измеримости Ft (и). Положим
у (t) = inf Vy: Я <у, t) < a},
и пусть ц(/) = оЬ/(/),/] и т. д. Тогда (25) и (26) выполняются при всех /. Измеримость o(f), w(/), Yi(0 и уз(0, введенных таким путем, будет следовать из измеримости по / функций y(t) и F"^x [z/WJ. Последнее же видно из выполняющихся при любом действительном с соотношений
{/: у(/)<с) = J {й Я (г, О < «},Т<с
где г пробегает все рациональные числа, и
{й F;x [у (/)] < с} = {й у (/) - Ft (с) < 0}.]
Продолжение. Функция (р4, определенная (16), (18) и (19), измерима по совокупности переменных ant.
[Доказательство, в общем сходное с намеченным в предыдущей задаче, опирается, в частности, на измеримость по г и t интеграла
Z—
g(z, 0 = и dFt (и).
Этот интеграл абсолютно сходится для всех /, поскольку Ft принадлежит экспоненциальному семейству. При любом 2 < оо g (2, t) = lim gn (2, t), где
gn (г, /) = ^ (2 — -^-^ [^/ (2 — -Ц^0) — Ft^z — ^ — o)],
/=1
и измеримость g следует из измеримости функций gn. Неравенства, соответствующие найденным в части 2 предыдущей задачи, можно вывести из свойства условных односторонних критериев, сформулированного в задаче 18 главы 3J
РНМ несмещенные критерии для гипотез Яь ..., Я4, указанные в теореме 3, являются единственными в классе критериев, основанных на U и Т.
К разделу 5
Пусть X и У независимы и имеют распределения Пуассона Р(Х) и Р(ц). Найдите мощность РНМ несмещенного критерия для гипотезы Я: ц ^
X при альтернативах X = 0,1, ц = 0,2; X = 1, р = 2; X = 10, р = 20; X = 0,1; р = 0,4. Уровень значимости а = 0,1.
[Так как Т = Х+У имеет распределение Пуассона Р(Х + р), то мощность равна
Р = ^ р (О ^-Ь^' e-№+n),
/=0
где Р(/) — мощность условного критерия при данном / и рассматриваемой альтернативе.]
Последовательное сравнение двух биномиальных схем. Рассмотрим две серии биномиальных испытаний с вероятностями успеха рх и р^ соответственно, и пусть р = (ptlqt) : kP\!q\V
Допустим а < р. Никакой критерий с фиксированными числами пг и п испытаний для проверки Я: р = ро не может иметь мощность ^ Р при всех альтернативах с р — рь.
Ниже указывается простая последовательная процедура, приводящая к желаемому результату. Допустим, что испытания в обеих сериях идут параллельно, парами. Рассмотрим пары, в которых одно испытание закончилось успехом, а другое неудачей. Если эксперимент продолжается до появления N-и такой пары, то число пар, в которых успешное испытание относится к первой серии, имеет биномиальное распределение b (л, N) с л = pxq^KpxqrV + p2q\) = 1/(1 + р)« Взяв N достаточно большим, можно получить критерии сколь угодно высокой мощности при альтернативе рь
Пары испытаний, которыми мы ограничились в (II), подчиняются биномиальной схеме с вероятностью успеха л. Отличная от указанной в (II) процедура проверки Я: л = л0 (или л ^ Ло) состоит в применении последовательного критерия отношений вероятностей, основанного на отмеченных парах и соответствующего проверке л = л0 при альтернативе л = ль
К разделу 6
Серии. Рассмотрим последовательность N зависимых испытаний, и пусть Xi равно 1 или 0 в зависимости от того, заканчивается 1-е испытание успехом или неудачей. Допустим, что последовательность обладает марковским свойством *)
и свойством стационарности, в соответствии с которым P{Xt = 1} и P^Xi = = l|xi-i) не зависят от I. В этом случае распределение Xi полностью задается вероятностями
р^Р^»!!^-^!} и р0 = Р№ = 1|^~1==0}
*) Современное обсуждение статистических проблем для более сложных цепей Маркова см. в работах: Anderson and Goodman, Statistical inference about Markov chains, Ann. Math. Stat. 28 (1957), 89—ПО и G о о d m a n, Simplified runs tests and likelihood ratio tests for Markoff chains, Biometrika 45 (1958), 181—197. См. также Billingsley P., Statistical methods in Markov Chains, Ann. Math. Stat. 32, № 1 (1961).
и начальными вероятностями(I) Стационарность влечети начальными вероятностями(I) Стационарность влечети Ло = 1 — Л1 = Р {Xi =0}.и Ло = 1 — Л1 = Р {Xi =0}.Л1Л1РоРо(Ро + ^1) ’(Ро + ^1) ’° (po + <7i)° (po + <7i)
и начальными вероятностями
(I) Стационарность влечет
и начальными вероятностями
(I) Стационарность влечет
и Ло = 1 — Л1 = Р {Xi =0}.
и Ло = 1 — Л1 = Р {Xi =0}.
Л1
Л1
Ро
Ро
(Ро + ^1) ’
(Ро + ^1) ’
° (po + <7i)
° (po + <7i)
(II) Совокупность последовательных исходов хи ...» х^$ образует серию нулей, если xi = X/+i = ... = xtt = 0 и xi-t = 1 (или i = 1) и Хн-/-н = 1 (или i + j = N). Аналогично определяется серия единиц. Вероятность какой- либо отдельной последовательности исходов (xi, ..,, xN) равна
.1 vn-x)um~u
Po + qx P°Pl 91 ^1
где тип обозначают число нулей и единиц, а и и о — число серий нулей и единиц в этой последовательности.
Продолжение. Для проверки гипотезы независимости Xi Н; р0 = pt при альтернативе К: ро < Pi применим критерий числа серий, который отвергает Н, когда полное число серий R = U + V меньше константы С^т), зависящей от числа т нулей в последовательности. При R = С(т) гипотеза отвергается с вероятностью у(т). Сиу определяются уравнением
Рн VR <С (т) | /и} + у (т) Рн {Р = С (т) | т} = а.
При любой альтернативе из К наиболее мощный подобный критерий (который не менее мощен, чем наиболее мощный несмещенный критерий) совпадает с критерием числа серий, отвергающим Н при R < С(т). Только правило дополнения до а условной вероятности отклонения гипотезы при данном т зависит от выбора альтернативы.
Критерий числа серий является несмещенным при альтернативах из К.
Условное распределение R при данном т в случае, когда Н истинна,, равно *)
Р{Р = 2г-Ц} =Р{Р = 2г-Ц} =т — 1 г — 1т — 1 г — 1
Р{Р = 2г-Ц} =
Р{Р = 2г-Ц} =
т — 1 г — 1
т — 1 г — 1
[(I) Из несмещенности вытекает, что условная вероятность-отклонения гипотезы при данном т равна а при всех т. Наиболее мощный условный критерий уровня а отвергает Н для тех выборочных последовательностей, для которых А(м, и) = (polpi)v (qi/qo)u слишком велико. Так как р0 < pi и qx < q^ и поскольку |о — и] может принимать только значения 0 и 1, то
А (1, 1) > А (1, 2), А (2, 1) > А (2, 2) > А (2, 3), А (3, 2) > ...
Таким образом, только соотношение между Мл, t + 1) и A(i+l,i) зависит от специального выбора альтернативы, что приводит к желаемому результату.
Несмещенность условного критерия при каждом т можно установить, записав его мощность в виде
Р (Ро, Pi I т) = (1 - Y) р VR < с (т) | m} + уР VR < С (т) | т\
и замечая, в соответствии с (I), что критические области R < С(/п) и R < < C(m) + 1 являются РНМ при отвечающих им условных уровнях значимости.
Если Н истинна, то условная вероятность при данном т любого набора из т нулей и п единиц равна 1/1 J. п единиц можно разбить на г групп I । I способами и т нулей на г + 1 группу I 1 способами. Поэтому условная вероятность получить г + 1 серию нулей и г серий единиц равна! }(r_iJ/( т Чтобы закончить доказательство, остается заметить, что полное число серий равно 2r + 1 в том и только том случае, когда имеется или г + 1 серия нулей и г серий единиц или г серий нулей и r + 1 серия единиц.]
Критерий суммы, рангов. Пусть Уь ..., У^ независимы и распределены по биномиальным законам Мрип^ i = 1, ..., N, где
Такая модель часто встречается в биологических испытаниях. Тогда х, обозначает дозу (или функцию от дозы, например логарифм) некоторого вещества, данную nt подопытным животным, а У/ — число тех из них, которые реагируют на это вещество определенным образом. Здесь Xi известны, а а и Р — неизвестные параметры.
Совместные распределения У; образуют экспоненциальное семейство, и РНМ несмещенные критерии существуют для четырех гипотез теоремы 3 как в случае а, так и в случае р.
Предположим, в частности, что xi = Az, где А известно, и что n, = 1 при всех L Обозначим п число успехов в N испытаниях и допустим, что успех наблюдался в $ь s2, ..., sn испытаниях, Si < s2 < ... < sn. Тогда РНМ несмещенный критерий для проверки Н: Р = 0 при альтернативе р > О применяется условно при фиксированном п и отклоняет гипотезу, если сумма ран- п
гов ^ s. слишком велика ).
< = 1
Пусть У1Ум и Zb ..., Zn — результаты двух независимых экспериментов описанного в начале задачи типа. Они могут соответствовать, например, двум различным испытываемым веществам. Если Yi имеет распределение Црьпц), a Zj — распределение 6(л;, П/), где
то РНМ несмещенные критерии существуют для всех четырех гипотез относительно у — а и 6 — р.
9. Литературные ссылки
Барра (В а г г a J. R.)
Основные понятия математической статистики, пер. с франц. М., Мир, 1974, гл. 2. [Соотношение между понятиями подобия, полноты, достаточности и независимости.]
Бартлетт (Bartlett М.)
Properties of sufficiency and statistical tests, Proc. Roy. Soc. London, Ser. A, vol. 160, 268—282. [Указывается, что точные (т. е. подобные) критерии могут быть получены комбинированием условных критериев, определяемых различными значениями достаточных статистик. Даны примеры применений.]
Вальд (W а 1 d А.)
Sequential Analysis, New York, John Wiley & Sons, Section 6.3. (Русский перевод: А. Вальд. Последовательный анализ. Физматгиз, Москва, 1960.) [Задача 18 (III).]
Г и р ш и к, Мостеллер и Сэвидж (Gi г sh i с k М. А., М о st е 11 ег F. and Savage L. J.)
Unbiased estimates for certain binomial sampling problems with applications, Ann. Math. Stat., vol. 17, 13—23. [Задача 11.]
Гхош (G h о s h M. N.)
On the problem of similar regions, Sankhya, vol. 8, 329—338. [Теорема 1.]
Дэвид (D a v i d F. N.)
A power function for tests of randomness in a sequence, Biometrika, vol. 34, 335—339. [Рассматривается критерий числа серий в связи с моделью задачи 19.]
Ирвин (I г w i n J. О.)
Tests of significance for differences between percentages based on small numbers, Metron, vol. 12, 83—94. [Предложен условный критерий для гипотезы независимости в 2 X 2 таблицах, который был предложен также Фишером (ср. Yates, Contingency tables involving small numbers and the X2-test, J. Roy. Stat. Soc., Suppl., vol. 1 (1934), 217—235.]
Кендалл и Стьюарт (Kendall M. G., Stuart A.)
Статистические выводы и связи, пер. с англ., М., Наука.
Крускал (К г uska I W. Н.)
Historical notes on the Wilcoxon unpaired two-sample test, J. Am. Stat. Assoc., vol. 52, 356—360. [Дана история критерия суммы рангов задачи 21.]
Леман (Lehmann Е. L.)
On families of admissible tests, Ann. Math. Stat., vol. 18, 97—104. [Задача 8.]
Some principles of the theory of testing hypotheses, Ann. Math. Stat, vol. 21, 1—26. [Лемма 1.]
r52 ^^ Testing multiparameter hypotheses, Ann. Math. Stat, vol. 23, 541— Леман и Шеффё (Lehmann E.L. and Scheff ё H.)
(1950, 1955) Completeness, similar regions and unbiased estimation, Sankhya, vol. 10, 305—340, vol. 15, 219—236. [Вводится понятие полноты. Теорема 3 и ее применение.]
Нанди (N a n d i Н. К.)
On type Вх and type В regions, Sankhya, vol. 11, 13—22. [Один из случаев теоремы 3 при некоторых предположениях регулярности.]
Нейман (N е у m a n J.)
Sur la v6rification des hypotheses statistiques composees, Bull. Soc. Math. France, vol. 63, 246—266. [Теория локально несмещенных и локально наиболее мощных критериев для сложных гипотез.]
On a statistical problem arising in routine analyses and in sampling inspetion of mass distributions, Ann. Math. Stat, vol. 12, 46—76.
Нейман и Пирсон (N e у m a n J. and Pearson E. S.)
On the problem of the most efficient tests of statistical hypotheses, Phil. Trans. Roy. Soc., Ser. A, vol. 231, 289—337. [Введено понятие подобия и изложен метод для нахождения всей совокупности подобных областей.]
1938) Contributions to the theory of testing statistical hypotheses, Stat. Res. Mem., vol. I, 1—37; vol. II, 25—57. [Определяется несмещенность и устанавливаются как локальные, так и РНМ несмещенные критерии для некоторых классов простых гипотез.]
Путтер (Putter J.)
The treatment of ties in some nonparametric tests, Ann. Math. Stat., vol. 26, 368—386. [Обсуждается способ обращения с ничьими в плане применения критерия знаков.]
Пшиборовский и Виленский (Рг z у b о г о wski J. and Wilen- s к i H. )
Homogeneity of results in testing samples from Poisson series, Bio- metrika, vol. 31, 313—323. [Получен РНМ подобный критерий для проверки равенства параметров двух пуассоновских распределение.]
Свердруп (Sverdrup Е.)
Similarity, unbiasedness, minimaxibility and admissibility of statistical test procedures, Skand. Aktuar. Tidskrift, vol. 36, 64—86. [Теорема 1, результаты типа теоремы 3. Применения, включая 2X2 таблицу.] Токер (Т о с h е г К. D.)
Extension of Neyman — Pearson theory of tests to discontinuous variates, Biometrika, vol. 37, 130—144. [Доказано оптимальное свойство критерия Фишера — Ирвина, данного в разделе 6.]
Уолш (W а 1 s h Е.)
Some significance tests for the median which are valid under very general conditions, Ann. Math. Stat., vol. 20, 64—81. [Содержит результат, связанный с задачей 12.]
Феллер (Feller W.)
Note on regions similar to the sample space, Stat. Res. Mem., vol. II, 117—125. [Получен результат, который влечет полноту порядковых статистик.]
Фишер (F i s h е г R. А.)
Statistical Methods for Research Workers, Edinburgh, Oliver and Boyd, 5-е и последующие издания. Section 21.02. (Русский перевод: Р. Ф и - шер, Статистические методы для исследователей, М., Госстатиздат, 1958.) * [Предложен условный критерий для гипотезы независимости в 2 X 2 таблицах.]
Фрезер (F г a s е г D. A. S.)
Completeness of order statistics, Canad. J. Math., vol. 6, 42—45. [Задача 12 и 13.]
Холдейн и Смит (Haldane J. В. S. and Smith С. А. В.)
A simple exact test for birth — order effect, Ann. Eugenics, vol. 14, 117—124. [Предложен критерий суммы рангов в той же ситуации, что в задаче 21.]
Хоул (Hoel Р. G.)
Testing the homogeneity of Poisson frequencies, Ann. Math. Stat, vol. 16, 362—368. [Первый пример раздела 5.]
On the uniqueness of similar regions, Ann. Math. Stat., vol. 19, 66— 71. [Теорема 1 при некоторых предположениях регулярности.]
Ш е ф ф ё (S с h е f f ё Н.)
On a measure problem arising in the theory of non-parametric tests, Ann. Math. Stat., vol. 14, 227—233. [Доказывается полнота порядковых статистик.]
ГЛАВА 5
НЕСМЕЩЕННОСТЬ: ПРИМЕНЕНИЯ
К НОРМАЛЬНЫМ РАСПРЕДЕЛЕНИЯМ; ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
Статистики, не зависящие от достаточной статистики
Общий вид РНМ несмещенных критериев для гипотез Нх; 0 ^ 0о и Я4: 0 = 0О в экспоненциальном семействе
dP»_о^ = С(0, О)ехр[0С^ + Е»tTt(х)]dp(х)(1)
был указан в теореме 3 предыдущей главы. Однако он оказывается неудобным для применений к нормальному и некоторым другим семействам непрерывных распределений, с которыми нам придется иметь дело в настоящей главе. В этих применениях упомянутым критериям можно придать более удобную форму. Они уже не будут выступать в форме условных критериев, построенных по U при данном t, а будут выражены в терминах одной статистики.
Эта редукция связана с существованием статистики V = = h(UtT), которая не зависит от Т при 0 = 0о, и при каждом фиксированном / монотонна по U (для Hi) или линейна по U (для На). Критическая функция ф1 для проверки Hi тогда имеет вид
' 1
при
V
> Со,
ф(о) = <
То
при
и
= Со,
(2)
. 0
при
и
< Со,
где Со и уо уже не зависят от t и определяются из уравнений (3)
Аналогично, критерий ф4 для Я4 принимает форму
{
1 при о < Cj или v > С2,
у< при v = Ct, t=l,2,(4)
О при Ci<v < С2,
где Сиу определяются из уравнений
^.[ф4(Ю] = а(5)
и
^[^(^-«^(Ю.(6)
Для соответствующей редукции при гипотезах На. 0^01 или 0 ^ 02 и Яз: 01 ^ 0 ^ 02 требуется монотонность V по U при каждом фиксированном t и независимость V от Т при 0 = 0j л 0 = 02. Критерий фз в этом случае дается формулой (4), а константы Сиу находятся из уравнения
£в|Фз(Ю = Яе1ф3(Ю = «.(7)
Критерий для На, как и раньше, имеет критическую функцию
ф2 (о; а) = 1 — фз (о; 1 — а).
Высказанные утверждения суммируются в следующей теореме.
Теорема 1. Предположим, что распределение X задается формулой (1) и что V — h(U,T) не зависит от Т при 0 = Оц. Тогда ф] является РНМ несмещенным критерием для проверки Н\, если функция h возрастает по и при каждом t; ф< является РНМ несмещенным критерием для Hi, если
h(и, f)=a^u-\-b(0, где а(0 > 0.
Критерии фг и фз суть несмещенные РНМ критерии для На и Н3, если V не зависит от Т при 0 = 01 и 0 = 02, и если h возрастает по и для каждого t.
Доказательство. Критерий для Нг, определенный формулами (12) и (13) главы 4, эквивалентен критерию (2) с константами, вычисляемыми из соотношения
P9AV> Со (0 10 + Yo (0 Ре, { ^ = Со (0 I /} = а.
По предположению, V не зависит от Т при 0 = 0о, следовательно, Со и уо также не зависят от L Этим завершается доказательство для Нг. Для На и Я3 оно вполне аналогично.
Критерий гипотезы Hi, данный в разделе 4 главы 4, эквивалентен критерию (4) с константами С, и у,-, определяющимися из уравнений £3о[ф4(У, Z) |^J = a и
Последнее сводится к ^[Уф^У,/) |/] = а£е.[У I Л- Так как при 0 = 0О V не зависит от Г, то тем же свойством обладают величины Сг и у;, что и требовалось доказать.
В специальных случаях применения теоремы 1 независимость V и Т может быть установлена стандартными приемами:
преобразованием переменных, с помощью характеристических функций, или геометрическим методом. Другой подход, особенно полезный при отыскании надлежащей статистики V, указывается следующей теоремой.
Теорема2*). Пусть $Р = ^Р^, А е со} — семейство возможных распределений X, Т — достаточная статистика для ^ и семейство SF распределений Т ограниченно полно. Тогда статистика V не зависит от Т при всех А в том и только в том случае, когда распределение V не зависит от -6.
Доказательство. Распределение V не зависит от Ф тогда и только тогда, когда для любой критической функции ф математическое ожидание Еоф(1/) не зависит от О. Необходимое и достаточное условие для справедливости последнего состоит в том, что условное математическое ожидание ^ [ф (V) | ^] постоянно ^г-почти всюду (см. теорему 2 главы 4), что эквивалентно независимости V и Т.
Следствие 1. Обозначим ^ экспоненциальное семейство, получающееся из (1) при фиксированном 0. Тогда статистика V не зависит от Т при всех -0* в том и только том случае, когда распределение V не зависит от й.
Доказательство. Из теоремы 1 главы 4 следует, что ^г полно, а потому и ограниченно полно. Поэтому можно применить предыдущую теорему.
Пример 1. Пусть Хь ..., Хп независимы и распределены нормально со средним g и дисперсией а2. Предположим сначала, что а2 фиксировано и равно Oq. Тогда условия следствия 1 выполняются с Т = X == XXdn и О, пропорциональным g. Пусть f— любая функция, для которой
Цхх-\-с, .... хп + с) = f (хь ..., хп) при всех действительных с.
Если
У = ЦХЬ ..., Хп\
то тогда V = ^Xv — ^ ..., Xn — ^Y Так как случайные величины Xi —g имеют распределение N (о, Oq), не содержащее параметра g, то распределение V не зависит от g. Из следствия 1 вытекает, что любая такая статистика, и в частности V = S(Xf —X)2, не зависит от X. Это верно при всех о.
Допустим теперь, что g фиксировано и равно go. Тогда следствие 1 применимо с Т — ^ (X/ — g0)2 п *0* = —1/2о2. Пусть f — любая функция, для которой
f (схь ..., схп) = Цхь ..., xrt) при всех с > 0, и пусть
V = f(Xi-g0, ..., X„-g0).
Тогда V не изменится, если каждую из величин X/ — g0 заменить на (X/ — — go)/о. Эти величины имеют нормальное распределение со средним значе-
♦) В части, касающейся необходимости (см. статью Басу в Sankhya. 15, 1955, 377—380), теорема 2 сформулирована неточно. Точная формулировка необходимого условия независимости статистики от достаточной статистики имеется в работе Басу в Sankhya 20, 1958, 223—226. — Прим. ред.
нием нуль и единичной дисперсией. Поэтому распределение V не зависит от б. Мы видим, что все подобные статистики, и в частности
ЦС-М и,
Vs № - XV Vs (X; - go)2 ’
не зависят от X (X/ — go)2* Однако это имеет место не при всех £, но лишь при g = go.
Пример 2. Пусть U^a^ и ^Аг независимы и имеют распределения X2 с /1 и /2 степенями свободы соответственно. Предположим, что ^/^= а- Тогда совместная плотность величин U имеет вид
_^Ь-Х lf,-\ Г 1 .,.1
Си* и* exp 1 — (auv + ы2) I,
так что следствие 1 применимо с Т = aUx + U2 и ^“~ 1/2<т|. Так как распределение отношения
v ^2^2/^2
У == а—
ихихрх
не зависит от а2, то V не зависит от aUx + U^. Для специального случая а2 = о! это доказывает независимость U^Ux ъ UXA* U2.
Пример 3. Пусть (Хь .... Хп') и (Уь ..., Yn) — выборки из нормальных распределений N(£, о2) и М(т), т2) соответственно. Тогда статистика- Т = (X, SX?, У, 5У?) достаточна для (g, о2, т), т2) и семейство распределений Т полно. Так как_
v _S№-X) (У/-У)
Vs (Xt - X)2 2 (У, - YV
не меняется при замене Xt и Yt на (Х^ — g)/cr и (У,- — nJ/T, то распределение V не зависит ни от одного из четырех параметров, и теорема 2 показывает, что V не зависит от Т.
Проверка гипотез о параметрах нормального распределения
Четыре гипотезы а ^ по, о ^ По, £ ^ Ь, £ ^ £о о среднем и дисперсии нормального распределения рассматривались в разделе 9 главы 3. Там отмечалось, что при обычных уровнях значимости РНМ критерий существует только для первой гипотезы. Мы покажем теперь, что стандартные (основанные на отношении правдоподобия) критерии являются РНМ несмещенными Для всех четырех гипотез, а также и для некоторых двусторонних гипотез.
При меняющихся £ и о плотности
(2лаТп/2 ехр (- -§-) ехр (- -^ £ х^ + -Д- ^ х^(8)
выборки Хь ..., Хп из N^, о2) образуют двупараметрическое семейство, которое совпадает с (1) при
Поэтому по теореме 3 главы 4 существует РНМ несмещенный критерий для гипотезы 0 ^ 0о, которая при 0 = —1/2о§ эквивалентна Н: о ^ о». Критическая область для этого случая может быть получена из формулы (12) главы 4 при замене неравенств на обратные, так как теперь гипотеза имеет вид 0 ^ 0О. В рассматриваемом случае имеем
£х2<С0(х), где
Ра{М<Со(х)|х} = «.
Если это записать в форме
У х2 — их2 ^ С^ (х),
то из независимости У X2 — пХ2 = £ № — ХУ и X (см. пример 1) будет следовать, что Сд(х) не зависит от х. Поэтому критерий отвергает гипотезу, когда У (xt — х)2 ^ С6, т. е. когда
(9)
тде Со определяется равенством РО) {2 (X, — Ху^ С Со}=«. Поскольку У, (X, — Xy/ul имеет х2 — распределение с п — 1 степенью свободы, то уравнение для Со приводится к виду
с»
$ Х2-1 (у) dy = a,(10)
о
где Х^ обозначает плотность ^-распределения с п — 1 степенью свободы.
К этому результату можно прийти и с помощью теоремы 1. В качестве статистики V = h(U, Т), фигурирующей в условиях теоремы, т. е. не зависящей от X при о = о0 и при всех g, можно взять
к = У№ -ХУ = и-nF.
Эта статистика, действительно, не зависит от X при всех £ и о2. Так как й(ы, /) является возрастающей функцией и при каждом t, то критическая область для РНМ несмещенного критерия юлжна иметь вид V ^ Со.
Этот вывод показывает также, что РНМ несмещенная критическая область для Н: о ^ oj или а ^ оз имеет вид
(11).
где константы С определяются из уравнений
$ Х2_1(г/)^ = $ X2_,(i/)dy = a.(12)
ci/°i ■с^
Так как Л (и, /) линейна по и, мы видим, что РНМ несмещенному критерию гипотезы Н: о = »о соответствует область принятия
с, < X^I_Z^ < ^(13)
ао
с константами, вычисляемыми из соотношений
CgС2
$ Х„_1 (У)Й = 7^7 S ^«-i ^dy=l-а.(14)
с(с{
Это — критерий, найденный в примере 2 главы 4 при замене £х? на Е(х, —х)2 и числа степеней свободы п на п— 1, что можно было предвидеть. Теорема 1 показывает, что РНМ несмещенный критерий для этой (и аналогичных) гипотез зависит только от V. Так как распределение V не зависит от g и при меняющемся о порождает экспоненциальное семейство, то задачи сводятся к аналогичным задачам для однопараметрического экспоненциального семейства, т. е. к уже решенным.
Мощность вышеприведенных критериев может быть точно выражена в терминах %2-распределения. Например, в случае одностороннего критерия (9) она равна
рМ = Ро=
о
Этот же самый метод может быть применен к проверке гипотез В ^ Во (при альтернативе В > Во) и g = go (при альтернативе В ¥= Во). Переходя, если необходимо, к величинам Xi — Во, мы можем, не ограничивая общности, предположить go = 0. Приведем (8) к виду (1), полагая
6 = 5-, О---^, {/(х) = х, Т(х) = ^4
Теорема 3 главы 4 показывает, что для гипотез 9 ^ 0 и 0 = О, эквивалентных | ^ 0 и g = 0, существуют РНМ несмещенные критерии. Поскольку при £ = О
Vs № - А)2 л/т - пи1
не зависит от Г = У Xz (см. пример 1), то по теореме 1 РНМ несмещенная критическая область для Н; § ^ 0 имеет вид У ^ Со или, что то же самое, вид
Цх)>С6,(15)
где_
'М =/ ■ -- (16)
Перейдем к гипотезе Н': ^ = 0. Обозначим W = Х^^Х*. При £ = 0 эта величина не зависит от У, Х^ и к тому же линейна относительно U = X. Распределение 1Г при £ — 0 симметрично относительно точки 0. Следовательно, условия (4), (5), (6) с заменой V на W выполняются для критической области вида Iw l^C' с Р$„о(I ^ 1^С'} = а. Так как
/ (х)/ (х)V1 - nW1 (х) ’V1 - nW1 (х) ’
/ (х)
/ (х)
V1 - nW1 (х) ’
V1 - nW1 (х) ’
то абсолютная величина /(х) является возрастающей функцией от |Г(х) |. Поэтому критическая область принимает вид
(17)(17)\tw>c.
(17)
(17)
Из (16) мы видим, что /(X) есть отношение двух независимых случайных величин л]п Х/а и V^№ ~ ХУ^п — 1)ст2. Знаменатель распределен как квадратный корень из х2-величины с п — 1 степенями свободы, деленной на п— 1. Распределение числителя при £ = 0 нормально N(0,1). Распределение подобного отношения называется распределением Стьюдента с п.— 1-й степенью свободы и имеет плотность
, - 1 г" 1^п(п— 1) г [J, - 1 г" 1^п(п— 1) г [J11 + ~^ТП — 111 + ~^ТП — 12 "2 "(18)(18)
, - 1 г
" 1^п(п— 1) г [J
, - 1 г
" 1^п(п— 1) г [J
1
1 + ~^ТП — 1
1
1 + ~^ТП — 1
2 "
2 "
(18)
(18)
Распределение симметрично относительно 0, и константы Со и С для одно- и двустороннего критериев находятся из уравнений
5 к-\ {y)dy — a,
CL(19)
J tn-\ (y)dy = ^. c
При g #= 0 t^ имеет так называемое нецентральное /-распределение (оно выведено в задаче 3). Некоторые свойства функции мощности одно- и двустороннего /-критерия даны в задачах 1, 2 и 4. Отметим, что распределение /(X), а вместе с тем и мощность указанных выше критериев, зависит только от «параметра нецентральное™» й — л/п g/a. Это видно, например, из формулы для плотности, приводимой в задаче 3, но может быть установлено и следующим непосредственным путем. Допустим, что X' /о' = Уо ^ 0 и обозначим с общее значение отношений ^IX и о'/о, с =# 0. Если Xi = cXi и Xi распределены по закону N^ о2), то Xi имеют распределение УУ(^',о'2). Итак, ЦХ) = — ЦХ') и, следовательно, /(X') имеет такое же распределение, как и t^, что и требовалось доказать.
Пусть gi — некоторая альтернатива к g = 0. Тогда мощность Р (gi, <0 = f (6) зависит от о. При о оо и 6 -> 0
06ь а)->/(0) = Р(0, о) = а,
так как по теореме 6 главы 2 функция / непрерывна. Следовательно, каков бы ни был объем выборки, вероятность обнаружить ложность гипотезы при g ^ gi > 0 не может быть сделана
Р > а при всех о. Это не удивительно, так как распределения Af(O, о2) и ^(ghO2) становятся практически неразличимыми, если о слишком велико. Чтобы получить процедуру с гарантированной мощностью при g ^ gi, объем выборки следует сделать зависящим от о. Этого можно достигнуть применением последовательной процедуры с правилом остановки, опирающимся на оценки о, но невозможно при выборках фиксированного объема (см. задачи 15 и 17).
Критерии для более общих гипотез g ^ go и g = go получаются из найденных выше заменой переменных на Xi — g0. Критические области для этих гипотез, как и раньше, даются формулами (15), (17) и (19), но на этот раз с
Из записи распределений (8) в форме экспоненциального семейства с 6 = п^/а2 видно, что существует РИМ несмещенный критерий для гипотезы а ^ ^/о2 ^ Ь, но метод неприменим к более интересной гипотезе а^^^б); он неприменим и к аналогичной гипотезе, когда среднее выражено в единицах стандартного отклонения: а ^ |/о ^ Ь. Последняя гипотеза будет обсуждаться в главе 6.
Данные выше РИМ несмещенные критерии для среднего и дисперсии в определенном отношении заметно различаются. Если случайные величины Хь ..., Хп образуют выборку из любого распределения с конечной дисперсией и нулевым средним и если объем выборки достаточно велик, то статистика (16) распределена приближенно по закону N(0,1). Это следует из центральной предельной теоремы (в соответствии с которой Vя Х[с имеет предельное распределение ^(0,1)), того факта, что У. (Х; — Xf^n — Ост2 стремится по вероятности к единице, и из одной теоремы о сходимости, принадлежащей Крамеру). Поэтому размер /-критерия будет, по крайней мере при больших выборках, приближенно равен заданному уровню значимости, даже если основное распределение отклоняется от нормального ).
С другой_ стороны, предельное распределение для У (Xi — X^l^nti2 уже будет зависящим от исходного распределения величин X, точнее будет связано с величиной четвертого момента Е (X*). Так как £ № — X)2 не зависит от среднего значения Хи то, не ограничивая общности, мы можем принять Е^Х^=й. Тогда^ V^ X имеет предельное распределение ^(0, а2), а пХ2/^п ^стремится по_ вероятности к нулю. Поэтому величина [S (Xf — X)2 —na2]/Vrt имеет то же самое предельное распределение, что и [£ X2 — па2]/V^ , а именно, по цент
ральной предельной теореме, — нормальное распределение ^(0, т2), где т2— дисперсия величин X*. Отсюда вытекает, что размер критериев для дисперсии (9) и (11) может быть далек от заданных уровней значимости, даже и при больших объемах выборки, если только исходное распределение отклоняется от нормального.
Сравнение средних и дисперсий двух нормальных распределений
Проблема сравнения параметров двух нормальных распределений возникает при сравнении двух методов обработки, сравнении двух продуктов и т. д., при условиях, подобных обсуждавшимся в начале раздела 5 главы 4. Мы рассмотрим сначала задачу сравнения двух дисперсий. Эта задача встречается при сравнении степени изменчивости анализов, сделанных в двух лабораториях или двумя различными методами. Специально мы остановимся на гипотезах Я: т2/а2 ^ До и Н': т2/о2 = До.
Пусть X = (Хь ..., Хт) и У = (Уь ..., У«) — выборки из нормальных распределений У(^, а2) и N(v\, т2) с совместной плотностью
С6, п. «. т)ехр(-^£х2--^^2 + ^х + -^,7).
Это есть экспоненциальное семейство с четырьмя параметрами й —1 А —1 А —А — т^
и достаточными статистиками и=£Уь Tx^Zxl Т2=У, Т3=Х.
Эквивалентное выражение можно получить (см. лемму 2 главы 4) в терминах параметров
M-^O + Gs?-)-(/-1,2.3)
и статистик
и--^, П-^Х’. + ^У/ь n-Y, П-Х.
Гипотезам 0* ^ 0 и 0* = 0, эквивалентным И и Н' соответственно, по теореме 3 главы 4 отвечают РИМ несмещенные критерии. При т2 = Д0о2 распределение статистики
v=Л£с^»=^1ДЖ-
2 (X, - X)22 (X, - ХУ[аг
не зависит от о, |, т] и, как вытекает из следствия 1, величина V не зависит от (Л, Л, Л). Поэтому РИМ несмещенный критерий для Н дается формулами (2) и (3), так что критическая область имеет вид
(20)
При т2 = Доп2 статистика в левой части (20) является отношением двух независимых х2-величин У, (У/ — У)2/т2 и У (X, — Х)2/о2, причем каждая разделена на соответствующее число степеней свободы. Распределение такого отношения есть F-распределение сп — 1 и т — 1 степенями свободы и с плотностью
Константа Со в (20) находится из уравнения
$ Fn-i.m-i^dy = a. с.$ Fn-i.m-i^dy = a. с.(22)(22)
$ Fn-i.m-i^dy = a. с.
$ Fn-i.m-i^dy = a. с.
(22)
(22)
Чтобы применить теорему 1 к Н', положим
2№-Х)2 + (1/До)2(У/-У)2
При т2 = Доо2 эта статистика также не зависит от Т=ЦТ\, Т^, 7з). Кроме того, она линейна по U*. Следовательно, РИМ несмещенная область принятия Н' имеет вид
W^C^W^C^(23)(23)
W^C^
W^C^
(23)
(23)
где константы определяются из уравнений (5) и (6), в которых V заменено на W. Разделив числитель и знаменатель W на о2, мы видим, что при т2 = Доо2 статистика W может быть представлена в виде отношения W'i/(W'i + W^, где №i и 1% — независимые х2-величины сп—1 и m—1 степенями свободы, соответственно. Эквивалентным образом, W = У/(1 + У), где У = = 1^1/11^2 и (т—\^Y/^n—1) имеет распределение Fn-i, m-ь
Распределение IV есть бета-распределение ) с плотностью
(24)(24)г [^ 1™ + " - 2>].^to-3’ n _
(24)
(24)
= —rq=—ПТ W2 (1 — tV)2 , 0 < W< 1.
г[|(—'№ «.-!)],
Условия (5) и (6) с помощью соотношений
ииЕ^Е^п — 1ш + п — 2п — 1ш + п — 2wB 11 х (tv)|(n-l). |(m-l) ' 'wB 11 х (tv)|(n-l). |(m-l) ' 'm + n — 2 ^T(n+1), l(m-l)^m + n — 2 ^T(n+1), l(m-l)^
и
и
Е^
Е^
п — 1
ш + п — 2
п — 1
ш + п — 2
wB 11 х (tv)
|(n-l). |(m-l) ' '
wB 11 х (tv)
|(n-l). |(m-l) ' '
m + n — 2 ^T(n+1), l(m-l)^
m + n — 2 ^T(n+1), l(m-l)^
могут быть превращены в
CjCt
(25)(25)\ В1 t (tv) tZtv = \ В11 (tv) dtv = 1 — о.
(25)
(25)
J4<n“l)-4 (т-1)'’ J4 (п+1),-(т-1)' '
Ci22С\ДА
Определение статистики У показывает, что ее распределение зависит только от отношения ^/с2, а следовательно, и распределение F зависит только от отношения %2] о2. Мощность критериев (20) и (23) будет функцией только от Д = т2/а2. Точное выражение для мощности можно получить в терминах /•'-распределения. Например, в первом случае
0(Д) = ?{0(Д) = ?{^(Гу-ГР/тЧ»-!) 2 Ц» - ХУ!а2 On - 1)^(Гу-ГР/тЧ»-!) 2 Ц» - ХУ!а2 On - 1)С0А0АС0А0АСоДо/ДСоДо/ДFn-l.m-lWy.Fn-l.m-lWy.
0(Д) = ?{
0(Д) = ?{
^(Гу-ГР/тЧ»-!) 2 Ц» - ХУ!а2 On - 1)
^(Гу-ГР/тЧ»-!) 2 Ц» - ХУ!а2 On - 1)
С0А0А
С0А0А
СоДо/Д
СоДо/Д
Fn-l.m-lWy.
Fn-l.m-lWy.
Гипотеза равенства средних g, г| в двух нормальных распределениях с неизвестными дисперсиями о2 и т2 (так называемая проблема Берэнса — Фишера'), не поддается указанным здесь методам (см. пример 5 главы 4; о возможном подходе к задаче см. раздел 6 главы 6). Мы рассмотрим поэтому лишь простейший случай, в котором дисперсии предполагаются равными. Тогда совместная плотность Xi и У, равна
С^, ц, о)ехр[--^(£х2 + £^) +^г£ч + £2^^ (26>
Это есть экспоненциальное семейство с параметрами ® = '5Г> ^i ="^">^2=2а5"
и достаточными статистиками
U = ^Yh Т^^Хь Ta-LXHLY1!-
Для целей проверки гипотез
Н: г]-^<0 и Н': т) — £ = О
удобнее представить плотности в экспоненциальной форме с параметрами
Vm п )
и достаточными статистиками
U* = Y-X, T^mX + nY, Ta-=Lx8t*LYb
Возможность такого перехода видна из тождества
„tf । „„,-._ (у — хИп — У I И* + ny) (m^ + nn)
myc -f n^y — J_ £m +n "
m ’ n
Как вытекает из теоремы 3 главы 4, существуют РНМ несмещенные критерии для проверки гипотез 6* ^ 0 и 6* = 0, а потому — и для гипотез Н и Н'.
При г) = $ распределение статистики
у_Y-X1Г
V 2 tn + п 1 m + п
не зависит от £ и о, что можно видеть, заменяя X, на (Xi — g)/o и Yj на (Yj— ^)/а. Поэтому V не зависит от (Гь Т^. Критическая область для РНМ несмещенного критерия Н имеет вид У ^ ^Со или
t(X, Y)^C0,(27)
где
(у-^/а/тг+т
/ (X, У) = —=====^=^=^==^.(28)
д/[Е kXi - ХУ + £ (Yj - Yy\^tn + п - 2)
Статистика /(X, У) является отношением двух независимых случайных величин
Y-XY-XV (т + го — 2) а2V (т + го — 2) а2
Y-X
Y-X
V (т + го — 2) а2
V (т + го — 2) а2
Числитель этого отношения распределен нормально со средним (И — Ю/V^-1 + п~х о и единичной дисперсией; знаменатель распределен как квадратный корень из х2-величины (т 4-л —2) степенями свободы, поделенной на (т + п— 2). Поэтому ЦХ, У) имеет нецентральное /-распределение с (т 4- п— 2) степенями свободы и параметром нецентральности
п — 5
(29)(29)В частности, при г] —£ — О распределение /(X, У) превращается в /-распределение Стьюдента и константа Со определяется из уравнения
(29)
(29)
tm+n-2(y')dy = a.
Как и прежде, при проверке И' предположения теоремы 1 не выполняются для самой статистики V, а имеют место для статистики
связанной с V соотношением
тП ^2 тП ^2т + пт + п
тП ^2
тП ^2
т + п
т + п
При т] = £ №, будучи функцией от V, также не зависит от Ш Т^; к тому же, она является линейной функцией от U* с коэффициентами, зависящими только от Р. Заметим, что распределение W симметрично относительно 0 при г) = ^ Отсюда вытекает, так же как и при выводе формулы (17) для одной выборки, что РИМ несмещенный критерий Н' отвергает ее при слишком больших | U7|, или, иначе, при
(30)(30)|/(Х, У)|>С.
(30)
(30)
7 Э. Леман
Константа С определяется из уравнения
$ tm^lMy = ^-.(31)
С
Мощность Критериев (27) и (30) зависит только от (ц — g)/o и может быть выражена в терминах нецентрального /-распределения. Ее свойства аналогичны свойствам мощности /-критерия для одной выборки (задачи 1, 2 и 4).
Так же как и в случае одной выборки, критерии, основанные на /-статистике (28), нечувствительны к отклонениям от нормальности, но это утверждение неверно для критериев, основанных на F-отношении (20) ). Доказательство использует те же рассуждения, что и в случае одной выборки. К устойчивости /-критерия мы вернемся еще раз в разделе 8, где будет обсуждаться видоизмеренный критерий, размер которого не зависит от исходного распределения.
Доверительные интервалы и семейства критериев
Доверительные границы для параметра 0, соответствующие доверительному уровню 1 — а, были определены в разделе 5 главы 3. При этом рассматривался случай, когда распределение X зависит только от 0. При наличии «мешающих параметров» д определение нижней доверительной границы 0 имеет вид
Р6, ^ {0 (X) С 0} > 1 — а при всех 0, -6.(32)
Аналогично этому, доверительные интервалы для 0 с доверительным уровнем 1 — а определяются как множество случайных интервалов с концами 0(Х), 0(Х) такими, что
М6ЖК6(Х)} = 1--а при всех 0, ».(33)
Точная нижняя грань по (0, $) левых частей (32) и (33) называется коэффициентом доверия этих утверждений.
Как уже отмечалось в главе 3, доверительные утверждения допускают двойственную интерпретацию. Прежде всего они дают границы для неизвестного параметра 0 и тем самым решение проблемы оценки 0. Хотя утверждение 0 ^ 0 ^ 0 не является столь точным, как точечная оценка, оно имеет то преимущество,
что вероятность его правильности гарантированным образом не может быть сделана меньше 1 — а. Аналогично нижнюю доверительную границу можно представлять себе как оценку 0, которая переоценивает параметр с вероятностью ^а. В частности, при а = */г граница 9, для которой
Ма = М>0Н'
одинаково часто недооценивает и переоценивает истинное значение и поэтому называется медианно-несмещенной (относительно связи этого свойства с общим понятием несмещенности см. задачу 3 главы 1).
С другой стороны, как было показано в главе 3, доверительные утверждения можно рассматривать как эквивалент семейства критериев. Нижеследующие рассуждения в значительной степени повторяют сказанное об этом соотношении в главе 3, правда, здесь мы ограничиваемся двусторонними гипотезами. Для каждого 9о обозначим Д(90) область принятия критерия уровня а для гипотезы /7(90):9 = 90 (на время мы предположим, что этот критерий — нерандомизированный). Если
S(x) = {9: хе А (6)}, то
9 е S (х) эквивалентно х е Л (9)(34)
и, следовательно,
Р0 ^{9S(X)} ^ 1 — а при всех 9, О. (35)
Таким образом, любое семейство областей принятия с уровнем а приводит через соотношение (34) к семейству доверительных множеств с доверительным уровнем 1 — а.
Обратно, возьмем любой класс доверительных множеств S(x), удовлетворяющих (35). Пусть
Д(9) = {х: 9gS(x)}.(36)
Тогда множества А (90) являются областями принятия с уровнем а для гипотез /7(90): 9 = 9о, а доверительное множество S(x) показывает при каждом 9о, следует ли при -данном наблюденном х принимать или отвергать гипотезу 9 = 90 (с уровнем а).
Эти же рассуждения применимы, если множества Д(90) являются областями принятия для гипотез 9 ^ 90. Ниже мы покажем, что, как правило (хотя и не всегда), одно- и двусторонние критерии приводят соответственно к односторонним доверительным границам и к доверительным интервалам.
Пример 4. Доверительные интервалы для среднего значения £ нормального распределения с неизвестной дисперсией могут быть получены из у*
областей принятия А (go) гипотез Я: g = go. Последние даются формулой
I Уп (х — g0) I
^/2^-хуЦп-1)
где С определяется через ^-распределение условием, чтобы при g = go вероятность вышеприведенного неравенства была равна 1 —а (см. формулы (17) и (19) раздела 2). Множество S(x) состоит из тех чисел, которые удовлетворяют приведенному неравенству при g = g0, т. е. заполняют собой интервал
'-^У^^-^^'+^УН^*'-1’’- 1371
Мы получаем доверительные интервалы для g с коэффициентом доверия 1 — а.
Длина интервала (37) пропорциональна /^"Х^-ху, и математическое ожидание его длины пропорционально о. Следовательно, при больших о эти интервалы дают мало информации относительно неизвестного g. Это следует и из того факта (который порождал аналогичные трудности в задаче проверки гипотез), что нормальные распределения Af(g0, о2) и W(gb о2) с фиксированной разностью средних становятся неразличимыми при а, стремящемся к бесконечности. Чтобы получить доверительные интервалы для g, длина которых не стремится к бесконечности вместе с о, необходимо число наблюдений определять последовательным образом, согласованным с величиной о. Последовательная процедура, приводящая к доверительным интервалам заданной длины, указана в задачах 15 и 16.
Однако и эта последовательная процедура в действительности не позволяет избавиться от трудности. Получив возможность контролировать длину интервала, мы теряем контроль над числом наблюдений. При о->оо число наблюдений, необходимое для получения доверительного интервала ограниченной длины, также стремится к бесконечности. В практических задачах мы часто имеем представление о порядке величины о. Взяв выборку фиксированного объема или последовательную выборку, мы должны найти компромиссное решение, учитывающее желаемый доверительный уровень 1 — а, точность, определяемую длиной / интервала, и число наблюдений п, которое нам позволяют наши средства. При таком подходе две из трех величин 1 — а, / и п фиксированы, а третья является случайной величиной, распределение которой зависит от а, так что она менее контролируема, чем другие. Если фиксировать 1 — а, то выбор между последовательной схемой и схемой с фиксированным объемом выборки определяется тем, что важнее контролировать, I или п.
Чтобы получить нижние доверительные границы для g, рассмотрим области принятия
у п (х — go)г
т—7================гСо
72(xz-x)2/(«-1)
для проверки g ^ go при альтернативе g > g0. Множества S(x) являются односторонними интервалами
V п — 1
левый конец которых и дает искомую нижнюю границу g. Если а = 1/2, то константа Со равна 0. Соответствующая доверительная граница g = X яв-
ляется медианно несмещенной оценкой £ и в классе всех таких оценок равномерно минимизирует
Р {— Ai < g — g< Д2) при всех Аь А2>0 (доказательство см. на стр. 99).
Несмещенные доверительные множества
Доверительные множества можно рассматривать как семейство критериев для гипотез 9е Н(9') при альтернативах 9е еК(9'), когда 6' меняется. Если коэффициент доверия равен 1 — а, то это означает, что все критерии имеют уровень а и
PQi о {6' е S (х)} ^ 1 — а при всех 6 е Н (9') и всех А. (38)
В случае, когда гипотеза /7(9') имеет вид 9 = 9' и S(X) является интервалом [9(Х), 9(Я)], это согласуется с (33). В случае односторонней гипотезы /7(9'): 9 ^9' и S(X) = {9: 9(Х) ^ 9} условие (38) принимает форму Р0, ^{9(Х)^9'}^ 1 — а для всех 9'^9, эквивалентную (32). При такой интерпретации доверительных множеств вероятности
Pm{9'gS(x)}, 9e^(9')(39)
суть вероятности ошибочного принятия /7(9') (ошибки второго рода), и чем они меньше, тем лучше сами критерии.
Рассмотрим вопрос о качестве оценок. Формула (39) указывает вероятности покрытия «ложного» значения 9'. При заданной вероятности покрытия правильного значения доверительные множества дают тем больше информации, чем реже накрывают они ложные значения параметра. В этом смысле вероятности (39) могут служить мерой точности доверительных множеств. Обоснование (39) с точки зрения функций потерь для одностороннего случая было дано в разделе 5 главы 3.
При наличии мешающих параметров РИМ критерии обычно не существуют, соответственно не существуют и равномерно наиболее точные доверительные множества, т. е. такие, которые минимизируют (39) при всех 9' с 9е ^(9') при всех б*. Это наводит на мысль ограничиться доверительными множествами, в некотором смысле несмещенными. По аналогии с соответствующим определением для критериев, мы называем семейство доверительных множеств с доверительным уровнем 1 — а несмещенным, если
^е.о {9' е S (х)} ^ 1 — а для всех 9' с 9 е /С (9') при всех 6 и 9,
(40)
так что вероятность покрытия этих «ложных» значений не превосходит доверительного уровня.
В отмеченных выше одно- и двустороннем случаях условие (40) приводится к следующим:
Р^л {6 ^ 9'} ^ 1 — а при всех 9'< 0 и всех -О, и
^е, о {§^9'^9} ^ 1 “ а при всех 9'=# 9 и всех О*.
При таком определении несмещенности, несмещенные семейства критериев порождают несмещенные доверительные множества и обратно. Семейство доверительных множеств называется равномерно наиболее точным несмещенным семейством с доверительным уровнем 1 —а, если оно минимизирует вероятности
Р6> ^ (9'е S (х)} при всех 9' с 9E^(9') для всех О’ и 9
при ограничениях (38) и (40). На основе РНМ несмещенных критериев этой и предыдущей глав получаются равномерно наиболее точные несмещенные доверительные множества. В частности, это относится и к доверительным интервалам, построенным в предыдущем разделе. Ниже приводятся еще некоторые примеры.
Пример 5. Если Хь ..., Хп — выборка из N^, о2), то РНМ несмещенный критерий для гипотезы а = а0 имеет область принятия (13)
6*12 (х* — х) /а0С2,
где Cj и С2 определяются из (14). Следовательно, наиболее точным несмещенным доверительным интервалом для о2 является
Аналогично этому из (9) и (10) получается наиболее точная несмещенная верхняя доверительная граница для о2:
где
$ Xn-1 ^dy = \-a.с,
Соответствующая нижняя доверительная граница является равномерно наиболее точной (без ограничения несмещенности). Это следует из раздела 10 главы 3.
Пример 6. Доверительные интервалы для разности А = т] — § средних в двух нормальных совокупностях с одинаковой дисперсией получаются из критериев гипотезы т] — £ = До. Если Хь...Дти Уь ..., У„ —выборки из N(^ о2) и М(т|, о2) соответственно, и если Уу = Уу —До, т] = Л — До» т0 в терминах величин X. и У у гипотеза принимает вид т/ —£ = 0. Из (28) и
(30) мы видим, что РИМ несмещенная область принятия дается неравенством
j^ziz^lN^lk__<c^Y^<xt-x'f-V’2.<y1-9YMktn-Vn-^’
где С находится из (31). Наиболее точные несмещенные доверительные интервалы для п — 5 суть
(5-х)-CS<T]-£<(£-x) + CS,(41)
где
S2=(1 +1)
хт ‘ п) т + п — 2*
Односторонние интервалы получаются аналогичным образом.
Пример 7. Если Хь ..., Хт и Уь ..., У» — выборки из N(^ а2) И М(т],т2), то наиболее точные несмещенные доверительные интервалы для Д = = т2/о2 находятся с помощью (23) и имеют вид
(42)(42)1-С2 2(У/-5)2Т»1-С, 2(У/-5)2
(42)
(42)
С2 ^(x.-xf^ а2 С, 2(х,-х)2*
где Ci и С2 вычисляются по (25) *). При т = п выражение для интервалов упрощается:
1 2(У/-5)2 т» 4^-9?
к 2 (х, - х)2 у2 ^ R 2 (х; — X)2 ’1 '
где к определяется по таблицам F-распределения. Наиболее точная несмещенная нижняя доверительная граница для отношения дисперсий равна '
- со S(x, -х)2Цт — 1) а2 ’' '
где Со дается формулой (22). Если в (22) положить а= 1/2, то нижняя доверительная граница А превращается в медианно-несмещенную оценку для т2/о2. В классе всех таких оценок она минимизирует
( т21
Р<— Aj^-^—А<А2 > при всех Аь А2^0.
(Доказательство см. на стр. 99.)
До сих пор мы предполагали, что критерии, на основе кото» рых строятся доверительные множества, — нерандомизирован» ные. Видоизменения, которые необходимо внести, когда это условие не выполнено, обсуждались в главе 3. Рандомизированные критерии при этом интерпретируются как нерандомизированные, но зависящие от X и вспомогательной переменной V, равномерно распределенной в единичном интервале. Если X — целочисленная величина (как в биномиальной и пуассоновской схемах), ла *) СРавнение этих границ с полученными из критерия равных «хвостов» л ^тся в работе: S с h е f f ё, On the ratio of the variances of two normal popu- ianons, Ann. Math. Stat. 13 (1942), 371—388.
то эти критерии могут быть описаны в терминах непрерывной случайной величины X + V. Этим путем мы можем, например, получить наиболее точные несмещенные доверительные интервалы для биномиальной вероятности р, отправляясь от РНМ несмещенного критерия для гипотезы Н; р = р0 (см. пример 1 главы 4). Априори неясно, что соответствующие доверительные множества для р будут интервалами. Однако это вытекает из следующей леммы.
Лемма 1. Пусть X— действительная случайная величина, плотности которой р^(Х) имеют отношение правдоподобия, монотонное относительно х. Предположим, что РНМ несмещенные критерии для гипотез // (60): 0 = 90 существуют и имеют области принятия
С1 (90) ^ х ^ С2 (90).
Пусть, кроме того, эти критерии являются строго несмещенными. Тогда функции Ci^ строго возрастают по 9, и наиболее точные несмещенные доверительные интервалы для 9 имеют вид
Доказательство. Пусть 0о < 01 и пусть ро(0) и Pi(0) обозначают функции мощности указанных в формулировке критериев фо и ф1 для проверки гипотез 0 = 0О и 0 = 0ь Из строгой несмещенности этих критериев вытекает, что
Ее, [Ф1 (Х)-Фо (*)]=& (0о)-а > 0 > а - ро (01) = Ев1 [Ф1 (X) - Фо (X)].
Таким образом, ни один из интервалов [Ci(0,), С2 (0/) ] (/ = 0, 1) не содержит другого, и, как видно из леммы 2 (II) главы 3, СД0о)< C,(0i) для i= 1, 2. Следовательно, функции Ci имеют обратные функции, и неравенства, определяющие область принятия 77(0), эквивалентны С?' (х)^ 0 ^СГ1 (х), что и требовалось доказать.
Сказанное иллюстрирует рис. 6. По границам x=Ci(0) и х = С2(0) области принятия Д(0) мы находим при каждом фиксированном х доверительное множество S(x) — это интервал тех значений 0, для которых Ci(0)^ х С2(0).
В соответствии с разделом 2 главы 4 условия леммы выполняются, в частности, для однопараметрического экспоненциального семейства, в предположении, что критерии нерандомизиро- ваны. В случае распределений биномиального или пуассоновского типа, когда семейство экспоненциально, но X — целочисленная величина (так что требуется рандомизация), доверительные интервалы могут быть получены применением леммы не к X, а к X + V. Здесь V не зависит от X и распределена равномерно на (0, 1).
В лемме 1 предполагаете#!, что раапределение X зависит только от 9. Рассмотрим теперь экспоненциальное семейство (1), в котором дополнительно к 0 имеются и мешающие параметры. РНМ несмещенные критерии гипотез 0 = 9о выступают в этом случае в форме условных критериев при данном Т = L Как следствие доверительные интервалы также получаются условным об
разом. Если условные распределения непрерывны, то области принятия имеют вид
С,(в; О<ы<С2(0; 0,
где, по лемме 1, функции Ci являются возрастающими при каждом /. Поэтому доверительные интервалы суть
СгЧи; /)<0<СГ*(«; t\
Если условные распределения дискретны, то непрерывность достигается введением дополнительной случайной величины, распределенной равномерно.
Пример 8. Пусть X и Y независимы и имеют распределения Пуассона со средними значениями Z и ц. Обозначим р = р/Х. Условное распределение У при условии X + У = t является биномиальным b(p, t) с
РНМ несмещенный критерий <p(z/, t) для гипотезы р = ро определяется при каждом / как РНМ несмещенный условный критерий для гипотезы р = = Ро/ (1 + ро).-Если
'р(О<р<р (0
суть соответствующие наиболее точные несмещенные доверительные интервалы для р при данном t, то наиболее точные несмещенные доверительные интервалы для р/Х имеют вид
Р (0 р р (0
[1 — Р (01[1 —Р (/)] •
Биномиальные критерии, по которым определяются границы р(Г) и р(/), рассматривались в примере 1 главы 4.
Регрессия
Изучение связи между двумя величинами X и У может производиться на основе выборки и регистрации п пар измерений (Аь У1), ..., (Хп, Уп) (см. раздел 11 и задачу 11 в главе 6). Но часто бывает возможно регулировать одну из этих величин, например возраст обследуемого лица, или температуру, при которой проводится эксперимент, или силу применяемого лечебного препарата. Наблюдения У]Yn величины У получают при этом для наперед заданных значений Xiхп величины х. Предположим, что при фиксированном х распределение У нормально с постоянной дисперсией о2 и средним, которое зависит от х (его называют регрессией Y на х). Предположим, что эта зависимость линейна
Е [У | х] = а + рх.
Полагая vz = (хг — х)/-у/2(х/— х)2 и у + dvz = о + рхг, так что Svf = 0, Sv? = 1 и » х„д
^(Xj-x)»мyS(X/-X)2
мы представим совместную плотность Уь .... У„ в форме
(vЙFexp^^2:<!"-v-ад,]■
Эти плотности образуют экспоненциальное семейство (1) с
(/ = Svzyz, Т1 = 5Уь Гг = 2Уг;
9=4. ^1 = -4т. ^2=4--а2 12а22 а2
Из такого представления вытекает существование РИМ не’ смещенных критериев для гипотез типа ау + 66 — с, где а, 6, с — заданные постоянные, а следовательно, и существование наиболее точных несмещенных доверительных интервалов для параметра р = ау + 66.
Чтобы найти для этих интервалов точное выражение, заметим, что РИМ несмещенный критерий для //:р = р0 имеет область принятия
| bSujYi + aY — Ро I/V(а2М + Ь2^
V[S (Г # - f)2 - W№ - 2)’
где
с
J tn-\^dy=l—a
-с
(см. задачу 20 и раздел 6 главы 7). Соответствующие доверительные интервалы для р имеют центры b^y^-V aY и длину
L = 2С + 621 [£- У)2 - (Е »{У^п ~ 2).
Из преобразования, указанного в задаче 20, вытекает, что величина [Е Yi — Yf — (2 У/^)2]/®2 имеет х2-распределение с п — 2 степенями свободы, и поэтому математическое ожидание длины доверительных интервалов равно
£(L) = 2C„a^/(-2i) + 62 .
Как правило, а и b являются функциями х. Если они находятся в распоряжении экспериментатора, и, следовательно, есть некоторая свобода в выборе а и Ь, то средняя длина L минимизируется одновременно с суммой (а2/п^)+Ь2. Но в действительности средняя длина может и не быть хорошей характеристикой точности доверительных интервалов, так как короткие интервалы желательны, если они покрывают истинное значение параметра, и только при этом условии. Однако тот же вывод справедлив и по отношению к другим критериям качества, таким как математическое ожидание от (р—_р)2 + (р — р)2 или, более общим образом, от fi(|p —pD + Mlp —р|), гДе fi и /г — возрастающие функции своих аргументов (см. задачу 20). Далее, тот же самый выбор а и b минимизирует вероятность покрытия интервалом любого ложного значения параметра. Мы будем поэтому рассматривать (a2/n) + b2 как обратную величину к мере точности интервалов.
Пример 9. Доверительные интервалы для наклона £ = ^/л/2 (х/ " *)2 получаются из указанных выше при а = 0 и b = 1/^2 (х. — х)2. Здесь точность возрастает вместе с ^ (х. ~ *)2 и»если точки должны быть выбраны в отрезке [Со, CJ, то точность становится максимальной при помещении половины всех Xi в каждый конец. Однако с практической точки зрения такой план часто не очень хорош, так как не позволяет проверить линейность регрессии.
Пример 10. Другой интересный параметр — математическое ожидание Y в точке х = х0, т. е. a + рх0. Так как
«+ рх0«+ рх0Y + б (хр — х)
«+ рх0
«+ рх0
VE(x/-^)2 ’
то а и b имеют значения а = 1, b — (х0 — х^л^^ ^х. — х)2. Максимум точности достигается при наименьшем |х —х0|, и если невозможно принять х = = х0, то следует минимизировать ^ (х/ ” х^*
Пример 11. Часто представляет интерес оценка точки х, в которой a + рх имеет заданное значение. Например, мы можем искать точку
х = —а/Р, в которой Е(¥ |х) = 0 или, что то же самое, искать значение у= (х — x)^^^i ” *)2> ПРИ котором у + ди = 0. Наиболее точные несмещенные доверительные множества для решения —у/б последнего уравнения можно получить из РНМ несмещенных критериев для гипотез —у/б — Уо. Области принятия для этих гипотез даются (45) с а = 1, b = у0 и р0 = 0. Соответствующие доверительные множества для у содержат все точки, для которых
v2 [c=s« - (£ У .У,)2] - 2Уу (2 »/<) - ^ «ж - лР) > о,
где S2 = [£ (^ — У)2 — (]£ а^)2]/(я — 2). Если квадратный трехчлен имеет корниту и у, то доверительные утверждения принимают вид у<у<у при |2L^yJ/5>C
и
У<£ ИЛИ У^У при | ^и.¥><С.
Удивительная на первый взгляд возможность получить в качестве доверительного множества внешность интервала, в действительности весьма естественна в этой задаче. Когда прямая у = у + бу почти параллельна оси у, ее пересечение с этой осью происходит в точке с большой по абсолютной величине абсциссой. Но знак абсциссы может измениться при совсем малом изменении угла наклона. Возможно также, что дискриминант квадратного трехчлена отрицателен
п¥» + (£< C2S2.
При этом соответствующее квадратное уравнение не имеет вещественных решений. Из выписанного условия видно, что старший коэффициент квадратного трехчлена положителен, так что доверительным множеством в этом случае является вся прямая. То обстоятельство, что доверительные множества могут быть неограниченными, привело к соглашению, чтобы их использовать, исключая этот случай. Однако такое соглашение изменит вероятности, с которыми эти множества покрывают истинное значение параметра, а тем самым и величину коэффициента доверия*).
Критерии, основанные на перестановках
Допустим, что некоторый способ обработки сравнивается с контрольной ситуацией, где он не применяется. Если результаты измерений Xi, ..., Хт и Уь ..., Уп представляют собой выборки из нормальных распределений ^(g, о2) и ^(т], о2), то, как было показано в разделе 3, односторонний /-критерий является РНМ несмещенным критерием для проверки Н: t] = £ при альтернативе т) — £ = А > 0. Мы рассмотрим теперь эту задачу без предположения о нормальности распределений. Вместо этого мы допустим, что величины X и У выбраны из распределений с плот-
♦) Метод, учитывающий этот эффект, был развит Нейманом, и на основе этого Э. Фикс были вычислены таблицы. Об этом см. в работе: Bennett, On the performance characteristic of certain methods of determining confidence limits, Sankhya. 18 (1957), 1—12.
ностями f(x) и f(y — А), где /—почти всюду непрерывна, а в остальном неизвестна. В этой непараметрической формулировке совместная плотность величин X и У равна
... tWUyv-^ ... Цуп-^,(46)
где ^ — семейство всех плотностей вероятности, непрерывных почти всюду.
Если изменчивость в совокупности, откуда берется выборка, велика, то чувствительность эксперимента часто может быть увеличена разбиением этой совокупности на более однородные подгруппы, отправляясь от таких характеристик, как, например, возраст или пол. Затем из z-й подгруппы отбирается Nt (/= 1, ... ..., с) элементов, mi из которых предназначается для контроля, а щ = Ni — mi — для обработки по предлагаемому способу. Если результаты, полученные при наблюдениях над Лй подгруппой такой расслоенной выборки, обозначить
(хп, ...;х1т- упyM<) = (zn,.... zlN^
то плотность Z = (ZuZcN^ примет вид
Р«й-П[/,Ы ■■■••• ?,(»„.,-д)}
'(47)
Несмещенность некоторого критерия ф для проверки гипотезы А = 0 при альтернативе А > 0 влечет при всех fi, ..., /с равенство
Ф (z) p0 (z) dz = a (dz = dzn ... dzcN^. (48)
Теорема 3. Пусть 9" обозначает семейство всех вероятностных плотностей f, которые непрерывны почти всюду. Равенство (48) выполняется при всех fi, ..., [с^9~ тогда и только тогда, когда
■^ГТТПЦ 2 Ф(2,) = а почти ВСЮДУ. (49) С Z'^S (2)
где S(z)— множество точек, получающихся из г перестановкой при каждом /= 1, ..., с координат хц (j = 1, ..., N^ внутри i-й подгруппы всеми возможными N\\ ... Nc\ способами.
Доказательство. Установим результат для с = 1. Отметим, что совокупность порядковых статистик T(Z) = (Z<>, ...
• •, Z(Ar>) является полной достаточной статистикой для ST (пример 6 главы 4). Поэтому условие, необходимое и достаточное Для (48), имеет вид
Множество S(z) в рассматриваемом случае (с = 1) состоит из N'. точек, получаемых из z всевозможными перестановками координат, так что S(z)={z': T’(z') = Цг)}. Из раздела 4 главы 2 следует, что условное распределение Z при данном T(z) приписывает вероятность 1/NX каждой из ^! точек S(z), т. е. (50) эквивалентно
Ж X ф(г/)=« почти всюду,(51)
2' е S (2)
что и требовалось доказать. Общий случай доказывается совершенно аналогично и помещен в упражнения (задача 21).
Критерии, удовлетворяющие (49), называются критериями перестановок. Это определение обобщается в задаче 31.
Наиболее мощные критерии перестановок
Пусть проверяется гипотеза //: Д = 0 об отсутствии эффекта предлагаемого способа обработки, причем основой служит расслоенная выборка с плотностью (47). В предыдущем разделе было показано, что в этом случае несмещенность влечет (49). Мы определим сейчас критерий, который удовлетворяет (49) и максимизирует мощность при любой фиксированной альтернативе (47), и, более того, при любой альтернативе с фиксированной плотностью А (2).
Мощность критерия ф при альтернативе h равна
Ф (г) h (2) dz = J Е [ф (Z) | /] dPT (/).
Пусть 1 = 1^ = ^^ ..., 2^, так что 5(2) = £(/). Как мы видели в примере 7 и задаче 4 главы 2, условное математическое ожидание ф^) при данном T^Z) = t равно
^ Ф (?) А (г)zeS (О
£ (*) *
zeS (t)
Чтобы максимизировать мощность ф при условии (49), необходимо максимизировать ф(/) при каждом t при этом же условии. Проблема сводится, таким образом, к определению функции ф, которая, подчиняясь условию
X Nx\ ... N с\zeS (О
максимизирует
2j ф (г) ^ h "
zeSW z'^S(t)
По фундаментальной лемме Неймана — Пирсона к этому можно прийти, отклоняя гипотезу Н для тех 2 из 5(f), для которых отношение
h^Nx\ ... N с\
У, h (г')
z'eS (О
слишком велико. Поэтому наиболее мощный критерий определяется критической функцией
( 1( 1ф(2) = < Уф(2) = < У00при h (г) > С [Г (z)], при h (z) = С [Т (г)], при A(z) <C[T(z)].при h (г) > С [Г (z)], при h (z) = С [Т (г)], при A(z) <C[T(z)].(52)(52)
( 1
( 1
ф(2) = < У
ф(2) = < У
0
0
при h (г) > С [Г (z)], при h (z) = С [Т (г)], при A(z) <C[T(z)].
при h (г) > С [Г (z)], при h (z) = С [Т (г)], при A(z) <C[T(z)].
(52)
(52)
Для применения критерия АМ ... Nc'. точек каждого множества S(z) упорядочивают в соответствии с величиной плотности А. Гипотеза отвергается для к больших значений и с вероятностью у для (А + 1)-го, где к и у определяются уравнением
k + ^ = aNY\ ... NCL
Рассмотрим, в частности, альтернативы (47). Мы видим, что наиболее мощный критерий перестановок зависит от А и fi и потому не будет РИМ критерием.
Особый интерес представляет класс нормальных альтернатив с одинаковой дисперсией
h = N^, ст2).
Наиболее мощный критерий при этих альтернативах оказывается не зависящим от gz, о2 и А. Этот критерий уместен и в том случае, когда предполагается приближенная нормальность, но это предположение не является слишком надежным. В этом случае желательно поддерживать размер критерия на уровне а безотносительно к форме плотностей ft и сделать критерий несмещенным при всех альтернативах (47). Однако внутри класса критериев, удовлетворяющих этим широким условиям, естественно произвести отбор с той целью, чтобы максимизировать мощность при таких альтернативах, которые мы вправе ожидать, т. е. при нормальных альтернативах.
Выбирая ft, как указано выше, запишем (47) в форме
/г (z) = (д/ 2л ст) N exp
Г Ni1
Так как множитель exp I — X £ ^и — ^)2/2а21 сохраняет на S (/) постоянное значение, то критерий (52) отвергает Н, когда ехр( А £ £ ^ > С[Т (г)], т. е. когда \ i 1=т- + 1/
с п^с N^
(54)(54)Щуц=1 £ zz/>C[T(z)J.
(54)
(54)
1 = 1 /=1Z=1 /=щ. + 1
Из ^l! ... Мс\ значений, которые статистика, входящая в (54), принимает на 5(0. различных будет только ( ^ ) ••• ... ( ^с^ , поскольку статистика принимает одинаковые значения В любых двух точках Zf И z", ДЛЯ которых (гл, . . ^im^ и (гл, •.., 2^^ получаются друг из друга перестановкой (1 = = 1, ..., с). Поэтому достаточно рассматривать эти различные значения и отклонять Н для k' наибольших, а для (//+ 1) -го по величине — отклонять с вероятностью у', где
Критерий (54) является наиболее мощным при рассматриваемых нормальных альтернативах в классе всех несмещенных критериев уровня а при проверке гипотезы //: А = 0 в первоначальном семействе (47) с fi, ..., fc^^. Чтобы завершить доказательство этого утверждения, остается проверить несмещенность критерия при альтернативах (47). Мы докажем большее, а именно, что этот критерий является несмещенным при всех альтернативах, для которых Хц (/= 1, ..., т^, Yik (А= 1, ... ..., п^ независимы и имеют функции распределения A, Gi соответственно, причем Yth стохастически больше чем Хц, т. е. Gi^^Fi^ при всех г. Это утверждение вытекает из следующей леммы.
Лемма 2. Пусть Хх, ..., Хт\ Уь ..., Yn — выборки из непрерывных распределений F,G,u пусть ф(хь ..., xm; ух, ..., уп) — критическая функция такая, что (а) ее математическое ожидание равно а, если G = F, и (б) yi ^ y't при i = 1, ... ..., п влечет
<р (xi, . . ., Хт; Ух» . . ., УпХф(хЬ . . ., Хт; у\> • • ., Уп\
Тогда математическое ожидание p = p(F, G) функции ф будет ^а для всех пар распределений, для которых Y стохастически больше чем X. Это математическое ожидание ^а, если X стохастически больше чем У,
Доказательство. По лемме 1 главы 3 существуют функции f, g и независимые случайные величины Vi, ..., Ут+п такие, что распределения ЦУГ) и g(VD совпадают с F и G соответственно, и что f(z)^g(z) при всех z. Тогда
^[/(^1)KVmY ЦУт^, .... Жт+„)] = а и
ад(и>), .... f(vmY gkVm+1)» • • • > g(Vm+„)] = p.
Так как при всех (ob ..., vm+„)
ф[/(01)U^mY f(Um + l)/(«m + JK
<ф[/(01) /(Ут); g(v>n + l).^(Ут+п)]
то такое же неравенство верно и для математических ожиданий обеих частей, т. е. а ^ р.
Доказательство для случая, когда X стохастически больше чем У, совершенно аналогично. Лемма обобщается и на случай с векторов (Хт ..., Ximp Yn, ..., Y tn^ с распределениями ^Fi.GiY Пусть математическое ожидание функции ф равно a при Ft = G( и ф не убывает по каждому уц, когда все остальные переменные фиксированы. Как и раньше, математическое ожидание ф будет ^а, если случайные величины с распределениями Gi стохастически больше величин с распределениями Fi
Применяя лемму к критерию перестановок (54), достаточно рассмотреть случай с=1, поскольку для общего случая рассуждения совершенно аналогичны. Так как при F=G вероятность отклонения гипотезы критерием (54) равна а, остается проверить, что критическая функция ф удовлетворяет (б). Отметим, что ф = 1, если У. Z; больше достаточно многих сумм 1=тА-\ mA-п
У г/., т. е. если достаточное число разностей 1=тН 1
mA-пmA-п
У Х{ У 2/.
/=т + 11 = тА-\
положительно. Для отдельной перестановки (/ь ..., /^+п)
/п + п£ zt —/п + п£ zt —mA-прр
/п + п
£ zt —
/п + п
£ zt —
£ г/, = £ г$ — £ 2г
i = mA-\i = l/ = 1'
где и < ... < гр обозначают те из целых /т+ь ..., jm+nf которые ^m, а $i < ... < sp — те из целых т + 1, ..., т + п, которые не входят во множество (/т+ь • jmA-пУ Если разность £ z$z — £zr. положительна и у^уь т. е. х^хь при /=т+1, ...
m + я, то разность ^2^ —УгГ/ также положительна и, следовательно, ф удовлетворяет (б).
Такие же рассуждения показывают, что вероятность отклонения гипотезы ^а, если плотность рассматриваемых величин дается формулой (47) с А ^ 0. Поэтому критерий остается пригодным при замене гипотезы Д = 0 на Д 0.
Использование критерия перестановок (54) в точной форме возможно только при небольших объемах выборок Ni; в противном случае, вычислительные трудности становятся непреодолимыми. При с = 1, например, для определения критической точки С [Г (г)] требуется отыскать множества индексов (д, ..., /«), п дающих к наибольших по величине значений суммам У г/.. t=i 1
Здесь к — наибольшее целое, не превосходящее а (^). Если а = 0,05, то при т = п = 5 будет к = 12, но уже при т = п = = 10 величина к превосходит 9000. Однако для случая больших выборок можно указать весьма удобную аппроксимацию. Умножая обе части неравенства
Ly^cvi^
на [(1/т) +(!/«)] и вычитая затем (£ xt + У. у Мт, мы для с = 1 приведем критическую область к виду у— x>C[T(z)]
у W постоянен на S(z) и потому зависит только от T(z). Последнее неравенство, как было показано в конце раздела 3, эквивау W постоянен на S(z) и потому зависит только от T(z). Последнее неравенство, как было показано в конце раздела 3, эквиваУ, (z, — z)2 > С[Т (z)], так как знаменатель 1 = 1
у W постоянен на S(z) и потому зависит только от T(z). Последнее неравенство, как было показано в конце раздела 3, эквива
у W постоянен на S(z) и потому зависит только от T(z). Последнее неравенство, как было показано в конце раздела 3, эквива
лентно следующему
>C[T(Z)L>C[T(Z)L(55)(55)\ т п
>C[T(Z)L
>C[T(Z)L
(55)
(55)
V[y kxi - )2 + Z Vh - йУ^т + п - 2)
Критическая область имеет такой же вид, как у /-критерия, только константа Со из (27) заменяется случайной величиной. Можно показать, что ири справедливости гипотезы, т. е. когда величины Z независимы и одинаково распределены, и при условиях (a)£|Z|3 < оо (б) т/п не приближается ни к нулю, ни к бесконечности при тип, стремящихся к бесконечности, разность между случайной критической точкой C[T(Z)] и Со стремится к нулю по вероятности*). В пределе, следовательно, критерий пе-
рестановок становится эквивалентным /-критерию (27)-—(29). Таким образом, при больших объемах выборки критерий перестановок может быть аппроксимирован стандартным 1-критерием. В точности аналогичный результат справедлив и при с*>\. Соответствующий /-критерий указан в задаче 7 главы 7.
Рандомизация как основа статистических выводов
Проблема проверки действенности какого-либо способа обработки рассматривалась в разделе 3 (в предположении, что результаты измерения как при обработке, так и в контрольных испытаниях, т. е. Хь ..., Хт и Уь ..., Уп, образуют выборки из нормального распределения) и в разделах 7 и 8 (без предположения нормальности).
Допустим, что для проведения эксперимента из рассматриваемой совокупности отбирается наудачу т + п элементов (пациентов, растений или образцов материала и т. д.). Из них п подвергаются обработке, а оставшиеся т служат для контроля. Затем измеряется характеристика, на которую, возможно, влияет обработка, что приводит к результатам Х\, ..., Хт; Уь •• •, Ym.
Для определенности предположим, что обработка состоит в инъекции лекарства и что имеется т + п ампул, предназначенных для т + п пациентов. Результат z-го измерения может рассматриваться как сумма двух компонент. Одна, скажем U^ связана с /-м пациентом. Другая— Vi с /-й ампулой и с обстоятельствами, при которых она использована и при которых измерен соответствующий результат. Мы предположим, что случайные величины Ui и Vi независимы, причем распределение Vi нормально и равно N^t\, ст2), если ампула содержит исследуемое лекарство, или N^ о2), если ампула употребляется для контроля. Принимая дополнительно, что Ui образуют выборку из N (ц, о?), мы видим, что величины X и У независимы и распределены нормально с общей дисперсией о2 + о? и средними
Е(Х) = ^ + 1, Е(У) = ц + ть
С точностью до обозначений их совместное распределение задается формулой (26), и гипотеза ц = £ может быть проверена с помощью стандартного /-критерия.
К сожалению, в реальных условиях часто невозможно добиться того, чтобы пациенты или другие экспериментальные единицы образовывали случайную выборку из соответствующей генеральной совокупности: мы рассматриваем или совокупность пациентов, находящихся в данном госпитале в данный момент, или совокупность лиц, добровольно согласившихся на эксперимент и т. п. В этом случае величины U следовало бы рассматривать, как неизвестные константы, так как они не являются
результатом какой-либо определенной выборочной процедуры. Это предположение уместно и в другом контексте. Допустим, что экспериментальными единицами являются машины некоторого цеха или поля некоторой фермы. Если эксперимент имеет целью отыскать метод, наилучший именно для этого цеха или этой фермы, то только указанные единицы имеют отношение к задаче. В этом случае повторение эксперимента состояло бы в сравнении двух способов обращения с одними и теми же машинами или полями, а не с новыми, наудачу выбранными из более обширной совокупности. В этом случае сами экспериментальные единицы постоянны, а следовательно, постоянны и величины и.
При высказанных допущениях совместная плотность т + п результатов измерений равна ' тп
№оГ+п ехр№оГ+п ехрUi — — У2 + 2 ^/ “
№оГ+п ехр
№оГ+п ехр
4-1/=1
Так как величины и совершенно произвольны, то ясно, что невозможно провести различие между гипотезой Н\ ц = £ и альтернативами К: ц > g. Действительно, каждое распределение из К принадлежит также Н и обратно. Поэтому наиболее мощный критерий уровня а для проверки Н при любой простой альтернативной гипотезе относительно величин ^, т), о и щ отвергает Н с вероятностью а независимо от исхода наблюдений.
Данные, которые могут служить базисом для проверки эффективности способа обработки, могут быть получены с помощью весьма важного приема — рандомизации. Предположим, что N = т + п пациентам прописаны N ампул, причем наудачу, т. е. таким образом, что каждое из N\ возможных соответствий имеет одну и ту же вероятность IjNL Тогда при каком-либо данном соответствии результаты N измерений будут распределены нормально с дисперсией о2 и средними ^ + t//. (/=1, ..., т) и л+^У; (/ = т+1, . m-V^Y Совместная плотность величин
(^ьZ„) = №Хт; У„ .... У„)
равна, следовательно,
М (У2л
(56)(56)
(56)
(56)
где внешнее суммирование производится по всем N\ перестановкам (/ь ..., /#) чисел (1, ..., NY При гипотезе л = 5 эта плот-
ность имеет вид
Г N “1
^7 £ (VaL)" ехр[ ^ 2 (Zi “ (57)
где £/. = иц + £ = Ui. + т].
Без рандомизации появление множества ук, больших по сравнению с Хк, могло бы быть объяснено целиком в терминах компонент ии связанных с отдельными пациентами. Однако если связь между щ и ук случайна, то эффект этих компонент будет в среднем таков же, как и компонент, приписанных Хк. Следовательно, заметное превосходство второй выборки становится весьма неправдоподобным в условиях проверяемой гипотезы и потому должно быть приписано эффективности способа обработки.
Метод сопоставления «наудачу» способов обработки с экспериментальными единицами позволяет построить критерий уровня а для проверки гипотезы т] = £, мощность которого больше а при всех альтернативах г] — g > 0. Действительная мощность этого критерия зависит, однако, не только от альтернативного значения г] — £, которое измеряет эффективность способа обработки, но также и от эффектов щ отдельных единиц. В частности, если изменчивость величин щ чрезмерно велика, то она может «подавить» эффект обработки (так же, как могло бы быть при возрастании дисперсии о2). В соответствии с этим, мощность критерия была бы мала и не позволила бы обнаруживать альтернативы Т] — £.
В таких случаях чувствительность эксперимента может быть повышена приемом, в точности аналогичным способу «расслоенной выборки», обсуждавшемуся в разделе 7. В рассматриваемом случае это означает замену описанного выше процесса полной рандомизации более ограниченной процедурой рандомизации. Экспериментальный материал разбивается на подгруппы, более однородные, чем материал в целом, так что внутри каждой группы разности между величинами и малы. В опытах с животными, например, этого часто можно достичь разделением по пометам. Рандомизация применяется только внутри каждой из групп. Если ^я группа содержит Ni единиц, то tii из них выбираются для обработки, а остающиеся mi = Ni — гц служат для контроля ^Ni = N, 'Smi = m, 'Srii = n).
Примером такого подхода может служить метод сходных пар- В нем экспериментальные единицы делятся на пары. Единицы каждой пары стремятся подобрать возможно более похожими друг на друга во всех существенных для эксперимента отношениях, так что внутри каждой пары разность значений делается возможно меньшей. Предположим, что материал разбит на п таких пар, и обозначим соответствующие единицам эффекты
(величины U предыдущих рассуждений) (Л, UV ...; Un, U'n. Пусть первый и второй члены каждой пары или подвергаются обработке, или служат для контроля, соответственно, и пусть результаты наблюдений за t-й парой равны Xi и Уь Если подбор пар вполне удачен, что может быть, например, когда один и тот же пациент дважды используется при исследовании снотворного средства, то Ui = Ui при всех i и плотность величин X и У равна W^r ехр [ - -^ Е к - - “А* + 2>< " 1 - »а2]] ■ (58) РНМ несмещенный критерий для проверки Н: ц = £ при альтернативе т] > ^ определяется в этом случае в терминах разностей Wt = У, — X,; его критическая область имеет вид
(см. задачу 25).
Однако обычно не желают доверять предположению и t = щ даже после объединения в пары, и снова становится необходимой рандомизация. Так как, по-видимому, объединение в пары делает изменчивость и внутри пары значительно меньшей, чем по всей совокупности, то рандомизация проводится только внутри каждой пары. Одна из единиц каждой пары выбирается с вероятностью 1/2 для обработки, в то время как остальные служат для контроля. Плотность величин X и У в этом случае равна
п
"5 п {[- ^ Ito -1 - -а2 + to -1 - “Э21] +
+ ехР [— "^ КХ/ — £ — “^ + (^ ~ ^ — «f)2]]} •(60)
При гипотезе ц=£ это превращается в
Гл 2*1
^Е(^^ехр|7^2Е(г‘/-й)2].(61)
где
Zil = Xi, Zi2 = yi, ^1 = 6 + Ui, ^2 = T]+«z (i=ln\Внешнее суммирование распространяется на 2" точек £' ==(£п,.... ^й), для которых toi, &i) равно или (^ь ^2) или (^2, ^л).
Критерии перестановок и рандомизация
В предыдущем разделе было показано, что рандомизация дает базис для проверки гипотезы т) = £ об отсутствии эффекта обработки без каких-либо предположений об экспериментальных
единицах. В настоящем разделе будет получен специальный критерий для этой проблемы. В случае, когда экспериментальные единицы рассматриваются как постоянные, совместная плотность результатов наблюдений дается формулой (56) (при полной рандомизации) или формулой (60) (при использовании сходных пар). Более общим образом, пусть экспериментальный материал разбит на с подгрупп, рандомизация применяется в каждой из подгрупп и пусть результаты наблюдений в Z-й подгруппе равны
(Zm Ximp Yu, Yinty
Для любой точки и=(цц, ..., uCNc^ обозначим, как и раньше, знаком S(u) множество из АМ ... Nc\ точек, получаемых из и всевозможными АМ ... Nc\ перестановками координат внутри каждой подгруппы. Тогда совместная плотность величин Z равна
(VST-)"ехр(VST-)"ехрУ (^О — | — и//)2 +У (^О — | — и//)2 +NiNi+ 2 (г/=mz+l+ 2 (г/=mz+l(62)(62)
(VST-)"ехр
(VST-)"ехр
У (^О — | — и//)2 +
У (^О — | — и//)2 +
Ni
Ni
+ 2 (г/=mz+l
+ 2 (г/=mz+l
(62)
(62)
и при гипотезе отсутствия эффекта обработки
Ра, 6 (^)X
AW е,е Nc*а
[с Nt-|
<63>
i = l /=1J
Может случиться, что не все координаты и или £ различны. Тогда, если некоторые из точек SM или S(£) совпадают, то каждая точка должна считаться с учетом ее кратности. Более точно, если АМ ... Nc\ рассматриваемых перестановок Afi + ...
+ NC координат обозначить g^ к=\, ..., W ... Ус!, то в качестве S(£) можно взять упорядоченное множество точек g^ ^= 1, ..., А^! ... NCL Тогда соотношение (63), например, принимает вид
yj ... Ncl
РоЛ^ =2 "№^exp(-^|z-^12)’
с N .
Где | и21 обозначает
1
Теорема 4. Для того чтобы критическая функция ф удовлетворяла неравенству
^tp^p^^dz^a ^dz = dzxx ... dzcN^ (64) при всех о "> 0 и всех векторах £, необходимо и достаточно выполнение условия .
X Ф^')^® почти всюду. (65)
z'gS (z)
Доказательство основано на следующей лемме.
Лемма 3. Пусть А — множество в N мерном пространстве, мера Лебега р(Д) которого положительна. Тогда для любого е > О найдутся такие действительные числа о > 0 и gi, ..., gy, что
PV^x.
где Xt — независимые нормально распределенные случайные величины со средними Е^Х^ = ^i и дисперсиями а2х—о2.
Доказательство. Не ограничивая общности, допустим, что р(Д) < оо. Для любого т) > 0 найдется такой квадрат Q, что
Это следует из того, что почти в каждой своей точке А имеет метрическую плотность 1 ) (или из более элементарного факта — возможности аппроксимировать измеримое множество по мере объединениями непересекающихся квадратов). Пусть а таково, что
VST J Ч 27 V 27 —а
и пусть
е / V2n YW
Если (gb ..., ^) — центр Q, и если о = &/a = (l/2a)[n(Q)]I/w, где 2Ь — длина стороны Q, то
лп5
<(v^ЬxpF^'2to-ь,2]‘',,, ■■■ dx-=
9г a
1 С f ^ У j J в
= 1 — —j= \ exp |1dt \ = —.
IV2« _J \ 2/ J 2
С другой стороны,
1 IAHQ1 IAHQ12а212а2^ *(^z^z) 1 dxx • •. dx^ ^^^ *(^z^z) 1 dxx • •. dx^ ^^
1 I
AHQ
1 I
AHQ
1
2а2
1
2а2
^ *(^z^z) 1 dxx • •. dx^ ^^
^ *(^z^z) 1 dxx • •. dx^ ^^
Складывая почленно оба неравенства, приходим к искомому результату.
Доказательство теоремы. Пусть ф— любая критическая функция и пусть
Z'^S (2)
Если (65) не выполняется, то существует такое т) > 0, что на множестве положительной меры ф (z) > а + гр По лемме существуют а > 0 и t, = (^н, ..., Хсм^ такие, что P(Z е Л} > 1 — т|, где Zu, ..., Zcnc независимы и распределены нормально с общей дисперсией о2 и средними Е (Zu) = "с,ц. Мы имеем
$Ф (г) Ра. с (г) dz = ф (г) ра, t (z) dz >
> j * <г) тт^ ехр [- i 2 2 '•+ - t«H42 >
>(« + 4)0-4),(66)
что больше а, так как а + т] < 1. Этим доказано, что (64) влечет (65). Обратное утверждение следует из первого равенства в (66).
Следствие 2. Пусть Н — класс плотностей
Кро.С (г): о > 0, — оо < ^м < оо).
Полным семейством критериев для проверки Н с уровнем а может служить класс % критериев, для которых
——д^ У ф(г') = а почти всюду.(67)
С z'eSfZ!
Доказательство. Следствие утверждает, что для любого данного критерия ф0 с уровнем а найдется элемент ф в ^ который равномерно не менее мощен, чем фо. По предыдущей теореме среднее значение фо на каждом множестве S(z) не превосходит а. На множествах, где это неравенство является строгим, мы можем увеличить фо таким образом, чтобы получить критическую функцию ф, удовлетворяющую (67) и такую, что ф0(г)^ ^ф(г) для любых z. При всех альтернативах мощность ф не меньше мощности фо, т. е. ф — искомый критерий. Точная кон-
N,NN,Niiструкция критерия <р, показывающая его измеримость, приведена в задаче 28. Из следствия 2 видно, что в нормальном случае модель рандомизации (62) приводит в точности к тому же классу критериев, который был найден ранее в несколько иной обстановке. Из раздела 8 можно Вывести, что наиболее мощный критерий уровня а для проверки (63) при простой альтернативе (62) дается формулой (52) с А (2), равной плотности (62). Если Л — £ = Д, то критическая область этого критерия имеет вид
N,N
N,N
i
i
X ехр "^ XI X 2//Ы^ + А X (2// —«;/)] >C[T(z)], (68) и'г Siu)i-l\j=lj-m.+iJ
так как обе суммы ^^2г/ и J^z^ постоянны на S(z) и потому зависят только от Т (z). Мы видим, что критерий зависит от А и индивидуальных эффектов и,/, так что РНМ критерий не существует.
Среди альтернатив (62) имеется один подкласс, занимающий центральное положение и представляющий особенный интерес. Это класс альтернатив, выделяемый предположением, что индивидуальные эффекты Ui образуют выборку из нормального распределения. Хотя трудно ожидать, что это предположение выполняется точно, во многих случаях можно с основанием предполагать его приближенное выполнение. Соответствующий подкласс альтернатив дается вероятностными плотностями
[
с /mi
1 = 1
Ni'
(69)(69)+ X ^гИ ~ui — ’l)2
(69)
(69)
Эти альтернативы привлекательны и с несколько иной точки зрения. Процедура случайного (внутри каждой подгруппы) сопоставления способов обработки с экспериментальными единицами уместна, как мы видели, тогда, когда изменчивость и внутри каждой группы мала. Эта процедура используется при уверенности, что последнее условие выполняется, что приводит к предположению, может быть приближенному, о постоянстве иц = Ui. Такой случай может рассматриваться как предельный для нормальных распределений с дисперсией, стремящейся к нулю. Для последних плотность задается формулой (69).
Так как альтернативы (69) совпадают с альтернативами (53) раздела 8 с Ui — £ = ^ щ —т) = ^i — Д, то критерий перестановок (54) оказывается наиболее мощным критерием для проверки
гипотезы г) = ^ в нормальной модели рандомизации (62) при альтернативах (69) с г] — £ > 0. Критерий сохраняет это свойство в значительно более общей обстановке, в которой ни нормальность, ни выборочные свойства величин U не участвуют. Пусть совместная плотность рассматриваемых случайных величин равна
с Гт<Nt-
У IJ Д А («О “ ~ 5) П — U'li — ’
u'gS(u) Z=1 /=1i=tn^\
где ft почти всюду непрерывны, а в остальном произвольны). При гипотезе Н; т] = g эта плотность симметрична по переменным (г/р ..., ZiN^ t-й подгруппы при каждом /, так что критерий перестановок (49) имеет вероятность отклонения, равную а при всех распределениях из Н. По следствию 2 эти критерии перестановок образуют полный класс, что и требовалось установить.
Проверка независимости в двумерном нормальном распределении
До сих пор методы настоящей главы применялись, главным образом, к проблеме двух выборок. Мы используем теперь два рассматривавшихся подхода — нормальную модель раздела 3 и непараметрическую модель раздела 7—к проверке гипотезы независимости в двумерном нормальном распределении.
Плотность вероятности для выборки (Xi, У1), ..., (Х^Уп) из двумерного нормального распределения равна
(2лот д/1 -рТК 6ХР [~ 2(1 -р2) ("а2"——
—У (У/ —1]) + ^Т))2)]-(70)
Здесь (£, а2) и (т), т2) являются средними и дисперсиями X и У соответственно, ар — коэффициент корреляции между X и У. Гипотезы р 5$ ро и р = ро могут быть исследованы методами настоящей главы, и такое исследование будет предпринято в главе 6. Здесь же мы рассмотрим только гипотезу р = 0, т. е. гипотезу независимости X и У, и соответствующую одностороннюю гипотезу р ^ 0.
Семейство плотностей (70) имеет экспоненциальную форму (1) с
U = HxiYi, ТХ = ТА Т2 = ^, Т3 = ^Хь T» = ^Yt
ИИот(1—р2) *2о2 (1 — р2)22т2(1-р2)’от(1—р2) *2о2 (1 — р2)22т2(1-р2)’
И
И
от(1—р2) *2о2 (1 — р2)22т2(1-р2)’
от(1—р2) *2о2 (1 — р2)22т2(1-р2)’
Гипотеза Н: р^О и гипотеза 6 ^ 0 — эквивалентны. Так как выборочный коэффициент корреляции
£№-Л)(Гг~П
R~ ^Z (Xi - ху £ (Г, - У
не меняется при замене Xi и Yt на (X,— £)/а и (У,— г,) /т, то распределение R не зависит от |, т), о и т, а зависит только от р. Следовательно, при 0 = 0 оно не зависит от йь Аг, Оз, О4. По теореме 2 при 0 = 0 R не зависит от (Гь Т2, Т3, Г4). Из теоремы 1 выводим, что РИМ несмещенный критерий отклоняет Н при
R>C0(71)
или, что то же самое, при
Статистика R линейна по U, и ее распределение при р = 0 симметрично относительно 0. Поэтому РИМ несмещенный критерий гипотезы р = 0 при альтернативе р =И= 0 отвергает гипотезу, если
1^1V(l-flW-2)1^1V(l-flW-2)>К1.>К1.(73)(73)
1^1V(l-flW-2)
1^1V(l-flW-2)
>К1.
>К1.
(73)
(73)
Так как величина л/п — 2/?/Vl — R~ имеет при р = 0 /-распределение с (п — 2) степенями свободы (см. задачу 32), то константы Ко и К\ находятся из уравнений
5 (n-2^dy = a и ^ tn_2^dy = ^.(74)
КоК1
Раз распределение R зависит только от р, то и функция мощности критерия имеет это свойство.
Рассмотрим теперь задачу без предположения нормальности— в непараметрической постановке. Для любого двумерного распределения (X, У) обозначим ¥х случайную величину, распределение которой совпадает с условным распределением У при данном х. Мы скажем, что между X и У имеется положительная зависимость, если при любых х < х' величина Ух, стохастически больше Ух. Грубо говоря, большие значения У соответствуют
большим значениям X: в этом интуитивный смысл положительной зависимости. Примером может служить любое двумерное нормальное распределение с р > 0 (см. задачу 36).
Возьмем теперь общее двумерное распределение, имеющее плотность относительно меры Лебега, и рассмотрим гипотезу независимости при альтернативе положительной зависимости. Если ф — какой-либо несмещенный критерий, то при независимости X и У вероятность отклонения гипотезы равна а, т. е.
$ Ф (х,хп; уь ..., Уп) fi (х,) ... f 1 (х„) f2 (уд ... f2 (У nd dx dy=a для всех плотностей fi и f2. По теореме 3 отсюда находим, что
^^Ф^,. Xin; уцУ/„)=«.
Здесь суммирование распространяется на все (п!)2 точек множества S(x, у), которое получается из фиксированной точки (х, у) с х = (хь ..., х„) и у = (уь ..., у„) всевозможными перестановками Хк и у к в отдельности.
В классе всех критериев, удовлетворяющих этому условию, наиболее мощный по отношению к нормальным альтернативам (70) с р > 0 выделяется тем, что отклоняет гипотезу при k' наибольших значениях функции (70) на каждом множестве S(x, у); здесь к7 /^п\у = а. Так как все суммы: 24 2у^ ЦхР Еу. постоянны на S(x, у), то можно сказать, что критерий отвергает гипотезу для k' наибольших значений ^ Xiyt в каждом 5 (х, у).
Из (п!)2 значений, которые статистика ^Х/У/ принимает на S(x,у), различных будет только п\. В самом деле, значение статистики не изменяется, если величины X и У подвергаются одной и той же перестановке. Поэтому критерию может быть придана более простая форма: гипотеза отвергается для к наибольших значений суммы 2х^уц на каждом множестве S(x, у); здесь предполагается, что х(1) < ... < х^ и к/пЛ = а. Можно показать, что этот критерий не смещен по отношению ко всем альтернативам с положительной зависимостью (см. задачу 41 в главе 6).
Сравним критерий перестановок со стандартным нормальным критерием, основанным на выборочном коэффициенте корреляции R. Пусть Т^Х, У) обозначает множество упорядоченных X и У
Т(Х, Y) = (XТ(Х, Y) = (XХ^* У^ Y^
Т(Х, Y) = (X
Т(Х, Y) = (X
Критическая область для критерия перестановок имеет вид HxlYi>CYi(x, У)]
или, что то же, видили, что то же, видR>KU4X, У)].R>KU4X, У)].
или, что то же, вид
или, что то же, вид
R>KU4X, У)].
R>KU4X, У)].
Оказывается), что разность между КХТ^Х, У)] и граничной точкой Со соответствующего нормального критерия (71) стремится к нулю, и оба критерия становятся эквивалентными при п, стремящемся к бесконечности. Достаточные условия для этого состоят в том, что
а2х > 0, а^ > О
ии£(Ш3)<оо,£(|У|3)<ОО.£(Ш3)<оо,£(|У|3)<ОО.
и
и
£(Ш3)<оо,£(|У|3)<ОО.
£(Ш3)<оо,£(|У|3)<ОО.
Следовательно, при больших п стандартный нормальный критерий (71) служит приближением к критерию перестановок, который непрактичен при сколько-нибудь значительном объеме выборки.
12. Задачи
К разделу 2
Пусть Хь ..., Хп — выборка из N(& о2). Мощность /-критерия Стьюдента является возрастающей функцией от |/а в одностороннем случае
Н- ^<0, К: §>0,
и от | £ |/о в двустороннем случае
Н; £ = 0,К*. ^0.
[Если
$-УУт2№-7)!'
то мощность в двустороннем случае равна
1 рЦ cs Vng < У» (X- g) < CS ^ 1оао а J
и желаемый результат вытекает из того факта, что он имеет место условно при каждом фиксированном значении S/oJ
В обстановке предыдущей задачи не существует критерия уровня а для проверки 77: § = 0, который при всех а имел бы мощность ^ р > а при альтернативах (g, а) с § = ^ > 0.
[Пусть р(§1,а)—мощность некоторого критерия уровня а для проверки Н, и пусть р(а) — мощность наиболее мощного критерия для проверки | = 0 при альтернативе § = £ь когда а известно. Тогда ра (gb а) inf р (а) = а.]
о
(I) Пусть Z и V независимы и распределены по законам ^(6, 1) и х с f степенями свободы соответственно. Тогда отношение Zf^/VЦ имеет не-
центральное /-распределение с f степенями свободы и параметром нецентраль- ности 6 и плотность этого отношения равна )
(75)(75)(76)(76)
(75)
(75)
(76)
(76)
Другая форма получается подстановкой w = t VF/Vf в выражении (75) (II) Если Хь ..., Хп независимы и распределены по.закону ^(g, о2), то
— 1) имеет нецентральное /-распределение с (п — 1)-й степенью свободы и параметром нецентральности д = ^пУ°*
[(I) Первое выражение получается из совместной плотности Z и V переходом к переменным / = г/VиП и у-1
Пусть Х\, ..., Хп — выборка из N^ о2). Обозначим р(|/о) мощность одностороннего /-критерия для Н: § ^ 0 при альтернативе g/o, а р* (g/o) — мощность соответствующего критерия при известном о. Определить р(5/о) для п = 5, 10, 15, а = 0,05, ^о = 0,7; 0,8; 0,9; 1,0; 1,1; 1,2 и в каждом случае сравнить с р*(§/о). Сделайте то же самое для двустороннего случая.
Пусть Zh ..., Zn независимы и распределены нормально с общей дисперсией о2 и средними
E^=^i (/=1, ..., s),
£(za = o (f = s + 1nV
Существуют РИМ несмещенные критерии для проверки ^ < С? и ^ = ^. Их критические области
ла Е ^Kn-s)
v <-s+l
При ^ = ?J статистика имеет /-распределение с п — s степенями свободы.
Пусть Х\, .... Хп независимы и распределены нормально с общей дис- п,
Персией о2 и средними gi, ..., ^ Пусть/. = £ а.^.—ортогональное преоб- /=1
п
разование (т. е. £ aijaih:= ^ пли О ПРИ I = k или i ^ ^У Тогда величины i = l
Z распределены нормально с общей дисперсией а2 и средними ?z = £ ai^j'
[Плотность Z получается из плотности X подстановкой х^ = ^ ^и2р где ^Ь^ — матрица, обратная к (а,/) и умножением на якобиан, который здесь равен L]
Если Хь ..., Ап —выборка из N^o2), то РИМ несмещенный критерий для | ^ 0 и ? = 0 может быть получен из результатов задач 5 и 6 ортогональным преобразованием X в Z, где Zx = ^lvX.
[Тогда
п ' ппп
Е Z^= X 2i-^= ЕЕ №-^)2.]
г=2/ = 1z = lz = l
Пусть Хх> X2i ...— последовательность независимых случайных величин, распределенных по закону N(l, о2), и пусть
г„ = №+1-№ ++x„)]/Vn(n+i).
Величины Уь У2, ... независимы и распределены по закону М(0, а2).
С помощью величин У гипотеза а = а^ при альтернативе а = Oj может быть проверена последовательным критерием отношений вероятностей.
К разделу 3
Пусть Аь . ••, Хп и У], ..., ¥п — независимые выборки из JV(£, о2) и N^ т2) соответственно. Определите объем выборки, необходимый для того, чтобы получить мощность ^ р при альтернативах т/а > А, если а = 0,05, Р — 0,9, А = 1,5; 2; 3 и проверяемая гипотеза есть Н: А ^ 1.
При т = п область принятия (23) может быть записана в форме
max (S^/a0S^, А05^/$у) < И ~ с)/с-
где S^ = Е (^i ~ ^)2> Sy = Е (Xi ~ ^)2 и где С определяется из
С
Bn-x<n-t (ay) dw =у. о
Пусть Хх, ..., Хт и У,, ..., Уп— выборки из М(£, а2) и N^.a2). РИМ несмещенный критерий для гипотезы т] — ? = 0 может быть получен
из результатов задач 5 и 6 ортогональным преобразованием (Ль ..., Хт, Г!Кп) в (Zb ..., Zm+д) таким, что
Z, = (У - I)/V(l/m) + (l/n). z2 = (^ X, Ч- £ Y^^mT^.
Экспоненциальные плотности. Пусть Хх% ..., Хп — выборка из распределения с экспоненциальной плотностью a-xe-ix-b^a при х ^ Ь.
Для проверки а = 1 существует РИМ несмещенный критерий с областью принятия
С1 2 X К - min (ХР • • •• *„)] < С2-
При а = 1 соответствующая статистика имеет ^-распределение с 2п — 2 степенями свободы, а С| и С2 определяются из уравнений
Сос?
5 Х2п-2 (У) d« = Xin М d« = 1 ~ °- С,С,
Для проверки b = 0 существует РИМ несмещенный критерий с областью принятия
0</ n-min(xIХп> <с" £[^-min(xp *„)]'
При b = 0 соответствующая статистика имеет плотность
р W = U + и)" ’ И>0'
[Эти распределения при меняющемся b не образуют экспоненциального семейства, и поэтому теорема 3 непосредственно неприменима.
Можно ограничиться упорядоченными наблюдениями Xt1) < ... ... < XW, поскольку они достаточны для а и Ь, и перейти к новым переменным Zx = пХО\ Zi — (п — I + 1)[Х^— Я^-^], i = 2, .п (так же, как в задаче 13 главы 2). При а = 1 Zx является полной достаточной статистикой для Ь, и критерий находится путем решения условной задачи при данном 2Х. Так как ^ Zi не зависит от Zb то условный РИМ несмещенный критерий 1=2
п
имеет при каждом zx область принятия Сх ^ ^ Zi < С2, что приводит к нуж- /=2
ному результату.
При b = 0 ^ Zi является полной достаточной статистикой для а z=i
п
и критерий находится решением условной задачи при данной ^ zv Затем
, пп
используется тот факт, что при 6 = 0 Zx^ Zi не зависит от ^ Z^ ' Z = 1Z-l
и рассуждения завершаются, как в доказательстве теоремы L]
Распространите результаты предыдущей задачи на случай, рассмотренный в задаче 8 главы 3, когда наблюдения продолжаются только до тех пор, пока не появятся Х^х\ ..., Х^.
8 Э. Леман
К разделу 4
На основе выборки X = (XiХп) фиксированного объема из N^ о2) нельзя построить доверительные интервалы для g с положительным коэффициентом доверия и ограниченной длины.
[Рассмотрите любое семейство доверительных интервалов d(X) ± L/2 постоянной длины L. Пусть gi, ..., ^2n таковы, что |5/ —5/1 < ПРИ i =¥= Ь Тогда множества S, = {х: 16 (х) —- gz| ^ L/2) (i = 1, ..., 2^) попарно не пересекаются. Существует оо > 0 такое, что
| Р^ь Q {X е St-} - Р^ 0 {X е SJ | < 1 /2^ при о > а0,
что можно увидеть, переходя к новым переменным У/ = (X/ —51)/а и применяя леммы 2 и 4 Дополнения. Так как min Р^ о {X е SJ < 1/2^, то при
||д(Х)-||д(Х)-inf Р^ Оinf Р^ Оо > о0 пип Р^ Q (Хе StJ ^ l/^ и, следовательно,
||д(Х)-
||д(Х)-
inf Р^ О
inf Р^ О
Доверительный коэффициент, связанный с системой интервалов d(X)±L/2, фавен, следовательно, нулю. Тем более это должно быть верно для любого множества доверительных интервалов длины L.]
Двухстепенная процедура, предложенная Стейном.
Если mS2!o2 имеет х2-распределение с m степенями свободы и если условное распределение У при данном S = s равно V(0, o2/S2), то У имеет /-распределение Стьюдента с m степенями свободы.
Пусть Хь Х2, ... независимы и распределены по закону N(^ а2).
Пусть XO=^XZ/^ S2= У (Х[ — Xo)2/(no— 1), и пусть 0!= . ..=аПо = Z = 1Z = 1
= a, an^Y— ... =an — b и п ^ п^ — измеримые функции от S. Тогда п
Y = Z = 1
имеет распределение Стьюдента с п0 — 1 степенями свободы.
Рассмотрим двухстепенную схему выборки /7Ь в которой S2 вычисляется, исходя из первоначальной выборки объема п0, а затем производится п — ^о дополнительных наблюдений. Объем второй выборки таков, что
{
г 521)
п0 + 1, I — + 1 к
где с — заданная константа и [z/J обозначает наибольшее целое ^ у. Тогда существуют числа аь . . . , ап такие, что пп
/ = 1/ = 1
п
Из (11) следует, что У^ а^№-l)/V^ имеет /-распределение Стьюдента i=l
с по — 1 степенями свободы.
Ниже описывается схема выборки Лг, при которой вторая выборка может быть и пустой, т. е. не содержащей ни одного элемента. По отношению
к применениям, которые будут сделаны в задачах 16 и 17, П2 несколько более’ эффективна, чем Пх. Пусть n0, S2 и с определены, как раньше, пусть
{
Г S21)
по, [—] + 1 |»
п
а =\/п (/ = 1п) и X = ^ а^г Тогда V^ (^ — S)/S снова имеет
/-распределение с п0 — 1 степенью свободы.
[(II) При данном S = s величины а, b и п постоянны,
По_
Z«z№-^) = «0«№-|)
i = \
распределена по закону N^n^*a2-c2^ и, следовательно, числитель У распре- п
делен нормально с нулевым средним и дисперсией о2 ^ а2. Теперь требуе-
i = 1
мый результат получается из (I).]
Доверительные интервалы фиксированной длины для среднего значения нормального распределения. (I) Рассмотрим двухстепенную процедуру Пх, определенную в п. (III) предыдущей задачи. Допустим, что при данных L > О и 0 < у < 1 число с находится из уравнения
— К^лТс"
где /По-1 обозначает плотность /-распределения с (п0 — 1) степенью свободы. п
Тогда интервалы ^a^^L^ являются доверительными интервалами для / = 1
g длины Лис коэффициентом доверия у.
Пусть с определено как в п. (I), а выборочная процедура П«^ такова же, как в п. (IV) предыдущей задачи. Интервалы X ± Ll^ являются доверительными интервалами длины L для g с коэффициентом доверия ^ у и в то же время число необходимых наблюдений несколько меньше, чем в Пх.
[(I) Вероятность того, что интервал покрывает g, равно
(II) Вероятность того, что интервал покрывает g, равна
17. Двухстепенные t-критерии с мощностью, не зависящей от о. (I) Возьмем процедуру Пх с некоторым с и определим С посредством равенства
5 Vim ^=а-
с
Тогда критическая область I ^ а^Х. — g0 l/Vc > С определяет критерий уровня а для Н: g ^ g0 со строго возрастающей функцией мощности 0c(g), зависящей только от g.
При любой альтернативе gi и любых а < 0 < 1 число с может быть выбрано так, что 0с (gi) = 0.
Критерий с критической областью Vn (X — ^/S > С, основанный на 77г и с тем же значением с, что и в п. (I), является критерием уровня а для Н, причем равномерно более мощным, чем критерий, данный в (I).
Распространите утверждения пп. (I) — (III) на случай проверки гипотезы g = go при альтернативе g =/= go-
[(I) (II) Мощность критерия равна
Рс $ ^«,-1 (у) d9-
л/Т
Это следует из неравенства л/п 11 — go l/S > | g — go \( а/ с .]
К р азделу 5
Пусть Хь ..., Хп распределены, как в задаче 12. Тогда наиболее точные несмещенные доверительные интервалы для масштабного параметра а суть
"^ 2 Ь - min (Х1х«)1< « < -^- ^ [X, - min (х,xjj.
В нижеследующих ситуациях существуют наиболее точные несмещенные доверительные интервалы:
для параметра p\q2lp2q\, если X и У независимы и имеют биномиальные распределения Ь(рь т) и Ь(р2, п),
для параметра Д раздела 6 главы 4 — в 2 X 2 таблице.
К разделу 6
(I) В предположениях, сделанных в начале раздела 6, РИМ критерий для Н: р = ро дается формулой (45).
Пусть (р, р)—соответствующие наиболее точные несмещенные доверительные интервалы для р = ау + ^, гДе Р ^ Р(я, ^), р = р (а, 6). Тогда, если fi и f2— возрастающие функции, то математическое ожидание от fi (IР“ Pl) + /г(|р — pj) является возрастающей функцией от а2[п + Ь2.
[(I) Произведите любое ортогональное преобразование у\уп в новые переменные zb ..., zn такие, что
^1 = ^ [6», + (a/n)] yj л/^nVVP, z2 = У, (at), — 6) • у J ■Jaf+nb*, il
и затем примените результаты задач 5 и 6.
Если а^п + b^ < а^п + Ь^, то случайная величина |р(а2, Ь2) — р| стохастически больше, чем |p(ai, bi) — р|. Аналогично и для р.]
К разделу 7
Докажите теорему 3 для произвольных значений с.
К разделу 8
Пусть с = 1, т = п = 4, а = 0,1 и упорядоченные по возрастанию координаты z^zw точки z суть 1,97; 2,19; 2,61; 2,79; 2,88; 3,02; 3,28; 3,41. Определите точки множества S(z), входящие в критическую область (54). ’ 23. Доверительные интервалы для сдвига. Пусть Х^ ..., Xm; YxYn независимы и имеют непрерывные функции распределения F(x) и G(y) = = F<у — А) соответственно. Из критерия перестановок для гипотезы Я (До): д = Ао, без всяких дальнейших предположений относительно F, можно получить доверительные интервалы для Д Именно, возьмем точку (гь ..., zm+n) = = (х,хт, Ух —- Д, ..., Уп — Д) и ^^^п^ перестановок ц < ... < w, im+l <...< im+n целых чисел 1, ..., т + п. Допустим, что гипотеза Н^ принимается для к из этих перестановок, которые приводят к наименьшим значениям
т+м гт2
пZ-jт’
!^т+1/=1
причем ^ = ^ — ^^^ ^П^* ТорДа совокупность значений Д, для которых принимается, образует интервал, и эти интервалы являются доверительными интервалами для Д с доверительным уровнем 1 — а.
= 15 —х-Д| '= 15 —х-Д| '[Некоторая точка принадлежит критической области для Я(Д), если величину
= 15 —х-Д| '
= 15 —х-Д| '
пт
(
^ + ^ А ,I -г -Г А I
I — к из величин \у — х — уД |, где
(х| х'т, У^.-^У^ получается перестановкой из (xh ..., хт, Ух, ... ..., уп), величина у определяется этой перестановкой и |у| ^ 1. Требуемый результат вытекает теперь из следующего замечания. Если
(у — х — Д)2 < (5' — х' — уД)2
или, более общим образом, если (а — Д)2 ^ (6 — уД)2 при некоторых а, b и Д = До, Д = Дь то это же неравенство выполняется для любого Д между До и Дь]
К разделу 9
Рассмотрим эксперимент со сходными парами для проверки эффекта обработки. Допустим, что наблюдаются только разности Zx = У, — Хх. Предположим, что величины Z образуют выборку из неизвестного непрерывного распределения, которое при гипотезе отсутствия эффекта обработки является симметричным относительно начала координат. При альтернативных гипотезах оно симметрично относительно точки £ > 0. Найдите критерий, который в классе всех несмещенных критериев максимизирует мощность при альтернативах: величины Z образуют выборку из N(С, о2) с £ > 0.
/ Пп \
[При указанной гипотезе совокупность статистик I ^Zp..., ^ Z^ ] будет достаточной; так же, как в теореме 3, можно показать, что она является полной. Дальнейшие рассуждения следуют плану раздела 8.]
(I) Если Хь ..., Хп; Уь ..., Yn — независимые нормально распределенные величины с общей дисперсией а2 и средними Е^Х^ = |/, £(У,)= ^ + + А, то РНМ несмещенный критерий для А = 0 при альтернативе А > 0 дается формулой (59).
(II) Найдите наиболее точные несмещенные доверительные интервалы для А.
[(I) Структура задачи становится ясной, если произвести ортогональное преобразование Х^ = (Yt — Х^ ^» Yf = (Xt + ¥^[^.]
Сравнение двух планов эксперимента. В предположениях, сделанных в начале раздела 9, можно провести следующее сравнение метода полной рандомизации и метода сходных пар. Эффекты отдельных единиц и экспериментальные эффекты: Ui и Vi независимы и распределены нормально с дисперсиями Ор о2 и средними E(Ui) = р и E(Vt), равным § или т] (в зависимости от того, соответствует ли Vi контрольной или обрабатываемой единице). При полной рандомизации результатами наблюдений будет Xi = Ui + Vi (i — = 1n) у контрольных единиц и Yt = Un+i + Vn-н (/=!,...,«) у обрабатываемых единиц, причем E(Xt) = ц +1, E(Y^ = р, + г). В методе сходных пар, если сходство предположить идеальным, величины X будут такими же, как и раньше, но Yi = Ui + Vn+i. РНМ несмещенный критерий определяется формулой (27) в случае полной рандомизации и формулой (59) в методе сходных пар. Распределение соответствующей статистики при альтернативе А = т) — g будет нецентральным /-распределением с параметром нецен- тральности л/п ^^2 (а2 + а^ и (2п— 2) степенями свободы в первом случае, с параметром нецентральности а/п^а/То и (п— 1) степенью свободы во втором. Таким образом, недостатком метода сходных пар является меньшее число степеней- свободы, а преимуществом — больший параметр нецентральности. Для а = 0,05 и А = 2 сравните мощность двух методов как функцию от п при 01 = 1, а = 2 и при Hi = 2, о — 1.
Продолжение. Другой способ сравнения двух планов эксперимента — изучение средней длины наиболее точных несмещенных доверительных интервалов для А = т) — g в каждом случае. Проведите это сравнение при меняющемся п и коэффициенте доверия 1—а — 0,95 при oi = 1, о = 2 и при О1 = 2, а = 1.
К разделу 10
Пусть критическая функция удовлетворяет (65), но не (67), и пусть а < 1/2. Нижеследующая конструкция приводит к измеримой критической функции ф такой, что для нее выполняется (67) и фо (2) ^ ф(г) при всех г. Определим последовательности функций фь фг, ... и фо, фь ... по индукции с помощью соотношений
Фт(2)= 2 ^m^/Nv'.... мс'., т = 0, 1, ...
иФт (2) =иФт (2) =z'eS (z)
и
Фт (2) =
и
Фт (2) =
фт_1(г) + [а — фт-1 (2)], если как фт-1(г), так и ^^-,(2) ф/п-1(2)меньше а, в других случаях.
Функция ф(г) = Нпфт^) является школой.
[Функции фт образуют неубывающую последовательность и лежат между 0 и 1. Далее, как можно показать по индукции, О^а —ф™(2) ^
(1 — у)т[а -- фо(2)], где у = 1/WJ ... А^!.]
Рассмотрим проблему проверки Я: т) = £ в семействе плотностей (62), когда известно, что о > с > 0 и что точка ^п, .... ^cN^ (см. (63)) лежит в ограниченной области R, содержащей прямоугольник; при этом с и R считаются известными Теорема 4 уже неприменима. Однако несмещенность некоторого критерия ф для проверки Я влечет (67) и тем самым редуцирует проблему к критериям перестановок.
^Несмещенность влечет ^ ф (2) pQ ^ (2) = а и, следовательно,
« = ^ t (^) Ро, С dz = $ ф (г) ^^ ехр [* ^Г Z£ (^/ " V]
при всех а > с и С из R. Желаемый результат вытекает из полноты последнего семейства ]
Обобщим теорему 4 на другие планы эксперимента. Пусть 2 = = (2Ь ..., 2я) и пусть G = {gb ..., gr} —группа перестановок N координат, или, более общим образом, группа ортогональных преобразований Я-мер- ного пространства. Если
,77>
где 1212 = ^ г?, то выполнение при всех а > 0 и всех $ неравенства ф(2) р0 ^ (г) dz^a влечет
у- ^ ф (2') ^ а почти всюду,(78)
z' е S (z)
где 5(2)—множество точек Я-мерного пространства, получаемых из точки г применением к ней всех преобразований ^, к — 1, .. ., г.
Обобщение следствия 2. Пусть Я —класс плотностей (77) с о > 0 и —оо < С/ < оо (t = 1, ..., Я) Полное семейство критериев для Я с уровнем значимости а образуют все критерии перестановок, для которых
— ^ Ф (2') = а почти всюду.(79)
z'eS (z)
К разделу 11
(I) Если совместное распределение X и У представляет собой двумерное нормальное распределение (70), то условное распределение У при данном х также нормально с дисперсией т2(1 —р2) и средним т) + (рт/о) (х — £)
Пусть (Хь У1), ..., (Хп, У«)—выборка из двумерного нормального распределения, и пусть R — выборочный коэффициент корреляции и р = 0. Тогда условное распределение л/п — ^R^V — R2 при данных %iхп является /-распределением Стьюдента с п — 2 степенями свободы (в предположении, что 2 (х, - х)2 > 0). Таково же, следовательно, и безусловное распределение этой статистики.
Плотность вероятности для R равна
р(г)=—^- — V Л Гр(г)=—^- — V Л Г-Г п-2 (1—Г2)2.-Г п-2 (1—Г2)2.(80)(80)
р(г)=—^- — V Л Г
р(г)=—^- — V Л Г
-Г п-2 (1—Г2)2.
-Г п-2 (1—Г2)2.
(80)
(80)
[(II) Если cl = (х; — х)/д/(^Ху — х)2 так, что £"i=o и 2>f=b то исследуемую статистику можно представить в форме
X vlYi
Так как ее распределение зависит только от р, то мы можем принять т) = О, 1=1. Желаемый результат получается из задачи 6, если применить ортогональное преобразование (Уь ..., Ум) в (Zb ..., Zn) такое, что Z^V^ У, ^2 = 1^.]
(I) Пусть (Хь У1), ..., (Хп> Yn) — выборка из двумерного нормального распределения (70). Пусть
5|=Е№-^)2. s'-X^-O2 ^ЕИЙ
Тогда существует РИМ несмещенный критерий для проверки гипотезы г/о = = А. Соответствующая область принятия:
|A2Si-S2|
а плотность соответствующей статистики при истинности гипотезы определяется по (80).
В предположении т = о существует РИМ несмещенный критерий для проверки т] = g с областью принятия
\Y-X |/д/$1 + $2-312 < С-
При умножении на надлежащую постоянную соответствующая статистика при 5 = Л имеет /-распределение Стьюдента с п — 1 степенью свободы (без предположения т = а эта гипотеза является специальным случаем гипотезы, рассмотренной в примере 11 главы 7).
[(I) Преобразование U = АЛ + У, V = X — 1Д!^У сводит задачу к проверке гипотезы о равенстве нулю коэффициента корреляции в двумерном нормальном распределении.
Перейдите к новым переменным Vt = У/ — Хи Ui = Yt + X/.]
Пусть (Хь У1), ..., (Хл, У„) — выборка из двумерного нормального распределения (70) и пусть
sf = 2 (X, - У)2, s12 = £ (X, - X) (Y. - F), s2 = £ (Г, - F)2
Тогда статистики (S2, S12> S2) и (X, Л независимы и совместное рас- (л—1 /2 л-1 f f л-i 2\
• 2 ^Z^Z’ S ^Z I’ где Z = 1Z=1 Z = 1/
(Л„ Y^ i=\,...,n— 1 — выборка из нормального распределения (70) с £ = т) — 0.
Пусть Хь ..., Хт и Уь Ym — две выборки из N (0, 1). Тогда совместная плотность для S2 = ^ X2, S12 = ^ Х^, S2 = ^ У2 равна
1. Ш _ 9 Via (m-З) Г J_ / 9 . s2\l
4лГ (т - 1) V^2S12' ехр L 2 V1 + S2j
при s22^s2s2 и нулю в других случаях.
Совместная плотность статистик (Sp S12, S2) п. (I) равна
(81)(81)№-$’2Г"-4)[1 р? 2ps12 , ^1
(81)
(81)
.-^^V^^^L 2(1-^" ат +т’Л|
при ^2<sfs2 и нУлю в Других случаях.
[(I) Произведите ортогональное дреобразование Яр..., Хп в Яр ..., Я' такое, что Хп = л/п Я, и примените это же ортогональное преобразование к Уь ..., Yn. Тогда
= V« Y,
п— 19 П/7—1^___
IX = £ №-х)2.
Z = 1Z —1Z = 1Z = 1
ntv?=t(Yt-Yf.
Z = 1Z = 1
Пары случайных величин (Яр У^), ..., (я', У') независимы и имеют каждая двумерное нормальное распределение с теми же дисперсиями и корреляцией* что и (Я, У), и со средними Е ^Х^ = Е (У;) = 0 при Z = 1п — 1.
Рассмотрим сначала совместное распределение SI2=^x^yt и 5^^У? при данных хх> ..., хт. Положим Хх = S^a^^x^ и произведем т
ортогональное преобразование Ур ..., Ут в Zp ..., Zm. Тогда S2= ^ Zp
т
и случайные величины Zx и ^ Z^ = S2 — Z| будут независимы и распреде- Z-2
лены по законам У (О, 1) и ^т_х соответственно. Отсюда совместная условная плотность величин S12 = sZx и S2 получается простой заменой переменных. Так как это условное распределение зависит от х только через sp то совместная плотность Sx, S12, S2 находится умножением указанной условной плотности на частную плотность величины Sp которая равна ^ Доказательство завершается применением тождества
г Г1 (т - 1)1 Г (1
|_2 J \2 ) 2т 2
Если (х', Г') = (Хр Ff ...-, ^ /т) - выборка из двумерного нор-. мального распределения с £ = т) = 0, то статистика Т = ZxiYi< 5j ^2) достаточна для 0 = (а, р, т) и плотность Т находится по данной в п. (II) для 6о =*=(1, 0, 1) с помощью тождества (см. задачу (10(1) в главе 3)
Ре (О = Ре,(ОРе (О = Ре,(ОРе'1 r (xz, /) 1Рв? Y' U'. У') JРе'1 r (xz, /) 1Рв? Y' U'. У') J
Ре (О = Ре,(О
Ре (О = Ре,(О
Ре'1 r (xz, /) 1
Рв? Y' U'. У') J
Ре'1 r (xz, /) 1
Рв? Y' U'. У') J
Требуемый результат прлучается теперь из ц. (I) при m = п— 1.J
Если №, У1), ..., (Хл, Ул) — выборка из двумерного нормального распределения, то плотность вероятности выборочного коэффициента корреляции 7? равна )
р»(г) = яТ^х(1 - р2)‘/2(Я"1) ° ~г2)'/2 ^Е г2[4(rt +*“ ^Т (82) или, что то же самое,
1
Р (r) = ZL2Z1 (1 _ 2)V, (»-1) (1 _ г^к („-4) ft^ \= dt (83)
Другая форма, получается при замене переменных t — (1—и)/(1 — рги) в интеграле правой части (83). Интеграл принимает вид
(84)(84)1 С (1 —v)"-2 г. 1т1/2,
(84)
(84)
(l-pr)VH2n-3) )^ L^yvd + pr)] du.
Разлагая последний множитель по степеням и, получаем для плотности выражение
п — 2V2nп — 2V2n-^^-(1 -р2)‘/=<«-1)Г|п-1)-^^-(1 -р2)‘/=<«-1)Г|п-1)(1 _г2)'/8(п-4) (1 _рГ)-«+3/2х/1.111 + рГ Xxf U’ 71 П-Т’ Т)*(1 _г2)'/8(п-4) (1 _рГ)-«+3/2х/1.111 + рГ Xxf U’ 71 П-Т’ Т)*(85)(85)гдегде
п — 2
V2n
п — 2
V2n
-^^-(1 -р2)‘/=<«-1)
Г|п-1)
-^^-(1 -р2)‘/=<«-1)
Г|п-1)
(1 _г2)'/8(п-4) (1 _рГ)-«+3/2х
/1.111 + рГ X
xf U’ 71 П-Т’ Т)*
(1 _г2)'/8(п-4) (1 _рГ)-«+3/2х
/1.111 + рГ X
xf U’ 71 П-Т’ Т)*
(85)
(85)
где
где
F (а, Ьу Су х) = ^ /=оF (а, Ьу Су х) = ^ /=оГ (а + /) Г (^ + /)Г (а) Г (6)Г (а + /) Г (^ + /)Г (а) Г (6)Г (с) х^Г^с + П /!Г (с) х^Г^с + П /!
F (а, Ьу Су х) = ^ /=о
F (а, Ьу Су х) = ^ /=о
Г (а + /) Г (^ + /)
Г (а) Г (6)
Г (а + /) Г (^ + /)
Г (а) Г (6)
Г (с) х^
Г^с + П /!
Г (с) х^
Г^с + П /!
— гипергеометрическая функция.
[Чтобы получить первое выражение, произведите преобразование статистики (^Sp S2, S12) с плотностью (81) в (Sp S2, 7?) и разложите множитель {psi2/(l — р2)от} = exp {prsis2/(l — р2)ат} в степенной ряд. Получающийся ряд можно проинтегрировать почленно по переменным sf и s2. Эквивалентность со вторым выражением усматривается из разложения множителя (1 —9rt^-^n~^ под интегралом (83) и почленного интегрирования образующегося ряда.]
Если X и У имеют двумерное нормальное распределение с коэффициентом корреляции р > О, то они положительно зависимы в смысле раздела 11.
[Условное распределение У при данном х нормально со средним т) + Н-рто-1^ — |) и дисперсией т2(1—р2). При добавлении к случайной величине с таким распределением положительного числа pw^x'— х) она превращается в случайную величину с распределением, равным условному распределению У при данном х’ > х.]
Литературные ссылки
Басу (Basu D.)
On statistics independent of a complete sufficient statistic, Sankhya, vol. 15, 377—380. [Теорема 2.]
On statistics independent of a complete sufficient statistics, Sankhya, vol 20, 223—226. [Исправленный вариант теоремы 2.]
Г и p ш и к (G i г s h i с k М. А.)
Contribution to the theory of sequential analysis I, Ann. Math. Stat, vol. 17, 123—143. [Задача 8.]
Кендалл и Стьюарт (Kendall M. G., Stuart A.)
(1973) Статистические выводы и связи, М., Наука.
Леман (L е h m a n n Е. L.)
On optimum tests of composite hypothesis with one constraint, Ann. Math. Stat., vol. 18, 473—494. [Определяются наилучшие подобные области для некоторых задач, включая задачу 12.]
Леман и Стейн (Lehmann E.L. and Stein С.)
On the theory of some non — parametric hypotheses, Ann. Math. Stat., vol. 20, 28—45. [Изложена теория оптимальных критериев перестановок.] Морган (М о г g a n W. А.)
A test for the significance of the difference between the two variances in a sample from a normal bivariate population, Biometrica, vol. 31, 13—19. [Задача 33(1).]
Нейман (Neyman J.)
On statistics the distribution of which is independent of the parameters involved in the original probability law of the observed variables, Stat. Res. Mem., vol. II, 58—59. [Теорема 2 при некоторых предположениях регулярности.] Паулсон (Paulson Е.)
On certain likelihood ratio tests associated with the exponential distribution, Ann. Math. Stat., vol. 12, 301—306. [Рассматривается мощность критериев задачи 12.]
П и т м е н (Pitman Е. I. G.)
(1937/38) Significance tests which may be applied to samples from any populations, I. Roy. Stat. Suppl., vol. 4, 119—130, 225—232, and Biometrika, vol. 29, 322—335. [Изложена теория рандомизированных критериев с большим числом применений.]
A note on normal correlation, Biometrika, vol. 31, 9—12. [Задача 33(1).]
Стейн (Stein C.)
A two-sample test for a linear hypotheses whose power is independent of the variance, Ann. Math. Stat., vol. 16, 243—258. [Задачи 15—17.] Стьюдент (Student (Gosset W. S.))
On The probable error of a mean, Biometrika, vol. 6, 1—25. [Получено распределение /-статистики при Хи распределенных по закону V(0, о2). Строгое доказательство было дано в работе: R. A. Fisher, Note on Dr. Burnside’s recent paper on error of observation, Proc. Camb. Phil. Soc., vol. 21 (1923), 655—658.]
Сюй (Hs u С. T.)
On samples from a normal bivariate population, Ann. Math. Stat., vol. 11, 410—426. [Задача 33 (II) ]
Фишер (F i s h е г R. А.)
Frequence distribution of the values of the correlation coefficient in samples from an indefinitely large population, Biometrika, vol. 10, 507—521. [Получено распределение выборочного коэффициента корреляции для двумерного нормального распределения.]
Properties of the [Hh] functions, Brit. Assoc. Math. Tables, vol. 1 (3rd ed., 1951, XXVIII—XXXVII). [Вывод нецентрального /-распределения.]
The Design of Experiments, Edinburgh, Oliver and Boyd. [Содержит основные идеи, касающиеся критерия перестановок. В частности, отмечается, каким образом может быть использована рандомизация, и предлагается связанный с перестановками вариант /-критерия, как не требующий предположения нормальности.]
Хельмерт (Н е 1 m е г t F. R.)
Die Genauigkeit der Formel von Peters zur Berechnung des wahr- scheinlichen Beobachtungsfehlers direkter Beobachtungen gleicher Genauigkeit, Astron. Nachrichten, vol. 88, № 2096—97, 113—132. [Получено распределение 2№-X)2, где величины X независимы и распределены по нормальному закону.]
Some two —sample tests, Ann. Math. Stat., vol. 21, 601—606. [Задачи 15—17 распространяются на случай сравнения двух средних.]
ГЛАВА 6
ИНВАРИАНТНОСТЬ
Симметрия и инвариантность
Многие статистические задачи обладают симметрией, приводящей к естественным ограничениям на статистические процедуры, которые следует использовать. Предположим, например, что Х\, ..., Хп — независимые случайные величины с плотностями распределения вероятностей р6^ (%0, ..., р0 (хл) соответственно. При проверке гипотезы Н*. 01 = ... = 0« при альтернативе, состоящей в том, что не все 6 равны, естественно ограничиться рассмотрением только критериев, симметричных относительно значений хь ..., х„, поскольку в противном случае принятие или отклонение той или иной гипотезы зависело бы (что совершенно не относится к делу) от нумерации этих переменных.
В качестве другого примера рассмотрим круговую мишень с центром в точке О, на которой отмечены следы от попаданий выстрелов. Предположим, что выстрелы совершаются независимо и рассеяние их попаданий характеризуется двумерным нормальным распределением с центром в точке О. В задаче проверки круговой симметрии этого распределения относительно точки О представляется естественным ограничиться рассмотрением критериев, также обладающих подобной симметрией. В противном случае принятие или отклонение гипотез зависело бы от выбора необходимой для описания критерия двумерной системы координат (скажем, декартовой), которая при сделанных предположениях совершенно произвольна и не имеет никакого отношения к рассматриваемой проблеме.
Математическим выражением симметрии является инвариантность относительно подходящей группы преобразований. В первом из рассмотренных выше двух примеров такой группой является группа всех перестановок величин xi, ..., хп, поскольку функция от п переменных симметрична тогда и только тогда, когда она остается инвариантной при всевозможных перестановках этих переменных. Во втором примере круговая симметрия
относительно точки О эквивалентна инвариантности относительно вращений около этой точки.
Вообще, пусть случайная величина X имеет распределение вероятностей Ре, 0 е Q и пусть g— преобразование выборочного пространства <8?. Все такие преобразования, рассматриваемые в связи с инвариантностью, будут предполагаться взаимно однозначными отображениями Ж на себя. Обозначим через gX случайную величину, принимающую значения gx при X = х, и предположим, что, когда распределение X есть Ре, 0е Q, распределение величины gX равно Р^ с 0', также принадлежащим Q. Элемент 0' е Q, связанный с 0 указанным образом, будет обозначаться g0, так что
Petele^-P^de^.(1)
Индекс 0 в левой части равенства (1) указывает на распределение случайной величины X, а не gX. Равенство (1) может быть переписано в виде Ре (^-1Д) = Р^е (Л), так что
Р5еМ = Ре(Д).(2)
Параметрическое множество Q остается инвариантным относительно преобразования g (или сохраняется при g), если £0 е Q для всех бе Q и если, дополнительно, для каждого б'е Q существует бей такое, что £0 = 0'. Эти два условия можно выразить в форме равенства
gQ = Q.(3)
Определенное таким образом преобразование g множества Q на себя взаимно однозначно, если только распределения Ре, соответствующие различным значениям 0, различны. В самом деле, пусть £01 = £02. Тогда Р§е, (gA) = Рё6, (gA) и поэтому Ре, (Д) = = Ре, (Д)для всех А, так что 0| = 02-
Лемма 1. Пусть g и g' — два преобразования, сохраняющие Q. Тогда преобразования g'g и g-1, определенные формулами
(g'g) х = g' (gx) И g(g-'x) = x при всех хеЖ, также сохраняют Q и удовлетворяют соотношениям
¥g="g'g и (^О = (£)*•(4)
Доказательство. Если распределение случайной величины X есть Ре, так что распределение gX равно Р^, то распределением величины g'gX = g'(gX) является Pg\^- Этим устанавливается первое из соотношений (4); доказательство второго проводится аналогично.
Мы будем говорить, что задача проверки гипотезы Н; 9 Ейн при альтернативе К: 0 е QK остается инвариантной относительно преобразования g, если g сохраняет пространства &н и Qk, т. е. если в дополнение к (3) выполнено соотношение
gQH = QH. (5)
Пусть ^ — класс преобразований, удовлетворяющий этим двум условиям, и пусть G будет наименьший класс преобразований, содержащий ^ и такой, что из g, g' е G следует, что g'g и g-x принадлежит G. Тогда G есть группа преобразований, каждое из которых, согласно лемме 1, сохраняет Q и £1н. Поэтому любой класс преобразований ^, оставляющий проблему инвариантной, может быть расширен до группы G. Из леммы 1 также следует, что класс индуцированных преобразований g образует группу, скажем, G. Соотношения (4) выражают тот факт, что G гомоморфно группе G.
При наличии симметрии выборочного и параметрических пространств, выраженной группами G и G, естественно ограничиться рассмотрением только симметричных критериев, т. е. критериев, удовлетворяющих соотношению
ф(^) —фМ Для всех х е X и g^G. (6)
Критерий ф, удовлетворяющий (6), называется инвариантным относительно группы G. Ограничения инвариантными критериями есть частный случай применения принципа инвариантности, сформулированного в разделе 5 главы 1, где, равно как и в приведенных ранее примерах, было указано, что преобразование g может быть интерпретировано как замена системы координат. С этой точки зрения, критерий будет инвариантным, если он не зависит от выбора частной системы координат, служащей для выражения результатов наблюдений.
Чтобы проблема оставалась инвариантной, преобразование g необходимо должно сохранять и класс ^ измеримых множеств, на которых определены распределения Pq. Это означает, что каждое множество Ле^ преобразуется в множество же из ^ и является образом такого же множества, т. е., что gA и g-xA оба принадлежат ^. Каждое преобразование, удовлетворяющее этим условиям, называется биизмеримым. Поскольку группа вместе с каждым элементом g содержит также и g~\ то все ее элементы автоматически биизмеримы, если каждый из них измерим. Если g' и g биизмеримы, то таковы же g'g и g-x. Элементы группы G, порожденной классом преобразований ^ указанным выше способом, будут все биизмеримыми, если только таковыми являются преобразования из ^.
Максимальные инварианты
Если задача проверки гипотез остается инвариантной относительно некоторой группы преобразований, то применение принципа инвариантности приводит к рассмотрению инвариантных критериев. Чтобы выбрать среди них наилучший, удобно сначала охарактеризовать совокупность всех инвариантных критериев.
Две точки хь х2 будут рассматриваться как эквивалентные относительно группы G,
%! ~ x2(mod G),
если существует преобразование ge G, для которого х2 = gxx. Определенное так отношение действительно является отношением эквивалентности, поскольку G есть группа, и поэтому множества эквивалентных точек, траекторий G, образуют разбиение выборочного пространства (см. Дополнение, раздел 1). Точка х пробегает траекторию, когда к ней применяются все преобразования g из G; это означает, что траектория, содержащая точку, состоит из всех точек gx с g е G. Из определения инвариантности следует, что каждая функция инвариантна тогда и только тогда, когда она постоянна на каждой траектории.
Функция Т называется максимальным инвариантом, если она инвариантна и если выполняется условие:
из Т to) = Т (х2) следует, что x2 = gxb для некоторого g^G, (7) т. е. если она постоянна на каждой траектории и на различных траекториях принимает различные значения. Все максимальные инварианты эквивалентны в том смысле, что множества точек, где они постоянны, совпадают.
Теорема 1. Пусть Т^— максимальный инвариант относительно группы G. Тогда необходимое и достаточное условие для инвариантности функции ф состоит в том, чтобы ф зависело от х только через Т^, т. е. чтобы существовала функция h такая, что ф(х) = h(T(x)) для всех х
Доказательство. Если ф(х) = hVT(,x^ для всех х, тогда ф(£х) = hVT^gx)^ = h[T(x)] =ф(х), т. е. ф инвариантна. С другой стороны, если ф инвариантна и если T(xi>= Т(х2), тогда x2 = ^xi для некоторой g, и поэтому ф(х2) = vto)-
Пример 1. (I) Пусть х = (хь ..., Хп), и пусть G — группа сдвигов gx = (xi + схп + с\ — оо < с < оо.
Тогда множество разностей у = to —xm . хп-\ — хп^ инвариантно относительно G. Чтобы показать, что функция у в то же время есть и максимальный инвариант, предположим, что xt — хп = х^ хп для 1= 1п—1. Полагая хп — хп = с, видим, что xi = xi + с для всех I, что и нужно было показать. Функция у является, конечно, только одним из примеров представления максимального инварианта. В качестве других можно указать на функ-
ЦИЮ (X] — х2, Х2 — Хд, . .., Хп-Х—Хп) или (Х1 — X, ..., Хп — х). В частном случае, когда п = 1, не существует нетривиальных инвариантных функций. Все пространство состоит из одной траектории, так что любые две точки преобразованием из G могут быть переведены одна в другую. В таком случае группа преобразований называется транзитивной. Инвариантными функциями могут быть только константы <р(х) г с.
Если G есть группа преобразований
gx = (схь ..., схп\ с ^ О,
то специальную роль играет начало координат. Однако в статистических приложениях множество точек, отличных от начала координат, имеет меру единица, поэтому можно ограничиться рассмотрением только этой части выборочного пространства и тогда множество отношений хх]хп, . .., хп-\1хп будет максимальным инвариантом. Без этого ограничения две точки х, х' эквивалентны относительно максимального инвариантного разбиения, если среди их координат имеется одно и то же число нулевых координат (при условии, что таковые вообще имеются), если они стоят на одном и том же месте и если для каждых двух ненулевых координат X/, х, отношения Х]^ и Xj]xt равны.
Пусть х =£ (хь ..., Хп) и пусть G— группа всех ортогональных преобразований х' = Гх n-мерного пространства. Тогда функция ^ х/ является максимальным инвариантом, т. е. две точки х и х* могут быть переведены одна в другую ортогональным преобразованием в том и только том случае, когда они находятся на одинаковых расстояниях от начала координат. Доказательство этого получается немедленно, если ограничиться рассмотрением плоскости, содержащей точки х, х* и начало координат.
Пример 2. Пусть х = (хь ..., Хп) и G — множество из п\ перестановок координат х. Тогда множество упорядоченных координат (порядковых статистик) х(1) ^ ... ^ х(л) является максимальным инвариантом. Перестановка координат Xi не изменяет, очевидно, множества значений координат и поэтому не изменяет величин x(i). С другой стороны, две точки с одними и теми же значениями порядковых статистик могут быть получены одна из другой перестановкой координат.
Пример 3. Пусть G — совокупность преобразований xt = f(xi), 1 = = 1, ..., п, таких, что f непрерывна и строго возрастает, и предположим, что мы рассматриваем только точки, у которых все координаты различны. Если координаты рассматривать как п точек на действительной прямой, то указанное преобразование сохраняет их порядок. Обратно, если xjхп и хр ..., хп — две точки с одним и тем же порядком, скажем х^ < ... <xt и х^ < ... < х; , то существует преобразование f, удовлетворяющее сформулированным условиям и такое, что для всех I х{ = } (х;). Например, такую функцию можно определить, положив f (х) = х + (х^ — х; ) для х х; , f (х) = х + Qc^ — х^ для х ^ х^ и сделав ее линейной между значениями х^ и х^ , ^=1,..., п— 1. Формальным выражением для максимального инварианта в этом случае служит множество рангов (г^ ..., гп) вектора (*ь ..., хп). Здесь ранг г/ величины xi определяется посредством соотношения
Xt = х^1\
так что п есть число координат х ^ х/. В частности, ri = 1, если xt есть самая наименьшая из координат, п = 2, если х» — вторая наименьшая коорди- ната, и т. д.
Часто оказывается удобным получать максимальные инварианты в несколько этапов, на каждом шагу находя их для подгрупп группы G. Чтобы проиллюстрировать этот процесс и трудности, которые могут встретиться в его применении, положим х = (хь ..., х„) и допустим, что все координаты xz различны и группа задается преобразованием
gx = (axi + bах№ + b), а ф 0,— оо < Ь < <х>.
Применяя сначала подгруппу сдвигов xz = xz + b, найдем, что максимальный инвариант есть функция у = (у\, ..., уп-\) с yt — Xi — хп. Другая подгруппа состоит в умножении на скалярный множитель х" — ахг Это преобразование индуцирует соответствующее умножение на множитель для у^. y" = ayt, и максимальным инвариантом относительно такого преобразования пространства у к является функция z = (zb ..., zn-^ с zz = = yijyn-v Откуда, в терминах Хк получим, что функции z, = = (х/ — Хл)/(хп-1 — Хл) являются максимальным инвариантом относительно группы G.
Предположим сейчас, что этот процесс производится в другом порядке. Применяя сначала подгруппу х" = ахр получаем максимальный инвариант и = (щ, ..., «„) с щ = xi/xn. Однако преобразования xz = xz + ^ не индуцируют преобразования в и- пространстве, поскольку (xz + 6)/(xrt + 6) не является функцией ОТ Xt/хп.
Вообще, пусть группа преобразований G порождена двумя подгруппами D и Е в том смысле, что она является наименьшей группой, содержащей D и Е. Тогда G состоит из множества произведений етйт ... e\d\, т = \, 2,..., dt е D, et е Е (t = 1, ... ..., m)*). Следующая теорема показывает, что всякий раз, когда процесс нахождения максимальных инвариантов в несколько этапов вообще можно провести, он всегда приводит к максимальным инвариантам относительно группы G.
Теорема 2. Пусть G — группа преобразований и пусть D и Е — подгруппы, порождающие G. Предположим, что у = = s(x)—максимальный инвариант относительно группы D и для каждого ееЕ выполняется условие
s (xz)= s (х2) влечет s (exj = s (ех2).(8)
Если z = t(y) есть максимальный инвариант относительно группы Е*, состоящей из элементов е* таких, что е*у = s(ex), когда у = s(x), то z = /(s(x)] является максимальным инвариантом относительно группы G.
*} См. раздел I в Дополнении,
Доказательство. Чтобы показать, что функция t [s (х) ] инвариантна, возьмем х' = gx, g = emdm ... exdx. Тогда
t [s (x')] = t [s <emdm ... exdxx)\ = / \e*mS (dm ... exdxx^ =
= t [s (em_xdm_x ... ^irfi«^)],
и по индукции последнее выражение можно свести к /[s(x)J. Теперь, чтобы показать, что функция /[$(х)] в действительности является максимальным инвариантом, предположим, что Z[s(xz)] = ф(х)]. Полагая z/' = s(x'), z/ = s(x), получим Цу') = Uy) и поскольку Цу) —максимальный инвариант относительно £*, то существует е* такое, что у' = е*у. Тогда s(x') = = e*s(x) = s(ex) и, в силу того, что функция s(x) — максимальный инвариант относительно D, существует d^ D такое, что хх = dex. Но так как de есть элемент G, то это и завершает доказательство.
Наиболее мощные инвариантные критерии
Класс всех инвариантных функций может быть получен как совокупность функций от максимального инварианта Т(х). Поэтому, в частности, класс всех инвариантных критериев совпадает со множеством критериев, зависящих только от максимальной инвариантной статистики Т(х). Это замечание, будучи справедливым во всех обычных ситуациях, требует некоторых ограничений на класс измеримых множеств в Т-пространстве, которые будут обсуждены в конце настоящего раздела; в приводимых ниже примерах они выполняются.
Пример 4. Пусть X = (Хь ..., Хп). Предположим, что плотность случайной величины X при гипотезе Hi (/ = 0, 1) равна A(Xj —0, ..., хл —0), где 6 изменяется от —оо до оо. Задача проверки гипотезы Яо при альтернативе Я1 инвариантна относительно группы (G) преобразований
gx = (х! + с, ..., хп + с),— оо < с < оо,
которая в параметрическом пространстве индуцирует преобразования
gO = 0 + с.
Согласно примеру 1 максимальным инвариантом относительно группы G является функция У = (X] — Хп, ..., Хп-\ — Хп). Распределение У не зависит от 0 и при гипотезе Я, имеет плотность
J fi(yX + z> • > Уп_Х + г,2^2.
Если рассматривать случайную величину У, то проблема проверки гипотезы Но при альтернативе Нх превращается в задачу проверки простой гипотезы при простой альтернативе. Наиболее мощный критерий тогда не зависит от 0
и поэтому является РНМ среди всех инвариантных критериев Согласно лемме Неймана — Пирсона гипотеза Но отвергается, если
МУ1 + гУп-t + z, z)dz ^ M*i + «Xn + u^du
-^= -Z2> С.
^ Mt/i + zИп-t + z, z^dz M*i + «xn + u)du
Пример 5. Если Хх, ..., Хп — выборка из нормального распределения Nd, а2), то гипотеза Н; о ^ а0 остается инвариантной при преобразовании X,l=»Xl-V с, — оо < с < оо. В терминах достаточных статистик У = X, S2 = = )Г (Xi — X)2 это преобразование переходит в преобразование Y' = = Y + с, (S2y = S2, и максимальным инвариантом является S2. Поэтому класс инвариантных критериев есть класс критериев, зависящих от S2. Как следует из теоремы 2 главы 3, существует РНМ инвариантный критерий, отклоняющий гипотезу Но, когда ^ (Xi —- Х)2^С. Этот критерий совпадает с РНМ несмещенным критерием (9) из главы 5.
Пример 6. Если Хь ..., Хт и Уь ..., Yn — выборки из двух нормальных распределений Nd> о2) и М(т],т2), то множество достаточных статистик состоит из r1 = X, Тг = Р, Гз = Vs (Xt - X)2, Т( = У^- Г2). Задача проверки гипотезы Н; т2(о2 ^ До остается инвариантной при преобразованиях 1{ = Тх + сх, ^ = Т2 + с2, Т^ = Г3, ?4 = 7'4, — оо < сх, с2 < оо, а также относительно умножения на одно и то же число всех четырех величин. Максимальным инвариантом относительно первой группы преобразований является функция (Г3, Л). В пространстве значений этой функции группа умножений на числа индуцирует преобразования Т^ = сТ^, Т4 = сТ4, 0 < с, относительно которых максимальным инвариантом будет отношение Т4/Т3. Статистика Z = T24[(n — 1): Ty(m— 1), поделенная на Д = т2/о2, имеет распределение F с плотностью, задаваемой формулой (21) главы 5, так что плотность распределения вероятностей величины Z равна
С (А) г1'2 ("-3)/. , П — 1\1/2«П+п-2)'2>0*
Это семейство плотностей, зависящее от параметра Л, является семейством с монотонным отношением правдоподобия; таким образом, среди всех критериев для проверки гипотезы Я, основанных на статистике Z, а следовательно, и среди всех инвариантных критериев, существует РНМ с критической областью Z > С. Этот критерий совпадает с РНМ несмещенным критерием (20) главы 5.
Пример 7. В методе попарных сравнений, применяемом для выяснения эффективности какого-либо способа обработки, экспериментальный материал состоит из п пар субъектов. Из каждой пары случайным образом выделяется для обработки один субъект, тогда как второй служит для контроля. Пусть Xi равно 1 или 0 в зависимости от того, говорит ли результат эксперимента с /-й парой в пользу субъекта, подвергшегося обработке или в пользу контрольного; пусть pi = P{Xi= 1}. Рассмотрим гипотезу Н об отсутствии эффекта обработки, т. е. о том, что pi = 1/2, i = 1п, при альтернативе, состоящей в том, что для всех i pi > 1/2.
Эта задача остается инвариантной относительно всех перестановок п величин Хь . • •, Хп» и максимальным инвариантом относительно этой группы является функция, равная суммарному числу успехов X = Хх + ... + Хп. Распределение X задается формулой
где qt = 1 — pi и где суммирование распространено по всем ( ^ ) наборам индексов ц < ... < U. Наиболее мощный инвариантный критерий при альтернативной гипотезе ^pt» ..^ р^ отвергает Н, когда
Чтобы показать, что Цк) есть возрастающая функция от к» заметим, что ^Pil^ > 1 и что
и
Z
Здесь в обоих равенствах второе суммирование в левых частях распространено по всем индексам и < ... < U» из которых ни один не равен /, а суммирование в правых частях производится соответственно по всем ii < ... ... < U и /1 < ... < U-н без всяких ограничений. Тогда
U+ 1 7
-;—^т 2 2 а‘а1 x-vAx^tf-v' w-
что и надо было показать. Поэтому независимо от выбранной альтернативы критерий отвергает гипотезу Н, когда к > С, и, следовательно, является РИМ инвариантным критерием.
Если t-му сравнению приписать знак плюс при Хи равном 1, и минус при Xi равном 0, то, как легко видеть, этот критерий превращается в критерий знаков (см. пример 8 главы 3 и раздел 7 главы 4).
Достаточные статистики упрощают задачу посредством редукции выборочного пространства, причем этот процесс не изменяет параметрического пространства. С другой стороны, инвариантность путем редуцирования данных к максимально инвариантной статистике Т (распределение которой может зависеть только от некоторой функции от параметра) обычно сокращает также и параметрическое пространство. Точные утверждения содержатся в следующей теореме..
Теорема 3. Если функция Т (х)1 инвариантна относительно группы преобразований G и если с^ является максимальным инвариантом относительно индуцированной группы G, то распределение Т(Х) зависит только от с^.
Доказательство. Пусть у(01)=у(02). Тогда 02 = £0ь и, следовательно,
Р^х {Т (X) ^ВА = Р^ {Т (gX) ^В^ =
= PgQx {Т (X) ей}- Р.г {Г (X) ее В}.
Этот результат можно перефразировать, сказав, что принцип инвариантности идентифицирует все параметрические точки, эквивалентные относительно преобразований G.
В приложениях, например в примерах 5 и 6,_максимальные инварианты Т^ и 6 = и(0) относительно G и G, часто оказываются действительными функциями, а семейство вероятностных плотностей рб(/) величины Т имеет монотонное отношение правдоподобия. Тогда при проверке гипотезы Н; 6 ^ So среди всех критериев, зависящих только от Т, существует РИМ, который, следовательно, является РИМ инвариантным критерием. При этом гипотеза Н отвергается, если / ^ С, где
$ Ре, (0 dt = °- (9) с
Рассмотрим теперь эту проблему как задачу с двумя решениями do и d\, соответствующими принятию или отклонению гипотезы Н, и с функцией потерь Z,(6, cfz) = L/(0). Предположим, что L/(0) зависит только от параметра б, скажем, пусть Lt (0) = L't (6) и пусть
К (б)-£6(6)^ 0, когда б^б0. (10)
В таком случае, из теоремы 3 главы 3 следует, что семейству критических областей t ^ С (а), при изменении а от 0 до 1 соответствует семейство решающих процедур полное относительно класса процедур, зависящих только от /, т. е. полное семейство инвариантных процедур. При этом, как и раньше, выбор частных значений уровня значимости а можно рассматривать как удобный способ выделения критериев из этого семейства.
В начале данного раздела было установлено, что класс всех инвариантных критериев совпадает с классом критериев, основанных на статистике Т = 7(Х), являющейся максимальным инвариантом. Однако указанием некоторой функции статистика полностью не определяется, поскольку требуется также указать класс % измеримых множеств. Если в рассматриваемом случае ^ есть класс всех множеств В, для которых 7~’(В) е^, то
класс всех инвариантных критериев совпадает с классом критериев, основанных на статистике Т. Действительно, пусть ф(х) = = ф[Т(х)], ф — ^-измерима и С— борелевское множество на числовой прямой. Тогда ф-ЦС) = Т~х [ф-ЦС)] е ^ и, следовательно, ф-1(С) е ^, так что ф ^-измерима и ф(х) = ф[Т(х)] является критерием, основанным на статистике Т.
В большинстве приложений Т(х) является измеримой функцией со значениями в евклидовом пространстве. Поэтому удобно в качестве системы ^ множеств взять здесь класс всех боре- левских множеств. Тогда если ф(х) = ф[Т(х)] —произвольная измеримая функция, зависящая только от Т(х), то неясно, будет ли ф(/) необходимо ^-измеримой. Факт измеримости можно установить, если предположить, что 8В также евклидово пространство, ^ — класс борелевских множеств и что область Т — борелевское множество. Мы сейчас установим этот факт при одном дополнительном предположении (которое в применениях обычно очевидным образом выполняется и которое поэтому в дальнейшем не будет проверяться в каждом отдельном случае), что существует измеримая по Борелю векторная функция Y(x) такая, что [Т(х), У(х)} отображает пространство 96 в борелев- ское подмножество пространства ^Х6^, что это отображение взаимно однозначно и что обратное отображение также является измеримым по Борелю. Тогда для каждой измеримой функции ф от х существует измеримая функция ф' от (/, у) такая, что ф(х) = фх [Т(х), У(х)]. Если ф зависит только от Т(х), то функция ф' зависит только от /, т. е. ф'(/, у) = ф(/), где ф есть измеримая функция от /*). Так, в примере 1 (I), где х = = (хь ..., хп) и Т(х) = (х\ — хп, ..., хп-\ — хп), в качестве функции У(х) можно взять У(х) = хп.
Выборочный контроль по количественному признаку
Из партии некоторых изделий производится выборка с целью решения вопроса о том, является ли качество этой партии приемлемым. В простейшем случае каждое изделие классифицируется непосредственно как годное или негодное (контроль по качественному признаку), и решение выносится на основе суммарного числа дефектных изделий. В более общих случаях качество изделия характеризуется случайной величиной У (контроль по количественному признаку) и изделие считается годным, если У превышает заданную константу и. Тогда вероятность того, что изделие дефектно, равна
p = p^Y<uV
и задача состоит в том, чтобы проверить гипотезу Н: р ^ р0.
_*) Последнее утверждение немедленно следует, например, из теоремы 2
$ 34 книги П. X а л м о ш а, Теория меры, ИЛ? 1953.
Как было показано в примере 8 главы 3, конкретные значения У нельзя использовать для проверки этой гипотезы, если ничего не известно о распределении У. В отсутствие подобной информации решение, как и раньше, будет приниматься просто по числу дефектных изделий в выборке. Мы рассмотрим сейчас эту задачу в предположении, что величины Уь ..., ¥п образуют выборку из нормального распределения Af(r), о2).
Тогда
и
р = ( ехр Г—(у — г|)21 di/= Ф ( “ ~11),^УЗлс2 L 2а2 Х9 J »\ о )
где у
ф‘"’= S -^“A-W1
обозначает функцию распределения стандартного нормального распределения, и гипотеза Н эквивалентна тому, что (ц — т])/о ^ Ф-1(ро). В терминах переменных Xl=Yi — и, имеющих среднее £ = г) — и и дисперсию о2, исходная задача сводится к проверке гипотезы
Н: £/а<0о,
с 6о = —Ф-1(ро). Необходимость проверки этой гипотезы, которая для случая 0о — 0 была рассмотрена в разделе 2 главы 5, возникает также и в других случаях. К подобной задаче приходят, например, когда интересуются средним £ нормального распределения, выраженным в единицах стандартного отклонения, а не в единицах фиксированной шкалы.
Для проверки гипотезы Н можно ограничиться рассмотрением пары величин X, S = VX PG — ^)2> поскольку они образуют множество достаточных статистик для_(£, а). Эти случайные величины независимы, распределение X совпадает с нормальным N^o^JnV а распределение S/o есть х^-граспределе- ние. Умножение X и S на общий множитель с > 0 преобразует параметры в £'= с£, о' = со, так что отношение Уо, а следовательно, и задача проверки гипотезы Н остаются инвариантными. Относительно этих преобразований максимальным инвариантом является функция x/s или
- sf^n — 1 *
распределение которой зависит только от максимального инварианта в параметрическом пространстве 0 = ^/о (см. раздел 2 главы 5). Тем самым, инвариантные критерии — это критерии,
которые зависят только от I. Остается в этом классе найти наиболее мощный критерий для проверки гипотезы //: 9 ^ 0о.
Плотность вероятности / равна (задача 3, главы 5)
Р^ = ОО
= С J ехр [- у (/ aJ— б) ] wт <""2’ ехр (- у®) М и
где 6= V^Q — параметр нецентральности. Покажем, что семейство этих распределений имеет монотонное отношение правдоподобия. Чтобы установить, что отношение
является возрастающей функцией от / для бр < 61, предположим сначала, что t < 0 и положим v = —Z ^юЦп — 1). Тогда рассматриваемое отношение пропорционально
^ f (v) exp [— (di — д0) *о — (п — 1) о2/2/2] dx) jo
/ (и) ехр Н (я — 1) v2/2Z2J dx> о
= ехр [— (б, — б0) у] g{1 (у) dv, где
/ (у) = ехр (— 60у) у""1 ехр (— у-) и
_/ (о) ехр |—(п — 1) о2/2/2]
^ / (2) ехр [— (п — 1) z2/2<2] dz о
Поскольку семейство плотностей gj2 (у) имеет монотонное отношение правдоподобия, то интеграл от ехр[—(61 — 60) у] по этой плотности является убывающей функцией от /2 (задача 10 из главы 3) и, следовательно, возрастающей функцией от t для t < 0. Аналогично рассмотрев преобразование у = / VwKn — О» найдем, что г(/) есть возрастающая функция от I при t > 0. Отсюда по непрерывности следует, что функция г(/) возрастает с ростом / для всех t..
Тем самым для проверки гипотезы Н; Vo ^ 9о существует РНМ инвариантный критерий, который ее отвергает, когда t > С, где константа С определяется из условия (9). В терминах первоначальных величин У, область отклонения гипотезы Н; р ^ ро для РНМ инвариантного критерия принимает вид
л/п (у —и)Vl Ui-!i№- 1)л/п (у —и)Vl Ui-!i№- 1)> с.> с.(11)(11)
л/п (у —и)
Vl Ui-!i№- 1)
л/п (у —и)
Vl Ui-!i№- 1)
> с.
> с.
(11)
(11)
Если эту задачу рассматривать как задачу с двумя решениями и функциями потерь Lo(p), L\(p) (потери от принятия или отклонения гипотезы р ^ ро), зависящими только от р и удовлетворяющими условию, аналогичному (10), то класс критериев (11) образует полное семейство инвариантных процедур, когда С изменяется в пределах от —оо до сю.
Рассмотрим далее сравнение двух партий изделий, основанное на выборках Х\Хт\ Уь ..., Ул из распределений N^, о2) и ^(т], о2) соответственно. Если
то возникает задача проверки гипотезы р ^ л или, что то же, проверки гипотезы
Статистики X, У, S — VZ№ — ^)2 + ^(У< — У)2 образуют семейство достаточных статистик для g, т), а. Рассматриваемая задача остается инвариантной при добавление произвольной общей константы к X, F. Отсюда следует, что У — X и S являются максимальными инвариантами. Эти функции остаются также инвариантными и преумножении величин X, F и S, а следовательно, и величин У — X и S на общую положительную константу, что редуцирует исходные данные к максимальному инварианту (F — X)/S. Поскольку величина
s/Vт + п. — 2
имеет нецентральное ^-распределение с параметром нецентраль-
ности 6 = ^^ ^ ~ ^ -, то РНМ инвариантный критерий откло- Vm + па
няет гипотезу Н; т) — ^ ^ 0, когда t > С. Этот критерий совпадает с РНМ несмещенным критерием (27) из раздела 3 главы 5.
Аналогично, соответствующий двусторонний критерий (30) главы 5, с критической областью |/|^ С является РНМ инвариантным критерием для проверки гипотезы р = л при альтернативе р =/= л. (Задача 10.)
Почти инвариантность
Пусть G — группа преобразований, оставляющая семейство д> = (Р6, 6е й} распределений X инвариантным. Критерий ф будет называться эквивалентным инвариантному критерию, если существует инвариантный критерий ф такой, что ф(х) = ф(х) для всех х, за исключением множества N ^P-меры нуль; ф называется почти инвариантным относительно группы G, если
Ф(gx) — ф(х) для всех xe98 — Ng, geG, (12)
где исключительное множество Ng меры нуль, возможно, зависит от g. Это определение будет использоваться при изучении связи между инвариантностью, с одной стороны, несмещенностью и некоторыми другими оптимальными свойствами, с другой. Поэтому важно знать, является ли РНМ инвариантный критерий также и РНМ среди почти инвариантных критериев. Оказывается, что в предположениях, которые точно сформулированы ниже, в теореме 4, и которые выполняются во всех обычных применениях, это действительно так.
Если критерий ф эквивалентен некоторому инвариантному критерию, то ф (gx) = ф (х) для всех х ^ N J g~lN. Поскольку Pe(g-VN) = Р §9(^ = 0, то отсюда следует, что критерий ф почти инвариантен. Следующая теорема дает условия, при которых, обратно, каждый почти инвариантный критерий эквивалентен некоторому инвариантному критерию.
Теорема 4. Пусть G — группа преобразований 98 и пусть s3 и ^ — о-поля подмножеств 98 и G такие, что для каждого А е s3 множество пар (х, g), для которых gx е А, зЗХ ^-измеримо. Предположим далее, что существует о-конечная мера v на G такая, что из v(B) = 0 следует, что v(Bg) = 0 для всех g е G. Тогда каждая измеримая почти инвариантная относительно G функция («почти» относительно некоторой о-конечной меры ц) эквивалентна некоторой инвариантной функции.
Доказательство. В силу сделанных предположений об измеримости, функция ф(^х), рассматриваемая как функция двух переменных х и g, является s3 X ^-измеримой. Следовательно, ф(^х) —ф (х) —также зЗ-Х ^-измерима и таковым же является множество S точек (х, g), где ф(^х) =#ф(х). Если критерий ф почти инвариантен, то каждое сечение множества S с фиксированным g имеет р-меру нуль. По теореме Фубини (тео-
рема 3 главы 2) существует поэтому множество N ц-меры нуль такое, что для всех х е 38 — N
Ф(£х) = ф(х) v-почти всюду.
Без ограничения общности можно считать, что v(G) = 1. Пусть А — множество точек х, для которых
Ф kg' х) ^v (g') = Ф kgx) v-почти всюду.
Если
f кх, g) = | ^ ф kg'x) dv (g') — ф kgx) |, то А есть множество точек x, для которых
$ t кх, g) dv kg) = 0.
Поскольку этот интеграл является измеримой функцией от х, то множество А измеримо. Пусть
f \ Ф kgx) dv kg), если х е А, ФМ = 1 J
10,если х ^ А.
Тогда ф измерима и ф(х) = ф(х) для х ^ N, поскольку из равенства ф(£х) =ф(х) почти всюду относительно меры v следует, что ^ ф kg'x) dv kg') = Ф кх) и что хе А. Чтобы показать теперь, что ф инвариантна, достаточно доказать, что множество А — инвариантно. Для каждой точки хе А функция ф(£х), рассматриваемая как функция от g, постоянна, за исключением подмножества меры нуль Nx е G. Тогда ^kghx) имеет то же самое значение и для всех g ф Nxh~l\ последние множества согласно предположению имеют v-меру нуль. Таким образом, hx е А, чем и заканчивается доказательство.
Следствие 1. Предположим, что задача проверки гипотезы Н; 0 е со при альтернативе К: 8е Q \ о остается инвариантной относительно G, и пусть выполнены предположения теоремы 4. Тогда если фо РИМ инвариантный критерий, то он будет также РИМ и в классе почти инвариантных критериев.
Доказательство. Если критерий ф почти инвариантен, то согласно теореме 4 он эквивалентен некоторому инвариантному критерию ф. Критерии ф и ф имеют одну и ту же функцию мощности и, следовательно, фо равномерно не менее мощен, чем ф.
В приложениях семейство 9 обычно является доминирован- ным, а ц.— любая о-конечная мера, эквивалентная 9 (которая существует согласно теореме 2 из Дополнения). Если критерий Ф почти инвариантен для семейства 9, то тогда ф почти инва-
риантен и по отношению к мере р, и, следовательно, эквивалентен некоторому инвариантному критерию. Как правило, выборочное пространство 98 является n-мерным евклидовым пространством, ^— классом всех борелевских множеств, а элементы группы О представимы в форм? у = f(x, т), где т изменяется на множестве положительной меры в m-мерном пространстве, а векторная функция f, как функция m + и переменных, измерима по Борелю. Если в качестве ^ взять класс всех борелевских множеств в m-мерном пространстве, то условия измеримости теоремы 4 выполняются.
То требование, что для всех g е G и В е ^
из v(B) = 0 вытекает, что v(Bg) = 0, (13) выполняется, в частности, когда
v(B^) = v(B) для всех gEG, В г 98. (14)
Существование такой правоинвариантной меры для большого класса групп гарантируется теорией мер Хаара. С другой стороны, обычно бывает нетрудно проверить условие (13) и непосредственно.
Пример 8. Пусть G — группа всех невырожденных преобразований п- мерного пространства. В фиксированной системе координат элементы группы G представляются невырожденными матрицами А»^^, A = ^ai^t... порядка и X п с групповой операцией, задаваемой матричным произведением. В качестве о-поля $ можно взять класс борелевских множеств в пространстве п2 элементов матриц, а в качестве меры v — обычную меру Лебега на ^. Рассмотрим теперь множество S матриц с v(S)=0, и множество S* матриц АГА с A’ eS и фиксированным А. Если а = шах|а//|, С' = А'А и С" = А”А, то из неравенства | а^ — ац | ^ е для всех i, / следует, что | с'ц — c'.J ^ пае. Поскольку каждое множество имеет v-меру нуль тогда и только тогда, когда оно может быть покрыто соединением прямоугольников с суммарной мерой, не превосходящей заданного 6 > 0, то отсюда следует, что v(S*) = 0, а это и следовало показать.
В предыдущих главах сравнение различных критериев производилось только в терминах их функций мощности (возможно взвешенных в зависимости от степени значимости соответствующих потерь).
Поскольку ограничение инвариантными критериями представляет собой отход от этой точки зрения, то интересно выяснить вопрос о том, что же дает применение инвариантности к Функциям мощности. Каждый критерий, инвариантный или почти инвариантный относительно G, имеет функцию мощности, которая остается инвариантной относительно группы G, индуцированной группой G в параметрическом пространстве.
Обратное, вообще говоря, неверно; пусть случайные величины Xb Х2) Х3 независимы и нормально распределены со средним
g и дисперсией о2. Рассмотрим гипотезу о ^ о0. Критерий, который отвергает эту гипотезу, если *
I ^2 ~ Хх I > к, когда X < О, |Х3-Х2|>^, когда Х>0, не инвариантен относительно группы G преобразований Xi = Xi + с, однако его функция мощности инвариантна относительно группы С.
Два свойства — почти инвариантность критерия ф и инвариантность его функции мощности — становятся эквивалентными, если еще до применения принципа инвариантности задача сведена к достаточным статистикам, распределения которых образуют ограниченно полное семейство.
Лемма 2. Пусть семейство 9>т = {Ре, 9 е Q} распределений Т ограниченно полно и пусть задача проверки гипотезы Н: 6eQh остается инвариантной при группе G преобразований Т при всех 0. Тогда, для того чтобы функция мощности критерия ф(/) была инвариантной относительно группы G, действующей в пространстве Q, необходимо и достаточно, чтобы функция ф(/) была почти инвариантной при преобразованиях из G.
Доказательство. Для всех 0 е й мы имеем Eg^ (Т) = = £еф(^Г). Если ф— почти инвариантно, то Е^(Т) = E^(gT) и, следовательно, Е^0ф (Г) = Е0ф(7'), так что функция мощности критерия ф является инвариантной. Обратно, если £0ф(Г) = = £^0ф(Г), то £еф(Т) = E^(gT), и из ограниченной полноты семейства ^г следует, что ф(^/) =ф(/) почти всюду относительно ^т. Используя эту лемму, можно показать, что РИМ инвариантный критерий обладает также следующим оптимальным свойством.
Теорема 5. Пусть выполнены предположения леммы 2 и пусть функция и(0)—максимальный инвариант относительно G. Предположим, что среди критериев для гипотезы Н, основанных на достаточной статистике Т, существует РИМ почти инвариантный критерий, скажем ф0(/). Тогда фо(О является РИМ. в классе всех критериев, основанных на первоначальных наблюдениях, функции мощности которых зависят только от у(0).
Доказательство Пусть ф(х)—некоторый такой критерий и пусть ф(/) = £[ф(х) |/]. Функция мощности критерия ф(/), будучи идентична функции мощности ф(х), зависит тогда только от и(0) и, следовательно, инвариантна относительно G. Из леммы 2 следует, что критерий ф(/) почти инвариантен при G, и что фо(0 имеет мощность, равномерно не меньшую, чем ф(/)> и, следовательно, чем ф(х).
Пример 9. В задаче проверки гипотезы т2 ^ о2 относительно дисперсий двух нормальных распределений величины (X, Y, S^, Sy) образуют пол-
ное множество достаточных статистик. Как было показано в примере 6, при подходящим образом подобранной группе преобразований существует РНМ инвариантный критерий, который отвергает рассматриваемую гипотезу, если Sy/S^ > ^ Поскольку в настоящем случае из почти инвариантности этого критерия относительно G вытекает, что он эквивалентен некоторому инвариантному (задача 13), то применима теорема 5 с иф) = А = т2/а2. Этот критерий является, следовательно, РНМ среди всех критериев, функции мощности которых зависят только от А.
Несмещенность и инвариантность
Принципы несмещенности и инвариантности дополняют друг друга в том отношении, что один дает удачные результаты там, где применение другого не приносит успеха. Так, например, для сравнения двух биномиальных или пуассоновских распределений имеется РНМ несмещенный критерий, тогда как соображения инвариантности здесь неприменимы. РНМ несмещенный критерий существует также при проверке гипотезы о = о0 при альтернативе о #= Со для нормально распределенных наблюдений, тогда как применение принципа инвариантности не дает здесь значительного продвижения. И обратно, существуют РНМ инвариантные критерии для проверки гипотез о специальных значениях одного или нескольких параметров (что будет рассмотрено в гл. 7), тогда как РНМ несмещенных критериев нс существует. Имеются также гипотезы (как, например, односторонняя гипотеза g/o < 60 для одномерного нормального распределения или гипотеза р ^ ро для двумерного (задача 11) с 0О, ро=#О), где РНМ инвариантный критерий существует, тогда как показать существование РНМ несмещенного критерия методами главы 5 не удается, и вопрос до сих пор остается открытым.
С другой стороны, в некоторых задачах с одинаковым успехом могут применяться оба принципа. В число таких проблем входят задачи проверки гипотез Стьюдента | ^ ^о и g = |0 относительно среднего нормального распределения, и соответствующие задачи проверки гипотез т] — 6 ^ Ао и г) — £ = Ао для случая двух выборок в предположении равенства дисперсий в обоих выборках. Другим примером может служить задача проверки гипотез о2 ^ о2 и т2/а2 ^ Ао относительно дисперсии одного или двух нормальных распределений. Еще один такой пример дает проверка гипотезы о независимости р = 0 в двумерном нормальном распределении (задача 11). Во всех перечисленных примерах обе оптимальные процедуры совпадают. Мы сейчас покажем, что это совпадение не случайно и имеет место в тех случаях, когда РНМ инвариантный критерий является РНМ также и среди всех почти инвариантных критериев и когда РНМ несмещенный критерий единствен. В этом смысле принципы несмещенности и почти инвариантности согласованы.
Теорема 6. Пусть для данной задачи проверки гипотезы существует единственный (с точностью до множеств меры 0) РИМ несмещенный критерий ф щ кроме того, существует РИМ критерий, почти инвариантный относительно некоторой группы преобразований G. Тогда последний также является единственным (с точностью до множеств меры 0), и оба критерия совпадают почти всюду.
Доказательство. Если (7(a) есть класс несмещенных критериев уровня а и g s G, то ф е [7(a) тогда и только тогда, когда ф£ е [7(a) *). Обозначая функцию мощности критерия ф через р р (0), мы тем самым получим
Рф*8 (9) = Рф* (£9) = sup рф (£9) =
Ф^£/ (а)
= SUP РФг(9) — sup р (9) = р .(9), ф€=£У(а) ф5е(/(а) ф
Следовательно, ф* и ф*^ имеют одну и ту же функцию мощности, и в силу предположенной единственности критерий ф* почти инвариантен. Поэтому, если ф' есть РИМ почти инвариантный критерий, то Рф, (6) Рф» (0) для всех 9. С другой стороны, ф' — несмещенный критерий, как это следует из сравнения его с инвариантным критерием ф(х) = а; поэтому рф, (0) ^ Рф* (0) для всех 0. Так как критерии ф' и ф* имеют одну и ту же функцию мощности, то они совпадают почти всюду в силу единственности Ф*, что и требовалось доказать.
Эта теорема дает возможность сделать определенные выводы для некоторых критериев, рассмотренных в главе 5. В теореме 3 главы 4 существование РИМ несмещенных критериев было установлено для одно- и двусторонних гипотез относительно значений параметра 0 в экспоненциальном семействе распределений (10) главы 4. Для этого семейства статистики (U, Т) достаточны и полны и поэтому в терминах этих статистик РИМ несмещенный критерий единствен. Удобные явные выражения для некоторых из критериев, рассмотренных в главе 5, можно было бы получить, заметив, что в тех случаях, когда РИМ почти инвариантный критерий существует, он, согласно теореме 6, необходимо будет также и РИМ несмещенным. Этим доказывается, например, что критерии, построенные в примерах 5 и 6 настоящей главы, являются РИМ несмещенными.
Принципы несмещенности и инвариантности могут быть применены дополнительно один к другому в случаях, где каждый из них в отдельности не приводит к полному решению, а их совместное применение приводит к нему. В качестве примера рассмот-
рим выборку Хь ..., Хп из N^ а2) и гипотезу Н; g/а = 0О^ О при двусторонней альтернативе: g/o =# Оо. Здесь достаточность и инвариантность сводят задачу к рассмотрению статистики t = ^/nx/V2 kxi — xfKn — 0- Эта статистика имеет нецентральное /-распределение с параметром нецентральности a = -Vnlla и п — 1 степенью свободы. Можно показать, что это семейство, зависящее от параметра 6, относится к строгому типу Пойа и, следовательно, в частности, к 3-му типу*). Как и в задаче 25 главы 3, можно показать, что среди всех критериев, основанных на статистике /, существует РНМ несмещенный критерий с областью принятия Н вида Ci ^ / ^ С2, где Ci, С2 определяются из условия
дРЛС. </<СЗ IР6ДС1^/<С2}=1-а и 61 ‘^^=0.
1б=бо
В терминах исходных наблюдений построенный критерий будет РНМ среди всех несмещенных и инвариантных критериев, но вопрос о том, будет ли этот критерий РНМ несмещенным без ограничений инвариантности, остается открытым.
Другим случаем, в котором совместное применение инвариантности и несмещенности дает, по-видимому, многообещающий подход, является так называемая проблема Беренса — Фи- шера**). Пусть Ху» .... Хт и Уь Yn — выборки из двух нормальных распределений N^t о2) и 2V(r), т2) соответственно. Проблема состоит в том, чтобы проверить гипотезу Не. г) ^ 5 (или т] = |) без предположения равенства дисперсий о2 и т2. Множество достаточных статистик для (^т), о, т) есть в этом случае (X, Y, Sx, S^, где S^ = £ № - X? и Sy = £ (У/ - У)2. Добавление одной и той же постоянной к X и У редуцирует задачу к статистикам У — X, Sx, Sy> а умножение всех переменных на одну и ту же положительную константу приводит к рассмотрению статистик
(7-Х) Sy— и —.
Vsx + ^У sx
*) Karlin, Decision theory for Polya type distributions. Case of two actions, I, Proc. Third Berkeley Symposium on Mathematical Statistics and Probability I, Berkley, Univ. Calif. Press, 115—129.
**) Решение проблемы освещается, с одной стороны, в книге Ю. В. Л ин- н и к а, Статистические задачи с мешающими параметрами, М., Наука, 1966, с другой стороны, в работах Пагуровой, О сравнении средних значений ?ДВУХ Н0Рмальных выборках, Теор. вер. и ее примен. 13 (1968), № 3, 561— □68 и Критерий сравнения средних значений по двум нормальным выборкам, вып. 5, М., Изд. ВЦ АН СССР, 1968. См. также Большее Л. Н., С м и р - в^в Н. В., Таблицы математической статистики, М., Наука, 1965. — Прим,
Можно ожидать, что каждая разумная критическая область представляется в виде
Y - X/SyV^X + Sy\ 5ХY - X/SyV^X + Sy\ 5Х(15)(15)
Y - X/Sy
V^X + Sy\ 5Х
Y - X/Sy
V^X + Sy\ 5Х
(15)
(15)
с определенным образом подобранной функцией g. Если от этого критерия потребовать так же несмещенности, то вероятность множества (15) должна быть равна а, когда rj = £, для всех значений т/о. Но, существует ли функция g с таким свойством, до сих пор не выяснено. Однако имеется приближенное решение, которое протабулировано ) и которое дает для практических целей удовлетворительные результаты.
Каждый РНМ несмещенный критерий обладает важным свойством допустимости (задача 1 главы 4), так что в этом случае не может существовать другого критерия равномерно не менее мощного, а для некоторых альтернатив даже более мощного, чем заданный. Аналогичное свойство для РНМ инвариантных критериев может и не выполняться, что показывает следующий пример.
Пример 10). Пусть случайные векторы (Хц, Xi2) и (Х2Ь Х22) распределены нормально с нулевыми средними и матрицами ковариаций
/ а2 р<г 1<г2 \/ AOj Аро^ \
I2 I и I2 Г
рО|О2 ^2 ✓\ Аро^о^ Ао2 у
Предположим, что эти матрицы не вырождены, т. е. что ]р| =^= 1; в других же отношениях оь о2, р и А остаются неизвестными. Задача различения гипотез А = 1 и А > 1 инвариантна относительно группы G всех невырожденных преобразований
(<=1,2).(<=1,2).^П — «1А1 + а12^<2>^i = а2\^И 4" а22^12
(<=1,2).
(<=1,2).
Поскольку вероятность того, что ХцХ22 = Xi2X2b равна нулю, матрицы второго порядка (X//) с вероятностью единица не вырождены, и поэтому выборочное пространство можно считать состоящим только из невырожденных матриц. Для любых двух выборочных точек Z = (Х/;) и Z = (XZy) существует невырожденное линейное преобразование А такое, что Z'—AZ. Поэтому относительно G не существует инвариантных критериев, за исключением тривиаль-
ного критерия ф = а уровня а. мощность которого Р (А) = а. С другой стороны, Хц и X2i независимы и распределены нормально N (о, Gj) и N (О, Adj). Основываясь на этих наблюдениях, можно построить РНМ критерий для различения гипотез А = 1 и А > 1 с критической областью Х^/Х^ > С (задача 33 главы 3). Функция мощности этого критерия строго возрастает по А и, следовательно, больше а для всех А > 1.
Тем самым свойство допустимости оптимальных инвариантных критериев заведомо не выполняется автоматически и его надо устанавливать в каждом отдельном случае. Пусть функция 6 = у(0) —максимальный инвариант относительно группы преобразований G. Предположим, для определенности, что проверке подлежит гипотеза 6 ^ 6о. Чтобы проверить допустимость критерия фо с уровнем значимости а, достаточно показать для некоторого подмножества альтернатив Q', что для любого критерия ф уровня а из условия Еоф (X) ^ Е6ф0 (X) для всех 9 е Q' вытекает равенство Ееф (X) = Е6ф0 00 Для всех 6. Типичные доказательства допустимости можно разделить на три категории, соответственно тому, как они устанавливают указанное свойство:
(а) локально, т. е. для всех 6, удовлетворяющих условию So < у (6) < Si для некоторого 61 > 6о; (Ь) для всех достаточно далеких альтернатив, т. е. для всех альтернатив, удовлетворяющих условию у (9) > 62 для некоторого 62 > 60; (с) для всех альтернатив с любым заданным расстоянием 6, т. е. для альтернатив, удовлетворяющих условию у (9) =6. Доказательства типа (а) или (Ь) не совсем удовлетворительны, поскольку они не исключают возможности существования критерия с мощностью, лучшей для всех практически важных альтернатив и худшей только тогда, когда оба критерия имеют мощность, очень близкую к 1, или когда альтернативы так близки к гипотезам, что значения их функций мощности становятся несущественными.
В качестве примера рассмотрим РНМ несмещенный критерий ф1 (из теоремы 3 главы 4) для проверки гипотезы Н: 9 90 при альтернативе 9 > 90 и при наличии мешающих параметров -О’. Чтобы показать, что этот критерий локально допустим, предположим, что ф — некоторый другой критерий для Н, имеющий уровень значимости а. Если Е0о^ф(Х) < а для некоторого О, тогда по непрерывности найдется такое 91 > 9о, что для всех 9о < 9 < 91 Е6яф (X) < а < Е^ф! (X). Отсюда следует, что локально мощность критерия ф не больше, чем мощность критерия фЬ С другой стороны, если Ее0^ф(Х) = а для всех 4, то Е0^ф(Х)^Ее^ф!(Х) для всех 9 > 90 и всех -9-, поскольку при доказательстве теоремы 3 было показано, что критерий ф1 является РНМ среди всех критериев, подобных на границе. Эта аргументация, однако, не исключает возможности существования критерия, который смещен вблизи Н, но который в то же
время является равномерно более мощным, чем фо при всех альтернативах, находящихся о г Н на расстоянии, большем некоторого числа.
Свойство допустимости относительно удаленных альтернатив было установлено в задачах проверки некоторых гипотез о параметрах экспоненциальных семейств ) распределений, а также для альтернатив на любом расстоянии — в некоторых задачах ) о параметре сдвига. К числу последних относится задача проверки гипотезы ^/о ^ 9о при альтернативе ^/о = 9 для нормального распределения.
Ранговые критерии)
Одной из основных задач статистики является задача проверки по двум выборкам гипотезы о равенстве их распределений. Типичным примером служит задача сравнения некоторого способа обработки со стандартным (контрольным),где проверяется гипотеза об отсутствии преимуществ этого способа при альтернативе его более благотворного действия. Этот пример рассматривался в главах 4 и 5 в предположениях нормальности; соответствующий критерий основывался на /-статистике Стьюдента. Было также показано, что в тех случаях, когда предположение о приближенной нормальности допустимо, но не может быть проверено, приходят к замене /-критерия его аналогом (основанным на перестановках), который, в свою очередь, может быть аппроксимирован первоначальным /-критерием.
Ниже мы будем рассматривать эту проблему, отказавшись по крайней мере на время от всяких предположений относительно даже приближенной формы рассматриваемых распределений, предполагая только, что они непрерывны. Результаты наблюдений в таком случае образуют две выборки XiХт и Уь ... ..., Уп из распределений с непрерывными функциями распределения F и G. Задача состоит в том, чтобы проверить гипотезу
Ht: G = F.
Если предположить, что эффект обработки аддитивен, то альтернативы имеют вид G(y)=F(y—А). Мы рассмотрим здесь более общий случай, в котором эффект обработки может зависеть
и от значения у (так что А есть неотрицательная функция от у). Тогда гипотеза Н\ будет проверяться при односторонней альтернативе, что величины У стохастически больше величин X, т. е. при альтернативе
Кь G^^F^z) для всех z и G F.
Альтернативный эксперимент, который проводится для выяснения эффективности обработки, состоит в сравнении N пар предметов, группирующихся по парам так, чтобы исключить расхождения, не являющиеся следствием обработки. Один член каждой пары выбирается случайным образом для обработки, тогда как другой служит для контроля. Если предположения (см. раздел 4 главы 5) о нормальности распределений отбрасываются и пары предметов рассматриваются как один элемент выборки, то предполагается, что распределения независимых наблюдений (Хь У1), ..., (Хц, Y^ описываются двумерной непрерывной функцией распределения F. Гипотеза отсутствия эффекта обработки эквивалентна тогда предположению, что функция распределения F симметрична относительно линии у = х
Н»: F(x, y) = F(y, х).
Другая основная проблема, которая возникает во многих случаях, касается зависимости или независимости двух случайных величин. В частности, если (Хь У1), ..., (Хм, У#)—выборка из двумерного распределения F, то может представить интерес проверка гипотезы
Н3: F(x,y) = Gv(x)H2(y),
т. е. гипотезы, что X и У независимы; для случая нормального распределения эта задача рассматривалась в разделе 9 главы 5. В качестве интересной альтернативы можно рассмотреть, к примеру, гипотезу о том, что X и У положительно зависимы (см. раздел 11 главы 5). Альтернативная формулировка возникает, когда значения х не являются случайными, а выбираются заранее, до эксперимента. Пусть выбраны значения Х\<_ ... < xN и пусть Ft обозначает распределение У при заданном хг, предполагается, что У, независимы и их функции распределения Fv, ... .... Fn непрерывны. Гипотеза независимости У от х тогда заключается В ТОМ, ЧТО •
Я4: f1= ... =Fn, в то вемя как альтернативная гипотеза положительной зависимости Yi состоит в стохастическом их возрастании с ростом L В этих и других подобных задачах инвариантность редуцирует исходные данные так, что истинные значения наблюдений становятся несущественными и сохраняются только некоторые отношения порядка между различными группами переменных.
Тем не менее оказывается возможным таким образом проверить исследуемые гипотезы, а получаемые этим способом критерии часто имеют мощность, близкую к мощности стандартных нормальных критериев. Мы сейчас проведем эту редукцию для четырех рассмотренных выше проблем.
В случае двух выборок задача проверки гипотезы Н\ при альтернативе ^l остается инвариантной относительно группы G всех преобразований
x'i = f(xi)> У/ = ЦУу) (i=L •••• т\ i=\, .... п)
таких, что функции f непрерывны и строго возрастают. Это утверждение следует из того факта, что указанные преобразования сохраняют непрерывность распределений и свойства величин оставаться одинаково распределенными или одной быть стохастически больше другой. Как видно из примера 3 (в других обозначениях), максимальным инвариантом относительно группы G является множество рангов
(^;S,) = №R'm-,Si,Si)
величин Хг, ..., Хт; Уь ..., Yn, рассматриваемых как элементы одной выборки. Поскольку распределение (Ri,..., R'm; £[,..., S„) симметрично относительно первых т и последних п переменных для всех распределений F и G, то множеством достаточных статистик для (R', S') является множество рангов величин X и У без учета индексов у X и У. Эти статистики можно представить в виде упорядоченных рангов величин X и У:
Ri< ... < Rm и Si < ... < Sn.
А поскольку каждое из этих множеств определяется другим, то достаточно рассматривать только одну из этих статистик. Тем самым каждый инвариантный критерий является ранговым критерием, т. е. зависит только от рангов наблюдений, например, от (Sb .... Sn).
Чтобы получить подобную же редукцию для гипотезы Н2, сделаем сначала преобразование Zi = У/ — X,, Wi = Xi-)-Y{. Пары величин (Z„ Wi) снова образуют выборку из непрерывного двумерного распределения. Тогда проверяемая гипотеза состоит в том, что это распределение симметрично относительно оси w, в то время как при альтернативе это распределение сдвинуто в положительном направлении оси г. Задача проверки этих гипотез не изменится, если все ау подвергнуть одному и тому же взаимно однозначному преобразованию ну? = g(wi), где g имеет самое большее конечное число точек разрыва. Максимальным инвариантом относительно этой группы [см. задачу 2 (II)] будет функция (Zi, Zn).
Случайные величины Z; имеют непрерывную одномерную функцию распределения D, и гипотеза ее симметрии относительно начала координат
//2: D (г) + D (— г) = 1 для всех г
проверяется при альтернативе, что распределение сдвинуто в положительном направлении оси z. Эта задача инвариантна относительно группы G всех преобразований
zi = Hzi)(i=l, .... N)
таких, что f непрерывна, нечетна и строго возрастает. Пусть 21,, ..., ztm < 0 < г!хzin, где ч < ... <1ти h< ... < jn. Обозначим s'з„ ранги величин гцZjn среди абсолютных значений | zx |, ..., | zN | и г[г'т — ранги величин |х^|, ..., |2,m| среди |Z]|I zN |. Преобразование f сохраняет знак каждого наблюдения и, следовательно, в частности, числа тип. Поскольку f непрерывная, строго возрастающая функция от |z|, она оставляет инвариантным порядок абсолютных величин и, тем самым, ранги r't и з/. Покажем, что эти функции являются максимальными инвариантами. Пусть (zb ... ..., zN) и (zf, ..., z'n) — два множества точек с т' = т, п' = п и теми же самыми r't и з/. Существует непрерывная, строго возрастающая функция, определенная на положительной оси, такая, что | z't | = / (| zi I) и f(0) = 0. Если f определить для отрицательных z посредством соотношения f(—z) = —f(z), то такая функция будет принадлежать G, и тогда z'i = f (zi) для всех I, что и надо было показать. Как и в предыдущей задаче, достаточность позволяет совершить дальнейшую редукцию данных к упорядоченным рангам п < ... < rm и sj < ... < sn. Эта редукция сохраняет информацию о рангах абсолютных значений независимо от того, являются ли результаты наблюдений положительными или отрицательными^ но она не сохраняет информации о том, с каким значением, положительным или отрицательным, связываются ранги.
Ситуация очень похожа и в случае гипотез Нз и Н^. Задача проверки независимости в двумерном распределении при альтернативной гипотезе о положительной зависимости не изменяется, если Хг и У,- подвергнуть преобразованиям Xi = f(X^, Yt = g(Yi) таким, что f и g непрерывны и строго возрастают. Относительно этого преобразования максимальными инвариантами являются ранги (^(, ..., /^величин (XiXN) среди X и ранги(Sf, ... • • •, Sn) величин (Уь ..., У^) среди У. Совместное распределение величин (/?{, S()^'N,S'n) симметрично относительно этих N
пар, каковы бы ни были распределения (X, У). Отсюда следует, что достаточной статистикой является (SiSn), где
(l,Si), ..., (^, Sw)—перестановка величин (/?f, S')(Rn, Sn) и где, следовательно, Sz есть ранг величины У, связанной с г-м наименьшим значением X.
Гипотеза Н4 о том, что У1Уп одинаково распределены, проверяется при альтернативе Ка, состоящей в том, что Y, стохастически возрастают с ростом L Эта проблема инвариантна относительно группы преобразований z/z = Цу;), где функция { непрерывна и строго убывает. Максимальным инвариантом здесь является множество рангов Si, .., Sn величин Уь ..., Yn-
Некоторые инвариантные критерии для проверки гипотез Hi и Нг будут рассмотрены в следующих двух разделах. Соответствующие результаты, относящиеся к гипотезам Н^ и Н4, даны в задачах 39—41.
Задача сравнения двух выборок
Принцип инвариантности для случая двух выборок редуцирует задачу проверки гипотезы Н*. G = F при односторонней альтернативе К, состоящей в том, что величины Y стохастически больше величин X, к изучению рангов Si < ... < Sn величин Y. Задание величин Sz эквивалентно указанию для составной выборки из N = т + п элементов наименьшего значения, следующего за ним по величине значения и т. д., независимо от того, являются ими х или у. Поскольку в каждом множестве из N результатов наблюдений ук занимают п положений и так как, в предположении G = F, все ( ^ ) возможных выборов п положений Ук равновероятны, то совместное распределение Si при гипотезе Н равно
P{Si = s„S„ = s„} = -4v,(16)
'\ n 7
для каждого множества 1 ^ Si < s2 < ... < sn ^ N. Поэтому для любого рангового критерия с уровнем а = ^/(^) критическая область состоит в точности из к точек (si, •••, sny
В задаче проверки гипотезы Н при альтернативе К не существует РИМ рангового критерия и, следовательно, не существует РИМ инвариантного критерия. Это следует, например, из рассмотрения двух стандартных критериев, применяемых в этой задаче, поскольку каждый из них является наиболее мощным среди всех ранговых критериев для случая некоторых альтернатив. Критерии, о которых идет речь, имеют критическую область вида
А($1)+ ... -Vh^)>C.(17)
Один из них, двухвыборочный критерий Вилкоксона^ получается, если в (17) положить A(s) = s, так что гипотеза Н отвергается, когда сумма рангов величин у достаточно велика. Ниже мы покажем, что для достаточно малых Д этот критерий является наиболее мощным при альтернативе: F есть логистическое распределение F(x)= 1/(1 + е-*), a G^=F^y— Д). Другой критерий, критерий Фишера — Иэйтса, получим, если в (17) положим h^ = E^V^, где У(1) < ... < Vw — упорядоченная выборка объема N из стандартного нормального распределения ). Этот критерий является наиболее мощным при проверке гипотез о том, что распределения F и G нормальны с общей дисперсией и средними g и г) = g + А, когда Д достаточно мало.
Чтобы доказать, что эти критерии обладают указанными свойствами, необходимо знать распределение (Si, • •, Sn) при каждой из гипотез. Если распределения F и G имеют плотность f и g такие, что f всегда положительна, когда положительно g, то совместное распределение величин St задается формулой
£Г gG^0) g (v^) 1
Р {S, = sb ..., S„ = s„} =, (18)
\ J
где V(l) < ... < Vw— упорядоченная выборка объема N из распределения F (см. задачу 22). Рассмотрим, в частности, альтернативу сдвига
g(y) = f(y — Л)
и обратимся к задаче максимизации функции мощности для малых значений Д. Предположим, что плотность f дифференцируема и что вероятность (18), являющуюся функцией от Д, можно дифференцировать под знаком математического ожидания.
Производная вероятности (18) в точке Д = 0 равна
уд Рь {"^1= 5ь • • •» 8п = $„} |д_0 =
£Гг(и|,,)) ,('(г1’”*) 1
С) ■
Поскольку при гипотезе Н вероятность каждого набора рангов дается формулой (16), то из расширенной формы леммы Неймана — Пирсона (теорема 5 главы 3) следует, что производная функции мощности в точке Д — О максимизируется, если критическая область имеет следующий вид:
_у£[£(гМ1>с(19)
Этот же критерий максимизирует и самую мощность для достаточно малых Д. Чтобы это показать, обозначим s ранговую точку ($1srt) и sW) ранговую точку, на которой достигается j-e наибольшее значение левой стороны неравенства (19). Если к а = ——- -, то мощность этого критерия равна
р (д)=^ Рд w=х [ру+ЛРл (s</)) ^-°+ ” ■
Поскольку существует только конечное число точек s, то для каждого / существует число Д/ > 0 такое, что точка sV) также дает /-е наибольшее значение величине Рд(з) для всех Д < Д/. Когда Д меньше наименьшего из чисел Д/, /=К ..., (^)> то этот критерий также максимизирует Р(Д).
Если f(x) — плотность нормального распределения JV(£, о2),
- ^M=_^-iogf (x) = 2Lz_L,f (х) dx \ j a2
и левая часть равенства (19) превращается в
где Ww < ... < W^ есть упорядоченная выборка из N(0, 1). Критерием, максимизирующим мощность при этих альтерната-
вах (для достаточно малых А), является, следовательно, критерий Фишера — Иэйтса.
В случае логистического распределения
U +е х)(1 + е ХГ
и, следовательно,
Поэтому локально наиболее мощный ранговый критерий тем самым отвергает гипотезу, когда У. E[F (И$<))] > С. Если V имеет распределение F и 0 ^ у ^ 1, то
P^F(VXy> = P^VCF-4y^ = FVF-4y)l = y, так что случайная величина U = F^ равномерно распределена на (0,1) ). Критическая область может быть записана в виде ^E(U^^>C, где U^ <. ... < Uw— упорядоченная выборка объема N из равномерного распределения /?(0, 1). Поскольку E(U^ = SiKN-^V). то этот критерий есть не что иное, как критерий Вилкоксона.
И критерий Фишера — Иэйтса, и критерий Вилкоксона являются несмещенными при односторонних альтернативах К. В самом деле, пусть ф— критическая функция любого критерия, определенного формулой (17) с неубывающей функцией h. Тогда Ф не убывает по у, и вероятность отвергнуть гипотезу равна а для всех F = G. Из леммы 2 главы 5 следует, что этот критерий является несмещенным для всех альтернатив из К.
Из свойств несмещенности этих критериев вытекает, что наиболее мощные инвариантные критерии в двух рассмотренных примерах являются также наиболее мощными при соответствующих альтернативах и среди всех инвариантных и несмещенных критериев. Следовательно, РИМ критерий может не существовать даже, если, помимо ограничения инвариантности, наложить еще условие несмещенности. Аналогично и применение одного только принципа несмещенности не приводит к решению, что мы уже видели при обсуждении критериев, основанных на перестановках в разделе 8 главы 5. Отказ же от этих принципов (от одного или от обоих сразу) оставляет проблему не только без решения, но даже и без формулировки. Одна из возможных формулировок (строгость) будет рассматриваться в гл. 8. Однако отыскание наиболее строгого критерия в задаче двух выборок остается открытой проблемой.
Хотя оптимальные свойства не установлены ни для одного из двух выборочных критериев, оба упомянутых выше критерия представляются довольно удовлетворительными с практической точки зрения (точно так же, как и другой такой критерий, критерий Ван-дер-Вардена) с критической областью (17), в которой h(s) = ф-^s/N + 1), где Ф —функция распределения стандартного нормального распределения). Даже тогда, когда F и G нормальны с общей дисперсией, эти критерии имеют мощность, близкую к мощности /-критерия.
Чтобы получить численное сравнение этих критериев, предположим, что обе выборки имеют одинаковый объем, и рассмотрим отношение п*/п числа наблюдений, требуемых двумя критериями для получения одной и той же мощности 0 при одних и тех же альтернативах. Пусть m = п и m* = п* = g{n)—объемы выборки, требуемые одним из ранговых критериев и /-критерием соответственно, и предположим (что верно для рассматриваемых критериев), что отношение п*/п стремится к пределу е при п-> оо, не зависящему от а и 0. Тогда е называется асимптотической эффективностью рангового критерия по отношению к /-критерию. Поэтому, если, в частности, е = 1/2, то ранговый критерий требует примерно в два раза больше наблюдений для достижения той же мощности, что дает /-критерий.
В частном случае критерия Вилкоксона ) е оказывается равным 3/л ~ 0,95, если F и G — нормальные распределения с одинаковой дисперсией. В случае, когда F и G не предполагаются нормальными, но отличаются только сдвигом, эффективность е зависит от вида распределений. Эта эффективность всегда ^0,864, но может превысить 1 и даже быть бесконечной. Для критерия Фишера — Иэйтса сравнение оказывается еще более благоприятным. Его асимптотическая эффективность по отношению к /-критерию всегда ^1, когда F и G отличаются только сдвигом, и равна 1 в частном случае нормального распределения F. Тот же результат справедлив и для критерия Ван-дер-Вар-
дена, который асимптотически эквивалентен критерию Фишера — Иэйтса.
Упомянутые результаты не зависят от предположения о равенстве объема выборок; они остаются также справедливыми, если т!п и т*1п* стремятся к общему пределу р, 0 < р < оо, когда п~>оо. Асимптотические результаты хорошо согласуются с теми, которые найдены для выборок малого объема по крайней мере в случае нормального распределения F.
Для проверки гипотезы G = F при двусторонней альтернативе, состоящей в том, что величины Y стохастически меньше или больше величин X, можно применить двусторонний вариант рассмотренных выше критериев. В частности, если т = п, то (17) подсказывает, что критическую область здесь можно взять в виде
IEMs/) — ZA(rz)|>C.
Теория этих вопросов, однако, здесь находится на менее удовлетворительном уровне, чем для случая односторонних гипотез. Так, например, для двустороннего критерия Вилкоксона с h(k)—k и других подобных критериев даже не известно, являются ли они несмещенными при рассматриваемых двусторонних альтернативах или будут допустимыми в классе всех ранговых критериев. С другой стороны, относительная асимптотическая эффективность их та же, что и для случая односторонних альтернатив.
Гипотеза G = F для двух выборок может также проверяться при общей альтернативе G ^ F. Эта задача возникает, скажем, при решении вопроса о том, можно ли два продукта, два множества данных и т. п. объединить вместе, когда ничего не известно о характере их распределений. Поскольку на альтернативные распределения не налагается ограничений, проблема остается инвариантной при всех преобразованиях
x< = f(xz)» У^^У^У i=V,...,m; j=\п,
таких, что функция f имеет только конечное число разрывов. Не существует критериев, инвариантных относительно этой группы, за исключением только критерия <р(х, у) = а.
Этот критерий, однако, не является допустимым, поскольку существуют критерии для Н, строго несмещенные при всех альтернативах G ^ F (задача 34). Наиболее часто к рассматриваемой задаче применяется критерий Смирнова, состоящий в следующем. Пусть эмпирические функции распределения двух выборок определены по формулам
5*1xm =•S»1«п = ^’
где а и b — числа х и у, меньших или равных z, соответственно. Тогда гипотеза Н; G = F отвергается ), если
sup | 8Х1*m (z) SS|yn (z) | > C.
Гипотеза симметрии
В разделе 7 было показано,что проверка гипотезы об отсутствии эффекта обработки методом парных сравнений сводится с помощью принципа инвариантности к проверке гипотезы
Н'^. D (z) + D (— z) = 1 для всех г.
т. е. к проверке того, что распределение D разностей Z, = У,-— — Xi^i = 1TV) симметрично относительно начала коорди- " нат. Распределение D может быть описано тройкой (р, F, G), где
p = P{Z<0}, P(z)==P{|Z|<z|Z <0),G(z) = P{Z<z|Z>0).
В этих терминах гипотеза симметрии распределения относительно начала координат будет эквивалентна гипотезе
Н; р = 1, G = F.
Как было показано, инвариантность и достаточность редуцируют данные к рангам Si < ... < Sn положительных величин Z в ряду абсолютных значений |Zi|, ..., |Zw|. Вероятность, что Si = sb ..., Sn = sn, равна вероятности этого события при условии, что п задано, помноженной на вероятность того, что число положительных наблюдений равно п. Следовательно,
Р {Si — Si,..., Sn — s^} —
= ( Nn ) (1 - Р)" РМ~ПРР. G {$! = ЯS„ = Sj П},
где последний сомножитель дается формулой (18). Если справедлива гипотеза И, то эта вероятность равна
Р {Si = Si, ..., Sn = $л} = -^-,
N
для каждой из Х(п)==^ЛГ групп (sis„), удовлетворяю- «=0
щих условию 1 ^ $1 < ... < sn ^ М Поэтому каждый ранговый критерий уровня а = k)2N отвергает гипотезу в области, состоящей в точности из к таких точек (sb ..., sn).
Альтернатива К о благоприятности эффекта применяемого способа обработки характеризуется тем, что случайная величина Z стохастически больше, чем некоторая случайная величина, симметрично распределенная около 0. Представляется естественным искать область, где гипотеза Н отбрасывается, в виде /i(si)+ ... 4-Л(«„)>С, здесь п не будет постоянным, как и в задачах о двух выборках, но зависит от результатов наблюдений. Частными случаями являются одновыборочный критерий Вилкоксона с h(s) = s и аналог критерия Фишера — Иэйтса с A(s) = £(W'<s>), где Ww <. ... < Ww — упорядоченные значения величин |Vi|, ..., | Vjv|, причем Vi образуют выборку из распределения N (0,1). Тем самым W здесь образуют упорядоченную выборку объема N из распределения с плотностью, равной V2/л e-™^2 для w 0.
Как и в задаче о двух выборках, можно показать, что каждый из этих критериев является наиболее мощным (среди всех инвариантных критериев) для некоторых альтернатив и что они оба оказываются несмещенными при альтернативах класса К. Их асимптотическая эффективность по сравнению с /-критерием, служащим для проверки того, что среднее значение Z равно нулю, имеет те же самые значения 3/л и 1 соответственно, как и для аналогичных двувыборочных критериев, если предположить, что случайные величины Z нормально распределены.
В некоторых приложениях, например тогда, когда выводы приходится делать на основе данных, полученных при разных экспериментальных условиях или разными методами, было бы нереально считать величины Z\, ..., ZN одинаково распределенными. Вместо этого предположим, что Zi все еще остаются независимыми, но их (непрерывные) распределения Di произвольны. Проверяемая гипотеза состоит в том, что каждое из этих распределений симметрично относительно точки О.
Эта задача остается инвариантной при всех преобразованиях z\ = f{ (z;),i = 1, ..., N, где функции ft непрерывны, нечетны и строго возрастают. Максимальным инвариантом здесь является число положительных наблюдений и, как это следует из примера 7, существует РИМ инвариантный критерий, а именно критерий знаков, отклоняющий проверяемую гипотезу, когда п достаточно велико. Этот критерий отражает тот факт, что размеры самих наблюдений или их абсолютных значений можно всецело
объяснить в терминах «разброса» распределений Du так что существенны только знаки величин Z.
Часто случается, что величины Z разумно считать одинаково распределенными, но доверять всецело этому предположению не представляется возможным. В этом случае предпочтительнее было бы использовать информацию, содержащуюся в рангах $и но потребовать, чтобы применяемый критерий позволял контролировать вероятность ложного отбрасывания гипотезы даже и тогда, когда сделанное предположение неверно. Как показывает нижеследующая лемма, это требование на самом деле выполняется для каждого (симметричного) рангового критерия. Фактически, лемма не требует даже независимости величин Z; будет показано, что каждый симметричный ранговый критерий сохраняет установленный уровень значимости, если только внутри каждой пары предмет обработки выбирается случайным образом.
Лемма 3. Пусть ф(2Ь ..., 2^) — симметричная функция от N переменных такая, что
^оФ^ь ..ZN^ = a,(20)
когда величины Z образуют выборку из некоторого непрерывного распределения D, которое симметрично относительно начала координат, тогда
£<p(Zb..., Z^-a,(21)
если совместное распределение Z не меняется при 2м преобразованиях Z\ = ± Zi, ..., Z'n = ± Zn.
Доказательство.. Из условия (20) вытекает, что
У £ф(±г/.z^)^-^!) = а почти всюду, (22)
(Л
где внешнее суммирование распределено на все ^! перестановок (/ь •••> i»), а внутреннее—на все 2N возможных выборов знаков + и —. Этот факт устанавливается в точности так же, как и в теореме 3 главы 5. Если к тому же функция <р симметрична, то из (22) следует, что
(23)
Предположим, что распределение Z инвариантно относительно указанных выше 2N преобразований. Тогда условная вероятность каждой комбинации знаков величин Zb ..., ZN при заданных |Zi|, ..., \ZN\ равна 1/2^. Следовательно, (23) эквивалентно тому, что
E^(Zb ..., ZN)\\ZX I, ..., | ZN |] = a почти всюду, (24) откуда следует (21), что и надо было показать.
Инвариантные доверительные множества
Доверительные множества для параметра 6 при наличии мешающих параметров Ф рассматривались в главе 5 (разделы 4 и
в предположении, что параметр 9 — действительный. Соответствие между областью Д(90), где принимается гипотеза Я(9о): 9 = 9о, и доверительным множеством S (х) для 9 задается формулами (34) и (35) главы 5. Однако оно не зависит от этого предположения и выполнено независимо от того, является ли 9 действительным числом, вектором или служит только для обозначения неизвестной функции распределения (в последнем случае доверительные интервалы становятся доверительными границами для функции распределения). Указанное соответствие, которое можно выразить в виде соотношения
9eS(x) тогда и только тогда, когда хеД(9), (25) служило основой для получения равномерно наиболее точных и равномерно наиболее точных несмещенных доверительных множеств. В настоящем разделе это соотношение будет использовано для получения равномерно наиболее точных инвариантных доверительных множеств.
Мы начнем с определения инвариантности для доверительных множеств. Пусть G — группа преобразований переменной X, сохраняющая семейство распределений {Р9 Й (9, А) е О}, а О — индуцированная группа преобразований на Q. Если g(9, 6) = = (9', 4'), то мы будем предполагать, что 9' зависит только от g и 9, но не от ■9, так что g индуцирует преобразование в пространстве значений параметра 9. Чтобы не усложнять обозначений, будем писать 9' — £9. Для каждого преобразования geG обозначим через g* преобразование множеств S в пространстве параметра 9, определенное формулой
/S = {g9:9eS), (26)
так что g*S есть множество, полученное применением преобразования g к каждой точке 9 е S. Каждая доверительная процедура, задаваемая классом доверительных множеств S(x), будет называться инвариантной относительно группы преобразований G, если
" g*S (х) = S (gx) для всех х е Ж, g е G. (27)
Это определение является частным случаем применения общего принципа инвариантности, рассмотренного в главе 1. Если преобразование g интерпретировать как замену системы координат, то (27) означает, что доверительные множества не зависят от координатной системы, в которой выражены исходные данные. Утверждение, что преобразованный параметр g9 лежит в 5 (gx), эквивалентно тому, что 9 е g*-^(gx), а это эквивалентно
первоначальному утверждению, что 9eS(x), если только выполнено условие (27).
Пример 11. Пусть X, У — независимые нормально распределенные величины со средними |, Т] и единичной дисперсией, и пусть G — группа всех движений плоскости, которая порождается всеми сдвигами и ортогональными преобразованиями. Здесь g = g для всех g е G. Инвариантный класс доверительных множеств образуют, например, все круги радиуса V С с центром в (^ уУ
Множество g*S(x, у)—это множество всех точек g^, п) с (£> П) е S(x, у) и, следовательно, оно получается, если S(x, у) подвергнуть движению g. В результате получится окружность радиуса ^fc с центром g(x,y); тем самым условие (27) удовлетворяется.
В соответствии с определением, данным в главах 3 и 5, класс доверительных множеств для 0 будет называться равномерно наиболее точным инвариантным классом с доверительным уровнем 1 — а, если среди всех инвариантных классов множеств с этим уровнем он минимизирует вероятность
Р^ {О' е S (х)} для всех 0' #= 0.
Чтобы из семейства РНМ инвариантных критериев получить доверительные множества с этим свойством, изучим соотношение между инвариантностью доверительных множеств и связанных с ними критериев.
Предположим, что для каждого 0е существует группа преобразований Ge^ которая сохраняет инвариантной задачу проверки гипотезы /7(0о):О = Ое. Пусть G — группа преобразований, порожденная совокупностью групп Ge-
Лемма 4. (I) Пусть S(x)—любой класс доверительных множеств, который инвариантен относительно группы преобразований G, и пусть А (6) = {х:9е S(x)}; тогда область принятия Д(0) инвариантна при Ge для каждого 0.
) Если, кроме того, для каждого 0е область принятия Д(0е) является РНМ инвариантной для гипотезы //(0е) уровня а, то класс доверительных множеств S(x) будет равномерно наиболее точным среди всех доверительных множеств доверительного уровня 1 — а.
Доказательство. (I) Рассмотрим некоторое фиксированное 0 и пусть g г Ge. Тогда
gA (0) = {gx: geS (х)} = {х : 0 е S (g~'x)} =
= {х: 6 е g*"‘S(x)} = {х: gd е S (х)} =
= {х:0е5(х)} = Д(0).
Здесь третье равенство выполнено, так как S(x) инвариантно, а пятое — поскольку g е Ge и, следовательно, g9 = 0.
) Если S'(x) есть некоторый другой инвариантный класс доверительных множеств с заданным уровнем, то соответствующие области Л'(0), согласно (I), определяют инвариантные критерии для гипотез //(0). Отсюда следует, что эти критерии являются равномерно не более мощными, чем критерии с областями принятия Л(0). Следовательно,
Р0, 0 {0' е S (х)} < Р^ о {0' е S' (х)} для всех 0' =# 0, что и надо было показать.
Из этой леммы непосредственно следует, что если для каждой гипотезы /7(0) (инвариантной относительно Go) найдены РИМ инвариантные области Л (0) и если доверительные множества S(x) = {0 : хе Л(0)} инвариантны относительно G, то эти множества являются равномерно наиболее точными инвариантными доверительными множествами.
Пример 12. В предположениях, сделанных в примере 11, задача проверки гипотезы g = g0, т) = т)0 инвариантна относительно группы G^ ^ ортогональных преобразований около точки (Во, Ло):
X' — Во 5=8 ^11 (X — Во) + ^12 (У — Ло),
У' — Ло = o2i (X —- Во) + 022 (У — Ло),
где матрица ац ортогональна. Относительно этой группы преобразований существует PHM инвариантный критерий с областью принятия гипотезы (задача 8 главы 7)
(^-Во)2 + (У-Ло)2<С.
Пусть Go — наименьшая группа, содержащая группы G^ ^ для всех В, Л- Поскольку эта группа является подгруппой группы G примера 11 (эти две группы в действительности совпадают, но сейчас это несущественно), то доверительные множества (X — В)2 + (У— Л)2 ^ С инвариантны при Go и, следовательно, являются среди инвариантных равномерно наиболее точными.
Пример 13. Пусть Хь ..., Хп — независимые, нормально распределенные величины со средним В и дисперсией о2. Построение доверительных интервалов для В основано на решении задачи о проверке гипотезы Я(Во): В = = Во, которая инвариантна относительно группы G^ преобразований X. = = a ^Xt — g0) + Bq (а ^ 0)- РНМ инвариантный критерий для Н(Во) имеет область принятия
V(n-l)n|X-go| <с
которой соответствуют доверительные интервалы
* - Jy № -1)1 < К Й /-Д—й VZ№ "1)2‘ (28) уп(п— 1) V 1) V <
Группа G в настоящем случае состоит из всех преобразований g: Xt = aXt + + 6 (а ^ 0), которая для параметра В индуцирует преобразование g: В' = = «В + Ь. Применение соответствующего преобразования g* к интервалу (28) преобразует его во множество точек а^-\-Ь, где В удовлетворяет (28), т. е.
в интервал, начальная и конечная точки которого имеют вид
аХ + 6 — | а |С
аХ + b -}-1 а | СаХ + b -}-1 а | С£ Vh - хуп (п — 1)£ Vh - хуп (п — 1)
аХ + b -}-1 а | С
аХ + b -}-1 а | С
£ Vh - ху
п (п — 1)
£ Vh - ху
п (п — 1)
Поскольку интервал с этими концами совпадает с интервалом, полученным заменой в (28) Xi на aXi + b, то доверительные интервалы (28) инвариантны при Go и, следовательно, являются среди инвариантных равномерно наиболее точными.
Доверительные границы для функций распределения
Предположим, что X = (Хь ..., Хп) есть выборка из совокупности с неизвестной непрерывной функцией распределения F; пусть надо определить нижние и верхние границы Lx и Мх так, чтобы с заданной вероятностью 1 — а неравенства
Lx (“) ^ F 00 ^ Мх (и), где и любое,
выполнялись для всех непрерывных функций распределения F. Эта задача инвариантна относительно группы G, состоящей из преобразований
X't = gUi),
где g — любая непрерывная строго возрастающая функция. Индуцированное преобразование в пространстве параметров задается формулой gF = F(g-1).
Если S(x) есть множество непрерывных функций распределения
S (х) = {F:LX (и) ^F(u)^ Мх (и) для всех м), тогда
g*S (х) = Vg?: Lx (и) ^ F (м) ^ Мх (и) для всех м} =
= {F: Lx\g~x 00Х ^ 0*Х Мх [g-1 (и)] Для всех и\
Для инвариантных процедур это множество должно совпадать с множеством
5 (gx) = (F: Lg (Xl) (,п) (u) < F («)<
<Mg^»(*„)(«) для всех и}.
Поэтому принцип инвариантности приводит к условию
Lg (хх)g ^хп^ [g (и)] = Lx (и); Mg ^ g ^хп^ [g (w)] = Мх (х)
для всех х и и.
Чтобы охарактеризовать совокупность инвариантных процедур, рассмотрим эмпирическую функцию распределения ТХ) задаваемую формулой
Тх(и) = -^ для Xw<u < xu+x\ i = 0,...,n,
где xw < ... < xw — упорядоченная выборка и где х№ = —оо, X(n+D = оо. Тогда необходимое и достаточное условие для того, чтобы L и М удовлетворяли указанному выше условию инвариантности, состоит в существовании чисел Ооап; а'о, ... ..., а'п таких, что
Lx (и) = аь Мх (и) = a'i для xw < и < x(Z+l).
Достаточность этого условия очевидна. Для доказательства необходимости обозначим и и и' две точки, удовлетворяющие условию х^ <и<и' < х<-£+х\ Для заданных уь ..., уп и о с у(0 < ц < yW> существуют g, g' eG такие, что
g^^g'^^xW, g^ = u, g'(^ = u'.
Если Lx, Mx инвариантны, то £,(«') =Ly(o), L,(u) = ^(о) и, следовательно, Lx(u') = Lx(u); аналогично этому Мх(и') = = Мх(1и'), что и требовалось доказать. Это показывает, что Lx и Мх будут ступенчатыми функциями, точки разрыва которых совпадают с точками разрыва Тх.
Поскольку каждые две непрерывные строго возрастающие функции распределения могут быть преобразованы друг в друга посредством преобразования g, то вероятность того, что они будут накрыты инвариантной доверительной полосой (см. задачу 48), одна и та же. Предположим теперь, что F непрерывна, но не обязательно строго возрастает. Если / есть некоторый интервал постоянства F, то наблюдения не попадают в /, так что / является интервалом постоянства так же и для эмпирической функции распределения. Отсюда следует, что вероятность доверительной полосе накрыть F не зависит от наличия интервала / и, следовательно, имеет одно и то же значение для всех непрерывных функций распределения F.
Для любых чисел at, a'i определим Дь Д/ посредством соотношений
ai — ^~ ^ь ai = ± + &i.
Из сказанного выше видно, что любые числа До, ..., Дп; ДоД„ определяют доверительную полосу для F, которая инвариантна, и, следовательно, имеет постоянную вероятность накрыть распределение F. С помощью этих доверительных областей может быть получен критерий согласия для гипотезы о том,
что неизвестное F равно некоторому Fo; F = Fo. Гипотеза принимается, если Fo лежит целиком внутри полосы, т. е. если
— Az < Fo (ы) — Тх (u) < Az для всех х^ <и< x(z+l)
и всех i = 1, ..., п.
Внутри этого класса не существует РНМ критерия и наиболее удобен выбор Az = А/= А для всех I. Область, в которой для этого критерия, называемого критерием Колмогорова ), принимается гипотеза F = Го, может быть тогда записана в виде
sup I Fo (и) — Тх (и) | < Д.
— ОО<Ц <оо
Этот критерий является предельным случаем двувыборочного критерия Смирнова, когда число наблюдений во второй выборке стремится к бесконечности.
Задачи
К разделу 1
Пусть G— группа измеримых преобразований пространства (^, ^), оставляющая семейство ^ = ^Р^ 6еЙ} инвариантным, и пусть Т^ —измеримое отображение в пространство (^, ^). Предположим, что из Т^Хх) = = Т(х2) вытекает, что T(gxx) = T(gx2) для всех g^G так, что G индуцирует группу G* на <7* с помощью соотношений g*T(x) — T^gxY Предположим далее, что индуцируемое преобразование g* ^-измеримо. Тогда группа G* оставляет семейство распределений ^т = ^Р^, 0 е □} на Г инвариантным.
К разделу 2
(I) Пусть ^ — совокупность точек х = (хь ..., хп^ все координаты которых отличны от нуля, и пусть G — группа преобразований xt = cxt, с > G. Тогда максимальным инвариантом относительно группы G является (sgnx/г, хх1хп, .... xn-\!xnV где sgnx равно 1 или —1, когда х положительно или отрицательно.
(II) Пусть 88— пространство точек х = (хь ..., хл), все координаты которых различны, и пусть G — группа всех преобразований xt = f (х^), i = 1, ..., п, таких, что f есть взаимно однозначное отображение действительной прямой на себя с самое большее конечным числом точек разрыва. Тогда группа G транзитивна на 88.
[(II) Пусть х = (хр ...» х^ и х' = (хр ..., х') — две точки из 8В. Пусть /1In — множество непересекающихся полуинтервалов, которые (вместе с их концевыми точками) покрывают действительную прямую и такие, что Xj^Ij. Обозначим Jv...,In соответствующие множества интервалов для хр ..., х'. Тогда существует преобразование f, которое отображает каждое lj непрерывным образом в Iр точки Ху-—в Ху, и множество из п—1 концевой точки интервалов /ь ..., 1п — в множество концевых точек интервалов /р ..., 1п.Д
(I) Достаточное условие для того, чтобы (8) было выполнено, состоит в том, что D есть нормальная подгруппа G.
Если G есть группа преобразований х' = ах + Ь, а Ф 0, —оо < < b < оо, тогда подгруппа сдвигов х' = х + b является нормальной, подгруппа же преобразований х' = ах таковой не будет. [Подгруппа называется нормальной, если для каждых deD, gEG, существует cI'eD такой, что gd = d'g. Из равенства s(xi) = s(x2) следует, что х? = dxb для некоторого d е D и, следовательно, ех2 = edxx = d'exx. Результат п. (I) немедленно вытекает из того, что преобразование s инвариантно при DJ
К разделу 3
Пусть f(x,y)—совместная плотность величин X, У. Тогда интеграл А (г) = ^ f (у — г, у) dy конечен для почти всех z и является плотностью вероятности для Z = У — X.
[Поскольку Р \Z <.Ь\ = А (г) dz конечна, то функция А конечна почти всюду.]
(I) Пусть Х = (Xi Хл) — случайный вектор с плотностью (1/0")/[(*i —£)/0, ..., (хп — ^!^ где — оо < g < оо, О<0 неизвестны и где f есть четная функция. Задача проверки гипотезы f = fo при альтернативе f = h остается инвариантной относительно преобразований xz = axt + b (i — 1, ..., nV а ^ 0, —оо < А < оо, и наиболее мощный инвариантный критерий отвергает гипотезу f = f0 в области
vn""2fx (у^1 + ц, ..., ихп + и) dv du >
— ОО О
>С vn~2f0 (uxi + и, ..vxn + и) dv du.
— оо О
(II) Пусть X = (Хь ..., Хп) имеет плотность вероятности
f(xi - ^ wu»iхп - Е ^а).
где к <; п, величины w заданы, а величины р неизвестны. Желательно проверить гипотезу f = f0 при альтернативной гипотезе f = fx. Эта задача остается инвариантной при преобразованиях х^ = xt- + X w ц^р 00 < Yp • • •
..., Y& < °°,и наиболее мощный инвариантный критерий характеризуется критической областью
$ • • • $ fo (*i - X ”м^х« ~ X ^м^ d₽i • • • ^
[Максимальным инвариантом является функция
^ = 1X1 У aXrxn Х2 У a2rxr>***i хп—к— У йп—к^ rxr ) \ г=п-к-Нr=n-k-V\r=n—fc+l/
с надлежащим образом подобранными константами аЦ
Пусть Хь ..., Хт; Уь ..., Уп — выборки из экспоненциальных распределений с плотностями а-1е~^х-^° для x^g и т~1е”<1'~11)/т для ^ ^т|.
В проверке гипотезы т/о ^ А при альтернативе т/о > А существует РИМ критерий, инвариантный относительно группы преобразований G;
Х^ = aXt + 6, y'i = aYJ + с, а > 0, — оо < 6, с < оо.
Гипотеза отвергается в области
Z^z-min^!х„)]’
Этот критерий является также РИМ несмещенным.
Распространить эти результаты на тот случай, когда наблюдаются только г наименьших значений X и S наименьших значений У.
[(ID См. задачу 12 главы 5.]
Если Хь ..., Хп и Уь ..., Уп — выборки из нормальных распределений N(£, а2) и ^(т],т2) соответственно, то задача проверки гипотезы т2 = о2 при двусторонней альтернативе j2 =/= а2 остается инвариантной относительно группы G, порожденной преобразованиями
X'. = aXt + b, Y'^aY. + c, а 0 и Х', = Y„ Y't=X,.
Существует РИМ инвариантный относительно G критерий, отклоняющий ги
потезу в области
IF = шахIF = шах^Xi-xy’ ^(.Yi-Yy^Xi-xy’ ^(.Yi-Yy
IF = шах
IF = шах
^Xi-xy’ ^(.Yi-Yy
^Xi-xy’ ^(.Yi-Yy
[Отношение плотностей вероятностей величины W, подсчитываемое в предположении т2/о2 = А и т2/о2 = 1, пропорционально [(1 + tw)/(A + w)]”-1 + + [(1 + w)K\ + Айу)]”"*1 для w > 1. Производная этого выражения > 0 для всех А.]
К разделу 4
(I) Воспользовавшись критерием (11) для проверки гипотезы Н\ р ^ ^ рй при альтернативе Кл р Т> ро, определить число необходимых наблюдений для получения мощности 0, если этот критерий применяется для проверки гипотезы р = рх, а = 0,05, 0 = 0,9 для случаев р0 = 0,1, рх = 0,15; 0,20; 0,25; ро = 0,05, рх = 0,10; 0,15; 0,20; 0,25; р0 == 0,01, рх = 0,02; 0,05; 0,10, 0,15; 0,20.
(II) Сравнить полученный результат с числом наблюдений, требуемых в том случае, когда проверка производится по качественному признаку, т. е. критерий основывается на суммарном числе дефектных изделий, и также со средним числом наблюдений, если для проверки гипотез ро и рх применяется биномиальный последовательный критерий отношений вероятностей.
Последовательный t-критерий. Гипотезу р ^ ро, что эквивалентно V^/a<d0, рассмотренную в разделе 4, можно проверять с помощью следующего последовательного /-критерия. Пусть д0 < 6ь
Я9Я9(*i + ... У ХпМ^ПSnHn—\(*i + ... У ХпМ^ПSnHn—\
Я9
Я9
(*i + ... У ХпМ^ПSnHn—\
(*i + ... У ХпМ^ПSnHn—\
Если рд (/1^n—i) обозначает совместную плотность величин /ь ..., t„_x
то наблюдения продолжаются, если
Ло <Ло <^di (^р?б0 (ZP^di (^р?б0 (ZP
Ло <
Ло <
^di (^р
?б0 (ZP
^di (^р
?б0 (ZP
и при первом нарушении одного из этих неравенств гипотеза принимается или отвергается в зависимости от того, < Ло или > Ах вероятностное отношение.
Можно показать), что эта процедура заканчивается с вероятностью единица. Используя этот факт, показать, что неравенства (34) главы 3 выполнены в настоящем случае.
Эта процедура очень проста и может быть основана на таблицах плотности нецентрального /-распределения, если заметить, что
Рб, (^р-м ^-1) _ Рбц (^П—1)
Рб.^'„-1)^(^-1)'
гДеРб(^-1) есть плотность нецентрального /-распределения, задаваемого формулой (75) главы F, с f = п— 1.
Интересно отметить, что это отношение вероятностей может быть представлено как отношение плотностей первоначальных величин Хь ..., Хт усредненных по инвариантной (относительно умножения на число) мере dolox так что оно равно
S №[ 20» 2 ^i 61а)'] do
S rMsr exp [- 2(x‘ - 6°a)2] "T
[(I) Доказательство проводится аналогично доказательству формулы (34) главы 3.
(И) )•
Сделать преобразование и' = и/6 и сравнить с отношением Н^Д 10. Двусторонний t-критерий. (I) Пусть Х^ .... Хп— выборка из ^(^, б2). В задаче различения гипотез £ = 0 и ^ ^ 0 существует РИМ инвариантный критерий (относительно группы преобразований Х^ = сХг, с ^ о), являющийся двусторонним /-критерием (17) главы 5.
Пусть Х\Хт и Уь ♦ Уп —выборки из N(%, б2) и W(t), б2) соответственно. При проверке гипотезы q = g при альтернативе л S существует РИМ инвариантный относительно группы преобразований Xt = аХ{ + Ь, Yj = aYj + Ь» а Ф 0, критерий, а именно двусторонний /-критерий (30) главы 5.
[(I) Достаточность и инвариантность редуцируют задачу к статистике |/|, которая в обозначениях раздела 4 имеет плотность вероятности р^ W + Р^ (~ О Для ^ > 0. Отношение этих плотностей при 6 = б4 и 6 = 0 пропорционально ^ (e61V + e“6,v) gtl (у) du, что является возрастающей функ- о
цией от /2 и, следовательно, от |/1.1
Проверка гипотез о коэффициенте корреляции. Пусть (Хь У1), ... ...» (Хп, Уп) — выборка из двумерного нормального распределения.
) В задаче проверки гипотезы р ^ р0 при альтернативе р > ро существует РИМ критерий, инвариантный относительно группы всех преобразований X; = aXt + 6, Y^ = cYt + d с a > 0 и с > 0. Согласно этому критерию гипотеза отвергается, когда выборочный коэффициент корреляции R достаточно велик.
) Задача проверки гипотезы р = 0 при альтернативе р ^ 0 остается инвариантной еще и при преобразованиях Y • = — Y^ Xt = Xv Относительно группы, порожденной этим преобразованием и преобразованиями из (I), существует РИМ инвариантный критерий с областью отклонения гипотезы 1^1 > с.
[(I) Показать, что плотность вероятности рр (г) для R имеет монотонное отношение правдоподобия, применить условие из главы 3 (задача 6 (I)) к выражению (85) для этой плотности, данному в главе 5. Полагая / = = рг— 1, для второй производной д2 log рр (г)/др дг получим выражение
£ clCltW-2 [(/ - Z)2 (t - 1) + (i + /)]
Для доказательства того, что числитель положителен для всех / > 0, заметим, что он больше, чем
2^Г2 Е с/[(/-О2 (/-1)+ («• + /)]•/ = 0/=/ + 1
фиксируя индекс I и употребляя неравенство ci^.\<"2Cp получим, что во внутренней сумме коэффициент при t1 будет ^ 0.]
В задаче проверки гипотезы о том, что коэффициент корреляции р двумерного нормального распределения будет ^ ро, определить мощность, если альтернатива состоит в том, что р = рь Уровень значимости а равен 0 05, Ро = 0,3, pi = 0,5 и число наблюдений п равно 50; 100; 200.
К разделу 5
Почти инвариантность критерия ф относительно группы преобразований G задачи 7 и примера 6 влечет за собой тот факт, что ф эквивалентно некоторому инвариантному критерию.
К разделу 6
Рассмотрим задачу проверки гипотез, которая инвариантна относительно группы G преобразований пространства выборок, и пусть ^ — класс критериев, замкнутый относительно G, т. е. из условия ф е # следует (pg е ^, где ф^ — критерий, определенный формулой Ф^(^) = ф(^)« Если в этом классе существует единственный с точностью до множеств меры 0 РИМ критерий фо, тогда фо является почти инвариантным.
Огибающая функция мощности. Пусть S(a) —класс критериев уровня а для гипотезы Я, и пусть 0а (0) — огибающая функция мощности, определенная соотношением
p*a(6)= sup Рф(0),
6eS(a) *
где Рф обозначает функцию мощности критерия ф. Если задача проверки гипотезы Н инвариантна относительно группы G, то Ра (0) инвариантна отно-, сительно преобразований индуцированной группы G.
Обобщением равенства (1) служит соотношение
Jf (x)dPQ(x) = J f (g-'x) dPg9 (х).
AgA
Если PQ1 абсолютно непрерывна относительно мерыР9о, тогда Р^ абсолютно непрерывна относительно Р^ и
dP^ t/P=e
"dF" ^ = dP- ' ^ (Ре.-почти всюду).
Распределение плотности dP^dP^ (X), когда X распределено по закону Р^ то же самое, что и распределение величины dP^/dP^ (Х^, когда X' распределена по Р^й.
Инвариантность отношения правдоподобия. Пусть семейство распределений ^ = ^P^t 0eQj доминируется мерой р,, Р^ = dP^d^ и пусть №-1— мера, определенная соотношением М^_1(Л) = Н^ЦЛ)]; предположим, что мера р абсолютно непрерывна по мере ц^-1 для всех g е G.
Тогда
Ре (*) = Pg9 (gx) d^_, (gx) (ц-почти всюду).
ниениечто биячто бияПусть Q и о инвариантны относительно G и счетны. Тогда отноше- правдоподобия sup pft (x)/sup ра (х) почти инвариантно относительно G.
ние
ние
что бия
что бия
Предположим, что р^ (х) — непрерывная функция по 0 для всех х, Q сепарабельно и что Q и (о инвариантны. Тогда отношение правдоподо- почти инвариантно относительно G.
Пример, когда критерий отношения правдоподобия не является допу-
стимым. Во многих применениях, в которых РИМ инвариантный критерий существует, он совпадает с критерием, основанным на отношении правдоподобия. Однако это не всегда так, что видно из следующего примера. Пусть Рь • • •, Рп — п равноудаленных точек на окружности х2 + у2 = 4 и Qb ... ..., Qn — на окружности х2-V у2 = V Обозначим начало координат в плоскости х, у через О; пусть фиксировано а, 0 < а < 1/2, и пусть величина (X, У) принимает 2л + 1 значение PiРп, Qi, .. •, Qn, О с вероятностями, задаваемыми следующей таблицей:
Pi Qiо
н к
а/п (1—2а/)ла
Pifn0(л—1)/л
где ^Р/ — !- Задача остается инвариантной относительно вращений плоскости на углы 2Ы)п (k = 0, 1, ..., п— 1). Область, где гипотеза Н отвергается, если пользоваться критерием отношения правдоподобия, состоит из точек Pi, ..., Р», и его мощность равна \(п. С другой стороны, РИМ инвариантный критерий отвергает Н, когда X = У = 0, и его мощность равна (л— 1)/л.
Пусть G — группа преобразований пространства 86, э^ — о-поле подмножеств 86 и р, —мера на (^, ^). Тогда множество Ле^ называется почти инвариантным, если таковой является его характеристическая функция (индикатор).
Совокупность почти инвариантных множеств образует a-поле з^о, и критическая функция почти инвариантна тогда и только тогда, когда она Соизмерима.
Пусть ^ = {Рр, 0 s Q}— доминированное семейство вероятностных распределений на (^, ^), и предположим, что £0 = 0 для всех g е 5,0 eQ. Тогда о-поле ^0 почти инвариантных множеств достаточно для ^.
[Пусть Х = ^с<Ре; эквивалентна ^. Тогда
dP.олdP.олdP । g"^dP । g"^dP^
dP.ол
dP.ол
dP । g"^
dP । g"^
2 с<-"-«-■»2 с<-"-«-■»— (х) =(х) (Х-почти всюду),
2 с<-"-«-■»
2 с<-"-«-■»
. dX ч
так что плотность dP^ldX почти инвариантна и, следовательно, ^-измерима.]
К разделу 8
20. Двувыборочный критерий Вилкоксона. Пусть Оц = 1 или 0, когда Xi < У/ или Xi > У/, и пусть U = X ^ Оц — число тех пар Xi, Yj, для которых Xt < У/.
Тогда U = ^ Si — ~ п (п + 1), где Si < ... < Sn — ранги величин У; таким образом, критерий с критической областью V > С эквивалентен критерию Вилкоксона.
Любое заданное расположение xi и у} может быть преобразовано в расположение х... ху... у посредством конечного числа перестановок соседних элементов Наименьшее число шагов, за которое заданное расположение можно перевести в указанное, равно т + п — U.
Математическое ожидание и дисперсия статистики Вилкоксона. Если X и У —• две случайные величины с непрерывными распределениями F и G соответственно, то математическое ожидание и дисперсия статистики Вилкоксона U, определенной в предыдущей задаче, задаются формулами
E(^^==p^x<Y^ = \FdG <29) \ МП /J
и
mnD (— ) = \ FdG + (n- 1) \ (1 -СУ dF +
\ пгп / jJ
-Hm-l^F2dC-(m-Vn-l^FdG^.(30)
При гипотезе G = F они равны
D(JL)_('" + - + n.„„
\ пгп у 2 \пгп / 12пгпх
(I) Пусть 2Ь ..., 2Д— независимые случайные величины с плотностями fi, ..., /п соответственно, и пусть ранг величины 2/ обозначается Г/. Если f есть некоторая плотность вероятности, положительная всякий раз, когда по крайней мере одна из функций // положительна, то
pVx = 4pVx = 4N L7W‘7gWJ’N L7W‘7gWJ’(32)(32)
pVx = 4
pVx = 4
N L7W‘7gWJ’
N L7W‘7gWJ’
(32)
(32)
где V(1) < ... < V(V) — упорядоченная выборка из распределения с плотностью f.
Если М = Ш + П, fX = . . . = fm = L fm + l = . . . = fm-Vn = g И S!<...<Sn обозначают упорядоченные ранги величин Zm^\, ..., Zm+n среди всех 2, то распределение вероятностей величин SiSn задается формулой (18).
[(I) Искомая вероятность равна ^ •-^ fi (^i) • • • fN ^nH* ^n* где интегрирование производится по множеству, в котором 2i есть //-е наименьшее из чисел z, i = 1, ..., N. При преобразовании г^ = 2^ интеграл становится равным ^ ... J fi (^/J $N (^tjy) ^1 * • • dwNi где интегрирование производится по множеству Wi < ... < wN. Желаемый результат теперь следует из того факта, что плотность вероятности порядковой статистики V(1) < ... < равна N\f (wx') ... Цюм) для < ... < wa/.]
(I) Для каждой непрерывной функции распределения F определим ^(О) = —оо, F-^y) = inf {х: F^ = yY для 0 <у < 1, F^W = 00, если
< 1 для всех конечных х, и в противном случае F-4y) = inf {х: F(x) = = 1}. Тогда FVF”4yYl = y Для всех 0 ^ у ^ 1, но ^ЧГ^)] может быть и меньше у.
Пусть 2 имеет непрерывную функцию распределения G^ = A[F(z)], гДе F и h — непрерывные функции распределения, последняя из которых
определена на (0,1). Если У = F(Z), тогда Р{У < у} = h^ для всех О у < 1.
Если Z имеет непрерывную функцию распределения F, тогда F(Z) равномерно распределено на (0,1).
[(II) Р (F(Z) <y) = P{Z< F"1 (у)) = F [F-1 (у)] = у.]
Пусть Zi имеет непрерывную функцию распределения Л (f = 1, ... .N^, и пусть G— группа всех преобразований Zz=f(Z;) таких^ что f непрерывна и строго возрастает.
Преобразование, индуцируемое функцией / в пространстве распределений, задается формулой F' = FZ (f-1).
Две ^элементные группы распределений (Fb ..., Fn) и (Ft, ..., F^) принадлежат к одной и той же траектории, отвечающей преобразованию G тогда и только тогда, когда существуют непрерывные функции распределения AiHn, определенные на (0,1), и строго возрастающие непрерывные функции F и F' такие, что Ft = ht (F), F^ = ht (f').
[(i) p a (zt) < yj=p ^ < r1 (y)}=Ft [p1 (y)L
Если Fl = hl (F) и p't принадлежат одной и той же траектории, т. е. F,= Ft(f-1\ тогда F't = h1(F'’) с р' = р(Г"Х\ Обратно, если F^h^F) F'^h^F'), тогда Р^рДр1) с f = F'~1(F).]
В предположениях предыдущей задачи,при Fi = hi(F) распределение рангов 71, ..., TN величин ZiZN зависит только от Ни но не от F. Если функции hi дифференцируемы, то распределение Tt задается формулой
где U^ < ... < № есть упорядоченная выборка объема N из равномерного распределения /?(0,1) на (0,1). [Левая часть равенства (33) есть вероятность того, что t-я из величин F(Zi), ..., F(Zn) является /гй наименьшей, 1 = 1, ..., N. Эта вероятность равна ^ ••• ^ ^1 (#1) ••• ^у(^)^> где инте* грирование производится по области, в которой yi есть ^-е наименьшее значение из у, 1=1, ..., N. Завершается доказательство так же, как и в задаче 22.]
Распределение порядковых статистик. (I) Если Zb ..., Z^ —выборка из распределения F с плотностью Д то совместная плотность величин Yi = = Z^Si\ i = 1, ..., п, задается формулой
I' to.»*— tf № - F.
... [l-F^)]^(34)
ДЛЯ У\ < . . . < Уп.
Для того частного случая, когда случайные величины Z равномерно распределены на (0, 1), указанная плотность вероятности равна
(s, - I)! ... (N - sn)l 91^92 9v^”' ^9n^‘( )
для п = 1 (35) есть плотность бета-распределения BS) n-s+\, которое тем самым оказывается распределением порядковой статистики Z^, если Zi имеют распределение /?(0, 1).
Пусть распределение величин Уь ..., Yn задается формулой (35), и пусть величины Vi определены из формул У/= Vi+x...Vn, i = 1, ..., п. Тогда совместное распределение величин Vt равно
Таким образом, случайные величины Vi независимы и распределены согласно бета-распределению Bs^ si+x-si
[(I) Если YX = Z^X\ ..., Yn = Z^n^ и Уя+Ь ..., Yn обозначают оставшиеся Z, взятые в первоначальном порядке их индексов, то совместное распределение величин Уь ..., Yn имеет плотность N (N — 1) ... (V — п + 1) X X 5 ••• ^(У»+1) ••• ((Ум)аУп+1 ••• ^N' где интегрирование производится по области, в которой si— 1 значение у меньше ух, $2— $1 — 1 значение лежит между ух и #2, ..., и N — sn значений > уп. Рассмотрим любое множество, где заданное Si — 1 значение из у меньше у^ зг — Si — 1 значение из них лежит между ух и у2 и т. д. Всего существует №Дзх— 1)! ... ^N — зпу. таких областей, и интеграл, взятый по каждой из этих областей, принимает одно и то же значение
[F («/.^'"'[^(^-^(yi)]54"51"1 ... [1 - F (у,)]*"8”].
(I) Если Xb .... Хт и У1Yn имеют непрерывные функции распределения F и G = h(F) соответственно, и если функция h дифференцируема, то распределение рангов Sx <_...<. Sn величин У задается формулой
р < с „ с _ о I _ £ Ь' ■••h' (к($п))]/36)
(Т)
где U^ < ... < Г/<т+п> есть упорядоченная выборка из равномерного распределения Р(0,1).
Если, в частности, G = F\ где к — положительное целое число, то формула (36) редуцируется к
Р {Si = sb ..., Sn = sn^ =
_ *" nЧц±1^А _M_ -(m + n)ll Г(5/)1 Г($/ + 1+/А-/)-
Для достаточно малых 9 > 0 критерий Вилкоксона максимизирует мощность (среди ранговых критериев) при альтернативах (F, G) с G = = (1—9)Р + 0Р2.
Другое доказательство оптимального свойства критерия Вилкоксона в задаче определения сдвига в логистическом распределении можно получить из предшествующей задачи, если приравнять Р(х—9) выражению (1—9)Р(х) + + 9Р2(х) и пренебречь более высокими степенями 9. Это приводит к дифференциальному уравнению F — 9F'= (1—9)Р + 9Р2, решением которого является логистическое распределение.
Пусть S^o — семейство вероятностных мер на (^, j^), и пусть ^ — класс преобразований пространства 98. Определим #"i как класс распределений такой, что Fi е ^ь если существуют Го ^ ^"о и f е ^ такие, что распределение f(X) есть Гь когда распределением X является Fo Если ф —критерий, удовлетворяющий условиям (а) Е/?оф(Х) = а для всех Fos^"o и (б) ф(х) ^ ф[/(х)] для всех х и всех f е ^, тогда ф является несмещенным при различении ^0 и
Пусть Хь ..., Хт\ Уь ...» Ул — две выборки из одного и того же непрерывного распределения F. Тогда статистика Вилкоксона U, определенная в задаче 20, симметрично распределена около точки Чгпт, даже если т Ф п.
Доверительные интервалы для сдвига. Пусть Хь ..., Хт и Уь ... .... Yn — выборки из совокупностей с функциями распределения F^ и G^ = F(y — L) соответственно. Гипотезу А = Ао можно проверить, применяя двусторонний критерий Вилкоксона к наблюдениям Xi и У/— Ао.
Доверительным интервалом для А является интервал
у(1) _ ^(т) < д < у(п) _ д(П
•1 п К т + п
когда доверительный коэффициент равен 1—2/11, и
min (У(1) - Х^~х\ У(2> - Х^ < Д < шах (У(п) - X®, Y(n~" - Х0*),
,,1* К т + п А
если этот коэффициент равен 1—4/1I.
) Определить доверительный интервал для А, если доверительный коэффициент равен 20/21, т = п = 6, наблюдения х; 0,113; 0,212; 0,249; 0,522; 0,709; 0,788, а у. 0,221; 0,433; 0,724; 0,913; 0,917; 1,58.
(I) Пусть X, X' и У, Y' — независимые выборки объема 2 из непрерывных распределений F и G соответственно. Тогда
р = Р {max (X, X') < min (У, У')} + Р {max (У, У') < min (X, X')} = у + Д,
где Д= (F-GpdKF + G)^].
(И) Д = 0 тогда и только тогда, когда F = G.
[(I) р = (1 — F)2 dG2 + (1 — G)2 dF2, что после некоторых преобразований дает требуемый результат.
Из условия А = 0 следует, что F(x) = G(xy за исключением множества N, имеющего меру нуль для каждого из распределений F и G. Предположим теперь, что G(xi) —F(Xi) = т) > 0. Тогда существует х0 такое, чта G (х0) = F (х0) + ^ Л и F(x) < 6(х) для Хо х < хь Поскольку G(xi) — — G(x0) > 0, то А > 0.]
Продолжение. (I) Для каждого уровня значимости а существует критерий проверки гипотезы Н: G = F, мощность которого >• а для всех непрерывных альтернатив (F, G) с F ^G.
Не существует нерандомизированного несмещенного критерия для проверки гипотезы Н при всех альтернативах G ф F с уровнем значимости
[(I) Пусть Хр Xt\ Yt1 Yt (Z=l, ..., n) — независимо распределенные случайные величины, причем X имеют распределение F, У — распределение G. Пусть далее, Vi = 1, если max (Х^ Х^ < min (У^, У^) или max (У^, Y^ <
< min (Xz, X)) и Vi = 0 в остальных случаях. Тогда ZVi имеет биномиальное распределение с вероятностью р, определенной в задаче 33, и задача сводится к проверке гипотезы р = 1/3 при альтернативе р *> 1/3.
Рассмотреть частные альтернативы, для которых Р(Х < У) равна 1 или 0.)
К разделу 9
(I) Пусть т и п— число отрицательных и положительных наблюдений среди ZjZn и пусть Si < ... < Sn обозначают ранги положительных Z в ряду величин |Zi |, ..., \ZN |. Рассмотрим N + ~ N (N — 1) различных сумм Zi-^Zj с I = / и I Ф j. Ранговая сумма Вилкоксона У Sy равна числу тех сумм (Zt + Z,), которые положительны.
Если D есть распределение величин Z, то
Е (£ S/) = 1 N (^ + 1) - ND (°) - 1N (N - 1) J D (- 2) dD (г).
[(I) Пусть К — число положительных сумм. Поскольку Zi + Zi положительно тогда и только тогда, когда наибольшее из чисел \Zi\ и |Z/[ положительно, то К = У У иц, где Un = 1, если Z/ > 0 и \Zt\ ^ Zb и Uy = 0 i = l /=1
в остальных случаях.]
Пусть Zi, ..., Zn будет выборка из распределения с плотностью f(z —0), где f(z) положительна для всех z и симметрична около 0, и пусть т и п определены, как и в предыдущей задаче.
Распределение величин п и Sy задается формулой Р {число положительных Z равно л и Si = si, ..., S« = $я) =
LJ* ' '
где Vt^ < ... < VW есть упорядоченная выборка из распределения с плотностью 2f(u) для у >0и 0 в остальных случаях.
Максимизирующий производную функции мощности в точке 0 = 0 и, следовательно, максимизирующий мощность для достаточно малых 0 > 0 ранговый критерий для гипотезы симметрии распределения относительно начала координат отвергает эту гипотезу, когда
В частном случае, когда f(z) есть плотность нормального распределения с нулевым средним, указанная в п. (II) область сводится к области £ Е (у^) > С, где V(1) < ... < VW есть упорядоченная выборка из Х-рас- пределения с одной степенью свободы.
Определить плотность f таким образом, чтобы одновыборочный критерий Вилкоксона был наиболее мощным при альтернативе Цг — 0) для достаточно малых положительных 0.
[(I) Применить задачу 22 (I) к нахождению выражения для условной вероятности Р {Si = SjSn = sn при условии, что число положительных Z равно и}.]
Другое выражение для (38) получится, если распределение Z описывать тройкой (р, F, G). Если тогда G = h(F) и h дифференцируема, то распределение для п и S/ дается формулой
рт (1 - р)" Е [/г' (t/($1)) ... h' (t/(Sn))l(39)
где U^ < ... < № — упорядоченная выборка из /?(0, 1).
Несмещенные критерии симметрии. Пусть Zi, ..., ZN — выборка и ф— ранговый критерий, служащий для проверки гипотезы симметрии относительно начала, такой, что для всех zt ^ z^ i=\, ..., п, ф ^2а)^ф(21>•••
..., zNy Тогда критерий ф является несмещенным в задаче проверки односторонней альтернативы о том, что Z стохастически больше, чем некоторая случайная величина, симметрично распределенная относительно начала координат.
Гипотеза случайности. Пусть Zb ..., ZN— независимые случайные ве
личины с распределениями Fx> ..., FN соответственно, и пусть Ti— ранг величины Zi среди всех Z. Для проверки гипотезы случайности*. Fi = ...=Fn при альтернативе К о положительном тренде, т. е. гипотезы, что Z, стохастически возрастают с ростом I, рассмотрим две области
X Hi > С(40)
И
у IE W > С,(41)
где V(1) < ... < Vw — упорядоченная выборка из стандартного нормального распределения, а Л —значения, принимаемые величинами Ть
Второй из этих критериев является наиболее мощным ранговым критерием для нормальных альтернатив F = N(y + /6, а2) при достаточно малых д.*
Найти альтернативы, для которых первый критерий является наиболее мощным ранговым критерием.
Оба критерия являются несмещенными для альтернатив положительного тренда; таким является каждый ранговый критерий ф, удовлетворяющий условию ф (zp ..., z^ < ф (zjz^) для каждых двух точек, для которых из zt < zb I < /, следует, что z{ < zt для всех i и /.
[(Ill) Применить задачу 30, взяв в качестве ^ класс преобразований z\ = zv z^f^) для i>l, где z < f2(z) < ... < fN(z) и каждая из функций fN неубывающая. Если #“0 есть класс ^мерных векторов (Fi, ... ..., F N) с Fi = ... = F N, тогда ^j совпадает с классом альтернатив KJ
Пусть Ui, = 1, если (/ — 1) (Zz — Z,) > 0 и 0 в остальных случаях.
Статистика £ *^ может быть выражена в терминах величин U посредством соотношения
/=1 Ki
Наименьшее число шагов (в смысле задачи 20 (II)), которыми выборка (zb ..., zN) может быть преобразована в упорядоченную выборку (г<1), ..., zW), равно [К(К — 1)/2] — U, где U = £ Нц. Тем самым об-
Ki
ласть U > С может быть использована в качестве области, где отвергается гипотеза, рассмотренная в предыдущей задаче.
[(I) Пусть Уц = 1 или 0, когда Zi ^ 2/ или Zi > Z,.
Тогда
N
Т^^Уц
l=\
и
Уи = им или VM = \-Uib
NNN
если /</ или /^/ Выражая )Г jTj = ^ / ^ Уц в терминах U и /=1/=1 1 = \
используя тот факт, что Uij = Uib требуемый результат получаем с помощью простых вычислений.
Гипотеза независимости. Пусть (2Ь У^, ..., ^XN, Yn)—выборка из двумерного распределения и (Х(1\ 21)(Xw, ZN) — та же выборка, расположенная в порядке возрастания X, тем самым величины Z получаются некоторой перестановкой из величин Y. Пусть Ri — ранг Xt среди X, St — ранг Yi среди Y и h — ранг 2, среди Z. Рассмотрим гипотезу о независимости величин X и Y при альтернативе положительной зависимости.
В терминах величин Т эта проблема эквивалентна задаче проверки гипотезы случайности Z при альтернативе положительного тренда.
Критерий (40) эквивалентен критерию, отвергающему гипотезу, когда ранговый коэффициент корреляции
£№-ЯЦ8г -S)'_12yV + 4
22 ;
достаточно велик.
Другое выражение для рангового коэффициента корреляции *) дается формулой
N3 — N zL ^Si "~ ^ = 1 № — N X ^Ti ~" ^*
Критерий U > С задачи 40 (II) эквивалентен критерию, согласно которому гипотеза отвергается, когда /-статистика Кендалла ^ VMIN kN - 1)
Ki
достаточно велика; здесь Уц равно +1 или —1 в зависимости от того, положительно или отрицательно (У/ — У/) (X/ — Х0-
Критерии (II) и (IV) для альтернатив положительной зависимости являются несмещенными**).
К разделу 10
В примере 11 семейство множеств S(x, у) является классом инвариантных доверительных множеств тогда и только тогда, когда существует множество ^ действительных чисел такое, что
S(x, у) = Н {(g, П): (х-^ + Ц,-^2-^.
re 5?
*) Дальнейший материал, посвященный этим статистикам, см. в работе: Hoeffding, A class of statistics with asymptotically normal distributions. Ann. Math. Stat. 19 (1948), особенно раздел 9, и в книге: Kendall, Rank Correlation Methods, London, Charles Griffin and Co., 2nd ed., 1955. (Русский перевод: M. К e н д э л, Ранговые корреляции, пер. с англ., М., Статистика, 1975. — Прим, пер.)
**) Другой тип критерия, в котором играют особенную роль крайние значения наблюдений, был предложен Olmstead’ом и Т u к е у, A corner test for association, Ann. Math. Stat. 18 (1947), 495—51^.
Пусть Хь ..., Хп; Уь ..., ¥п — выборки из нормальных распределений N(^ о2) и ^(л,т2) соответственно. Тогда доверительные интегралы (43) из главы 5 для т2/о2, которые можно записать в виде
X212122L<J^<AZ£ll221к £ № -X)2 о2 ^ £ (X, -X)2 *
являются равномерно наиболее точными среди инвариантных относительно наименьшей группы G, содержащей преобразования Х^ = аХ + b, Y^ = aY + + с для всех а ^ 0, 6, с и преобразования Xt = dYlt Yt = X^d для всех d Ф 0 [см. задачу 6].
Односторонние инвариантные доверительные пределы. Пусть 0 — действительный параметр. Предположим, что для каждого 0О задача проверки гипотез 6 ^ 0о и 6 > 0О (в присутствии мешающих параметров 0j остается инвариантной относительно группы G6o, и пусть Л(0О) есть область принятия, соответствующая РИМ инвариантному критерию с уровнем а. Пусть соответствующие доверительные множества S(x) = {0: хеЛ(0)) будут односторонними интервалами S(x) = {0: 0(х) ^ 0}. Предположим, что они инвариантны при всех преобразованиях G^ и, следовательно, относительно группы G, порожденной ими. Тогда нижние доверительные границы 0(A) являются равномерно наиболее точными среди инвариантных границ с доверительным уровнем 1 — а (в смысле минимизации Р^ {£ (А) ^ 0'} для всех 0'<0).
Пусть Ai, ..., Хп — независимые случайные величины, распределенные по закону N(£, о2). Верхние доверительные границы а2 < £ (X, - Х)2/С0 примера 5 главы 5 являются равномерно наиболее точными инвариантными относительно группы Х^ = Xt + с, — оо < с < оо границами. Они также инвариантны (и, следовательно, являются равномерно наиболее точными инвариантными границами) относительно более широкой группы Xt = aXt + с, — оо < а, с < оо.
(I) Пусть случайные величины AiХп независимы и распределены по закону /V(^, о2), и пусть 0 = g/o. Нижние доверительные границы 0 для 0 с доверительным уровнем 1 — а, являющиеся равномерно наиболее точными инвариантными границами при преобразованиях А; = aXt имеют вид
9 = С-19 = С-1№ -X)2 (п -1)-№ -X)2 (п -1)-
9 = С-1
9 = С-1
№ -X)2 (п -1)-
№ -X)2 (п -1)-
^ хkxt -X)2(п-1)^ хkxt -X)2(п-1)РеРе
^ х
kxt -X)2
(п-1)
^ х
kxt -X)2
(п-1)
Ре
Ре
где функция С(0) определяется с помощью таблиц нецентрального /-распределения так, чтобы
(II) Определить 6, когда значения х равны 7,6; 21,2; 15,1; 32,0; 19,7;
25,3; 29,1; 18,4, а доверительный уровень равен 1—а = 0,95.
(I) Пусть (Хь ^i), •.., (Хп, Уп)—выборка из двумерного нормального распределения, и пусть
р = с-1 {)
где С (р) определено так, чтогде С (р) определено так, чтоI V^№ -XY^Yi -Y? У
где С (р) определено так, что
где С (р) определено так, что
р {2№ - х) (К< - К)
р I VZ^-VX^-^
Тогда р является нижней доверительной границей для теоретического коэффициента корреляции р с доверительным уровнем 1 — а; эта граница равномерно наиболее точная среди инвариантных относительно группы преобразований
X; = aXt + 6, У^ = c¥t + d с ас > 0, — оо < 6, d < оо.
(II) Определить р, если 1 — а = 0,95 и наблюдения таковы: (12,9; 0,56), (9,8; 0,92), (13,1; 0,42), (12,5; 1,01), (8,7; 0,63), (10,7; 0,58),(9,3; 0,72), (11,4; 0,64).
К разделу 11
Если доверительные множества S(x) инвариантны относительно группы G, тогда вероятность Ре№ е^(Х)} того, что истинное значение параметра будет накрыто этими множествами, инвариантна относительно индуцируемой группы G.
Рассматривается задача построения (двусторонних) доверительных полос для неизвестной непрерывной функции распределения F.
Показать, что эта задача инвариантна как при строго возрастающих, так и при строго убывающих непрерывных преобразованиях Xt=t ^Х^1 = = 1,..., п. Определить максимальный инвариант, соответствующий этой группе.
Показать, что задача не инвариантна при преобразовании
/ Хь если |XZ|>1,
= J Xi-\t если0<Х/<1,
< Xi + 1, если - 1 < Xt < 1.
[(II) Для этого преобразования g множество g*S(X) уже не будет полосою.]
Литературные ссылки
Соображения инвариантности использовались в специальных классах задач Хотеллингом и Питменом (см. ссылки в главе I). Общая теория инвариантных и почти инвариантных критериев вместе с главными параметрическими приложениями была дана Хантом и Стейном в неопубликованной работе (1946). В их работе инвариантность не рассматривалась как свойство, желательное само по себе, но как средство получения наиболее строгих критериев (см. главу 8). За исключением этого
расхождения в точке зрения, изложение здесь основано на идеях Ханта и Стейна, с которыми я познакомился во время бесед с Чарлзом Стейном в период 1947—1950.
Область непараметрической статистики, в которой многие основные проблемы еще не решены, находится в настоящее время в процессе стремительного развития. Здесь возможно указать только некоторые из сделанных работ, в частности потому, что многие главные результаты относятся к области больших выборок. Более детальное освещение некоторых аспектов непараметрической статистики дано в книгах Фрезера (1957) и Кендалла (1955) и в обзорных статьях Шеффё (1943), Уилкса (1948), Вольфовица (1949), Морана, Уайтфилда и Даниелса (1950), Кендалла и Сандрума (1953), ван Д а н циг а и Хемельрийка (1954). Обширная библиография приведена уСэвиджа (1953).
Андерсон (Anderson Т. W.)
An Introduction to Multivariate Statistical Analysis, New York, John Wiiley and Sons, 99. [Задача 11.] (Русский перевод: Андерсон, Введение в многомерный статистический анализ, М., Физматгиз, 1963.)
Арнольд (А г п о 1 d К. J.)
Tables to facilitate sequential /-tests, Appl. Math. Ser. Nat. Bur. Standards (U. S.), vol. 7, V—VIII. [(Задача 9 (II).]
Барнард (В a r n a r d G.)
The Behrens — Fisher test, Biometrika, vol. 37, 203—207.
Вальд (Wald A.)
Testing the difference between the means of two normal populations with unknown standard deviations, опубликовано посмертно в Selected Papers in Statistics and Probability by Abraham Wald, Stanford, Stanford Univ. Press. [Рассматриваются инвариантные критерии для проблемы Беренса — Фишера в случае выборок равного объема.]
ван Данциг и Хемельрийк (van Dantzig D. and Hemelrijk I.) (1954) Statistical methods based on few assumptions, Bull. Int. Stat. Inst, vol. 34, 2nd part, 3—31.
Ван-дер-Варден (van der W a erd en B. L.)
1953) Order tests for the two-sample problem and their power, Proc. Koninkl. Ned. Akad. Wetenschap., vol. 55, 453—458 and vol. 56, 303—316. [Для задачи двух выборок предлагается критерий, основанный на функции, обратной к нормальной функции распределения.]
Математическая статистика, пер. с нем., М., ИЛ.
Вилкоксон (W i 1 с о х о n F.)
Individual comparisons by ranking methods, Biometrics, vol. 1, 80— 83. [Предлагаются два критерия, носящие имя автора (см. также Дейхлер).] Вольфовиц (W о 1 f о witz J.)
Non-parametric statistical inference, Proc. Berkeley Symposium on Mathematical Statistics and Probability. Barkeley, Univ. Calif. Press, 93—113.
The power of the classical tests associated with the normal distribution, Anh. Math. Stat, vol. 20, 540—551. [Доказана лемма 2 для нескольких специальных случаев.]
Г а е к и Ш и д а к (Н a j е k 1, S i d а к Z.)
Теория ранговых критериев, пер. с англ., М, Наука.
Д е й х л е р (D е u с h 1 е г G.)
Uber die Methoden der Korrelationsrechnung in der Paedagogik und Psychologie, Z padag. Psychol., vol. 15, 114—131, 145—159, 229—242. [Кажется, что здесь впервые предлагается для задачи двух выборок процедура, известная как критерий Вилкоксона, который позже был независимо открыт многими авторами. Об истории этого критерия см. W. Н. Kruskal, Historical notes on the Wilcoxon unpaired two-sample test, J. Am. Stat. Assoc., vol. 52 (1957), 356—360.]
Кендалл (К e n d a 11 M. G.)
Rank Correlation Methods, London, Charles Griffin and Co., 2nd ed. (Русский перевод: M. К e н д э л, Ранговые корреляции, пер. с англ., М., Статистика, 1975.)
Кендалл и Сандрум (Ке nd а 11 М. G. and Sundrum R. М.)
Distribution-free methods and order properties, Rev. Int. Stat. Inst., vol. 23, 124—134.
Кендалл и Стьюарт (Kendall M. G., Stuart A.)
Статистические выводы и связи, пер. с англ., М., Наука.
Крускал (Kruskal W.)
The monotonicity of the ratio of two non-central t density functions, Ann. Math. Stat., vol. 25, 162—165.
Леман (Lehmann E. L.)
Some principles of the theory of testing hypotheses, Ann. Math. Stat., vol 21, 1—26. [Лемма 2; теорема 6; приводится пример Стейна, взятый за образец для задачи 18.]
Consistency and unbiasedness of certain nonparametric tests, Ann. Math. Stat., vol. 22, 165—179. [Задачи 33, 34.]
The power of rank tests, Ann. Math. Stat, vol. 24, 28—43. [Соображения инвариантности применяются к непараметрическим задачам.] Моран, Уайтфилд и Даниеле (Moran Р. А. Р. Whitfield J. W. and Daniels Н. Е.)
Symposium on ranking methods, J. Roy Stat. Soc., Ser. B., vol. 12, 153—191.
П и т м e н (P 11 m a n E. J. G.)
Tests of hypotheses concerning location and scale parameters, Bio- metrika, vol. 31, 200—215. [Вводятся идеи инвариантности и применяются к задачам, похожим на приведенную в примере 4.]
Lecture notes on nonparametric statistical inference, неопублико- вано. [Исследуется понятие относительной асимптотической эффективности. Оно применяется к нескольким примерам, в том числе к критерию Вилкоксона.]
Питчер (Р i t с h е г Т. S.)
Trans. Amer. Math. Soc., 85, 166—173. [О достаточных статистиках в связи с теорией инвариантности.]
Раштон (RushtonS.)
On a sequential /-test, Biometrika, vol. 37, 326—333.
On a two-sided sequential /-test, Biometrika, vol. 39, 302—308. [Предлагается последовательный /-критерий задач 9 и 10 и обсуждаются некоторые из его свойств. Имеется ссылка на близкую по теме неопубликованную работу Барнарда, Голдберга и Стейна.]
Сукхатм (Sukhatm е Р. V.)
On the analysis of k samples from exponential distributions with expec.al reference to the problem of random intervals, Stat. Res. Mem., vol. 1, 94—112.
Сэвидж (Savage I. R.)
Bibliography of nonparametric statistics and related topics, J. Am. Stat. Assoc., vol. 48, 844—906.
С юй (Hsu P. L.)
Contributions to the theory of Student’s /-test as applied to the problem of two samples, Stat. Res. Mem., vol. II, 1—24. [Показано, что двувыборочный /-критерий в случае равных и не очень малых объемов выборок является приближенно несмещенным, даже если дисперсии не равны, и что, следовательно, для этого случая /-критерий приближенно решает проблему Беренса — Фишера.]
Уилкс (W i 1 k s, S. S.)
Order statistics, Bull. Am. Math. Soc., vol. 54, 6—50.
Уолш (W a 1 s h, J о h n E.)
Some significance tests for the median which are valid under very general conditions, Ann. Math. Stat., vol. 20, 64—81. [Лемма 3; предлагается критерий Вилкоксона в форме, данной в задаче 35. Эквивалентность двух критериев была показана Т ь ю к и в неопубликованном отчете (1949 г.).].
Фишер (F i s h е г R. А.)
Statistical Methods and Scientific Inference, Edinburgh and London, Oliver and Boyd. [В главе IV автор формулирует свою точку зрения на проверку гипотез, в частности обсуждается проблема Беренса — Фишера.]
Фишер и Иэйтс (Fisher R. A. and Yates F.)
(1948) Statistical Tables for Biological, Agricultural and Medical Research, London, Oliver and Boyd, 3rd ed. [Во введении к таблицам XX и XXI рассма» триваются ранговые'критерии, подобные (19).]
Фрезер (F г a s е г D. A. S.)
Nonparametric Methods in Statistics, New York, John Wiley and Sons.•
Хант и Стейн (H u n t G. and Stein C.)
Most stringent rests of statistical hypotheses, неопубликовано.
Хемельрийк (Heme 1 rijk J.)
A family of parameter-free tests for symmetry with respect to a given point, Proc. Koninkl. Ned. Akad. Wetenschap., vol. 53, 945—955, 1186— 1198. [Обсуждается связь гипотезы симметрии с проблемой двух выборок.] Хёфдинг (Ное ffding W.)
«Optimum» nonparametric tests, Proc. 2nd Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, Univ. Calif. Press, 83—92. [Выводится общее распределение для рангов, частным случаем которого является формула (18). На этой основе строятся локально оптимальные критерии типа (19). Результаты автора применены к проблеме двух выборок в работе: М i 11 о n Е. Т., Some rank order tests which are most powerful against specific parametric alternatives, Ann. Math. Stat., vol. 23 (1952), 346—366.] Хопф (Hopf E.)
Ergodentheorie, Ergeb. Math., vol. 5, № 2. [Доказывается результат, очень сходный с теоремой 4 (стр. 9—10).]
Шеффе (Scheffe Н.)
Statistical inference in the non-parametric case, Ann. Math. Stat, vol. 14, 305—332.
On solutions of the Behrens — Fisher problem, based on the /-distribution, Ann. Math. Stat., vol. 14, 35—44.
Шметтерер (Schmetterer L.)
Введение в математическую статистику, пер. с нем., М., Наука, гл. 7, §§ 4, 6.
Эпстейн иЦзао (Е р s t е i п В. and Т s а о С. К.)
Some tests based on ordered observations from two exponential populations, Ann. Math. Stat., vol. 24, 458—466.
Ю с а в a (U s a w a H.)
Locally most powerful rank tests for two-sample problems, Ann. Math. Stat., 31, 685—702. [В работе, в частности, обобщаются результаты работы Лемана (1953).]
ГЛАВА 7
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
Каноническая форма
Многие задачи проверки гипотез касаются средних значений нормальных распределений и являются специальными случаями следующей общей одномерной линейной гипотезы. Пусть Хь ... ..., Хп независимы и распределены нормально со средними значениями gi, ..., In и общей дисперсией о2. Известно, что вектор |, образованный из средних значений ), лежит в данном s-мерном линейном подпространстве Пд (s < п\ и проверяемая гипотеза Н состоит в том, что £ лежит в данном (s—г)-мерном подпространстве Пф, входящем в Пд(г^5).
Пример 1. В задаче о проверке равенства средних в двух выборках из нормальных распределений (рассмотренной в других обозначениях в разделе 3 главы 5) дано, что gz = g при t = 1, ..., ni и & = ч ПРИ ^ = ^i + L • • • ..., пх + п^ и гипотеза, подлежащая проверке: ч = £• Пространство Па натянуто на векторы (1, ..., 1, 0, ..., 0) и (0, ..., 0, 1, ...» 1), т. е. s = 2 и его точки суть
& ..., 5, ч, ...» Л) = 6(1, ..., 1, 0, ..., 0) ч- ч (0, ..., о, 1, ..., 1).
Аналогично, П© состоит из всех векторов (ё, ...,?)=&( 1 ,.*., 1), и, следовательно, г = 1.
Другая гипотеза, которую можно проверять в этой ситуации, 4 = I = 0. Пространство П^ состоит из одной точки — начала кородинат, s — г = 0, т. е. г = 2. Более общая гипотеза £ = g0, 4 = Ло не будет линейной, так как П© не содержит начала координат. Однако она сводится к предыдущему случаю преобразованием ^ = ^ — ^0 (/ = 1, ..., nJ, Х\ = Xt — Чо (< = ^ + 1, ••• • • •» ^i + ^2).
Пример 2. Задача о регрессии из раздела 6 главы 5 дает другой пример линейной гипотезы. Чтобы согласовать обозначения с употребляемыми здесь, положим g/ = а + Р^, где а, Р неизвестны, a h известны и не все равны между собой. Здесь IIQ — пространство векторов а(1, ..., 1)+Р(^,... ..., tn), и его размерность равна 2. Проверяемая гипотеза или может быть
а = р = 0 (г = 2), или может состоять в том, что один из параметров равен нулю (г = 1). Более общая гипотеза а = а0, Р = Ро сводится к предыдущей заменой Xt = Xt — ad — p0/z, так как Е ^х'^ = a + р tt с а' = a — - «о* 0' = Р ” Ро-
Полиномиальная регрессия и регрессия при нескольких переменных также охватываются схемой линейной гипотезы. Так, если ^t = a + Р^- + Y^ или» более общим образом, gz = a + p/z + \иь где /z и Ui известны, то можно проверять равенство нулю одного или нескольких из коэффициентов регрессии а, р, у, и с помощью замены Х( — а0 — ро^ — ^ои{ — гипотезы о равенстве этих коэффициентов некоторым заданным значениям, отличным от нуля.
В общем случае гипотезе может быть придан более простой вид ортогональным переходом к новым переменным
Y = CX, C = lcuY ia—X,...^ (1) таким, что первые s векторов-строк £, ..., c_s матрицы С порождают Пд, а £г+1, ..., с$ порождают П^. Тогда У$+1 = ... = У„ = = 0 равносильно тому, что X лежит в По, а У1 = ... = УГ = = ys+1 = ... = Yn = 0 — тому, что X лежит в Пю. Пусть т]/ = = E^Yf), так что ц = С^. Так как g лежит в По по предположению и лежит в Пм при гипотезе Н, то т], = 0 при i = s + 1, ... ..., п в обоих случаях и T)t — 0 при 1 = 1, ..., г в случае истинности Н. Наконец, раз преобразование ортогональное, то случайные величины Уь ..., Yn снова распределены нормально с общей дисперсией о2, т. е. проблема сводится к следующей канонической форме.
Случайные величины Уь ..., Yn независимы и распределены нормально с общей дисперсией а2 и средними E^Y^ = тр при i = 1, ..., s и E(Y^ = 0 при i = s + 1, ..., гц так что совместная плотность имеет вид
№аТ СХР [~ i (S (^ “ ^^ + X (^)]1 (2)
Величины т) и о2 неизвестны и проверяемая гипотеза
Н; тц= ... =Пг = 0 (r<s<n). (3)
Пример 3. Чтобы проиллюстрировать преобразование (1), рассмотрим еще раз модель регрессии gz = a + p/z из примера 2. Мы видели, что Пй натянуто на (1, ..., 1) и (/1, ..., tny Если проверяется гипотеза р = 0, то Пш — пространство, порожденное первым из этих векторов. Вектор-строка сг лежит в IIto и имеет длину 1, следовательно, с2 = (1/V^, №)• Так как £ лежит в Пй, имеет длину 1 и ортогонален к £2, то его координаты должны иметь вид а + bit, I = 1, ..., п, где а и b определяются соотношениями 2 («+6/,) = о и ^Va-VbtiV = 1. Решая эти уравнения, находим а = = — ЬЬ b^x]/^^ (tj — I)2, следовательно, a + bti=at — ?)/V2j Vi — О2
И
= J^^lL = 2 ^i -^) Vi ~ ?)
'1 Vz Vi - "tv A^j-h2 *
Остальные векторы-строки С можно взять любыми при условии, что они ортогональны, имеют длину 1 и ортогональны к П^; их явные выражения нам не нужны.
Если проверяется гипотеза а = 0, то П© порождается вектором (^, ... .tn), так что t-я координата с2 равна Ц)^^ ^* Координаты £i снова имеют вид а + bt^ где а и b определяются теперь из уравнений ^ (tz + bt^ // = 0 и У (а + bt^2 = 1. Решая их, находим 6 = — ant[^ t^
В случае гипотезы а = f = 0 П© состоит из начала координат и в качестве^, с2 можно взять два любых ортогональных единичных вектора из П 2. Возможен в частности, такой же выбор, как при, гипотезе Р = 0. Тогда У1 — линейная функция, указанная ранее, a Y^ = ^n X.
Общая линейная гипотеза, записанная в терминах Y^ остается инвариантной относительно группе Gi преобразований Y^Yi-Vci при / = г+1, ...,s; Yt = Yi при /=1, ..., г; s + 1, ..., п. При этом Уь ..., Yr и У5+ь ..., Yn — максимальные инварианты. Другая группа, оставляющая задачу инвариантной, — группа Ga всех ортогональных преобразований переменных Уь ..., Yr. Так как величины с промежуточными индексами не затрагиваются, то из примера 1 (III) главы 6 видно, что максимальными инвариантами относительно Ga будут г
U=^,Yb Ь+ь ..., Yn. По соображениям достаточности их Z-1 п
можно свести к U и V = У Уь Наконец, задача остается ин- Z=s+1
вариантной относительно группы Оз изменений масштаба Y't = cYt, с #= 0, i = 1п. В пространстве U и V эта группа индуцирует преобразование U* = c2U, V* = c2V, относительно которого W = U/V является максимальным инвариантом. Таким образом, принцип инвариантности сводит данные к единственной статистике
Г£.(4)
Каждая из трех групп преобразований G,(i = 1,2,3), осуществляющих вышеуказанную редукцию, индуцирует соответствующую группу G, в пространстве параметров. Группа Gt — это группа сдвигов т]' = nz + ct (i = г + 1, ..., s), т)' = nz (Z = 1, ... ..., г), о' = с с максимальными инвариантами (т]ь ..., гр, о). Так как каждое ортогональное преобразование Уь ..., Уг индуцирует такое же преобразование величин тц, ..., гр и оставляет а2 неизменным, то максимальным инвариантом относительно Сг Z ГX
будет I S Л?» °2)- Наконец, элементами Оз будут преобразова- XZ—1 1/
ния ri' = criz, o'= со, и поэтому максимальным инвариантом по отношению к этим трем группам преобразований будет
Ф2--^.(5)
Из теоремы 3 главы 6 вытекает, что распределение W зависит только от ф2, так что принцип инвариантности сводит дело к проверке простой гипотезы Н: ф = 0. Точное выражение для плотности W имеет вид (см. задачи 2 и 3):
гдегде(уФ2)*p^W = e 2 £с6 V у -fe=0(уФ2)*p^W = e 2 £с6 V у -fe=0jr-l+few 4" (r+n-s)+fc(1 +w)2jr-l+few 4" (r+n-s)+fc(1 +w)2(6)(6)Г[у(г+»-8) + й]г(|г+*)г[|(Л-5)]'Г[у(г+»-8) + й]г(|г+*)г[|(Л-5)]'
где
где
(уФ2)*
p^W = e 2 £с6 V у -
fe=0
(уФ2)*
p^W = e 2 £с6 V у -
fe=0
jr-l+fe
w
4" (r+n-s)+fc
(1 +w)2
jr-l+fe
w
4" (r+n-s)+fc
(1 +w)2
(6)
(6)
Г[у(г+»-8) + й]г(|г+*)г[|(Л-5)]'
Г[у(г+»-8) + й]г(|г+*)г[|(Л-5)]'
Для любого ф1 отношение рф, (a?)/p0(w) является возрастающей функцией ® и из фундаментальной леммы Неймана — Пирсона вытекает, что наиболее мощный инвариантный критерий для проверки ф = 0 при альтернативе ф = ф1 отклоняет гипотезу, если W слишком велико, т. е. если
(7)(7)1Г = —
(7)
(7)
Граничная точка С определяется из условия, что при ф = 0 вероятность отклонения равна а. Так как в этом случае W* будет отношением двух независимых %2 величин, каждая из которых поделена на соответствующее число степеней свободы, то
распределением № служит /•'-распределение с г и п — s степенями свободы, а С определяется из уравнения
(8)(8)^ Fr, n-s^dy = a.
(8)
(8)
С
Критерий не зависит от ф1 и потому является РНМ в классе всех инвариантных критериев. По теореме 5 главы 6 он будет также РНМ в классе всех критериев, функция мощности которых зависит только от ф2.
Критическую область (7) можно также определить неравенством
(9)(9)1 = 1гп
(9)
(9)
Z = 1Z=s+H
При Ф = 0 левая часть имеет бета-распределение с г и п — s степенями свободы (см. формулу (24) главы 5), так что С' находится из
$в1,0°)
С' 22
При альтернативных значениях ф левая часть (9) имеет нецентральное бета-распределение с параметром нецентральности ф и с плотностью (задача 3)
-1#А (у*')*
6=022
Мощность критерия при альтернативе ф равна *)
1
₽(Ф) = J g^{y)dy.
С'
. В частном случае, при г = 1, критическая область (7) сводится к
, Ли > Со.(12)
А/ L Y2t/(.n-s^
v Z=s+1
*) Номограммы для этой мощности даны в работах: Pearson and Hartley, Charts of the power function for analysis of variance tests, derived from the noncentral F distribution, Biometrika 38 (1951), 112—130; Fox, Charts of the power of the F-test, Ann. Math. Stat. 27 (1956), 484—497. Вычислительная формула для нецентрального бета-распределения рассматривается Ходжесом, On the noncentral beta distribution, Ann. Math. Stat. 26 (1955), 648—653.
ЭТ0 — двусторонний /-критерий, который в соответствии с теорией главы 5 (см., например, задачу 5 этой главы) является РНМ несмещенным. С другой стороны, при г > 1 не существует РНМ несмещенного критерия.
Линейные гипотезы и метод наименьших квадратов
В применениях к конкретным проблемам приведение к канонической форме в явном виде проводить неудобно. Статистику W, соответствующую критерию, можно выразить в терминах пер- п
воначальных переменных, если заметить, что 2 И является Z=s+1
минимальным значением для
пп
S(r,-^a!+,x
при неограниченном изменении величин гр Так как преобразование У = СХ ортогонально, а ортогональные преобразования оставляют расстояния неизменными, то
пп
Z = 1Z = 1
Далее, существует взаимно однозначное соответствие между совокупностью всех s-членных наборов (г)ь ..., r)s) и совокупностью векторов | из Пд. Следовательно,
пп
^‘=^х‘-^’<13)
где | — оценки величин £ при условии Q, т. е. значения, которые
п
минимизируют У, (Х( — ^)2 при условии, что £ лежит в Пд. Z-1-
Подобным же образом можно увидеть, что ГПП^
i=l ‘ Z=s+1Z = 1 v'
где величины g— это значения, минимизирующие S(Xz— £z)2 при условии, что £ лежит в Пш. Критерий (7) принимает вид
[
пА п*1
£ №-iz)2- £ (Xz-tz)2 /Г
w =——— —— >с,(14)
у VXi-liYKn-s^
где С определяется из условия (8). Геометрически векторы | и £ являются проекциями X на Пд и П©, так что треугольник, образованный X, £ и j имеет прямой угол при вершине £ (рис. 7). Таким образом, знаменатель и числитель W*, если отвлечься от множителей Щп— s) и 1/г, являются квадратами расстояний
Рис. 7.
ААА
междуХ и | и между £ и £ соответственно. Поэтому альтернативным выражением для W* будет
£- ^)7г
=.(15)
2 И/ - fz)7(« - s) i-1
Желательно также выразить в терминах g параметр нецент- г
ральности ^2 = £т1|/а2. Мы имеем X = C-tY, g = C~*ri и i = l
гп^п
('в)
Г
Если правую часть (16) обозначить f(X), то У, ni = f®. Неко- I = 1
торым обобщением линейных гипотез являются неоднородные гипотезы типа: вектор g лежит в гиперплоскости Щ, содержащейся в Па и не проходящей через начало. Обозначим Пт подпространство Па, проходящее через начало и параллельное П®. Если £° некоторая точка П^, то множество Пу состоит из всех точек вида £ = £* + £°, где |* пробегает Пю. Применяя преобразование (1) к Пш, вектор средних значений tj для ^еПу
можно представить в канонической форме (2) т) = С^ = CV + + С£>°, и совокупность этих векторов описывается уравнениями Т], = Т1®Пг = Пн ns+i= ••• =Пп = 0, где т)® —i-я координата С|°. Поэтому в канонической форме неоднородная гипотеза g е II® принимает вид т)г = -п® (/=1, ...,г). Этот случай приводится к однородному заменой Yt на Yt — r|Q и, как следует из (7), РИМ несмещенный критерий имеет критическую область
гп
5 У. --«>С<17>
и параметр нецентральное™ равен ф2= ^ (т). — т\°^о2.
В приложениях обычно бывает более удобным применять преобразование X. —£0 непосредственно к (14) или (15). Из (17)
видно, что такое преобразование всегда оставляет знаменатель неизменным. Это можно понять и геометрически, так как рассматриваемое преобразование представляет собой сдвиг пространства параллельно Па и потому оставляет расстояние 2 (Xt — £z)2 от X до Па неизменным.
Параметр нецентральное™ может быть вычислен, как и раньше, заменой X на £ в преобразованном числителе (16).
Некоторые примеры линейной гипотезы, все с r = 1, уже обсуждались в главе 5. В дальнейшем два из них рассматриваются с новой точки зрения.
Пример 4. Пусть Хь ..., Хп независимы и распределены нормально с общими средним р и дисперсией а2. Рассмотрим гипотезу Н; р = 0. Здесь Пй — прямая ^ = ... = £„, Пю — начало координат, s и г равны 1. Из тождества
^(Xi-nl^^C^-Xp + n^-^ (х = 2^)
видно, что |с = X, в то время как Xi == 0. Статистика, на которой основан критерий, и ф2 равны, следовательно,
WWпХ2пХ2И -ф2 = ”~- о2И -ф2 = ”~- о2
W
W
пХ2
пХ2
И -ф2 = ”~- о2
И -ф2 = ”~- о2
При истинности гипотезы распределение (п— 1) W таково же, как у квадрата величины, имеющей /-распределение Стьюдента с п — 1 степенями свободы.
Пример 5. В задаче двух выборов, рассмотренной в примере 1, сумма квадратов
^
Z №-п)2
/ = 1i=ni-J-l
минимизируется значениями
П\п
М»> = уА, ^ = х® = у А
1=1Z=m+1
в то время как при гипотезе г) — £ = 0
| = * _ х=
п
Числитель статистики (15) равен, следовательно,
»! (Х<'> - X)2 + ^ (X® - X)2 = -^- [х<2> - X?']2.
Более общая гипотеза -q — g = Оо сводится к уже рассмотренной заменой Xi на Xi — 0О при i = п\ + L •. •, п и, следовательно, отклоняется при
Lz-ii«m+i.г
Параметр нецентральности равен -ф2 = (т| — § — Оо)2/ (1] о2. При ис-
/ X ^1^2 /
тинности гипотезы квадратный корень из соответствующей статистики имеет /-распределение с п\ + п^ — 2 степенями свободы.
Критерии однородности
Полученный в предыдущем разделе РИМ инвариантный критерий для проверки равенства средних значений двух нормальных распределений с общей дисперсией оказывается также РИМ несмещенным (см. раздел 3 главы 5). Однако если число сравниваемых совокупностей больше 2, то РИМ несмещенный критерий не существует и принцип инвариантности приводит к новому результату. Пусть Хц (J = 1, ..., пг, i = 1, ..., s) независимы и распределены по законам М(р,, о2) соответственно. Рассмотрим гипотезу
Л; ц1= . .. = gs.
Она возникает, например, при сравнении нескольких способов обработки, процессов, условий, размещений и т. п. с целью выяснить, влияют ли различия между ними на интересующий нас исход X. Более общим образом, она возникает каждый раз в любой ситуации, связанной с одинарной классификацией исходов, т. е. такой, где разбиение на классы производится по значениям одного признака.
Гипотеза Н является линейной с г = s— 1, с Па , определяемым соотношениями ^ = g^ при /, k = 1, ..., п\ i = 1, ..., s
с Пш, представляемым прямой, на которой все n = ^nt коорди нат ^/ равны между собой. Мы имеем
Е Еии - pz)2 = Е ЕUn - xt.y+ £nt№. - pz)2,
где Xt. = У, Xtjlrii и, следовательно, Xn = Xt. Итак,
так что Хп = Х.. Используя формулу (15) получаем критерийZ«z№.-^..)2/(s-l)так что Хп = Х.. Используя формулу (15) получаем критерийZ«z№.-^..)2/(s-l)Е Е Un - р)2 = Е Е №/ - Х..У + п (X.. - р)2 с х.. = Е Е хи]п, статистики W*, мы
так что Хп = Х.. Используя формулу (15) получаем критерий
Z«z№.-^..)2/(s-l)
так что Хп = Х.. Используя формулу (15) получаем критерий
Z«z№.-^..)2/(s-l)
EE№/-^№-s)'
Параметр нецентральности равен
Ф2 = Е », (^ — р-)7а2
С
Суммы квадратов как в числителе, так и в знаменателе (18) допускают три близкие между собой интерпретации:
как две компоненты разложения полной суммы квадратов отклонений от общего среднего («полной изменчивости»)
Е Е №/ - х..?=Е Е Un - х^ + £п{ ut. - х. .)2,
на а) сумму квадратов отклонений каждой величины от соответствующего группового среднего значения («изменчивость внутри групп») и б) сумму квадратов отклонений групповых средних от общего среднего («изменчивость между группами»);
как основу сравнения двух источников изменчивости (по критерию (18));
как оценки для их математических ожиданий (л —-s)a2 и (s — I)a2+E«z(pz— р.)2 (см. задачу 9). Это разбиение полной изменчивости вместе с указанными интерпретациями компонент дает пример дисперсионного анализа, который к более сложным проблемам будет применен в последующих разделах.
Мы оставим теперь на время схему линейных гипотез и обратимся к гипотезе равенства дисперсий в случае, когда величины Хц распределены по законам N (р., о|), 1= 1, ..., s. РИМ несмещенный критерий для этой гипотезы был найден в разделе 3 главы 5 в предположении з = 2; но он не существует при з > 2 (см., например, задачу 6 главы 4). К сожалению,
в этой задаче нет и группы, для которой существовал бы РИМ инвариантный критерий. Тем не менее, чтобы получить критерий, мы используем асимптотический метод, который при достаточно больших п сводит задачу, по сути дела, к проверке равенства s средних.
Удобно сначала редуцировать совокупность результатов наблюдений, заменив ее достаточными статистиками Хь = £ Xz;/nz и S^ = ^(^z/ — X,.)2, i=V •••» s- Гипотеза
Н: щ = ... = о3
остается инвариантной относительно преобразований Х'1( = = Xtj + Ср которые в пространстве достаточных статистик индуцируют преобразования S'2 = S^, X't. = Xh + c^. Максимальным инвариантом относительно этой группы служит совокупность величин Si, ..., Ss. Каждая статистика $1 является суммой квадратов п,— 1 независимых нормально распределенных величин с нулевыми средними и дисперсиями о2. Из центральной предельной теоремы вытекает, что при больших «/ величина
/ с2 \
распределена приблизительно по закону N (0, 2о^). Такая аппроксимация для наших целей неудобна, так как неизвестные параметры о< входят не только в среднее значение, но и в дисперсию предельного распределения.
Эту трудность можно преодолеть с помощью подходящего преобразования, стабилизирующего дисперсию. Подобные преобразования могут быть получены из следующих соображений ). Пусть Тп — последовательность действительных статистик, такая, что л/п(Тп— 9) имеет предельное распределение /V(0, т2). Тогда для любой непрерывно дифференцируемой функции f предельное распределение -VnVf (Тп) — f (9)] нормально со средним нуль и дисперсией T2(df/d9)2. Следовательно, в предположении, что производная от f(6) пропорциональна 1/т(9), эта дисперсия не зависит от 9.
Применим сказанное к рассматриваемому случаю, полагая п = п1 — 1, Tn = S2tIQit—1), 9 = о2 и т2 = 202. В качестве преобразования берем f(9) = log9. Здесь производная пропорциональна 1/0. Тогда предельное распределение для
^nt _ 1 (log^/^, — 1)] — logo^ будет нормальным со средним нуль и дисперсией 2, так что при больших п, случайные величины Zt = log[S^/(n. — 1)] распределены приблизительно по законам N (£р <$ с ^. = logff2, а^ = 2/(п, — 1).
Теперь проблема сводится к проверке равенства средних значений s независимых случайных величин Zu имеющих распределение N (5,, а,), где а( известны. В частном случае, когда все п< равны друг другу, дисперсии а, равны между собой и асимптотическая проблема становится простым вариантом (простым в том смысле, что дисперсии известны) задачи, рассмотренной в начале раздела. Гипотеза Si = • • • = Ss инвариантна относительно добавления одной и той же константы к каждой из величин Z и относительно ортогональных преобразований гиперплоскостей, перпендикулярных прямой линии Z\ = ... = Zs. РНМ инвариантной критической областью будет
^Zt-ZW>C, (19)
где а2 — общее значение дисперсий Z, и С определяется из уравнения
Хз_, (^) <^У = «-(20)
С
когдакогда(21)(21)В более общем случае неравных сц проблема сводится к линейной гипотезе с известной дисперсией посредством преобразования Z'i = Zilai и РНМ инвариантный относительно подходящей группы линейных преобразований критерий отвергает гипотезу,
когда
когда
(21)
(21)
(см. задачу 10), где С опять определяется равенством (20). Эта критическая область РНМ, инвариантная при проверке гипотезы ^ = ... = £s относительно предельного распределения, может рассматриваться как обладающая этим свойством асимптотически при проверке первоначальной гипотезы Н: ai = ... ••. = os ).
Этот же метод может быть применен для проверки однородности нескольких биномиальных или пуассоновских распределений. Подробности указаны в задаче 11.
В применениях принципа инвариантности важно быть уверенным в том, что предполагаемая симметрия действительно имеет место. Например, при проверке равенства средних значений рь ..., ц5 нормальных совокупностей все параметрические точки с одним и тем же значением гр2 = ^щ (pz — р.)2/а2 отождествляются вследствие принципа инвариантности. Это уместно только в предположении, что такие альтернативы можно рассматривать как одинаково удаленные от проверяемой гипотезы. В частности, должно быть несущественным, как получилось данное значение гр2: за счет нескольких небольших слагаемых или за счет одного большого. Ситуации, где напротив, существенно обнаружить большие индивидуальные отклонения, не обладают требуемой симметрией, и критерий, основанный на (18), не обязан более быть оптимальным.
В подобных ситуациях обычно привлекают процедуры более общие, чем проверка отдельной гипотезы. Сравнивая несколько совокупностей или способов обработки, мы, как правило, желали бы не только определить, одинаковы ли они, но, в случае отклонения гипотезы — также упорядочить их или как-то сгруппировать, или, по крайней мере, выделить из них лучшие. Предположим для простоты, что объемы выборок равны т = п при 1 = 1, ..., s. Естественная процедура, приводящая к группировке значений р„ состоит в объявлении р, и р/ различными при \Хь-Х1.\>С5/л/8П^-\\ где S2 = £ £ №, - ^.)2 ). Гипотеза Н равенства всех средних принимается в этом случае,
если
(22)(22)max \ Xj. — Хь\sMsn (п — 1)
(22)
(22)
Если Н отвергается, то считают, что р/ > р/ для всех пар (1, /), для которых Xj. — Xi. > CSl^snVn— 1). Уровень значимости здесь равен вероятности объявления какой-либо из разностей Ы — Pi значимой, в то время как в действительности все величины р равны друг другу. Левая часть (22) называется стьюден- товым размахом выборочных средних.
Аналогичный подход возможен при сравнении нескольких дисперсий. Предположим снова, что объемы выборок равны и
что классификация осуществляется по принципу: о^ < о^, если 52/52 > С; о^ > о^, если S^/S^ < 1/С (С > 1), и о? = а^, если ни одно из этих неравенств не выполняется. Полная гипотеза б! = ... = Os принимается в этом случае, когда
шахи iшахи iXQ2 )XQ2 )max S| к_min S?к Rmax S| к_min S?к R<C*).<C*).(23)(23)
шахи i
шахи i
X
Q2 )
X
Q2 )
max S| к_
min S?
к R
max S| к_
min S?
к R
<C*).
<C*).
(23)
(23)
Критерии, основанные на стьюдентовом размахе и на максимуме F-отношений, не обладают, как кажется, никакими оптимальными свойствами, если их рассматривать как критерии для гипотез щ = ... = ps и oi = ... = Os соответственно. Однако они обладают свойствами оптимальности, если их рассматривать как решение проблемы об упорядочении средних или дисперсий (при допущении «ничьих»)).
Двойная классификация: одно наблюдение в клетке
Гипотеза равенства нескольких средних возникает тогда, когда необходимо сравнить несколько различных способов обработки или процедур, или совокупностей, или проявлений каких-либо факторов. Часто интересуются изучением эффекта более чем одного фактора или эффекта одного фактора при изменении некоторых из условий эксперимента (что играет роль дополнительных факторов). В настоящем разделе мы рассмотрим случай, когда число факторов, влияющих на исход эксперимента, равно двум.
Предположим, что при каждой возможной комбинации интенсивностей обоих факторов производится ровно одно наблюдение. Пусть ХцЦ = 1, ..., а; / = 1, ..., 6) — результат наблюдения, соответствующий случаю, когда первый фактор находится на /-м, а второй на /-м уровне. Предполагается, что Хц независимы и распределены нормально с постоянной дисперсией о2 и (на время) что оба фактора действуют независимо (в этом случае говорят, что они аддитивны), так что ^7 имеет вид Ц; + Р/. Полагая ц = а' + 0' и а1 = а' — а', 0/ = 0' — 0', мы можем написать
£</ = и + °/ + Рл Z«z = EP|=O,(24)
где величины а, 0 и р однозначно определяются из (24):
az = ^-L, Р/ = ^- L, H = L.)-(25)
Рассмотрим гипотезу
Н: а! = ... =аа = О
о том, что первый фактор не влияет на исходы испытаний. Эта гипотеза возникает в двух различных обстоятельствах. Интересующим нас фактором, соответствующим нескольким способам обработки, может быть 0, в то время как а соответствует классификации по месту, где производятся наблюдения (ферма, лаборатория, город и т. п.). Указанная гипотеза соответствует предположению о том, что эта вспомогательная классификация не влияет на результаты эксперимента и, следовательно, не должна приниматься во внимание. При другом истолковании фактором, представляющим главный интерес, является а. В этом случае формулировка проблемы как задачи проверки гипотезы была бы чрезмерным упрощением действительного положения, так как в случае отклонения Н потребовались бы оценки величин а или, по крайней мере, их разбиение на группы больших и малых.
Гипотеза Н является линейной гипотезой с г = а— 1, s = = 1 + (а - 1) + (6 — 1)=а + 6 — 1 и п — s = (а— 1)(6 — 1). Оценки параметров в Q по методу наименьших квадратов могут быть получены из тождества
£ X (Хи = (Хц - р - а, - р,)2 =
= £ £ WXM - Xi. - X.j + X..) + №• - X.. - a,) +
+ №/-^--P/) + №--h)]2 =
= £ £ (Хц - Xi. - X.j + X.J? + b £ (Xi. - x.. - az)2 +
+ a £ (X.j - X.. - p/)2 + ab (X... - g)2, которое выполняется, так как в разложении третьей суммы квадратов попарные произведения исчезают. Мы имеем
&i = Xi.-X..,^ = Х.,-Х.., р = Х..
и
£ £ (Хи -М2= £ £ (Хц - Xi. - x.j + х..)2.
АА
При гипотезе Н имеем, кроме того, Р/ = Х./— X.., ц = Х.. и ^■и — ^и ~ ^ь — X... Следовательно, наилучший инвариантный критерий отклоняет гипотезу, когда
£ £ (ХИ - Xb - X.j + X. .^(а - 1) (6 - 1)
Параметр нецентральности, от которого зависит мощность критерия, равен
ф2=б£ &. -1 ,)7®2=ь 2 «7^(27)
Эта задача доставляет новый пример применения дисперсионного анализа. Полная изменчивость может быть разбита на три компоненты:
Е 2 (Хц - X..)2 = b Е кХь - х..)2 + а Е (X., - X..? +
Из них первая описывает изменчивость, обусловленную фактором а, а вторая — фактором 0. Последняя компонента в кано- п
нической записи раздела 1 имеет вид 2 ^ь т- е- это сумма / = s+l
квадратов тех случайных величин, средние которых равны нулю и при Q. Так как эта часть (которая после деления на п — s дает оценку о2) не может быть связана с действием факторов а и р, то ее часто называют «ошибкой», подчеркивая этим названием, что она связана со случайностью результатов наблюдения, а не с каким-либо расхождением в средних значениях. В действительности разбиение не является столь отчетливым, как можно вывести из сказанного. Каждая компонента, например, относимая к фактору а, содержит некоторые «ошибки», как можно видеть из величины ее математического ожидания
^^(^.-х ,)2 = (а- 1)а2+бЕ4
Вместо проверки гипотезы о наличии эффекта некоторого фактора можно стремиться оценить размер этого эффекта при разных интенсивностях (уровнях) фактора. Другими параметрами, оценка которых может представлять интерес, являются средние значения исходов (например, размер урожая) ^ga. при различных значениях фактора. Пусть 9/ = ц + а, = ^,. Тогда доверительные множества для (9ь ..., 9а) получаются рассмотрением гипотезы Н (9°): 6, = 6® (/=1, ..., а). При проверке гипотезы 01 = ... = 9а = 0 оценки по методу наименьших
АА
квадратов для |(/ равны Хц = Xt. + X.] — X.. и ^и = Х.( — X... Как и раньше, сумма квадратов в знаменателе равна 2Е№/ — Xt. — Х./ + X..)2, а сумма квадратов в числителе теперь равна
Общий случай сводится к этому специальному заменой величин Хц на Хц — 9®. Так как s = а + b—1 и г = а, то гипотеза
Н (9°) отклоняется при с
Соответствующие доверительные множества для (9ь ..., 9а) являются сферами
Vm х х2/оС2Х№/-^.-^/ + ^.)2
Zj (9z -(а — 1) (6-1)61
Рассматривая доверительные множества для эффектов аь ... ... ,аа, следует иметь в виду, что величины а связаны между собой. Их общая сумма равна нулю и поэтому достаточно ограничиться величинами ось • • •, «а-ь Однако решение оказывается более легким и более симметричным, если сохранить все а. Критическая область для Н: а, = с^ при Z = 1а (с У а° = 0) получается из (26) заменой X'tj = Xt{ — a°t и потому имеет вид
т-t,сУ У (хи-х. -Х.. + Х )2
»2А ~V-i)■
Соответствующие доверительные множества состоят из точек (aiaa), для которых £а( = 0 и
В пространстве (аь ..., аа) это неравенство определяет шар с центром (Ль — XХа. — X..) в гиперплоскости У az = О, т. е. доверительные множества для величин а состоят из внутренности и поверхности гиперсфер, получающихся в пересечении a-мерных сфер с гиперплоскостью У, az = 0.
Как в этом, так и в предшествующем случае обычными методами можно показать, что класс доверительных множеств инвариантен относительно подходящей группы линейных преобразований и что среди инвариантных эти множества являются равномерно наиболее точными.•
Двойная классификация: т наблюдений в клетке
В предыдущем разделе предполагалось, что эффекты факторов аир независимы и, следовательно, аддитивны. Однако факторы могут взаимодействовать в том смысле, что эффект одного из них зависит от интенсивности другого. Так, успех учителя зависит, например, от степени подготовленности или возраста студентов, а урожай при различных условиях орошения зависит от типа почвы и сорта выращиваемых растений. Если
отказаться от предположения аддитивности, то средние значения ^ц величин Хц уже не будут более задаваться соотношениями (24) при Q, но станут совершенно произвольными. Поэтому для каждой комбинации значений признаков требуется не менее ab наблюдений, так как в противном случае s = п. Мы рассмотрим здесь лишь простейший случай, когда при каждой комбинации значений признаков производится одно и то же число наблюдений.
Пусть Хцк(1 = 1, ..., а; / = 1, .... 6; k = 1, ..., m) — независимые случайные величины, распределенные нормально с общей дисперсией а2 и средними E(Xtjk) = Su- По аналогии с прежним случаем мы пишем
Е„ = Е.. + (6,. - Е..) + (6., - Е..) + (Е„ - Е„ — Е./ + Е..) =
= Н + «/ + Р/ + Yu
с 2 “/ = ^2 Р/ = 2 Yu = ^2 Y</ = О- Тогда а< представляет собой среднее значение фактора 1 на уровне I (усреднение производится по b уровням фактора 2; аналогично интерпретируются и величины 0). Величины у называются взаимодействиями, так как у,/ указывает количество, на которое совместный эффект ^<7 — £ .. факторов 1 и 2 превосходит сумму их индивидуальных эффектов. Рассмотрим снова гипотезу о равенстве нулю всех величин а. Тогда г = а—1, s = ab и п — s = (т—1)а6. Из разложения
2522 аик - W=222 №,» - хц.у + «22 №/. - W
И
2 2 им. - Su)2 = 22 №,. - xt„ - x.b + х... - nmY +
+ b 2 №.. - X... - a^ + a £ №/. - X... - p,)2 + ab №.. - p)2
следует, что
A = ^=S.. = x ....&t=lb-L=x(..-x ....
Y<7 = Yz/ = Хц. — Xi.. — X.j. + X . ..
222 (xilk - tu)2 = 222 Wltk - ад,
222(f u- W=mb^№.. -x..)2.
Наиболее мощный инвариантный критерий отвергает когда
=тЬ^^-Х^а-Х^
^^хцк-ха№-х^аь 1
гипотезу,(28)гипотезу,(28)m6E(^.-I..)2 тб2°<а2а2m6E(^.-I..)2 тб2°<а2а2(29)(29)Здесь параметр нецентральности распределения IV равен
гипотезу,
(28)
гипотезу,
(28)
m6E(^.-I..)2 тб2°<а2а2
m6E(^.-I..)2 тб2°<а2а2
(29)
(29)
Интерес представляет и гипотеза о независимости факторов *) Н'-. Ха = 0 при всех i, j. Оценки параметров по методу наименьших квадратов снова легко вычисляются. РИМ инвариантный критерий имеет критическую область (см. задачу 12)
При гипотезе Н' статистика W* имеет ^-распределение с (а — 1)(& —1) и (т—1) ab степенями свободы. Параметр нецентральности при любых альтернативных значениях величин у равен•
^2=™^---(31)
Разложение полной изменчивости на компоненты в настоящем случае имеет вид
Е Е Е (хИк - х...)2=mb Е №.. - х.„? +
+ та Е (X.f. - X...)2 + т Е Е Uib -Xt..- X.,. + X...)2 +
+ Е Е Е №м — хг/.)2.
Здесь первые три суммы представляют компоненты изменчивости, связанные с величинами а, 0 и у соответственно. Последняя компонента описывает «ошибку». Критерии для гипотезы о том, что все а, все 0 или все у равны нулю (первая и третья из них имеют критические области (28) и (30)), получаются сравнением соответствующей суммы квадратов с последней суммой квадратов. Аналогичное разложение возможно и в случае, когда величины у априори принимаются равными нулю. Тогда третья koMj понента, ранее связывавшаяся с у, описывает дополнительный
эффект ошибок. Само разложение принимает вид
£2 2 (Хцк - Х...У = mbH (Xt.. - X...)2 +
+ ma 2 (X.j. - X...)2 + 2 2 2 (Xlik -Хг„- X.h + X...)2, где последний член соответствует ошибкам. Гипотеза Н: ai = _: .., = aa = 0 отклоняется при
LWxuHi.-MM>bm-a-b+'i ’
Допустим теперь, что предположение об отсутствии взаимодействия, при котором получен критерий, не оправдано. Тогда сумма квадратов в знаменателе имеет нецентральное ^-распределение (вместо обычного) и потому стохастически больше, чем предполагалось (см. задачу 13). Отсюда следует, что действительная вероятность отклонения меньше, чем она была бы при У У Y// — 0- Это показывает, что вероятность ошибки первого рода не превосходит номинального уровня значимости, каковы бы ни были значения у. Однако мощность убывает при возрастании У У у^/а2 и стРемится к нулю, когда это отношение стремится к бесконечности.
Дисперсионный анализ и связанные с ним критерии, рассмотренные в этом разделе для случая двух факторов, непосредственно переносятся на случай большего числа факторов (см., например, задачу 14). С другой стороны, если число наблюдений для каждой комбинации значений факторов (для каждой клетки) не одно и то же, то задача, хотя и охватывается схемой линейных гипотез, но становится значительно сложнее.
Чрезвычайно важными являются планы эксперимента, в которых появляются только некоторые комбинации значений факторов, поскольку тогда возможно сократить объем экспериментальной работы. Так, например, действия трех независимых факторов с т уровнями каждый можно проанализировать всего с т? наблюдениями (вместо т3 наблюдений, если производить по одному наблюдению для каждой комбинации уровней), если использовать метод латинских квадратов (см. задачу 15).
Рассмотренный здесь класс задач как частный случай содержит задачу двух выборок, обсуждавшуюся в главе 5, так как последняя касается одного фактора с двумя уровнями. Изложенные в этой связи вопросы о возможной неоднородности экспериментального материала и о рандомизации как средстве компенсации этой неоднородности сохраняют свою важность и в настоящей, более сложной ситуации. Если неоднородный материал разделен на несколько однородных групп, то эту классификацию можно трактовать как порожденную одним или несколькими
дополнительными факторами. Выбор этих групп является существенным шагом в определении подходящего плана эксперимента ) (очень простой пример обсуждался в задачах 26 и 27 главы 5).
Как защиту от возможных неоднородностей внутри подгрупп (и других отклонений от сделанных предположений) используют рандомизацию при назначении способов обработки внутри групп. Как и в случае задачи о двух выборках, сам по себе процесс рандомизации (без каких бы то ни было предположений относительно метода отбора экспериментального материала, нормальности, независимости и т. д.) позволяет строить критерии уровня а для различных интересных гипотез. Критерии перестановок в рассматриваемом случае сводятся к вычислению подходящей ^-статистики W* и сравнению этого значения с тем, которое получается применением к наблюдениям перестановок, связанных с процессом рандомизации). Как и раньше, эти критерии асимптотически эквивалентны соответствующим F-критериям, которыми они, следовательно, могут быть аппроксимированы. •
Регрессия
Как уже отмечалось в примере 2, гипотезы о специальных значениях коэффициентов регрессии аир, когда Х\, ..., Хп — независимые нормально распределенные величины с общей дисперсией о2 и средними
^ = а + (Мь (32) являются частными случаями общей линейной гипотезы. Гипотезы //г. а = ао и Я2: Р = Ро обсуждались в разделе 6 главы 5, где было показано, что для них существуют РНМ несмещенные критерии. Мы рассмотрим теперь гипотезы Н\ и Нг и гипотезу Н3: а = ао, Р = Ро с новой точки зрения. В соответствии с общей теорией раздела 1, соответствующие критерии будут РНМ инвариантными относительно надлежащих групп линейных преобразований. Для первых двух гипотез, для которых г = 1, на этом пути получается, если учесть рассуждения раздела 6 главы 6, новое доказательство того, что рассматриваемые критерии — РНМ несмещенные.
Пространство Па — одно и то же для всех трех гипотез. Оно натянуто на векторы (11) и (6, ...,/«) и потому имеет
размерность s = 2, за исключением случая, когда все t, равны друг Другу. Этот случай мы не будем рассматривать. Оценки для а и Р по методу наименьших квадратов при Q получаются минимизацией X (Xt — а — р/()2._ При любом фиксированном р минимум достигается при а = Л— р/. При таком а сумма квадратов сводится к У, [(Xz — X) — р (Zz — Z)]2. Минимизируя последнее выражение относительно р, мы находим
(33)(33)Е№-Х)(й-0р ——, Ct — л рГ ,
(33)
(33)
X«/ - о2н
кроме того, сумма квадратов в знаменателе для всех трех гипотез равна
X № - 6 - р/,)2 = X № - У)2 - р2 х ^ - Z)2.
Числитель статистики, по которой строится критерий, равен У? при проверке гипотез а = 0 и р = 0 и равен У? + У2 при проверке гипотезы а = р = 0.
При гипотезе а = 0, как показано в примере 3, статистика У] равна
rr-iX^z V / «Х^ /^ТЛ^У)N ^-«у -aV ' x^1
ТакТаккак при этомкак при этом£(У,) = а£(У,) = аV z<?V z<?
Так
Так
как при этом
как при этом
£(У,) = а
£(У,) = а
V z<?
V z<?
то гипотеза a = а0 эквивалентна гипотезе ^(У,) = т]® = — ^^n^iti — tyi^t2, для которой критическая область (17) имеет вид (п — s) (У, — Л?)2/ У У2 > Со или
>С0.>С0.(34)(34)|а-aolд^X(z/-O7X,/^№-й-к№-2)
>С0.
>С0.
(34)
(34)
Как было показано ранее, при гипотезе р = 0 У] равно
VX Vi - <>2VX Vi - <>2pVX(^¥.pVX(^¥.
VX Vi - <>2
VX Vi - <>2
pVX(^¥.
pVX(^¥.
Так как при этом £‘(У1) = рУХ(^/ ~ О2. т0 гипотеза Р—-р0 эквивалентна гипотезе Е (У^ = т]“ = ро VX Qj — iy и, следова-
тельно, критическая область определяется неравенством
(35)(35)—/_—,> Ьо-
(35)
(35)
V2 №-а-РШ(я-2)
В примере 3 было указано, что при гипотезе а = р = 0
Yv =^HVi-i)2. Y2 = ^nX = ^/n(a + ^i),
так что числитель в формуле (7) равен
(у2+Г2)_[П(& + РОЧ₽2Е(^^
22
Более общая гипотеза а = а0, 0 = 0о эквивалентна гипотезе £ (У1) = Я?. Е (Уг) = Я§. где п? = 0о VZ ^НУ’ Я® = V» («о + 0</)- Поэтому критическая область может быть представлена в виде
[Ч^^о£±^(12^)^^г (SRX
Соответствующие доверительные множества для (а, 0) получаются обращением этих неравенств и заменой ао и 0о на а и 0. Получающиеся множества имеют вид эллипсов с центром в (6, Р).
Простую модель регрессии (32) можно обобщать во многих направлениях; например, средние ^ могут быть полиномами от h степени выше первой (см. задачу 18) или более сложными функциями, скажем, тригонометрическими многочленами, или функциями нескольких переменных, например tu щ, иь Некоторые дальнейшие обобщения будут теперь проиллюстрированы несколькими примерами.
Пример 6. Несколько проблем возникает при наличии более чем одной линии регрессии. Допустим, что случайные величины Хц независимы и распределены нормально с общей дисперсией и средними
^/ = а, + ^/ М=хпР t-1, ...» 6).(37)
Гипотеза о том, что эти линии регрессии имеют один и тот же наклон
Н: ^ = ...=^
может встретиться, например, при проверке равенства нескольких скоростей роста. Пространство параметров Пд имеет размерность s = 2b, если предположить, что ни одна из сумм ^ (^у — /г-.)2 не обращается в нуль. Число
ограничений, налагаемых гипотезой, равно г = b — 1 Минимальное значение ^ ^ №/— £//)2 в Q получается минимизацией при каждом I сумм
У (Xz/ — ctz — P^f/)2, так что в силу (33)
^i — ^ь ~" 0/г
При гипотезе Н следует минимизировать сумму У У (Хц — az — Р^у)2, что при любом фиксированном р приводит к значению ау=Лу, —р/у, и сумму квадратов превращает в X X [(Хуу — Xh) — р (t^ — ^.)]2. Минимизируя последнее выражение по р, находим
Так какТак какZZ('z/-<z.)2’ZZ('z/-<z.)2’ААaz= ^1.Р^.-ААaz= ^1.Р^.-
Так как
Так как
ZZ('z/-<z.)2’
ZZ('z/-<z.)2’
АА
az= ^1.Р^.-
АА
az= ^1.Р^.-
Ч ~ hi—Ч"~ &i ^Ч — Vх ц ~ xi •)— ^z Qu — Ч^hi -ч=ч- «а+«и & - В)=(h - В) (<,/ - ч-
то критическая область (15) равна
>c,>c,(38)(38)Z^-^Z^z/-^.)2/^-!)
>c,
>c,
(38)
(38)
Z Z [№/ - ^z.) - Pz ('z/ - W - ^
где левая часть при гипотезе Н имеет F-распределение с (Ь—1) и (п — 2^) степенями свободы. ,-
Так как
А Z₽zZ(^-m2
E^-fo и £(Р) = -~=г^г,
то параметр нецентральности указанного распределения при альтернативных значениях р равен ф2 = X (Ру — р)2 X (/у; — ^.)2/ог2, где Р = Е (Р) В частном случае, когда щ и t^ не зависят от ц Р принимает вид p=Zpa
(39)(39)Пример 7. Модель регрессии (37) возникает при сравнении нескольких способов обработки при условии, что экспериментальные единицы считаются постоянными, а соответствующие эффекты uq (определенные в разделе 10 главы 5) — пропорциональными известным константам tq. Здесь tq может измерять степень плодородия и i j-vo участка почвы или вес I j-ro животного До эксперимента. В этой обстановке часто можно принять, что множитель пропорциональности (3/ не зависит от способа обработки. Тогда (37) сводится к
(39)
(39)
8z/ = az+ ^ц*
а гипотеза об отсутствии эффекта обработки принимает вид
Н" а,= ... = ау
Пространство П^ совпадает с пространством П0 предыдущего примера,
так что s = 6 + l и
»1 = ХЬ»1 = ХЬР<;..Р<;..
»1 = ХЬ
»1 = ХЬ
Р<;..
Р<;..
Минимизация суммы ^ ^ №/ — а — Pty)2 Дает
HHVa-t-.yHHVa-t-.yААа = Х_. -Р<__,ААа = Х_. -Р<__,
HHVa-t-.y
HHVa-t-.y
АА
а = Х_. -Р<__,
АА
а = Х_. -Р<__,
где x.. = ^^xijl^> ^ = ^1^4Ч11п’ п = Цпг Сумма квадратов в числителе №* (см. (15)) равна
2 2 ^и - W=22 [№• - ^.) + р Уи - 7.) - р у и -1. ,)р.
Следовательно, гипотеза Н отвергается при
2 2- ^-) + р ^ц - 7.) - р у и --1) с
22[(^/-^-)-Р(^-М]7(«-*-1)’
где при гипотезе Н левая часть имеет ^-распределение с b — 1 и п — b — 1 степенями свободы.
Гипотеза Н может быть проверена и без того, чтобы значения 1ц считать известными. В этом случае она становится гипотезой об отсутствии эффекта в одинарной классификации, рассмотренной в разделе 3, и соответствующий критерий дается формулой (18). Действительно, поскольку в этом случае индивидуальные эффекты ар предполагаются постоянными (но неизвестными), то способы обработки приписываются экспериментальным единицам или совершенно случайно, или случайно внутри подгрупп. Соответствующий критерий является рандомизированным; критерий (18) служит приближением к нему.
Пример 7 иллюстрирует важный класс ситуаций, в которых дисперсионный анализ (в нашем случае касающийся одинарной классификации) комбинируется с проблемой регрессии (в нашем случае — линейная регрессия на единственную «сопутствующую переменную» /). Обе части проблемы могут, конечно, оказаться более сложными, чем это было в примере. В общем случае такой комбинированной проблемы можно проверить гипотезы о величине эффектов, подобно тому как это сделано выше. Аналогичный анализ можно провести для коэффициентов регрессии. Разбиение полной изменчивости на компоненты, соответствующие различным способам обработки и различным коэффициентам регрессии, является предметом так называемого анализа ковариаций. *)
Модель II: одинарная классификация
Мы видели, что способ анализа действия одного или нескольких признаков зависит от того, считаются ли экспериментальные единицы постоянными или же образуют случайную выборку из совокупности таких единиц. То же различие возникает и при изучении эффектов самих факторов. В некоторых применениях они постоянны, а в некоторых других являются не наблюдаемыми случайными величинами. Если размеры эффектов все постоянны или все случайны, то мы говорим о модели I или модели II соответственно; ситуации, где встречаются оба типа, мы обозначаем термином смешанная модель. Ясно, что схемой линейных гипотез, как она определена в начале этой главы, охватывается только модель I. В настоящем разделе мы рассмотрим для случая одного фактора (одинарная классификация) модель II. Модель I для этого случая была разобрана в разделе 3.
В качестве иллюстрации рассмотрим какую-либо промышленную продукцию, например сталь, которая производится партиями. Предположим, что из каждой из s партий берется выборка объема п и что результаты наблюдений Хц (/= 1, ..., п; i = 1, ..., s) независимы и распределены нормально с дисперсией о2 и средними ^. Если бы фактор, соответствующий индексу Z, был постоянен, с одним и тем же эффектом az в каждом повторении эксперимента, то мы имели бы
^^H + ty (S«z = O) и Хц = ц + az + Utf,
где Uij независимы и распределены по закону N(0, а2). Гипотеза об отсутствии эффекта имеет вид £i = ... = £$, или, что эквивалентно, ai = ... = as = 0. Однако эффект связан с партиями, из которых при каждом повторении эксперимента берется новая часть; поэтому эффект не остается постоянным. Мы допустим, что эффекты, связанные с партиями, образуют выборку из нормального распределения, и, чтобы подчеркнуть их случайную природу, мы будем писать Ai вместо at, так что
Хц = ц + Ai + Uif. (41)
Предположение об аддитивности (т. е. об отсутствии взаимодействия) эффектов, связанных с партией, и индивидуальных эффектов влечет в этой модели независимость случайных величин А и U. Если математические ожидания величин At включить в Ц, то все величины А и U будут независимыми нормально распределенными со средними нуль и дисперсиями, равными а\ и а2 соответственно. Конечно, величины X уже не будут независимыми.
Гипотеза об отсутствии эффекта партий, т. е. гипотеза о том, что А равны нулю и, следовательно, постоянны, принимает форму
Н: ст2=0.
Это предположение в рассматриваемой ситуации нереалистично,но оно может рассматриваться как предельный случай гипотезыЯ (До): ^-<До
о том, что эффект партий мал по сравнению с изменчивостью материала внутри партии. Этим гипотезам в модели I соответствуют гипотезы У а2 = О и У. а2/ст2 ^ До.
Чтобы получить критерий для Н (До), удобно начать с того же самого преобразования переменных, которое приводило соответствующую модель I к канонической форме. Каждый набор (^р ..., X(J мы подвергаем ортогональному преобразованию п
¥ii=^CjkXik такому, что Уп = а^пХь. Так как cit= 1/V” при к=\, ..., п (см. пример 3), то из предположения ортого- п
нальности следует, что Цс1к = 0 для /==2п и, что, еле- 6 = 1
п
довательно, Ytl = 2 c!kUlk при />1. Таким образом, вели- к=\
чины Yq с / > 1 независимы и распределены нормально с нулевыми средними значениями и дисперсией о2. Они также независимы от Ub поскольку (Vй Ut.¥n ... YmY = С (UqU и ... U£n) (штрих указывает операцию транспонирования матрицы). С другой стороны, случайные величины Yu = •VnXt. = Vw(h+A+^p) также независимы и распределены нормально со средними значениями д/^Ц и дисперсией о2 + ио^. Если произвести дополнительное ортогональное преобразование вектора (ГцУ$1) в вектор (2ц, ..., Zsl) такой, что Zn = Vs^-i, то величины Z будут независимыми, нормально распределенными с общей дисперсией о2 + по^ и средними Е (Zn) = л/sn ц и E^Z^ = 0 при i>l. Полагая, по определению, Zq = Ya при />1, мы найдем, что совместная плотность величин Z равна
^'"^CT-t"-1^ (а2 + пст2)"$/2ехр Г— , 2 *—5уХ
v л/ L 2 (° + поа) /s хs п п
■х((2Н~ У^ЧЕ^,)- 2^"Z £Z</ L (42>
X;=2 /£ = 1 /-2 J
Проблема проверки //(До) инвариантна относительно добавления произвольной постоянной к Zu; по отношению к этому преобразованию совокупность остальных величин Z является максимальным инвариантом. Эта совокупность составлена из двух выборок — объемов s(n— 1) из— 1 — из нормальных распределений со средними нуль и дисперсиями а2 и т2 = о2 + по^ Гипотеза Н (До) эквивалентна гипотезе т2/а2 ^ 1 + Доп, и проблема сводится к задаче сравнения дисперсий двух нормальных распределений, которая рассматривалась в примере 6 главы 6 (без предположения о том, что средние равны нулю). РИМ инвариантный (относительно умножения всех Z^ на одну и ту же положительную константу) критерий отклоняет гипотезу, когда
(1 + До») S^n - 1) s L’гдепS пS п
si-Xz), и s2=E Sz;,= 2 ЕУ«-i-21-1 /-21-1 /-2
Константа С определяется из уравнения
Fs-i. (n-i) s (у) dy = а.
СТак какпп
^Y^-Y^^u-nUV И ss
£ 2ц — 2ц = £ И1 — зУ?ь i-1i-1
то суммы квадратов, стоящие в числителе и знаменателе IT*, выраженные в терминах величины X, принимают вид
SS п
^ = м £ №. -X..f и S2 = £ £ №/ - Xut.
i-iz-i /—i
В частном случае, при До — 0, критерий (43) эквивалентен соответствующему критерию (18) для модели I, но они являются решениями разных проблем и имеют разные функции мощности. Сумма квадратов в числителе W* пропорциональна обычному %2, даже если гипотеза неверна (в то время как в модели I эта сумма имела нецентральное ^-распределение). Мощность критерия (43) при альтернативном значении Д вычисляется
через /"-распределение по формуле
р(Д) = Рд{1Г>С} = [ P$-i. („-оЛу)^.
1 + АрП1 + Дп
Семейство критериев (43) при меняющемся До эквивалентно доверительным утверждениям
Соответствующие верхние доверительные границы для Д получаются из критериев для гипотез Д ^ До. Области принятия для этих последних имеют вид W* С', где W* определяется по (43), а С' — равенством ^ /*-i, (n-i)s= 1—а. Соответствующие
С' доверительные границы имеют вид
Как доверительные множества (44), так и доверительные множества (45) инвариантны относительно группы преобразований, порожденной группами, рассматривавшимися при проверке гипотез, и, следовательно, среди инвариантных являются равномерно наиболее точными. .
Когда Д отрицательно, доверительное множество (Д, оо) содержит все возможные значения параметра Д. При малых Дэто будет происходить с большой вероятностью (1—а для Д = 0), чего следовало ожидать, так как Д должно быть надежной нижней границей для величины, которая равна нулю или очень близка к нему. Более неприятна возможность получить отрица- тельное_ значение для Д, так что доверительное множество (—оо,Д) оказывается пустым. Интерпретация подсказывается тем фактом, что это может быть тогда и только тогда, когда гипотеза Д ^ До отклоняется при любых положительных значениях До. Последнее можно воспринимать как указание на неудачный выбор модели. Правда, следует иметь в виду, что при малых Д вероятность события Д < О близка к а, даже если требуемые предпосылки выполнены; так что изредка это событие может наблюдаться.
Критерии для гипотез Д ^ До и Д ^ До являются не только РИМ инвариантными, но и РИМ несмещенными. РИМ несмещенный критерий существует и для гипотезы Д = До при двусторонней альтернативе Д =/= До- Это вытекает из того факта, что
совместные распределения величин Z образуют экспоненциальное семейство. Доверительные множества, связанные с этими тремя семействами критериев, оказываются равномерно наиболее точными в классе несмещенных (см. задачу 19). То обстоятельство, что в модели II существуют оптимальные несмещенные процедуры, а в соответствующей модели I они отсутствуют, объясняется различной структурой двух гипотез. Гипотеза 0^ = 0 в модели II налагает одно ограничение, так как касается единственного параметра о^. С другой стороны, соответствующая ги- s
потеза 2 а? = 0 в модели I касается значений s параметров
аь ..., а5. Так как s—1 из них независимы, то число ограничений равно s — 1.
Классификации по подчиненности («гнездовые» классификации)
Теория предыдущего раздела неприменима даже в столь простой ситуации, как одинарная классификация с неравными численностями различных классов (см. задачу 22). Однако принцип несмещенности может быть распространен на важный случай «гнездовых» (иерархических) классификаций с равными численностями классов. Характер этого обобщения легко понять, если провести его для случая двух факторов. Случай большего числа факторов охватывается по индукции.
Возвращаясь к примеру с партиями какого-либо продукта, допустим, что одной партии сырья достаточно для производства нескольких партий окончательного продукта. Пусть экспериментальный материал состоит из ab партий, причем каждая из а партий сырья идет на изготовление b партий продукта. И пусть из каждой партии взята выборка объема п. Тогда формула (41) принимает вид
Хцк = Ц + At + Вц + UUk(46)
(/ = 1, ..., а; J = 1, ..., Ь; к = 1, ..., п\
где At обозначает эффект, связанный с z-й партией сырья, Вц — с /-й партией окончательного продукта, полученного из этой партии сырья, Uijk — ^ к-й единицей, выбранной из последней партии. Все эти величины предполагаются независимыми и распределенными нормально с нулевыми средними значениями и дисперсиями, равными соответственно о^, а^ и о2. Основная часть Доказательства по индукции состоит в указании ортогонального перехода к величинам Хцк, совместная плотность которых,
с точностью до постоянного множителя, равна [/а \
-Г"14 -
V 1* А/ X/„2'
a bа b п *1
“ 2 (а2 + па2 ) X X 2«Л ~X X X 4*] • (47>
V В' 1-1 /=21 = 1 /-1 к=2 J
Прежде всего, при каждых I, j существует ортогональное преобразование величин (^д, ..., Хц^ в (У/дУдп) такое, что
Y щ = -^ п Хц. = Vп ц + Vп (Ai + Ви + UtbY
Как и в случае простой классификации, величины Yijk с & > 1 зависят только от U, независимы между собой и распределены нормально с нулевым средним и дисперсией а2 и не зависят от Ui,-. С другой стороны, величины У,д имеют ту же структуру, что величины Уц в одинарной классификации
Y щ = ц' + Л, + Нц,
где p,, = VnP: Ai = -^п Ai, и^^^п^ВцА-иц^ и где дисперсии Л' и и'ц равны о2 = /гсгл и о'2 = а2 + пп| соответственно. Эти величины могут быть, следовательно, преобразованы в величины 2щ, совместная плотность которых задается формулой (42) с заменой Хц на Хщ. Полагая Xijk = Yijk при к > 1, мы видим, что совместная плотность величин Хцк определяется выражением (47).-
На основе формулы (47) можно проверить гипотезы Ну ^аК^ + ^в) ^ ^о и ^2: °в,а2^\> которые устанавливают, что одна или другая из классификаций меньше влияет на исход испытаний. Пусть aa bа b п
S = Z zi„, si = Z Z zim S = Z S Z Zi,„.
i-2i = l 1=2i —1 /-1 A=2
Чтобы получить критерий для Н\, кажется соблазнительной попытка исключить S2 с помощью инвариантности относительно умножения величин Хцк с к > 1 на произвольную постоянную. Однако эти преобразования не оставляют выражение (47) инвариантным, так как они не всегда сохраняют тот факт, что а2 является наименьшей из трех дисперсий: о2, а2 + по^ и а2 + пав + + Ьпа^. Вместо этого мы рассмотрим задачу с точки зрения несмещенности. Для любого несмещенного критерия гипотезы Hi вероятность отклонения равна а каждый раз как ff2/(a2 + rtOg) = = Д0; в частности, это имеет место, если дисперсии равны а2, т|
и (1 + 6«А0)т2, где т2 — любое фиксированное число и о2 < т^. Теми же приемами, что и в главе 4, можно показать, что условная вероятность отклонения гипотезы при данном S2 = s2 должна быть равна а для почти всех значений s2. При фиксированном S2 совместное распределение оставшихся величин имеет такую же форму, как (42), после удаления 2ш. РИМ несмещенный условный критерий при данном S2 = s2 имеет критическую область"
Wi =зУ^"0 >СХ.(48)
1 + 6пД0 S|/(&-l)a1'
Так как 5д и Sb не зависят от S2, то константа Сх определяется тем условием, что при о^До2 + гаа^) = Ао статистика IT? имеет распределение Fa-i, (б-ца, т. е., в частности, не зависит от s. Критерий (48) является, очевидно, несмещенным и, следовательно, РИМ несмещенным.
В применении к Я2 совершенно аналогичные рассуждения показывают, что РИМ несмещенный критерий имеет критическую область
*^2 1+пДо ’ S2/(n —1)а& ^С2’^
где С2 определяется тем условием, что при о|/ст2 = Ао статистика ТГ2 имеет распределение Р<ь-ца, (п-иаь.
Остается выразить статистики 5д, Sb и S2 в терминах величин X. Из соответствующих выражений для одинарной классификации получаем
а
Sa = £ Z2m - Z2UX = b £ (Ум - У..О2,
а г 61
Sb = 2 I 2 ^?/i — ^ш I = X 2 (Хт — Yb\f z=i L/=iJ
и
n a b Г n1Г n1
= I X 2 Y2jk — y2/i = £ £ £ u2tjk — nU2). =i-i j-i L*-iJ< / L a—iJ
life Следовательно,
s^ = bn £ №.. - X...)2, Sb =« £ £ (Xt!. - J,..)2,
52 = 222№/й-ад2.(50)
Из выражений для этих статистик в терминах величин Z видно, что их математические ожидания равны £[S^/(a— 1)] = cr2 -j- + П0^в + Ьпо\, Е [^/(b - 1) а] = а2 + па2 и £ [S2/ (п — 1) аб] = а2. Поэтому разложение
ZZZp^-^-^^ + Sb + s2
служит основой для анализа дисперсий Хць
V=r(X,,,) = cг«+a«+»,.
давая оценки для компонент дисперсии о2Д, а2в, а2, и для некоторых отношений этих компонент.
Двойные классификации по подчиненности могут встречаться в форме смешанных моделей. Предположим, возвращаясь к предыдущим иллюстрациям, что фирма производит продукцию на нескольких заводах. Пусть а, обозначает эффект 1-го завода (эта величина будет постоянной, так как при повторении эксперимента заводы не меняются), Вц — эффект партий, U,цк — индивидуальный эффект. Тогда наблюдения имеют следующую структуру:
Хцк = Ц + ^i + Bq + UMk.(51)
Вместо полного приведения величин X к канонической форме в терминах величин Z здесь удобнее осуществить редукцию к величинам У (так что Ym = л/п Хц.) и первое из двух преобразований, переводящих Y в Z. Обозначим так полученные ^ели- чины №/м. Они удовлетворяют соотношениям №ш = V& ^м, Wtjk = Yifk при к > 1 и
aa bа b п
tWm-W.nf^S^ZZr^^sLZ Z Z^/» = S2,
i = l1 = 1 }=2Z = 1 /=1 k=2
где 5л, Sb и S2 определяются по (50). С точностью до константы совместная плотность величин W равна
г/аа b х
ехр[ " 2(„Ч«у (2-
а b п *1
~^ZZZ=U <52>
1 = 1 /=1 к=2 J
Отсюда ясно видно отличие задачи проверки гипотез о малости эффектов отдельных заводов
Z«i
Н; oi= ... =ао = 0 или И'-. -^— ^До
(а +пав)
и задачи проверки аналогичной гипотезы для эффектов партий: ст^/о^^Ау. Первые две гипотезы включаются в модель I (линейная гипотеза). Как и прежде, из несмещенности вытекает, что условная вероятность отклонения при S2 = s2 равна почти всюду величине а. При фиксированном S2 гипотеза Н проверяется как линейная гипотеза и РИМ инвариантный условный критерий при условии S2 = s2 имеет критическую область (48) с До = 0. Константа Ci снова не зависит от S2 и найденный критерий является РИМ в классе всех критериев, как несмещенных, так и инвариантных. Критерий с аналогичным свойством существует и для гипотезы Н'. Его критическая область имеет вид
^/(а —1) >с,S2B/(b - 1) а ’
где С' определяется с помощью нецентрального Лраспределе- ния (а не из центрального ^-распределения как раньше; см. задачу 5).
С другой стороны, гипотеза о|/а2^А0 относится, по существу, к модели II. Она инвариантна относительно добавления произвольной постоянной к каждой из величин Н^пь При этом преобразовании максимальный инвариант образует суммы a b а Ъ п
У У IF//1 и У У У W^. Задача сводится, таким образом, 1 = 1 /=2 1 = 1 /=1 к-2
по структуре к чистой модели II с одинарной классификацией. Критерий, как и раньше, определяется по (49). Он является и РНМ инвариантным, и РНМ несмещенным.
Смешанная модель с двумя факторами, которые взаимодействуют, будет рассмотрена в примере 11.
Многомерная линейная гипотеза
Одномерная линейная модель раздела 1 возникает при изучении воздействия различных экспериментальных условий (факторов) на единственную характеристику, такую, как размер урожая, вес, продолжительность жизни, давление крови и т. п. Эта характеристика предполагается распределенной нормально со средним, зависящим от исследуемых факторов, и с дисперсией, не зависящей от них. Мы рассмотрим теперь многомерный аналог этой модели, который применим к изучению действия одного или большего числа факторов на несколько характеристик, например, к изучению влияния рациона питания коров на жирность и на количество молока.
Многомерным аналогом действительной нормально распределенной случайной величины является случайный вектор
(Xi, ..., Хр^ с многомерной нормальной плотностью вероятности ехр [— у ^ ^ аи ^х‘— ^ ^xi — ^] ’(53)
(2л)2 "
где матрица А = ^ai^ положительно определена и | А | обозначает ее детерминант. Средние значения и матрица ковариаций Xt задаются формулами
£№) = &, E(Xt-ltHXi-^ = aih (оИ) = А-\(54)
Рассмотрим теперь п независимых многомерных нормальных векторов Aa = (AaiХар), а=1 п, со средними E^Xai^ = ^>ai и общей матрицей ковариаций Д-*. Как и в одномерном случае, многомерная линейная гипотеза формулируется в терминах двух линейных подпространств Па и Пт «-мерного пространства, имеющих размерности s < п и 0 ^ s — г <_s соответственно. Предполагается известным, что при всех i = 1, ... ,.., р векторы (|и, ..., ^ лежат в Па; проверяемая гипотеза утверждает, что они лежат в Пю. Эта проблема приводится к канонической форме применением к каждому из р векторов (Ан,... .... Хп^ ортогонального преобразования (1). Если
/Хп ... Х1р\
\ Хщ ... Хцр /
и если новые величины суть Х*аь то преобразование может быть записано в следующей матричной форме:
Х* = СХ,
где С = (сар)—ортогональная матрица.
Чтобы найти совместное распределение величин Аа/, рассмотрим сначала ковариацию любых двух из них, скажем пп
Аа<= 2 Ca-<X^i и Ар/= ^ себХбь Используя тот факт, что кова- 7=16=1
риация величин Х^ и А6/ равна нулю при у^би равна оц при у = б, мы получаем
CovWf, Ав/) =
V V г tv v \_ Vесли а = Р’
"" ^Х ^WpeCoV^YO X^-CuLCa^ — | 0 если а=/:р
Таким образом, строки матрицы А* снова являются независимыми многомерными нормальными векторами с общей матри-
цей ковариаций Д™1. Как и в одномерном случае, векторы средних значений должны удовлетворять соотношениям
е«.,= ••• =к,-о v=iр)
(равносильным принадлежности Q) и проверяемая гипотеза принимает вид
Я: ^=...=^ = 0(i=l,...,p).
Изменим обозначения. Буквами У, U и Z будут обозначаться соответственно первые г, последующие s — г и последние т = = п — s выборочных векторов. Мы приходим тогда к следующей канонической форме. Векторы Уа, Up, Zv (а =1, .... г; 0 = = 1, ..., s — г; 7=1, ..., /п) независимы и имеют р-мерные нормальные распределения с общей матрицей ковариаций Д-1. Дано, что средние величин Z равны нулю, а проверяемая гипотеза Н состоит в том, что средние значения величин У также равны нулю. Если
то, как можно показать, принципы инвариантности и достаточности позволяют редуцировать данные наблюдений к двум р X р-матрицам У'У и Z'Z. Поэтому удобно иметь выражение для этих статистик в терминах первоначальных наблюдений.
Как и в одномерном случае, обозначим (jlz, ..., |„z) и (^н, ••-, L/) проекции вектора (ХцХп^ на Па и Пю. Тогда
п
L(xat-U(xttl-U а-1
представляет собой скалярное произведение двух векторов, каждый из которых есть разность между некоторым вектором и его проекцией на Па. Отсюда следует, что это выражение остается инвариантным при ортогональных преобразованиях системы координат, в которой выражены результаты наблюдений. Преобразование
/Хи Ас :
XXnJ
можно интерпретировать как запись вектора (Хн, ..., Xni) в новой системе координат, у которой первые s координатных осей лежат в Па. Проекция преобразованного вектора (УнУп-, и»Us-r. i, ZuZmi) на Па равна (Уп, ,,,, Уп, Uu, ...
..., Us-ra, 0, . it, 0), так что разность между этим вектором и его проекцией равна (0, ..., 0, ZXu ..., ZmtV Элемент, стоящий в матрице Z'Z на (/, /)-м месте, равен
тп
2 Z^t = 2 (Ха1 - Li) kXai - L^ (55) Y=1a=l
Аналогично, проекция преобразованного вектора (Ун,..., Ун, UHi • • •, Us—r, it Zu, ..., Xmt) на Пщ равна (0, ..., 0, Uh, ... ..., Us-r, t, ZhZmi) и разность между его проекциями на Ш и Пш равна (Уц, .... Ун, 0, ..., 0,0, .... 0). Мы видим, что
Г
сумма У, Ур/Ур/ равна скалярному произведению разностей этих проекций, вычисленных для i-ro и /то векторов. Сравнивая эту сумму с выражением для того же самого скалярного произведения в первоначальной системе координат, мы находим (/, /)-й элемент матрицы У'У
ГПАА
В=1 Vn =2 &и ~ ^ ^i ~ ^<56>
Редукция с учетом инвариантности
Многомерная линейная гипотеза, каноническая форма которой была указана в предыдущем разделе, является инвариантной относительно некоторых групп преобразований. Чтобы найти максимальные инварианты относительно этих групп, нам потребуется, в дополнение к стандартным теоремам о квадратичных формах, также следующая лемма.
Лемма 1. Пусть М — любая т X р-матрица. Тогда (I) матрица М'М положительно полуопределена, (II) ее ранг равен рангу М, так что, в частности, М'М не будет вырожденной тогда и только тогда, когда пг^ р и ранг М равен р.
Доказательство. (I) Рассмотрим квадратичную форму Q = и'(М'М) и. Если w — Ми, то
Q = w'w ^ 0.
Сумма квадратов w'w равна нулю в том и только том случае, когда вектор w равен нулю. Требуемый результат вытекает теперь из того факта, что решения и системы уравнений Ми = 0 образуют линейное пространство размерности р— р, где р — ранг М.
Мы рассмотрим теперь три группы, относительно которых инвариантна изучаемая проблема.
Группа G\. Добавление произвольной постоянной d^t к каждой из величин U^t оставляет проблему инвариантной. Этим
исключаются величины U, так как совокупность величин У и Z образует максимальный инвариант.
Группа G2. В процессе приведения проблемы к канонической форме было показано, что ортогональное преобразование
Y* = CY
не изменяет ни факта независимости строк матрицы У, ни матрицы ковариаций этих строк. Средние значения векторов У* равны нулю в том и только том случае, когда равны нулю средние значения векторов У и, следовательно, проблема остается инвариантной при этих преобразованиях.
Матрица У'У, составленная из скалярных произведений векторов-столбцов матрицы У, является инвариантной относительно группы G2, так как Y*'Y* = Y'CCY = У'У. Мы покажем, что равенство У'У = Y*'Y* влечет существование такой ортогональной матрицы С, что У* = СУ. Отсюда будет следовать, что матрица У'У является максимальным инвариантом относительно G2. Рассмотрим сначала случай г = р. Не ограничивая общности, мы можем предположить, что первые р столбцов матрицы У линейно независимы, так как исключительное множество величин У, для которых это не выполняется, имеет меру нуль. Из равенства У'У = У*'У* вытекает, что матрица С=У*У-1 ортогональна и что У* = СУ, а это и требовалось доказать. Предположим теперь, что г > р. По-прежнему мы, не ограничивая общности, предположим, что первые р столбцов матрицы У линейно независимы. Так как для любых двух р-мерных подпространств г- мерного пространства существует ортогональное преобразование, переводящее одно из них в другое, то можно предположить, что (после надлежащего ортогонального преобразования) р векторов-столбцов матриц У и У* лежат в одном и том же р-мерном пространстве. Тем самым задача сводится к случаю г = р. Если, наконец, г < р, то можно предположить, что первые г столбцов матрицы V линейно независимы. Обозначая матрицы, образованные первыми г и последними р — г столбцами матрицы У, буквами У1 и У2 соответственно, так что
мы получим У1'У* = У1У1 и, в силу сказанного выше, найдется ортогональная матрица В такая, что Y* = BY\. Из соотношения У1Т2 = У1У2 вытекает, что У2 = (У^)-1 У1У2 = 8У2, чем и завершается доказательство.
Аналогично, проблема остается инвариантной относительно преобразований
Z* = DZ,
Для которых максимальным инвариантом служит ZrZ. Редукция к Z'Z может быть проведена и на основе того факта, что Z'Z
вместе с У и U образует систему достаточных статистик. Как бы то ни было, при группах Gi и Ga данные редуцируются к двум матрицам V = У'У и S = Z'Z.
Группа G3. Мы наложим теперь ограничение т^р (см. задачу 24), которое обеспечивает наличие числа степеней свободы, достаточного для разумной оценки матрицы ковариаций. Рассмотрим преобразования
Y = YB, Z* = ZB,
где В — любая невырожденная матрица. Эти преобразования действуют раздельно на каждый из независимых нормальных векторов (Урь ..., Урр), (ZYi, ..., ZYP) и, очевидно, оставляют проблему инвариантной. Индуцированные преобразования матриц V = Y'Y и S = Z'Z имеют вид
V* = B'VB, S* = B'SB.
Так как |В'(У — XS)B| = |B|2|V— XS|, то корни характеристического уравнения
|F-XS| = 0 (57)
инвариантны относительно этой группы. Покажем, что их совокупность образует максимальный инвариант. Допустим, что уравнения J V — XS | = 0 и | V* — XS* | = 0 имеют одни и те же корни. Опять-таки не ограничивая общности, мы можем предположить, что первые р строк матрицы Z являются линейно независимыми, так что матрицы Z и Z* имеют ранг р. По лемме 1 матрица S будет положительно определенной и из теорем об одновременном приведении двух квадратичных форм к сумме квадратов*) вытекает, что существует невырожденная матрица Вх, такая, что
B'XVBX = A, B{SBi=I,
где А — диагональная матрица, элементы которой суть корни уравнения (57), а / — единичная матрица. Существует также матрица В2) такая что
B2V*B2 = A, B2S*B2 = I.
Таким образом, В = ВХВ21 преобразует V в V* и S в S*.
Среди корней уравнения (57), образующих максимальный инвариант, некоторые могут быть равны нулю. Действительно, так как эти корни являются диагональными элементами матрицы А, то число ненулевых корней равно рангу А, а следовательно, ран
гу V = Bi ЛВ1 ', который по лемме 1, равен min(p, г). Если это число больше 1, то РНМ инвариантный критерий не существует. Случай р = 1 —это случай одномерной линейной гипотезы, уже изученный в разделе 1. Мы рассмотрим теперь остающуюся возможность г = 1.
При г = 1 уравнение (57) и эквивалентное ему уравнение| vs-1-v| = o
имеют только один ненулевой корень. Записывая определитель в форме многочлена по степеням %, мы видим, что коэффициенты при степенях X, меньших р — 1, должны быть равны нулю и что поэтому уравнение имеет вид
(-А/Ч-ИН-ЛУ^О,
где №— сумма диагональных элементов (след) матрицы VS-1. Пусть Si! обозначает (i,/)-й элемент матрицы S-1 и пусть (Уь .... Ур) — единственный У-вектор. Тогда простые вычисления показывают, что
(68)(68)№=£ t.Sl,YtY,.
(68)
(68)
1 = 1 / = 1
Таким образом, необходимое и достаточное условие инвариантности критерия относительно групп Gi, Gz и Оз состоит в том, что он зависит только от W.
Распределение W зависит только от максимального инварианта в пространстве параметров, который равен
р рр рФ2 = £ ЦацЩПрФ2 = £ ЦацЩПрZ-1 /=1Z-1 /=1(59)(59)
р р
р р
Ф2 = £ ЦацЩПр
Ф2 = £ ЦацЩПр
Z-1 /=1
Z-1 /=1
(59)
(59)
где ^ = Е (Yi). Плотность вероятности W имеет вид (см. задачи 28—30)
Она совпадает с плотностью (6) статистики для одномерного случая с г = р и п — s = т + 1 — р. При любых фо < ф1 отношение Рф1 (гу)/Рфо(оО является возрастающей функцией от w. Из леммы Неймана — Пирсона вытекает, что наиболее мощный инвариантный критерий для проверки гипотезы Н; 41 = ... • • • = Чр = 0 отвергает ее при слишком больших W или, что то Же самое, при
(61)(61)т-ух—р цр > £
(61)
(61)
Р'
Величина mW, которая при р = 1 сводится к квадрату /-статистики Стьюдента, по сути дела, является ^-статистикой Хотеллинга. Константа С определяется из того условия, что при ф = О статистика (т + 1—p)Wlp имеет F-распределение с р и т + + 1—р степенями свободы. Как и в одномерном случае, РНМ инвариантный критерий существует и для более общей гипотезы Н': ф2 ^ ф2. Его критическая область имеет вид W >• С'.
Так как при min(p, г) > 1 РНМ инвариантный критерий не существует, то были предложены различные критерии, основанные на тех или иных функциях от корней уравнения (57), например, на сумме корней, на максимуме или минимуме корней, на р
произведении Ц(1 +М-1 (это критерий отношения правдопо- Z-1
добия).
Применения
Различные одномерные линейные гипотезы с г=1, фиксирующие, например, среднее значение нормального распределения, разность средних значений двух нормальных совокупностей с равными дисперсиями, наклон линии регрессии и т. п., могут быть распространены теперь на многомерный случай.
Пример 8. Пусть (Ха1, ..., Хар), а = 1п— выборка из многомерного нормального распределения со средним (£ь ..., £₽) и матрицей ковариаций А-1, причем и то и другое считается неизвестным. Рассмотрим задачу проверки гипотезы Н: £1 = ... = &, = 0. В примере 4 было показано, что
" Y
0=1
В силу (55) (t, /)-й элемент матрицы S = Z'Z равен
п
Sh^H^-X^^-X.,)
а=1
Критерий основан на статистике W (см. (58)) и имеет критическую область (61) с s = 1 и т = п—s = п — 1. Статистика Т2 = (л — 1)W известна под названием Т2-статистики Хотеллинга.
Пример 9. Пусть (Х^Х^), а-1, .... п, и (Х^Х(р*),
Р=1, ..., п-2 — независимые выборки из многомерных нормальных распределений с одной и той же матрицей ковариаций Л-1 и средними (g^, ..., ^^) и (^2\ ..., ^). Рассмотрим гипотезу Н: ^ = ^ для i = 1, ..., р. Тогда s = 2 и, как следует из примера 5, при всех аир
£(D __ vd) t(2) __ v(2)Ьсц—Л-Р ^—лч
П\П,2
Z ^ + £ х61t (1) — $ (2) _ jz=l6-1у
6aZ-hi” (щ + пг)г
Следовательно, «1Пз
$Я-Ш-^) И -х!1,1) + £ м-?/) И’ -Sh а—16=1
и выражение для YtY , упрощается:
V.V, -- хй М - хй + (X® - Хй № - хй
Помимо задачи проверки вышеприведенных и аналогичных обобщений одномерных гипотез, критерий (61) применим также и к некоторым проблемам, которые сами по себе не укладываются в схему линейных гипотез, как она описана в разделе 9, но сводятся к ней с помощью соображений инвариантности. Пусть (Ха\Хар), а = 1п — выборка из многомерного нормального распределения со средним (&, ..., £р) и матрицей ковариаций Д-1. Рассмотрим гипотезу о том, что вектор (^, ... ..., |р) лежит в (р — г)-мерном подпространстве р-мерного пространства. Обычным образом можно преобразовать результаты наблюдений в величины (Уа1Yar, Z^i, ..., Ztti), р = г + I, образующие выборку из р-мерного нормального распределения со средним (гцт]г, ^, ..., &) таким, что проверяемая гипотеза принимает форму Я: гц = ... = т|г = 0.
Эта задача остается инвариантной относительно некоторой группы линейных преобразований, для которой максимальным инвариантом является совокупность величин Y. В терминах Y гипотеза сводится к рассмотренной в примере 8. Следовательно, существует РИМ инвариантный критерий гипотезы Н, задаваемый формулой (61) с р = г и т = п— 1. Перед тем как доказать, что величины Z могут быть отброшены, мы укажем два примера задач этого типа.
Пример 10. Пусть (Ха1)..., Xaq, Xa>q+xХа,гд\ а=1, .... п, — выборка из многомерного нормального распределения. Рассмотрим задачу проверки Н: g,+i = |( для i = 1q. Она может возникнуть, например, когда ^aiХад и Xttiq+x. •... Xttiq суть результаты q измерений одного и того же объекта в два различных периода после некоторой обработки. В терминах переменных
Yai = Ха> q^-i Ха6 Ztti = Xal (a=l, ..., п; 1=1, ..., q^ гипотеза принимает вид ч\1 = Е (Kai) = 0 для i = 1q и РИМ инвариантный критерий получается из критерия примера 8, примененного к величинам У с заменой р на q.
Пример 11. Пусть (ХаЬ ..., Хар),а = 1, ..., п, — выборка из р-мер- ного нормального распределения. Рассмотрим задачу проверки гипотезы Я: 61 = ... = 6р- В терминах новых переменных Yat = Xai — Хар (1 = 1, ... , ..,р — 1)и2а = Хар гипотеза снова принимает каноническую форму t]i = ... ... = T)p-i = 0 и задача сводится к разобранной в примере 8 (с заменой р на р—1). Возьмем конкретный пример: пусть на фабрике имеется р машин, производящих некоторую продукцию, качество которой измеряется случайной величиной X. Эксперимент состоит в том, что п рабочих обслуживают каждую из машин; при этом Ха{ — качество, получаемое, когда рабочий с номером а обслуживает ио машину. Если указанные п рабочих выбраны наудачу из большой совокупности, то можно предположить, что векторы (ХаЬ • • •
Аар) образуют выборку из р-мерного нормального распределения. Из двух факторов, влияющих на результат эксперимента, один (машины) фиксирован, а другой (рабочие) случаен в том смысле, что повторение эксперимента происходило бы с теми же самыми машинами, но другими рабочими. Проверяемая гипотеза состоит в том, что эффект, связанный с неслучайным фактором, отсутствует. В этой смешанной модели критерий совершенно другой, чем в соответствующей модели I, когда оба эффекта фиксированы (что рассматривалось в разделе 4).
Мы вернемся теперь к общему случаю, когда (Уаь ..., Ya,, Za\Zat), а=1, ..., п— выборка из р-мерного нормального распределения со средним (т|ь ..., т|г, ^, ..., &) и когда проверяется гипотеза т]1 = ... = гр = 0, проиллюстрированная примерами 10 и 11. Интерпретируя временно совокупность рп величин как множество р = г + I векторов в n-мерном пространстве: (Уп, ..., Y«h, i=l, .... г, и (21/2П/),j — 1/,
рассмотрим ортогональное преобразование n-мерного пространства, которое переводит (xiх„) в(х(, ..., х»), причем так, что х'1 = л/пх. Допустим, что это преобразование применяется к каждому из р наблюдаемых векторов, и пусть оно переводит (УнYni) и (ZnZn/) в (Uu, .... U^h (VuVnh соответственно. Тогда, в частности, Uu = ^nY.i, Vu = A/nZ.i и совокупности случайных величин (l/aiUar, Уаь .•-, Уаг), а = 1п, независимы и имеют (г +/)-мерные нормальные распределения с одной и той же матрицей ковариаций и средними значениями Е (Uи^ = л/п х\ь Е (Уц) = Vп ^ и E(Ua^ = = £(Га/) = 0 при а > 1.
Полагая
мы видим, что проблема остается инвариантной относительно следующих двух групп преобразований.
Группа G\. Добавление произвольной постоянной q к каждой из величин Уу, j = 1, ,,., I.
Группа G2. Преобразования
V* = UB-VVC, U* = U,
где В —любая матрица порядка г XL а С — любая невырожденная IX /-матрица.
До применения принципа инвариантности удобно редуцировать данные к достаточным статистикам.
Случайные величины Un, Уц вместе с матрицами скалярных произведений U'U, U'V и V'V образуют систему достаточных статистик для неизвестного вектора средних значений и неизвестной матрицы ковариаций. В соответствии с результатом задачи 1 главы 6, группы Gi и G2 оставляют задачу инвариантной и после того, как она сведена к достаточным статистикам. Максимальным инвариантом относительно Gi является совокупность величин Un и матриц U'U, U'V и V'V. Мы докажем теперь, что максимальный инвариант относительно группы, которую G2 индуцирует на этом множестве статистик, образуют Un и U'U. Этим будет завершено желаемое исключение величин V, а вместе с тем и величин Z.
Для доказательства высказанного утверждения необходимо показать, что для любой данной (л— 1)Х /-матрицы V** найдутся матрицы В и С такие, что V* = UB + VC удовлетворяет соотношениям
U' V* = U'V** и V*' V* = V**' V**.
Геометрически эти уравнения устанавливают, что существуют векторы (Угг, ..., V„i), / = 1I, которые лежат в пространстве Е, натянутом на векторы-столбцы матриц U и V, и скалярные произведения которых между собой и на векторы-столбцы U имеют заданную величину.
Рассмотрим сначала случай /=1. Если г+1^л—1, то можно предположить, что V и столбцы U порождают (л—1)- мерное пространство; тогда можно принять, что V* = V**. Если г + 1 < л— 1, то можно предположить, что V и столбцы U линейно независимы. Тогда существует такой поворот вокруг натянутого на столбцы U пространства, который переводит V** в век- тор^ лежащий в В, и этот вектор имеет свойства, требуемые
Доказательство завершается повторным применением полученного результата. Мы применяем его сначала к вектору у21, ..., У„1) и определяем первый столбец В и число Сц, добавляя к которому нули, мы построим первый столбец матрицы ^- Присоединяя преобразованный вектор (Угь ..., У«1) к столбцам U и применяя снова указанный результат к вектору (V22, ...
Улг), мы построим вектор (’’22У^г),который лежит в
пРостранстве, натянутом на (У21Уш), (У22, ..., Улг) и
столбцы U, и который, кроме того, имеет заданные скалярные произведения с (И2ь ..., V«i), со столбцами U, и заданный скалярный квадрат. Этим вторым шагом мы определяем второй столбец матрицы В и два числа Ci2, с22, добавляя к которым нули, получим второй столбец С. Продолжая это построение, мы получим «треугольную» матрицу С с нулями под главной диагональю; эта матрица не вырождена. Так как можно предположить, что Ut V и V** имеют максимальный ранг, то из леммы 1 и уравнения V*'V* = V**'V** следует, что ранг V* также максимален. Этим доказательство завершается.
х2-критерий: простая гипотеза и неограниченные альтернативы
РИМ инвариантные критерии существуют в довольно узком классе задач, важнейшие из которых, вероятно, связаны с линейными гипотезами. Однако, если число наблюдений велико, то часто можно указать критерии, приближенно обладающие этим свойством. Хотя подробное изложение теории больших выборок не входит в задачи этой книги, здесь приводятся краткие сведения о двух типах критериев подобного рода: критерии х2 и критерии отношения правдоподобия. В обоих случаях приближенная оптимальность вытекает из асимптотической эквивалентности рассматриваемой задачи и некоторой задачи о проверке линейной гипотезы. Эта связь будет прослежена в следующем разделе. В качестве подготовительного шага мы обсудим здесь специальный класс задач, связанных с х2-критерием.
Удобно начать со следующего видоизменения модели линейной гипотезы. Пусть У = (УЬ ..., У^) имеет многомерное нормальное распределение с плотностью вероятности
——г-<7 <7-1
—ехР — 7 2 X ац toi — nz) (У/ — П/)(62)
(2л)2 " LJ
и с известной матрицей ковариаций Л-1. Известно, что вектор средних значений т] = (т]1, ..., tjJ лежит в данном s-мерном линейном пространстве Па с s ^ q. Проверяемая гипотеза состоит в том, что т) лежит в заданном (s — г)-мерном линейном подпространстве Пш пространства По (r^s). Проблема инвариантна относительно подходящей группы G линейных преобразований и существует РИМ инвариантный относительно G критерий с критической областью
Е Е ац ^Ji — Лг) кУ1 — Л/) — Е Е ац (yt — fjjXy; — fy) =
= ЕЕМПг —П/Н*)/ —П/)<С-(63)
Здесь г) —точка Па, ближайшая к выборочной точке у в смысле метрики, порождаемой квадратичной формой 22ацх^х^ т. е. точка, которая минимизирует выражение 22 аи Uh — 'П/) (У/ — Л/) при т] е По. Аналогично, я минимизирует это выражение на Щ.
Когда гипотеза верна, левая часть (63) имеет ^-распределение с г степенями свободы, так что С определяется из соотношения
X, (z) dz = а.(64)
с
Если я не принадлежит Пт, то вероятность отклонения гипотезы равна)
^pK(z)dz,(65)
с
где Px(z)—нецентральная плотность %2 (см. формулу (86) в задаче 2) с г степенями свободы и с параметром нецентральности X2, получаемым заменой величин уь fy, т^ в (63) их математическими ожиданиями (рассматривая (63) как функцию у, можно сказать, что при этом всюду у заменяется на г|). Указанное выражение для мощности остается верным и тогда, когда принятая модель неудовлетворительна, в том смысле, что £(У) = г| не лежит в Па. В случае 1]еПя второй член в выражении для X2 равен нулю. Доказательство высказанных утверждений получается сведением задачи к проверке линейной гипотезы с помощью надлежащего линейного преобразования (см. задачу 33).
Вернемся к %2-критерию и рассмотрим его в применении к полиномиальной схеме. Возьмем п полиномиальных испытаний с т возможными исходами. Обозначим р = (р\рт) вероятности этих исходов, и пусть X, — число испытаний, закончившихся i-м исходом. Тогда распределение X = (Хь ..., Хт) равно
Р(Х*Xm) = —(£х, = П, ^=1). (66)
Простейшая из связанных с х2-критерием задач состоит в проверке гипотезы Н: р = л, где л =(ль ...» л,п) дано, при неограниченной альтернативе р#=л. При п-^оо мощность критерия, о котором будет идти речь, стремится к единице при любой
фиксированной альтернативе). Для изучения функции мощности такого рода критерия целесообразно рассмотреть последовательность альтернатив pw, стремящихся к л при п->оо. Если скорость сходимости по порядку больше l/V^» то даже для наиболее мощного критерия мощность будет стремиться к уровню значимости а. Последовательностями, отражающими наиболее интересные стороны поведения функции мощности и дающими, по всей видимости, полезную аппроксимацию действительной мощности при больших, но конечных п, являются те, для которых Vп ^р^ — ^ имеет ненулевой предел, так что
pW_u(67)
где -^nRn стремится к нулю при п-*оо.
Пусть
¥1=-^-^-^.(68)
•V»
т
Тогда S У; = 0 и среднее значение У,- равно нулю при гипотезе i=i
Н и стремится к Д; при альтернативах (67). Матрица ковариаций для У имеет элементы
оц = — n^f при i^j; ff<z = nz(l — л,),(69)
если гипотеза Н верна. При альтернативах (67) элементы матрицы ковариаций стремятся к этим значениям. При п-*со распределение У = (Уь ..., Ут-i) стремится к многомерному нормальному распределению со средними £(У1) = 0 при Н и E(iYi‘)=Xi при альтернативах (67) и с матрицей ковариаций, определяемой по (69) в обоих случаях). Плотность предельного распределения равна
и проверяемая гипотеза принимает вид Н: Д1 = ... = Am-i = 0.
В соответствии с (63) РИМ инвариантный критерий в этой асимптотической модели отвергает гипотезу, когда
т. е. когда
„у&т"<У л, z=i 1
С,
(71)
где Vi = Xtln и где С определяется из (64) с г — т—1. Предельная мощность рассматриваемого критерия при альтерната- т
вах (67) вычисляется по формуле (65) с Л2 = У ^У^г Это дает приближенное представление о мощности при фиксированном п и фиксированной альтернативе р, если отождествить р_с р^ для этого п. Из (67) мы выводим, что приближенно Л/ = ^п (pi — nJ, так что параметр нецентральности принимает вид
.(72)
1=11
Пример 12. Предположим, что проверяемая гипотеза состоит в том, что некоторые события (рождения, смерти, происшествия) происходят равномерно в заданном интервале времени (например, день или год). Разобьем этот интервал на т равных частей и обозначим pi вероятность наступления указанного события в Z-м подынтервале. Тогда гипотеза может быть представлена в виде Я: pi = Х/т, I = 1, ..., m, а статистика критерия — в виде
т
Z-1
где V/ — относительная частота событий в Z-м подынтервале. Приближенное значение мощности критерия находится из (65) с г = т—1 и X2 =
= тп У, [р( — (1/т)]2.
<=1
х2-критерии и критерии отношения правдоподобия
Сила и слабость %2-критерия предыдущего раздела связаны с тем, что его асимптотическая мощность зависит только от взвешенной суммы квадратов отклонений (72), а не от знаков этих отклонений или их распределения между различными значениями L Этим создается преимущество, если ничего не известно об альтернативах. Тогда критерий одинаково надежен при всех альтернативах, равно удаленных от гипотезы Н: р = л в смысле метрики (72). Однако часто бывают известны ожидаемые типы отклонений. В этих случаях критерий можно видоизменить так, чтобы его асимптотическая мощность при интересующих нас альтернативах возросла.
Для вывода видоизмененного критерия допустим, что задан ограниченный класс альтернатив к Н
К: ре У, р^л,
где поверхность У имеет параметрическое представление
Pt = fi (91. • • -, 6s), i=lт.
Пусть
Ч)-
Будем считать, что 6/ действительны, частные производные dfi/d9j существуют и непрерывны в точке 9° и что якобиан матрицы (dfi/dQ^ имеет в точке 0° ранг s. Если 0(,z) — любая последовательность, для которой
(73)
то предельное распределение случайных величин (Уь ..., Ут-1), введенных в предыдущем параграфе, является нормальным со средними значениями
Б (У,)-Л, = £6,-^ *(74)
и матрицей ковариаций (69). Это устанавливается разложением ft в ряд в окрестности точки 0° и применением (70). Проблема проверки гипотезы Н при всех последовательностях альтернатив из К, удовлетворяющих (73), оказывается асимптотически эквивалентной задаче проверки гипотезы
Ai = ... = Am_1 = 0
в семействе (70) при альтернативах К: (Аь ..., А^.^еПй, где Пй —- линейное пространство, образованное совокупностью всех точек с координатами
л-=Ь41,-(75)
Заметим для последующих целей, что при любом фиксированном п совокупность точек
Pi = ”i + —7^.«=1"I,
л/п
с А/, удовлетворяющими (75), образует плоскости касательную к ^ в точке л. Эта плоскость будет обозначаться У.
Пусть (Аь .,., Дт) — значения, минимизирующие
У (уг — А,)2/лг при условиях (Аь ..., Am-I)GПа и Ат= —(А, + .
1=1
,,. +Дт-1). Тогда, в силу (63), асимптотически РНМинвариантный критерий отклоняет Н (т. е. действует в пользу А) при
ттт
ЕИZ(y<-Az)2ЕН
1=1/=1 1 = 1> £
л^л^л^
т. е. при
ттт
пЕ^1-п1)гnE(vi-^ifnEVi-RiY
> C, (76)> C, (76)<=1 1=1=1=1
> C, (76)
> C, (76)
л/л/л/
где pi минимизируют У, (vz — рр^щ при условии peS. Константа С определяется из (64) с г = s. Критерий, асимптотически эквивалентный этому (вычисление его, как правило, более трудно), получается, если pt определять из условия минимальности при peS (а не прире^). Асимптотическое выражение для мощности критерия получается из (65). При этом X2 находится с помощью замены v, на pi (отметим, что pi рассматриваются как функции от v,).
Пример 13. Допустим, что в примере 12, где проверяется гипотеза равномерности, альтернативой выдвигается циклическое изменение, которое, по крайней мере приближенно, представляется «синусоидальной волной»:
+ p \ sin (u — 0) du, t = 1, ..., m.
Здесь р — амплитуды и 0 — фаза циклического возмущения. Полагая g = = р cos 0, г) = р sin 0, мы получаем где
а, = 2т sin — sin (2/ — 1) —, b. = — 2т sin — cos (2/ — 1) —.
*tntn 1mm
Уравнение для pt определяет в этом случае плоскость ^, которая, следовательно, совпадает с У.
Величины t, fj, минимизирующие X (v^ — Р^2^ при условии р е У» равны
с л. = \,т. Пусть т > 2. Используя тот факт, что E«t=Ebt = = 2 ^^^ = 0 и что тт
£sin2 <2z -1^=£ c°s2(2/ -
i=li=l
мы, после некоторых упрощений, можем придать критерию форму
2» ^ V, sin (2i - 1) i j + 2n ^ Vz cos (2i - 1) ^j > C,
где число степеней свободы левой части равно s = 2. Параметр нецентраль- ности, через который приближенно выражается мощность, равен
X2 = n ^т sin -~) + п ^г)т sin --^ = мр2т2 sin2 -—-.
Обсуждавшиеся до сих пор варианты критерия х2 предназначались для простых гипотез. Рассмотрим теперь более общую проблему проверки гипотезы Н\ р^Т при альтернативах К: р^9\ рф^, где Т cz 9Р и где 9Р и Т имеют параметрические представления
S’- р, = №е,); 3-: ?,-[,№ .... о?, е„,е,).
Базисом для анализа проблемы при больших объемах выборки служиттот факт, что при больших п можно указать сферу радиуса p/Vn> которая при достаточно больших р накрывает истинное значение р с вероятностью, сколь угодно близкой к единице. Поэтому можно ограничиться последовательностями точек pW е S’, которые стремятся к некоторой фиксированной точке л е ^ со скоростью 1/V«. Более точно, пусть ^ = /,(0^ ... ...,0°) и пусть 0(л) — последовательность, удовлетворяющая (73). Тогда случайные величины (Уь ..., Ут-1) имеют нормальное предельное распределение с матрицей ковариаций (69) и с вектором средних (74). Пусть Па имеет тот же смысл, что и раньше, а Пщ пусть обозначает линейное пространство
П®: д/= X 6/ "357 */-г+i i е°
Рассмотрим задачу проверки гипотезы о том, что р^— последовательность из Н, для которой 0<”> удовлетворяют (73), причем альтернативами являются все последовательности из К, удовлетворяющие этому же условию. Эта задача асимптотически эквивалентна задаче, обсуждавшейся в начале раздела 12, а именно задаче проверки гипотезы (Дь .... Ат_1)еПт в семействе (70), если дано, что (Дь ..., Дт_1)еПп. В силу (63) соответствующая критическая область имеет вид
ТД^АУУМА? >с
Л^л^
> C.(77)> C.(77)где Аг и Аг минимизируют £ (у,- — Аг)2/лг при условиях, что Ат = = — (Ai + ... + Am-i) и что (Ai, ..., Am-i) лежит В Пй или в Пш соответственно. В терминах первоначальных величин критическая область имеет вид
> C.(77)
> C.(77)
Kini
Здесь pi и pi минимизируют
Z (vi - PiYniпри условии, что р лежит в касательных плоскостях к поверхно-стям ^ и ^" соответственно, проведенных через л. Константа Сопределяется из (64).
Это решение задачи зависит от точки л, которая нам неизвестна. Критерий, асимптотически эквивалентный (77) и не зависящий от л, получается, если заменить 0t и pt значениями р, и р", минимизирующими (78) при условии, что р лежит на ^ или на 9", а не на их касательных плоскостях, и, кроме того, заменить лг в (77) и (78) подходящими оценками, например V/. Это приводит к критической области
> C, (79)(80)> C, (79)(80)«Zh-pD2 n^t-ptY п^-ру vt
> C, (79)
(80)
> C, (79)
(80)
где р и р минимизируют
Z (vz — PiYbt
при условиях реЗ" и ре? соответственно и где С, как и раньше, определяется формулой (64). Приближенное выражение для мощности критерия при фиксированных п и альтернативе р дается формулой (65) с %2, определяемым по (79) с заменой V/ на pt (и где р' и р” рассматриваются как функции от v,) *).
Для случая больших выборок более общий подход, не связанный в отличие от метода %2 с полиномиальным распределением, опирается на метод наибольшего правдоподобия. Укажем кратко на основные положения этой теории. Перечисляя основные факты, мы опустим сложно формулируемые условия регулярности, при которых они справедливы**).
Пусть ре(х), 9 = (01, ..., 0,)— некоторое семейство одномерных плотностей вероятности. Рассмотрим на основе большой выборки XiХп задачу проверки простой гипотезы И: 91 = 9°, i=l, ..., г. Пусть 9=(9ь .... 0г)—оценка максимального правдоподобия для 0, т. е. значение параметрического вектора, максимизирующее ре(х0 ... ре(хп). Тогда асимптотически, при п-оо, можно ограничиться оценками 0„ так как они являются «асимптотически достаточными»*). Мощность критериев, о которых пойдет речь, стремится к единице при любой фиксированной альтернативе. Здесь, как и в случае %2-критерия, интерес представляют альтернативы 9)я), для которых
(81)
Если Yt = -"sjn (91 — 9?), то предельное распределение величин Уь ..., У, является многомерным нормальным распределением (62) с
ац = аи (9«) = - Е(82)
и с гр = 0 при гипотезе Я и тр = А, при альтернативах, удовлетворяющих (81).
В силу (63) РНМ инвариантный критерий в асимптотической модели отклоняет гипотезу, когда
- 2 g амп (б, - 9?) (9/ - 9?) > С.(83)
При гипотезе Н левая часть имеет в пределе х2-распределение с г степенями свободы. При альтернативах (81) предельным распределением является нецентральное х2-распределение с параметром нецентральности
Я22 £ аип (б(я) - 9?) (9^ - 9?).(84)
Приближенное выражение для мощности при какой-либо специальной альтернативе 0 дается, следовательно, формулой (65), где X2 находится по (84), с заменой 6(”> на 6.
Критерий (83) асимптотически эквивалентен критерию отношения правдоподобия, который отклоняет гипотезу при
Р6 (*i) • • • Р6 (*п)
Р^ (X,) ...р» (хп)
к.
(85)
п
Эту эквивалентность можно установить, разлагая ^ logp60(x ) п
в ряд около У, log р6 (xv) и используя тот факт, что при 9 = V=147
= 0 частные производные д 2 log ре (xv)/ d0t- равны нулю. Применение закона больших чисел показывает, что величина —21ogAn отличается от левой части (83) членом, стремящимся к нулю по вероятности при п-^оо. Отсюда, в частности, следует, что обе статистики имеют одно и то же предельное распределение.
Распространение этого метода на сложные гипотезы аналогично распространению на этот же случай %2-критерия. Пусть 0 =(0Ь ..., 0S) и Я: 0/ = 0? при i = 1, ..., г (г < s). Если ограничиться последовательностями 0(rt), удовлетворяющими (81) при 1= 1, ..., s, и произвольными 0?+i, ...,0s, то проблема асимптотически превращается в задачу проверки гипотезы гц = = ... = 1]г = 0 при неограниченной альтернативе (т)ь ..., т]5), причем распределения определяются формулой (62) сац = ац (0°) из (82). Тогда fjz = У; при всех i, в то время как t)Z = 0 для i = 1, ..., г и t\i = Yi для i = г + 1, ..., s. Поэтому РИМ инвариантный критерий имеет вид (83). Коэффициенты ац = ац^^ зависят от 0?+ь ..., 0s, но, заменяя а//(0°) на ац^\ приходим к асимптотически эквивалентному критерию. И снова статистика асимптотически эквивалентна взятому со знаком минус удвоенному логарифму отношения правдоподобия, т. е. критерий асимптотически эквивалентен критерию отношения правдоподобия*).
14. Задачи
К разделу!
1. Математическое ожидание сумм квадратов. Средние значения числителя и знаменателя статистики U7*, определенной формулой (7), равны
*) Асимптотическая теория критериев отношения правдоподобия была распространена Черновым на более общие типы проблем, включая, в частности, случай ограниченных классов альтернатив. См. С h е г и о f f, On the distribution of the likelihood ratio, Ann. Math. Stat., vol. 25 (1954), 573—578.
Нецентральное %2-распределение. (I) Если X распределено по закону N(^t 1), то плотность вероятности величины V = X2 представляется как ОО1ф2 /
Рф W = Т, Рк W ?2к+1 (")• r«e Рк W = (ф2/2)* е 2 / 61 и где f2»+i яв- к=0
ляется плотностью вероятности %2-величины с 2^ + 1 степенями свободы.
Пусть Уь ..., Yr независимы и нормально распределены с единичной дисперсией и средними т]ь ..., гр. Тогда Z7 = У У2 имеет нецентральное Х2-распределение с г степенями свободы и параметром нецентральности г
ф2= У ^р плотность вероятности величины U дается формулой i=i
?*(«)=£ pkWfr+2feW.(86)
/г=0
Здесь /МФ) и fr-v2k(u) имеют тот же смысл, что ив (I), так что распределение является «смесью» х2-распределений с пуассоновскими весами.
[(I) Это следует из равенства
р* (°) —2 V^ntT
если выражение в скобках разложить в степенной ряд и использовать тот факт, что Г (2&) = 22Й”1Г (&) Г (& + ~-^ J^Jn.
Перейдем с помощью ортогонального преобразования к величинам Zb ..., Zr таким, что Zx = У Ч^^- Тогда величины Z независимы и нормальны с единичной дисперсией и средними E(Zi) = ф и E(Zi) = 0 при i > L]
Нецентральные F- и бета-распределения. Пусть Уь ..., Уг; У^+ь ••• ..., Yn независимы и нормально распределены с общей дисперсией о2 и средними E^Y^ = тр (i = 1, ...", г); Е(У/) = 0 (i = s + 1, ..., n).
г . п
Плотность вероятности статистики W= X Y^/ у У2 дается фор- i=l ‘ /=з-и
мулой (6). Величина (п — s)IF/r, пропорциональная IF, имеет нецентральное F-распределение.
Г ( гп \
Статистика В = 2 ^/ Е У2 + У У2 I имеет нецентральное t = l f \/=1Z=s+1/
(87)(87)бета-распределение с плотностью
(87)
(87)
E^wg] _ 1,(6).
1^0_r+fc, -(rt-s)
гдегдеgp, q Wgp, q W(88)(88)
где
где
gp, q W
gp, q W
(88)
(88)
является плотностью (центрального) бета-распределения.
(I) Если рф (х) — плотность нецентрального х2 или нецентрального F- распределения, то отношение р^х U)/p^ U) возрастает по х при фо < Ф1-
В предположениях раздела 1, гипотеза Я^г^^фд (при данном ф0 > 0) остается инвариантной относительно преобразований Gt (i = 1, 2, 3), которые были использованы для редукции Н: гр = 0, и существует РНМ инвариантный критерий с критической областью W > С'. Константа С' определяется равенством ^0 {^ > С'} = а, где плотность W дается формулой (6).
[(I) Пусть f (z) = £ bkzk/ ^ акzk, где постоянные а^ bk> Q и ряды fe=o /г=о
У “l/ и У bkzk сходятся при всех z > 0. Допустим, что bkfak < ^д+1/^+1 для всех к. Тогда производная
Г (2)Г (2)2 £ (» - ^) (Чьп - апЬк) гк*П-Х к<п
Г (2)
Г (2)
положительна, так как (л — А) ^Ьп — апЬ^ при к < п и, следовательно, f возрастает.]
Наилучшая средняя мощность. (I) Рассмотрим общую линейную гипотезу в канонической форме, данной формулами (2) и (3) раздела 1, и пусть для любых тр+ь ..., Л®> ° и р S = 5(т)г+ь •••» Л», о; р) обозначает сферу ( г
<(Лр • ••> т]г): У ^d0^ = Pf • Если Рф^р ..., T)s, а) обозначает мощность (Z = 1)Ф
критерия ф для Я, то критерий (9) максимизирует среднюю мощность
j Рф (тцT)s, or) dAs
S dA
s
в классе всех несмещенных (или подобных) критериев для каждых T|r+i, .. . ..., T]s, о и р. Здесь dA обозначает дифференциал площади поверхности сферы.
Результат (I) дает альтернативное доказательство того факта, что критерий (9) является РНМ среди всех критериев, функция мощности которых г
зависит только от У ^i]0^*
<=1 гп
[(I) Если U = У Ур У = У Ур то из несмещенности (или подобия) Z = 1Z=s+1
следует, что условная вероятность отклонения данных Уг+±, ...» У» и U + V равна а почти всюду. Следовательно, для любых данных T)r+i, ..., т)$, о и р средняя мощность максимизируется при отклонении гипотезы в случае, когда отношение средней плотности к плотности при гипотезе Н больше, чем соответствующая постоянная С^уг-н, • * •, Уз» « + о), и, следовательно, когда
exp I /, —^г* JdA> C (yr+h • •Уз, « + у).
S 'Z=l '
Как будет показано ниже, функция g зависит от ух» ..., уг только через и и.
как функция и, является возрастающей. Так как при проверяемой гипотезе U!(U + V) не зависит от Уг+ь ..., У» и U-VV, то критерий задается формулой (9).
Показатель в интеграле, определяющем 5, может быть записан в виде
г
2 ^У^2 ~ Р cos p/а, где р — угол (0 ^ р < л) между (ти, ..., Лг) *
(Уь ..., УгУ В силу симметрии сферы он не меняется, если р заменить углом у между (1)1, ..., 1]г) и произвольным вектором. Этим доказывается, что g зависит от у только через и. Обозначим величину g при фиксированных 1)ь ..., т)г через h^uy Пусть S' — подмножество S, для которого 0 ^ у ^ л/2- Тогда
A (u) = J [exp (р Уй -^^") + exp (— р Уй "^р")] dA-S'
что доказывает желаемый результат.]
К разделу 2
В предположениях раздела 1 допустим, что средние значения gi имеют вид
=^Е аа^р
где константы ац известны, матрица Л = (а;/) не вырождена и 0; — неизвест-
S
ные параметры. Пусть 0 = 2^/" заданная линейная комбинация вели- /=1
ЧИН Р/.
Если Р/ обозначает величину Р/, минимизирующую У, № — £/)2, и если Sп
0 = V вуРу= ^ d^p то критическая область для гипотезы Н: 0 = 0о
/=1/=1
имеет вид
-> с0,
где левая часть при гипотезе Н имеет такое же распределение, как абсолютная величина 7-статистики Стьюдента с л — s степенями свободы.
Соответствующие доверительные интервалы для 0 имеют вид
где & = Со д/^ А* Эти интервалы являются равномерно наиболее точными среди инвариантных относительно подходящей группы преобразований.
[(I) Рассмотрим сначала гипотезу 0 = 0. Допустим, не ограничивая общности, что 0 = Рь так как общий случай может быть сведен к этому линейным преобразованием в пространстве р. Если ai, ..., jz$-—столбцы матрицы А, которые по предположению порождают Пй, то ^= P^j + ... + Р^, и так как |лежит в Пй, то | = Р^ + ... + Psas. Пространство Пф, определяемое гипотезой Pi = 0, можно рассматривать как натянутое или на векторы а2, ..., ois> или на векторы-строки с2, ...« с8 матрицы С из (1). В то же вре-
мя С\ ортогонально Пф. В силу 1 вектор X определяется равенством Х_ = пS
= X Y^p а его проекция ^ на П2 равна 1=2 ^/£г Приравнивая друг дру- z-i ““ z=i "
гу два выражения для _| и беря скалярное произведение обеих частей полученного уравнения на сь получим У1 = р1 ^ Лд^н» так как вектоРы с образуют ортогональную систему единичных векторов. Мы показали, что ¥\ пропорционально рь и так как дисперсия У1 равна дисперсии величин X, то I У1 1 = -nWz d^. Способ проверки гипотезы Pi = 0 вытекает теперь из (12) и (13). Критерий для гипотезы Pi = Р? получается после преобразования Хг = Xt — апРр
Инвариантность интервалов (90) можно доказывать, не ограничивая , общности, в предположении, что параметр 0 равен Рь Тогда в канонической форме раздела 1 £(У1) = T]i = XPi с |Х| = д/2^?» в то время как т)2, ... ..., т]» не содержит рь Поэтому гипотеза Pj = pj эквивалентна гипотезе T)j = = *П1 с Л? ^ ^?» Последняя инвариантна а) относительно добавления произвольных постоянных к Y^ ..., У»; б) относительно преобразований У^ = = — (У| — г)®) + т)р в) относительно изменения масштаба У^ = cYt (Z = 2, ... ...,п), У* — т)?* «с (yj — т)?). Доверительные интервалы для 0 = Pi являются равномерно наиболее точными среди инвариантных относительно группы, получаемой из а), б) и в) при меняющемся т]р]
Пусть Xi} (/= 1mz) и Yu (^ = 1, ..., nz) независимы и распределены нормально с общей дисперсией о2 и средними Е(Хц) = и E^Vij) = Ь +А. Тогда РИМ инвариантный критерий для гипотезы Я: А = О дается формулой (89) с 0 = А, 0О = 0
6——^• ^-—т■
mini
L~nt
где Ni = mi + гц.
Пусть Xi, ..., Xn независимы и распределены нормально с известной дисперсией Oq и средними E^Xi) = ^. Рассмотрим любую линейную гипотезу с s ^ п (вместо s < п, что требуется при неизвестной дисперсии). Проблема остается инвариантной относительно некоторой подгруппы той группы, которая использовалась в случае неизвестной дисперсии. РИМ инвариантный критерий имеет критическую область
I (*< -1,)2 - 2 № - tJ2 = S (^ - tf > с4 on
где С определяется соотношением
Х2(у)^У = а.(92)
с
К разделу 3
Если случайные величины Хц (j = \, ..., т; i = \, ..., s) независимы и распределены по закону N^u о2), то
Е [2 ni кхь - х-.)2] = (s - 1) а2 + ^ »< (^ - М2-
£[Х2№/-^.)2]=(«-$)^
Пусть Zi, ..., Zs независимы и распределены по законам N (^, Д;), i = 1s, где at — известные постоянные.
При надлежаще выбранной группе линейных преобразований существует РИМ инвариантный критерий для гипотезы Н: Ci = ... = £$, с критической областью (21).
Мощность этого критерия равна интегралу от С до оо от нецентральной %2-плотности с s — 1 степенями свободы и параметром нецентральности X2, получаемым подстановкой С; вместо Zi в левую часть (21).
(I) Если X имеет распределение Пуассона с Е^Х) = X, то при больших X статистика л/Х распределена приближенно по закону W (V^, xh\
Если величина X имеет биномиальное распределение 6(р, п), то при больших п _величина arcsin ^Х/п распределена приближенно по закону N (arcsin Vp, V^)).
К разделу 5
Построенный в соответствии с теорией линейных гипотез критерий проверки гипотезы об отсутствии взаимодействия в двойной классификации при т наблюдениях в клетке дается формулой (30).
Обозначим Хх случайную величину, имеющую нецентральное х2-рас- пределение с / степенями свободы и параметром нецентральности X2. Тогда Х^ стохастически больше, чем Хк при X < X'.
[Достаточно показать, что при У распределенном по закону ^(0,1), величина (У + Х')2 стохастически больше, чем (У + Х)2. Равносильное утверждение, что при любом z > 0
Р{|У + Х'Кг}<Р{|У + Х|<г}, непосредственно вытекает из формулы для нормальной функции плотности. Иное доказательство можно получить, комбинируя задачу 4 с леммой 2 главы 3.
Пусть ХМк (/ = 1, ..., а; / = 1, ..., Ь\ к = 1, ..., т) независимы и распределены нормально с общей дисперсией о2 и средними
Е W-t1 + «/ + Р/ + vfc (2 «i = Е 0/ = £ Y6 = 0).
Найдите критерий проверки линейной гипотезы Н: «1 = ... = ао = 0.
Предположим, что в трехфакторной ситуации предыдущей задачи b = = с = т. Тогда гипотеза Н может быть проверена на основе /п2 наблюдений, если использовать следующий способ. Для каждой пары уровней (/,/) первых двух факторов производится одно наблюдение, о котором мы будем говорить, что оно находится на пересечении i-й строки и /-го столбца. Если
уровни третьего фактора выбраны таким образом, что каждый из них встречается один и только один раз в каждой строке и каждом столбце, то мы называем план эксперимента латинским квадратом. Результаты пг2 наблюдений обозначаются Хц^ъ где третий индекс обозначает уровень третьего фактора, когда первые два находятся на уровнях i и / соответственно. Предполагается, что E(Xtl w) = gz/ w - ц + az + 0, + yk c ^at - £ 0, = £y6 - 0.
Параметры ‘вычисляются по величинам § из соотношений
^.(.) = и + а/, ^“Н + Р/» L.(fe) = Р + Yjk> §..(.) = И
(суммирование по / при фиксированном t автоматически приводит к суммированию по ку
Оценки параметров по методу наименьших квадратов могут быть найдены из тождества
L Е [х</ to - дар” m Z [*/.(•) - х-(•) - azl2 +
i I
+ m Е [x-/ (•) - x-w - M2 + m £ Iх- w - х-и - Y»]2 +
+ m2 [*..(.) - № + Z L lxil to - xbto - X-K-) - x-to + 2x-toY-
При проверке гипотезы H*. он = ... = am = 0 соответствующая критерию статистика И7* (см. (15)) равна
^EE£±iz^±>E
Число степеней свободы равно пг—1 для числителя и (т—Х^пг— 2) для знаменателя; параметр нецентральности равен ф2 = т £ a2/a2.
К разделу 6
Допустим, что в задаче регрессии наблюдаемые значения X/ и У/ аргумента (независимой переменной) и функции от него отличаются от некоторых истинных значений Xj и Yj ошибками U^ V^ которые независимы, распределены нормально с нулевыми средними и дисперсиями а^ и сф. Предполагается, что истинные значения удовлетворяют линейному соотношению Y^ = = a + ^Хр Однако контролируемыми и, следовательно, постоянными величинами являются не X р а Хр Обозначая заново X/ через X/, мы имеем х, = = Xfi-VUp Y} = Y'j-VVj и, наконец, У/ = а + Рху + Wh где Wj=Vj — — ^Uj. К проверке гипотез о том, что £ или a + рх0 имеют некоторые определенные значения, могут быть применены теперь результаты раздела 6.
Пусть Хь ..., Хт; Уь • •» Yn независимы и распределены нормально с общей дисперсией а2 и средними значениями E(Xi) = а + P(w— и), E^Yj) = у + б(и7— иУ где и и и — известные числа. Найдите РНМ инвариантные критерии для гипотез Н: р = 6 и Я: a = у, Р = 6.
Пусть XiХп независимы и распределены нормально с общей дисперсией а2 и средними ^ = а + Р^ + Y^, где ^ известны. Если векторы (^, ..., ^), к = 0, 1, 2, линейно независимы, то пространство параметров Пй имеет размерность s = 3 и оценки а, р, у по методу наименьших
квадратов являются единственным решением системы уравнений
“ЮрЕ4+1+?1>?+2=ЕФч ^=°- *• 2)-
Эти решения зависят от величин X, и если у = ^ ctXv то гипотеза у — О отклоняется при
_ lYl/VZ^
VE (*/ -6 ~ ^i - ^ifKn -3)
К разделу?
(I) Критерий (43) для гипотезы Н: А ^ До— РНМ несмещенный.
Найдите РНМ несмещенный критерий для гипотезы Н; Д — До и соответствующие наиболее точные несмещенные доверительные множества для Д.
В модели (41) коэффициент корреляции р между двумя наблюдениями Хц, Xih, принадлежащими одному и тому же классу (так называемый коэффициент внутригрупповой корреляции), вычисляется по формуле
К разделу 8
Критерии (48) и (49) являются РНМ несмещенными.
Пусть Хц определены по (41), но число наблюдений nt для каждой партии может отличаться от других. Найдите каноническую форму, соответствующую (42), полагая Y tx = aJ nt Х{. Заметьте, что здесь система достаточных статистик более обширна, чем в случае одинаковых т.
В рамках модели II общая «гнездовая» классификация с постоянным числом наблюдений в клетках имеет структуру
Хцк = ц + At + Вц + Сць + ••• +^z/&--m,g..
Z=l, ..., a; / = 1, ..., b; k=\, ..., c; ...
) В этом случае возможно приведение к канонической форме, обобщающей (47).
) Существуют РНМ несмещенные критерии для гипотез
ад
Н^ {cd... 4 ч-d... 4+ ... +а2) <Л°’
а»
Н». -,Г<АО.
(d ... ас + ... + а2)
К разделу 10
(I) Если ш < р, то матрица S, а с нею и матрица S,m, являющаяся несмещенной оценкой для неизвестной матрицы ковариаций исходного р-мер- ного распределения, будут вырожденными. Если m ^ р, то эти матрицы с вероятностью 1 не вырождены.
(II) Если г + m ^ р, то лишь один критерий, а именно ф(р, и, г) = а, инвариантен относительно групп Gx и Оз раздела 10.
[(II) Величины U устраняются с помощью соображений инвариантности относительно Gb г + пг строк матриц У и Z можно предположить линейно независимыми, а любая такая система векторов может быть переведена в любую аналогичную преобразованием группы из.]
(I) Если р < г + т и V = У'У, S = Z'Z, то р X р-матрица V + S с вероятностью 1 не вырождена и корни характеристического уравнения
|7-Л(7 +S)| = 0(94)
образуют максимальный инвариант относительно групп Gb G^ и G3.
(II) Среди корней уравнения (94) имеется р— min(r, р), равных нулю, и р— min(m, р), равных единице. Других постоянных корней нет, так что число переменных корней, образующих максимальный инвариант, равно min (г, р) + min(m, р) — р.
[Кратность корня X = 1 равна р минус ранг S, т. е. р —min(m, р). Уравнение (94) не может выполняться ни для какого постоянного X ^ 0,1 для почти всех V, S, так как при любом р, ^ 0 матрица 1/ + рВ с вероятностью 1 не вырождена.]
(I) Пусть А и В — матрицы порядков к\т и тХ^ соответственно. Тогда произведения АВ и ВА имеют одни и те же ненулевые характеристические числа.
Отсюда получается альтернативное доказательство того, что W (см. (58)) является единственным ненулевым корнем характеристического уравнения (57). -
[(I) Если х — ненулевое решение уравнения АВх = Хх с X ^ 0, то у = Вх будет ненулевым решением для ВАу = X//.]
В случае r= 1 статистика W, заданная (58), будет максимальным инвариантом относительно группы, индуцированной группами Gi и G3 в области значений статистик У/, Uai (i = 1, ..., р; а= 1, ..., s — 1) и S = Z'Z.
[Существует такая невырожденная матрица В, что B'SB = / и только первая координата у YB отлична от нуля. Доказательство можно начать с отыскания матрицы Вь для которой 6^6^=!, а затем подобрать ортогональную матрицу Q такую, что только первая координата у YBXQ отлична от нуля.]
Пусть Za/ (a=l, ..., m; /=1, ..., р) независимы и распределены по закону N(0, 1) и пусть Q = 9(У) — ортогональная m X ^-матрица, являющаяся функцией от случайной величины У, не зависящей от величины Z. Определим величины.Zai равенством
•^Zli • • • Zmi) — (Zll • • • Zml) Q •
Тогда Zai независимы между собой, распределены по закону ^(0, 1) и не зависят от У.
[При каждом у требуемым свойством обладает условное распределение (21/ ... Zm^Q'^y) при условии У = уД
Пусть Z — т X р-матрица (Za/), где р^т и где Zal независимы и распределены по закону ^(0,1). Обозначим S = Z'Z и Si — матрицу, получаемую из 5 отбрасыванием последней строки и последнего столбца. Тогда отношение определителей |S|/|Si| имеет х2-распределение с т— р+1 степенями свободы.
[Пусть Q— зависящая от Zu, ..., Zm\ ортогональная матрица, такая, что (2ц . ..Zm^Qf = (ВО... 0), где R^ =2^, Тогда
а=1
где Z*al получаются из Z преобразованием Q. Первая матрица справа равна
произведению
z; /До гму
где Z* — это (т — 1) X (р—1-матрица с элементами Z*al (а = 2, ..., т; 1 = 2, .*., p),Z —это (р — 1)Х(р—О единичная матрица, Zj — вектор-столбец (Z*2 ... Z*lpY и где 0 обозначает строку или столбец, состоящий из нулей. Мы видим, что |5| равен R2, умноженному на определитель матрицы Z*'Z*. Теперь, Si получается из матрицы Z двумя операциями: отбрасыванием у Z последнего столбца и последующим умножением слева полученной tn X Х(Р — 1)-матрицы на транспонированную. Поэтому |Si| равен R2, умноженному на детерминант матрицы, получаемой из Z*'Z* отбрасыванием последней строки и последнего столбца. Таким образом, мы свели отношение |S|/(Si) к аналогичному отношению для величин Zai> но уже с заменой т на т—1 и р на р—1. По индукции устанавливаем, что при любом к < р можно заменить т и р на т — к и р — к. В частности, можно вычислять |S|/|Si| в предположении, что т и р заменены на т—(р—1) и р—(р — — 1) = 1. В этом случае Z' есть матрица-строка (Zu... Zm-p+i, 0, детерми- т—р+1
нант S равен | S |= Z^ и потому имеет распределение Хт-р+Р На- а= г*
конец, так как S есть (1 X 1)-матрица, то |SJ заменяется единицей.]
Определенная формулой (58) статистика W = У5~!У' имеет такое же распределение вероятностей, как отношение двух независимых величин, причем числитель имеет нецентральное х2-распределение с параметрами нецентрально- сти ф2 и р степенями свободы, а знаменатель — центральное х2*РаспРеДеление с т + 1 — р степенями свободы.
[Распределение W не изменяется, если к (Уь ...., Ур) и к каждому из т векторов (ZaI, ..., Zap) применить одно и то же невырожденное преобразование. Поэтому можно предположить, что эти векторы имеют единичную матрицу ковариаций. Пусть Q — зависящая от У ортогональная матрица, такая, что (У1... Ур)9 = (00 ... Г), где Г2 « ^ У;. Так как QQ' равно единичной матрице, то
r = (yQ)(Q'S-lQ)(Q'r') = (0 ... ОТ) (Q'S-1Q) (0 ... ОТ)'.
Следовательно, W равно произведению величины Т2 (которая имеет нецентральное распределение X2 с Р степенями свободы и параметром нецентраль- ности ф2) на элемент, стоящий на пересечении р-й строки и р-го столбца матрицы Q'S^’Q = (Q'SQ)-1 = (Q'Z'ZQ)-1. В соответствии с задачами 28 и 29 эта матрица не зависит от У и величина, обратная к рассматриваемому элементу, имеет распределение Х^-р+р]
Пусть (Xvb ..., XVp)’ v = 1, ..., ^ — выборка из р-мерного нормального распределения с неизвестной матрицей ковариаций и средними Е (Х^ = «; + ?; (и^ — и^, где и — известные постоянные. Гипотеза Н: Pi = ... = 6Р = 0 является многомерной линейной гипотезой с г = 1, s = 2.
АА NN
Мы имеем fy = az = .£.,, Р/= £ (wv — и.) (Xvl — Х,^^ (wv — м.)2. Ста- V”1v=l
тистика критерия IF задается формулой (58) с
^ц = 2 pv< - а# - Р, ^ - «.)] pv/ - а, - р, («v - «.)]
Пусть X = (Ха/), Z=l, ..., р; а=1, ..., N, — выборка из р-мер- ного нормального распределения, и пусть q < р, max (q, р — q)^N. Рассмотрим гипотезу Н о том, что (ХпХ^) не зависит от (Хц ^4-1, ..., Ххр\ т. е. что ковариации о^ = Е (Xal — gj {Х^ — gy) равны нулю при всех I ^Я> / > Я Проблема проверки Н остается инвариантной относительно преобразований X* z = Xat + bt и X* = ХС, где С — любая невырожденная рХр- матрица, имеющая структуру
-Со"
причем Си и С22 имеют порядок q X Я и (р — q) X (р — я) соответственно.
Максимальным инвариантом преобразования, индуцированного в пространстве значений достаточных статистик Хч и матрицы S, которуюмыпред-
(
S[ 1 S12 \I_ 1
I, являются q корней уравнения р 12^22 ^21 ~ 021022 /1
-Х$и| = 0.
В случае q = 1 максимальным инвариантом будет статистика R2 = = S^S^^/Sn» являющаяся квадратом множественного коэффициента корреляции между Хн н (Xi2, ..., XiP). Распределение R2 зависит только от р2— квадрата теоретического коэффициента множественной корреляции, который получается из R^ заменой элементов матрицы S их математическими ожиданиями о,/.
Используя то, что плотность вероятности R2 равна *)
Г [-у (^ — 1)] Г [-у (^ — р)]^А!г[1(р-1) + ft]
и что гипотеза Н при q = 1 эквивалентна гипотезе р = 0, покажите, что РИМ инвариантный критерий отвергает гипотезу при R2 > Со.
/^2 ЭД _ р
При р = О статистика -у^Г^г-™1 имеет ^-распределение с
р — 1 и N — р степенями свободы.
[(I) Допустим, что уравнения | S^S^1^!”-йЗц | =0 и | S^S^^^—Х5ц | =0 имеют одни и те же корни. Тогда найдутся матрицы В и С такие, что BSVXB' = I = CS^C' и BS^S^^B'= CS* S^^^^A, где Л —диагональ
ная матрица, на диагонали которой стоят корни Л. Так как матрицы S2 1
и S* 1 положительно определены, то существуют невырожденные матрицы Е и Е* такие, что S^ — EE' и S^-1 = Е*В*”1 (это можно установить, приводя Е к диагональной форме с помощью ортогонального преобразования). Тогда
(5S|2E) (BS12E)' - (CS^E*) (CS\2E*)'
и аргументация, использованная в разделе 10 в связи с G^ показывает, чтд существует ортогональная матрица Q, такая, что SS^fQ = CS^E*, откуда Сп = С-хВ и с'22= EQE*""V.3
К разделу 12
Проблема проверки гипотезы г) е П^, когда распределение Y определяется из (62) с т] е Пй, остается инвариантной относительно подходящей группы линейных преобразований. По отношению к этой группе критерий (63) будет РИМ инвариантным. Вероятность отклонения гипотезы этим критерием находится из (65) и (66) для всех точек (т]Ь ..., т^).
[Существует невырожденное линейное преобразование Z = CY, для которого С'А-1С совпадает с единичной матрицей; в терминах Z задача сводится к линейной гипотезе с известной дисперсией.]
К разделу 13
Допустим, что уравнение касательной плоскости ^ в точке л имеет вид pi = л/(1 + аДх + • •. + Ois^s) и что векторы (ан, ..., а^ ортогональны в том смысле, что У а tka tt^t”1 ^ ПРИ всех ^ ^ ^
Если ((]($) минимизирует У (v^ — fy)2/nz при условии реЭ9,
то i/= £ witZ. auni-
ii
Статистика (76) критерия для проверки Н; р = л сводится к
s Г / т\ 2 щ*1
«£ (£ w L аип1 •/»1 L\Z = 1/ * i = lJ
Независимость в таблицах сопряженности признаков. Рассмотрим классификацию п элементов по двум признакам, первый из которых принимает значения Аь ..., Аа, а второй — Вь ..., Вь. Пусть пц — число элементов, обладающих свойствами Ai и Bj. Критерий отношения правдоподобия для проверки гипотезы Н о независимости признаков Ан В отвергает гипотезу, когда
слишком велико. Здесь пь = У Л///6» n.j= У пц/а- ПРИ больших п вели/i,
чина — 2 log А при гипотезе Н распределена приблизительно по закону х с (г—l)(s — 1) степенями свободы.
[«Правдоподобие» полиномиальной выборки хь ..., xm с m классами пропорционально выражению р^1 ... р^, максимальное значение которого равно (xi/n)%1 ... (х^/д)^. Это можно доказать, например, рассматривая п чисел, среди которых xi равны pdxt при i = I, ..., m, и замечая, что их среднее геометрическое не превосходит их среднего арифметического. Применяя найденный результат к полиномиальным схемам с вероятностями pi, (i — 1, .. • .... а; /=1 6), образующими Q, и Ре/= Г/”, (£ Р, = £ Р, = 1)> об"
разующими (о, мы приходим к требуемому выводу J
Литературные ссылки
Настоящая глава служит кратким введением в каждую из трех тем, которые в совокупности охватывают подавляющую часть современных статистических методов: дисперсионный анализ, многомерный анализ, теорию х2-критериев.
Разработка дисперсионного анализа была начата главным образом Р. А. Фишером, значительная часть результатов приведена в его книгах (1925, 1935). Исчерпывающим образом дисперсионный анализ изложен в книгах Кемпторна (1952) и Шеффе (1959). Обзор некоторых аспектов метода имеется в статьях Шеффе (1956) и Ко крен а (1957)).
Многомерный анализ подробно изложен в книгах Андерсона (1958), Рао (1952) и Кендалла (1957) ).
Обзор применений х2-метода дан в статьях Кокрена (1952, 1954)), Ватсона (1959), Ланкастера (1969)♦
Андерсон (Anderson Т. W.)
An Introduction to Multivariate Analysis, New York, John Wiley and Sons. (Русск. перевод: Андерсон T., Введение в многомерный статистический анализ, М., Физматгиз, 1963.)
Бартлетт (В а г t1 е 1t М. S.)
The use of transformations, Biometrics, vol. 3, 39—52. [Рассматриваются в числе других следующие преобразования: логарифмическое извлечение квадратного корня и арк-синуса.]
Б о к с (В о х G. Е. Р.)
A general distribution theory for a class of likelihood ratio criteria, Biometrika, vol. 36, 317—346.
Вальд (Wald A.)
On the power function of the analysis of variance test, Ann. Math. Stat. vol. 13, 434—439. [Задача 5. Эта задача имеется также в работе: Hsu, On the power function of the £2-test and the T2-test, Ann. Math. Stat., vol. 16 (1945), 278—286.]
Tests of statistical hypotheses concerning several parameters when the number of observations is large, Trans. Am. Math. Soc., vol. 54, 426—482. [Общее асимптотическое распределение и свойства оптимальности критериев отношения правдоподобия и им асимптотически эквивалентных.] Ватсон (Watson S. S.)
Some recent results in chi-square goodness-of-fit tests, Biometrics, 15, № 3, 440-468.
Гербах (HerbachL. H.)
Optimum properties of analysis of variance tests based on model 11 and some generalizations of model II, Scientific Paper № 6, Engin. Stat. Lab., New York University.
Properties of model Il-type analysis of variance tests, Ann. Math. Stat., vol. 30, 939—959.
Кемпторн (Кempthоrne О.)
The Design and Analysis of Experiments, New York, John Wiley and Sons.
Кендалл (К e n d a 11 M. G.)
A Course in Multivariate Analysis, London, Charles Griffin.
Кендалл и Стьюарт (Kendall M. G., Stuart A.)
Статистические выводы и связи, пер. с англ., М., Наука.
Многомерный статистический анализ и временные ряды, пер. с англ., М., Наука.
К о к р е н (Cochran W. G.)
The %2-test of goodness of fit, Ann. Math. Stat., vol. 2, 315—345.
Some methods for strengthening the common x2'test, Biometrics, vol. 10, 417—451.
Analysis of covariance: Its nature and uses, Biometrics, vol. 13, 261—281.
Кододжейчик (К о 1 о d z i e j c z у k S.)
®
An important class of statistical hypothese, Biometrika, vol. 37, 161ая линейная одномерная гипотеза рассматривается с точки зрения отношения правдоподобия.]
Ланкастер (Lancaster Н. О.)
The chi-squared distribution, N. Y., John Wiley and Sons.
Нейман (Neyman J.)
Contributions to the theory of the x2-test, Proc. Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, Univ. Calif. Press, 239— 273. [Дана теория х2*кРитеРиев c ограниченными альтернативами.]
Нейман и Пирсон (Neyman J. and Pearson Е. S.)
The use and interpretation of certain test criteria for purposes of statistical inference, Biometrfka, vol. 20, A, 175—240, 263—294. [Предложен критерий отношения правдоподобия как метод, который учитывает оба типа ошибок. Критерий применяется к целому ряду проблем проверки гипотез.]
Ньюман (N е w m a n D.)
Range in samples from a normal population, Biometrika, vol. 31, 20—30. [Рассматривается критерий (22), который приписывается автором «Стьюденту» (Госсету).]
Пирсон (Р е а г s о п К )
On the criterion that a given system of deviations from the probable in the case of a correlated system of variables in such that in can be reasonably supposed to have arisen from random sampling, Phil. Mag. Ser. 5, vol. 50, 157— 172. [Предложен х2-критерий (71) для проверки простой полиномиальной гипотезы. Дается его предельное распределение при проверяемой гипотезе. Критерий обобщается на случай сложных гипотез, но содержит ошибку в определении числа степеней свободы предельного распределения; правильное решение для общего случая было найдено Фишером (1924а). Применения.]
Рао (Rao С. R.)
Advanced Statistical Methods in Biometric Research, New York, Jonn Wiley and Sons.
Линейные статистические методы и их применения, пер. с англ., М., Наука.
С и м а и к (S i m a i k a J. В.)
An optimum property of two statistical tests, Biometrika, vol. 32, 70—80. [Показано, что критерий (58) является РИМ в классе всех критериев, функция мощности которых зависит только от параметра нецентральности (59), и установлено соответствующее свойство для критерия множественной корреляции, данного в задаче 32 (III).]
Сюй (Hsu Р. L.)
Notes on Hotelling’s generalized T2, Ann. Math. Stat., vol. 9, 231— 243. [Получено распределение Г^-статистики в нецентральном случае. Статистика применена к классу проблем, описанных в разделе 11 после примера 9. Вывод Т2-распределения, указанный в задачах 29 и 30, принадлежит W i j s - man, Random orhtogonal transformations and their 'use in some classical distribution problems in multivariate analysis, Ann. Math. Stat, vol. 28 (1957), 415—423. Этот вывод был также отмечен Стейном (ср. Вийсман, цит. работа, стр. 416) и Боукером (ср. Андерсон (1958), стр. 107).
Analysis of variance from the power function stand-point, Biometrika, vol. 32, 62—69. [Показано, что критерий (7) является РНМ в классе всех критериев, функция мощности которых зависит только от параметра нецентральности.]
Т э н г (Т a n g Р. С.)
The power function of the analysis of variance test with tables and illustrations of their use, Stat. Math. Res. Mem., vol. II, 126—149.
Уилкс (W i 1 k s S. S.)
The large-sample distribution of the likelihood ratio for testing composite hypotheses, Ann. Math, Stat., vol. 9, 60—62. [Выведено асимптотическое распределение отношения правдоподобия в случае справедливости гипотезы.] Фишер (F i s h е г R. А.)
(1924а) The conditions under which chi square measures the discrepancy between observation and hypothesis, J. Roy. Stat. Soc., vol. 87, 442—450. [Получено предельное распределение (при проверяемой гипотезе) %2-статистики для случая сложных гипотез. Обсуждается зависимость этого распределения от метода, используемого при оценке параметров.]
(1924b) On a distribution yielding the error functions of several well-known statistics, Proc. Int. Math. Congress, Toronto, 805—813. [Обсуждается вопрос использования Z-распределения (которое эквивалентно ^-распределению) в дисперсионном анализе (модель I) и регрессионном анализе. Получено распределение выборочного коэффициента множественной корреляции в случае, когда соответствующий теоретический коэффициент равен 0.]
Statistical Methods for Research Workers, Edinburgh, Oliver and Boyd, 1st ed.
e (1928) The general sampling distribution of the multiple correlation coefficient, Proc. Roy. Soc., Ser. A, vol. 121, 664—673. [Вывод нецентрального x2- и нецентрального бета-распределения и распределения выборочного коэффициента множественной корреляции для произвольных значений теоретического коэффициента множественной корреляции ]
The Design of Experiments, Edinburgh, Oliver and Boyd, 1st ed.
X а н т и Стейн (H u n t G. and S t e i n С. M.)
Most stringent tests of statistical hypotheses He опубликована. [Доказывается, что критерии (7) и (61) РНМ почти инвариантные и что корни Уравнения (57) составляют максимальный инвариант.]
Хартли (Н а г t1 е у Н. О.)
Maximum F ratio as a short-cut test for heterogeneity of variance, biometrika, vol. 37, 308—312. [Предложен критерий (23).]
Хотеллинг (Но t е 11 i n g Н.)
The generalization of Student’s ratio, Ann. Math. Stat, vol. 2, 360— 378. [Предложена статистика (58) в качестве многомерного обобщения /-статистики Стьюдента и получено распределение этой статистики при проверяемой гипотезе.]
Шеффе (Scheff ё Н.)
A «mixed model» for the analysis of variance, Ann. Math. Stat., vol. 27, 23—36. [Пример 11.]
Alternative models for the analysis of variance, Ann. Math. Stat., vol. 27, 251—271.
Fitting straight lines when one variable is controlled, J. Am. Stat. Assoc., vol. 53, 106—117. [Задача 16.]
Analysis of Variance, New York, John Wiley and Sons, (Русск. перевод: Шеффе, Дисперсионный анализ, М., Физматгиз, 1963).
Эйзенхарт (Е is е nh а г t С.)
The assumptions underlying the analysis of variance! Biometrics, vol. 3, 1—21. [Обсуждается различие между моделями I и IL]
ГЛАВА 8
ПРИНЦИП МИНИМАКСА
Критерии с гарантированной мощностью
Обсуждавшиеся до сих пор ограничения — несмещенность и инвариантность — обладают тем недостатком, что они применимы и приводят к оптимальным решениям только в весьма ограниченных классах задач. Поэтому теперь мы обратимся к альтернативному подходу, который потенциально имеет более широкую область применимости. К сожалению, его использование в конкретных задачах приводит к трудностям и может быть успешно проведено главным образом в случаях, когда существуют РНМ инвариантные критерии.
Одна из важных для планирования эксперимента характеристик — число наблюдений, необходимое для того, чтобы результирующая статистическая процедура имела заданную точность или чувствительность. В проблеме проверки гипотез это означает, что вероятности ошибок первого и второго рода не должны превосходить некоторых заданных границ, скажем а и 1 — р, так что рассматриваемые критерии должны удовлетворять условиям
E6q>W<a при Оейя,
£еф(Х)^Р при 9ейя.'
Если функция мощности Ee<p(-Y) непрерывна и а < р, то (1) не может выполняться для множеств йя и й^, которые соприкасаются. Эта математическая трудность связана отчасти с тем фактом, что разделение значений параметра на два класса йд и йд, которым соответствуют два различных решения, часто оказывается не резким. Между значениями, для которых одно или Другое решение очевидным образом правильно, могут лежать Другие, для которых относительные преимущества и недостатки принятия и отклонения гипотезы приближенно уравновешивают-
ся. Соответственно мы предположим, что О разбито на сумму трех множеств
£2 = Я у “I- Я у •{• Як,
где Я/ обозначает зону безразличия, а Як — класс значений параметра, отличающихся от постулируемых гипотезой так сильно, что ложное принятие Н является серьезной ошибкой, вероятность которой не должна превышать 1 — р.
Чтобы понять, как определяется размер выборки в этой ситуации, предположим, что доступные для наблюдения случайные величины образуют последовательность Ль Хг, • • • Допустим на время, что п фиксировано, и пусть X = (Хь ..., Хп). В обычной для ряда применений обстановке (точную формулировку см. в задаче 1) существует критерий фп, который максимизирует
inf£e<pW(2)
в классе всех критериев уровня а, основанных на X. Обозначим Р„ = inf £6ф (X) и допустим, что при достаточно больших п су-
шествует критерий, удовлетворяющий (1)). Желаемый размер выборки (т. е. наименьшее п, для которого prt ^ Р) определяется в данном случае методом проб. Для этого требуется уметь при каждом фиксированном п определить критерий, который максимизирует (2) при условии
£еф(Х)^а при 0еЯя.(3)
Метод отыскания критерия с подобным максиминным свойством (т. е. критерия, максимизирующего минимальную мощность на Як) получается обобщением теоремы 7 главы 3. В последующих рассуждениях удобно изменить обозначения: мы назовем теперь го и со' подмножества Я, которые ранее обозначались Ян и Як. Пусть 91 = (Pg, 0 е со U ®'} — семейство распределений вероятностей на пространстве выборок (^, ^) с плотностями ре = dP^/d^ по некоторой о-конечной мере ц. Допустим, что эти плотности ре^, рассматриваемые как функции пары переменных (х, 0), измеримы относительно (з^Х^) и (^Х^'Ь где 98 и 98' — заданные a-поля в со и го'. При этих предположениях и при условиях, указываемых в приводимой ниже теореме, критерий с желательными свойствами совпадает с решением надлежаще подобранной байесовской проблемы.
369369критерии с гарантированной мощностью
369
369
Теорема 1. Пусть X и X' — любые распределения на 98 и 98' и пусть фх, у— наиболее мощный критерий уровня а для проверки
A to = ^ Pg to ^ (6)
О)
при альтернативе
h4x>=\p6^dX'^.
й/
Пусть рл х' ~ мощность этого критерия при альтернативе h'. Если существуют X и X' такие, что
зир^еФя, хЛХХа,
МЕ^ккАХ)-^,к„(4)
ТО
Фх, ^ максимизирует ш!Е0ф(Х) в классе всех критериев ф'
уровня а для проверки гипотезы Н: бею; он является единственным критерием с этим свойством, если единствен наиболее мощный критерий уровня а для проверки h при альтернативе h'.
Пара распределений X, X' является наименее благоприятной в том смысле, что для любой другой пары v, V
Рх, X' ^ Ру, V
Доказательство. (I) Пусть ф* — любой другой критерий уровня а для проверки Н. Тогда он является критерием уровня а и для проверки простой гипотезы: плотность X равна h. Поэтому мощность ф* при альтернативе h' не превосходит 0Л х„ Мы имеем
inf Е^* (X) < ( £вф* (X) dX' (0) < рх у =inf Е^х х- (X), arф' ’
Ф
и последнее неравенство будет строгим, если критерий фЛ к, единствен.
Пусть v, v' — любые другие распределения на (го, 98) и (©', 98'). Обозначим
g to = J рв (х) dv (6); g' (x) = J pe (x) dV (0).фф'
Но как фх x'» так и Фу v являются критериями уровня а для гипотезы: плотность X равна g(x). Поэтому
Ру, v' > 5 Фх, х' to g' to du (х) > inf £офЛ х- (X) = рЛ у
Следствие 1. Пусть X, X' — два распределения вероятностей, а С — такая постоянная, что
1,
если
$ Pe^dX' (6) to'
>CS
to
Pe (x) dX (0),
Фа. vW=
V,
если
to'
-CS
to
p6^dX^,(5)
0,
если
^p6U)dX49) to'
<CS
to
p6 U) dX (9)
служит критерием уровня а для гипотезы-, плотность X равна ^ PeU) dA(9), и что
“X(®O)=V(®9 = 1,(6)
где
ш0 = {0: 6 е ® и E%^k k, (X) = sup Д9,фх к, (X)},
®; = {0: 8ей' и £вФм vU)= inf Д9дрх л,^
0' е to'
Тогда имеет место заключение теоремы 1.
Доказательство. Определим h, h' и рх к, так же, как в теореме 1. Из наших предположений вытекает, во-первых, что Фх к, является наиболее мощным критерием уровня а для проверки h при альтернативе h'; во-вторых, что
sup Ев<рк к, (X) — ( ^Фа, а' (^0 ^ (®) — °toJ
(1)
и, в-третьих, что
inf Е^К к, {X) = $ Е^к, к, (X) dX' (6) = рх> к„toо'
Таким образом, (4) выполняется, а потому применима теорема 1.
Допустим, что множества Йн» Й/ и йк определены в терминах неотрицательной функции d (измеряющей расстояние от 9 до Я) формулами йя = {9: d(9) = 0}; й/ = {9: 0<^(9)<Д}; йк = {9: d(9)>A}.
Примем также, что функция мощности любого критерия непрерывна по 9. В пределе, при Д = 0, зона безразличия отсутствует. В этом случае й* превращается в множество {9: d^ > > 0} и точная нижняя грань 0(9) на Йк будет ^ а для любого критерия уровня а. Эта точная нижняя грань максимизируется, следовательно, любым критерием, для которого 0(9) ^а при
всех 0 е Qk, т. е. любым несмещенным критерием. Мы видим, что несмещенность получается предельным переходом из макси- минного свойства. Другая предельная форма (более полезная, так как она обычно приводит к единственному критерию) дается следующим определением: говорят, что критерий фо локально максимизирует минимум мощности), если, каков бы ни был другой критерий ф, найдется Ао такое, что
infp (0)>infp (0) при всех 0 < А < Ао. (7) (ОД (ОД
Здесь од обозначает множество тех 0, для которых d(0)^ А.
Примеры
В главе 3 было установлено, что для семейства плотностей, зависящих от действительного параметра 6 таким образом, что при 0 < 0' отношение Рд,(х)/р6(х) является монотонной функцией от некоторой действительной статистики, существует РНМ критерий проверки Н: 0 ^ 0о при альтернативе 0 > 0о. Указанное предположение, хотя оно и выполняется для однопараметрических экспоненциальных семейств, весьма ограничительно. Поэтому в действительности РНМ критерий для Н существует довольно редко. Более общий подход предлагается формулировками предыдущего раздела. Так, если зону безразличия составляют те значения 0, для которых 0о < 0 < 0ь то задача сводится к максимизации минимума мощности на классе альтернатив со': 0 ^ 0ь Можно ожидать, что при надлежащих ограничениях наименее благоприятные распределения X и V из теоремы 1 приписывают вероятность 1 точкам 0О и 01 соответственно и что, следовательно, область отклонения максиминного критерия задается неравенством p6v (х)/рва (х) > С. Приводимая ниже лемма дает для этого достаточные условия.
Ф(хьФ(хьесли г(хь если r(xb если г(хьесли г(хь если r(xb если г(хьЛемма 1. Пусть Xi, ..., Хп независимы и одинаково распределены с плотностью fe(x), где 0 и х— действительные переменные. Допустим, что при любом 0 < 0' отношение f6, (x)/fe(x) является неубывающей функцией х. Тогда критерий ф уровня а для проверки Н, максимизирующей минимум мощности на со', определяется равенствами
Ф(хь
Ф(хь
если г(хь если r(xb если г(хь
если г(хь если r(xb если г(хь
(8)(8)Хп) > С, Хп) ~ С, Хп) < С,
(8)
(8)
где г (х„ ..., х„) = f6i (xj ...f6i (x№)/fe, (xj ...fe, (x„) и где С
(9)(9)и v находятся из уравнения £e0<p(XiХп) = а.
(9)
(9)
^ф^ь .... u<£6ip№хп\^ф^ь .... u<£6ip№хп\Доказательство. Функция ф(хь ..., х„) не убывает по каждому из своих аргументов, так что по лемме 2 главы 3 при 9 < 0'
^ф^ь .... u<£6ip№хп\
^ф^ь .... u<£6ip№хп\
Следовательно, функция мощности для ф монотонна и ф — критерий уровня а. Так как Ф = ФЛ х,, где % и X'— распределения, приписывающие вероятность 1 точкам 0О и Оь то условие (4) выполнено, что доказывает как желаемый результат, так и то, что распределения X, X' — наименее благоприятные.
Пример 1. Пусть 0 — параметр сдвига, т. е. /е (х) = g (х — 0). Допустим для простоты, что g(x) >» 0 при всех х. Мы покажем, что семейство fe (х) имеет монотонное относительно х отношение правдоподобия тогда и только тогда, когда функция — log g является выпуклой. Условие монотонности по х отношения правдоподобия эквивалентно
что в свою очередь эквивалентно
log g (х' — 0) + log g (х — 0') < log g (x — 0) + log g (xz — 0').
Поскольку x — 0 = f (x — O') + (1 — 0 (x' — 0) и x' — 0' = (1 — /) (x — 0') + + t(x' — 0), где t = (x' — x)/(x' —x-j-0' — 0), то выпуклость —- log g достаточна для выполнения рассматриваемого соотношения. Покажем, что это условие и необходимо. Пусть а <. b — любые действительные числа, и пусть х — — 0' = а, х' — 0 = Ь, х' —0' = х —0. Тогда х —0 — 7г (V— 0 + х — — 0') = 7г-(я + £) и условие монотонности отношения правдоподобия влечет неравенство
у [log 8 (а) + log 8 (6)1 < log g [у (а + &)].
Так как функция —- log g измерима, то она выпукла ).
Вышеприведенному условию удовлетворяют, например (кроме нормального распределения, для которого совместные плотности Р0(*р • ••, х^ образуют экспоненциальное семейство), симметричное экспоненциальное распределение с
g^-Ae ,Х1
и логистическое распределение с функцией распределения
т. е. с плотностью g(x) = е~х/(1 + е~х)2.
Пример 2. Рассмотрим соответствующую задачу для масштабного параметра. Пусть fe (х) = 0”Ч (х/0), где h — четная функция. Не ограничивая общности, мы можем иметь дело только с неотрицательными х, так как абсолютные значения [XJ, ..., |ХП| образуют систему достаточных статистик для 0. Если Yi= log Xi и т) = log0, то плотность Yi имеет вид h (ey-n) е^”^. Если h^x) >0 при х ^ 0, то в соответствии с примером 1 необходимым и достаточным условием, чтобы /6/ (х)//0 (х) было неубывающей функцией х при всех 0 < 0', является выпуклость функции — log [^(е^)] или, что то же самое, выпуклость —logA(^). Помимо нормального и симметричного экспоненциального распределений (для которых совместные плотности образуют экспоненциальные семейства), примером, в котором это свойство выполняется, может служить распределение Коши с плотностью
х 1 1h (х) =——г.
' л 1 + х2
Так как выпуклость — log Цу) влечет выпуклость—logh^^ то для четной Н из монотонности отношения правдоподобия у семейства Цх— 0) вытекает его монотонность у Л (х/0). Когда распределение h нормальное или симметричное экспоненциальное, это свойство Л (х/0) следует уже из примера 1. Однако монотонность отношения правдоподобия для масштабного параметра не влечет аналогичного свойства для соответствующего семейства с параметром сдвига. Это иллюстрируется примером распределения Коши. Поэтому рассматриваемое условие в применении к параметру сдвига более ограничительно, чем в применении к масштабному параметру.
Основная трудность в применении теоремы 1 к конкретным проблемам состоит в необходимости знать, или по крайней мере уметь правильно угадывать, пару (X, X') наименее благоприятных распределений. Руководством для отыскания этих распределений иногда могут служить соображения инвариантности. Если существует группа G преобразований X такая, что индуцированная группа G оставляет инвариантными со и со', то задача симметрична по отношению к тем 0, которые могут быть переведены друг в друга преобразованиями группы G. В этом случае кажется вероятным, что, коль скоро X и X' не обнаруживают той же симметрии, они делают задачу статистика более легкой и, следовательно, не будут наименее благоприятными.
Пример 3. В задаче попарного сравнения, рассмотренной в примере 7 главы 6, результаты наблюдений Xi (t= 1, ..., п) представляют собой независимые случайные величины, принимающие значения 1 и 0 с вероятностями Pi и qi = 1 — pi. Гипотезе Я, которую необходимо проверить, соответствует множество со: max pi ^ 1/2. Принимаются во внимание только альтернативы, Для которых pi ^ 1/2 при всех I. В качестве со' мы выберем подмножество тех альтернатив, для которых р/>1/2 + 6. Следовало бы ожидать, что X приписывает вероятность 1 точке pi = ... = рп = 1/2, а X' приписывает положительные вероятности только п точками (рь ..., рп)» у которых п— 1 координат равны 1/2, а оставшиеся равны 1/2 + 6. Вследствие симметрии по п переменным представляется вероятным, что V должно приписывать каждой из этих точек вероятность 1[п. При таком определении критерий Ф^ д/
отвергает гипотезу приотвергает гипотезу при
отвергает гипотезу при
отвергает гипотезу при
Последнее эквивалентно
а эта критическая область, как было показано ранее, соответствует РИМ инвариантному критерию для данной задачи. Так как критическая функция Фх, X' (хр • • •» хп) не убывает по каждому из своих аргументов, то по лемме 2 главы 3 из неравенств р^^/^ при всех Z= 1, ..., п следует
ЕРХр^х. к ^Х^) ^ ерхр^х, v И1Хпу
т. е. выполняются условия теоремы 1.
Пример 4. Пусть X = (Хь ...» Хп) выборка из ЬЦ^, о2). Рассмотрим задачу проверки гипотезы Н: о = а0 при альтернативах со': о Oi или о ^ a2(ai < а0 < аг). Задача остается инвариантной при преобразованиях Xt = Xt-V с, которые индуцируют в пространстве параметров группу G преобразований ^ = g + с, o' = а. Поэтому следовало бы ожидать, что наименее благоприятное распределение X на прямой со: —оо < £ < оо, о = о0 инвариантно относительно G. Отсюда вытекает, что X приписывает любому интервалу меру, пропорциональную его длине, т. е. X не может быть распределением вероятностей, и теорема 1 непосредственно не применима. Эту трудность можно преодолеть, аппроксимируя X последовательностью распределений вероятностей, в разбираемом случае, например, последовательностью нормальных распределений ЛГ(О,k), к = 1, 2, ...
Оказывается, что в той специальной задаче, которую мы сейчас рассматриваем, существуют наименее благоприятные распределения X и X', являющиеся настоящими распределениями вероятностей и, следовательно, не обладающие инвариантностью. Эти распределения можно найти путем исследования соответствующей односторонней задачи из раздела 9 главы 3, что и производится ниже. На множестве со, где меняется только g, в качестве распределения X для g принимается нормальное распределение с произвольным средним £1 и дисперсией (а| — о^^п. Распределение X' следует сконцентрировать на двух прямых о=О\ и а=а2 (g, а)-плоскости. Положим X' = рх[ + qX^ где Х\ нормально со средним gi и дисперсией (^“^/^ в то время как Х2 приписывает вероятность 1 точке (gb аг). Вычисления, аналогичные проведенным в разделе 9 главы 3, показывают, что область принятия гипотезы определяется неравенством
которое эквивалентно неравенству
Вероятность последнего неравенства не зависит от g. Следовательно, Ci и Са могут быть определены таким образом, что вероятность принятия гипотезы будет равна 1 — а при а = ао и будет иметь равные значения при а = ^ и а = аа.
Из раздела 7 главы 3 выводим, что существуют такие р и С, которые приводят к указанным Ci и Са, и что вышеприведенный критерий удовлетворяет условиям следствия с юо = ® и с <оо, состоящим из двух прямых линий: а = О] и о = аг.
Максиминные критерии и инвариантность
Когда проблема проверки йд при альтернативе йд остается инвариантной относительно преобразований некоторой группы, представляется разумным ожидать, что существует инвариантная пара наименее благоприятных распределений (или, по меньшей мере, последовательности распределений, которые в пределе, в некотором смысле, являются наименее благоприятными и инвариантными) и что, вместе с тем, существует инвариантный максиминный критерий. Это приводит к возможности обойти трудности подхода, намеченного в предыдущих параграфах. Если бы мы смогли доказать, что для инвариантной проблемы всегда существует инвариантный критерий, который максимизирует минимум мощности на йд, то мы были бы вправе ограничиться только инвариантными критериями. В частности, в этом случае РНМ несмещенный критерий автоматически обладал бы желательным максиминным свойством. Эти догадки оказываются правильными в важном классе задач, хотя они, к сожалению, не переносятся на общий случай. Чтобы найти соответствующие условия, удобно сначала разделить статистический и теоретико-групповой аспекты проблемы посредством следующей леммы.
Лемма 2. Пусть 9s = {Ре, 6 е Q) — доминированное семейство распределений на (8?, з^) и пусть G — группа преобразований на (8?, з£) такая, что индуцированная группа G оставляет инвариантными подмножества йн и йд пространства Й. Допустим, что для любой критической функции ф существует (почти) инвариантная критическая функция ф, для которой
inf Eg^ (X) < £еф (X) < sup £§еф (X)(10)
оо
при всех бей. Тогда, если существует критерий ф0 уровня а, максимизирующий infEetp(X), то существует и (почти) инвариантный критерий с этим свойством.
Доказательство. Пусть inf£ефо(X) = 0 и пусть ф0—
QK
(почти) инвариантный критерий, такой, что (10) выполняется с
ф = Фо, Ф = фо- Тогда
^oWCsupf^JXXa при всех 6ейя
G
И
^Фо^^^^еФо^^Р ПРИ всех 6ейк>а
что и требовалось доказать.
Чтобы установить условия, при которых существует инвариантный или почти инвариантный критерий 4, удовлетворяющий (10), рассмотрим сначала простейший случай конечной группы G. Пусть G = {^ь ..., g^}. Тогда, если определить ф равенством
N
^<x) = -^^<p(gix\(11)
/-1
то ясно, что ф будет критической функцией, и притом инвариантной относительно G. Она также удовлетворяет (10), так как £еф (gX) = £ёбф (X) и £еф(Х) является средним нескольких величин, минимальная и максимальная из которых совпадают соответственно с первым и последним членами в (10).
Конечный случай иллюстрируется примером 3. В нем проблема остается инвариантной относительно п! перестановок переменных (Хц ..., Хп). Лемма 2 применима и показывает, что существует инвариантный критерий, максимизирующий 1п1£6ф(Х). Поэтому, в частности, РИМ инвариантный критерий, полученный в примере 7 главы 6, обладает требуемым мак- симинным свойством и, следовательно, является решением проблемы.
Определение (11) приводит к мысли о возможности и в других случаях получить ф(х) усреднением значений ф(^х) по отношению к надлежаще выбранному распределению вероятностей на группе G. Посмотрим, каким условиям должно было бы удовлетворять подобное распределение. Пусть ^ о-поле подмножеств G и v — распределение вероятностей на (G, ^). Отвлекаясь на время от проблем измеримости, определим ф соотношением
Ф(х) = $ (p(gx)dv(g).(12)
Тогда О^ф ^ 1 и (10) имеет место, как можно заключить из теоремы Фубини (теорема 3 главы 2), применяя ее к интегралу от ф по распределению Ре. Для любого go е G
Ф (gox) = $ ф (,ggox) dv (g) = ^ ф (/гх) dv* (h),
где h = ggo и где v— мера, определенная формулой
V(,B) = ^^Bg”x^ для всех В ^98,
т. е. мера, в которую v переводится трансформацией А = gg0. Таким образом, ф будет обладать желаемой инвариантностью, ф (£ох) = ф (х) при всех g0 е G, если v— правоинвариантна, т. е. если
v(Bg) = v(S) при всех В ^98, geG.(13)
Для справедливости приведенных выше рассуждений нужны следующие предположения измеримости:
При любом Л е ^ множество пар (х, g) с gx е А является (^ X ^-измеримым (этим обеспечивается измеримость функции ф, определяемой по (12));
при любых 8 еХ gE G множество Bg принадлежит 98.
Пример 5. Пусть G — конечная группа с элементами gx, ..., gN, $ — класс всех подмножеств G и v — вероятностная мера, приписывающая вероятность 1/W каждому из N элементов. В этом случае (13) выполняется и определение (12) сводится к (11).
Пример 6. Рассмотрим группу G ортогональных (пХ^) -матриц Г и определим групповое произведение Г1Г2 как обычное произведение матриц. Каждую матрицу можно рассматривать как точку в п2-мерном евклидовом пространстве, координаты которой равны элементам матрицы. Тогда группа порождает некоторое множество в этом пространстве. В качестве о-поля 58 мы возьмем борелевские подмножества G. Чтобы доказать существование на (б, ^) правоинвариантной вероятностной меры*), построим случайную ортогональную матрицу, распределение вероятностей которой удовлетворяет (13) и тем самым является искомой мерой. Свяжем с каждой невырожденной матрицей х = (х,/) ортогональную матрицу у = f(x), получаемую применением к п векторам-строкам Xi = (хи, ..., х/n) матрицы х следующего процесса ортогонализации Грама — Шмидта. Пусть ух— единичный вектор в направлении Xi, уг — единичный вектор в плоскости, натянутой на Xi и х2, ортогональный к z/i и образующий острый угол с х2, и т. д. Пусть у = (уц) — матрица, /-я строка которой равна уь
Допустим теперь, что случайные величины Хц (i,j—\, ..., и) независимы и распределены по закону ^(0, 1). Обозначим X случайную матрицу №;) и положим Y = f(X). Покажем, что распределение случайной ортогональной матрицы Y удовлетворяет (13). С этой целью рассмотрим любую фиксированную ортогональную матрицу Г и любое фиксированное множество В е е 58. Тогда Р{У е ВГ} = Р\YT? г В\ и из определения / видно, что УГ'= = f(XF'). Так как п2 элементов матрицы ХГ' имеют то же самое совместное распределение, что и элементы матрицы X, то и матрицы f(XF') и /(X) имеют одно и то же распределение, что и требовалось доказать.
Примеры 5 и 6 достаточны для тех применений, которые будут исследованы здесь. Эти примеры являются простыми част-
пыми случаями по отношению к общим условиям существования инвариантных вероятностных мер, даваемых теорией меры Хаара ).
Теорема Ханта — Стейна
Инвариантные меры существуют (и с точностью до константы) для большого класса групп, но, к сожалению, часто бывают бесконечными и, следовательно, не могут быть взяты в качестве распределений вероятностей. Это явление сходно (и, по существу, связано) с отсутствием пары наименее благоприятных распределений в теореме 1. Трудность обычно можно преодолеть, рассматривая последовательность распределений, которая «в пределе» обладает требуемым свойством. Аналогично, мы обобщим теперь конструкцию ф как среднего по отношению к правоинвариантной мере, рассматривая последовательность распределений на G, которые при больших п приближенно правоинвариантны.
Пусть ^ = {Ре, 9 е й) — семейство распределений на евклидовом пространстве (^, 5^), доминированное a-конечной мерой р, и пусть G — группа преобразований (^, ^) такая, что индуцированная группа G оставляет Q инвариантным.
Теорема 2 (Ханта — Стейна). Пусть 93 — a-поле подмножеств группы G, так что для любого Ае^ множество пар (х, g) с gxeA принадлежит яФ^дЗ и для любых Де S3 и g е G Bg е S3. Допустим, что существует последовательность распределений вероятностей vn на (G,93), которые асимптотически правоинвариантны в том смысле, что для любых g s G, Ве^
Hm | v„ (Bg) — v„ (В) | = 0. (14) П->оо
Тогда, какова бы ни была критическая функция ф, существует критическая функция ф, которая почти инвариантна и удовлетворяет (10).
Доказательство. Пусть
Фп W = Ф (gx) tZv„ (g).
Как и раньше, эта функция измерима и лежит между 0 и 1. По теореме о слабой компактности (теорема 3 в Дополнении) существует подпоследовательность {фИ;} и измеримая функция ф,
лежащая между 0 и 1, для которой
lim \ ^п,р dp = \ фр dp i->oo J ‘J
для всех р-интегрируемых функций р. В частности,
lim Е9^п (X) = BetW 1->оо1
при всех 0 ей. По теореме Фубини
Е6^ W = 1^еФ &*)] ^nt № = $ Е66<р (X) dv„z (g), так что
inf ^еф (X) < Е^п. (X) < sup E^cp (X)
GG
и гр удовлетворяет (10).
Чтобы доказать почти инвариантность гр, мы покажем теперь, что для всех х и g
^(^-гр^^-^О.(15)
По теореме об ограниченной сходимости (теорема 1 (II) главы 2) отсюда будет следовать, что
J [Фп< (g*) — Ф», W] dP6 (х) 0 А
при всех 0 е й и Л е ^, а следовательно, что ф (gx) = ф (х) (^ — почти всюду), что и требовалось доказать.
Фиксируем х и, выбрав целое т, разобьем G на попарно не- пересекающиеся множества
Bk = ^h^G: «а < <р (Ах) ^ ад +-^-j , А = 0, ..., т,
где ак = (А—1)/т. В частности, Во — это множество {AeG:. ф(Ах) =0}. Из определения множеств Вк видно, что
тт
^а^П1(,Вк)СУ, }(f(hx)dvni(h)^
k^-Qк-0 Вк
тт
^ Е (°*+^ <6б) < Е ^^+i ^=0fe=0
и, аналогично,
тт
Е з ф^g^ ^ч w—Е ^ч ^Bkg-{)
к=0 Bkg-\k^O
откуда следует, что
| фп, (gx) — ^nz (х) | < ^ | aft | • | V„z (В^-1) — v„. (S6) | + ^.
В силу (14) первый член в правой части стремится к нулю при I, стремящемся к бесконечности, и этим доказательство завершается.
Если существует правоинвариантная мера v на G и последовательность Оп подмножеств G с GnsGft+b \}Gn = G и v(G„) = crt< оо,то естественно пытаться выбрать в качестве вероятностных мер vrt теоремы 2 меры v/cn, рассматриваемые на Gn. В указанном ниже примере это приводит к успеху. С другой стороны, имеются случаи, когда существуют подобные последовательности Gn, но нет инвариантных критериев, удовлетворяющих (10), и нет, следовательно, последовательности чп> для которой выполнялось бы (14).
Пример 7. Пусть х = (хь ..., хп), зФ — класс борелевских множеств в n-мерном пространстве и G — группа сдвигов (xi + g, ..., хп + g), —оо < < g < оо. Элементы G могут быть представлены действительными числами, и групповое произведение оказывается в этом случае обычной суммой g + g'. Пусть 98 — класс борелевских множеств на прямой. Тогда предположения измеримости, входящие в теорему 2, выполнены. Пусть v — мера Лебега, которая, очевидно, инвариантна относительно G. Определим vn как распределение, равномерное в интервале Ц—п, п) = (g: —п ^ g ^ п}. Тогда для всех В е е %, g е G
vn(5)-v„(Bg)| = ^-|v[BQZ(-n, n)] — v [В f] Z (—n — g, n-g)]|<M
так что (14) выполняется.
Эти рассуждения применимы также и к группе изменений масштаба (ахь ..., aXnV 0 •< а << оо, которая может быть превращена в группу сдвигов переходом к логарифмам.
Редукция максиминной проблемы может быть проведена шаг за шагом в предположениях теоремы 2 главы 6. Допустим, что проблема остается инвариантной по отношению к двум группам D и Е. Обозначим у = s(x) максимальный инвариант относительно D и буквой Е* — группу, определенную в теореме 2 главы 6 (которую Е индуцирует в пространстве у). Если D и Е* удовлетворяют условиям теоремы Ханта — Стейна, то, во-первых, существует максиминный критерий, зависящий только от у = s(x), во-вторых, существует максиминный критерий, зависящий только от максимального инварианта г = Цу) относительно Е*.
Пример 8. Рассмотрим одномерную линейную гипотезу, в канонической форме которой У1, ..., Yn независимы и распределены по N (х\ь о2), причем дано, что ч$+1 = • • • = Л* — 0. Проверке подлежит гипотеза 41 = “’ ... = т]г = 0. В разделе 1 главы 7 было показано, что эта проблема инвариантна относительно некоторых групп преобразований и что по отношению к этим группам существует РИМ инвариантный критерий. Указанные группы
являются группами ортогональных преобразований или группами сдвигов типа, рассмотренного в примере 7, или группами изменений масштаба. Так как каждая из этих групп удовлетворяет условиям теоремы Ханта — Стейна и поскольку они оставляют инвариантной проблему максимизации минимума мощности на множестве альтернатив
г 2£-^->Ф? №>°).(16)
1=1
то РНМ инвариатный критерий главы 7 является решением также и этой максиминной проблемы. Более общим образом критерий, который является РНМ инвариантным (относительно той же самой группы) для проверки
i = l
(задача 4 главы 7), максимизирует минимальную мощность на альтернативах (16) для ф0 < фь
Пример 9 (Стейн). Пусть G— группа всех невырожденных линейных преобразований р-мерного пространства. При р > 1 она удовлетворяет условиям теоремы 2, как можно увидеть из нижеследующей задачи, которая инвариантна относительно G, для которой РНМ инвариантный критерий не максимизирует минимум мощности. Обобщая пример 10 главы 6, допустим, что X = (Xi, ..., ХР) и У = (У1, ..., Ур) независимы и имеют р-мерное нормальное распределение с нулевыми средними и невырожденными матрицами ковариаций E(XiX^ = Oij и E(YiYj) = &<$ц. Пусть проверке подлежит гипотеза Н; А ^ До при альтернативе Д ^ Д1(До < ДО, причем оц предполагаются неизвестными.
Эта проблема остается инвариантной, если оба вектора подвергаются любому (одному и тому же) невырожденному преобразованию, и так как с вероятностью единица эта группа транзитивна на выборочном пространстве, то РНМ инвариантный критерий тривиален: ф(х, у) = а. Следовательно, мак- симинная мощность при альтернативах Д ^ Дь которая может быть достигнута при использовании инвариантных критериев, равна а. С другой стороны, критерий с критической областью Y^[x\ > С имеет строго возрастающую функцию мощности В (Д), минимум которой на множестве альтернатив Д ^ Д« равен р(А1) > (рДо) = ос.
Интересная особенность теоремы 2 состоит в том, что ее предположения касаются только группы G, а не распределений Ре. Если эти предположения выполняются для некоторой группы G, то, как можно вывести из (10) (путем, указанным в доказательстве леммы 2), для любой проблемы, инвариантной относительно G и допускающей РНМ инвариантный критерий, этот критерий максимизирует минимум мощности в любом инвариантном классе альтернатив. Наоборот, допустим, что мы установили, что в некоторой отдельной задаче РНМ инвариантный относительно G критерий не максимизирует минимум мощности (как это имело место в группе линейных преобразований примера 9). Тогда предпосылки теоремы 2 не могут быть выполнены. Однако это не исключает той возможности, что
в другой проблеме, инвариантной относительно G, РНМ инвариантный критерий будет максимизировать минимум мощности. Произойдет это или нет — зависит уже не только от группы, но и от семейства распределений.
Рассмотрим, в частности, задачу проверки гипотезы Н; ^ = ... = ^р = 0 на основе выборки (Хаь ..., ХаР), а = = 1, ..., п, из р-мерного нормального распределения со средними E(Xai) и общей матрицей ковариаций ^i^ = ^aqVx- Как мы показали в разделе 10 главы 7, эта проблема инвариантна относительно нескольких групп, в число которых входит группа всех невырожденных линейных преобразований р-мерного пространства. Кроме того, было установлено существование РНМ инвариантного критерия. Инвариантным относительно этих групп является класс альтернатив
(17)
Здесь теорема 2 неприменима, и вопрос о том, будет ли РНМ инвариантный критерий максимизировать минимум мощности при альтернативах (17), остается открытым.
Наиболее строгие критерии
Одна из практических трудностей, связанных с критериями, максимизирующими минимум мощности на классе Q^, состоит в выборе подходящего йк- Если информация, на основе которой можно было бы провести такой выбор, отсутствует и если соображения инвариантности не приводят к естественному определению, то часто разумное определение может быть получено в терминах мощности, достигаемой при различных альтернативах. Огибающая функция мощности 0* была определена в задаче 15 главы 6 формулой
p;(O) = suppT(O), (18)
где рф обозначает мощность критерия ф и где супремум берется по всем критериям проверки Н с уровнем а. Таким образом, Р*(0) является максимальной мощностью, которая может быть достигнута при уровне а и альтернативе 9 (то, что супремум достигается, вытекает из теоремы 3 Дополнения при очень слабых ограничениях). Если
S'={0 : р;(0) = Д}
и 01 еЗд,, 92 е Зд2 — две альтернативы, то 01 можно полагать более близкой, равноудаленной или более удаленной от Н, чем 02, в соответствии с тем, будет ли Ai <, = или >Дг-
С идеей измерения расстояния от альтернативы до Н в терминах доступной информации мы уже сталкивались ранее. Если, например, Хь ..., Хп образуют выборку из ^(g, о2), то проблема проверки Н; £ ^ 0 может рассматриваться (см. раздел 2 главы 5) с альтернативами |, измеренными как в абсолютных единицах, так и в a-единицах. Последний случай соответствует сделанному выше предположению, так как из соображений инвариантности (задача 15 главы 6) следует, что 0(£, ст) постоянно на линиях Уа = const.
Фиксируя значение Д и принимая в качестве Пк класс альтернатив 0, для которых р* (0)^Д, мы можем определить критерий, который максимизирует минимум мощности на йк- Другая возможность, которая исключает необходимость выбора значения Д, состоит в том, что для любого критерия <р рассматривается разность р* (0) — Рф (0). Эта разность показывает, насколько действительная мощность рф (0) меньше, чем максимально достижимая. Критерий, который минимизирует выражение
sup [Р* (6) — Рф (6)], (19)
называют наиболее строгим *). Таким образом, критерий является наиболее строгим, если он минимизирует максимальную «нехватку» мощности.
Обозначим фд критерий, который максимизирует минимальную мощность на 5д и, следовательно, минимизирует максимум разности между Р*(6) и Рф(6) на S^. Если окажется, что фд не зависит от Д, то фд будет наиболее строгим. Это замечание делает возможным применение результатов предыдущего раздела к отысканию наиболее строгих критериев. Допустим, что проблема проверки Н*. 0 е со при альтернативах бей — со остается инвариантной относительно группы G, что существует РНМ почти инвариантный относительно G критерий ф0 и что выполняются предположения теоремы 2. Так как Р* (6) и, следовательно, множество 5д инвариантны относительно G (задача 15 главы 6), то мы заключаем, что ф0 максимизирует минимум мощности на 5д при каждом Д. Стало быть, критерий ф0 — наиболее строгий.
Как пример применения метода, рассмотрим проблему проверки Н: рь ..., рп 1/2 при альтернативе К: pi> 1/2 при всех /, где pi — вероятность успеха в f-м из последовательности п независимых испытаний. В зависимости от того, заканчивается t-e испытание успехом или неудачей, Xi равно 1 или 0. В этом случае проблема остается инвариантной по отношению к перестановкам величин X, и РНМ инвариантный критерий имеет кри
тическую область T>Xi > С (пример 7 главы 6). Из сделанных выше замечаний мы выводим, что этот критерий — наиболее строгий.
Другим примером служит общая одномерная линейная гипотеза. В этом случае из рассуждений примера 8 вытекает, что стандартный критерий проверки Н; щ = ... = tp = О или Г
Н': 51]-/^5^ является наиболее строгим.
Во многих задачах, к которым неприменимы соображения инвариантности, наиболее строгие критерии до сих пор не найдены. Ниже указывается один класс задач, где эти критерии находятся непосредственно. Пусть распределения X образуют однопараметрическое экспоненциальное семейство с плотностями, определяемыми формулой (12) главы 3. Рассмотрим гипотезу И: 0 = 0О. Тогда, в соответствии с тем, будут ли 0 > Оо или 0 < 0о, огибающая функция мощности Р* (0) является мощностью РНМ одностороннего критерия для проверки Н при альтернативах 0 > 0о или 0 < 0о. Предположим, что существует двусторонний критерий фо, задаваемый формулой (3) главы 4 и такой, что
sup [р; (0) - рфо (0)] = sup [р: (0) - рфо (0)](20)
vи / vq
и что супремум достигается в обеих частях равенства, скажем, в точках 01 < 02 < 02- Если Рфо (0,) = Рр i = 1, 2, то применение фундаментальной леммы (теорема 5 (III) главы 3) к дочкам 01, 02, 0о показывает, что среди всех критериев ф с РФ(01) 5= Pi и Р<р (0г) ^ Рг только фо удовлетворяет условию Рф (0о) <5 а. Для любого другого критерия уровня а имеем: или pP(0i)<Pi, или Рф (6г) < Рг, т. е. мы видим, что фо является единственным наиболее строгим критерием. Существование критерия, удовлетворяющего (20), может быть выведено с помощью соображений непрерывности (по отношению к изменению констант С, и у/, которые определяют границу критерия (3) главы 4) из того факта, что для РНМ одностороннего критерия при альтернативах 0 > 0о правая часть (20) равна нулю, а левая положительна, в то время как для другого одностороннего критерия имеет место обратное соотношение.
Задачи
К разделу 1
Существование максиминных критериев. Пусть (8?,^)—евклидово пространство выборок, и пусть распределения Pg, 6 е й, доминированы а-ко- нечной мерой на (^,^). Для любых взаимно непересекающихся подмножеств £1н, Ок г Й существует критерий уровня а, максимизирующий (2).
[Пусть р = sup [inf Е^ф (X)], где верхняя грань берется по всем критериям уровня а гипотезы Я: 0 е Q^ Пусть фп — последовательность критериев уровня а таких, что величина inf Е^п (Д') стремится к р. Если фп, — под- 9-К
последовательность и ф — критерий (гарантированный теоремой 3 дополнения) такие, что Е^п. (X) стремится к ЕеФ W Для всех 6 е Q, то ф является критерием уровня а и inf Е^ (Л) = р.]
Локально наиболее мощные критерии. Обозначим d меру расхождения между альтернативой 0 и данной гипотезой Н. Критерий ф0 уровня а называется локально наиболее мощным (JIHM), если для любого другого критерия ф уровня а существует А такое, что
Рфо (0) > Рф (6) при всех 0 с 0 < d (0) < А.(21)
Допустим, что 0 действительно и функция мощности каждого критерия непрерывно дифференцируема в точке 0О.*
Тогда Л НМ критерий для проверки гипотезы Н; 0 = 0О при альтернативе 0 > 0о существует и определяется тем, что среди всех критериев уровня а для проверки Н он максимизирует р'(0о).
ЛНМ критерий локально максимизирует минимум мощности при условии, что его функция мощности «удалена» от а для каждого множества альтернатив, которые «удалены» от Н.
Пусть Хь ..., Хп — выборка из распределения Коши с неизвестным
п
параметром сдвига 0, так что совместная плотность Хь равна пГп JJ [1 + i = l
+ ^xt — 0)2] . ЛНМ критерий для проверки гипотезы 0 = 0 при альтернативе 0 > 0, имеющий уровень а < 1/2, не является несмещенным и, следовательно, не максимизирует локально минимум мощности.
|(Ш) Существует М столь большое, что общая точка с Xi^ М для всех 1= 1, ..., п лежит в области принятия ЛНМ критерия Следовательно, мощность критерия стремится к нулю при 0, стремящемся к бесконечности.]
Критерий фо называется ЛНМ несмещенным, если он является несмещенным и если для любого другого несмещенного критерия ф уровня а существует А такое, что выполняется (21). Предположим, что 0 действительно и что функция мощности каждого критерия дважды непрерывно дифференцируема в точке 0о. Тогда ЛНМ несмещенный критерий уровня а для Н: 0 = 0О при альтернативе 0 ^ 0О существует и определяется фактически тем, что максимизирует Р"(0о) среди всех несмещенных критериев уровня а для Н.
К разделу 2
Пусть распределение X зависит от параметров (0,0*) = (0ь . .., 0Г, 01, ..., 0s). Критерий для Н: 0 = 0° называется локально строго несмещенным, если для каждого 0 выполняется: (а) рф (0°, 0) = а, (б) существует 0-окрестность точки 0°, в которой Рф (0, 0) > а при 0 ^ 0°.
Допустим, что первая и вторая производные
Рф w = air Рф <е- »> к и p'/w = ^L-^(0,0)1^
существуют при всех критических функциях ф и всех 0. Тогда, для того чтобы критерий ф был локально строго несмещенным, необходимо и достаточно, чтобыРф(0) = О при всех / и 0 и матрица (р^(0)) являлась положительно определенной при всех 0.
Критерий для Н называется критерием типа Е (juna D, если s = О, так что не существует «мешающих» параметров), если он является локально строго несмещенным и в классе всех критериев с этим свойством максимизирует определитель | (р^) |. (Этот определитель при перечисленных условиях оказывается равным гауссовской кривизне поверхности мощности в точке 0°.) Тогда критерий ф0, заданный формулой (7) главы 7, для проверки общей линейной одномерной гипотезы (3) главы 7 является критерием типа Е.
[(II) В соответствии с задачей 5 главы 7 при 0 = (гц, ..., г)г) и 0 = = (Лг+i, ..., г)$, о) критерий фо максимизирует поверхностный интеграл
[Рф (Ч °2) - «1 dA.
S
где 5 = <(т]р ..., г)г): £ ^ = р2о2 >, в классе всех подобных (и, следова- тельно, всех локально несмещенных) критериев. Полагая р стремящимся к нулю и используя условия
p^(d) = o, ^T|zr|/M=0 при i^j, ^ t); dA = К (per),ss
Г
найдем, что фо максимизирует ^ р“ (т), а2) среди всех локально несмещен- z=i
ных критериев. Для любой положительно определенной матрицы | (р^) | < < ДРф. Из этого следует, что для любого строго локально несмещенного ) критерия
। б® । < п ^ < 1-^4 < [-^Т - № -1 № | ]
Пусть Zb . .., ZN независимы и имеют одно и то же непрерывное распределение D, о котором известно лишь, что оно симметрично относительно некоторой (неизвестной) точки. Тогда критерий знаков максимизирует минимум мощности, если проверяется Н: D (0) да — при альтернативах К* D^<q (<?<£).
[Пара наименее благоприятных распределений приписывает вероятность 1 соответственно распределениям FeH, G еК с плотностями
.1—2^ / q \Пх|1 (Х мq \Пх]]
где для всех х, положительных, отрицательных и равных нулю, [х] обозначает наибольшее целое число х.]
6 Пусть fe (х) = 0g (х) + (1 — 0) К (х) с 0 < 0 < 1. Тогда f@ (х) удовлетворяет предположениям леммы 1 при условии, что отношение g(x)/A(x) является неубывающей функцией х.
Пусть х = (хь ..., хпУ Обозначим g0 (х, |) семейство плотностей вероятности, зависящих от 0 = (01, ..., 0Г) и действительного параметра £ и
измеримых по совокупности х и g. При каждом 0 обозначим h^ (£) плотность вероятности по отношению к о-конечной мере v так, что существует р^ (х) = = ^ g0 (х, g) А0 (|) dv (g). Мы будем говорить, что функция f двух аргументов и = («ь .иг) и о = (их ..., us) не убывает по (и, и), если Ци\ v)/f(u, и) ^ Ци', о')Ц(и, и') для всех (w, и) удовлетворяющих ut С «/, Uy ^ Uy (i = 1, ..., г; / = 1, ..., s). Тогда р^ (х) — неубывающая функция (х, 0) при условии, что произведение g0 (х, g) h^ (£) обладает следующими свойствами: (а) не убывает по (х, 6) при каждом фиксированном g; (б) не убывает по (g, 0) при каждом фиксированном х; (в) не убывает по (х, g) при каждом фиксированном 0.
[Интерпретируя g^ (х, g) как условную плотность х при данном § и А0 (g) как априорную плотность 6, обозначим p(g) апостериорную плотность § при данном х, и пусть р'(£) определяется аналогично, с заменой 0 на 0'. Тогда то, что функция р0(х) является неубывающей по двум своим аргументам, эквивалентно соотношению
С Sq (х , £)Г g^ (х , £) z
JP^dv^)<j 86Лх,У Р
В силу (а), достаточно доказать, что
Пусть S- = {g: р'&ЖУ < О и $+ = {£: р'(Ю/р(^) > П- По (II) множество S- полностью лежит левее S+. Из (III) следует существование а ^ b таких, что
D-a ГР'(£) — Р (6)1 ^v (6) + г> $ [р'(6) — Р (6)1 ^v (g) S_ s+
и, следовательно, что D = (b — а) ^ [р' (£) — р (g)] d-v (g) > 0.] s+
(I) Пусть X имеет биномиальное распределение b(p, п). Рассмотрим проверку гипотезы Н: р = р0 при альтернативах Q^: pIa^^PqI% или plq ^ 2po!qo. При уровне а = 0,05 определить наименьший размер выборки, для которого существует критерий с мощностью ^ 0,8 при альтернативах Qk, если ро =0,1; 0,2; 0,3; 0,4; 0,5.
(II) Пусть Хь ..., Хп независимы и распределены по закону N^, о2) и проверяется гипотеза а = 1. Определить наименьший размер выборки, для которого существует критерий с уровнем а = 0,05 и мощностью > 0,9 при альтернативах <^2С-^ и о2 >2. [См. задачу 5 главы 4.]
Симметричное экспоненциальное распределение. Пусть Хь ..., Хп — выборка из симметричного экспоненциального распределения с плотностью _^.е-|х-е|, дим критерием для проверки 0^0 против 0>0 является критерий знаков.
[Докажем это для случая, когда уровень а представляется в виде т
О» = ^/2",т.е. когда критерий знаков уровня а будет нерандомизирован- ьо
ным. Обозначим Rk (^ = 0, ..., п) подмножество пространства выборок, в котором к величин X положительны и п — к — отрицательны. Допустим, далее, что 0^ к < I < щ и выберем в Rk и Ri подмножества Sk и Si соответственно такие, что Pq(Sa) = Po(S/) ф 0. Тогда из рассмотрения Ре №) и Pq (Si) при малых 0 следует существование А такого, что Pq (Sk) < Pq (Si) для 0 < 0 < < А. Допустим теперь, что область отклонения нерандомизированным критерием гипотезы 0 = 0 при конкурирующей гипотезе 0 > 0 не совпадает ни с одним из множеств, для которых число положительных X больше константы. Тогда этот критерий может быть превращен в критерий знаков того же самого размера посредством конечного числа шагов, каждый из которых состоит в замене Sk на Si с к С /, и поэтому увеличивает мощность при достаточно малых 0. Для рандомизированных критериев аргументация та же самая с фй, ф/ вместо Sk, S/.]
К разделу 4
Пусть X = (Хь ..., Хр) и У = (Уь ..., ¥р) независимы и имеют одно и то же р-мерное нормальное распределение с нулевым средним и матрицами ковариаций E(XiXj) = оц и E(Yt¥j) = Аау.
) Задача проверки Я: А ^ Ао остается инвариантной относительно группы G преобразований X* = ХА, У* = УЛ, где А = (а^) —любая невырожденная (р X Р)-матрица с ац = 0 при i > /, и существует РИМ инвариантный относительно G критерий с областью отклонения ¥2^Х2 > С.
) Критерий с областью отклонения ¥2[х\ > С максимизирует минимум мощности для проверки А ^ Ао при альтернативе А Aj (Ao<Ai).
[(II) Тот факт, что теорема Ханта — Стейна применима к G, может быть доказан рассмотрением групп Gq преобразований Xq = а1Х1 + ... + aqXq (X^ = XZ для i=l, ..., q—1, ^+1, ..., р) последовательно для у — = 1, ..., р—1. Здесь aq ф 0, так как матрица А является невырожденной тогда и только тогда, когда ан ф 0 для всех I. Групповое произведение (Ть • • •, Y?) двух таких преобразований (аь ..., aq) и (0Ь ..., 0^) задается соотношениями Yi —а10? + 0ь у2 = a2^q + 02, ♦ у<7-1 = а?-^ + р^-ь у9 = ocqpq, которые показывают, что Gq изоморфна группе изменений масштаба (умножение всех компонент на р^) и сдвигов (сложение с (рь ..., р^-ь 0)). Теперь результат следует из теоремы Ханта — Стейна и примера 7, так как допущения теоремы Ханта — Стейна, за исключением легко проверяемых условий измеримости, связаны лишь с абстрактной структурой (G,^), а не частной реализацией элементов группы G как преобразований некоторого пространства.]
Допустим, что проблема проверки гипотезы 0 е Qw при альтернативе 0 е Qk остается инвариантной относительно G, что существует РНМ почти инвариантный относительно G критерий ф0 и что выполняются предположения теоремы 2. Тогда ф0 максимизирует inf [су (0) Ядф (X) + и (0)] при любых ве- совых функциях ьу(0) ^ 0, м(0), инвариантных относительно G.
К разделу 5
Существование наиболее строгих критериев. В предположениях задачи 1 существует наиболее строгий критерий для проверки гипотезы 9 е ^н при альтернативе 0 g Q — QH.
Обозначим {йд} класс взаимно непересекающихся множеств альтернатив такой, что огибающая функция мощности постоянна на каждом Йд и U^a = Q — йя. Пусть фд максимизирует минимум мощности на йд. Если Фд = Ф не зависит от А, то ф является наиболее строгим критерием для проверки 6 е Йя.
Пусть (Zb ..., Z^ = (Xb ..., Хт, KiУ„) распределены с совместной плотностью (56) главы 5. Рассмотрим проблему проверки Н; т) = 5 при конкурирующей гипотезе, что Xi и У/ независимы и нормально распределены с общей дисперсией о2 и средними л ^ ?• Тогда критерий перестановок с областью отклонения |У — А| >C[T(Z)] (двусторонний вариант критерия (55) главы 5) является наиболее строгим.
[Применить задачу 13 к случаю, когда каждое из множеств ^д состоит из двух точек (£ь тщ о) и (^2, т)2» о) таких, что
для некоторых £ и д.]
Литературные ссылки
Идеи и результаты раздела 1, по существу, содержатся в развитой Вальдом для общих проблем решения теории минимакса. Изложение этой теории и некоторых ее применений дано в книге Вальда (1950). Материал разделов 3—5, включая, в частности, лемму 2, теорему 2 и пример 8, составляет основную часть неопубликованной работы Ханта и Стейна (1946).
Вальд (Wald А.)
On the principles of statistical inference, Notre Dame Math. Lectures № 1, Notre Dame, Ind. [Определение наиболее строгих критериев.]
Statistical Decision Functions, New York, John Wiley and Sons.
В e с л e p (W e s 1 e r O.)
Invariance theory and a modified minimax principle, Ann. Math. Stat., 30, 1—20. [Обобщение теоремы Ханта — Стейна.]
Вольфовиц (Wolfowitz J.)
The power of the classical tests associated with the normal distribution, Ann. Math. Stat., vol. 20, 540—551. [Доказано, что стандартные критерии для одномерной линейной гипотезы и для проверки отсутствия множественной корреляции являются наиболее строгими в классе всех подобных критериев, а также обладают другими чертами оптимальности.]
Изаксон (I s а а с s о n S. L.)
On the theory of unbiased tests of simple statistical hypotheses specifying the values of two or more parameters, Ann. Math. Stat., vol. 22, 217— 234. [Вводятся критерии типа D и E.]
Кифер (К i e f e r J.)
On the nonrandomized optimality and randomized nonoptimality of symmetrical designs, Ann. Math. Stat., vol. 29, 675—699. [Задача 4.]
Леман (L е h m a n n Е. L)
On families of admissible tests, Ann. Math. Stat., vol. 18, 97—104. [Последний пример раздела 5.]
Some principles of the theory of testing hypotheses, Ann. Math. Stat, vol. 21, 1—26. [Теорема 1, задача 10.]
Ordered families of distributions, Ann. Math. Stat., vol. 26, 399— 419. [Лемма 1, задачи 2, 3 ), 8.]
Леман и Стейн (Lehmann Е. L. and Stein С.)
On the theory of some nonparametric hypotheses, Ann. Math. Stat., vol. 20, 28—45. [Задача 14.]
Нейман (Neyman J.)
Sur la verification des hypotheses statistiques composees, Bull. Soc. Math. France, vol. 63, 246—266. [Определяются критерии типа В, т. е. критерии, являющиеся при наличии «мешающих» параметров ЛНМ в классе всех локально несмещенных критериев, а также показано, как их получить.]
Нейман и Пирсон (N е у m a n J. and Pearson Е. S.)
(19^6, 1938) Contributions to the theory of testing statistical hypotheses, Stat. Res. Mem., vol. I, 1—37; vol. II, 25—57. [Обсуждаются критерии типа A, т. e. критерии, являющиеся ЛНМ в классе всех локально несмещенных критериев при отсутствии мешающих параметров.]
Р у и ст (R u i s t Е.)
Comparison of tests for nonparametric hypotheses, Arkiv Math., vol. 3, 133—163. [Задача 4.]
Хант и Стейн (Hunt G. and Stein C.)
Most stringent tests of statistical hypotheses. [He опубликована.] Шёнберг (Schoenberg I. J.)
On Polya frequency functions, I., J. Anal. Math., vol. 1, 331—374. [Пример 1.]
Шметтерер (S c h m e 11 e r e r L.)
Введение в математическую статистику, пер. с нем., М., Наука, гл. 3.
ДОПОЛНЕНИЕ
Отношения эквивалентности; группы
Отношение х ~ у между точками пространства 98 называется отношением эквивалентности, если оно рефлексивно, симметрично и транзитивно, т. е. если
х ~ х для всех х е 98,
х ~ у влечет у ~ х,
х ~ у, у ~ z влечет х ~ z.
Пример 1. Рассмотрим класс статистических решающих процедур как пространство, точками которого являются отдельные процедуры. Тогда отношение 6 ~ 6', если процедуры 6 и 6' имеют одну и ту же функцию риска, есть отношение эквивалентности. В качестве другого примера рассмотрим на действительной прямой все функции с действительными значениями как точки пространства. Тогда соотношение f ~ g, если f(x) = g(x) почти всюду, будет отношением эквивалентности.
Пусть дано отношение эквивалентности; обозначим D* множество точек пространства, эквивалентных точке х. Тогда Dx = Dy, если х ~ у, и Dx f) Dy = 0 в противном случае. Так как по (I) каждая точка пространства принадлежит, по крайней мере, одному из множеств Dx, то из этого следует, что множества Dx — классы эквивалентности, определенные отношением ~, образуют разбиение пространства на части.
Множество G элементов называется группой, если выполняются следующие условия.
Определена операция — групповое умножение, которая любым двум элементам a, b е G ставит в соответствие элемент сеО. Элемент с называется произведением а и b и обозначается ab.
Групповое умножение подчиняется ассоциативному закону
(ab) с = а (be).
Существует элемент ее G, называемый единичным, такой, что
ае = еа = а для всех aeG.
Для каждого элемента aeG существует ему обратный элемент а-1 е G такой, что
йй-1 — й-|й = е.
Можно показать, что как единичный элемент, так и обратный любому элементу а определяются однозначно.
Пример 2. Множество всех (n X ^)-ортогональных матриц составляет группу, если матричное умножение и обращение матриц принять соответственно за групповое умножение и обратную операцию и если единичную матрицу принять за единичный элемент группы. С тем же самым определением групповой операции класс всех невырожденных (л X л)-матриц также образует группу. С другой стороны, класс всех (и X я)-матриц не удовлетворяет условию
Если элементы G являются отображениями некоторого пространства на себя, причем групповое произведение Ьа определяется как результат выполнения преобразования с помощью элемента а и последующего применения элемента 6, то G называется группой преобразований. В данном случае предположение (IV) удовлетворяется автоматически. Для любой группы преобразований, определенной на пространстве 95, отношение между точками
х ~ у, еелп существует элемент а е G такой, что у = ах, будет отношением эквивалентности.
Тот факт, что удовлетворяются условия эквивалентности (I), (II) и (III), следует из формулировок (III), (IV) и (I) (соответственно/ свойств группы.
Пусть ^ — любой класс взаимно однозначных отображений пространства и пусть G является классом всех конечных произведений а^1^1 ... а^х с av ..., ат^<6, т = 1, 2, ..., где каждый показатель равен +1 или — 1 и где среди элементов аь 02, ..., могут быть равные. Тогда легко проверяется, что G — группа и к тому же наименьшая группа, содержащая ^
Сходимость распределений
Когда изучаются свойства сходимости функций, часто удобней рассматривать класс функций как реализацию абстрактного пространства ^ точек /, в котором определена сходимость последовательности fn к пределу f, обозначаемая fn-^f-
Пример 3. Пусть р-—мера на измеримом пространстве (^,^).
Обозначим ^ класс интегрируемых функций. Тогда fn сходится к f в среднем, если )
^Un-fW->o.(О
Пусть ^ — равномерно ограниченный класс измеримых функций. Последовательность fn называют сходящейся к / слабо, если
InP dp -> fp dp(2)
для всех ц-интегрируемых функций р.
Пусть 0“ является классом измеримых функций. Тогда fn сходится к { поточечно, если
fn () -> f (х) p-почти всюду.(3)
Подмножество ^о пространства 9 плотно в 9, если для любого элемента f ^ 9 существует последовательность элементов из 9о, имеющая f своей предельной точкой. Пространство 9 называется сепарабельным, если существует счетное плотное подмножество 9. Пространство 9 такое, что каждая последовательность содержит сходящуюся подпоследовательность, предельная точка которой принадлежит 9, называется компактом*^. Пространство 9 является метрическим пространством, если для каждой пары точек f, g е 9 определено расстояние d(f, g) 0 такое, что
d(f, g) = 0 тогда и только тогда, когда f = g;
d^-d^jy,
d(f, g) 4-d(g,h) >d(f,h) для всех f, g, h.
Пространство псевдометрично, если (I) заменяется на
(Г) d(f, /) = 0 для всех
Псевдометрическое пространство может быть превращено в метрическое введением отношения эквивалентности f ~ g, если d(f, g) = 0. Классы эквивалентности F,G, ... в этом случае образуют метрическое пространство по отношению к расстоянию D(F, G) = d(f, g), где [eF, §eG.
В любом псевдометрическом пространстве естественно определить сходимость, полагая fn-^f, если d(fn, П~^0.
Пример 4. Пространство интегрируемых функций примера 3 (I) становится псевдометрическим пространством, если мы положим
d(f, gl^lf-glM
Тогда определение сходимости для пространства с такой метрикой совпадает с данным формулой (I).
Пример 5. Обозначим ^ семейство распределений вероятностей на (^,^). Тогда 9— метрическое пространство по отношению к метрике
d (Р, Q) = sup | Р (Д) - Q (Д) |.(4)
АеЛ
Лемма 1. Каждое подмножество сепарабельного псевдомет- рического пространства 9* сепарабельно.
Доказательство. Согласно предположению, существует плотное счетное подмножество {/«} пространства ^. Пусть
и пусть А — любое подмножество #". Выберем один элемент из каждого непустого пересечения A П Sm, п и обозначим полученное счетное множество элементов До. Если а — любой элемент из Л и m— любое положительное число, то существует элемент fnm такой, что d(a,fnm) < 1/m. Поэтому aeSm. nm, пересечение А П Sm, nm не пусто и существует элемент в До такой, что расстояние от а до этого элемента <2/т. Этим показано, что До плотно в Д и что, следовательно, А сепарабельно.
Лемма 2. Последовательность интегрируемых функций fn сходится к f в среднем тогда и только тогда, когда
^ fn dp -* ^ f dp равномерно для A^s4-.(5)
АА
Доказательство. Очевидно, что (1) влечет (5), так как для всех Д е ^
J fndp— ^fdpААJ fndp— ^fdpАА\L-f\dp.\L-f\dp.
J fndp— ^fdp
АА
J fndp— ^fdp
АА
\L-f\dp.
\L-f\dp.
Обратно, пусть выполняется (5). Обозначим Ап и А„ множества точек х, для которых fn(x)> f(x) и fn(x) < f(x) соответственно. Тогда
$lfn-/W = ^(fn-hdp- J Qn-h dp->0.Л« An
Лемма 3. Последовательность равномерно ограниченных функций fn сходится к ограниченной функции f слабо тогда и только тогда, когда
fndp-> ^ fdp для всех А с р(Д)<оо. (6) А А
Доказательство. Условие (6) следует из слабой сходимости, если в (2) взять в качестве функции Р индикатор множества А, который интегрируем, если ц(Д)< оо. Обратно, из (6) следует, что (2) выполняется, если р — любая простая функция в — ^аДдр где Ai таковы, что |л(Д() < оо. Для любой интегрируемой функции р по определению интеграла существует такая простая функция s, для которой \ | р — s |dp < е/ЗМ, где М —
константа, ограничивающая |/|. Тогда мы имеем
| ^ (f« — f) Р ^ | ^
< | $ fn (р — s) du | + | J f (s — p) dp | + | J (fa — f) s du |.
Первые два слагаемых правой части неравенства меньше е/З (каждое), а третье слагаемое стремится к нулю, когда п стремится к бесконечности. Таким образом, левая часть неравенства <е при п достаточно больших, что и требовалось доказать.
Лемма 4 ). Пусть f и fn, п = 1, 2, ..., — неотрицательные интегрируемые функции и такие, что
\Uw = \Ldw=\.
Тогда поточечная сходимость fn к f влечет сходимость fn к f в среднем.
Доказательство. Если gn = fn — Д то gn ^ — / и отрицательная часть g” = max (— gn, 0) удовлетворяет неравенству |^| ^ А Так как gn^-^O (p-почти всюду), то из теоремы 1 (II) главы 2 следует, что ^ g~ dp, -> 0; ^g+dH здесь также стремится к нулю, так как ^gndp = 0. Поэтому ^|gn|dp = = ^g^ + g”)dp->0, что и требовалось.
Пусть Р и Рп, п=\Д, ...,— распределения вероятностей на (^, j^) с плотностями р и рп по отношению к мере р. Рассмотрим определения сходимости
рп-^р (p-почти всюду);
$ \рп~ рШ->0;
^ gPndp-> ^ gpdp для всех ограниченных измеримых g; и
(б') Рп^А) -> Р^А) равномерно для всех 4е^;
(в') Рп(Л) Р(А) для всех А е st.
Тогда леммы 2 и 4 вместе с незначительно видоизмененной леммой 3 показывают, что (а) влечет (б) и (б) влечет (в); и что (б) эквивалентно (б'), а (в) эквивалентно (в'). Кроме того, можно показать, что ни (а) и (б), ни (б) и (в) неэквивалентны ).
Доминируемые семейства распределений
Пусть Ж — семейство мер, определенных на измеримом пространстве (^, ^). Говорят, что Ж доминируемо о-конечной мерой р, определенной на (^, ^), если каждый элемент Ж абсолютно непрерывен по отношению к р. Семейство Ж называется доминируемым, если существует a-конечная мера, которой оно доминируемо. Действительно, если Ж является доминируемым, то всегда существует конечная доминирующая мера. В самом деле, допустим, что Ж доминируемо мерой р и что 8В = UAi с р(Д/) конечной для всех I. Если множества Ai взять взаи?4но непересекающимися, то мера v, определенная как
vH) = 5р(Д ПД№(Л0>
также доминирует Ж и конечна.
Теорема 1 ). Семейство ^ вероятностных мер на евклидовом пространстве (86, j^) доминируемо тогда и только тогда, когда оно сепарабельно по отношению к метрике (4) или, что эквивалентно, по отношению к сходимости
Рп-^Р, если Рп(А)-+ Р(А) равномерно для Aest.
Доказательство. Допустим сначала, что ^ сепарабельно и что последовательность {Рл} плотна в ^, и пусть
Тогда ц(Л) = 0 влечет РП(Л) = О для всех п, и следовательно, Р(Л)=0 для всех Ре?. Обратно, пусть ^ доминируемо мерой р, которая без ограничения общности предполагается конечной. Тогда мы должны показать, что множество интегрируемых функций dP/dy, сепарабельно по отношению к сходимости, определенной (5), или, согласно лемме 2, по отношению к сходимости в среднем. Но, исходя из утверждения леммы 1, достаточно доказать, что этим свойством обладает класс У всех ц-интегрируемых функций Д Так как по определению интеграла каждая интегрируемая функция может быть аппроксимирована в среднем простыми функциями, то достаточно доказать наше утверждение для случая, когда ЗГ является классом всех простых интегрируемых функций. Любая простая функция может быть аппроксимирована в среднем простыми функциями с рациональными значениями, так что достаточно показать сепарабельность класса функций ^гйм, где г рациональны и Л — борелевские множества с конечной ц-мерой (так как функции f интегрируемы). Наконец, достаточно взять в качестве ЗГ класс
функций 1а — индикаторов борелевских множеств с конечной мерой. Однако любое такое множество может быть аппроксимировано конечными суммами непересекающихся прямоугольников с рациональными концами. Множество всех таких сумм счетно, поэтому рациональные линейные комбинации соответствующих индикаторов образуют счетное плотное подмножество 9.
Анализ доказательства показывает, что «евклидовость» пространства (^, 5^) была использована лишь для установления факта существования счетного числа множеств Ai е st таких, что любому /1 е ^ с конечной мерой соответствует подпоследовательность Aц с ia(Aij)-> ц(А). Это свойство выполняется, вообще, для любого о-поля st, которое обладает счетным множеством образующих, т. е. в котором существует счетное число множеств Д- таких, что st является наименьшим о-полем, содержащим все Bi *).
Отсюда следует, что теорема 1 выполняется для любого о- поля с таким свойством. В статистических применениях такие о-поля встречаются в последовательном анализе, где выборочное пространство 98 есть сумма 96 = U^ борелевских подмножеств 96 г /-мерного евклидова пространства. В этих проблемах 96 i — множество точек (xi, ..., х^, которые требуют ровно i наблюдений. Если sti— о-поле борелевских подмножеств 96 и то можно взять в качестве st о-поле, порожденное sti, и так как каждое sti обладает счетным множеством образующих, то st также обладает им.
Если st не обладает счетным множеством образующих, то может быть сделано более слабое утверждение. Два семейства мер / и Л9 называются эквивалентными, если равенство р(Л) = = 0 для всех рЕ/ влечет у(Л) = 0 для всех vE.f, и наоборот.
Теорема 2). Семейство 9 вероятностных мер доминируемо с-конечной мерой тогда и только тогда, когда 9 имеет счетное эквивалентное подмножество.
Доказательство. Допустим сначала, что 9 имеет счетное эквивалентное подмножество ^Р\, Р^, ...}. Тогда 9 доминируемо мерой р = ЪРп12п. Обратно, пусть 9 доминировано о-ко- нечной мерой р, про которую, без ограничения общности, можно предположить, что она конечна. Пусть Q — класс всех вероятностных мер Q вида 'LaPi, где Pi ^9, все с положительны и ^а = 1. Класс Q также доминируется мерой р, и мы обозначим q фиксированный вариант плотности dQ/d\x,.
Докажем эквивалентное теореме утверждение: существует Qo^Q такое, что из QoH) =0 следует ф(Л) =0 для всех QeQ.
Рассмотрим класс % множеств С в ^, для которых существует Qe^ такое, что q(x) > 0 p-почти всюду на С и Q(C) > 0.
Пусть р(С,) стремится к sup р (С), пусть qi(x') > 0 почти всю- ду на С,; обозначим Со сумму множеств С,. Тогда уй(х) = = 'Lclql(x^ совпадает почти всюду с плотностью вероятности Qo = Sc;Qt., q*0 положительна почти всюду на Со, так что Со е ®’. Допустим теперь, что 9о(Л) = 0. Пусть Q — любой другой элемент Q и пусть С = {х: р(х) > 0}. Тогда д0(Л А Со) = 0, поэтому р(Л А Со) = 0 и Q^ А Со) = 0. Точно так же и @(Л А ПСоПС) равно нулю. Наконец, неравенство 9(ЛА^оАС)>О привело бы к тому, что p(C0U [Л П Со А С]) > р(С0), а это противоречит равенству р(Со) = sup р(С), так как ЛПСоПС, а по- тому и Со U [Л А Со А С] принадлежат ^.
Теорема о слабой компактности
Следующая теорема создает основу для доказательства существования наиболее мощных критериев, наиболее строгих критериев и т. д.
Теорема 3 *) (Теорема о слабой компактности'). Пусть р — а-конечная мера в евклидовом пространстве или, более обидим образом, в любом измеримом пространстве (98, ^), в котором si обладает счетным множеством образующих. Тогда множество измеримых функций ф с 0 ^ ф ^ 1 является компактом по отношению к слабой сходимости, определяемой условием (2).
Доказательство. Возьмем любую последовательность {фи}. Мы должны доказать существование подпоследовательности {фпД и функции ф таких, что
lim фи.р dp = ^ фр dp
яри всех интегрируемых р. Если р* — конечная мера, эквивалентная р, то р* реинтегрируема тогда и только тогда, когда р = (dp*/dp)p* р-интегрируема, и $ фpdp= $ фp*dp* при всех <р. Поэтому мы можем, без ограничения общности, предположить, что р конечна. Пусть {рп} — последовательность, плотная в классе функций р по отношению к сходимости в среднем. Су-
ществование такой последовательности гарантировано теоремой 1 и следующим за ней замечанием. Если
Фп(р)= $ФпР^.
то последовательность Ф«(р) ограничена при каждом р. Можно выбрать подпоследовательность Ф„к так, что Ф„6 (рт) сходится при каждом рт. Для этого применяем следующий диагональный процесс. Рассмотрим сначала последовательность чисел {Фп(р1)}, которая обладает сходящейся подпоследовательностью Фп/ (pi), Ф^р^, ... Следующая последовательность Ф„'(р2), Фп/(р2), ... содержит сходящуюся подпоследовательность Ф^РаУ Ф>12 (Р^’ *•' Продолжая этот процесс, положим nv = n'v п2 = п2, п3 = п'", ... Тогда «1 < «2 < • • ■. и последовательность {Ф„ J сходится при каждом рт.
Из неравенства
| $ (фп/ — Ф»г) Р ^Н | < | J (Фп, — Фп<) Рт dp | + 2 J | р — рт | du
следует, что Ф„; (р) сходится при всех р. Обозначим ее предел Ф(р) и определим функцию множества Ф* на ^, полагая
ФЧА) = Фид\
Тогда Ф* неотрицательна и ограничена, так как при всех А Ф*(Д) ^ ц(Д)- К тому же она счетно-аддитивна. Действительно, пусть А = (J Ак, где Ак не пересекаются. Тогда
Ф*(А) = ПтФ;.(иЛ) и
J фп< dp — £ Ф* (Ак) и^
Здесь второе слагаемое равно нулю в случае конечных сумм т
А = (J Ак, в противном случае оно не превосходит величины
2ц( U А1> которая при т достаточно большом может быть xk=m-V\ /
сделана произвольно малой. При любом фиксированном tn
первое слагаемое стремится к нулю, когда i стремится к бесконечности. Таким образом, Ф* представляет собой конечную меру на (Я?, *s^). Она, кроме того, абсолютно непрерывна относительно меры р, так как р(Л) =0 влечет ф^(/л) = 0 при всех i и поэтому Ф(/д) = Ф*(Л) = 0. Мы можем теперь, применяя теорему Радона — Никодима, получить
ф*(Л)=^фб?р для всех Л,
А
где 0^ф^1. Тогда мы имеем
ФИ/dp —> ^ ф dp для всех Л, АА
и слабая сходимость последовательности фп. к ф следует из леммы 3.
ИМЕННОЙ УКАЗАТЕЛЬ
Андерсен (Andersen S. L.) 194, 210
Андерсон (Anderson Т. W.) 174, 294, 336, 361, 363
Анскомб (Anscombe F. J.) 356
Армсен (Armsen F.) 162
Арнольд (Arnold R. J.) 294
Банах (Banach S.) 398
Барнард (Barnard G.) 294, 295
Барра (Barra J. R.) 177
Бартлетт (Bartlett М. S.) 138, 177, 363
Басу (Basu D.) 182, 235
Бахадур (Bahadur R. R.) 30, 70, 71, 72, 160
Беннет (Bennett-В.) 204
Бергер (Berger А.) 368, 396
Беренс (Behrens W. V.) 296
Берксон (Berkson J.) 165
Бирнбаум (Birnbaum А.) 161, 260
Бирнбаум (Birnbaum Z. W.) 139, 170
Блекуэл (Blackwell D.) 23, 36, 90, 139, 141
Блюменталь (Blumenthal R.) 390
Бокс (Box G. Е. Р.) 194, 210, 463
Большее Л. Н. 223, 257, 265
Боукер (Bowker А. Н.) 365
Браун (Brown G.) 36
Вальд (Wald А.) 26, 36, 37, 100, 128, 139, 177, 210, 294, 318, 349, 350, 363, 389
Ван-дер-Варден (van der Waerden В. L.) 36, 37, 268, 294
Ватсон (Watson G. G.) 363
Веслер (Wesler. О.) 389
Вийсман (Wijsman К. A.) 118, 365
Виленский (Wilenski H.) 178
Вилкоксон (Wilcoxon F.) 176, 294, 296
Вилсон (Wilson E. В.) 138, 139
Вольфовиц (Wolfowitz J.) 37, 128, 139, 140, 175, 210, 294, 389
Гаварэ (Gavarret J.) 138, 139
Гаек (Hdjek J.) 260, 295
Гаусс (Gauss C. F.) 36, 138, 139
Гейен (Gayen A. K.) 188
Гербрах <Herbrach L. H.) 363
Гири (Geary R. C.) 188
Гиршик (Girshick M. A.) 23, 36, 117, 139, 141, 177, 235
Голдберг (Goldberg H.) 295
Госсет (Gossett W. S.) см. Стьюдент
Гренандер (Grenander V.) 139, 235, 366
Гринберг (Greenberg В. J.) 265
де Гроот (De Groot M.) 36
Гудман (Goodman L.) 164, 174
Гхош (Ghosh M. N.) 177
Даниеле (Daniels H. E.) 294, 295
Данфорд (Dunford N.) 71
ван Данциг (van Dantzig D.) 294
Данциг (Dantzig G. B.) 100, 139
Дарлинг (Darling D.) 270, 278
Дармуа (Darmois G.) 63
Дворецкий (Dvoretzky A.) 128, 140
Демпстер (Dempster A. P.) 339
Дейхлер (Deuchler G.) 294, 295
Джеймс (James A. T.) 377
Джефрис (Jeffreys H.) 138
Диксон (Dickson L. E.) 53
Дуб (Doob J. L.) 11, 31, 71, 72
Дункан (Duncan D. B.) 310
Дуосс (Dwass M.) 210
Дынкин E. Б. 31
Дэвид (David F. N.) 177, 234
Дэвид (David H. T.) 281
Зиппин (Zippin L.) 378
Изаксон (Isaakson S. L.) 389
Ирвин (Irwin J. O.) 177
Иэйтс (Yates F.) 296
Карлин (Karlin S.) 88, 140, 257
Кемпторн (Kempthorne O.) 318, 363, 364
Кендалл (Kendall M. G.) 36, 37, 140, 164, 177.
235, 291, 294, 295, 363, 394
Кифер (Kiefer J.) 38, 140, 318, 389
Кокрен (Cochran W. G.) 318, 363, 364
Кокс (Cox D. R0 282
КЬкс (Cox G.) 318
Колмогоров A. H. 37, 44, 71, 72, 270, 278
Колоджейчик (Kolodziejcyk S.) 364
Коэн (Cohen L.) 137
Краме^Сгатёг H.) 24, 36, 37, 44, 151, 188,
Крускал (Kruskal W. H.) 137, 164, 177, 281, 295, 344
Кудо (Kudo H.) 38
Купмен (Koopman В. O.) 62
Ланкастер (Lancaster H. O.) 363, 364
Лаплас (Laplace P. S.) 36, 37, 138, 140
Ле Кам (Le Cam L.) 24, 37, 125, 350
Лексис (Lexis W.) 138, 140
Леман (Lehmann E. L.) 28, 30, 37, 39, 72, 110, 114, 140, 159, 160, 177, 188, 235, 268, 295, 310, 311, 343, 349, 390
Либерман (Lieberman G.) 223
Линдли (Lindley D. V.) 24, 138
Линник Ю. В. 72, 257
Литлвуд (Littlewood J. E.) 123
Лоэв (Lo^ve M.) 56, 71, 72
Ляпунов A. M. 128
Мей (May J. M.) 310
Мейнланд (Mainland D.) 162
Мерингтон (Merrington M.) 223
Мильтон (Milton Е. Т.) 296
Монтгомери (Montgomery D.) 378
Моран (Moran Р. А. Р.) 294, 295
Морган (Morgan W. А.) 235
Мостеллер (Mosteller F.) 128, 177
Нанди (Nandi Н. К.) 178
Неве (Neveu J.) 71
Нейман (Neyman J.) 36, 38, 138, 139, 140, 165,
178, 204, 235, 364, 390
фон Нейман (von Neumann J.) 36
Нётер (Noether G.) 210
Нивергельт (Nievergelt E.) 268
Ньюман (Newmann D.) 364
Ольмстед (Olmstead P. S.) 291
Пагурова В. И. 257
Патнайк (Patnaik Р. В.) 343
Паулсон (Paulson Е.) 235
Пейсаков (Peisakoff М.) 38
Пирсон (Pearson К.) 36, 138, 141, 223, 364
Пирсон (Pearson Е. S.) 38, 138, 140, 178, 302, 364, 390
Питмен (Pitman Е. J. G.) 38, 63, 235, 293, 295
Питчер (Pitcher Т. S.) 295
Пойа (Polya G.) 117, 123
Путтер (Putter J.) 178
Пшиборовский (Przyborowski J.) 178
Рао (Rao С. R.) 308, 309, 363, 364
Раштон (Rushton S.) 295
Резников (Resnikoff G.) 223
Роббинс (Robbins Н.) 395
Робинсон (Robinson J.) 117
Рубин (Rubin Н.) 140
Руист (Ruist Е.) 390
Сакс (Saks S.) 71, 72
Сандрум (Sundrum R. М.) 294, 295
Сархан (Sarhan А. Е.) 265
Свед (Swed F.) 175
Свердруп (Sverdrup Е.) 178
Серпинский (Sierpinski W.) 372
Симаик (Simaika J. В.) 365
Смирнов Н. В. 223, 257, 265, 270, 278
Смит (Smith С. А. В.) 179
Собел (Sobel М.) 72, 141
Стейн (Stein С.) 39, 114, 118, 140, 141, 235, 258, 260, 294, 295, 296, 365, 389, 390
Стьюарт (Stuart А.) 37, 140, 164, 177, 235, 295, 363, 364
Стьюдент (Student) 235, 366
Сукхатм (Sukhatme Р. V.) 296
Сэвидж (Savage I. R.) 268, 294, 296
Сэвидж (Savage L. J.) 23, 36, 38, 72, 177, 397
Сюй (Hsu С. Т.) 235
Сюй (Hsu Р. L.) 296, 365
Сютклифф (Sutcliffe М. I.) 162
Тейкроу (Teichroew D.) 265
Токер (Tocher К. D.) 178
Томпсон (Thompson W. R.) 141
Тьюки (Tukey J.) 28, 129, 138, 141, 188, 291,
296, 310 , 316, 356
Тэнг (Tang Р. G.) 365
Уайтфилд (Whitfield J. W.) 294, 295
Уилкс (Wilks S. S.) 36, 38, 294, 296, 365
Уоллес (Wallace D.) 188, 258
Уоллис (Wallis W. А.) 170
Уолш (Walsh J.) 178, 296
Уоркинг (Working Н.) 138, 141
Уэлч (Welch В. L.) 258
Феллер (Feller W.) 11, 71, 136, 178
Фикс (Fix Е.) 204 , 343, 349
Фишер (Fisher R. А.) 36, 38, 138, 141, 177, 178,
235, 296, 363, 365
Фокс (Fox М.) 302
Фомин С. В. 71
Фрезер (Fraser D. A. S.) 141, 178, 210, 222,
294, 296
Фримен (Freeman М. F.) 356
Фурье (Fourier J. В. J.) 138, 141
Халмош (Halmos Р.) 71, 72, 128, 247, 378,397
Хант (Hunt G.) 39, 294, 296, 363, 389, 393
Харди (Hardy G. Н.) 123
Хартли (Hartley Н. О.) 302, 365
Хельмерт (Helmert F. R.) 236
Хемельрийк (Hemelrijk J.) 294, 296
Херера (Herrera L.) 162
Хёфдинг (Hoeffding W.) 210, 291, 296
Хобсон (Hobson Е. W.) 216
Ходжес (Hodges J. L.) 39, 93, 188, 268 , 270,
302, 343, 349
Холдейн (Haldane J. В. S.) 179
Хопф (Hopf Е.) 296
Хотеллинг (Hotelling Н.) 39, 138, 141, 293, 366
Хоул (Hoel Р. G.) 179
Цэао (Tsao С. К.) 297
Чепмэн (Chapman D. G.) 139, 236, 278
Чернов (Chernoff Н.) 141, 258, 268, 351
Чубер (Czuber Е.) 36, 39
Шварц (Schwartz J. Т.) 71
Шеффе (Scheffe Н.) 28, 30, 141, 159, 177, 179,
198, 294, 297, 310, 363, 365, 395
Шёнберг (Schoenberg I. J.) 390
Шидак (Sidak Z.) 260, 296
Ширяев А. Н. 141
Шметтерер (Schmetterer L.) 36 , 39, 297 , 390
Эджворт (Edgeworth F. Y.) 39, 138, 141
ЭЙзенхарт (Eisenhart С.) 175, 356, 366
Эльфвинг (Elfving G.) 70
Эпстейн (Epstein В.) 72, 141, 297
Эренфельд (Ehrenfeld S.) 318
Эрроу (Arrow К- J.) 139, 141
Эспин (Aspin А.) 258
Юсава (Usawa Н.) 297
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ)
Абсолютная непрерывность 46
Аддитивность эффектов 311; ~, критерий 316; ~ в модели II 323
Анализ ковариаций 322, 364
Арксинуса преобразование для биномиального распределения 356, 363
Байесовский риск 21
Байесовское решение 21, 33, 34; ~ ограниченное 22; ~ для последовательных проблем с двумя решениями 122
Бартлета критерий для равенства дисперсий 309
Берэнса —Фишера проблема 191, 257, 294, 296, 297
Бета-распределение 191; ~, связь с F-pac- пределением 191; ~ при исследовании отношений дисперсий 191, 224; ~ как распределение порядковых статистик 286; ~ в задаче проверки линейных гипотез 302; ~ нецентральное 302
Биизмеримое преобразование 239
Биномиальная вероятностная бумага 129
Биномиальное распределение 11; ~, достаточные статистики 26, 36; ~ как экспоненциальное семейству 85; ~, полнота 149; ~ в задаче о сравнении двух распределений Пуассона 160; ~, преобразование арксинуса 356, 363. См. также Полиномиальное распределение; Отрицательно-биномиальное распределение
Биномиальные вероятности; ~ односторонний критерий 85, 129, 168, 281; ~, доверительные границы 97, 131; ~, последовательный критерий отношений вероятностей 117, 121, 136, 281; двусторонний критерий 132, 146, 166, 170; ~, сравнение двух 134, 162, 174, 228; ~, сравнение нескольких 309. См. также Таблица сопряженности признаков; Медиана; Попарные сравнения; Выборочный контроль; Критерий знаков
Биологические испытания 176
Борелевские множества 41
Вальда тождество 121, 136
Ван-дер-Вардена критерий 268
Взаимодействия (Interactions) 315; критерий отсутствия 316; ~, ~ в смешанных моделях 340
Вилкоксона критерий; ~ двухвыборочный 176, 265, 267, 284, 285, 289; ~, относительная асимптотическая эффективность 268; ~ одновыборочный 271, 289; ~, доверительные интервалы 288
Вилкоксона статистика; ~, таблица рас пределения 176; ~, математическое ожидание и дисперсия 285; ~, симметрия 288 Время ожидания См. Пуассоновский процесс; Экспоненциальное распределение
Выборка 11; ~ расслоенная (stratifield sample) 205
Выборочное пространство 43; ~ для последовательного анализа 397
Выборочный контроль; ~ по качественному признаку 84, 247, 281; ~ по количественному признаку 109, 247; ~, степень строгости (stringency) 93; ~ при сравнении двух партий изделий 166, 250; ~, сравнение двух методов 281
Гарантированная мощность; ~ в последовательных критериях отношений вероятностей 118; ~, достижимая с помощью последовательных процедур 159, 161; ~ при минимальном объеме выборки 368
Гипергеометрическое распределение 84; ~, равномерно наиболее мощный (РИМ) односторонний критерий для проверки среднего 84; ~ в задаче сравнения двух биномиальных вероятностей 162; ~ и проверка независимости в 2 X 2 таблице 165 «Гнездовая» (nested,) классификация ^27, 358
Группа 391; ~ конечная 34, 376, 377; ~ свободная 34; ~ перестановок 231; ~ сдвигов 240, 380; ~ транзитивная 241; ~ ортогональная 241, 377, 392
Двойная классификация (two-way .classification); ~ с одним наблюдением в клетке 311; ^, доверительные интервалы 314; ~ с несколькими наблюдениями в клетке 314; ~, ^смешанная ^модель 330, 340. См. также Взаимодействия; «Гнездовая» классификация
Двумерное нормальное распределение 219; ~, доверительные границы 293; ~, критерий для него 282; ^, критерий независимости 220; ~, критерий отношения дисперсий 232; ~, критерий равенства средних 232; ~, распределение коэффициента корреляции 231, 232, 233; ~, совместное распределение вторых моментов 233. См. также Многомерное нормальное распределение
Двухстепенная (two-stage) процедура Стейна 226
Декартово произведение множеств 46
Дисперсионный анализ 307, 363; ~ при одинарной классификации 307; ~ при двойной классификации 313, 316; ~, рандомизация 318; ~, различные модели 323, ~ в модели II 330. См. также Линейная гипотеза одномерная
Доверительные множества 13, С4, 98, 195; ~, равномерно наиболее точные (most accurate} 93, 131, ~, связь с критериями 94, 95, 195; ~ пустые 97, 326; ~, связь с медианно несмещенными оценками 98, 195, 197; ~ равномерно наиболее точные, несмещенные 198; ~, не являющиеся интервалами 204; ~ равномерно наиболее точные, инвариантные 274, 292
Доверительный коэффициент (коэффициент доверия^ 93, 194
Доверительный уровень 93
Доминируемое (dominated) семейство распределений 60, 396
Допустимость (admissibility) 25; ~ несмещенных и инвариантных процедур 35; ~ РИМ несмещенных критериев 169, 258; ~ РИМ инвариантных критериев 258; ~ критериев t и Т2 260; ~ локальная 259: ~ критериев отношения правдоподобия 260, 284
Достаточная статистика 27, 59; ~, критерий факторизации 28, 35, 61; ~, определение в терминах апостериорного распределения 30; ~ минимальная 30, 35; ~, отношение правдоподобия 69; ~ попарная 69; ~, связь с вполне информирующей статистикой 128; ~ при наличии мешающих параметров 135; ~, независимость от нее 182; ~ и инвариантность 282; ~ ассимптотически 350
Достаточный эксперимент 91
Евклидово пространство 55
Естественное параметрическое пространство экспоненциального семейства 63
Зависимость (dependence); ~ положительная 92, 164, 220, 234, 261; ~ меры 164
Задача сравнения двух выборок (two-sample problem), непараметрическая; ~, критерий перестановок 204, 210; ~, доверительные интервалы для сдвига 229, 288; ~, ранговый критерий при односторонних и двусторонних альтернативах 260, 264, 269; ~, ранговый критерий при общих альтернативах 269, 288
Задача сравнения двух выборок, параметрическая. См. Биномиальное распределение; Нормальное распределение, Распределение Пуассона; Экспоненциальное распределение
Задача сравнения нескольких выборок (k-sample problem) См. Однородности критерий
<Иерархическая> (hierarchical) классифи- каиия 327, 358
Измеримое; ~ пространство 41; ~ множество 41; отображение 43
Инвариантная мера 253, 377, 378; ~ на ортогональной группе 377
Инвариантность; ^ решающих процедур 20, 32, 33, 34, 35, 38; ~, связь с несмещенностью 32, 255; ~ связь с принципом минимакса 33, 375, 376; ~ критерия 239; ~ меры 253, 377; ~ функций мощности 253; ~ доверительных множеств 273, 276, 291, 292, 293; ~, связь с достаточностью 282, 284; ~ отношения правдоподобия 283; ~,
предостережение против неоправданного употребления 310. См. также Почти инвариантность
Индикатор 45
Интегрируемая функция 44
Испытания на продолжительность жизни (life-testing) 70, 142. См. также Пуассоновский процесс; Экспоненциальное распределение
Каноническая форма; ~ для одномерной линейной гипотезы 298, 305; ~ для «гнездовой» классификации в модели II 327, 358; ~ для многомерной линейной гипотезы 333
Качественные признаки (attributes); ~, выборочный контроль по ним 84, 247; ~, попарные сравнения 244, 373
Кендалла t-статистика 291
Классификация спо подчиненности» См. «Гнездовая» классификация
Классы эквивалентности 391
Колмогорова критерий согласия 278
Комбинация критериев 170
Компакт 393
Компоненты дисперсии 330
Коши распределение 90, 373, 385
Коэффициент внутригрупповой корреляции (intraclass correlation coefficient) 358
Коэффициент корреляции; ~ в двумерном нормальном распределении 220, 234, 282, 293; ~ ранговый 291; ~ внутригрупповой корреляции 358; ^ множественный 361
Крамера—-Мизеса критерий 270, 278
Критерии с неймановской структурой 149, 152
Критерий 73; ~ рандомизированный 75, 96, ~ равномерно наиболее мощный (РИМ) 76; ~ типа А 141, 390; ~ типа А, 141; ~ несмещенный 143; ~ подобный 143, 149; ~ строго несмещенный 146; ~ типа В 178, 390; ~ типа Bi 178; ~ локально наиболее мощный (ЛНМ) 178, 385; ~ инвариантный 239; ~ почти инвариантный 251; ~ макси- минный 368; ~ локально максиминный 371; ~ наиболее строгий 382, 388, ~ типов D и Е 386
Критерий знаков (sign test) НО; ~ при проверке того, какой из товаров предпочитают 166; ~, трактовка «ничьих» 167; ~ при отыскании центра симметрии 168, 386; ~ при попарных сравнениях 245; ~ при проверке гипотезы симметрии 271; ~ при проверке гипотез о симметричном экспоненциальном распределении 387. См. также Биномиальные вероятности; Медиана; Выборочный контроль
Критерий отношения правдоподобия 24, 34, 38; ~, инвариантность 283; ~> пример, когда не является допустимым 284; ~, теория, основанная на больших выборках 349, 350, 351, 362
Критерий перестановок 204, 206, 231; ~ наиболее мощный, при непараметрических гипотезах 205, 221; ~, аппроксимация стандартными нормальными критериями 211, 222; ~ наиболее мощный, при рандомизации 214; ~, доверительные интервалы, основанные на нем 229; ~, наиболее строгий 389
Критерий суммы рангов 176 См. также Вилкоксона критерий .,
Критерий Т2; ~, допустимость 260; ^ как РНМ инвариантный критерий 338; максиминное свойство как открытый вопрос 382
Критерий х1 342, 345, 363, 364
Критическая область 73
Критическая функция 75
Критический уровень 75, 129, 169
Лапласа распределение см. Симметричное экспоненциальное, распределение
Латинский квадрат 317, 357
Лебега теорема сходимости 45
Линейная гипотеза многомерная 331; ~, каноническая форма 333; ~, редукция с учетом инвариантности 334, 358; ^, свойство критерия 338, 382; ~, обобщение 339; ~, критерий отношения правдоподобия 338; ~ с известной матрицей ковариаций 342. См. также Многомерное нормальное распределение; Критерий Г2
Линейная гипотеза одномерная 298, ~, каноническая форма 299; ~, оптимальные свойства критерия 302, 353, 380, 384, 386; ~, мощность критерия 385; ~, обобщение 304, 354; ~, доверительные множества, связанные с ней 314, 355; ~, критерий перестановок 318; ~ при известной дисперсии 355. См. также Дисперсионный анализ; Смешанная модель; Модель II; Одинарная классификация; Регрессия; Двойная классификация
Логарифмическое преобразование 308, 363 Логистическое распределение 265, 267, 287, 372
Локально оптимальные свойства критериев 178, 371, 385, 390
Максимальное правдоподобие 24, 34, 349, 362
Максимальный инвариант 240, ~, отыска- ' ние в несколько этапов 242
Максимальный критерий 368, ~ локальный 371, 385; ~, связь с инвариантностью 375; ~, существование 384
Максимум F-отношений 311
Маркова цепь 174
Масштабный параметр (scale parameter); ~, устранение с использованием инва-
Мриантности 279; ~, критерий 295, 373 атематическое ожидание 45; ~ условное 51, 53, 56
Медиана; ~, доверительные границы 134, 141; ^, критерий 178, 296
Мера зависимости Юла 164
Мера Лебега 41
Мера Хаара 253, 378
Меры зависимости 164, 291
Метод сходных пар (matched pairs') см.
Попарные сравнения
Метрическое пространство 393
Минимальная достаточная статистика 30, 35, 71
Минимальный полный класс решающих процедур 25
Многомерная линейная гипотеза см. Линейная гипотеза многомерная
Многомерное нормальное распределение 332; ~, проверка гипотез о векторе средних значений 338; ~, проверка равенства векторов средних значений в двух 338; ~ как предел полиномиальных распределений 344; ~, проверка гипотезы о независимости двух групп компонент 361. См. также Двумерное нормальное распределение
Многомерный анализ 363. См также Линейная гипотеза многомерная; Множественный коэффициент корреляции
Множественный коэффициент корреляции 361; ~, распределение 361; ~, оптимальный критерий 361, 365, 389
Модель I в дисперсионном анализе 306, 323 Модель II в дисперсионном анализе 323, 327, 358
Монотонное отношение правдоподобия 82; ~ в случае гипергеометрического распределения 84; ~, следствие 88, ~, условия его существования 129; ~ в случае нецентрального /-распределения 249; ~ в случае распределения коэффициента корреляции 282, ~ нецентральных %2 и F-распределений 352; ~, критерии, основанные на выборках из распределений 371; ~ в случае семейства распределений с параметром сдвига 372
Монотонный класс множеств 66
Мощность критерия 74
Наиболее строгий (stringent) критерий 267, 382, 388
Наименее благоприятное (favorable) распределение 26, 107, 369
Наименьших квадратов метод 303
Независимость 46; ~, критерий в таблице сопряженности признаков 91, 162, 362; ~ статистики от полной достаточной статистики 182; ~, критерий в двумерном нормальном распределении 218, 282; ~, непараметрическая гипотеза 221, 261, 263; ~, непараметрический критерий 291
Неопределенные множители 103
Непараметрические критерии; ~, обзор 294; ~, библиография 296. См. также Критерий перестановок; Ранговый критерий, Критерий знаков
Несмещенность; ~ решающих процедур 20; ~ критериев 20, 143; ~ доверительных множеств 20, 197; ~ точечных оценок 21, 31, 158; ~ медианная 32, 98; ~, связь с инвариантностью 32, 255; ~, связь с принципом минимакса 33, 371; ~, связь с понятием подобия 144; ~ строгая (strict) 146
Нецентральное; ~ /-распределение 187, 223, 249, 281; ~ F-распределение 302, 331, 343, 352; ~ х2-распределение 343, 352, 356; ~ бета-распределение 302, 352
<Ничъи> в критерии знаков 166 Нормальная подгруппа 279
Нормальное распределение 11; ~, достаточные статистики 29
Нормальное распределение, две выборки; ~, проверка равенства средних при равных дисперсиях 135, 191, 210, 236, 250, 305; ~, проверка равенства дисперсий 135, 189, 194, 224, 254, 280, ~, проверка равенства средних при неравных дисперсиях 191, 257; ~, доверительные интервалы для разности средних значений 198; ~, доверительные интервалы для отношения дисперсий 199, 292; ~, критерий перестановок для разности средних значений 210, 218, 389; ~, сравнение полной рандомизации с методом сходных пар 230. См. также Берэнса —Фишера проблема; Однородности критерий; Стьюдента /-распределение
Нормальное распределение, дисперсия; ~, оптимальный критерий 111, 148, 185, 188, 244, 374, 387; ~, доверительные интервалы 198, 292; ~, последовательный критерий 224
Нормальное распределение, среднее; ~, отсутствие РНМ критерия 114; ~, Крите
рий, основанный на выборке случайного объема 137, ~, оптимальный критерий 186, 224, 248, 256, 282, 305; ~, устойчивость критериев 188; ~, доверительные интервалы 195, 275; ~, медианно несмещенная оценка 197; ~, отсутствие критерия с контролируемой мощностью 222; ~, доверительные интервалы фиксированной длины 227; ~, критерии с контролируемой мощностью 228; ~, критерий и доверительные границы для отношения к стандарту 248, 250, 257, 281, 292; последовательный критерий 281. См. также Попарные сравнения, Критерий перестановок; Стьюдента ^-распределение; Симметрия
Обратный выбор; ~ для биномиальных испытаний 85; ^ для распределений Пуассона 85
Огибающая (envelope) функция мощности 283, 382
Ограниченная полнота (bounded, completeness) 152; ~ и отсутствие полноты 171. См. также Полнота
Одинарная классификация 306; ~ в модели II 323
Однородности критерий; ~ для распределений Пуассона 178, 309; ~ для нормальных распределений 336, 309; ~ для биномиальных распределений 309
Отношения эквивалентности 391
Отрицательно-биномиальное распределение 31, 85
Оценка медианно-несмещенная 32;~,
связь с доверительными границами 98, 195; ~, примеры 197, 199
Оценки см. Доверительные множества, Максимальное правдоподобие; Оценка медианно-несмещенная, Несмещенность
Ошибки первого и второго рода 74
Параметр сдвига (location parameter); устранение с использованием инвариантности 243, 279; ~, критерий 295, 372
Планирование экспериментов 15, 165, 318, 389. См. также Сравнение экспериментов
Плотность вероятности 46; ~, теорема сходимости 395
Подобный критерий 143, 149; свйзь с несмещенностью 144; ~, характеристика 152
Пойа распределение 88, 132, 140
Показательное распределение см. Экспоненциальное распределение
Полиномиальное распределение 62; ~ как условное распределение 70; ~ в задаче оценки вкусов потребителя 166;~
и %2-критерий 343; ~, предельное распределение 344; ~, оценки максимального правдоподобия для параметров 362
Полнота (completeness), ~ семейства распределений 149;~ биномиальных
распределений 150; равномерных распределений 150, 171, ~ экспоненциальных семейств 150; ~ порядковых статистик 152, 172; ~, связь с ограниченной полнотой 152, 171
Полный класс; ~ решающих процедур 25, ~, связь с достаточностью 70; ~ односторонних критериев 86; ~ двусторонних критериев 171
Положительная связь см. Зависимость
Попарная достаточность 69
Попарные сравнения (paired comparisons); ~, теория для нормально распределенных
величин и критерии перестановок 213, 230; ~, обобщение 215; ~, сравнение с методом полной рандомизации 230; ~ по качественному признаку 244, 373; ~, ранговые критерии 261, 270
Пополнение (completion) меры 41
Порядковые статистики 52; ~, эквивалентность суммам степеней 52; ~ как достаточная статистика 69, ~, полнота 152, 172; ~ в критериях перестановок 205; ~ как максимальный инвариант 241; ~, математические ожидания 265, ~, распределение 286
Последовательные процедуры; ~, их преимущества 15; ~ с гарантированной мощностью 159; ~ для сравнения двух распределений Пуассона 161. См. также Обратный выбор; Двухстепенная процедура Стейна
Последовательный критерий отношений вероятностей 114, 117; ~, функция мощности 118, 120, 136; ~, объем выборки 119, 135; ~, оптимальные свойства 122; ~ для сравнения двух биномиальных распределений 174; ~ для сравнения двух дисперсий 224
Последовательный t-критерий 281
Почти всюду 46, 149
Почти инвариантность; ~ решающих процедур 32; ~ критериев 251; ~, связь с инвариантностью 251, 283; ~, связь с инвариантностью функции мощности 254; ~, соотношение между почти инвариантностью и несмещенностью 255; ~ отношения правдоподобия 284; ~ множеств 284; ~ связь с максиминными критериями 375
Правдоподобия функция 23
Преобразование; ~ интегралов 49, вероятностное интегральное 267; ~, стабилизирующее дисперсию 308; ~ логарифмическое 308, ~ арксинуса 356; ~ квадратного корня 356
Преобразование с помощью функции распределения (probability integral transformation) (переводящее произвольную случайную величину в равномерно распределенную) 267
Приемочный контроль см. Выборочный контроль
Принцип минимакса 21, 26; ~, связь с несмещенностью 33,371; ~, связь с инвариантностью 33, 375; ~ при проверке гипотез 369. См. также Максиминный критерий
Проблема с тремя решениями 160
Произведение мер 46
Простая гипотеза 77
Простая функция 44
Пространство решений
Процедура отбора 131, 139
Процедуры со многими решениями (multiple decision procedures) 12; ~ для расположения по величине средних значений или дисперсий нормальных совокупностей 310, 311. См. также Проблема с тремя решениями
Прямое произведение множеств 46 j Прямоугольное распределение см. Равномерное распределение
Пуассона распределение И; ~, достаточные статистики 23; ~ как распределение суммы пуассоновских величин 70; односторонний критерий для среднего значения 85, 129, ~, гипотезы о сумм параметров 134; ~, сравнение нескольки* выборок 178, 309; ~, доверительные интер
валы для отношения средних значений двух распределений 201; ~, преобразование квадратного корня 356
Пуассоновский процесс 11; ~, распределение времени ожидания 31, ~, критерий для масштабного параметра 86, 129, ~, сравнение экспериментов 92, 129; ~, доверительные границы для масштабного параметра 96; ~, сравнение двух процессов 163. См. также Экспоненциальное распределение
Равномерно наиболее мощный (РИМ) См. Критерий
Равномерное распределение 31; ~, оценка среднего значения 16; ^ . достаточные статистики 29, 35, 171; ~, критерий для масштабного параметра 128; ~, полнота 150, 171; ~ критического уровня 169; ~, порядковые статистики 286; ~, проверка равномерности распределения 345, 347
Радона—Никодима производная 46,~,
свойства 67
Радона — Никодима теорема 46
Размер критерия 74
Ранги 241; ~ как максимальный инвариант 241, 262; ~, распределение 264, 285, 286, 287, 289, 290
Ранговый коэффициент корреляции 291
Ранговый критерий 260, 262; ~ в задаче сравнения двух выборок 264, 284, 288; ~ для гипотезы симметрии 270, 290; ~ для гипотезы случайности 290, 291; ~ для гипотезы независимости 291
Рандомизация 14; ~ с целью понизить максимум риска 33; ~, возможность отказа 128; ~ как основа для статистических выводов 211; ~, связь с критерием перестановок 212
Рандомизированные; ~ решающие процедуры 14; ~ инвариантные процедуры 34; ~ критерии 75, 96; ~ доверительные множества 97
Распределение См. распределения: Бета, Биномиальное,Гипергеометрическое,
Двумерное нормальное, Коши, Многомерное нормальное, Нормальное, Отрицательно-биномиальное, Пойа, Полиномиальное, Пуассона, Равномерное, Симметричное экспоненциальное, Стьюдента, ^-распределение, х2-распределение, Экспоненциальное
Распределение вероятностей случайной величины 42
Раслоенная выборка (stratified sample) 205 Регрессия; ~, критерий для коэффициентов 202, 299, 318, 357; ~, доверительные интервалы 203, 320; ~, доверительные множества для абсциссы линии 203; ~ полиномиальная 320, 357, ~, сравнение линий 320, 357; ~ в анализе ковариаций 322; ~ в многомерном распределении 360
Решающее правило 9
Сдвиг (shift); ~, доверительные интервалы, основанные на критериях перестановок 229; ~, ~, основанные на ранговых критериях 288 (~, критерии см. Задача сравнения двух выборок, непараметрическая) Семейство распределений с параметром сдвига; ^ является стохастически возрастающим 88, ~, условие для того, чтобы оно имело монотонное отношение правдоподобия 372
епарабелъное пространство 393
Серии (runs); ~ для проверки гипотезы независимости в цепи Маркова 175; ~, распределение 175 о-конечная мера 41 о-поле 41; ~ со счетным числом образующих 397
Симметричное экспоненциальное распределение (double exponential) 372, 387
Симметрия; ~, связь с инвариантностью 18, 237; ~, достаточные статистики для распределений, обладающих симметрией 68; ~, гипотеза симметричности относительно начала координат 168, 229, 262, 270, 290, 386
Сложная гипотеза 77
Случайная величина 42; ~, связь со статистикой 43, 44
Случайность; ~, гипотеза 261; ~, критерий 290, 291
Смешанная модель (mixed model) 323; ~ для «гнездовой» классификации 330; ~ с двумя факторами 331, 340
Смирнова критерий в задаче сравнения двух выборок 269, 278
Согласия критерий 277. См. также х2'Кри- терий
Состоятельные последовательности кри* териев 344
Сравнение экспериментов 90, 130; ~ для проверки независимости в 2 X 2 таблицах 91, 162; ~ по выборочному контролю 93, 281; ~ по оценке параметра пуассоновского процесса 129; ~ по проверке вкуса потребителей 167; ~ по анализу регрессии 203; ~ по сопоставлению двух способов обработки 230. См. также Планирование экспериментов; Выборки объем
Средняя мощность наилучшая 353
Статистика 43, ~, подполе, индуцированное ею 47; ~, эквивалентные представления 49; ~, вполне информирующая (fully informative) 128
Стационарность 174
Стохастический процесс 139. См. также Пуассоновский процесс
Стохастическое возрастание 87, 261
Строго (strictly) несмещенный критерий 146
Стьюдента t-критерий; ~ как критерий отношения правдоподобий 34; ~ как РИМ критерий 114; ~ как РИМ несмещенный критерий 186, 192; ~, устойчивость 188, 194; ~, связь с критерием перестановок 211; ~, мощность 222, 223; ~ как РИМ инвариантный критерий 250; ~, допустимость 260; ~, эффективность по сравнению с ранговыми критериями 268. См. также Последовательный /-критерий
Стьюдента t-распределение 186; ~ нецентральное 187, 223, 249, 281; ~ в задаче сравнения двух выборок 193; ~ в регрессионном анализе 202; ~ в методе попарных сравнений 214, 230; ~ в процедуре Стейна 227; ~ как условное распределение функции от коэффициента корреляции 231; ~ в линейной гипотезе с одним ограничением 302. См. также Нормальное распределение, среднее значение; Нормальное распределение, две выборки
Стьюдентов размах (studentized range) 310 Сходимость; ~ в среднем 392; ~ слабая 393;
~ поточечная (pointwise) 393
Счетная аддитивность 40
Считающая (counting) мера 42
Таблица сопряженности признаков 91, 131, 162, 362
Теорема о слабой компактности 398
Теорема факторизации для достаточных статистик 28, 35, 61
Теорема о сходимости; ~ ограниченной 45; ~ монотонной 45; ~ Крамера 188; ~ плотностей 395
Транзитивная группа преобразований 241
Р-распределение 338
Тренд; ~, критерий отсутствия 290, 291
Упорядочение решающих процедур по предпочтению 17, 21
Уровень значимости 74
Условная вероятность 53
Условная мощность; ~, интерпретация 158
Условное математическое ожидание 51; ~, свойства 53
Условное распределение 54
Условный критерий 155, 177
Устойчивость критериев 188, 194
Фишера —Ирвина критерий независимости в 2 X 2 таблицах 165
Фишера — Иэйтса критерий 265, 267, 268
Г-распределение 190, ~ при построении доверительных интервалов и критериев для отношения дисперсий 190, 199; ~, связь с бета-распределением 191; ~ при проверке линейных гипотез 302; ~ нецентральное 302, 331, 343, 352; ~ в модели II дисперсионного анализа 326, 329; ~, связь с ^-распределением 338; ~, связь с распределением множественного коэффициента корреляции 361
Фубини теорема 47
Фундаментальная лемма Неймана — Пирсона 77; ~ обобщенная 99, 141
Функция мощности 74; ~ одностороннего критерия 82, 131; ~ двустороннего критерия 105; ~ последовательного критерия отношений вероятностей 118, ~, оценка 158, ~ инвариантного критерия 254
Функция потерь 9; ~, ее выбор 13; ~ для одностороннего критерия 86, 246; ~ для доверительных границ 93, 131; ~ для доверительных интервалов 98, 203, ~ для
медианно-несмещенных оценок 99; ~ для двусторонних критериев 171
Функция распределения 42; ~ эмпирическая 269; ~ доверительные границы 276
Функция риска 10
Ханта —Стейна теорема 378, 388
Хотеллинга Т2-критернй См. ^-распределение; Г2-критерий
^-распределение 62; ~, проверка гипотез о масштабном параметре 148, 170; ~ при проверке однородности 309; ~ в линейной гипотезе с известной матрицей ковариаций 342, ~ нецентральное 343, 352, 356; ~ в многомерном анализе 360. См. также Испытания на продолжительность жизни; Нормальное распределение, дисперсия. Пуассоновский процесс; Экспоненциальное распределение
Эквивалентность; ~ распределений 60; ~ семейств мер 397; ~ статистик 49
Экспоненциальное распределение 31; ~, связь с пуассоновским процессом 31, 85, 161; ~, достаточные статистики 35; ~, порядковые, статистики выборки 70; ~, доверительные границы и критерии для параметра сдвига и масштабного параметра 96, 128, 225, 228; ~, задача сравнения двух выборок 280, 297. См. также Испытания на продолжительность жизни
Экспоненциальное семейство распределений 62; ~, естественное параметрическое пространство 63, 71; ^, аналитичность некоторых интегралов 65; ~, моменты достаточных статистик 71; ~, критерии в однопарометрическом семействе 84; ~, полнота 150; ~, критерии в многопараметрическом семействе 153, 170; ~, эквивалентная запись 158; ~, допустимость критериев 260
Эмпирическая (выборочная) функция распределения 269, 277
Эффективность; ~ относительная асимптотическая 268
*) Способы построения минимальных достаточных статистик (некоторые авторы называют их необходимыми и достаточными статистиками) даны в работах: Lehman and S с h е f f ё, Completeness, similar regions and unbiased estimation, Sankhya, 10 (1950), 305—340 и Bahadur, Sufficiency and statistical decision functions, Ann. Math. Stat. 25 (1954), 423—462. См. также
*) Альтернативный вывод формулы для р(р) в этом случае см., например, в разделе 2 главы 14 книги: Feller, An Introduction to Probability Theory and Its Applications 1, New York, John Wiley & Sons, 2nd ed., 1957. (Русский перевод: Феллер В., Введение в теорию вероятностей и ее приложения, том 1, М., Мир, 1967.)
*) Таблицы С даны в Biometrika Tables (цит. книга), Table 31.
**) Lehmann, A theory of some multiple decision problems, Ann. Math. Stat. 28 (1957), 1—25, 547—572.
Э. ЛЕМАН
ПРОВЕРКА
СТАТИСТИЧЕСКИХ
ГИПОТЕЗ
Перевод с английского
Ю. В. ПРОХОРОВА
Издание второе, исправленное
МОСКВА «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ m ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
1979
22.172 Л 44 УДК 519
Л е м а и Э. Проверка статистических гипотез. — М.: Наука. Главная редакция физико-математической литературы, 1979, 408 с.
Один из основных разделов математической статистики — теория проверки статистических гипотез — исчерпывающим образом изложен в книге Э. Лемана, известного американского специалиста.
Статистические критерии приводятся вместе с указанием как тех областей, где их применение вполне оправдано, так и тех областей, где применение требует осторожности. Большое внимание уделено построению критериев, в том или ином смысле наилучших. Ценность книги увеличивается большим количеством примеров из разнообразных областей (техники, биологии, медицины и др.), удачно подобранными задачами и обширным списком аннотированной литературы.
Книга может быть полезна физикам, инженерам и другим специалистам, интересующимся сознательным и критическим применением мощного аппарата математической статистики.
Э. Леман
ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ
М., 1979 г., 408 стр. с илл.
Редактор А. В. Прохоров
Техн, редактор Л. В. Лихачева. Корректор А. Л. Ипатова
ИБ № 11460
Сдано в набор 16.01.79. Подписано к печати 08.06.79. Бумага 60X90*/ie, тип. № 1. Литературная гарнитура. Высокая печать. У слови, печ. л. 25,5. Уч.-изд л. 28,58. Тираж 11 000 экз. Заказ № 25. Цена книги 2 р. 30 к.
Издательство «Наука»
Главная редакция физико-математической литературы
117071, Москва, В-71, Ленинский проспект, 15
Ордена Трудового Красного Знамени Ленинградская типография № 2 имени Евгении Соколовой «Союзполиграфпрома» при Государственном комитете СССР по делам издательств, полиграфии и книжной торговли, 198052, Ленинград, Л 52, Измайловский проспект, 29
Перевод на русский язык, Главная редакция физико-математической литературы издательства «Наука», 1979Перевод на русский язык, Главная редакция физико-математической литературы издательства «Наука», 1979©
Перевод на русский язык, Главная редакция физико-математической литературы издательства «Наука», 1979
Перевод на русский язык, Главная редакция физико-математической литературы издательства «Наука», 1979
^SSPm 1702060000
UUUу * / У
ОГЛАВЛЕНИЕ
Предисловие 6
Глава 1. Общая проблема решения . . . , .9
Статистические выводы и статистические решения 9
Точная постановка проблемы решенияЮ
Рандомизация. Выбор эксперимента14
Оптимальные процедуры16
Инвариантность и несмещенность18
Байесовские и минимаксные процедуры21
Метод максимума правдоподобия23
Полные классы25
Достаточные статистики26
Задачи 31
Литературные ссылки36
Глава 2. Вероятностные основы.40
Вероятность и мера40
Интегрирование 44
Статистики и подполя47
Условное математическое ожиданиеиусловная вероятность . . . 49
Условные распределения вероятностей54
Характеристика достаточности59
Экспоненциальные семейства62
Задачи66
Литературные ссылки71
Глава 3. Равномерно наиболее мощные критерии . •73
Постановка проблемы73
Фундаментальная лемма Неймана — Пирсона77
Распределения с монотонным отношением правдоподобия . . . 82
Сравнение экспериментов90
Доверительные границы93
Обобщение фундаментальнойлеммы99
Двусторонние гипотезы104
Наименее благоприятные распределения107
Проверка гипотез о среднем и дисперсии в нормальной совокупности 111
Последовательный критерийотношений вероятностей114
Мощность и средний размер выборки для последовательного критерия отношений вероятностей118
Оптимальное свойство последовательных критериев отношений вероятностей 122
Задачи 128
Литературные ссылки138
Глава 4. Несмещенность: теория и первые применения . 143
Несмещенность при проверке гипотез143
Однопараметрические экспоненциальныесемейства144
Подобие и полнота148
РНМ несмещенные критерии для экспоненциальных семейств со многими параметрами153
Сравнение двух пуассоновских или биномиальных совокупностей . 159
Проверка независимости в 2 X2таблицах162
Критерий знаков166
Задачи169
Литературные ссылки177
Глава 5. Несмещенность: применения к нормальным распределениям; доверительные интервалы180
Статистики, не зависящие отдостаточной статистики180
Проверка гипотез о параметрах нормального распределения .183
Сравнение средних и дисперсий двух нормальных распределений 18,9
Доверительные интервалы и семейства критериев194
Несмещенные доверительные множества197
Регрессия 202
Критерии, основанные на перестановках204
Наиболее мощные критерии перестановок206
Рандомизация как основа статистических выводов211
Критерии перестановок и рандомизация214
Проверка независимости в двумерном нормальном распределении 219
Задачи 222
Литературные ссылки235
Глава 6. Инвариантность• 237
Симметрия и инвариантность237
Максимальные инварианты240
Наиболее мощные инвариантные критерии243
Выборочный контроль по количественному признаку247
Почти инвариантность251
Несмещенность и инвариантность255
Ранговые критерии260
Задача сравнения двух выборок264
Гипотеза симметрии270
Инвариантные доверительные множества273
Доверительные границы для функций распределения276
Задачи 278
Литературные ссылки293
Глава 7. Линейные гипотезы . 298
Каноническая форма 298
Линейные гипотезы и метод наименьших квадратов303
Критерии однородности306
Двойная классификация: одно наблюдение в клетке311
Двойная классификация: т наблюдений в клетке314
Регрессия 318
Модель II: одинарная классификация323
Классификации по подчиненности («гнездовые» классификации) . 327
Многомерная линейная гипотеза331
Редукция с учетом инвариантности334
Применения 338
%2-критерий: простая гипотеза и неограниченные альтернативы . . 342
%2-критерии и критерии отношенияправдоподобия345
Задачи 351
Литературныессылки363
Глава 8. Принцип минимакса . . . . 367
Критерии с гарантированноймощностью367
Примеры 371
Максиминные критерии иинвариантность375
Теорема Ханта — Стейна378
Наиболее строгие критерии ... 382
Задачи384
Литературные ссылки .389
Дополнение ,. 391
Отношения эквивалентности; группы391
Сходимость распределений392
Доминированные семейства распределений396
Теорема о слабой компактности3-98
Именной указатель401
Предметный указатель403
ПРЕДИСЛОВИЕ
Математическая теория проверки гипотез, в которой критерии появляются как решения точно поставленных оптимальных проблем, была создана Ю. Нейманом и Э. Пирсоном в 30-х годах и с тех пор получила значительное развитие. Цель настоящей книги состоит в том, чтобы дать систематическое изложение этой теории и тесно связанной с ней теории доверительных множеств вместе с их главными приложениями. В число последних входят стандартные задачи (как для одной, так и для двух выборок), касающиеся нормального, биномиального и пуассоновского распределений; некоторые аспекты дисперсионного анализа и анализа регрессии (линейные гипотезы); некоторые многомерные проблемы и последовательный анализ. Книга знакомит также с непараметрическими критериями, хотя здесь теоретический подход не развит полностью. Большая область методологии, а именно класс методов, основанных на рассмотрении больших выборок, в частности критерий %2 и критерий отношения правдоподобия, по существу, не нашла отражения. Подход к ним и применяемый математический аппарат столь отличны от используемого в этой книге, что адекватное изложение потребовало бы отдельного тома. Краткие указания на теорию этих критериев содержатся в конце главы 7.
В настоящее время теория проверки гипотез подвергается важным изменениям по меньшей мере в двух направлениях. Одно из них возникло на почве осознания того факта, что стандартная формулировка чрезмерно упрощает задачу. Как следствие, теория была пересмотрена с точки зрения статистических решающих функций, введенных Вальдом. Хотя эти исследования и проливают новый свет на классическую теорию, они в целом подтверждают ее открытия. Я сохранил формулировку Неймана — Пирсона в основной части книги, но включил обсуждение понятий общей теории решений в главу 1 с тем, чтобы дать более широкую основу для оправдания некоторых результатов, Эти понятия служат также базисом для развития теорий проверки гипотез и доверительных интервалов.
Значительно более важным является тот факт, что многие из рассматриваемых задач, которые обычно формулируют в терминах проверки гипотез, в действительности оказываются множественными проблемами решения. В этих последних отклонение основной гипотезы приводит к необходимости выбора* одного из нескольких решений. Развитие подходящих процедур в этих, задачах представляет собой в настоящее время одну из важнейших проблем статистики. Однако поскольку значительная часть работ в этом направлении имеет пробный характер, я предпочел указывать традиционные критерии даже в тех случаях, где большинство применений создает впечатление необходимости более тонких процедур; в этих случаях я ограничивался лишь предостережением о том, что подход справедлив в таких-то пределах. Действительно, кажется правдоподобным, что упомянутые критерии, по причине своей простоты, останутся полезными и тогда, когда будет закончена более полная теория множественных решений.
Естественную математическую основу систематического изложения способов проверки гипотез образует теория меры в абстрактных пространствах. Поскольку вводные курсы по теории действительного переменного или теории меры часто ограничиваются одной лишь мерой Лебега, в разделах 1 и 2 главы 2 приведены краткие формулировки, относящиеся к общей теории. В самом деле, большая часть книги может быть прочитана без знания теории меры, если символ ^ p(x)dp(x) интерпретировать или как $p(x)dx, или как Sp(x) и если не обращать внимания на теоретико-множественную природу некоторых доказательств. Формально знание статистики не предполагается — все необходимые понятия вводятся с самого начала. С другой стороны, так как читатель обычно уже имеет некоторый опыт обращения со статистическими методами, то применения каждого метода описываются в общих терминах — конкретные примеры с числовыми данными не приводятся. Их можно найти в большинстве стандартных учебников.
В конце каждой главы помещены задачи, многие из которых сопровождаются указаниями на путь решения. Здесь встречаются упражнения, и дополнительные примеры, и задачи, вводящие в новые темы. В конце каждой главы имеется также аннотированный список литературы, послужившей источником как идей, так и отдельных результатов. Примечания не ставят целью привести основные результаты цитированных статей, а лишь указывают значение каждой из них для соответствующей главы. Составляя эти списки, я не стремился к полноте, а пытался дать полезный «путеводитель» по литературе.
Набросок этой книги появился в 1949 году в форме записок лекций, составленных Колином Блитом (Colin Blyth) в летнем семестре в Калифорнийском университете. С тех пор я излагал те или иные части материала в Колумбийском, Принстонском и Стэнфордском университетах, и несколько раз — в Калифорнийском университете. Мне очень помогли замечания студентов, и я сожалею, что не могу поблагодарить их каждого в отдельности. На различных этапах работы я получил много полезных предложений от В. Готски (W. Gautschi), А. Хейланда (A. Hoyland), Л. Д. Сэвиджа (L. J. Savage) и особенно от К. Стрибел (С. Striebel); критическое чтение ею предпоследнего варианта рукописи привело ко многим усовершенствованиям. Также я хотел бы отметить с благодарностью ту пользу, которую мне принесли многие продолжительные беседы с Чарлзом Стейном (Charles Stein).
Приятно отметить поддержку этой работы Бюро Морских исследований; без нее, вероятно, книга не была бы написана. Наконец, я хотел бы поблагодарить Дж. Рубалкава (J. Rubalcava), которая печатала и перепечатывала различные черновые варианты рукописи с неослабевающим терпением, точностью и скоростью.
Беркли, Калифорния,июнь 1959Беркли, Калифорния,июнь 1959Э. Л, Леман
Беркли, Калифорния,июнь 1959
Беркли, Калифорния,июнь 1959