Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
STATISTICAL ANALYSIS WITH MISSING DATA
RODERICK J. A.LITTLE
University of California at Los Angeles
DONALD B.RUBIN
Harvard University
РДж.АЛиттл ДБ. Рубин
СТАТИСТИЧЕСКИЙ
АНАЛИЗ ДАННЫХ С ПРОПУСКАМИ
Перевод с английского А.М. НИКИФОРОВА
Москва/’Финансы и статистика’/ 1991Москва/’Финансы и статистика’/ 1991
Москва/’Финансы и статистика’/ 1991
Москва/’Финансы и статистика’/ 1991
JOHN WILEY & SONS
New York- Chichester • Brisbane • Toronto • Singapore
ББК 16.2.9 Л 64
МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ
МЕТОДЫ ЗА РУБЕЖОМ
Серия основана в 1977 году
ВЫШЛИ ИЗ ПЕЧАТИ
Ли Ц., Дж ад ж Д., Зельнер А. Оценивание параметров марковских моделей по агрегированным временным рядам.
Райфа Г ., ШлейферР. Прикладная теория статистических решений.
К л с й н е н Дж. Статистические методы в имитационном моделировании. Вып. 1 и 2.
Б а р д Й. Нелинейное оценивание параметров.
Б о л ч Б. У., X у а н ь К. Д. Многомерные статистические методы для экономики.
И б е р л а К. Факторный анализ.
Зельнер А. Байесовские методы в эконометрии.
X е й с Д. Причинный анализ в статистических исследованиях.
П у а р ь е Д. Эконометрия структурных измерений.
Д р а й м з Ф. Распределенные лаги.
Мостеллер Ф., Т ь ю к и Дж. Анализ данных и регрессия. Вып. 1 и 2.
Бикел П., Доксам К. Математическая статистика. Вып. 1 и 2.
Л и м е р Э. Статистический анализ неэкспериментальных данных.
Песаран М„ Слейтер Л. Динамическая регрессия: теория и алгоритмы.
Д и д э Э. и др. Методы анализа данных.
Бартоломью Д. Стохастические модели социальных процессов.
Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Кн. 1 и 2.
Хеттманспергер Т. Статистические выводы, основанные на рангах.
Дэйвисон М. Многомерное шкалирование. Методы наглядного представления данных.
Ж а м б ю М. Иерархический кластер-анализ и соответствия.
К о к с Д. Р., Оукс Д. Анализ данных типа времени жизни.
Мэйндоналд Дж. Вычислительные алгоритмы в прикладной статистике.
ГОТОВИТСЯ к ПЕЧАТИ
Миллер Р . Дисперсионный анализ и последующие методы. Основы прикладной статистики.
Редколлегия: А. Г. Аганбегян, Ю. П.
Адлер, С. А. Айвазян, Ю.Н. Благовещенский, Б. В. Гнеденко, Э. Б. Ершов, Е. М. Четыркин
0702000000 — 126
л 010 (01) — 91
110 — 90
с 1987 by John Wiley & Sons, Inc.
ISBN 0-471-80254-9 (США)ISBN 5-279-00443-X (СССР)ISBN 0-471-80254-9 (США)ISBN 5-279-00443-X (СССР)
ISBN 0-471-80254-9 (США)
ISBN 5-279-00443-X (СССР)
ISBN 0-471-80254-9 (США)
ISBN 5-279-00443-X (СССР)
£A. M. Никифоров, перевод, предисловие, дополнение, 1991
. ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ
С проблемой обработки пропусков в данных приходится сталкиваться в самых разнообразных приложениях статистического анализа. Многие исследователи стремятся как можно быстрее избавиться от пропусков с тем, чтобы впоследствии провести обработку «полных» данных стандартными средствами, мало задумываясь над тем, что такой подход может приводить к сильному различию статистических выводов, сделанных при наличии в данных пропусков и при их отсутствии. Самыми распространенными приемами анализа данных с пропусками являются исключение некомплектных наблюдений (т. е. содержащих пропуски хотя бы одной из переменных) и традиционные методы заполнения пропусков — средневыборочными по присутствующим значениям, с помощью регрессии или главных компонент. Эти методы в общем случае имеют малую эффективность, ведут, как правило, к смещенности и несостоятельности, к нарушению уровней значимости критериев и другим искажениям статистических выводов, не обладают устойчивостью к распределению пропусков. Эти свойства можно отнести и к так называемым парным методам вычисления ковариационной матрицы и вектора средних.
Достаточно низкий уровень культуры обработки пропусков находит свое отражение в современном состоянии статистического программного обеспечения. Подавляющее большинство отечественных и зарубежных статистических программных средств, в которых предусмотрена возможность наличия пропусков в данных, содержит лишь перечисленные выше простые методы или их модификации.
Вниманию читателя предлагается первая работа по статистическому анализу данных с пропусками, выходящая на русском языке. Несмотря на несомненную актуальность, в нашей стране этой проблеме уделялось очень мало внимания, в то время как за рубежом она изучалась активно и с нарастающим интересом на протяжении последних 30 лет.
Книга известных американских специалистов Р. Дж. А. Литтла и Д. Б. Рубина «Статистический анализ данных с пропусками» подытоживает эти многолетние исследования по многим направлениям. Она знакомит с историей зарубежных исследований по проблеме
пропусков, позволяет понять, почему применяемые средства обработки неполных данных приводят, как правило, к искаженным статистическим выводам, помогает освоить современные методы, не обладающие этими недостатками. В книге содержится систематическое описание ЕМ-алгоритма — одного из самых популярных за рубежом в настоящее время вычислительных статистических методов. Авторы рассматривают и SWEEP-оператор для матричных операций, характерных для многомерного статистического анализа.
Основной предмет статистического исследования в книге Р. Дж. А. Литтла и Д. Б. Рубина — выборка многомерных наблюдений с пропусками. Удобно представлять r-мерное наблюдение с пропусками в виде пары (Х,М), где X — исходный r-мерный вектор значений переменных, а М — r-мерный вектор пропусков, координаты которого имеют значения «пропуск» либо «нет пропуска», отвечая присутствию или отсутствию соответствующей переменной. Случайный вектор (Х,М) имеет распределение Р*" Проблема заключается в построении по данным с пропусками статистических выводов относительно распределения Р вектора X.
В книге охвачен широкий круг вопросов, касающихся распределения Р, в том числе оценивания средних и ковариационной матрицы многомерного нормального распределения, дисперсионного, регрессионного и факторного анализа, анализа таблиц сопряженности и логлинейной модели, временных рядов, устойчивого оценивания, анализа данных при неслучайных пропусках и т. п. Несколько обособленно излагается теория выборочных обследований при наличии пропусков.
Подход, систематически используемый авторами, состоит в построении модели совместного распределения значений вектора X и пропусков (т. е. распределения Р,м) и развитии алгоритмов оценивания параметров распределения Р на основе метода максимального правдоподобия. Наибольшее внимание уделено поиску методов анализа в таких условиях, когда требуются минимальные априорные сведения о распределении пропусков, т. е. когда распределение пропусков можно игнорировать. Для параметрических постановок, характерных для книги Р. Дж. А. Литтла и Д. Б. Рубина, таким условием является независимость пропусков от значения переменных, отсутствующих в наблюдении (условие ОС, см. гл. 5). В задаче оценивания условию ОС соответствует обобщение метода максимального правдоподобия на случай данных с игнорируемыми пропусками (в дополнении к переводу это обобщение называется методом максимального маргинального правдоподобия).
К настоящему времени достаточно хорошо разработаны методы анализа данных с пропусками только для параметрических моделей, причем лишь для задачи оценивания неизвестных параметров. Это отразилось в содержании книги: по сути, основная часть ее посвя- 6
шена построению ЕМ-алгоритма для вычисления оценок максимального маргинального правдоподобия в различных моделях. В дополнении к переводу сделана попытка частично восполнить эти пробелы. В частности, предлагаются непараметрические критерии для проверки гипотез однородности двух и нескольких выборок и независимости случайных величин при наличии пропусков; рассмотрена также задача дискриминантного анализа неполных данных.
Условия на распределение пропусков, требуемые при непараметрических постановках, намного слабее, чем при соответствующих параметрических. Иными словами, непараметрические методы, построенные для неполных данных, оказываются устойчивыми к распределению пропусков или, точнее, к зависимости пропусков от значений переменных в наблюдении. Так, например, слабыми являются условия, обеспечивающие применимость упомянутых критериев однородности и независимости. Можно привести и другие примеры подобной устойчивости, относящиеся к задачам непараметрического оценивания, классификации и т. д. В свою очередь, метод исключения некомплектных наблюдений, методы заполнения пропусков, парные методы требуют выполнения довольно жесткого условия независимости пропусков от значения'всех переменных (условия ОПС, см. гл. 5 книги).
В дополнении к переводу содержится также теоретическое подкрепление описанных в книге методов оценивания, обсуждается проверка гипотез относительно распределения пропусков и другие вопросы. Для читателя представит интерес текст программы, в которой реализован ЕМ-алгоритм для многомерного нормального распределения.
Современный статистический анализ опирается в большой степени на применение компьютеров. Книга Р. Дж. А. Литтла и Д. Б. Рубина может служить хорошим практическим руководством для специалистов, разрабатывающих статистическое программное обеспечение. Она будет также полезна исследователям — прикладникам и математикам, связанным с проблемой обработки данных с пропусками.
А. М. Никифоров
. ПРЕДИСЛОВИЕ
В начале 70-х годов начался расцвет исследований по статистическому анализу данных с пропусками, последовавший за успехами в развитии компьютерной техники, которая сделала доступными вычисления, очень трудоемкие ранее. Цель этой книги — описать современные методы обработки данных с пропусками и представить теорию анализа неполных данных, основанную на понятии правдоподобия, которая систематизирует эти методы и служит фундаментом для дальнейших разработок. В части I книги обсуждаются предложенные ранее подходы к проблемам, касающимся данных с пропусками, в трех важных областях статистики: дисперсионном анализе планируемых экспериментов, выборочных обследованиях и многомерном анализе. Хотя эти методы и представляют некоторый интерес, они носят частный характер и предложены практическими исследователями, неглубоко изучавшими их теоретические свойства. В части II представлен систематический подход к анализу данных с пропусками, при котором выводы основываются на правдоподобии, вычисляемом с помощью формальных статистических моделей данных и механизма порождения пропусков. Применение этого подхода рассматривается в различных областях, включая регрессионный и факторный анализ, таблицы сопряженности, временные ряды и выборочные обследования. Многие из старых методов из части I книги можно вывести как частный случай (или как аппроксимацию) подхода, основанного на правдоподобии.
Книга предназначена для прикладных статистиков, поэтому изложение в ней основано преимущественно на примерах, а не на точных формулировках условий регулярности и доказательствах теорем. Тем не менее читатель должен быть знаком с принципами построения выводов по правдоподобию, коротко рассмотренными в гл. 5. Книга требует также понимания стандартных моделей при анализе полных данных — нормальной линейной модели, полиномиальных моделей для категориальных данных и свойств общеупотребительных стати-
стических распределений, особенно многомерного нормального распределения. При чтении некоторых глав необходимо знакомство с такими областями активной статистической деятельности, как планирование экспериментов в дисперсионном анализе (гл. 2), выборочные обследования (гл. 4 и 12), логлинейные модели (гл. 9). В отдельных примерах затрагиваются и другие разделы статистики, например факторный анализ и временные ряды (гл. 8). Обсуждение этих примеров не требует обращения к каким-либо источникам или специальных знаний, но такие знания, конечно, будут способствовать более глубокому пониманию основных статистических идей. Нам удалось охватить три четверти материала, представленного в книге, в 40-часовом курсе для выпускников-статистиков.
Несмотря на последние достижения в анализе данных с пропусками, в опубликованных работах есть определенные недостатки, которые нашли свое отражение и в книге. В частности, значительная часть книги посвящена точечному оцениванию параметров и приближенных стандартных ошибок, а основой для интервального оценивания и проверки гипотез служила асимптотическая теория больших выборок. Критерии и интервальные оценки для малых выборок развиты очень слабо, хотя в разделе 6.3.2 представлено байесовское решение одной конкретной задачи. Далее, методы основаны на довольно стандартных статистических моделях, таких, как многомерная нормальная и полиномиальная модели. Пока выполнена очень небольшая работа по критериям справедливости этих моделей при неполных данных или по устойчивости оценок для этих моделей. Надеемся, что наше систематическое описание методов для данных с пропусками стимулирует работу в этой области. Мы рассчитываем также, что книга даст толчок к разработке программного обеспечения анализа данных с пропусками для широкого пользователя. Сейчас эта область практику недоступна.
Многим мы благодарны за помощь при работе над этой книгой. Национальный научный фонд (NSF) и Национальный институт здоровья (NIMH) оказали нам поддержку в некоторых направлениях исследований. Марк Шлухтер провел необходимые для раздела 8.5 вычисления, Лейза Уелд и Т. Е. Рагхунатан внимательно прочитали окончательный вариант рукописи и высказали свои предложения, а студенты-биоматематики из группы М 232 Калифорнийского университета и студенты-статистики из группы 220г Гарвардского университета сделали полезные замечания. Наконец, мы благодарим Джуди Сизен за то, что она напечатала множество черновых вариантов нашей книги, и Би Шуб — за искреннюю поддержку.
Р. Дж. А. Литтл, Д. Б. РубинР. Дж. А. Литтл, Д. Б. РубинВ заключение нам хотелось бы добавить, что многие статистические задачи удобно рассматривать как задачи анализа данных с пропусками, даже когда совокупность данных полностью зарегистрирована, и, более того, что изучение и построение методов анализа -данных с пропусками может служить прекрасной путеводной нитью при изучении статистики в целом. Мы надеемся, что читатели согласятся с нами и сочтут книгу полезной.
Р. Дж. А. Литтл, Д. Б. Рубин
Р. Дж. А. Литтл, Д. Б. Рубин
Лос-Анджелес, Калифорния, Кембридж, Массачусетс, январь, 1987
Часть Г АНАЛИЗ ДАННЫХ С ПРОПУСКАМИ: ОБЗОР
Глава I. ВВЕДЕНИЕ
Большинство прикладных статистических методов предназначено для анализа прямоугольных таблиц данных. Строкам таблицы данных соответствуют объекты, называемые также наблюдениями, случаями и т. д. в зависимости от контекста, столбцы представляют переменные (признаки), измеряемые для каждого объекта. Элементами таблицы являются действительные числа — значения непрерывных (например, возраст или размер дохода) или дискретных переменных. Дискретные (категориальные) признаки могут быть упорядоченными (например, образование) или неупорядоченными (раса, пол). Настоящая книга посвящена анализу данных в тех случаях, когда в таблице часть значений переменных отсутствует. Например, часть респондентов (опрашиваемых), участвующих в обследовании семей, может отказаться сообщить размер дохода. В промышленном эксперименте некоторые результаты могут отсутствовать вследствие поломок оборудования, не связанных с экспериментальным процессом. При опросе общественного мнения часть опрашиваемых, возможно, не окажет предпочтения одному кандидату перед другими. В первых двух примерах естественно рассматривать ненаблюдаемые значения как утерянные («пропущенные»). Таким пропускам соответствуют истинные значения, которые были бы получены при более совершенных методах обследования или более высоком качестве оборудования. Однако в третьем примере менее правдоподобно, что за отсутствием ответа кроется предпочтение определенному кандидату, поэтому рассматривать отсутствующие значения как пропуски менее естественно. Скорее, отсутствие ответа — это дополнительная точка выборочного пространства измеряемой переменной, которая определяет часть популяции (генеральной совокупности), не имеющую предпочтений.
В большинстве пакетов программ по статистическому анализу допускается выделение отсутствующих элементов в таблице данных с помощью определенного кода (кодов). Для выделения отсутствующих элементов различного вида могут потребоваться несколько кодов, например «не знаю», «отказ отвечать», «недопустимый от-
вет». В статистических пакетах объекты, имеющие код пропуска хотя бы по одной из анализируемых переменных, обычно исключаются. Такая стратегия в общем случае неприемлема, поскольку обычно интересны выводы относительно всей исследуемой популяции, а не той ее части, для которой получены значения всех анализируемых переменных. Нашей целью является описание методов, приемлемых в более общем случае. Некоторые из них уже вошли в состав пакетов (например, программа BMDPAM, Dixon, 1983), а многие другие, скорее всего, будут включены в ближайшее время.
Пример 1.1. Отсутствие значений бинарной переменной, измеряемой трижды в различные моменты времени. Вулсон и Кларк [см. Woolson and Clarke, 1984] анализируют данные долговременного исследования факторов риска для сердечных заболеваний у школьников. В табл. 1.1а представлены структуры пропусков в таблице данных. Значения пяти переменных (пол, возраст и наличие ожирения в каждом из трех обследований — в 1977, 1979 и 1981 гг.) были зарегистрированы у 4856 школьников: пол и возраст полностью, а данные по ожирению не полностью. Структура пропусков имела шесть вариантов. Поскольку возраст был разбит на пять категорий, а переменная ожирения бинарна, данные можно представить как целые числа в таблице сопряженности (см. табл. 1.16). В табл. 1.16 пропуск переменной ожирения рассматривается как ее третье значение. О означает ожирение, N — отсутствие ожирения, М — пропуск значения. Структура MON, например, означает пропуск при первом обследовании, ожирение — при втором, отсутствие ожирения — при третьем. Остальные структуры определяются аналогично.
Таблица 1.1а. Структуры пропусков в данных при обследовании детей (1 — присутствие значения, 0 — пропуск)
Структура
Переменные
Число детей с данной структурой пропусков
возраст
пол
вес 1
вес 2
вес 3
А
1
1
1
1
1
1770
В
1
1
1
1
0
631
С
1
1
1
0
1
184
D
1
1
0
1
1
645
Е
1
1
1
0
0
756
F
1
1
0
1
0
370
G
1
1
0
0
1
500
Таблица 1.16. Число детей, классифицированных по полу, возрасту и степени полноты в трех этапах обследования
Структура ответов
Мальчики
Девочки
Возрастная группа, лет
Возрастная группа, лет
5-7
7—9
9—11
11—13
13—15
5-7
7—9
9—11
11—13
13—15
NNN
90
150
152
119
101
75
154
148
129
91
NNO
9
15
11
7
4
8
14
6
8
9
NON
3
8
8
8
2
2
13
10
7
5
NOO
7
8
10
3
7
4
19
8
9
3
ONN
0
8
7
13
8
2
2
12
6
6
ONO
1
9
7
4
0
2
6
0
2
0
OON
1
7
9
И
6
1
6
8
.7
6
ООО
8
20
25
16
15
8
21
27
14
15
NNM
16
38
48
42
82
20
25
36
36
83
NOM
5
3
6
4
9
0
3
0
9
15
ONM
0
1
2
4
8
0
1
7
4
6
OOM
0
11
14
13
12
4
11
17
13
23
NMN
9
16
13
14
6
7
16
8
31
5
NMO
3
6
5
2
1
2
3
1
4
0
OMN
0
1
0
1
0
0
0
1
2
0
OMO
0
3
3
4
1
1
4
4
6
1
MNN
29
42
36
18
13
109
47
39
19
11
MNO
18
2
5
3
1
22
4
6
1
1
MON
6
3
4
3
2
7
1
7
2
2
MOO
13
13
3
1
2
24
8
13
2
3
NMM
32
45
59
85
95
23
47
53
58
89
OMM
5
7
17
24
23
5
7
16
24
32
MNM
33
33
31
23
34
27
23
25
21
43
MOM
11
4
9
6
12
5
5
9
1
15
MMN
70
55
40
37
15
65
39
23
23
14
MMO
24
14
9
14
3
19
13
8
10
5
Источник. [Woolson and Clarke (1984)).
Вулсон и Кларк исследуют эти данные, оценивая для каждого столбца табл. 1.16 полиномиальное распределение по З3— 1 = 26 значениям данных об ожирении. Таким образом, явно выделена часть популяции, для которой характерно наличие пропуска. По нашему мнению, в приведенном примере естественно рассматривать отсутствие значения как пропуск некоторого истинного значения переменной ожирения. Поэтому следует оценивать совместное распределение трех бинарных переменных по данным с пропусками. Соответствующие методы обработки таких неполных категориальных данных описаны в гл. 9. В этих методах довольно прямолинейно модифицируются существующие алгоритмы анализа категориальных данных, реализованные в настоящее время в пакетах статистических программ.
ОБЗОР МЕТОДОВ ОБРАБОТКИ ДАННЫХ С ПРОПУСКАМИ
Работы по анализу данных с пропусками появились сравнительно недавно. Среди обзоров назовем следующие: [ Afifi and Elashoff (1966); Hartley and Hocking (1971); Orchard and Woodbury (1972); Dempster, Laird and Rubin (1977); Little (1982)]. Предложенные методы можно грубо разделить на четыре (пересекающиеся) группы.
Метод исключения некомплектных объектов. При отсутствии у некоторых объектов значений каких-либо переменных простым приемом, упомянутым в разделе 1.1, является удаление таких некомплектных объектов из анализа и обработка данных без пропусков [см., например, Nie, Hill, Jenkins, Steinbrenner and Bent (1975)]. Этот подход обсуждается в гл. 3. Он легко реализуется и может быть удовлетворительным при малом числе пропусков. Однако иногда он приводит к серьезным смещениям и обычно не очень эффективен.
Методы с заполнением. Пропуски заполняются и полученные «полные» данные обрабатываются обычными методами. Как правило, используются следующие процедуры: заполнение с (пристрастным) подбором, когда подставляются значения переменных других объектов выборки, заполнение средними, когда подставляются средние присутствующих значений, и заполнение с помощью регрессии, когда пропущенные значения оцениваются с помощью регрессии на присутствующие для анализируемого объекта переменные. Применение методов заполнения в планировании экспериментов, многомерном анализе и выборочных обследованиях описано в гл. 2, 3 и 4. Чтобы получить корректные выводы, в стандартные методы анализа следует ввести модификации, позволяющие отличать заполненные пропуски от реальных данных. Эти модификации относительно просты в обобщении с многократным заполнением каждого пропуска (см. гл. 12).
Методы взвешивания. Рандомизированные выводы по дан- \у ным выборочных обследований с пропусками обычно построены на весах плана, обратно пропорциональных вероятности выбора. Путь у — значение переменной Y /-го объекта популяции. Тогда среднее популяции часто оценивают величиной
Ет/з'/Етг;1,(1)
где суммы берутся по извлеченным объектам, тг, — вероятность
-1
извлечения /-го объекта, тг, — вес плана /-го элемента. Методы взвешивания изменяют веса, чтобы учесть отсутствие значений. Оценка (1) заменяется оценкой
Е^р)"1 у^Е^р)”',(2)
где суммы берутся по извлеченным объектам, в которых нет пропусков, a Pj — оценка вероятности присутствия значения для /’-го объекта (обычно доля объектов выборки с присутствующим значением). Взвешивание связано с заполнением средними. Например, если веса плана постоянны в подгруппах выборки, то заполнение пропусков в каждой подгруппе средними подгруппы и взвешивание присутствующих значений с помощью их доли в каждой подгруппе ведут к одинаковым оценкам среднего популяции, хотя оценки выборочной дисперсии различны, если только не используются поправки на заполнение средними. Методы взвешивания описаны в гл. 4.
Методы, основанные на моделировании. Широкий класс ме- ^ тодов основывается на построении модели порождения пропусков. Выводы получают с помощью функции правдоподобия, построенной при условии справедливости этой модели, с оцениванием параметров методами типа максимального правдоподобия. Преимущества такого подхода состоят в том, что он гибок, позволяет отказаться от методов, разработанных для частных случаев (предположения модели, на которых основаны наши методы, можно рассмотреть и оценить), и оценивать в приближении большой выборки дисперсии оценок с помощью матрицы вторых производных функций правдоподобия для неполных данных. Описание методов, основанных на моделировании, — основная цель этой книги. Они обсуждаются в гл. 5—12, составляющих часть II настоящей книги.
СТРУКТУРЫ ПРОПУСКОВ
Некоторые методы анализа, рассмотренные в гл. 6, предназначены для определенных структур пропусков и предполагают только обычные способы обработки полных данных. Другие же методы, например ЕМ-алгоритм, описанный в гл. 7—9, применимы для структур более общего вида, но они, как правило, требуют больше вычислений, чем методы для специальных структур. Поэтому необходимо пытаться формировать таблицу данных так, чтобы образовать упорядоченную структуру.
Пример 1.2. Структура пропусков специального вида. Данные, структура которых отражена в табл. 1.2, где 1 означает присутствие значения и 0 — пропуск, были получены по результатам обследования учащихся десяти школ в Иллинойсе и проанализированы Марини, Олсеном и Рубином [см. Marini, Olsen and Rubin (1980)]. Переменные блока 1 зарегистрированы для всех учеников в начале исследования, следовательно, присутствуют полностью. Блок 2 состоит из переменных, полученных для обследованных на втором этапе, который проводился через 15 лет. На этом этапе получены данные для 79% респондентов, изначально участвовавших в исследовании, т. е. можно считать, что доля присутствия переменных блока 2 — 79%. Таким образом, переменные блока 1 присутствуют больше переменных блока 2. Сбор данных на втором этапе (через 15 лет) проводился в несколько фаз, и в целях экономии группа переменных, сформировавших блок 3, была зарегистрирована у части респондентов, участвовавших во втором этапе. Значит переменные блока 2 присутствуют больше переменных блока 3. Блоки 1, 2 и 3 образуют монотонную структуру пропусков. Блок 4 состоит из небольшого числа признаков, полученных при опросе по почте родителей учащихся из первоначальной выборки. Ответили 65% родителей. Четыре блока не образуют монотонной структуры. Однако, жертвуя сравнительно небольшой частью данных, можно сформировать монотонную структуру. Авторы анализируют два монотонных множества данных. В первом исключены значения переменных блока 4 структур С и Е (помечены двумя звездочками), что дает монотонную структуру, в которой переменные блока 1 присутствуют больше переменных блока 2, переменные блока 2 — больше переменных блока 3, переменные блока 3 — больше переменных блока 4. Во втором исключаются значения переменных блока 2 структур В и D (помечены звездочкой) и формируется такая монотонная структура: переменные блока 1 присутствуют больше переменных блока 4, переменные блока 4 — больше переменных блока 2, переменные блока 2 — больше переменных блока 3. В отличие от этого примера формирование монотонной структуры для данных из примера 1.1 привело бы к существенным потерям информации.
Таблица 1.2, Структура пропусков для четырех блоков переменных
Структура
Блок 1
Блок 2
Блок 3
Блок 4
Число наблюдений
Число наблюдений, %
А
1
1
1
I
1594
36,6
В
1
1*
1*
0
648
14,9
С
1
1
0
1**
722
16,6
D
1
г
0
0
469
10,8
Е
1
0
0
1“
499
11,5
F
1
0
0
0
420
9,6
4352
100,0
Источник. [Marini, Olsen and Rubin (1980)].
* Наблюдения, исключенные из 2-й монотонной структуры пропусков (переменные блока 1 присутствуют больше переменных блока 4, переменные блока 4 присутствуют больше переменных блока 2, переменные блока 2 присутствуют больше переменных блока 3).
** Наблюдения, исключенные из 1-й монотонной структуры пропусков (переменные блока 1 присутствуют больше переменных блока 2, переменные блока 2 присутствуют больше переменных блока 3, переменные блока 3 присутствуют больше переменных блока 4).
МЕХАНИЗМЫ ПОРОЖДЕНИЯ ПРОПУСКОВ
Знание (или незнание) механизма, приводящего к отсутствию значений, является ключевым при выборе метода анализа и интерпретации результатов. Иногда этот механизм управляется статистиком. Например, мы можем считать, что выборочному обследованию пропуски присущи, так как значения части переменных в обследовании (переменных плана) присутствуют у всех объектов популяции, а исследуемые переменные «пропущены» у объектов, не включенных в выборку. Здесь механизм порождения пропусков — процесс извлечения выборки. Если объекты извлекаются из популяции случайно, то механизм управляется исследователем (при успешной реализации плана) и его можно назвать «игнорируемым». Если правило извлечения выборки не соблюдается или для некоторых объектов выборки значения отсутствуют, то механизм порождения пропусков не столь ясен. В этом случае анализ зависит от предположений о механизме образования пропусков, которые следует явно оговаривать.
Метод двойного выбора (double sampling) в теории выборочных обследований — еще один пример, когда структура пропусков подконтрольна исследователю. Извлекается большая выборка, и определенные базовые характеристики регистрируются. Затем из этой выборки случайно извлекается подвыборка, для которой измеряются дополнительные переменные. Получаемые данные образуют монотонную структуру. Методы регрессии, используемые для анализа таких данных, можно рассматривать как методы обработки данных с пропусками, хотя обычно эти методы рассматривают с другой точки зрения.
Цензурирование — пример ситуации, когда механизм порождения пропусков может быть неуправляемым, но известным статистику. Данными является время наступления события (смерть животного в эксперименте, рождение ребенка, перегорание лампочки). Для некоторых объектов выборки время события цензурировано, поскольку событие не успело наступить до окончания эксперимента. Если известна точка (время) цензурирования, то мы имеем частичную информацию о том, что время наступления ненаблюденного события больше времени цензурирования. Такую информацию надо учитывать при анализе, чтобы избежать смещений.
Многие методы обработки механизм порождения пропусков явно не включают. Подразумевается, что этот механизм игнорируется. Однако механизм пропусков можно вводить в статистическую модель, включая в нее распределение индикаторов присутствия, равных 1 для присутствующего значения признака и 0 — для пропуска. В общем случае механизмом пропусков нельзя пренебречь. Например, отказ от ответа в обследовании доходов может быть связан с тайными доходами, что нельзя игнорировать. Эти идеи развиты в гл. 5, где излагается теория правдоподобия при наличии пропусков. Гл. И посвящена неигнорируемым механизмам порождения пропусков.
ОДНОМЕРНЫЕ ВЫБОРКИ С ПРОПУСКАМИ
Возможно, простейшей структурой данных является одномерная случайная выборка с пропусками. Пусть у, означает значение признака У для z-ro объекта. Предположим, что в простой случайной выборке объема п присутствуют уъ ..., ут и пропущены ут+1, .... уп. В этом примере обработка данных с пропусками, очевидно, сводится к уменьшению объема выборки с п до т. Мы можем обработать сокращенную выборку так же, как обработали бы полную выборку объема п. Например, если мы предполагаем нормаль- 18
ность распределения и хотим получить выводы о среднем, то можно оценить его выборочным средним по присутствующим значениям, а дисперсию оценить величиной s2/m, где s2 — выборочная дисперсия по присутствующим значениям. Поступая так, мы фактически игнорируем механизм порождения пропусков.
Этот механизм пренебрежим для одномерной выборки, если пропуски случайны в том смысле, что наблюдаемые объекты являются случайной подвыборкой объектов выборки. Если вероятность того, что у, присутствует, зависит от значения у,, то механизмом пропусков пренебрегать нельзя, и анализ по сокращенной выборке, не учитывающий это, ведет к смещениям.
Пример 1.3. Случайное цензурирование одномерной нормальной выборки. Данные на рис. 1.1 показывают важность учета процесса, приводящего к пропускам. Рис. 1.1а представляет диаграмму «стебель с листьями» (stem and leaf), т. е. гистограмму, отражающую значение каждого наблюдения, выборки объема 100 из стандартного нормального распределения. Выборочное среднее — оценка среднего популяции (равного нулю) по этой выборке равна — 0,03. Рис. 1.16 представляет подвыборку, полученную из начальной выборки независимым исключением объектов с вероятностью 0,5. Вероятность исключения не зависит от значения у, следовательно, получаемая выборка объема т = 52 — случайная подвыборка, ее выборочное среднее, —0,11, может использоваться как несмещенная оценка среднего популяции.
1, Т, < о, 0, у, 2 0,1, Т, < о, 0, у, 2 0,Рис. 1.1в и 1.1г иллюстрируют неигнорируемые механизмы пропусков. На рис. 1.1 в из начальной выборки удалены неотрицательные значения, т. е.
1, Т, < о, 0, у, 2 0,
1, Т, < о, 0, у, 2 0,
Рг(Л; = 1 | у) = Рг(.у, присутствует | у) = "
где R, — индикатор пропуска. Вероятность присутствия зависит от у. Результаты обычных методов анализа с игнорированием механизма пропусков в таких данных в общем случае смещены. Например, средневыборочное, —0,89, — явно заниженная оценка среднего. Такой механизм пропусков называют цензурированием: значения цензурируются сверху (или справа) в точке нуль.
Рис. 1.1г отображает случайное цензурирование, когда вероятность присутствия У) лежит между единицей и нулем и равна Ф (—2,05 у,), где Ф — функция стандартного нормального распределения. Вероятность увеличивается с ростом у^ поэтому большинство присутствующих значений отрицательно. Механизмом пропусков снова нельзя пренебрегать. Средневыборочная оценка систематически занижает среднее популяции.
Теперь предположим, что мы столкнулись с неполной выборкой такого типа, как на рис. 1.1 в или 1.1г, и хотим оценить среднее популяции. Если способ цензурирования известен, применяются методы с введением поправок к средневыборочному, которые устраняют смещение, возникающее при формировании выборки. Эти методы обычно основаны на методе максимального правдоподобия. Если же способ цензурирования неизвестен, задача намного труднее. Принципиальным указанием на то, что механизм пропусков неигнорируем, является асимметрия наблюдаемой выборки, противоречащая предположению, что исходная выборка извлечена из (симметричного) нормального распределения. Если мы убеждены, что нецензурированная выборка имеет симметричное распределение, то можно использовать эту информацию для поправок на смещение, применяя, например, метод максимального правдоподобия. С другой стороны, если статистик плохо представляет себе форму нецензурированного распределения, то он не способен сказать, являются ли данные цензурированной выборкой из симметричного распределения или случайной подвыборкой из асимметричного распределения. В первом случае средневыборочное — смещенная оценка среднего популяции, во втором — несмещенная.
Рис. 1.2. Распределение роста: наблюдаемое распределение и распределение в популяции. Распределение в популяции нормально, наблюдаемое распределение представлено гистограммой. Заштрихованная область соответствует отсутствующим даннымРис. 1.2. Распределение роста: наблюдаемое распределение и распределение в популяции. Распределение в популяции нормально, наблюдаемое распределение представлено гистограммой. Заштрихованная область соответствует отсутствующим даннымПример 1.4. Пример 1.3 в приложении к историческим данным о росте людей. Уочтер и Трасел [см. Wachter and Trussell (1982)] дают любопытную иллюстрацию этой задачи, связанную с оценкой роста людей в прошлом. Распределение роста в «исторических» популяциях представляет значительный интерес, поскольку несет информацию о питании, а, значит, Большая часть информации содержится в данных о росте призывников в армию. Выборки цензурировались, поскольку часто использовались ограничения на минимальный рост. Ограничения соблюдались с различной строгостью в зависимости от наличия призывников и потребности в них. Поэтому типичное наблюдаемое распределение роста имеет вид незаштрихованной гистограммы на рис. 1.2, заимствованном из [Wachter and Trussell (1982)]. Заштрихованная область представляет рост людей, исключенных из выборки призывников. Она получена в предположении, что в нецензурированной выборке рост распределен нормально. Ав-
Рис. 1.2. Распределение роста: наблюдаемое распределение и распределение в популяции. Распределение в популяции нормально, наблюдаемое распределение представлено гистограммой. Заштрихованная область соответствует отсутствующим данным
Рис. 1.2. Распределение роста: наблюдаемое распределение и распределение в популяции. Распределение в популяции нормально, наблюдаемое распределение представлено гистограммой. Заштрихованная область соответствует отсутствующим данным
торы обсуждают методы оценивания среднего и дисперсии нецензу- рированного распределения при таком сильном предположении. Выводы для этого примера вполне справедливы, так как существуют убедительные свидетельства в пользу того, что в полной популяции распределение роста действительно близко к нормальному. Во многих других задачах с пропусками подобная информация недоступна или очень недостоверна. Как указано в гл. 11, чувствительность выводов по неполной выборке к предположениям, которые невозможно или трудно проверить, — основная проблема анализа данных с неизвестным механизмом порождения пропусков. Она может возникнуть, например, в выборочных обследованиях.
МНОГОМЕРНЫЙ СЛУЧАЙ С ПРОПУСКАМИ В ОДНОЙ ПЕРЕМЕННОЙ
Предположим теперь, что к переменной Y из раздела 1.5 мы добавили измененную X, значения которой наблюдаются без пропусков, т. е. зарегистрированную для всех объектов выборки. Тогда мы получим монотонную структуру данных (рис. 1.3). К этой Объекты х у структуре приводит множество ситуаций. В выбороч- 1 ных обследованиях переменная Y может быть разделом . вопросника, на который не всегда дают ответ (напри- :_| мер, доход), а X — признаком со значениями для всех
. объектов выборки (например, переменная плана, такая, :как место жительства, или всегда присутствующий при-
Рис"1 змо знак — возРаст)- ^ эксперименте X может быть случайнотонная н°й’ РегистРиРУемой без пропусков, или детерминиро- структура. х ванной величиной, управляемой экспериментатором, присутствует например индикатор включения в выборку в рандоми- больше у зированном плане. Данные по Y могут отсутствовать вследствие неуправляемых событий в процессе сбора таких данных, как отказ от ответа, недопустимые значения, удаленные из выборки, ошибки при регистрации данных. С другой стороны, их отсутствие может быть связано с планом, как в калибровочном эксперименте, где X — дешевое измерение, полученное для большой выборки, a Y — дорогостоящее измерение, получаемое для подвыборки.
X и Y могут быть как непрерывными, так и категориальными признаками. Ситуация, когда (X, Y) — двумерная нормальная случайная величина, подробно изучена и обсуждается в гл. 6 в контексте монотонных структур неполных данных. Если X — категори- 22
альный, а У — непрерывный признак, то вид данных соответствует однофакторному дисперсионному анализу с пропусками некоторых значений внутри групп, определяемых значением X. Этот случай подробно обсуждается в гл. 2. Если X и Y — категориальные, то объекты без пропусков можно расположить в двумерной таблице сопряженности, ячейки в которой определяются значениями обеих переменных. Объекты, у которых присутствует только X, дают дополнительные маргинальные по Y частоты. Методы анализа частично классифицированных таблиц сопряженности такого типа изложены в гл. 9. Механизм образования пропусков для данных этой структуры полезно расклассифицировать в соответствии с зависимостью вероятности пропуска значения 1) от У и, возможно, от X, 2) от X, но не от Y, 3) ни от X, ни от У Рубин [см. Rubin (1976)] предлагает следующую терминологию, отчасти использованную в разделе 1.5. Если верен случай 3, то мы говорим, что отсутствующие данные отсутствуют случайно (ОС) и присутствующие данные присутствуют случайно (ПС) или в целом данные отсутствуют полностью случайно (ОПС). В этом случае наблюдаемые значения У образуют случайную подвыборку, как на рис. 1.1а. В случае 2 мы говорим, что отсутствующие данные отсутствуют случайно (ОС). Наблюдаемые значения У не обязательно являются случайной подвыборкой извлеченных значений, но образуют случайную подвыборку в каждой подгруппе, определяемой значением X. В случае 1 данные ни ПС, ни ОС. В случаях 2 и 3 в выводах, основанных на функции правдоподобия, механизм пропусков можно игнорировать. В случае 3 этот механизм игнорируем для выводов, основанных как на выборочных статистиках, так и на функции правдоподобия. В случае 1 механизм неигнорируем. Эту классификацию можно пояснить примером.
Пример 1.5. Две непрерывные переменные Пусть X означает возраст, У — размер дохода. Если вероятность того, что доход регистрируется, одинакова для всех независимо от возраста и дохода, то данные ОС и ПС (т. е. ОПС). Если эта вероятность меняется в зависимости от возраста, но не зависит от размера дохода респондента внутри возрастной группы, то данные ОС, но не ПС (т. е. не ОПС). Если вероятность пропуска зависит от дохода внутри возрастной группы, то данные ни ОС, ни ПС. Этот последний неигиорируемый случай труднее всего поддается анализу, что очень жаль, поскольку в приведенном примере наиболее вероятна именно такая ситуация.
Предположения о механизме пропусков зависят в некоторой степени от цели анализа. Если нас интересует маргинальное распределение X, то данные об У и механизм пропусков обычно нам безразличны («обычно», поскольку можно сконструировать примеры, для которых это неверно, хотя они имеют скорее теоретическое, чем практическое значение). Если же мы хотим исследовать условное по X распределение величины Y, например при изучении зависимости дохода от возраста, то анализ по т комплектным объектам может быть удовлетворительным, если данные ОС. С другой стороны, если мы изучаем маргинальное распределение или общие характеристики, например среднее Y, то анализ, основанный на т комплектных объектах, будет в общем случае смещенным, если не выполняется предположение ОПС. Если X и Y присутствуют для всех п объектов, значения X при оценивании среднего Y обычно бесполезны, однако для структуры, представленной на рис. 1.3, значения X нужны как для повышения эффективности оценки среднего Y, так и для устранения смещения, если неверно ОПС. Это замечание очень важно и будет обсуждаться в других главах.
Оценивание совместного распределения X и Y по данным с монотонной структурой (см. рис. 1.3) в предположении ОС часто можно упростить факторизацией распределения, которая подробно обсуждается в гл. 6. Пусть /(X, У) — плотность совместного распределения X и Y. Эту плотность можно факторизовать в виде
RX У) = RXtf№ (1.1)
где ДЛЭ — маргинальная плотность X, а ДУ | X) — условная по X плотность У Здесь и далее функции можно различать по аргументам. Выводы о маргинальном распределении возраста могут быть основаны на п наблюденных значениях возраста. Выводы об условном по возрасту распределении дохода могут быть основаны на т комплектных объектах. Результаты этого анализа можно объединить, чтобы оценить совместное распределение возраста и дохода или распределение возраста, условное по доходу. Оценивание распределения дохода, условного по возрасту, часто является разновидностью регрессионного анализа, а техника факторизации связана с идеей заполнения пропусков по доходу при использовании регрессии дохода на возраст и при вычислении прогноза дохода. Таким образом, анализ данных, приведенных на рис. 1.3, можно рассматривать как классическую задачу предсказания значения по регрессии.
Пример 1.6. р + 1 переменных с пропусками в одной переменной. Во многих задачах полностью присутствуют значения р > 1 переменных для всех п объектов. Такие данные можно представить рис. 1.3, где X обозначает матрицу п х р. В задаче, в которой пред- 24
полагался анализ данных с пропусками и которая впервые систематически исследовалась в статистической литературе, данные имели именно такую структуру. Необходимо было решить задачу при отсутствии данных в планируемых экспериментах. В контексте сельскохозяйственных исследований эту задачу часто называют «задачей о пропуске участков». В ней нужно установить связь между зависимой переменной (урожаем) и рядом факторов (видом культуры, типом удобрения, температурой), п наблюдений выбираются так, чтобы матрица плана была легко обращаема, как при полной или частичной повторной реализации факторных планов. Задача с пропусками возникает тогда, когда по завершении эксперимента значения зависимой переменной Y для п — т объектов отсутствуют из-за невозможности их получить (на некоторых участках семена не дали всходов) или вследствие утраты зарегистрированных значений. При обычном анализе неполных данных используют предположение ОС, т. е. предполагают, что вероятность пропуска У; может меняться в зависимости от переменных плана, но при данном значении Хр /-й строки X, вероятность отсутствия у, не зависит от уР В практических приложениях следует проверять допустимость такого предположения. Анализ строится так, чтобы использовать «почти сбалансированность» получаемого множества данных для упрощения вычислений. Например, одним из способов является подстановка оценок пропущенных значений вместо пропусков и последующий анализ в предположении, что данные полные. Здесь требуют внимания такие вопросы, как выбор значений для подстановки и модификации методов с целью учета подстановок. Эта проблема обсуждается в гл. 2.
Задачи с пропусками признаков в выборочных обследованиях часто имеют такую же структуру, как на рис. 1.3. Y соответствует признаку с пропусками, X — «фоновым» признакам, наблюдаемым полностью. Главным является оценивание маргинального распределения Y, в отличие от задачи дисперсионного анализа, где исследуется условное по X распределение К Тем не менее эти две задачи до некоторой степени сходны.
Все описанные в литературе методы выборочных обследований при наличии пропусков требуют предположения, что данные ОС, хотя для многих практических задач это крайне сомнительно. В дополнение к обсуждению в гл. 4 методов, основанных на рандомизации, мы осветим в гл. 12 некоторые новые работы по ослаблению предположений ОС и опишем методы с применением функции правдоподобия.
МНОГОМЕРНЫЕ ДАННЫЕ С ПРОПУСКАМИ.
ОБЩИЙ СЛУЧАЙ
Структуры пропусков, описанные в разделах 1.5 и 1.6, одномерны в том смысле, что только в одной переменной есть пропуски. Теперь обсудим многомерные структуры пропусков.
Многие методы многомерного статистического анализа, включая метод наименьших квадратов для поиска регрессии, факторный анализ, дискриминантный анализ, основаны на редукции данных к вектору выборочных средних и выборочной ковариационной матрице. Поэтому важен вопрос оценивания этих величин по неполным данным. В ранее опубликованных работах, частично обсуждаемых в гл. 3, предлагалось решение для частных случаев. Более систематический подход, которому посвящена часть II настоящей книги, основан на функции правдоподобия. Он обсуждается в гл. 5 и применяется во многих ситуациях, рассмотренных в последующих главах.
Пример 1.7. Оценивание среднего и ковариационной матрицы по данным с монотонной структурой. Предположим, данные можно расположить в монотонную структуру. Простейшим подходом будет анализ только комплектных объектов. Этот метод, однако, приводит к большой потере данных. К тому же во многих случаях, включая данные табл. 1.2, комплектные объекты не являются случайным подмножеством исходной выборки, т. е. предположение ОПС не выполняется, и результаты будут смещены. Более разумно предположить, что распределение данных — многомерное нормальное, и оценивать среднее и ковариационную матрицу методом максимального правдоподобия. В гл. 6 мы покажем, что для монотонных данных эта задача не так сложна, как можно думать, поскольку оценивание упрощается при факторизации совместного распределения, как в (1.1), что позволяет найти оценки максимального правдоподобия по последовательности регрессионных задач.
Пример 1.8. Оценивание среднего и ковариационной матрицы для общей структуры пропусков. Во многих наборах данных с пропусками удобная монотонная структура или ее близкая аппроксимация, какая была возможна для данных табл. 1.2, отсутствует. Разработаны методы для оценивания среднего и ковариационной матрицы, применимые для любой структуры пропусков. Как и в предыдущем примере, эти методы часто основаны на методе максимального правдоподобия в условиях многомерной нормальности. Оценивание проводится итеративно.
Подход, основанный на ЕМ-алгоритме (expectation-maximization). развитый в гл. 7, представляет собой общий подход к поиску опенок максимального правдоподобия по неполным данным. Для многомерного нормального случая он описан в гл. 8. В этой ситуации он особенно нагляден, поскольку тесно связан с итеративным вариантом метода заполнения пропусков значениями, полученными по регрессии. Таким образом, даже в этой сложной задаче можно установить связь между эффективными теоретически обоснованными методами и более традиционными прагматическими подходами с заполнением пропусков подходящими значениями. В гл. 8 представлены также малоизвестные способы применения ЕМ-алгоритма в таких областях, как компонентный дисперсионный анализ, факторный анализ, временные ряды. Эти задачи рассмотрены как задачи анализа неполных данных из многомерного распределения со средним и ковариационной матрицей определенного вида.
Пример 1.9. Оценивание при наличии категориальных признаков. Редукция данных к среднему и ковариационной матрице для категориальных признаков в общем случае неприемлема. Данные можно расположить в частично классифицированной таблице сопряженности, как в примере 1.1. Методы анализа таких данных обсуждаются в гл. 9.
В гл. 10 рассматриваются многомерные данные, когда некоторые признаки непрерывные, а остальные — категориальные. Проблема, описываемая обычно по-иному, — оценивание конечных смесей распределений, также рассматривается как задача анализа данных с пропусками.
Пример 1.10. Оценивание, когда предположение ОС о пропусках может не выполняться. По существу, во всех работах по анализу многомерных данных с пропусками предполагается, что данные ОС, а во многих из них — что данные к тому же и ПС. В гл. 11 в явном виде рассматривается случай, когда предположение ОС неверно. Последняя глава (гл. 12) посвящена подходу к обработке пропусков при выборочных обследованиях, основанному на применении функции правдоподобия. В ней обсуждаются ситуации, когда это предположение выполняется и когда оно не выполняется.
ЛИТЕРАТУРА
Afifi, A. A., and Elashoff, R. M. (1966). Missing observations in multivariate statistics I: Review of the literature, J. Am. Statist. Assoc. 61, 595-604.
Dempster, A. P., Laird, N. M., and Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm (with discussion), J. Roy. Statist. Soc. B39, 1-38.
Dixon. W .1 (Ed.) (1983). BMDP Statistical Software, 1983 revised printing, University of California Press: Berkeley.
Hartley, H. O., and Hocking, R. R.( 1971). The analysis of incomplete data. Biometrics!!, 783-808.
Little, R. J. A. (1982). Models for nonresponse in sample surveys. .1 Am. Statist. Assoc. 77, 237-250.
Marini, M. M., Olsen, A. R., and Rubin, D. B. (1980). Maximum likelihood estimation in panel studies with missing data. Sociological Methodology 1980, San Francisco: Jossey Bass.
Nie, N. H., Hull, С. H., Jenkins, J. G., Steinbrenner, K., and Bent, D. H. (1975). SPSS, 2nd ed. McGraw-Hill, New York.
Orchard, T., and Woodbury, M. A. (1972). A missing information principle: Theory and applications. Proc. 6th Berkeley Symposium on Math. Statist, and Prob. 1, 697-715.
Rubin, D. B. (1976). Inference and missing data, Biometrika 63, 581-592.
Wachter, K. W., and Trussell, J. (1982). Estimating historical heights, J. Am. Statist. Assoc. 77, 279-301.
Woolson, R. F., and Clarke, W. R. (1984). Analysis of categorical incomplete longitudinal data, J. Roy. Statist. Soc. A147, 87-99.
ЗАДАЧИ
Определите для данных из примера 1.1 монотонную структуру, требующую минимального числа удалений присутствующих значений. Можете ли вы найти критерий для выбора удаляемых значений, который оказался бы лучше?
Составьте список методов обработки пропусков данных, имеющих отношение к области ваших интересов, основываясь на опыте нлн соответствующей литературе.
Какие предположения относительно механизма порождения пропусков считаются выполненными в статистических методах из задачи 2? Реалистичны ли этн предположения?
Какое влияние оказывают пропуски на а) оценки, б) критерии и доверительные интервалы в методах нз задачи 2? Состоятельны лн, например, оценки соответствующих параметров популяции; имеют ли критерии заданный уровень значимости?
Пусть У = 0>^) — матрица данных, R = (Ry ) — соответствующая матрица индикаторов пропуска, в которой Ry = 1 обозначает присутствие, a Ry = 0 — пропуск значения.
Предложите ситуацию, где двух значений Ry недостаточно.
Почти всегда предполагают, что R наблюдается полностью. Опншнте реалистичную ситуацию, когда имеет смысл рассматривать часть самой R как отсутствующую.
Допустим, Ry есть 0 или 1. Когда проводится анализ только полных наблюдений, оценивается условное распределение у; при заданном R; = (1, .... 1), где yt н R. — /-я строка У и R соответственно. Предположите ситуации, в которых имеет смысл оценивать условное распределение у; при другой фиксированной структуре пропусков, а также ситуации, в которых оценивать такие условные распределения бессмысленно.
Выразите маргинальное распределение у; через условные распределения yt прн фиксированных структурах пропусков для различных структур и нх вероятности.
Глава 2. ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ И ПРОПУСКИ В ДАННЫХ
ВВЕДЕНИЕ
Планирование экспериментов проводится обычно таким образом, чтобы статистический анализ можно было осуществить путем несложных вычислений. В частности, стандартному плану экспериментов соответствует анализ на основе метода наименьших квадратов, обеспечивающий оценки параметров, стандартные ошибки контрастов параметров и таблицу дисперсионного анализа. Оценки, стандартные ошибки и таблицы легко вычисляются в большинстве планируемых экспериментов благодаря сбалансированному плану. Например, при исследовании двух факторов анализ особенно прост, когда для каждого сочетания уровней факторов берется одинаковое число наблюдений. В [Cochran and Сох (1957); Davies (1960); Kempthorne (1952); Winer (1962)] и более поздних работах по планированию экспериментов собрано много соответствующих примеров.
Поскольку в эксперименте значения факторов задаются исследователем, то пропуски, если они есть, содержатся в выходной переменной У намного чаще, чем в значениях факторов X. Поэтому мы ограничимся ситуацией, когда пропуски только в К Если такие пропуски есть, то исходный баланс отсутствует. В результате соответствующий анализ наименьших квадратов намного усложняется, даже при предположении ОПС. В этой ситуации интуитивно привлекателен подход с заполнением пропусков, позволяющий восстановить баланс и затем использовать стандартные методы анализа.
Преимущества заполнения пропусков перед анализом фактических данных состоят в следующем: 1) легче определить структуру данных в терминах планируемых экспериментов (например, как сбалансированный неполный блок); 2) легче вычислить необходимые итоговые значения статистик; 3) легче интерпретировать результа-
ты анализа, так как можно опираться на традиционные характеристики и суммарные значения. Было бы прекрасно, если бы можно было найти такой способ заполнения пропусков, при котором анализ полученных полных данных оказывался бы корректным. В действительности в этом направлении можно еще многое сделать.
При условии независимости пропусков от значений выходной (зависимой) переменной, т. е. при ОС, существует большое число различных методов заполнения, дающих правильные оценки всех параметров эффектов, подлежащих оцениванию. Кроме того, можно легко ввести поправки к остаточному среднему квадрату (ошибок), стандартным ошибкам и суммам квадратов, имеющим одну степень свободы. К сожалению, поправки к суммам квадратов с числом степеней свободы больше одного ввести сложнее, хотя и это можно сделать.
Методы, при которых каждый пропуск заполняется только одним значением, непосредственно применимы только для анализа однофакторной модели с фиксированными эффектами с одним членом для ошибки. К линейным моделям с фиксированными эффектами с числом факторов более одного относятся, например, иерархические модели, в которых суммы квадратов приписываются эффектам в определенном порядке при подборе модели по последовательности вложенных (nested) моделей с фиксированными эффектами, расщепленные планы с повторными измерениями, в которых для исследования эффектов используются различные слагаемые ошибки, а также модели со случайными и смешанными эффектами, в которых отдельные параметры интерпретируются как случайные величины. Для анализа, при котором рассматривается более одной модели с фиксированными факторами, в общем случае для каждой модели надо заполнять различные множества пропущенных значений. Более подробное обсуждение приведено, например, в [Anderson (1946); Jarrett (1978)], см. также раздел 8.5 настоящей книги.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ ДЛЯ НЕПОЛНЫХ ДАННЫХ
Пусть X — п х р-матрица, в которой z-я строка х, = ^Хц, ••■» xjp) содержит фиксированные значения факторов для z-го объекта. Например, для плана 2 х 2 с двумя наблюдениями в ячейке и уровнями факторов, обозначенных 0, 1, 30
1111111111111111(2.1)(2.1)В = (хтх)-чхтУ),В = (хтх)-чхтУ),(2.2)(2.2)
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
(2.1)
(2.1)
В = (хтх)-чхтУ),
В = (хтх)-чхтУ),
(2.2)
(2.2)
о оо о
О 1 О 1 1 о 1 о 1 1 1 1
Предполагается, что для выходной переменной Y = Ch, .... jn)T верна линейная модель
У = ^ + е,
где е = (е,е„)т, в; независимо и одинаково распределены с ну
левым средним и одинаковой дисперсией а1, 0 — оцениваемый параметр — вектор длины р. Оценка наименьших квадратов 0 равна:
если (ХТХ) имеет полный ранг и не определена в противном случае. Если ^ХТХ^ невырождена, то В — несмещенная оценка 0 с минимальной дисперсией. Если е, распределены нормально, В — оценка максимального правдоподобия 0, распределенная нормально со средним 0 и дисперсией а2(ХтХ)~1.
Наилучшей несмещенной оценкой о2 является
а2 = Е /-1а2 = Е /-1О', - у Уп— рО', - у Уп— р(2.3)(2.3)
а2 = Е /-1
а2 = Е /-1
О', - у Уп— р
О', - у Уп— р
(2.3)
(2.3)
где У; = Х;В. Если е, нормальны, то (л — р)аг/о2 имеет распределение хи-квадрат с л — р степенями свободы. Наилучшая несмещенная оценка ковариационной матрицы (В — 0) равна:
(2.4)(2.4)V = ^(A^JT)-1.
(2.4)
(2.4)
Если е, распределены нормально, то (0, — 0)/>Гун (где vu — /-й диагональный элемент У) имеет распределение Стьюдента с л — р степенями свободы, а (В — 0) — многомерное распределение Стьюдента с параметром масштаба У1/2.
Пшотезу о равенстве всех элементов некоторого множества линейных комбинаций от координат 0 нулю проверяют, вычисляя
сумму квадратов, относящуюся к этому множеству. Точнее, пусть С — р х w-матрица, определяющая w линейных комбинаций 0, участвующих в проверке. Тогда сумма квадратов, относящаяся к линейным комбинациям, равна:
5= (С^ЧСЧХТХ^СА-ЧСТВ). (2.5)
Проверку гипотезы Ст0 = 0 проводят, сравнивая S/w и а2;
F=(S/w)/a2. (2.6)
Если е, распределены нормально, то F в (2.6) есть критерий отношения правдоподобий для гипотезы Ст0 = 0; если при этом гипотеза верна, то F имеет распределение Снедекора с w и л — р степенями свободы: S/a2 и (л—р^о2/о2 — независимые случайные величины, распределенные по х2 с w и л — р степенями свободы. Доказательства приведенных результатов можно найти в книгах по регрессионному анализу, например в [Draper and Smith (1981); Weisberg (1980)]. Как указано в этих книгах, при неортогональных планах может потребоваться аккуратная интерпретация* этих критериев, например критерий для набора эффектов по А в модели с эффектами по А, по В и эффектами взаимодействия требует, чтобы фактор А был скорректирован на фактор В и взаимодействия.
Традиционные планы экспериментов выбирают так, чтобы легко и точно проводить оценивание и проверку гипотез. В частности, матрица ХТХ обычно легко обратима, а значит, легко вычисляются 0, а2, V и сумма квадратов, относящаяся к заданному набору линейных комбинаций 0, например к эффектам обработок и эффектам блоков. Как правило, эти величины вычисляются по данным путем простого усреднения наблюдений и их квадратов. Эта простота может играть важную роль при изучении нескольких факторов с оцениванием большого числа параметров, поскольку при этом ХТХ может иметь большие размеры. Обращение больших матриц было особенно обременительным до появления современного программного обеспечения, но и сейчас еще может создавать затруднения при некоторых вычислениях, если р велико (например, более 50).
КОРРЕКТНАЯ РЕАЛИЗАЦИЯ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ ПРИ ПРОПУСКАХ В ДАННЫХ
Мы предполагаем, что X представляет такой план эксперимента, что при присутствии всех Y анализ данных можно проводить с помощью известных стандартных формул и программ. Вопрос состоит в том, как использовать эти формулы и программы (для полных данных), когда часть Y пропущена.
Точный анализ наблюдаемых данных легко описывается в предположении, что причина появления пропусков в У не зависит от значения У (т. е. при условии ОС). Надо просто игнорировать строки X, соответствующие пропущенным yf, и провести вычисления, рассмотренные в разделе 2.2, по оставшимся строкам X, соответствующим наблюденным yv Затруднения, связанные с таким предложением, состоят в том, что специальные формулы и программы, предназначенные для полных Y, уже нельзя использовать, так как отсутствует исходная сбалансированность. Вследствие этого 1) труднее описать структуру данных, поскольку теперь надо оговаривать всю матрицу плана, а не просто дать указание на один из традиционных планов экспериментов; 2) вычислительные затраты по оперативной памяти и процессорному времени могут оказаться больше, поскольку необходимы формулы в общем виде, как, например, в (2.2), а не специальные выражения для отдельных различных планов; 3) может быть утрачена ясность статистической интерпретации, поскольку не даются результаты и выводы, соответствующие традиционным специальным планам.
Тем не менее, применяя уравнения из раздела 2.2 к т объектам с присутствующими у;, мы получим корректные оценки наименьших квадратов, стандартные ошибки, суммы квадратов и ^-критерии, если в данных будут пропуски. Для обозначения величин, полученных из уравнений (2.2)—(2.5) по т объектам с присутствующими ур мы будем использовать символы 3., Si, V. и S.. В остальной части этой главы описаны способы получения этих величин с применением только тех процедур, которые нужны для полных данных и в которых для упрощения вычислений используется специальная структура X.
ПОДСТАНОВКА ОЦЕНОК НАИМЕНЬШИХ КВАДРАТОВ
Метод Йейтса
3333Классический и общепринятый подход к пропускам в дисперсионном анализе обязан своим происхождением в основном Йейтсу [Yates (1933)]. Он состоит в следующем: 1) заменить все пропущенные значения их оценками наименьших квадратов у4 = х^., где 3., определенное в (2.2), получено по т строкам (К X) с присутствующими у^ 2) применить метод анализа для полных данных. Этот подход с подстановкой оценок наименьших квадратов на первый взгляд создает порочный круг ибесполезен на практике, так как для него вроде бы требуется знать 3. при оценивании yj величиной Xj3. до получения 3. • Как это ни удивительно, но можно относительно
33
33
2. Р. Дж. А. Литтл, Д. Б. Рубни
легко вычислять у, = Х;0. для пропущенных у, до непосредственного вычисления 0., если отсутствует небольшое число значений.
Процедура Йейтса обосновывается тем, что она дает 1) правильные оценки наименьших квадратов 0, 0„ и 2) правильную остаточную сумму квадратов, т. е. получаемая оценка п2 (л — р) будет правильна и равна а? (ти — р). Доказать два этих факта довольно легко. Пусть У; = xt0., i = 1, .... т0, обозначает оценки наименьших квадратов т0 отсутствующих значений, которыми для простоты обозначений мы будем считать первые т0 наблюдений. Методы для полных данных, примененные к заполненным данным, минимизируют величину
SS(0) = Et bj - х^У + Д+,0,- - х,0У
по 0. По определению 0 = 0. минимизирует вторую сумму в SS(/?), но 0 = 0. минимизирует и первую сумму, делая ее равной нулю. Следовательно, при заполнении пропусков оценками наименьших квадратов 1) SS(/?) достигает минимума при 0 = 0. и 2) SSW.) равна минимальной сумме квадратов остатков по т присутствующим значениям уг Отсюда 1) правильная оценка наименьших квадратов 0, 0., равна оценке наименьших квадратов 0, полученной с помощью программы дисперсионного анализа для полных данных и 2) правильная оценка наименьших квадратов а1, 6г„ получается из оценки п2 для полных данных, п2:
-2 -2 (” — р)°* ” ° 1т — р) '
Анализ с подстановкой у, вместо пропущенных у; несовершенен: он приводит к заниженной оценке ковариационной матрицы 0, суммы квадратов, относящиеся к набору линейных комбинаций 0, завышены, хотя при небольшой доле пропусков эти смещения часто относительно малы. Теперь мы приступим к рассмотрению методов вычисления значений уг
2А.2. Формулы для пропущенных значений
Один из подходов состоит в том, чтобы заменять пропущенные значения с помощью явного выражения. Впервые применяя эту идею, Аллан и Уишарт [см. Allan and Wishart (1930)] вывели формулы для оценки наименьших квадратов для одного пропущенного значения в плане рандомизированных блоков и в плане латинских квадратов. Например, для рандомизированных блоков при Т обработках и В блоках оценкой наименьших квадратов пропущенного значения для обработки t в блоке b является
Туи\ + Ву^ — у+(Г- 1ЦВ- 1)
где v'+ и у + — соответственно сумма наблюденных значений Y для обработки г и блока b, a vt — сумма всех наблюденных Y. Уилкинсон (см. Wilkinson (1958а)] обобщил эту работу, приведя таблицу с формулами для многих планов и структур пропусков.
Итеративный подбор пропущенных значений
Хартли [Hartley (1956)] предложил общий неитеративный метод оценки одного пропущенного значения, который по его предложению следует использовать итеративно при большем числе пропусков. Метод для одного пропуска состоял в подстановке трех различных пробных значений вместо пропуска и вычислении суммы квадратов остатков для каждого из этих значений. Тогда, поскольку сумма квадратов остатков квадратична по пропущенному значению, можно найти значение для одного пропуска, минимизирующее эту сумму. Этот подход менее привлекателен, чем другие методы.
Хили и Уэстмакот [Healy and Westmacott (1956)] описали известный итеративный метод, который иногда приписывают Йейтсу, а иногда — даже Фишеру. В этом методе 1) вместо всех пропусков подставляют начальные значения; 2) проводят анализ для полных данных; 3) для пропусков получают предсказываемые значения; 4) подставляют эти значения вместо пропусков; 5) снова проводят анализ для полных данных и т. д., пока значения для пропусков не станут меняться мало, или, что эквивалентно, пока остаточная сумма квадратов не перестанет существенно уменьшаться.
Как мы покажем в примере 8.5, метод Хили и Уэстмакота — пример ЕМ-алгоритма, описываемого в гл. 7. Каждая итерация уменьшает остаточную сумму квадратов или (что то же самое при соответствующей нормальной модели) увеличивает правдоподобие. В некоторых случаях сходимость может быть медленной. Были предложены специальные методы ускорения [см. Pearce (1965), с. Ill; Preece (1971)]. В некоторых случаях они увеличивают скорость сходимости, в других же нарушают монотонное уменьшение остаточной суммы квадратов (см. сводку условий в [Jarrett (1978)]). 2» 35
Ковариационный анализ с сопеременными пропусков
Общий неитеративный метод, предложенный Бартлетом [см. Bartlett (1937)], заключается в подстановке начальных значений вместо пропусков и проведении ковариационного анализа с соперемен- ной (covariate, сопутствующая переменная) пропусков для каждого пропущенного значения. По определению /-я сопеременная пропусков — это индикатор /-го пропущенного значения, т. е. всегда нуль, за исключением случая, когда пропущено i-e значение, тогда она равна 1. При вычитании коэффициента для сопеременной /-го пропуска из начального значения получается оценка наименьших квадратов /-го пропуска. Кроме того, остаточный средний квадрат и суммы квадратов для всех контрастов, пересчитанные по сопеременной пропусков, принимают свои истинные значения. Мы докажем эти результаты в разделе 2.5.
Хотя этот метод привлекателен в определенных отношениях, его часто нельзя реализовать непосредственно, потому что специализированные программы дисперсионного анализа могут не обладать возможностью вести обработку при многих сопеременных. Оказывается, однако, что метод Бартлета можно применять, располагая только имеющимися программами дисперсионного анализа для полных данных и программой обращения симметричной матрицы т0 х т0. В следующем разделе доказано, что метод Бартлета дает правильные результаты, в других же разделах рассмотрено получение этих результатов только с помощью программ дисперсионного анализа для полных данных.
МЕТОД БАРТЛЕТА
Полезные свойства метода Бартлета
Метод Бартлета имеет следующие полезные свойства. Во-первых, он неитеративный, и, следовательно, снимается вопрос о сходимости. Во-вторых, если структура пропусков обладает вырожденностью (например, в том случае, когда нельзя оценить некоторые параметры, как при отсутствии всех значений для какой-то обработки), этот метод «предупреждает» исследователя, тогда как итеративные методы приводят к ответу, возможно, недопустимому. Еще одно достоинство заключается в том, что метод, как указано выше, дает не только правильные оценки и остаточные суммы квадратов, но и верные стандартные ошибки, суммы квадратов, F- критерии.
Обозначения
Допустим, что каждый пропуск у, заполняется начальным значением, чтобы вектор значений У был полон. Обозначим начальные значения у.» ‘ = 1. •••> ”10. Пусть Z — п х m-матрица т0 сопере- менных пропусков: первая строка Z, zb равна (1, 0, ..., 0), .... строка w0 равна (0, .... 0, 1), а все z, при i > m0 равны (0, .... 0), так как они соответствуют присутствующим уР При ковариационном анализе используется и X, и Z для предсказания У.
Аналогично (2.1) моделью для У теперь является
У = Хд + Z^ + е,(2.7)
где 7 — вектор-столбец из т0 коэффициентов регрессии для сопере- менных пропусков. Остаточная сумма квадратов, минимизируемая по (0, 7), равна:
SS(0, 7) = ^ Gi ~ х,0 - х^У *^$У, ~ Xj0 - z,7)2.
По определению Z
т. ~п
SSG8, 7) = 2, (У, - х,0 - у? + =Е ^ - х^2.(2.8)
Оценки параметров и пропущенных значений У
Как и ранее, пусть 0. — правильная оценка наименьших квадратов 0, полученная в (2.2) по присутствующим значениям, т. е. по последним т = п — т0 строкам (У, X). Она минимизирует вторую сумму в (2.8). Но если при 0 = 0. положить 7 = (7,, ..., 7т„)т, гДе
7/ = ^ — х,0., i = 1, .... т0,(2.9)
то будет минимизирована и обратится в нуль первая сумма в (2.8), так что
SS(^, 7) = S (Ji-XjB.y.(2.10)
Значит, (0., 7) минимизирует SS(/3, 7) и является оценкой наименьших квадратов (0, 7), получаемой из модели ковариационного анализа (2.7). Уравнение (2.9) означает также, что точная оценка наименьших квадратов отсутствующего значения у,, т. е. У; = Х;0., есть у; — -у,, или в словесной формулировке:
(прогноз /-го пропущенного значения методом наименьших квадратов) есть (начальное значение для /-го пропуска) минус (2.11) (коэффициент для сопеременной /-го пропуска).
В работе Бартлета все У; приравниваются по этому методу нулю, однако с вычислительной точки зрения использование в качестве у( общего среднего более привлекательно и дает точную сумму квадратов отклонений от среднего.
Оценки остаточной суммы квадратов и ковариационной матрицы
Уравнение (2.10) означает, что остаточная сумма квадратов, получаемая по методу Бартлета, совпадает с точной суммой квадратов. Число степеней свободы, соответствующее этой остаточной сумме квадратов, равно п — р — т0 = т — р, что также верно. Следовательно, остаточный средний квадрат вычислен точно и равен 5^. Если ковариационная матрица В., полученная этим методом, будет равна V., вычисленному в (2.4) по т объектам с присутствующими у;, то все стандартные ошибки, суммы квадратов и критерии значимости также будут правильны. Оценка ковариационной матрицы В., получаемая при применении этого метода, равна оценке среднего квадрата остатков 5?, умноженной на верхнюю левую подматрицу р х р матрицы [(X Z)T(X, Z)]—*, которую мы обозначим tZ Так как оценка среднего квадрата остатков правильна, нам нужно лишь показать, что t/-1 — это сумма перекрестных произведений для X по объектам с присутствующими у,. Из матричной алгебры
U = У^Х - (^'Z)(ZTZ)-1(ZTA3]-1.(2.12)
По определению Zj
X^Z = Pfa(2.13)
и
ZTZ = E^Tz,- = I.(2.14)
Из (2.13) и (2.14)
(^Z)(ZTZ)--(ZT^) = (е'х^М.(2.15)
x i=l * xy=i J J'
Ho
если z = i,
0 — в противном случае.
поэтому (2.15) равно Е xj Х;, а в соответствии с (2.12)
так что о2. U = V. — ковариационной матрице В., получаемой при исключении объектов с пропуском У, что и требовалось для завершения доказательства, что метод, основанный на ковариационном анализе, дает для всех статистик решения, соответствующие решениям по методу наименьших квадратов.
ОЦЕНКИ НАИМЕНЬШИХ КВАДРАТОВ
ДЛЯ ПРОПУЩЕННЫХ ЗНАЧЕНИЙ МЕТОДОМ СОПЕРЕМЕННЫХ С ПОМОЩЬЮ ПРОЦЕДУР ДЛЯ ПОЛНЫХ ДАННЫХ
Изложенная теория, связывающая дисперсионный анализ для полных данных с ковариационным анализом для неполных данных, представляла бы только академический интерес, если бы требовалось специальное программное обеспечение. Мы опишем, как реализовать вычисление оценок наименьших квадратов т0 пропущенных значений по методу сопеременных, используя лишь программы дисперсионного анализа для полных данных и программу обращения симметричной матрицы т0 х ^о (для последней цели можно применять оператор, описанный в разделе 6.5). В разделе 2.7 дается обобщение метода, позволяющее вычислять верные стандартные ошибки и суммы квадратов для гипотез «с одной степенью свободы». Обоснование будет строиться на результатах для ковариационного анализа. Непосредственное алгебраическое доказательство содержится в [Rubin (1972)].
Согласно теории ковариационного анализа вектор -у можно переписать так:
7 = В-*е,(2.16)
где В — т0 х т0-матрица перекрестных произведений для остатков т0 сопеременных пропусков после коррекции на матрицу плана X, ар — вектор moxl взаимных произведений У и остатков сопеременных. Если В вырождена, значит, структура пропусков такова, что мы пытаемся оценить параметры, которые невозможно оценивать, например влияние обработки, когда все наблюдения для этой обработки отсутствуют. Итак, требуется: 1) вычислить В и q по
программам дисперсионного анализа для полных данных; 2) обратить В, чтобы вычислить -у по (2.16); 3) вычислить по (2.11) значения для пропусков.
Чтобы найти В и q, надо сначала провести дисперсионный анализ для сопеременной первого пропуска, т. е. в качестве зависимой переменной использовать не К а первый столбец Z, в котором все числа — нули, за исключением одной единицы, соответствующей первому пропуску. Остатки для т0 пропусков, полученные в результате, составят первую строку В. Будем повторять анализ для z-й сопеременной, /=1, ..., т0, в которой все нули, кроме единицы, соответствующей z-му пропуску, определяют остатки для пропусков в качестве /'-й строки В. Вектор q вычислим, проводя дисперсионный анализ для Y по реальным данным вместе с начальными значениями у,, i = 1, ..., т0. Остатки для т0 пропущенных значений составят вектор q.
Эти процедуры работают в силу следующих причин: ij-й элемент В равен:
by — ^^ik ^ik)^jk ^jk^’
где zik и zik (zJk и zjk) — присутствующее и подобранное при дисперсионном анализе по X для z-й (/-й) сопеременной значения для к-ro объекта. Для всех переменных X в матрице плана Е ^ik — — 2ik^xik = 0 вследствие элементарных свойств оценок наименьших квадратов. Отсюда ^Е (г,— Zjk^jk = ^, так как zjk — фиксированная линейная комбинация переменных X, (x/lt: /=1, ..., р), для к-ro объекта. Следовательно,
bij — ^^ik ^ik^jk — ^ij ^ij
— остаток z-й сопеременной для j-ro пропуска, поскольку zjk = \, если j = к, и zjk=0, если j к. Аналогично j-я компонента q — это сумма по всем л объектам остатков Y (с подставленными начальными значениями), умноженная на остаток у-й сопеременной. Из выкладок, подобных только что приведенным, следует, что это просто остаток у-й сопеременной.
Пример 2.1. Оценка пропущенных значений в плане с рандомизированными блоками. Следующий пример с рандомизированными блоками взят из [Cochran and Сох (1957), с. Ill; Rubin (1972, 1976b)]. Допустим, что отсутствуют два значения, их и и2, как показано в табл. 2.1. Примем модель (2.1) с семимерным параметром 3, состоящим из пяти параметров — средних для пяти обработок и
двух параметров для эффектов блоков. Средний квадрат остатков формируется по взаимодействию обработка — блок с (5 — 1) х х(3—1) = 8 степенями свободы при отсутствии пропусков.
Таблица 2.1. Значения показателя прочности хлопкового волокна в эксперименте с рандомизированными блоками
Обработка (фунты минеральных удобрений на акр)
Блоки
Суммы
1
2
3
36
«X
8,00
7,93
15,93
54
8,14
8,15
7,87
24,16
72
7,76
и2
7,74
15,50
108
7,17
7,57
7,80
22,54
144
7,46
7,68
7,21
22,35
30,53
31,40
38,55
100,48
Подставляя вместо пропусков общее среднее У = 7,7292, находим остатки для ячейки их, —0,0798, и для ячейки и2, —0,1105. Следовательно, q = —(0,0798, 0,1105)т. Вычислим также точную общую сумму квадратов: TSS, = 1,1679.
Взяв для их единицу, а для остальных объектов — нули, найдем, что остаток для ячейки их равен 0,5333, а для иг он составляет 0,0667. Аналогично, взяв единицу для иг, найдем остатки: 0,0667 — для их, 0,5333 — для иг. Отсюда
В =В =0,5333 0,06670,0667 0,5 3330,5333 0,06670,0667 0,5 333и В-1 =и В-1 =1,90480,23811,90480,2381—0,23811,9048—0,23811,9048
В =
В =
0,5333 0,0667
0,0667 0,5 333
0,5333 0,0667
0,0667 0,5 333
и В-1 =
и В-1 =
1,9048
0,2381
1,9048
0,2381
—0,2381
1,9048
—0,2381
1,9048
Оценки наименьших квадратов для пропущенных значений следующие:
(У, У) — В-1 е = (7,8549, 7,9206)т.
Итак, оценки наименьших квадратов их и иг равны соответственно 7,8549 и 7,9206. Оценки наименьших квадратов для пропусков, данные Кокреном и Коксом, были получены итеративно и совпадают с нашими значениями.
Оценки параметров, основанные на анализе заполненных данных, будут совпадать с оценками наименьших квадратов. Например, верными оценками средних по обработкам будут просто средние по обработкам присутствующих и подставленных значений (7,9283, 8,0533, 7,8069, 7,5133, 7,4500). Далее, будет получена верная остаточная сумма квадратов, а значит, и верный остаточный средний квадрат сг., если из числа степеней свободы остатков и — р вычесть число пропусков т0. Однако в общем случае суммы квадратов и стандартные ошибки будут неверными.
ОЦЕНКИ НАИМЕНЬШИХ КВАДРАТОВ СТАНДАРТНЫХ ОШИБОК И СУММ КВАДРАТОВ С ОДНОЙ СТЕПЕНЬЮ СВОБОДЫ
Верные оценки наименьших квадратов стандартных ошибок и сумм квадратов с одной степенью свободы можно получить с помощью простого обобщения методов из раздела 2.6.
Пусть X = Ст0 (где С — вектор из р констант) — линейная комбинация 0 с оценкой X = 650, полученная в результате дисперсионного анализа по данным, заполненным по методу наименьших квадратов. Поскольку были подставлены оценки наименьших квадратов пропущенных значений, то 0 = 0. и, значит, X = X, — верная оценка наименьших квадратов X. Стандартная ошибка X, полученная с помощью дисперсионного анализа по полным данным, равна:
SE = б^СЛ^^С , (2.17)
а сумма квадратов, относящаяся к X, есть
с с =2CWA^C 'с с =2CWA^C '(2.18)(2.18)
с с =2
CWA^C '
с с =2
CWA^C '
(2.18)
(2.18)
(2.19)(2.19)(2.20)(2.20)
(2.19)
(2.19)
(2.20)
(2.20)
Правильная стандартная ошибка X = X. согласно разделу 2.5.4 представляет собой
SE = o.^UC,
а правильная сумма квадратов, относящаяся к X, —
SS* “ Ci *U С
Пусть Н — вектор т0 х 1 оценок X, полученных с помощью дисперсионного анализа для полных данных, при котором в качестве зависимой переменной вместо Y берут каждую из т0 сопере- менных пропусков, т. е. в матричных обозначениях
Я1 = СТ^ЛЭ-1^/.(2.21)
Ясно, что Н можно вычислять одновременно с В; i-ю компоненту Н и /-ю строку В получают из анализа для z-й сопеременной пропусков. Теория ковариационного анализа или матричная алгебра вместе с результатами из раздела 2.5.4 позволяют получить
C^UC = СТ^ЛЭ-'С 4- ЬПВ^Н.(2.22)
Выражения (2.17), (2.19), (2.21), (2.22) и равенство
с1. - S2(n — р)/(т — р) означают, что SE. можно просто выразить с помощью результатов, традиционно вычисляемых при дисперсионном анализе для полных данных:
SE. = V^-^(SE2 4- б^В-'Н).(2.23)
т—р
Аналогично (2.18), (2.20) с X = X., (2.21) и (2.22) означают, что можно также просто выразить SS.:
SS. = SS/[1 4- (SS/Х2)//1"В-^Щ.(2.24)
Пример 2.2. Уточнение стандартных ошибок при заполненных пропусках (продолжение примера 2.1). Чтобы применить описанный метод, требуется т0 4- 2 раз провести дисперсионный анализ для полных данных: первый раз — для заполненного начальными значениями У, по одному разу для каждой сопеременной и, наконец, для заполненного по методу наименьших квадратов Y. Следуя [Rubin (1976а)], рассмотрим данные из табл. 2.1 и линейную комбинацию, соответствующую сравнению обработок 1 и 2. В принятой в примере 2.1 параметризации Ст = (1, —1, 0, 0, 0, 0, 0) и Xх X — блочно-диагональная матрица 7x7, в которой верхняя левая подматрица 5x5 диагональна с элементами, равными 3. Тогда X — просто разность среднего трех наблюдений для обработки 1 и среднего трех наблюдений для обработки 2 со стандартной ошибкой, соответствующей полным данным, равной aV2/3, и суммой квадратов ЗХ2/2.
Как в примере 2.1, сначала оценим оба пропуска общим средним и получим остатки g = —(0,0798, 0,1105) и верную общую сумму квадратов TSS. = 1,1679.
При /=1, 2, ..., т0 для z-ro пропуска будем подставлять 1, а для всех остальных значений — 0 и проводить анализ получаемой /-й сопеременной пропусков с помощью программы дисперсионного анализа для полных данных. Пусть г, — вектор остатков, соответствующий т0 пропускам, и А, — оценка исследуемой линейной комбинации параметров. Тогда В = (г^ г^, как указано в примере 2.1, Ю = (Ан А2) = (0,3333, 0,0000), и, следовательно, H^ B~l Н = = 0,2116.
Теперь заполним пропуски оценками наименьших квадратов, найденными в примере 2.1 (7,8549, 7,9206), и проведем дисперсионный анализ по заполненным данным. Получаем оценку X: X = = —0,1250, а2 = 0,0368, SE = 0,1567, SS = 0,0235. Из (2.23) получаем правильную стандартную ошибку X:
SE. = V(8/6) (0,0246 + 0,0368 • 0,2116) = 0,2077,
а из (2.24) — правильную сумму квадратов, относящуюся к X:
SS. = 0,0235/(1 4- 1,5 • 0,2116) = 0,0178.
ВЫЧИСЛЕНИЕ СУММЫ КВАДРАТОВ
МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ
ПРИ НЕСКОЛЬКИХ СТЕПЕНЯХ СВОБОДЫ
Обобщая метод из раздела 2.7, мы получаем возможность вычислять верные суммы квадратов с несколькими степенями свободы. Методы, изложенные здесь, рассмотрены в [Rubin (1976в)]; более ранние работы, посвященные этим проблемам, — [Tocher (1952); Wilkinson (1968)], более поздняя — [Jarrett (1978)].
Пусть X = CTj3, где С — матрица р х w констант, определяющих w линейных комбинаций <3, для которых нужны суммы квадратов, и пусть X. = СТВ. — оценка наименьших квадратов X. Если вместо пропущенных значений были подставлены их оценки наименьших квадратов, то В = В. и поэтому X = X.. Для простоты допустим, что были выбраны w ортонормальных при полных данных линейных комбинаций, т. е. что
(2-25)(2-25)СТ^ЛЭ-'С = /.
(2-25)
(2-25)
Таким образом, ковариационная матрица X при полных данных равна сЧ. Значит, сумма квадратов, относящаяся к X при полных данных, равна:
SS = З^Х.(2.26)
Сумма квадратов, которую нам следует отнести к X, равна:
SS. = ^(С7 СС)—1Х..(2.27)
Пусть Н — матрица т0 х w оценок X, полученных с помощью дисперсионного анализа для полных данных по т0 сопеременным пропусков. Из теории ковариационного анализа или матричной алгебры вместе с результатами раздела 2.5.4 следует, что (2.22) выполняется и в общем случае, поэтому вследствие ортонормальности компонент X и равенства X = X. при оценивании пропущенных значений методом наименьших квадратов
SS, = Хт(/ + HTB-^-iX,(2.28)
или, в силу тождества Вудбери [Rao (1965), с. 29] и (2.26),
= SS — (ЯХ)Т(ЯЯТ 4- В)-1 (ЯХ).(2.29)
Для уравнения (2.28) требуется обращение симметричной матрицы w х w, а для (2.29) — матрицы т0 х т0. Следовательно, (2.28) предпочтительнее (2.29) при w < т0.
Пример 2.3. Уточнение сумм квадратов при заполнении пропусков (продолжение примера 2.2). Сумма квадратов для обработок имеет 4 степени свободы, которые мы разложим по следующим ортонормальным контрастам средних пяти обработок:
V^(4, -1, -1, -1, -1, 0, 0),
V^(0, 3, —1, —1, —1, 0, 0),
V^(0, 0, 2, —1, —1, 0, 0),
Vy(0, 0, 0, 1, -1, 0, 0).
Заметим, что при полных данных линейные комбинации имеют ковариационную матрицу аЧ.
Значения четырех контрастов, полученных в результате дисперсионного анализа для сопеременной первого пропуска, дают первую строку Я, а в результате анализа для второй сопеременной — вторую строку:
0,5164
0,0000
0,0000
0,0000"
H =
—0,1291
—0,1667
0,4714
0,0000
Таким образом, Н вычислена одновременно с В.
Наконец, проводя дисперсионный анализ по данным, в которых пропуски заполнены оценками наименьших квадратов, мы получим SS = 0,8191, Xх = (0,3446, 0,6949, 0,4600, 0,0775). Из (2.29) SS. = 0,7755.
Результаты дисперсионного анализа приведены в табл. 2.2, где сумма квадратов по блокам (без коррекции на обработки) была получена вычитанием сумм квадратов остатков для обработок и ошибок (0,7755 и 0,2947) из полной суммы квадратов (отклонений от среднего), 1,1679, найденной в примере 2.1.
Таблица 2.2. Дисперсионный анализ по заполненным данным
Источник дисперсии
Число степеней свободы
SS
Средний квадрат
F
Блоки (без учета обработок)
2
0,0977
Обработки (с учетом блоков)
4
0,7755
0,1939
3,9486
Ошибка
6
0,2947
0,0491
Сумма
12
1,1679
Средние обработок: 7,9283, 8,0533,
7,8069, 7,5133,
7,4500.
Контраст: обработка 1 — обработка 2 = —0,1250.
Стандартная ошибка = 0,2077.
ЛИТЕРАТУРА
Allan, F. G., and Wishart, J. (1930). A method of estimating the yield of a missing plot in field experiments, J. Agric. Sci. 20, 399-406.
Anderson, R. L. (1946). Missing plot techniques. Biometrics 2, 41-47.
Bartlett, M. S. (1937). Some examples of statistical methods of research in agriculture and applied botany, J. Roy. Statist. Soc. B4, 137-170.
Cochran, W. G., and Cox, G. (1957). Experimental Design. London: Wiley.
Davies, O. L. (1960). The Design and Analysis of Industrial Experiments. New York: Hafner.
Draper, N. R., and Smith, H. (1981). Applied Regression Analysis. New York: Wiley.
Hartley, H. O. (1956). Programming analysis of variance for general purpose computers, Biometrics
110-122.
Healy, M. J. R., and Westmacott, M. (1956). Missing values in experiments analyzed on automatic computers, Appl. Statist. 5, 203-206.
Jarrett, R. G. (1978). The analysis of designed experiments with missing observations, Appl. Statist.
38-46.
Kempthorne, O. (1952). The Design and Analysis of Experiments. New York: Wiley.
Pearce, S. C. (1965). Biological Statistics: An Introduction. New York: McGraw-Hill.
Preece, D. A. (1971). Iterative procedures for missing values in experiments. Technometrics 13, 743-753.
2
Rao, C. R. (1965). Linear Statistical Inference. New York: Wiley.
Rubin, D. B. (1972). A non-iterative algorithm for least squares estimation of missing values in any analysis of variance design, Appl. Statist. 21, 136-141.
Rubin, D. B. (1976a). Inference and missing data (with discussion), Biometrika 63, 581-592.
Rubin, D. B. (1976b). Non-iterative least squares estimates, standard errors and F-tests for any analysis of variance with missing data, J. Roy. Statist. Soc. B38, 270-274.
Snedecor, G. W., and Cochran, W. G. (1967). Statistical Methods, Ames: Iowa State University Press.
Tocher, K. D. (1952). The design and analysis of block experiments, J. Roy. Statist. Soc. B14, 45-100.
Weisberg, S. (1980). Applied Linear Regression. New York: Wiley.
Winer, B. J. (1962). Statistical Principles in Experimental Design. New York: McGraw-Hill.
Wilkinson, G. N. (1958a). Estimation of missing values for the analysis of incomplete data, Biometrics, 14, 257-286.
Wilkinson, G. N. (1958b). The analysis of variance and derivation of standard errors for incomplete data. Biometrics, 14, 360-384.
Yates, F. (1933). The analysis of replicated experiments when the field results are incomplete, Emp.
J. Exp. Agric. 1, 129-142.
ЗАДАЧИ
Познакомьтесь с литературой по дисперсионному анализу от [Allan and Wishart (1930)] до [Jarrett (1978)].
Докажите, что 3 в (2.2) является а) оценкой наименьших квадратов, б) несмещенной оценкой с минимальной дисперсией, в) оценкой максимального правдоподобия при нормальной модели. Какими из этих свойств обладает о2? Почему?
1 Русский перевод: Дрейпер Н., Смит Г. Прикладной регрессионный анализ.- М.: Финансы и статистика. — Кн. 1,1986; кн. 2, 1987.
Русский перевод: Рао С.Р. Линейные статистические методы и их применения. — М.: Наука, 1968.
Докажите, что (2.6) имеет Е-распределение.
Приведите все возможные аргументы в пользу того, что метод Бартлета позволяет получить верные оценки наименьших квадратов для пропущенных значений.
Докажите, что (2.12) следует из определения U~*.
Проведите промежуточные вычисления, ведущие к (2.13), (2.14) и (2.15).
Используя обозначения и результаты из раздела 2.5.4, докажите (2.16) и постройте метод вычисления В и е, вытекающий из этих результатов.
Проведите вычисления, ведущие к результатам из примера 2.1.
Докажите (2.17)—(2.20).
Выведите (2.22), а затем (2.23) и (2.24).
Проведите вычисления, ведущие к результатам из примера 2.2.
Проведите вычисления, ведущие к результатам из примера 2.3.
Выполните стандартный дисперсионный анализ для следующих данных, где 3 значения удалены из латинского квадрата [см. Snedecor and Cochran (1967), с. 313]:
Сборы проса (в граммах) с участков в латинском квадрате*
Строка
Столбец
1
2
3
4
5
1
В: —
Е: 230
А: 279
С: 287
D: 202
2
D: 245
А: 283
Е: 245
В: 280
С: 280
3
Е: 182
В: —
С: 280
D: 246
А: 250
4
А: —
С: 204
D: 227
Е: 193
В: 259
5
С: 231
D: 271
В: 266
А: 334
Е: 338
* Интервалы (в дюймах): А — 2; В — 4; С — 6; D — 8; Е — 10.
Глава 3. БЫСТРЫЕ МЕТОДЫ ОБРАБОТКИ МНОГОМЕРНЫХ ДАННЫХ С ПРОПУСКАМИ
ВВЕДЕНИЕ
В гл. 2 обсуждался анализ данных с пропусками только в одной выходной переменной Y, линейно зависящей от полностью наблюдаемых предикторных переменных. В этой главе мы рассмотрим три быстрых метода решения более общей задачи, когда пропуски 48
содержатся в нескольких переменных: анализ комплектных наблюдений, анализ доступных наблюдений и простые методы заполнения. В [Afifi and Elashoff (1966)] приведен обзор более ранних работ по пропускам, содержащий описание некоторых из обсуждаемых здесь методов. Хотя эти методы включены в статистическое программное обеспечение и широко используются, мы в целом не рекомендуем применять какой-либо из них, за исключением частных случаев, когда доля пропусков ограничена. Методы, описанные в части II настоящей книги, обеспечивают более обоснованные решения в более общих условиях.
Рассмотрим прямоугольную матрицу данных Y = Оу), где уц — значение переменной Yj для /-го наблюдения, / = 1, .... п, j = 1,
К. При отсутствии пропусков многие виды многомерного статистического анализа основаны на начальном сведении данных к вектору выборочных средних у = (у v, .... ук) и выборочной ковариационной матрице S = (sjk), где sjk = (л — I)-1 х Е (у1} — — YjlkYvk — YkV Таким образом, при наличии пропусков-важно уметь вычислять у и S. Мы рассмотрим быстрые методы анализа данных с пропусками в основном для этой задачи.
Как было подчеркнуто в гл. 1, свойства любого метода обработки пропусков сильно зависят от механизма порождения пропусков. За исключением особо оговоренных случаев, методы этой главы непригодны, когда выполняется только условие ОС, а не ОПС (напомним, что условие ОС означает зависимость пропусков от наблюдаемых, а не от отсутствующих данных). Напротив, методы из части И, основанные на правдоподобии, применимы при менее жестком условии ОС, что очень существенно для многих практических приложений.
АНАЛИЗ КОМПЛЕКТНЫХ НАБЛЮДЕНИЙ
Обработка данных по полным (комплектным) наблюдениям сводится к использованию только тех наблюдений, в которых присутствуют все К переменных. Достоинства этого подхода состоят в 1) его простоте, так как можно непосредственно применять стандартные методы анализа для полных данных, и 2) сравнимости одномерных статистик, так как все они вычисляются по одному множеству наблюдений. Недостатки такого подхода обусловлены потерей информации при исключении неполных наблюдений. Уменьшение объема данных может быть значительным, особенно
при больших К. Например, если К = 20 и пропуск каждой переменной происходит независимо по закону Бернулли с 10%-ной вероятностью потери данных, то ожидаемая доля полных наблюдений равна 0,920 = 0,12, и, значит, будет использовано только 0,12/0,9 = 0,13, т. е. 13% присутствующих данных.
Очень важен вопрос — ведет ли выбор комплектных наблюдений к смещениям выборочных оценок. При условии ОПС, введенном в разделе 1.4, выборка полных наблюдений является простой случайной подвыборкой исходной выборки, и исключение неполных данных не приводит к смещению оценок. Однако, как правило, полностью зарегистрированные наблюдения существенно отличаются от выборки в целом. Например, при выборочном обследовании те, кто не прошел последующее обследование, часто чем-то отличаются от тех, кто проходит дальнейшее обследование. В таких случаях анализ по полным данным может привести к сильно смещенным результатам.
Природа этих смещений зависит от механизма порождения пропусков, дающих неполные наблюдения, и от особенностей обработки. Рассмотрим простой пример, когда К = 2, где У, (возраст) и У2 (доход) — две регистрируемые переменные. Допустим, что могут отсутствовать и У1, и У2 и что пропуски зависят только от У2, но не от Уь Точнее, РгСу(1 отсутствует, у,2 присутствует I уп, У,2) = ^о1Су/2); I’rO/i присутствует, у,2 отсутствует | уп, Лг) = ^юСу,2) и РгСу,1 и У12 присутствуют |у/р yi2) = 1 — — <poi Су,2) — рюСУ/г), где <р10 и <р01 — функции от уп, но не от у/Р Допустим, ЧТО ^01 И <р10 таковы, что пропуски при низких и при высоких доходах более вероятны, чем при средних доходах. Тогда частные распределения возраста и дохода искажены чрезмерно большой долей наблюдений, соответствующих людям со средним доходом. Оценки коэффициента корреляции между У, и У2 и параметров регрессии Y, на У2 по полным наблюдениям также смещены. С другой стороны, для линейной регрессии У[ на У2 не будет смещений, обусловленных извлечением подвыборки, поскольку выбор связан только с независимой переменной У2, но не с зависимой переменной У,. Для некоторых задач приемлемы даже менее слабые условия на зависимость между пропусками и значениями переменных. Например, если У, и У2 — дихотомические признаки и требуется сделать выводы об отношении шансов в частотной таблице 2x2, полученной по У] и У2, то анализ комплектных наблюдений не приведет к смещениям, если логарифм вероятности присутствия значения — аддитивная функция Y, и У2 [см. Klein- baum, Morgenstern and Kupper (1981)].
Информацию, которая содержится в исключенных неполных наблюдениях, можно использовать для того, чтобы исследовать, являются ли полные наблюдения случайной подвыборкой исходной выборки, т. е. допустимо ли предположение ОПС. Простой способ проверки этой гипотезы — сравнить распределение отдельной переменной Yj для полных наблюдений с распределением Yj для тех неполных наблюдений, в которых присутствует Yj. Объемы выборок часто настолько малы, что возможно сравнивать лишь характеристики типа средних, как в программе BMDP8D [см. Dixon (1983)]. Значимое различие указывает на то, что условие ОПС неприемлемо и что анализ по полным наблюдениям приводит к смещенным оценкам. Такие тесты полезны, но они ограничены по мощности, когда выборка для неполных наблюдений мала. К тому же такие тесты не могут непосредственно подтверждать справедливость условия ОС.
Для уменьшения смещений при выборе полных наблюдений применяют метод, при котором перед обработкой каждому полному наблюдению присваивают некоторый вес. Такой способ особенно распространен в выборочных обследованиях, в частности при анализе с полным отсутствием данных о части объектов, т. е. когда объекты не участвовали в обследовании. При присваивании весов можно использовать информацию, известную как об опрошенных, так и о неопрошенных, например данные о месте проживания. Способ выбора подходящих весов мы обсудим в гл. 4.
МЕТОДЫ ДОСТУПНЫХ НАБЛЮДЕНИЙ
Анализ по полным наблюдениям, видимо, не имеет смысла в одномерном случае, например при оценивании средних и маргинальных частотных распределений, так как значения для отдельного признака исключаются, если они относятся к наблюдениям, в которых отсутствуют другие переменные. Естественным выходом при анализе одной переменной является обработка по всем наблюдениям, в которых присутствует интересующая нас переменная. Этот способ мы будем называть методом или анализом доступных наблюдений (available-case analysis). При таком способе анализа данных используются все имеющиеся значения. Его недостаток заключается в том, что совокупность наблюдений, по которым строится выборка, меняется от признака к признаку в соответствии с матрицей пропусков. Как известно многим исследова-
телям, имеющим дело с большими объемами данных, это обстоятельство создает затруднения на практике, особенно когда вычисления ведутся для нескольких различных выборок (например, все женщины, женщины, состоящие или состоявшие в браке, и замужние женщины — при демографическом обследовании рождаемости). Исследователю хотелось бы иметь выборки постоянного объема, чтобы проверять правильность формирования разнообразных таблиц для вычислений. Изменение числа наблюдений, по которым строится выборка, при анализе доступных наблюдений затрудняет проведение таких простых проверок, а также создает трудности при сравнении признаков, если отсутствие данных — функция значений изучаемых признаков, т. е. если данные не ОПС.
Для вычисления оценок средних и дисперсий при ОПС можно применять описанную процедуру, но для вычисления таких мер зависимости, как коэффициенты корреляции и ковариации, требуются модификации. Естественным обобщением метода доступных наблюдений в многомерном случае являются парные методы доступных наблюдений, когда мера зависимости между Yj и Yk вычисляется по наблюдениям i, для которых присутствует и у^, и yik. В частности, можно вычислять парные ковариации:
S^ = t(yiryfK-y^'№ _ 1), (3.1)
где пук>* — число наблюдений, в которых одновременно присутствуют Yj и Yk, а средние У^к\ укк) и сумма в (3.1) вычисляются по этим л№ наблюдениям. Обозначим Sj], s(kk выборочные дисперсии Yj и ук по доступным наблюдениям. В сочетании с s^1 они позволяют получить следующую оценку корреляции:
r;, = ^vV55-. <3.2)
Недостаток оценки (3.2) состоит в том, что rjk может оказаться вне отрезка [—1, 1] в отличие от истинной корреляции. Это затруднение можно обойти, вычисляя парные корреляции по оценкам дисперсий, полученным по той же подвыборке наблюдений, что и ковариации:
r? = s?/^ (3.3)
Такая оценка обсуждается в [Matthai (1951)]. Она соответствует следующей оценке ковариации:
»д =(3.4)
Можно получить еще несколько вариантов оценок, заменяя средние в (3.1)—(3.4) их оценками по всем доступным наблюдениям. Применяя такой способ к (3.1), получим оценку
^? =^и - ^У’) Суд - У^/^^ - 1),(3.5)
которая называется ALLVALU-оценкой в программе BMDP8D [см. Dixon (1983)]. Она рассматривается также в [Wilks (1932)].
В парных оценках по доступным наблюдениям типа (3.1)—(3.5) делается попытка сохранить часть информации, содержащейся в некомплектных наблюдениях и теряющейся при анализе полных наблюдений. При ОПС уравнения (3.1)—(3.5) дают возможность получить состоятельные оценки ковариаций и корреляций по отдельности. Однако если рассматривать их в совокупности, то выяснится, что они обладают недостатками, сильно снижающими их практическую применимость.
Как мы уже отметили, с помощью (3.2) можно найти для корреляции значения, находящиеся вне допустимых границ. С другой стороны, (3.3) всегда дает значения, лежащие между —1 и 4-1. При К ^ 3 переменных оба выражения (3.2) и (3.3) могут дать оценку корреляционной матрицы, не являющуюся положительно определенной. Рассмотрим крайний случай с 12 значениями для трех переменных (— обозначает пропуск):
У,: 12341234————
У2: 1234————1234
У3: ————12344321
Из выражения (3.3) получим r^=1, r^ = 1, г®^ —1. Эти оценки
явно неприемлемы, поскольку из Corr (У,, У2) = Corr (Yt, Уг) = 1 следует Согг (У2, У3) = 1, а не —1. Аналогично ковариационные матрицы, получаемые в (3.1) или (3.4), не обязательно положительно определены. Для многих способов анализа, опирающихся на ковариационную матрицу, включая множественный регрессионный анализ, нужны положительно определенные ковариационные матрицы. В связи с этим необходимы специальные модификации обсуждаемых методов, когда это условие не удовлетворено.
Поскольку в методах доступных наблюдений используются-все данные, можно ожидать, что они будут лучше методов полных наблюдений. Это заключение подтверждается экспериментально в [Kim and Curry (1977)] для ситуации, когда данные ОПС и корреляции невелики. Другие эксперименты, однако, показывают превосходство метода полных наблюдений при больших коэффициентах корреляции [см. Haitovsky (1968); Azen and Van Guilder (1971)]. Ни один из этих методов, тем не менее, не является удовлетворительным в общем случае.
ЗАПОЛНЕНИЕ ПРОПУСКОВ
Введение
В методах полных наблюдений и доступных наблюдений данные с пропусками Уу не используются при оценивании маргинального распределения Y- или мер связи (корреляции) между Уу и другими признаками. Допустим, что в наблюдении с пропущенным У присутствует значение переменной Yk, сильно коррелирующей с Yj. Естественно попытаться предсказать значение Yj по Yk и затем включить эту подстановку (или заполненный пропуск) в анализ по переменной Уу.
Заполнение — это общий и гибкий метод решения задач при наличии пропусков в наблюдениях. Тем не менее ему присущи недостатки. В [Dempster and Rubin (1983)] отмечается: «Идея заполнения и соблазнительна, и опасна. Исследователь может успокоиться и прийти к приятному выводу, что в конце концов его данные не содержат пропусков. Опасность этого подхода в том, что он не позволяет отличать ситуации, где задача не очень трудна и может быть корректно решена таким способом, от ситуаций, где обычные оценки по реальным и подставленным данным сильно смещены». В разделе 3.4 мы обсудим некоторые простые методы заполнения и задачу оценивания среднего и ковариационной матрицы Уь .... Yk по заполненным данным.
Заполнение безусловными средними
Самый простой вид. заполнения — это оценка отсутствующих значений у^ средним Jj по присутствующим значениям переменной Yj. Ясно, что среднее наблюдаемых и подставленных значений равно у^, оценке методом доступных наблюдений. Дисперсия наблюденных и подставленных значений равна [(л^ — 1)/(л — 0]^ > 54
где Sj] — оценка дисперсии методом доступных наблюдений. При условии ОПС s^1 — состоятельная оценка истинной дисперсии, так что выборочная дисперсия для данных после заполнения — заниженная в (п^— 1)/(п— 1) раз оценка дисперсии. Это занижение — естественное следствие заполнения пропусков значением в центре распределения. Выборочная ковариация Yj и Yk по заполненным данным равна [(л^) — 1)/(л — ^l5^*’ где s ^ определена с помощью уравнения (3.5). Поскольку s^ — состоятельная оценка ковариации при ОПС, оценка по заполненным данным занижает ковариацию в (л^— 1)/(л— 1) раз. Значит, несмотря на положительную полуопределенность оценки ковариационной матрицы по заполненным данным, дисперсии и ковариации оцениваются смещенно с занижением*. Очевидные поправки для дисперсии Уу и ковариации Уу и У^, (и — 1)/(л^>— 1) и (л — 1)/(л0*> — 1) соответственно, дают оценки (3.5), в общем случае неудовлетворительные, как указано в разделе 3.3.
Заполнение условными средними.
Метод Бака
Более перспективным способом заполнения пропусков выглядит подстановка средних, условных по присутствующим в наблюдении переменным. Если переменные Yx, ..., Yk распределены по многомерному нормальному закону со средним ц и ковариационной матрицей Е, то регрессия пропущенных значений в данном наблюдении линейна по присутствующим значениям с коэффициентами, которые являются хорошо известными функциями от д и Е. В методе, предложенном Баком [см. Buck (I960)], сначала оценивают д и Е выборочными средним и ковариационной матрицей по полным наблюдениям, а затем используют эти оценки для вычисления линейной регрессии пропущенных переменных по присутствующим для каждого наблюдения. Подставляя значения переменных, присутствующих для данного наблюдения, в регрессионное уравнение, получаем прогноз пропущенных переменных для этого наблюдения.
Вычисление регрессионных уравнений для различной структуры пропусков может показаться затруднительным, но на деле оно относительно просто, если использовать оператор свертки, обсуждаемый в разделе 6.5.
Метод Бака для двух переменных проиллюстрирован на рис. 3.1. Точки, отмеченные знаком +, соответствуют наблюдениям с обеими присутствующими переменными. По этим точкам методом наименьших квадратов вычисляются прямые регрессии У2 на У, скажем уг = у^ + в"^?^, — Г^), где индекс с означает полные наблюдения. Наблюдения с присутствием У1 и пропуском У2 представлены кружочками на оси у. Бак заменяет их точками, лежащими на прямой регрессии. Если бы наблюдения были с пропусками Yi и присутствием У2, то после заполнения они расположились бы на прямой регрессии У на У2 — другой прямой на диаграмме.
Средние по присутствующим и подставленным с помощью этого метода значениям — состоятельные оценки средних при ОПС и слабых предположениях относительно моментов распределения [см. Buck (I960)]. Они состоятельны, когда механизм порождения зависит от наблюдаемых перемен
ных, хотя в этом случае для состоятельности оценок нужны дополнительные условия. Допустим, для данных на рис. 3.1 присутствие У2 зависит от Yt так, что выполняется условие ОС, несмотря на то, что распределение У, для полных и неполных наблюдений различно. В методе Бака неполные наблюдения проецируются на регрессионную прямую. При этом используется предположение о линейности регрессии У2 на Y,. Это предположение особенно со
мнительно, если заполнение включает экстраполяцию за границы для полных данных, как для двух неполных наблюдений с наибольшим и наименьшим значениями У на рис. 3.1.
Данные, заполненные по методу Бака, обеспечивают разумные оценки средних, в частности, если приемлемо предположение о нормальности наблюдений. Выборочная ковариационная матрица по заполненным данным занижает величину дисперсий и ковариаций, хотя и не так сильно, как при подстановке безусловных средних.
рассмотрим, например, выборочную дисперсию У2, полученную по заполненным данным на рис. 3.1. Выражая дисперсию У2 как сумму дисперсии среднего У2 при фиксированном У] и ожидаемой дисперсии У2 при заданном Уь получаем
^22 = 02|ст11 + ^22-1 ,
где /32| = оц/ои — коэффициент регрессии У2 на У,, 0221аи — часть дисперсии, объясняемая регрессией У2 на Yu a a22.j — остаточная дисперсия. Разброс подставляемых значений У2 включает компоненту дисперсии j32lCTii, но при этом приравнивает компоненту а^ нулю, поскольку подставляемые значения лежат точно на прямой. Следовательно, выборочная дисперсия У2, вычисленная по реальным значениям вместе с подставленными значениями, смещена и занижает а22 на (л — л(2))(л — I)-1 агги, где (п — п®) — число пропусков У2. Заметим, что величина смещения мала, когда Yt дает хороший прогноз У2 в том смысле, что a22-i мало по сравнению с о2г. Однако смещение не стремится к нулю при увеличении п, если только доля пропусков не стремится к нулю, т. е. эта оценка а22, как правило, несостоятельна.
В общем случае выборочная дисперсия по данным, заполненным по методу Бака, — оценка а^, заниженная на (п — I)-1 EojjObsi, где Cjj.obSij — остаточная дисперсия от регрессии Yj на присутствующие в наблюдении / переменные, когда у^ пропущен, и нуль, когда у^ присутствует. Выборочная ковариация Yj и Yk смещена на (п — Здесь ajk.obs>i — остаточная ковариация Yj и Yk от многомерной регрессии Yj, Yk на присутствующие в наблюдении переменные, когда пропущены у^ и yik, и нуль — в противном случае. Состоятельную оценку Е можно получить при условии ОПС, подставляя состоятельные оценки Ojj.obsj и °jk. obs, i (например, оценки, вычисленные, если позволяет объем выборки, по выборочной ковариационной матрице для полных наблюдений) в выражения для смещений, а затем добавляя полученные величины к выборочной ковариационной матрице для заполненных данных. Этот метод тесно связан с одной итерацией алгоритма для метода максимального правдоподобия, описанного в разделе 8.2, и в отличие от поправок на заполнение безусловными средними он не сводится к оценкам доступных наблюдений из раздела 3.3.
На первый взгляд кажется, что для регрессионного заполнения методом Бака нужно, чтобы переменные Yt, .... Yk измерялись на' интервальной шкале. Однако этот метод можно применить и к категориальным переменным, заменяя каждую из них набором фиктивных переменных, причем их число на единицу меньше числа категорий. Если категориальная переменная присутствует полностью, то при методе Бака фиктивные переменные входят в регрессионное уравнение только как независимые переменные, и проблем не возникает. Если часть ее значений пропущена, то набор фиктивных переменных будет входить в регрессии и как зависимые переменные. Тогда подстановки по регрессии — это линейная оценка вероятности попадания в категорию, представленную фиктивной переменной. Здесь трудности могут возникать из-за того, что для прогноза этих вероятностей используется линейная регрессия, а значит, предсказанные значения могут выйти за пределы (0, 1). Следовательно, применимость метода Бака ограничена при наличии категориальных данных.
Другие подходы
Если мы примем условие ОПС и будем пренебрегать разбросом оценок /I и Е по полным наблюдениям, то условные средние из раздела 3.4.3 будут наилучшими точечными оценками пропущенных значений в смысле минимизации ожидаемой квадратичной ошибки. Однако, как мы видели, даже в этих условиях для состоятельности оценок дисперсии по заполненным данным требуются поправки. Вообще говоря, маргинальные распределения для заполненных данных искажаются при подстановке средних. Влияние этих искажений особенно сильно, когда исследуются «хвосты» распределений или стандартные ошибки оценок. Например, при подстановке условных средних вместо пропущенных данных о доходе следует ожидать занижения доли людей, чей доход за чертой бедности.
Эти обстоятельства служат основанием для поиска другого подхода, когда подстановки выбираются случайным образом из всего распределения допустимых значений, а не из его центра. Один из путей реализации этой идеи — добавление к условному среднему подходящих возмущений. Методы такого типа часто используются в выборочных обследованиях. Мы отложим их обсуждение до гл. 4 и 12.
В целом трудно рекомендовать какой-либо из обсуждавшихся простых методов, поскольку 1) они ненадежны; 2) для них часто требуется введение специальных поправок, чтобы получить удовлетворительные оценки; 3) трудно определить ситуации, когда эти методы приемлемы, а когда — нет. Кроме того, с помощью этих методов нельзя получить простые верные решения, если требуется установить точность оценок, как при интервальном оценивании. В гл. 2 мы видели это в частном случае пропусков в одной переменной.
Главной целью этой книги (гл. 5—12) является целостное описание методов обработки данных с пропусками, основанных на построении статистической модели порождения данных и пропусков. Методы, базирующиеся на этой теории, надежны в том смысле, что в четко оговоренных условиях они обладают оптимальными статистическими свойствами, по меньшей мере асимптотически. Эти методы не требуют специальных поправок ни для точечных, ни для интервальных оценок, и ситуации, в которых они применимы, явно задаются описанием моделей. На практике мы редко знаем точную модель, поэтому можно пытаться перебирать различные модели.
ЛИТЕРАТУРА
Afifi, A. A., and ElashofT, R. М. (1966). Missing observations in multivariate statistics I: Review of the literature, J. Am. Statist. Associ. 61, 595-604.
Azen, S., and Van Guilder, M. (1981). Conclusions regarding algorithms for handling incomplete data. Proceedings of the Statistical Computing Section, American Statistical Association 1981, 53-56.
Buck, S. F. (1960). A method of estimation of missing values in multivariate data suitable for use with an electronic computer, J. Roy. Statist. Soci. B22, 302-306.
Dempster, A. P., and Rubin, D. B. (1983). Overview, in Incomplete Data in Sample Surveys, Vol. II; Theory and Annotated Bibliography (W. G. Madow, I. Olkin, and D. B. Rubin, Eds.). New York: Academic Press, 3-10.
Dixon, W. J. (ed.), (1983). BMDP Statistical Software, 1983 revised printing, Berkeley: University of California Press.
Haitovsky, Y. (1968). Missing data in regression analysis, J. Roy. Statist. Soci. B30, 67-81.
Kim, J. O., and Curry, J. (1977). The treatment of missing data in multivariate analysis," Social. Meth. Res. 6, 215-240.
Kleinbaum, D. G., Morgenstern, H., and Kupper, L. L. (1981). Selection bias in epidemiological studies. American Journal of Epidemidogy, 113, 452-463.
Matthai, A. (1951). Estimation of parameters from incomplete data with application to design of sample surveys. Sankhya, 2, 145-152.
Wilks, S. S. (1932). Moments and distribution of estimates of population parameters from fragmentary samples, Annals of Mathematical Statistics 3, 163-195.
ЗАДАЧИ
Укажите несколько видов традиционного статистического анализа, основанных на выборочных средних, дисперсиях и корреляциях.
Покажите, что выборочная регрессия У, на У2, основанная на полных наблюдениях, дает несмещенные оценки параметров регрессии, если пропуски зависят только от У2 и регрессия У, на У2 лииейиа.
Покажите, что для дихотомических признаков У) и У2 выборочное отношение шансов по полным данным — состоятельная оценка отношения шансов в популяции, если логарифм вероятности пропуска имеет вид ^(У^ + ^2(^2)-
Постройте набор даииых, для которого оценка корреляции (3.2) находится вне интервала (—1, 1).
а) Почему оценка корреляции (3.3) всегда находится между —1 и 1? б) До- пустим, что в (3.1) средние у j и у к заменены оценками по методу доступных наблюдений. Всегда ли при этом получаемые в (3.3) оценки корреляции лежат в интервале (—1, 1)? Докажите это или приведите контрпример.
Сравните достоинства и недостатки методов полных наблюдений и доступных наблюдений при оценивании а) средних, б) корреляций, в) коэффициентов регрессии, когда не выполняется ОПС.
Познакомьтесь с результатами работ [Haitovsky (1968); Kim and Curry (1977); Azen and Van Guilder (1981)]. Опишите ситуации, когда анализ полных наблюдений более чувствителен, чем анализ доступных наблюдений, и наоборот.
Докажите утверждение из раздела 3.4.4, предполагая ОПС и пренебрегая выборочным разбросом оценок, что заполнение условными средними минимизирует ожидаемую квадратичную ошибку прогноза подстановки.
Рассмотрите двумерную выборку объема 45 с 20 полными наблюдениями, 15 наблюдениями с присутствием только У, и 10 наблюдениями с присутствием только У2. Пропуски заполняются безусловными средними, как в разделе 3.4.2. Определите в предположении ОПС смешение (в процентах) оценок следующих величин, полученных по заполненным данным: а) дисперсии К1(ац), б) ковариации ¥х и У2(а12), в) коэффициента регрессии Уг на У1(а12/ац). Для в) можно пренебречь в смещении членами порядка 1/и.
Рассмотрите предыдущую задачу, когда пропуски заполняются по методу Бака, и сравните ответы.
Опишите условия, в которых метод Бака явно лучше метода полных наблюдений и метода доступных наблюдений.
Предположим, что наши данные — случайная выборка по ^ и У2 с пропусками, где У, распределен по NGiH а^), у2 распределен по N(0O + 0i ^1 + 02 У р tf^) при заданном Ух и 0 = (дн о2, Зо. Зп ^ч)* Данные ОПС, первые т наблюдений — полные, Г] наблюдений содержат только Уь а г2 — только У2. Рассмотрите свойства метода Бака, применяемого к а) У, и У2, б) У,, У2 и У3 = У2, при вычислении оценок 1) безусловных средних Е(УХ | 0) и Е(У2 | 0); 2) условных средних Е(У, | У2, 0), Е(И | У2, 9) и £(У2| У,, 9).
Покажите, что метод Бака дает состоятельные оценки средних, если выполняется ОПС и распределение переменных имеет конечные четвертые моменты.
Выведите приведенные в разделе 3.4.3 выражения для смещений оценок ajj и ajk при методе Бака.
Глава 4. ПРОПУСКИ В
ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЯХ
ВВЕДЕНИЕ
Проблема неполных данных в выборочных обследованиях отличается от проблем, которые мы рассматривали в гл. 2 и 3, по двум главным аспектам. Во-первых, изучаемая популяция (явно) конечна, и поэтому оцениваемые величины, например средние или суммы, в популяции часто являются характеристиками конечной популяции. Во-вторых, при проведении анализа определяющее значение традиционно имеет метод сбора данных. В большинстве работ по пропускам в выборочных обследованиях принят рандомизацион- ный* подход к выводам, когда параметры популяции считаются фиксированными и выводы строятся исходя из распределения, соответствующего методу извлечения выборки. В отличие от этого подхода выводы, рассматриваемые в гл. 5—12 этой книги, основаны на статистической модели для значений переменных, и метод получения-выборки «участвует» в анализе, лишь косвенно влияя на выбор моделей. Эту главу мы начнем с показа различия между двумя этими подходами как для полных данных, так и для данных с пропусками. Затем обсудим общепринятые методы обработки пропусков, широко обсуждаемые в литературе по подходу от рандомизации. Более полное изложение проблемы пропусков данных в обследованиях с точки зрения и рандомизации, и моделирования см. в [Madow, Olkin, Nisselson and Rubin (1983), т. 2].
РАНДОМИЗАЦИОННЫЕ ВЫВОДЫ ДЛЯ ПОЛНЫХ ДАННЫХ
Допустим, что требуется сделать выводы о популяции, состоящей из 7V объектов или индивидуумов, и пусть Y = кУц^ гДе у. = (у.р ..., у.к) представляет вектор из к признаков для объекта /, i = 1, ..., N. Определим для /-го объекта индикаторную функцию:
* В оригинале — randomization mode of inference. Мы вводим термин рандоми- зационный, чтобы избежать возможной путаницы между обсуждаемым в книге подходом к построению выводов в выборочном обследовании, рандомизированными выводами (критериями) и рандомизированными планами (экспериментами). — При- меч. пер
7, =7, =
7, =
7, =
z'-й объект включен в выборку, О — в противном случае
и
/ = (/,, .... IN^.
Пусть множество inc = [/1 7, = 1]. Процесс извлечения выборки можно характеризовать распределением 7 при заданном У Например, простой случайный выбор при выборке объема п определяется распределением
ЛЦ П=ЛП =ЛЦ П=ЛП =© если £/,. = п,
ЛЦ П=ЛП =
ЛЦ П=ЛП =
О — в противном случае,
где Vn) — число сочетаний, в которых п единиц можно извлечь из популяции.
При простом случайном выборе определение того, какие единицы выбирать, не опирается на априорную информацию о популяции. В более эффективных планах такая информация используется, если она доступна. Например, может оказаться, что популяция разделима на слои (страты), в которых объекты относительно однородны. Тогда можно проводить расслоенный (стратифицированный) случайный выбор. Из у-го слоя с N единицами извлекают путем простого случайного выбора п объектов. В итоге получается jJ
выборка с объемом п = Еп:. В более общем случае используется ;=i J
матрица Z = (я^\ в которой z-я строка г, представляет информацию об z-м объекте, известную до начала обследования и используемую в плане обследования. Например, при расслоенном выборе г, указывает слой, к которому относится z-й объект. Выборочное распределение в таких планах определяется условным распределением / при заданных У и Z, которое мы будем обозначать /(/| У, Z).
Рандомизационные выводы в общем случае требуют, чтобы объекты извлекались путем случайного выбора, который характеризуется следующими двумя свойствами:
выборочное распределение задается исследователем до того, как станет известно хотя бы одно значение у. Точнее, Л1\У, Z) = = /(71 Z), так как распределение не может зависеть от неизвестных значений У, которые надо получить в обследовании;
для каждого объекта существует положительная (известная) вероятность извлечения. Обозначим ir, = Е(1Д Y, Z) = Рг(/, = = 1 | Y, Z), it; > 0 для всех L При равновероятном плане выбора, таком, как простой случайный выбор, эта вероятность одинакова для всех объектов.
Цель состоит в оценивании характеристик конечной популяции, таких, как среднее Y переменной Y, выборочными величинами, такими, как выборочное среднее. Выводы основываются на распределении выборочных величин при повторном выборе из распределения /, /(/1 Z). Подробное описание рандомизационных выводов можно найти в книгах по теории выборочных обследований, например в [Cochran (1977), Hansen, Hurwitz and Madow (1953)]. Вкратце: при построении выводов о параметре популяции Т совершают следующие шаги:
выбирают статистику ЦУ!пс), функцию выборочных значений У!пс, которая представляет собой (приближенно) несмещенную при повторном выборе оценку Т. Например, если Т = Y — среднее популяции, то / может быть выборочным средним у, которое является несмещенной оценкой Y при равновероятном выборе;
выбирают статистику У (У!пс), которая является (приближенно) несмещенной оценкой дисперсии ЦУ!пс) для повторного выбора. Например, можно показать, что для простого случайного выбора дисперсия выборочного среднего есть
Var(y) = (л-1 — N—')Sy,
где Sy — дисперсия значений (уи ..., yN) в популяции. Статистика v(Zinc) = (л~> -N-'Vy,(4.1)
где sy — дисперсия значении У в выборке — несмещенная оценка Var(y) при простом случайном выборе;
вычисляют интервальную оценку Т, предполагая, что t распределено приближенно нормально со средним Т и дисперсией у(У!пс). Например, 95%-ный доверительный интервал для Y при простом случайном выборе дается выражением
С95(У) = У ± 1,96\^Н^У-^,(4.2)
где 1,96 — процентиль 97,5% нормального распределения. Нормальное приближение выполняется в силу центральной предельной теоремы для конечной популяции [Hajek (I960)].
Отметим, что при таком построении значения jH ..., yN считаются фиксированными. Привлекательной чертой рандомизационно- го подхода является то, что не требуется задавать модель для значений в популяции, хотя для (4.2) нужно, чтобы распределение Y в популяции обеспечивало применимость нормального приближения t при выборке объема п из популяции объема N.
При другом подходе к построению выводов о параметрах конечной популяции, кроме выборочного распределения, определяют модель для Y, часто в виде плотности J(Y\ Z, 6) с неизвестным параметром 6. Эта модель используется затем для предсказания значений у, не попавших в выборку. Например, среднее популяции У можно оценить как
^^ +^/N’I I
где yt — ожидаемое значение yt для данной модели, в которой 6 заменено на оценку 6, такую, как среднее апостериорного распределения ур если задана байесовская модель. Мы обсудим этот подход в приложении к выборочным обследованиям в гл. 12.
КВАЗИРАНДОМИЗАЦИОННЫЕ ВЫВОДЫ ПО ДАННЫМ С ПРОПУСКАМИ
Ключевое положение рандомизационного подхода — известное распределение вероятностей, определяющее, какие значения наблюдаются, а какие — нет, теряет свою силу при наличии пропусков. Для примера допустим, что п объектов извлечены при простом случайном выборе, и положим
1, если yt наблюдается при включении в выборку,
О — в противном случае
и
R = (/?и ..., /^)т.
Значения Y присутствуют в том случае, если R, = ^ = 1. Теперь невозможно определить статистику, которая является функцией присутствующих значений Y и несмещенной оценкой среднего популяции Y по отношению к распределению /. Например, Кокрен [см. Cochran (1963)] показал, что среднее присутствующих значений
NN
yR = LIiRiyi/EIiRi(4.3)
смешенная оценка У с приближенным смещением
b(yR | К R) = YR-Y = (1 - ХЛ) (Y R - Y NR),(4.4)
где \R — доля объектов в популяции, дающих ответ (отклик), и yNR — среднее объектов популяции, не дающих ответа. При отсутствии информации о У NR мы не можем в У R ввести поправку на это смещение.
Для преодоления таких затруднений существуют два способа: делается некоторое модельное предположение относительно части популяции, не дающей отклика (например, что средние У в частях популяции, дающих ответ и не дающих, равны), или делают предположение о распределении R без каких-либо предположений о распределении У в популяции. Первый, путь связан с построением моделей для значений j и, значит, с модельным подходом к обследованиям при отсутствии пропусков. Второй путь, с привлечением распределения R, — более прямое обобщение рандомизационных выводов на случай пропусков. Для него мы будем использовать термин квазирандомизационный подход, следуя [Oh and Scheuren (1983)].
Составляющими элементами квазирандомизационного подхода являются: 1) известное распределение /(/| Z) значений, извлекаемых в выборку при отсутствии пропусков; 2) предполагаемое распределение индикаторов ответа R при заданных /, У и Z (это распределение строится, как правило, на предположении, что внутри каждой отдельной подгруппы популяции присутствие откликов у объектов соответствует второму этапу равновероятного случайного выбора); 3) функция / от присутствующих значений — приближенно несмещенная оценка изучаемого параметра Т при повторном выборе из совместного распределения / и /?; 4) функция v от присутствующих значений — приближенно несмещенная оценка дисперсии t при повторном выборе из распределения I и R. Доверительные интервалы для Т можно строить по / и v, как и ранее, в предположении нормальности.
В дальнейшем в этой главе будет рассматриваться квазирандомизационный подход. Модельный подход будет обсуждаться в гл. 12.
Пример 4.1. Отсутствие ответа как пример случайного под- N
выбора. Рассмотрим популяцию объема N с L R; = М респонден- тами. Извлечена простая случайная выборка объема п, в которой 3. Р. Дж. А. Литтл, Д. Б. Рубин65
ответ дали Е RJj = т респондентов. Допустим, что распределение R при заданных / и исследуемых переменных ¥ определяется выра-
(N
J(R 11, У) =J(R 11, У) =Vm) ,^ = М,
J(R 11, У) =
J(R 11, У) =
О — в противном случае. (4.5)
Заметим, что это распределение не зависит от значений I и Y, так что выполняется ОПС. Вероятность получения ответа равна М/N и она не зависит от извлекаемых объектов или значений признаков. Пусть Dt = RJ, и D = ф}9 ..., DN)T. Распределение D при условии LD: = т есть
\т) ’
/ф 1I, У) =
О — в противном случае,
что является распределением простой случайной выборки объема т. Отсюда 95Vo-ный доверительный интервал для среднего популяции Y есть yR ^\,%V(m”x — М-х)5уК, где yR и sTYR — среднее и дисперсия среди ответивших.
В основе (4.5) лежит сильное предположение о независимости R от / и Y;
R И (Л Г).
Это обозначение независимости из [Dawid (1979)]. На практике такое предположение часто нереалистично. Оценка взвешенных групп, обсуждаемая в следующем разделе, ослабляет предположение ОПС и приводит к необходимости его выполнения только внутри подгрупп популяции, так что выполняется ОС, а не ОПС.
МЕТОДЫ ВЗВЕШИВАНИЯ
Оценки весовых групп
Один из способов интерпретации вероятностного выбора — считать, что объект, извлекаемый с вероятностью %z, представляет тг^1 объектов популяции, так что ему следует присвоить вес %“! в оценке параметра популяции. Такая точка зрения, без сомнения, верна для расслоенного случайного выбора: пусть из Nj объектов слоя j выбираются rij объектов, тогда тг, = nj/Nj для /-го объекта из слоя j, и каждый объект в выборке представляет Nj/rij объектов 66
популяции. В частности, при отсутствии пропусков суммарное значение Т переменной Y можно оценивать величиной
(4.6)
называемой оценкой Хорвица—Томпсона [Horvitz and Thompson (1952)]. Среднее популяции У можно оценить величиной
N
У» =^/Л-(4.7)
I-1
где
W; = I /ТГ”1 /Е7
вес, приписываемый z-му объекту. Так как Е(1, | У) - ttz, то
E(t\ Y) = Еу^^"1 = Т
I- 1
и оценка суммарного значения по Хорвицу—Томпсону несмещенная при повторном выборе. Величина yw — несмещенная оценка среднего У для многих выборочных планов, а для некоторых планов приближенно несмещенная. Конечно, t и yw можно вычислить только при отсутствии пропусков, когда у, присутствует обязательно, т. е. I, = 1. Оценки весовых групп обобщают этот подход на случай пропусков, присваивая объектам с присутствием ответа вес, обратный вероятности выбора и присутствия ответа.
Пример 4.2. Оценка весовых групп при пренебрежимых пропусках. Допустим, что мы можем разделить популяцию на J групп, внутри которых наличие ответа не зависит от (Y, Г). Определим переменную группы С, которая принимает значение j для всех объектов из у-й группы. Предположим, что распределение наличия ответа равно: -
KR ц к о- Гд1^)"! =.Л=М, ™«
О — в противном случае,(4.8)
где Nj — число объектов в j-й группе, Mj — число объектов, дающих ответ при включении в выборку. Пусть ф^ = Mj/Nj — доля ответов в j-й группе. Если бы значение фj было известно, то оценки среднего и суммы по Хорвицу—Томпсону получились бы при присвоении z-му ответившему объекту из группы j веса (7г,фу)—L На практике фj неизвестно, но может быть заменено оценкой ф^
основанной на доле присутствующих ответов в выборке внутри группы j. В результате получается оценка Y, равная
£ ЕЕ ^ф-1,(4.9)
j-V i(Rw 11 J j-\ itRm * J
где R^ обозначает совокупность объектов выборки из ;-й группы, давших ответ. Естественной оценкой фj является доля ответов в выборке в j-й группе: 4>j = т}/ nj, где п^ — число объектов в выборке, irij — число ответивших среди них. При равновероятном выборочном плане и такой оценке фу (4.9) сводится к оценке весовых групп:
7WC = n-xLnjyjR,(4.10)
j
где yjR — среднее по ответившим в j-й группе и п = Е лу — объем выборки.
Допустим, что применяется простой случайный выбор и выполняется (4.8). Ох и Шойрен [см. Oh and Scheuren (1983)] вывели среднее и дисперсию 7WC по распределению R и I при заданных m = (ть ..., mj) и n = (лн ..., п,):
jrtY _ jn^Yj — Y)
E^..\Y, С. m, и)- Y +, <4.H>
I^JtCM-E©'^-^^,(4.12)
О';/? -^wc)2 п1О';/? -^wc)2 п1где Yj и Sj — среднее и дисперсия Y в j-й группе и в популяции. Заметим, что ywc — смещенная в общем случае условно по m и п оценка У. Ох и Шойрен предлагают следующую оценку среднеквадратичной ошибки ywc:
О';/? -^wc)2 п1
О';/? -^wc)2 п1
_ j /"A2/ mse(jwc) = £^,1 U -
где SjR — дисперсия ответивших объектов из выборки из группы j. 100(1 — а)®7о-ный доверительный интервал для Y можно построить в виде 7WC ± z, _ a/2(mse(7wc))1/2, где z, _ a/2 — 100(1 — а/2)-я процентиль стандартного нормального распределения, но свойства этих интервальных оценок в приложениях изучены слабо.
Выбор весовых групп
Весовые группы можно формировать по переменным плана обследования Z или по переменным У из выборки, зарегистрированным как для ответивших, так и для неответивших. Взвешивание применяется в первую очередь для обработки пропусков объектов, когда отсутствуют все изучаемые переменные. В этих случаях для формирования групп доступны только переменные плана Z.
Точной теории формирования групп в настоящее время нет, но можно предложить некоторые общие рекомендации. Группы следует выбирать так, чтобы 1) выполнялось предположение (4.8) о распределении ответов и 2) минимизировалась при (4.8) среднеквадратичная ошибка оценки типа j"wc. В выборках, полученных при равновероятном плане, дисперсия (4.12) превосходит с большой вероятностью компоненту смещения среднеквадратичной ошибки в (4.11). Дисперсия (4.12) минимизируется при таком выборе групп, когда, во-первых, они однородны по отношению к У, так что мала SjR, и, во-вторых, отсутствуют группы с малым объемом выборки отвечающих щу. Ключевым моментом (4.8) является независимость R от У и / внутри группы:
7?Л(У/)|С. (4.13)
Теория степени вкладов (propensity scores) [см. Rosenbaum and Rubin (1983), (1985)], обсуждаемая в контексте пропусков в обследованиях [см. Little (1986)], предписывает выбирать С так, чтобы приближенно выполнялось (4.13). Пусть X — множество переменных, присутствующих как для ответивших, так и для неответивших. Допустим,
/?1£(У/)|А; (4.14)
так что (4.13) выполняется, если в качестве С выбрано X. Однако в общем случае нельзя сформировать отдельную группу для каждого значения X, поскольку тогда в группах, где есть неответившие, может совсем не оказаться ответивших или их будет мало, что приведет к сильному увеличению дисперсии. Определим вклад Ответа у /-го объекта как
Р(х) = РГ(Л; = 1 |х,) и пусть
р(Х) = (р(х,), .... pUn)^-
Можно показать, что если p(Xj) положительно для всех z и выполняется (4.14), то ЯП. (К Г)\р(Х), так что расслоение по степени вкладов обеспечивает выполнение (4.13).
На практике р(х;) надо оценивать по выборочным данным. Естественна следующая процедура: 1) оценить р(х,) с помощью логистической или пробит-регрессии индикатора ответа R, на х^; 2) сформировать сгруппированную переменную, огрубляя оценку р(х^ до пяти или шести значений; 3) приравнять С этой переменной, чтобы внутри j-й группы все ответившие и неответившие имели бы одно и то же значение этой сгруппированной переменной.
Другие процедуры взвешивания
Некоторые варианты оценки (4.10) заслуживают внимания. Кессел и его коллеги [Cassel, Sarndal and Wretman (1983)] определяют веса для отсутствия ответа, обратные оценкам степени вклада р(х-) объектов с присутствием значений. В предположении справедливости модели этот метод позволяет устранить смещение из-за отсутствия ответов, но он может давать оценки с чрезвычайно большой дисперсией, так как респонденты с очень низкими вкладами получают довольно большие веса при отсутствии ответов, что может оказать существенное влияние на оценки средних и сумм. Кроме того, взвешивание непосредственно с помощью р^х^ может оказаться более чувствительным к точности определения модели регрессии R, на х,, чем расслоение, при котором р^х^ используется только в процессе формирования групп для взвешивания.
Иногда доля популяции Nj/N в каждой (/-й) группе известна либо извне, либо в связи с тем, что группы формируются при расслоении по переменным Z в плане обследования. В этом случае альтернативой J"wc является среднее пострасслоения:
^3 = ^^' (4J5)
При условии ОС, т. е. при (4.13), yps — несмещенная оценка У с дисперсией 2
Var(ypjy С, N,, ..., Nj) = ^^(1-^)7^. (4.16)
Оценку (4.16) можно получить, подставляя вместо SjR выборочные дисперсии по ответившим в j-й группе sjR. В большинстве случаев yps лучше ywc, кроме ситуаций, когда объемы выборок ответивших irij и дисперсия У между группами малы. Более подробно эти проблемы обсуждаются в [Little (1986)].
Интересный вариант yps получается, когда группы задаются по совместным уровням двух классифицирующих факторов Хх и Хг с J и К уровнями соответственно. Допустим, что в группе с Хх = j, Xz = k, j = 1, ..., J, к = 1, ..., К, извлечены njk из Njk объектов популяции. Значение переменной Y зарегистрировано у mjk из njk объектов, включенных в выборку в (/, к>й группе. Оценки пострасслоения и весовых групп принимают вид
и
^wc =^хЕхпакУ1кк^,
где YjkR — среднее по ответившим в (/, куй группе. Комбинированную оценку можно получить, допуская, что частоты Njk в популяции неизвестны, но маргинальные частоты для Хх и Х2, Nj + = = Е Njk и 7V+ к = Е Njk известны для всех j и к, как при публикации-данных переписи (например, X, — пол, Хг — раса, тогда имеются маргинальные распределения по полу и расе, но не совместное распределение в таблице пол х раса).
Метод выравнивания (raking) для групповых частот njk состоит в вычислении оценок N*k для Njk, которые удовлетворяют «маргинальным» ограничениям
NH = ExNjk =
N*.k=^N-jk = N+k, k=\,...,K,
и которые отличаются от наблюдаемых частот njk на факторы строк и столбцов, т. е. могут быть выражены в виде
N’jk = ajbknj^ j = ^J. к = 1, . ., К,
для определенных постоянных строк [а ,у = 1, ..., J] и столбцов \Ьк, к = 1, .... К\. В таблице \N*jk\ маргинальные частоты равны известным величинам Nj+ и N+k, а взаимодействие между факторами такое же, как в таблице с частотами njk. Выравненные групповые частоты N*jk можно вычислять с помощью итеративной процедуры пропорционального подбора, в которой текущие оценки умножаются на фактор строки или столбца, чтобы маргинальные частоты были равны соответственно Nj+ и N+k. Таким образом, на первом шаге вычисляются оценки
^= njk(Nj+/nj + ),
удовлетворяющие ограничению на маргинальные частоты по строкам Nj + . Затем находят оценки
согласующиеся с маргинальными частотами по столбцам, затем —
и т. д., пока процесс не сойдется. Сходимость и статистические свойства этой процедуры обсуждаются в [Ireland and Kullback (1968)], где показано, в частности, что выравненные оценки N*k/N пропорций групп — оптимальные, асимптотические нормальные оценки в предположении полиномиального распределения для частот в группах Mjk и они асимптотически эквивалентны оценкам максимального правдоподобия (МП-оценкам) для полиномиальной модели (вычислять МП-оценки труднее)._
Сглаживание объемов выборок njk дает сглаженную-оценку У :
j к
У RK = Д £ j ^кУ jkR / N>
дисперсия которой, видимо, будет обладать свойствами, средними между свойствами yps и ywc. Отметим, что эта оценка не определена, если mjk = 0, a njk # 0, и тогда требуется другая оценка. Такие оценки в рамках модельного подхода к отсутствию ответов при обследованиях обсуждаются в гл. 12.
МЕТОДЫ ЗАПОЛНЕНИЯ ПРОПУСКОВ
Введение
Теперь в общих словах мы обсудим методы заполнения пропущенных значений. Они относятся к уже рассмотренным в разделе 3.4 быстрым методам. Перечислим основные методы заполнения в выборочных обследованиях.
Заполнение средними по присутствующим значениям в выборке. Этот метод был изложен в разделах 3.4.2 и 3.4.3. Средние могут формироваться и внутри групп аналогично группам, образуемым для взвешивающих процедур. При таком подходе заполнение средними ведет к оценкам, сходным с оценками методами взвешивания при условии постоянства выборочных весов в классах взвешивания.
Процедуру заполнения пропусков с (пристрастным) подбором можно, в общем, описать как метод, при котором подстановка выбирается для каждого пропущенного значения по оценке распределения в отличие от заполнения пропусков средними, когда подставляется среднее распределения. В большинстве приложений эмпирическое распределение задается присутствующими значениями, поэтому при заполнении с подбором подставляются различные значения из данных для сходных объектов без пропусков. Заполнение с подбором широко распространено. Оно может включать очень сложные схемы отбора объектов. Хотя практика подтвердила достоинства этого метода, литературы, посвященной его теоретическим свойствам, явно недостаточно. Читателю можно рекомендовать работы [Ernst (1980); Kalton and Kish (1981); Ford (1983)]. Ссылки на последние публикации содержатся в [David, Little, Samuhel and Triest (1986)].
Замена — метод обработки пропусков на этапе сбора данных при обследовании. Он состоит в замене объекта с отсутствием ответа на другой объект, не включенный в выборку. Например, если невозможен опрос домовладельца, то можно опросить его соседа, не включенного в списки опрашиваемых. Было бы неверно рассматривать получаемую таким образом выборку как полную, поскольку те, кто дает ответы, могут систематически отличаться от тех, кого не удается опросить. Поэтому при анализе следует рассматривать эту замену как заполнение определенного вида.
Заполнение без подбора (cold deck imputation). Пропуск заполняется постоянным значением из внешнего источника, например значением предыдущего наблюдения из этого же обследования. Как и при замене, полученные данные принято рассматривать как полную выборку, т. е. последствия заполнения игнорируют. Удовлетворительной теории анализа данных, полученных при заполнении без подбора, не существует.
Заполнение по регрессии (см. также раздел 3.4.3) состоит в заполнении пропусков значениями, предсказываемыми регрессией пропущенных для данного объекта переменных на присутствующие, вычисляемой обычно по комплектным объектам. Заполнение средними можно рассматривать как частный случай заполнения по регрессии, если считать предикторами фиктивные переменные, указывающие группу, внутри которой происходит подстановка средних. Регрессионное заполнение является, по существу, модельным методом. Более подробно оно будет рассмотрено в гл. 12.
Стохастическое заполнение по регрессии основано на замене пропуска значением, подставляемым при заполнении по регрессии, в сумме с остатком, отражающим неопределенность предсказываемого значения. При нормальной линейной регрессионной модели естественны нормальные остатки с нулевым средним и дисперсией, равной остаточной дисперсии регрессии. При бинарной переменной, как в логистической регрессии, предсказываемое значение — вероятность наблюдения 1 или 0, а подставляемые значения (1 или 0) выбираются с этой вероятностью. Херцог и Рубин [см. Herzog and Rubin (1983)] описывают двухэтапную процедуру, при которой используется стохастическая регрессия для нормальных и бинарных данных. Стохастическая регрессия также относится к модельному подходу и поэтому будет обсуждаться в гл. 12.
Составные методы основаны на идеях нескольких методов. Например, можно объединить заполнение с подбором и заполнение по регрессии, вычисляя предсказываемое регрессией значение и добавляя затем остаток, случайно выбираемый из эмпирических остатков для предсказанных величин при формировании значений для подстановки (см., например, гибридную двухшаговую процедуру, приписываемую Шойрену в работе [Schieber (1978)]). В [David, Little, Samuhel and Triest (1986)] проводится сравнение составных методов и подстановки с подбором при пропусках величины заработка в текущем обследовании населения (Current Population Survey).
При методах многократного заполнения [см. Rubin (1978), (1987)] пропуск заполняется несколькими значениями. Существенный недостаток методов однократного заполнения заключается в том, что обычные формулы приводят для заполненных данных к систематически заниженным оценкам дисперсии оценок, даже если верна модель, применяемая для вычисления подставляемых значений. При многократном заполнении получаются правильные оценки дисперсии, которые можно получать обычными методами анализа полных данных. Методы многократного заполнения обсуждаются в гл. 12.
Заполнение средними
Пусть у у — значение Y для /-го объекта в группе j, i = 1, ..., Nj, j = 1, .... J. При заполнении средними для объектов выборки, не давших ответ, подставляется среднее yjR по mj ответившим в j-й группе. Для равновероятного плана среднее популяции Y можно оценить средним присутствующих и подставленных значений, а именно
где у — среднее присутствующих и подставленных значений в j-й группе. Теперь
7/ = Vh^r + (иу - ^)7yJ/ny = УjR, так что получаемая оценка Y — просто оценка с взвешиванием групп (4.10). Если в популяции известна доля каждой группы, то оценку пострасслоения 7ps также можно вывести как оценку, основанную на заполнении средними.
Мы показали, что для планов с равными весами взвешивание объектов, дающих ответ, по доле отвечающих в каждой группе позволяет получить такие же оценки средних и сумм, как подстановка средних по отвечающим для объектов, не дающих ответ. Это замечание относится и к неравновероятным планам при условии, что выборочные веса отражаются в оценках доли отвечающих и в подставляемых средних. Связи между заполнением пропусков и взвешиванием групп рассматриваются в [Oh and Scheuren (1983); David, Little, Samuhel and Triest (1983); Little (1986)].
Метод заполнения средними реализуется просто, но он обладает нежелательными свойствами, указанными в разделе 3.4.2. Во- первых, правильные оценки дисперсий у wc (или у р,) нельзя получить с помощью обычных формул для дисперсии, примененных к заполненным данным. Реально объем выборки занижен из-за отсутствия ответов, поэтому обычные формулы приводят к заниженной оценке истинной дисперсии. Во-вторых, величины, не линейные по данным, такие, как дисперсия Y или корреляция между двумя переменными, нельзя состоятельно оценить с помощью стандартных методов для полных данных, если их применить к заполненным данным. В-третьих, подстановка средних искажает эмпирическое распределение значений Y, что важно при исследовании распределения Y по гистограммам или по другим графикам, отображающим данные. Аналогичная проблема возникает, если значения Y объединены в группы для образования частотной таблицы, потому что пропуски в группах заполняются общим средним значением и, следовательно, относятся в результате к одной и той же группе Y Эта проблема побуждает искать распределенные значения для пропусков, используя методы их заполнения типа подстановки с подбором. Обратимся теперь к этому методу.
Подстановка с подбором
При большинстве методов подстановки с подбором (этот термин пока не стал общепринятым) пропуски заполняются значениями, полученными для другого сходного объекта выборки. Допустим, как и ранее, что извлечена выборка объема п из N объектов, и у т из и объектов выборки зарегистрированы значения Y, где и, N и т считаются в этом разделе фиксированными. Для простоты пронумеруем объекты так, что первые и объектов находятся в выборке, и первые т <_п из них дали ответ. При равновероятной схеме выбора среднее Y можно оценить как среднее по имеющимся и по подставленным значениям, что можно записать в виде
Уно = VmyR + (Л — т)у*к]/л,(4.17)
где yR — среднее по ответившим, и
^NR - £, п—т ’
где Н: — кратность, с которой j использовалось для подстановки т
вместо пропуска К Заметим, что Е Ht равно п — т — числу объектов с пропуском.‘~
Свойства yHD зависят от способа формирования чисел (Нх, ..., Нт). Проще всего вывести формулы, если рассматривать подставленные значения как выборку значений для ответивших, полученную при вероятностном плане выбора, когда известно распределение ^НХ1 ..., Н^ при повторном применении подстановки с подбором.
Допустим, что Hj задается случайным выбором с возвращением из зарегистрированных значений Y. Условно по зарегистрированным значениям выборки распределение ^Нх, ..., Нт) при повторениях процедуры подстановки с подбором полиномиальное с объемом выборки и — т и вероятностями \/т, ..., \/т (см. [Cochran (1977), раздел 2.8]. Отсюда
E{Hi | Y, R, Г) = (и — т)/т,
Var(//J Y, R, Г) = (п — w)(l — 1/т)/т,Со\(Нр Н/ | Y, R, Г) = -—(и — тУтг, / # Г.
Пусть УНЕ>| — оценка (4.17) для Y по распределению (Яи Н^. Тогда
^^HDI I ^ ^ ^) — У R
и
Var(vHDi I У Я, Л = (1 — w-,)(l — т/гО$~к/n. (4.18)
Моменты rHD1 при повторном выборе из Н, R и I равны:
ОДпя | У) = £(£(УНт | Y, R, /) | У),(4.19)
Var(.vHD1 | У) - Var(£(yHm | У R, /) 4- £(Var(jHD1 | У R, /) | У).
(4.20)
При простом случайном выборе и в предположении ОПС о распределении ответов по уравнению (4.5) мы получим
^(Унт И = У,
Var(yHDi I ^ = Uh-v — N-^S^. 4- (1 — m-1)(l — m/n)S2v/n.
Отметим, что подстановка с подбором ведет к оценкам с большей дисперсией по сравнению с оценкой yR, получаемой при заполнении средним. Из (4.20) следует, что дисперсия любой оценки yKD при подстановке с подбором, для которой £(Уно1 Y, R, Г) = yR9 больше дисперсии среднего yR. Преимущество метода подстановки с подбором в отличие от заполнения средним заключается в том, что искажения распределения выборочных значений отсутствуют.
Дополнительная дисперсия от выборочной подстановки с возвращением, определяемая уравнением (4.18), не является пренебрежимо малой. Ее можно уменьшить, задавая более эффективный план выбора. Допустим, например, что подставляемые значения извлекаются без возвращения. Если п — т < т, то мы можем выбрать (л — т) из т зарегистрированных значений у без возвращения и при этом Hi равно 1, если z-й объект отобран, и 0 — в противном случае. Чтобы определить процедуру в общем случае, запишем
п — т = кт 4- t,
где к — натуральное и 0 ^ t < т. При подстановке с подбором без возвращения к раз выбирают все зарегистрированные объекты, а затем «добирают» t дополнительных объектов, чтобы обеспечить все п — т значений, необходимых для пропусков. Таким образом,
7nr = kkmyR 4- ty,W(n — т\
где у, — среднее t добавочных значений К Согласно теории простого случайного выбора
Е^у, \Y, R, 1) = уR, Var(J, | Y, R, Г) = (1 - t/m)syR/t.
Если yH1D2 — оценка Y, полученная с помощью этой процедуры, то
7hd2 = (^ + \)mn-xyR 4- tn-xy, и
^C^HD2 I ^ ^ П — У ri
Уаг(Уш)2 \ Y, R, I) = (t/nHl — t/m^s^/n,(4.21)
что всегда меньше соответствующей добавочной компоненты дисперсии Унт в (4.18). Точнее, в предположении простого случайного выбора и бернуллиевского распределения присутствия ответов, игнорируя поправку на конечную популяцию, мы получим, что 1) дисперсия УHD1 не превосходит дисперсию yR более чем в 1,25 раза, и этот максимум достигается, если т/п = 0,5; 2) дисперсия yHD2 не превосходит дисперсии у R более чем в 1,125 раза, и этот максимум достигается при к = 0, t = п/4 и т = Зп/4, т. е. когда пропущена четверть значений [см. Kalton and Kish (1981)].
Другой метод генерирования значений для заполнения пропусков — последовательный подбор, при котором все объекты располагают в последовательность и пропущенное значение заменяется значением Y ближайшего предшествующего в этой последовательности объекта, давшего ответ. Например, если п = 6, т = 3, ун у 4 и у5 присутствуют, а у2, Уз и у6 отсутствуют, то у2 и у3 заменяются на ун а у6 — на у5. Если пропущен ун то потребуется некоторое начальное значение, выбранное, возможно, методом без подбора. Главным преимуществом последовательного подбора является его вычислительная простота. На его основе построены старые схемы заполнений для текущих обследований населения Бюро переписи (Census Bureau).
Допустим, что объекты выборки случайно упорядочены и извлечены путем простого случайного выбора, а также что действует бернуллиевский механизм порождения пропусков. Байлар и его соавторы [см. Bailar, Bailey and Corby (1978)] показали, что в этом случае оценка Y методом последовательного подбора, скажем Унпз’ — несмещенная с дисперсией, приближенно равной (при больших т и п и без поправок на конечную популяцию)
Var(?HD3 1^) = (8гу/т)0 + (м — т)/п\
Значит, дисперсия yHD3 увеличивается по сравнению с yR в (п—т)/ п 4- 1 раз, что равно доле пропущенных значений.
Можно уменьшить дополнительную дисперсию при подстановке с подбором, выбирая подстановку для пропусков с помощью самих- значений у для образования выборочных слоев [Bailar and Bailar (1983); Каков and Kish (1981)]. Самый крайний вид расслоения — упорядочить присутствующие значения У, а затем систематически выбрать t значений из этого списка.
Оценки подстановки с подбором, которые мы обсуждали до сих пор, не смещены только при общем нереальном предположении, что вероятность ответа не связана со значением К Если имеется некоторая дополнительная информация об объектах, дающих ответ и не дающих его, то ее можно использовать для уменьшения смещения, возникающего из-за пропусков. Внимания заслуживают следующие два подхода.
Подстановка с подбором внутри групп. Формируются группы, и пропуски в каждой группе заполняются присутствующими значениями из нее же. При этом выбор групп основывается на тех же соображениях, что и выбор групп для взвешенных оценок. Среднее и дисперсию полученных таким методом оценок У можно найти, применяя приведенные выше формулы отдельно внутри групп, а затем объединяя полученные значения. Поскольку группы формируются по совместным уровням категориальных переменных, они не идеально подходят для переменных в интервальной шкале.
Подбор ближайшего соседа. Этот подход основан на введении метрики d для измерения расстояния между объектами, определенной в пространстве сопутствующих переменных, и выборе подстановки по объекту с присутствующим значением, ближайшему к объекту с пропуском. Например, пусть хп, ..., хи — значения J сопеременных, измеренных в нормированных шкалах, у объекта / с пропуском уР Определим расстояние
dU, i') = шах | х^ — xrj |j
между объектами / и V. Мы можем выбирать подстановку для yt из тех i'-x объектов, у которых 1) наблюдаются ур, х^, ..., х^ и 2) d(i, I') меньше некоторого порога d0. Число «кандидатов» — подходящих i'-x объектов — можно выбирать, изменяя d0. В [Sande (1983)] данные о «кандидате» должны удовлетворять еще некоторым дополнительным логическим ограничениям (например, неотрицательный возраст). Схемы ближайшего соседа требуют значительных вычислительных затрат. Они стали применяться сравнительно недавно. Существует много работ по методам подбора, написанных в контексте исследований, в которых для «обрабатываемых» объек-
тов подбирается («связанный») контрольный объект [см. Rubin (1973а, b); Cochran and Rubin (1973); Rubin (1976a, b)]. Поскольку подставляемые значения являются довольно сложными функциями от присутствующих признаков, квазирандомизационные свойства оценок в таких процедурах подбора пока мало изучены.
Пример 4.3. Последовательный подбор с упорядочением по co- переменной. В [Coiledge, Johnson, Рагё and Sande (1978)] описан пример широкого применения метода подбора в обследовании строительных фирм в Канаде. Обследование охватило 50538 фирм, из которых 41432 были подвергнуты анализу. Признаки разделялись на четыре группы: а) полностью присутствующие ключевые показатели по данным об уплачиваемых налогах, включая район, стандартную индустриальную классификацию (SIC), общий доход (GBI), чистый доход (NBI) и показатель заработной платы и годового дохода (SWI); б) основные финансовые показатели по данным об уплачиваемых налогах, часть из которых отсутствовала; в) вторичные финансовые показатели и г) переменные обследования, собранные для различных, но пересекающихся подвыборок, и иногда отсутствовавшие. Только в 908 из 41432 записей была зарегистрирована вся информация о переменных четырех групп, в большинстве записей (34 181) наблюдались только ключевые показатели, в 2316 записях содержались только ключевые и основные финансовые показатели и в 4027 записях содержались ключевые показатели и переменные обследования. Подстановка с подбрром была проведена в несколько этапов. На каждом этапе пропуски в переменных одной группы заполнялись значениями из «донорских» записей, в которых содержались все переменные данной группы. Чтобы подобрать подходящие объекты из числа «доноров», показатели во всех записях были расслоены по провинции (району), по SIC и по SWI. На каждом этапе определялся набор «доноров» (набор подстановок) и набор «кандидатов» (объектов с пропусками). Внутри каждого слоя записи были упорядочены по GBI.
При подстановке значений в определенную запись для объекта- кандидата рассматривалось только по 5 доноров с каждой стороны, что давало 10 возможных доноров приблизительно с таким же значением GBI. Из этих десяти возможных доноров выбирался один, минимизировавший функцию расстояния, задаваемую в общем виде как
DIST (с, d) = 11пТЕХРс — 1пТЕХР„ | ,
где ТЕХР = GBI — NBI — суммарные расходы (total expenses), индекс с означает «кандидат», d — «донор». Расстояние измерялось по расходам из-за того, что подстановка требовалась для многих показателей, которые являлись просто детальным разложением расходов или сильно коррелировали с ними. Заметим, что подбор доноров и кандидатов был основан только на ключевых показателях, которые наблюдались полностью. Кроме того, расстояние было обобщено так, чтобы оно зависело, кроме расходов, и от других показателей, и модифицировано для более широкого охвата доноров за счет превращения расстояния в возрастающую функцию от числа включений на данном этапе потенциального донора d в действительные доноры.
После того как выбирался донор, пропущенные показатели у кандидата заменялись соответствующими значениями показателей донора. Иногда, чтобы гарантировать выполнение определенных ограничений, были необходимы некоторые преобразования или поправки. Например, допустим, что три неотрицательных показателя х, у и z должны удовлетворять условию х + у ^ г. Значения этих показателей у донора равны xd, yd и zd, тогда как у кандидата известно лишь значение zc. Если просто записать значения xd и yd как соответствующие показатели у кандидата, то может случиться, что xd + yd > zc, а это недопустимо. В данном случае xd и yd пропорционально уменьшали, чтобы выполнялось ограничение, а в качестве значений соответствующих показателей у кандидата подставляли
^с = (^rf/^)^, Ус = О^^с'
ОЦЕНИВАНИЕ ВЫБОРОЧНОЙ ДИСПЕРСИИ ПРИ НАЛИЧИИ ПРОПУСКОВ
До сих пор в основном обсуждался вывод оценок параметров популяции при наличии пропусков. В этом разделе мы рассмотрим с квазирандомизационной позиции построение оценок выборочной дисперсии, которые включают дополнительный член для учета пропусков.
Важно подчеркнуть, что для многих приложений вопрос смещения из-за пропусков часто более важен, чем оценка дисперсии. Можно сказать, что получить правильную оценку выборочной дисперсии хуже, чем вовсе не получить ее, если смещение оценки параметра велико и превосходит среднеквадратическую ошибку. Оценки дис-
Персии, описанные здесь, по существу, основаны на предположении, что сделан ввод поправок на наличие пропусков, устранивших смещения, порождаемые ими.
К настоящему времени формулы для дисперсии, учитывающие пропуски, выведены только для простой случайной выборки (без расслоения или с расслоением). В разделе 4.4 приведены примеры, в которых применяются формулы для взвешенных оценок. В разделе 4.5 обсуждались добавочные члены дисперсии для процедур с подбором, когда выбор подставляемых значений осуществляется по простой вероятностной схеме. В этой области многое требует дальнейшего развития, хотя сомнительно, что можно получить явные оценки для обследований, проводимых сложными последовательными методами с подбором типа метода из примера 4.3, если только не принимать чрезмерно упрощающих предположений.
Вычисление состоятельных оценок дисперсии для сложных выборочных планов, часто применяемых на практике, — непростая задача даже при полных данных. Вследствие этого были развиты приближенные методы, применимые к широкому кругу выборочных планов. Простота этих методов обусловлена тем, что вычисления сводятся к расчету величин для множества единиц выбора, называемых конечными кластерами (КК, ultimate clusters). КК — самая большая единица выбора, извлекаемая из популяции. Например, в первый этап планирования построения выборки домовладельцев может входить выбор районов из переписного перечня. Выборка может быть составлена из «самопредставляющих» районов, включаемых в выборку с вероятностью 1, и из «несамопред- ставляющих» районов, извлекаемых из популяции. Тогда конечными кластерами являются «несамопредставляющие» районы и единицы выбора, формирующие первый этап извлечения «самопредставляющих» районов.
Оценивание дисперсии, проводимое по оценкам для КК, основано на следующей лемме.
Лемма. Пусть 0Н ..., 9к — случайные величины, которые 1) некоррелированы и 2) имеют общее среднее /z. Пусть
_ к (9 = - 9 у
Тогда 1) 9 —- несмещенная оценка /z и 2) Щв ) — несмещенная оценка дисперсии 9.
Доказательство. Е(9) = LE^/k = ц, что доказывает 1). Чтобы доказать 2), заметим, что
Е (0, - 6 У = Е (0- - /л)2 - k^G - /z)2.
7=1 V7=1
Отсюда
ЕСЕДе.-т-кЦс — l)Var(0) =
= £ Var(^) - ZVar(T) — k(k -1) Var(T) =
= £ Var(0,) — Ar2 Var (IT).(4.22)
;=i3
Ho
Ar2 Var (7) = Var (£ 9 A = £ Var (0 ),
7=1 37=1 J
поскольку оценки 6j некоррелированы. Значит, (4.22) равно нулю, что доказывает 2).
Эту лемму можно непосредственно применять к линейным оценкам в выборочных планах со случайным извлечением конечных кластеров с возвращением. Заслуживающая особого внимания ситуация приведена в следующем примере.
Пример 4.4. Стандартные ошибки, вычисленные по выборкам кластеров. Пусть популяция состоит из К конечных кластеров и пусть выборочный план задает извлечение к кластеров простым случайным выбором с возвращением. Пусть tj — сумма для переменной Y в у-м кластере. Допустим, что мы оцениваем сумму в популяции к t = Е t :
7=1 J
по Хорвицу—Томпсону:
где суммирование ведется по выбранным КК (1, ..., к), tj несмещенная оценка tj и тг^ — вероятность выбора у-го КК. Тогда 1) t и все (ktj/тг^ j = 1, к^ — несмещенные оценки t и 2) оцен-
ки {ktj/тгр j = I, ..., к) некоррелированы для данного метода выбора. Отсюда по лемме
^^^-KVIr^Tr-(4-23)
несмещенная оценка дисперсии L
Допустим, что в этом примере есть пропуски и мы выводим оценки tj сумм в КК с помощью одного из методов обработки пропусков, обсуждавшихся выше. Тогда мы по-прежнему можем использовать (4.23) для оценки дисперсии, если I) оценки tj не смещены по распределению I и R, т. е. процедуры заполнения или взвешивания не приводят к смещениям за счет пропусков, и 2) поправки на заполнение или взвешивание выбираются внутри каждого КК независимо, так что оценки tj остаются некоррелированными. Таким образом, чтобы можно было применять лемму, весовые группы не должны расчленяться конечными кластерами. Это требование может приводить к недопустимо малым весовым группам, особенно если число КК велико. Значит, построение правильной оценки дисперсии может войти в противоречие с необходимостью обеспечивать достаточно малое смещение, по крайней мере при использовании методов, обсуждавшихся до сих пор. Это противоречие в некотором смысле аналогично проблеме, возникающей при построении выборочного плана, когда систематический выбор может быть самой эффективной формой расслоения, но при этом невозможно вычислять правильные оценки дисперсий без дополнительных модельных предположений.
На практике редко происходит выбор КК с возвращением. Когда извлечение проводится простым случайным выбором без возвращения, оценки КК отрицательно коррелированы и оценки вида (4.23), основанные на лемме, завышают дисперсию. Можно попытаться устранить завышение, вводя поправку на конечность популяции (I —к/КУ однако в результате это приводит к занижению. Для несмещенной оценки требуется информация о втором и последующих этапах извлечения выборки. Таким образом, нужно, чтобы при построении простых оценок дисперсии, основанных на КК, доля извлеченных КК была мала, что даст возможность пренебре- 84
гать смещением, обусловленным выбором без возвращения. В практических исследованиях такая ситуация встречается часто.
Большинство выборочных планов включает расслоение при выборе КК. Снова предполагая, что доля извлеченных КК в каждом слое мала, получим, что с помощью оценок по конечным кластерам можно вывести верные оценки дисперсий линейных статистик. Допустим, что всего имеется Н слоев. Пусть thj — несмещенная оценка суммы thj для у'-го конечного кластера в слое А, А = 1, j = I, .... К„.
Можно оценивать / величиной
где суммирование ведется по Н слоям и kh объектам, включенным в выборку из слоя А, тгАу — вероятность выбора (А,/)-го КК в слое A, a th — оценка суммы в А-м слое. Оценкой дисперсии t является
Л Л нV(t |/) = Еп =Л Л нV(t |/) = Еп =(khfhj/^hj — ЦУkh(kh-l^(khfhj/^hj — ЦУkh(kh-l^
Л Л н
V(t |/) = Е
п =
Л Л н
V(t |/) = Е
п =
(khfhj/^hj — ЦУkh(kh-l^
(khfhj/^hj — ЦУkh(kh-l^
В частности, при выборе двух КК из каждого слоя (этот план особенно популярен) оценкой дисперсии является
н v(f| j) = Е п = 1н v(f| j) = Е п = 1(^i/,,rM Цг^иг^1(^i/,,rM Цг^иг^1
н v(f| j) = Е п = 1
н v(f| j) = Е п = 1
(^i/,,rM Цг^иг^1
(^i/,,rM Цг^иг^1
Условия, при которых можно получить эти оценки по заполненным данным, такие же, как и для случайного выбора: подстановки надо выполнять независимо в каждом КК.
В рамках обсуждавшихся выше задач рассматривались также нелинейные оценки с предварительной линеаризацией с помощью разложения в ряд Тейлора или с применением других приближенных методов, таких, как «складной нож», бутстреп или сбалансированное повторное воспроизведение. В [Cochran (1977); Wolter (1985)] можно найти сведения об этих методах и соответствующие библиографические ссылки.
ЛИТЕРАТУРА
Bailar, В. A., and Bailar, J. С. (1983). Comparison of the biases of the “hqt deck” imputation procedure with an “equal weights” imputation procedure, in Incomplete Data in Sample Surveys, Vol. Ill: Symposium on Incomplete Data, Proceedings (W. G. Madow and 1. Olkin, Eds ). New York: Academic Press.
Bailar, B. A., Bailey, L., and Corby, C. (1978). A comparison of some adjustment and weighting procedures for survey data, American Statistical Association 1978, Proceedings of the Survey Research Methods Section, pp. 175-200.
Cassel, С. M., Sarndal, С. E., and Wretman, J. H. (1983). Some uses of statistical models in connection with the nonresponse problem, in Incomplete Data in Sample Surveys, Vol. Ill: Symposium on Incomplete Data, Proceedings (W. G. Madow and 1. Olkin, Eds.) New York: Academic Press.
Cochran, W. G. (1963). Sampling Techniques, 2nd ed. New York: Wiley?
Cochran, W. G. (1977). Sampling Techniques, 3rd ed. New York: Wiley.
Cochran, W. G., and Rubin, D. B. (1973). Controlling bias in observational studies: A review, Sankhya A35, 417-446.
CoIledge, M. J., Johnson, J. H., Pare, R., and Sande, I. G. (1978). Large scale imputation of survey data, American Statistical Association 1978, Proceedings of the Survey Research Methods Section, pp. 431-436.
David, M. H., Little, R. J. A., Samuhel, M. E., and Tries!, R. K. (1983). Imputation methods based on the propensity to respond, American Statistical Association 1983, Proceedings of the Business and Economics Section.
David, M. H., Little, R. J. A., Samuhel, M. E., and Triest, R. K. (1986), Alternative methods for CPS income imputation, J. Am. Statist. Associ., 81, 29-41.
Dawid, A. P. (1979). Conditional independence in statistical theory (with discussion), J. Roy. Statist. Soc. B41, 1-31.
Ernst, L. R. (1980). Variance of the estimated mean for several imputation procedures, American Statistical Association 1980, Proceedings of the Survey Research Methods Section, pp. 716— 720.
Ford, B. N. (1983). An overview of hot deck procedures, in Incomplete Data in Sample Surveys, Vol. II: Theory and Annotated Bibliography (W. G. Madow, I. Olkin, and D. B. Rubin, Eds.). New York: Academic Press.
Hajek, J. (1960). Limiting distributions in simple random sampling from a finite population, Pub. Math. Inst. Hung. Acad. Sci. 4, 49-57.
Hansen, M. H., Hurwitz, W. N., and Madow, W. G. (1953). Sample Survey Methods and Theory. Two volumes. New York: Wiley.
1
Русский перевод: Кокрен У. Методы выборочного исследования. — М.: Статистика, 1976.
Herzog. T. N.. and Rubin. D. B. (1983). Using multiple imputations to handle nonresponse in sample surveys, in incomplete Dato in Sample Surveys, Vol. П; Theory anil Annotated Bibliography (W. G. Madow, 1. Olkin, and D. B. Rubin, Eds.). New York: Academic Press.
Horvitz. D. G . and Thompson. D. J. (1952). Л generalization of sampling without replacement from a finite population, J. Am. Statist. Associ. 47, 663 685.
Ireland. C.,T.. and Rollback. S. (1968) Contingency tables with given marginals, Biometrika55, 179 188.
Kalton, G.. and Kish. L. (1981). Two efficient random imputation procedures. American Statistical Association 1981, Proceedings o f the Survey Research Methods Section, pp. 146 151.
Little. R. J. Л. (1986). Survey nonresponse adjustments, hit. Statist. Rev. 54. 139-157.
Madow W. G. Olkin. I.. Nissclson. IL, and Rubin. D. B. (cds.)( 1983). Incomplete Data in Sample Surveys, three volumes. New York: Academic Press.
Oh. H. L.. and Scheurcn. F. S. (1983). Weighting adjustments for unit nonresponse, in Incomplete Data in Sample Surveys. Vol. U; Theory and Annotated BibliographyVN.Ci. Madow, I. Olkin, and D. B. Rubin, eds.). New York: Academic Press.
Rosenbaum, P. R.. and Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects, Biometrika 70, 41-55.
Rosenbaum, P. R.. and Rubin, D. B. (1985)-, Constructing a control group using multivariate matched sampling incorporating the propensity score. Am. Statist. 39, 33-38.
Rubin, D. B. (1973a). Matching Io remove bias in observational studies. Biometrics 29, 159- 183.
Rubin. D. B. (1973b). The use of matched sampling and regression adjustment to remove bias in observational studies, Biometrics 29, 185 203.
Rubin, D. B. (1976a). Multivariate matching methods that arc equal percent bias reducing, 1: Some examples. Biometrics .32, 109 120. Printer’s correction note p. 955.
Rubin. D. B. (1976b). Multivariate matching methods that are equal percent bias reducing. II: Maximums on bias reduction for fixed sample sizes,” Biometrics 32, 121-132. Printer’s correction note p. 955.
Rubin, D. B. (1978). Multiple imputations in sample surveys, American Statistical Association 1978, Proceedings of the Surrey Research Methods Section, pp. 20-34.
Rubin. D. B. (1987). Multiple Imputation for Nonresponse in Surveys. New York: Wiley.
Sande. I. G. (1983). I lot deck imputation procedures, in Incomplete Data in Sample Surveys, Vol.
Ill: Symposium on incomplete Data, Proceedings (W. G. Madow and 1. Olkin, Eds ). New York: Academic Press.
Schicbcr, S. J. (1978). A comparison of three alternative techniques for allocating unreported social security income on the Survey of the Low-Income Aged and Disabled. American Statistical Association 1978, Procceilings of the Survey Research Methods Section, pp. 212- 218.
Wolter, К. M. (1984). Introduction to Variance Estimation. New York: Springer-Verlag.
ЗАДАЧИ
Данные для задач 1—3: простая случайная выборка, состоящая из 100 человек из одного округа, со следующими результатами обследования состояния здоровья:
Возрастная группа, лет
Объем выборки
Число респондентов
Холестерол
среднее
стандартное отклонение
20—30
25
22
220
30
30—40
35
27
225
35
40—50
28
16
250
44
50—60
12
5
270
41
Вычислите средний уровень холестерола для респондентов и его стандартную ошибку. Вычислите 95%-ный доверительный интервал для среднего у отвечающих в округе, предполагая распределение значений нормальным. Можно лн распространять этот интервал на всех людей в округе?
Вычислите оценку среднего уровня холестерола по методу весовых групп в популяции и оценку ее среднеквадратической ошибки по формуле, следующей за (4.12). Постройте приближенный 95%-ный доверительный интервал для среднего популяции и сравните его с результатом из задачи 1. Какие при этом делаются предположения о механизме порождения пропусков?
Допустим, что данные переписи дают следующее распределение по возрасту в изучаемом округе: 20—30 лет — 20%, 30—40 лет — 40%, 40—50 лет — 30%, 50—60 лет — 10%. Вычислите оценку пострасслоения среднего уровня холестерола, соответствующую стандартную ошибку н 95%-ный доверительный интервал для среднего популяции.
Найдите оценку Хорвица—Томпсона и оценку весовых групп в следующем вымышленном примере расслоенной случайной выборки, где даны присутствующие значения х4 и у,-, вероятности извлечения т,- известны, а вероятности ответа ф,- известны для оценки Хорвица—Томпсона, но неизвестны для взвешенных оценок. Обратите внимание, что можно построить несколько различных взвешенных оценок.
Выборочные значения
^ 1 2 3 4 5 6 7 8 9 10 У, 1 4 3 2 6 10 14 ? ? ? 1г,- 0,1 0,1 0,1 0,1 0,1 0,5 0,5 0,5 0,5 0,5
Ф, 1 1 1 0,9 0,9 0,8 0,7 0,6 0,5 0,1
Постройте оценку Кессела и его соавторов, рассмотренную в разделе 4.4.3, по данным задачи 4. Сравните полученные веса с весами в оценке весовых групп.
В приведенной ниже таблице показаны средние неполной переменной У (скажем, доход в тыс. дол.) по отвечающим н доли отвечающих (число отвечающих/ объем выборки) при классификации по трем полностью наблюдаемым переменным: возраст (больше 30 лет, меньше 30 лет), семейное положение (холост, состоит в
браке), пол (мужской, женский). Обратите внимание, что построить весовые группы по полу, семейному положению и возрасту нельзя, так как есть одна группа с четырьмя индивидуумами, из которых не ответил иикто. Вычислите следующие оценки среднего Y для всей популяции и для подпопуляцин мужчин:
нескорректированные средние, основанные на полных наблюдениях;
взвешенное среднее при расслоении по степени вклада. Слои формируются объединением групп в таблице со степенью вклада менее 0,4, от 0,4 до 0,8, более 0,8;
среднее после заполнения средними внутри весовых групп, определенных в б). Объясните, почему скорректированные оценки больше нескорректированных.
Средние по ответившим и их доля в группахс различным полом, возрастом и семейным положением
Возраст, лет
Мужчины
Женщины
холост
женат
иезамужем
замужем
20,0
21,0
16,0
16,0
< 30
24/25
5/16
11/12
2/4
30,0
36,0
18,0
—
> 30
15/20
2/10
8/12
0/4
Ох и Шойрен [Oh and Scheuren (1983) J предполагают другой вариант выравненной оценки УRK из раздела 4.4.3, в котором оценки частот Njk ищут выравниванием объемов выборок ответивших [mjk] вместо VijkV Покажите, что 1) в отличие от ^RK Эта оценка существует, если mjk = 0, njk # 0, 2) она смешена, если ожидание mjk/njk нельзя записать как произведение эффектов строк и столбцов.
Покажите, что выравнивание по объемам выборок в группах и по объемам выборок отвечающих дают одинаковый ответ, если и только если
PijPkl^ilPjk^ = 1 для всех Ь к и 1,
где ру — доля ответивших в (/, /)-Й группе.
Вычислите выравненные оценки частот в группах по частотам выборки н по частотам ответивших в а) и б), используя маргинальные частоты популяции из в):
а) выборочные частоты
б) число
ответивших
mjk^
в) частота в популяции
^1
8
10
18
5
9
14
7
7
300
15
17
32
5
8
13
?
7
700
23
27
50
10
17
27
500
500
1000
Для данных задачи 9 найдите отношение шансов для долей ответивших, введенных в задаче 8. Повторите вычисления, поменяв местами числа ответивших 5 и 8 во второй строке таблицы б) в задаче 9. Сравнив отношения шансов, покажите, какой набор выравненных частот ответивших ближе к выравненным частотам выборки. Получите выравненные частоты для б) с измененной второй строкой и проверьте ваше решение.
Докажите по формулам для дисперсии FhDI и ^HD2 Результат из раздела 4.5.3 относительно максимума увеличения дисперсии в процедурах подстановки с подбором по сравнению с дисперсией среднего ответивших.
Часть 1Ь
АНАЛИЗ ДАННЫХ
С ПРОПУСКАМИ НА ОСНОВЕ ФУНКЦИИ ПРАВДОПОДОБИЯ
Глава 5. ТЕОРИЯ ВЫВОДОВ, ОСНОВАННЫХ НА ПРИМЕНЕНИИ ФУНКЦИИ ПРАВДОПОДОБИЯ
ПОЛНЫЕ ДАННЫЕ
Многие методы оценивания для неполных данных можно интерпретировать как методы максимизации функции правдоподобия при определенных предположениях относительно модели. В этом разделе мы обсудим основы теории оценивания методом максимального правдоподобия и опишем ее приложение к ситуации неполных данных. Сначала мы рассмотрим оценки максимального правдоподобия для полных наборов данных, приводя только основные результаты и опуская вычислительные подробности. Более полное изложение этих вопросов приведено, например, в [Сох and Hinkley (1974)].
Обозначим данные через У. У может быть скаляром, вектором или матрицей в зависимости от контекста. Предполагается, что данные порождаются согласно модели, описываемой функцией распределения или плотностью ДУ | 9), зависящей от скалярного или векторного параметра 9. При заданных модели и параметре 9j\Y\ 9) является функцией У, значениями которой служат вероятность значений У или плотность в У.
Определение 5.1. Функцией правдоподобия L(9 | У) называется любая функция от 9, пропорциональная ДУ | 9), при фиксированном У.
Заметим, что функция правдоподобия, или, короче, правдоподобие, представляет собой функцию параметра 9 при фиксированном У, в то время как вероятность или плотность является функцией У при фиксированном 9. В обоих случаях мы пишем первым аргумент функции. Несколько неточно говорить об одной функции правдоподобия, поскольку существует множество функций правдоподобия, отличающихся друг от друга на произвольный множитель, не зависящий от 9.
Определение 5.2. Логарифмической функцией правдоподобия 1(9 | У) называют натуральный логарифм (In) функции правдоподобия L(9 | У).
Во многих задачах работать с логарифмом правдоподобия удобнее, чем с правдоподобием.
Пример 5.1. Одномерная нормальная выборка. Совместная плотность п независимых одинаково распределенных наблюдений ^(Уь •••, Уп) из нормальной популяции со средним у и дисперсией <г равна:
Д Y | р, а2) = (27г<72)-п/2ехр[— у £ ^^2].
При фиксированном Y логарифм правдоподобия равен:
W\ У) = 1п[/-(К I ^tT2)],
или, опуская аддитивную постоянную,
W I У) = _^lna2-l£1^^2,(5.1)
что следует рассматривать как функцию от 9 = (д, а2^ при фиксированных наблюденных данных Y.
Пример 5.2. Экспоненциальная выборка. Совместная плотность независимых и одинаково распределенных наблюдений из экспоненциального распределения равна:
ДУ | 9) = 9—лехр(—Е^').
Следовательно, логарифм правдоподобия, рассматриваемый как функция 9 при фиксированных наблюденных данных Y, равен:
/(9 | У) = ln[(9-")exp(-E^)j = -и1п9-Е£.(5.2)
Пример 5.3. Пуассоновская выборка. Вероятность п независимых наблюдений Y=(yb ..., у„)т из пуассоновского распределения со средним 9 равна:
AY | 9)= ехр(-л9)9^/(П у,!),
где уД = (у,) х (у,—1)...х(1). Поэтому логарифм правдоподобия от 9 равен:
/(9 | У)=—л9 + Еу,/л9.(5.3)
Пример 5.4. Многомерная нормальная выборка. Пусть Y=^y^, где /=1,...,л, j=\К, — матрица, представляющая выборку из п независимых и одинаково распределенных наблюдений из много- 92
мерного нормального распределения с вектором средних H = (y.i, .... цк) и ковариационной матрицей E = (ajk, j=\,...,K, k=l,...,K). Значит, уу — это значение j-ro признака у z-ro наблюдения выборки. Плотность У равна:
ДУ | н^) = ^Ги/2)пК I ^ I -л/2ехр;—^Ео,—^Е-'О,—д)т/2;(5.4)
где | Е | обозначает детерминант Е, Т — транспонирование матрицы или вектора, а у, — вектор значений признаков z-ro наблюдения (z-я строка У). Правдоподобием от О, Е) будет это выражение, рассматриваемое как функция от д и Е при фиксированной наблюденной У
Предположим, что рассматриваются два возможных значения 9 при фиксированных данных У: 9' и 9". Пусть, кроме того, Ц9' | У) = 2Ц9" | У). Можно сказать, что полученные данные У в два раза правдоподобнее при 9', чем при 9". Рассмотрим более общую ситуацию. Пусть 9 — такое значение, что £(91 У) > £(9 | У) при любом возможном 9. Тогда при 6 наблюдаемые данные У по меньшей мере так же правдоподобны, как при любом другом возможном значении 9. В определенном смысле § — значение, лучше всего соответствующее данным. Это довольно естественно побуждает искать значение 9, максимизирующее функцию правдоподобия. Более формальное обоснование такого выбора приведено в разделе 5.2.
Определение 5.3. Оценкой максимального правдоподобия (ОМП, МП-оценкой) 9 называется значение 9, которое максимизирует правдоподобие Ц9 | У), или, что эквивалентно, логарифм правдоподобия 1(9 | У).
Сформулированное определение подразумевает возможность существования более одной ОМП. Тем не менее во многих важных моделях ОМП единственна, и, кроме того, функция правдоподобия дифференцируема и ограничена сверху. В таких случаях МП-оценку можно найти, приравнивая производную правдоподобия (или логарифма правдоподобия) по 9 к нулю и решая получаемое уравнение относительно 9. Уравнение
S(9| У) = Э-^Р=0
называют уравнением максимального правдоподобия, а производную логарифма правдоподобия S(9 | У) — функцией вкладов (score function). Обозначим через d число компонент в 9. Уравнение максимального правдоподобия, по существу, — это система из d уравнений, определяемых дифференцированием 1(91 У) по всем d компонентам 9.
Пример 5.5. Экспоненциальная выборка (продолжение примера 5.2). Логарифм правдоподобия для выборки из экспоненциального рас- 93
пределения определяется выражением (5.2). Дифференцирование по в приводит к уравнению максимального правдоподобия
и и
Решая его относительно 9, получаем ОМП 9=у =Lyj/n — среднее выборки Y.
Пример 5.6. Пуассоновская выборка (продолжение примера 5.3). Логарифм правдоподобия для пуассоновской выборки определяется выражением (5.3). Дифференцирование по 9 позволяет получить уравнение
-n-v-Ly^O.
Корнем уравнения является ОМП 9-у, выборочное среднее.
Пример 5.7. Одномерная нормальная выборка (продолжение примера 5.1). Согласно (5.1) логарифм правдоподобия для выборки объема п из нормального распределения равен:
//—2 I]„ „21 Vs Д)
I1па — ?—
222 о2 ’
где з^л-1!^^—у)2 — выборочная дисперсия (со знаменателем п, а не п—1, т. е. без поправки на число степеней свободы). Дифференцируя по /z и приравнивая производную нулю при /z = /z и а2=а2, получаем
(у-/2)/а2 = О,
что приводит к /2=^ . Дифференцируя по а2 и приравнивая производную нулю в fi — у и а2=о2, получаем
И2d2И2d2п^ —д)2^2_п2d42<Г и’п^ —д)2^2_п2d42<Г и’
И2d2
И2d2
п^ —д)2^2_п
2d42<Г и’
п^ —д)2^2_п
2d42<Г и’
что приводит к o7 = s2, так как ji^y. Итак, мы получим МП- оценку:
£=у , а2 = з2.
Пример 5.8. Многомерная нормальная выборка (продолжение примера 5.4). Стандартные вычисления из многомерного анализа (см., например, [Wilks (1963); Rao (1972); Anderson (1965)]) показывают, что максимизация (5.4) по /z и Е приводит к
Р-^У. L = S,
где у = (у >, • ••, У ^ — вектор-строка выборочных средних, a S=(s/J — выборочная ковариационная к х ^-матрица с U> £)-м эле- ментом sjk = n-xL"=1b'ij—У^1к—У д-
Свойство 5.1. Пусть g(0) — взаимнооднозначная функция параметра 9. Тогда ОМП для g(0) равна g(6), значению функции, взятому в ОМП 9 параметра 9.
Свойство 5.1 играет важную роль во многих задачах. Оно тривиально вытекает из того, что функцией правдоподобия oT^=g(6) является L(g”4<td У), достигающая максимума при Ф = g(6Y
Пример 5.9. Условное распределение для двумерного нормального распределения. Данные образованы п независимыми и одинаково распределенными наблюдениями (у-руД, ,= L • ••, л, из двумерного нормального распределения со средним (gH g2) и ковариационной матрицей
Как и в примере 5.4, МП-оценки равны:
i^j=y j , j =1,2,
^jk $jk> j* ^ l,^,
где У1 и у 2 — выборочные средние, aS — выборочная ковариационная матрица со знаменателем п. Из свойств двумерного нормального распределения следует, что условное распределение уа при данном уп нормально со средним мг + ^зыСУл—(лд и дисперсией а2з-1, где
021-1 — ^12/^1 1 И ^221“ ^22Д?2 ^аЧ
соответственно коэффициент регрессии и остаточная дисперсия для регрессии yi2 на уп. По свойству 5.1 ОМП этих величин равны:
0211 = ^ll/^ll = 5'12/5ц,
оценке наименьших квадратов коэффициента регрессии, и
022-1 ~ °22— Q\l^^11 =s22-l,
где s22a ^я"1^” , [у.2—у2—/32M(yi™7i^^ остаточной сумме квадратов от регрессии для п выборочных значений, деленной на п.
ОМП /32м и ст22.| можно вывести и непосредственно по правдоподобию для условного распределения уй при данном у,,. Как показано в следующем примере, связь между оцениванием нормальной линейной регрессионной модели методом максимального правдоподобия и методом наименьших квадратов оказывается более общей.
Пример 5.10. Множественная линейная регрессия. Данные состоят из п наблюдений (у„х(|,....xip), i =),..., п, над зависимой переменной у и р предсказывающими признаками. Мы предполагаем, что при заданном х, = (х,],.... х,р) значения у, независимо распределены по нормальному закону со средним Ро + Е^ДХу и дисперсией а2. Логарифм правдоподобия от 6 = (/30,/Зн ...,/Зр,а2) при фиксированных данных у у х„ i=l,...,n, равен
—^ Ina2—"^а~2У1^уб ^° Pixn ••• Рр^рУ- (5.5)
Максимизируя это выражение по 0, мы обнаружим, что ОМП для (/30, ..., Рр) есть оценки наименьших квадратов свободного члена и коэффициентов регрессии. МП-оценка а2 равна s2, где ns2 — остаточная сумма квадратов от наименьшей квадратической регрессии. Значит, как и ранее, оценка максимального правдоподобия а2 не учитывает потерю степеней свободы при оценивании py 1 параметров положения.
ПОСТРОЕНИЕ ВЫВОДОВ ПО ОМП
Интервальное оценивание
В этом разделе приведены некоторые основные свойства МП-оце- нок. Подробное описание их можно найти в книгах [Rao (1972); Сох and Hinkley (1974)].
Пусть § обозначает МП-оценку 0, построенную с помощью данных Y. Наиболее важным с практической точки зрения свойством 0 является то, что во многих случаях, особенно для выборок большого объема, применима следующая аппроксимация.
Аппроксимация 5.1.
(0—0) - МО, С), (5.6)
где С — ковариационная dx d-матрица для (0—0). С байесовской точки зрения в (5.6) 0, наблюдаемая ОМП, фиксирована, а 0 — случайная величина, в то время как с частотной точки зрения 0 фиксирована и неизвестна, а оценка 0 — случайная величина. В обоих случаях С считается фиксированной и подразумевается, что плотность /(• | •), по которой вычисляется правдоподобие, задана.
96
Частотная интерпретация (5.6) состоит в том, что при плотности «. | •) оценка 6 в повторных выборках распределена приближенно нормально со средним, равным истинному значению 9, и ковариационной матрицей С, которые менее вариабельны, чем 0. Байесовская же интерпретация (5.6) заключается в том, что апостериорное распределение 9 условно по Д- | •) и по наблюденным данным, нормально со средним 9 и ковариационной матрицей С, где 9 и С — статистики, значения которых зафиксированы в соответствии с наблюденными данными.
Вывод аппроксимации 5.1 с байесовской позиции основан на разложении логарифма правдоподобия в ряд Тейлора около ОМП:
/(9 | У) = /(9| У) + (9-9)г5(9| У)-|(9-9У/(9 | У)(9-9) + г(9| Y^
где 8(91 У) — функция вкладов, а 7(9 | У) — наблюдаемая информация, которая определяется как
I п92/(9 I У)Д9 | У)- Э9Э9 .
По определению 5(9 | У)=0. Поэтому, считая остаточный член г(9 | У) пренебрежимо малым, а априорное распределение 9 равномерным в области значений 9, допускаемых данными, получим, что апостериорное распределение 9 имеет плотность
Д9\ У)~ехр[-у(9-9У/(9 У)(9-9")]
нормального распределения для аппроксимации 5.1 с ковариационной матрицей
с=гЧё\ У),
которая обратна наблюдаемой информации в 9. Более подробное изложение этих вопросов приведено в [Lindley (1965)].
Частотный вывод аппроксимации 5.1 более сложен. Сначала мы раскладываем 5(9 | У) в ряд Тейлора около истинного значения 9 до первого члена
0=5(^ | У) = 5(9 | У)—7(9 | У)(9—9) + г(9~| У).
Если остаточный член г(9 | У) пренебрежимо мал, мы имеем
5(9 | У) = 7(9 | У)(9—9).
Р, Дж. А. Литтл. Д. Б. Рубин
Можно показать с помощью центральной предельной теоремы, что в определенных условиях регулярности 5(9 | У) при повторном выборе асимптотически нормальна со средним 0 и ковариационной матрицей
Д9)=Е(К9 I J) I 9)= \Ц9 I yW I 9)dy, называемой ожидаемой информационной матрицей. По одной из форм закона больших чисел
ДО*!^ У).
Объединение этих результатов и приводит к аппроксимации 5.1 с ковариационной матрицей
С=ГХ(9\
обратной к ожидаемой информационной матрице в 9 = 9.
В любом случае, полагая С равной Г'(9| Y),J"X^ или некоторой другой близкой матрице, аппроксимацию 5.1 можно использовать для доверительного оценивания 9. Например, 95%-ные интервалы для скалярного 9 равны:
9±1,96С1/2,(5.7)
где на практике можно часто заменять 1,96 на 2. Для векторного 9 95%-ные эллипсоиды определяются неравенством
(9—9)тС-1(9—9) С х2о,95, d,(5-8)
где х20 95 d—95-я процентиль распределения хи-квадрат с d степенями свободы. В более общей форме 95%-ные эллипсоиды для q<d компонент 9(1) параметра 9 можно задать неравенством
(9(1) 9(1)) С(11) (9(1) ^(1))^Хо,95,^’(5-9)
где 9(1) — ОМП 9(1) и С(11) — подматрица С, соответствующая 9(1).
Выводы, основанные на аппроксимации 5.1, не только справедливы, если определена Д- | •) и объемы выборок достаточно велики, но и оптимальны. Поэтому неудивительно, что подход с использованием ОМП и аппроксимации 5.1 весьма популярен, особенно если учесть, что во многих областях прикладной математики методы максимизации функций развиты очень хорошо.
На протяжении части II настоящей книги мы сконцентрируем внимание главным образом на больших выборках и постараемся избежать сложностей, связанных с различиями между байесовской и частотной интерпретациями, присущими ситуации, когда выборки малы.
Пример 5.11. Экспоненциальная выборка (продолжение примера 5.2). Дважды дифференцируя (5.2) по 0, получаем
1(0 | У) = — п/02 + 2£у/03.
Вычисляя математическое ожидание по У, находим Д0) = —п/02 + 2Е(Еу, | 0)/03 = —п/0г + 2п0/03.
Подставляя вместо 0 МП-оценку 0=у, имеем 1(0 | Y)=J(9) = n/y2.
Следовательно, дисперсия (0—0) для больших выборок равна у2/п.
Щц а2\у) = ДД ^Ц""Щц а2\у) = ДД ^Ц""0 IO.Sn/o40 IO.Sn/o4Пример 5.12. Одномерная нормальная выборка (продолжение примера 5.1). Дважды дифференцируя (5.1) по и а2 и подставляя ОМП параметров, получаем
Щц а2\у) = ДД ^Ц""
Щц а2\у) = ДД ^Ц""
0 I
O.Sn/o4
0 I
O.Sn/o4
Обращение этой матрицы дает асимптотические значения вторых моментов: VarQt—g) = a2/n,_ Cov(y—щ а1—а2)=0, Var(a2—аг) = 254/п, где из примера 5.7 р=у, a2=s2.
Проверка гипотез о значении 0
Согласованность значений 0 с данными часто характеризуют не эллипсоидами типа (5.8), а уровнями значимости, в особенности когда число d компонент 0 больше двух. При этом вычисляют расстояние от некоторого гипотетического значения 0О до 0:
ОД90, 0) = (0о-0)Ч>Ч0о-0\
Эта величина — левая часть (5.8), вычисляемая в 0=0О. Соответствующая процентиль распределения хи-квадрат с d степенями свободы есть уровень значимости или p-значение для 0О:
Pc = P^x2d >0,^00,5)1-
С частотной точки зрения уровень значимости при заданном 0=0О дает величину априорной вероятности того, что оценка максимального правдоподобия будет не дальше от 0О, чем наблюдаемая ОМП 0. Мы получим (двусторонний) критерий размера а для проверки
нулевой гипотезы НО:0=0О> если будем отвергать Но, когда p-значение рс меньше а. Обычно берут а равным 0,1, 0,05 или 0,01.
С байесовской точки зрения рс позволяет получить асимптотическую апостериорную вероятность множества значений 0, имеющих меньшую апостериорную плотность, чем 0О: Рг[9ё^ |Л^ | У)<Д0о У)}]. Примеры и обсуждение этих проблем см. в [Box and Tiao (1973)].
При справедливости предположения 5.1 асимптотически эквивалентна процедура определения уровня значимости по расстоянию между 0 и Во, измеренному с помощью статистики отношения правдоподобия, которая дает где
РД0о,0) = 21п[£(0| У)/Ш| У)] = 2[/(9| У)-/(9о| ЮГ
Рассмотрим более общий случай. Пусть 0=(9W 9(2))* Предположим, что нас интересует, насколько нулевое значение 0(1), 0(1)О, соответствует данным. Число компонент 0t равно q. Эта ситуация обычно возникает при сравнении адекватности двух моделей А и Б, называемых вложенными (nested), поскольку параметрическое пространство модели Б получается из параметрического пространства модели А, если положить 0(1) равным нулю. Два асимптотически эквивалентных подхода к определению уровня значимости, соответствующих применению рс или pL, выглядят следующим образом:
Рс^о^ = Рг!х^ >(9(i)o 9^/^j(9(i)o 9^)],
где С(11) — ковариационная матрица для 0(1), такая же, как в (5.9), и
PL(9(i)0) = pr^> ^
где
A^ = 2j/(9| У)—/(9 | У)5,
а 0 — значение 0, максимизирующее 1(01 У) при ограничении 9^ = 9(1)0. В соответствии с критериями уровня а мы отвергаем гипотезу Но** 9(1) = 0(1)О, если p-значение для 0(1)О меньше а.
Пример 5.13. Одномерная нормальная выборка (продолжение примера 5.1). Допустим, что 9=(/z, a2), 9(I) = /z, 9(2) = а2. Статистика критерия отношения правдоподобия для проверки гипотезы Но: р.= р-о равна:
X2 = 2(—п/2 In s2—п/2 + п/2 In So + п/2) = п ln(s8/s2),
где So^”1^^—/z0)2=s2+(j^ Значит, А^пкф + '2/и), где, согласно примеру 5.12, Г2=п(у—мо)2/^2 — статистика для проверки Но. основанная на асимптотической дисперсии для (д—/-to)- Асимптотически А'2 равна t2 и распределена при справедливости Но по хи-ква- драт с ^=1 степенями свободы. Точный критерий для данного случая будет получен, если сравнивать t2 непосредственно с /^распределением с 1 и п—1 степенями свободы. Как правило, для малых выборок такие точные критерии отсутствуют, когда мы применяем критерий отношения правдоподобия к данным с пропусками.
ОЦЕНИВАНИЕ МЕТОДОМ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ ПО НЕПОЛНЫМ ДАННЫМ
Формально говоря, между оцениванием методом максимального правдоподобия по неполным и по полным данным разницы нет: используя неполные данные, получают функцию правдоподобия параметров и находят МП-оценки, решая уравнения максимального правдоподобия. Несколько более проблематичен, однако, вывод асимптотических стандартных ошибок из информационной матрицы, поскольку наблюдения уже не являются в общем случае н. о. р. (независимыми одинаково распределенными) и простые результаты, основанные на асимптотической нормальности функции правдоподобия, непосредственно не применимы. Дополнительные трудности связаны с процессом, который порождает пропуски в данных. При обсуждении этих трудностей мы до некоторой степени поступимся точностью формулировок, чтобы сохранить простоту в обозначениях. Математически строгое обсуждение этих вопросов содержится в [Rubin (1976)], где затронуты частотные подходы, не основанные на правдоподобии.
Как и ранее, обозначим через Y данные, которые наблюдались бы при отсутствии пропусков. Тогда У=(УоЬ5, ymis), где УоЬ5 обозначает наблюденные, a ymis — пропущенные значения. Обозначим /(У|0) = -f(Yobs, ^mis I ^) вероятность или плотность совместного распределения УоЬ5 и ymis. Интегрированием по пропущенным данным ymis получим плотность вероятности
/(Kobs|0)=l/(yobs, ymis|^ymis.
Определим правдоподобие от 6, основанное на УоЬм без учета механизма порождения пропусков как любую функцию от 6, пропорциональную /(yobs|0);
це\уоЪд~ДУ^\еу (5.Ю)
С помощью данной функции правдоподобия можно делать выводы относительно 9, если механизм порождения пропусков пренебрежим в том смысле, который обсуждается ниже.
В более общем случае мы включаем в модель распределение переменной, указывающей наличие каждого элемента из У. Индикатором пропуска будем называть величину, принимающую значение 1, если данный элемент наблюдается, и 0, если он не наблюдается. Например, если У=(Уу) есть ихК-матрица п наблюдений над К- мерной переменной, индикатор пропуска будет определяться следующим образом:
D 'I, У„ наблюдается,
< 0, уи пропущен,
В нашей модели R рассматривается как случайная переменная и определяется совместное распределение R и У. Плотность этого распределения можно задать как произведение плотности распределения У и плотности условного распределения R при фиксированном У, т. е.
AY,R\9^=KY\QAfW.W-
Будем называть условное распределение R при данном У, зависящее от неизвестного параметра ^, распределением пропусков. В некоторых случаях это распределение известно точно, и параметризация с помощью ^ не нужна.
Фактически наблюдаемые данные состоят из значений переменных (УоЬ$,Л). Распределение наблюдаемых данных будет получено, если проинтегрировать совместную плотность У=(УоЬ$, ymis) и R по Уть:
AYobs,R\ м>= ^yobs, ymis I w | yobs, ymis,^ymis. (5.и) Правдоподобие от 9 и ф — это любая функция, пропорциональная (5.11):
ue,t\ Yobs,RW(Yobs,R\MY (5.12)
Теперь встает вопрос: когда следует строить выводы относительно 9 на основе правдоподобия Ц9,^ | УоЬ1. ^) в (5.12), а когда — на основе более простого выражения Ц9 | УоЬ5) в (5.10), в котором ме-
ханизм порождения пропусков игнорируется. Заметим, что при независимости распределения пропусков от пропущенных значений У„„ч, т. е. при
AR I У„ь„ Ут„ W =AR I y„hs, W,(5.13)
из (5.11) следует, что
/(yobs, R | MWW I yobs, ^)V(yObv ymis I ^dYmts ==KR\Y.bs,MYobs \ 9\
Во многих важных приложениях параметры 9 и ^ раздельны в том смысле, что совместное параметрическое пространство (9, ф) есть произведение параметрических пространств для 6 и для ^.Если 6 и 4 раздельны, то выводы относительно 9, основанные на правдоподобии Ц9, 4 | yobs, R), будут совпадать с выводами, основанными на Ц9\ Уок). Поэтому, если верно уравнение (5.13), то механизмом порождения пропусков можно пренебрегать — получаемые правдоподобия пропорциональны.
По определению [см. Rubin (1976)] пропущенные данные отсутствуют случайно (ОС), когда выполняется (5.13). Заметим, в частности, что если верно (5.13), то вероятность отсутствия данного элемента не может зависеть от его значения, когда он отсутствует. Уравнение (5.13) — это более точное выражение интуитивного понятия об условии ОС, обсуждавшегося в гл. 1. В практическом отношении важен тот факт, что для эффективного применения методов, основанных на правдоподобии, при которых игнорируют механизм порождения пропусков, требуется выполнение лишь условия ОС, а не более жесткого условия ОПС.
Пример 5.14. Неполная экспоненциальная выборка. Допустим, мы имеем неполную одномерную выборку, в которой присутствует УоЬя^ь •••>^,П)Т и отсутствует ymis = (jm+p ...,упУ. Чтобы конкретизировать наш пример, примем, что У; — экспоненциально распределенные случайные величины. Значит, как в примере 5.2,
ДУ | 0)=0“”exp(—Е ^Y
Правдоподобие, когда механизм порождения пропусков игнорируется, пропорционально плотности yobs при заданном 9, определяемой выражением
ЛУоь51 9)=Г"'ехр(-£ ^-).(5.14)
В данном примере R = (Ri, ..., /?„)т, где /?,= 1, /=1, ..., т, и /?, = 0, /=т+1, ..., п.
Допустим, что каждый элемент наблюдается с вероятностью Vs
так что справедливо (5.13). Тогда
и
Л y„bs, R I 9, W= W-W",n9-mexp(-L ^-Y
Если ^ и 0 раздельны, выводы относительно 9 можно строить по /(yobs|0), пренебрегая механизмом порождения пропусков. В частности, МП-оценка 9 равна просто Е^/т — среднему по присутствующим значениям У.
Теперь предположим, что пропуски в данных образуются вследствие цензурирования в некоторой известной точке с, так что присутствуют только значения, которые меньше с. Тогда
п
ДК I У. ^ = n«Ri I у^),t - 1
где
ДДДур^ДДДур^1, /?,= 1 и у^с или R-0 и у^с, О — в противном случае.
ДДДур^
ДДДур^
Следовательно, тп
ДУ^. R I 0)=П ftyi,Ri I е)П ,Ж I 9) =
тп
= П/^ | еж I Л')П , Ргф,.>с I 0) =(5.15)
I = 1I = т + 1
= 8-«р(-£ * )ехр[-м-;П
поскольку РгОу>с | 0) = ехр(—с/0) согласно свойствам экспоненциального распределения. В этом случае механизм порождения пропусков нельзя игнорировать, и точное правдоподобие (5.15) отличается от (5.14). Максимизация (5.15) по 9 дает ОМП 9 = = (Е^ уД(п—т)с)/т, которая больше по сравнению с ранее найденной оценкой Е^у/т. Положительная поправка к выборочному среднему вызвана цензурированием ненаблюдаемых значений.
Пример 5.15. Двумерная нормальная выборка с пропусками в одной переменной. Допустим, мы получили двумерную нормальную выборку, как в примере 5.9, но значения yj2, i=m-v 1, ..., л, второй переменной отсутствуют. Таким образом, мы имеем моно- 104
тонную структуру, как на рис. 1.3. Логарифм правдоподобия, в котором механизм порождения пропусков игнорируется, равен:
| УоЬ$) = - 1 Wln | Е | - 1 Е О^Е-'О^Т-
_l(„_m)lnan_lE(5Лб)
Z2/ = /л+1j
Это выражение может служить основой для построения выводов, если распределение R (и, в частности, вероятность пропуска yi2) не зависит от значений ук, хотя, возможно, зависит от значений уи, а 0~(у, Е) и параметр механизма пропусков раздельны. При таких условиях ОМП для р, и L можно вычислять, максимизируя (5.16). В гл. 6 описан простой подход к решению этой задачи, основанный на факторизации правдоподобия.
МЕТОД ОДНОВРЕМЕННОЙ МАКСИМИЗАЦИИ
ПО ПАРАМЕТРАМ И ПРОПУЩЕННЫМ ЗНАЧЕНИЯМ
Описание метода
В литературе часто рассматривается другой подход к обработке неполных данных, при котором пропущенные значения рассматриваются как параметры и проводится одновременная максимизация правдоподобия для полных данных по параметрам и пропущенным значениям. Точнее, пусть
^is I ГоЬ$) = М9 I robs-V^^obs^mis I ^(5-17)
интерпретируется как функция от (0, Tmis) при фиксированном yobs, и оценку 9 получают, максимизируя ^mis(9,ymis | Kobs) по 6 и по Tmis. Если пропущенные данные не ОС или ^ и не раздельны, то 6 надо было бы оценивать, максимизируя
W^> ^ ^mis I ^Obs. W, ^ | yobs, ymis, RV
(5.18)
=^^obs. ^mis| yobs> ymis,^)
no (9, ^, rmis).
Несмотря на пригодность для некоторых задач, этот подход неприемлем для анализа неполных данных в общем случае*.
* Данный подход можно считать одним из методов заполнения пропусков: пропуски заполняются значениями У . , найденными при максимизации (5.17) (или (5.18)). —Примеч. пер.
В частности, Литтл и Рубин [Little and Rubin (1983)] показали, что он не обладает оптимальными свойствами, присущими МП-оцени- ванию, за исключением тривиальной асимптотики, когда доля пропусков с увеличением объема выборки стремится к нулю.
Некоторые сведения о методе
Классический пример рассматриваемого подхода — обработка отсутствующих значений при дисперсионном анализе, где отсутствующие выходные переменные ymis интерпретируются как параметры и оцениваются вместе с параметрами модели, чтобы в процессе анализа можно было использовать эффективные с вычислительной точки зрения методы (см. гл. 2). Сравнительно недавно этот подход предлагался в [DeGroot and Goel (1980)] как один из возможных способов анализа смешанной двумерной нормальной выборки, где отсутствующими данными являются индексы, по которым связываются в пары значения двух переменных, причем все парные комбинации предполагаются равновероятными. Пресс и Скотт [Press and Scott (1976)] описывают байесовский анализ неполной многомерной нормальной выборки, который эквивалентен максимизации Lmis в (5.17) по (0, Vmis). Бокс и его коллеги [Box, Draper and Hunter (1970)], а также Бард [Bard (1974)] предлагали этот же подход в более общей постановке: вектор средних многомерного нормального распределения подчинялся уравнению регрессии.
Формально истинным правдоподобием от О, основанным на наблюденных данных УоЬ§, при выполнении условия ОС является ЦО | УоЬ$), определенное в (5.10). Функция Lmjs не является правдоподобием, поскольку в ее аргументы входят случайные величины ymjs, имеющие согласно модели некоторое распределение, и их, следовательно, нельзя рассматривать как фиксированные параметры. С этой точки зрения метод максимизации Lmis по 0 и по УтЬ не является методом максимального правдоподобия.
Рассматривая О и ymis как параметры, сталкиваются с такой серьезной проблемой, как увеличение числа параметров с ростом числа наблюдений. Максимизация Lmis обеспечивает оптимальные свойства, присущие МП-оценкам, лишь когда доля пропусков стремится к нулю с ростом объема выборки. Параметр О» напротив, не зависит от объема данных, и поэтому, грубо говоря, имеют место обычные асимптотики при максимизации ЦО | УоЬ$), если количество информации увеличивается с объемом выборки. Указанный недостаток интерпретации ymis как параметров хорошо иллюстрируется в простых примерах, приведенных в следующем разделе.
Примеры
Пример 5.16. Одномерная нормальная выборка с пропусками. Допустим, что У=(УоЬ5, ymis) состоит из п реализаций нормальной случайной величины со средним д и дисперсией о2. УоЬ$ представляет т наблюденных значений, ymis представляет п—т отсутствующих значений, для которых верно ОС. Параметр 0 = (д,а2) предполагается раздельным с параметрами механизма пропусков. Тогда
пtnп
KY\e)=nj^i\9)=n Ду, | еу п Лу,10),(5.19)
/=1/=1i = m*\
откуда следует, что ДУоЬ51 0)=гГ Ду, | 0) и ДУт^ 0)= П”т+Ду, | 0). Значит, £(# | УоЬ§) идентично правдоподобию для выборки объема т без пропусков из нормального распределения. Согласно примеру 5.7 максимизация ЦО | ymis) по 0 ведет к ОМП
д = Ед = Е(5.20)(5.20)
д = Е
д = Е
(5.20)
(5.20)
С другой стороны,
bmis(0, rmis I ГоЬ$)=ДУоЬ51 9)AYmis I 0).(5.21)
Это выражение надо максимизировать по 0 и по ymis. Максимизируя второй фактор в (5.21) по Ут18, получаем решение:
У, = ^ ,д=/л+1, ..., п,(5.22)
где д — максимизирующее значение д. Из примера 5.1 следует, что решениями для д и а2 будут:
__ т п ____ т__ п __,_
H^ + EyJ/n и а^=[Е(у,^У+Е (у.—^УУ». (5.23) 1 m+Y1
Подставляя (5.22) в (5.23) и сравнивая результат с (5.20), находим
д — д и а2=а2т/п.
Таким образом, мы получили МП-оценку среднего, но оценкой дисперсии стала ОМП, умноженная на долю присутствующих значе-
ний. Если доля пропусков существенна (например, т/п = 0,5), то оценка дисперсии а2 сильно смешена, и при zi—>.».'это смешение сохраняется, если только не выполняется асимптотика т/п^- 1. Более естественные асимптотики сохранили бы фиксированное значение т/п при увеличении объема выборки.
Пример 5.17. Допустим, мы добавили в предыдущий пример множество значений сопеременной X, присутствующих во всех п наблюдениях. Предположим, что значение У в z-м наблюдении при значении сопеременной Х=х; распределено нормально со средним /3<>+х,/3 и дисперсией а2. Обозначим 0 = (/3o,/3,<j2). Для того чтобы получать оценки максимального правдоподобия /30, 3 и а2, максимизирующие Ц9 | yobs), можно применить метод наименьших квадратов к т комплектным наблюдениям. Оценки 0О и /3, получаемые при максимизации Lmis, совпадают с ОМП, однако, как и в примере 5.16, оценкой дисперсии становится МП-оценка, умноженная на долю присутствующих значений.
Пример 5.18. Экспоненциальная выборка с цензурированными значениями. В примерах 5.16 и 5.17 оценивание с помощью максимизации Lmis по крайней мере приводило к разумным оценкам параметров положения, хотя оценки параметров масштаба требовали поправок. Тем не менее можно привести примеры, когда сильно смещены и оценки параметров положения. Рассмотрим, как в примере 5.14, цензурированную выборку из экспоненциального распределения со средним 9, где УоЬч представляет т присутствующих значений, находящихся левее точки цензурирования с, a ymis представляет п—т отсутствующих (цензурированных) значений, превышающих с. ОМП 9 — это 9=У-Цп—т)с/т. Максимизация Lmis в (5.18) по 9 и по Kmis (положим ^ равным нулю) приводит к тому, что цензурированные значения У оцениваются величиной с, а оценкой 9 является (т/п)9. Итак, в этом случае оценка среднего несостоятельна, если только доля пропусков не стремится к нулю при увеличении объема выборки.
Как показано в [Press and Scott (1976); Little and Rubin (1983)], смешенные оценки параметра положения могут получаться при максимизации Lmis и в задачах, связанных с нормальным распределением.
ЛИТЕРАТУРА
Anderson, Т. W. (1965). Лп Introduction to Multivariate Statistical Analysis. New York: Wiley.' Bard, Y. (1974). Nonlinear Parameter Estimation. New York: Academic Press.
Box, M. J., Draper, N. R., and Hunter, W. G. (1970), Missing values in multi-response nonlinear
data fitting. Technometrics 12, 613-620.
Box, G. E. P. and Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis. Reading, MA: Addison-Wesley.
2
Cox, D. R., and Hinkley, D. V. (1974). Theoretical Statistics. New York: Wiley.
DeGroot, M. H., and Goel, K. (1980). Estimation of the correlation coefficient from a broken random sample, Ann. Statist. 8, 264-278.
Little, R. J. A., and Rubin, D. B. (1983). On jointly estimating parameters and missing data by maximizing the complete-data likelihood, Am. Statist. 37, 218-220.
Lindley, D. V. (1965). Introduction to Probability and Statistics from a Bayesian Viewpoint, Part
Inference. Cambridge, Cambridge University Press.
Press, S. J., and Scott, A. J. (1976). Missing variables in Bayesian regression, II, J. Am. Statist.
Associ. 71, 366-369.
3
Rao, C. R. (1972). Linear Statistical Inference. New York: Wiley.
Rubin, D. B. (1976). Inference and missing data, Biometrika 63, 581-592.
Wilks, S. S. (1963). Mathematical Statistics. New York: Wiley.^
ЗАДАЧИ
Выпишите функцию правдоподобия для выборки независимых одинаково распределенных случайных величин из: а) бета-распределения, б) полиномиального распределения, в) распределения Коши.
Найдите функции вкладов для распределений в задаче 1 и МП-оценки, которые для этих распределений представляются в явном виде.
Найдите ОМП коэффициента вариации а/p для одномерной нормальной выборки.
а) Выясните, как связаны МП-оценки и оценки наименьших квадратов для модели из примера 5.10.
Покажите, что если данные [у,у„|— н. о. р. наблюдения из распределения
Лапласа (двойного экспоненциального),
/(У; | 9) = 0,5ехр(— \у(—ц(х) |),
'русский перевод: Андерсон Т. Введение в многомерный статистический анализ. — М.: Физматгиз, 1963.
® Русский перевод: Кокс Д., Хинкли Д. Теоретическая статистика. — М.: Мир, 1978.
3 Русский перевод: Рао С.Р. Линейные статистические методы и их применения. — М.: Наука, 1968.
^ Русский перевод: Уилкс С. Математическая статистика. — М.: Наука, 1968.
где 1Д.х) = 8» +8iXh +... +З^,. то МП-оцеики 8о. •••. 0к получаются минимизацией суммы абсолютных отклонений значений у от их ожидаемых значений ц(х^.
Объясните теоретические и практические различия между частотной и байесовской интерпретациями аппроксимации 5.1.
Вычислите наблюдаемую и ожидаемую информацию для распределений в задаче 1.
Покажите, что для случайной выборки из регулярного распределения (можно переносить дифференцирование под знак интеграла) ожидаемый квадрат функции вкладов равен ожидаемой информации.
Покажите, что для больших п в примере 5.13 Х1^1.
Найдите оценки дисперсий двух ОМП в примере 5.14.
Определите: 1) выполняется ли условие ОС, 2) преиебрежим ли механизм порождения пропусков при построении выводов по (У,, У2) с помощью правдоподобия для двумерной нормальной выборки с параметром 6 = (jii, ц2, ам, а22, а^) и пропусками в У2 при следующих механизмах пропусков:
Рг(у2 пропущен |у„ у2, 9, ^)=ехр(^0+^ьУ1)/!1+ехр(^0+^lyi)!, в и ^ = (^0,^1) раздельны,
Рг(у2 пропущен | у,, у2, в, ^) = ехр(^0 + ^1У|)/!1+exp(^0 + ^Ly2)|, 9 и ^=(&>, W раздельны,
Рг (у2 пропущен | у,, у2, 6, ^^O.SexpQt, + ^yj/ll+expQi, + ^у,)]. 6 и скаляр ^ раздельны.
Глава 6. ФАКТОРИЗАЦИЯ ПРАВДОПОДОБИЯ ДЛЯ МЕТОДОВ, КОГДА МЕХАНИЗМ ПОРОЖДЕНИЯ ПРОПУСКОВ ИГНОРИРУЕТСЯ
ВВЕДЕНИЕ
Логарифм правдоподобия /(9 | Yobs) лля неполных данных Yobs может быть сложной функцией, максимум которой найти нелегко и которая, конечно, может порождать информационную матрицу сложного вида. Однако для определенных моделей и структур пропусков удается анализировать /(6 | Yobs) с помощью обычных методов для полных данных. В общих чертах идея описывается в настоящем разделе, частные случаи для нормальных данных рассмотрены в остальных разделах главы, а для полиномиальных (перекрестно классифицированных) данных — в гл. 9.
ПО
Для некоторых моделей и структур пропусков существует такой вариант параметризации ф = ф(6) (где ф — взаимнооднозначная функция от 9), что логарифм правдоподобия разделяется на компоненты:
КФ I УоЬ$) = А(0. I УоЬ$) + /(021 robs) + ... + //0j yobs), (6.1)
причем
0i, 02, .... ФJ — раздельные, т. e. совместное параметрическое пространство для ф = (фх, ф2, .... ф}) является произведением параметрических пространств для отдельных ф^ у=1, ..., J;
компоненты /у(0у | УоЬ$) — это логарифмы правдоподобия для задачи с полными данными, или в общем случае, для более простых задач с неполными данными.
Если можно определить разложение с такими свойствами, то благодаря раздельности фи ..., ф} максимум 1(ф | УоЬ8) можно найти, максимизируя /у(0у | УоЬ$) отдельно для каждого j. Если в результате получена МП-оценка ф, то МП-оценку любой функции 9(0) от 0 можно получить, используя свойство 5.1, т. е. полагая §=9(фу
С помощью разложения (6.1) можно также вычислить приближенную ковариационную матрицу для ОМП, матрицу С в (5.6). Двукратное дифференцирование (6.1) и фх, ..., фJ дает блочнодиагональную матрицу вида
КФх I yObs)о
КФ I yObs)=КФ I yObs)=Д02 I ^obs)
КФ I yObs)=
КФ I yObs)=
ОW/I^obs)
Значит, ковариационная матрица С также блочно-диагональная и имеет вид
с(Ф I yobs)=с(Ф I yobs)=1-ЧФх I yobs)О
с(Ф I yobs)=
с(Ф I yobs)=
(6.2)(6.2)1-ЧФ11 уоЬ$)
(6.2)
(6.2)
О1-ЧФЛ yobs)_
Поскольку компоненты этой матрицы вычисляются для полных данных, найти их относительно легко. Приближенную ковариационную матрицу МП-оценок для функции 0=0(ф) от ф можно определить по формуле
С(У I Vobs)=Р(0)С(ф I Y^D^,(6.3)
где D — матрица частных производных по ф:
где^)=^’
а 6 — вектор-столбец.
ДВУМЕРНЫЕ НОРМАЛЬНЫЕ ДАННЫЕ С ПРОПУСКАМИ В ОДНОЙ ПЕРЕМЕННОЙ: МП-ОЦЕНИВАНИЕ
Впервые факторизация правдоподобия была предложена Андерсоном [см. Anderson (1957)] для нормальных данных, вид которых описан в примере 5.15.
Пример 6.1. Двумерная выборка с пропусками в одной переменной (продолжение примера 5.15). Логарифм правдоподобия для двумерной нормальной выборки с т полными двумерными наблюдениями [О/р yj2), /=1, ..., wj и п—т одномерными наблюдениями [у/р i-m+1,..., nj определен в (5.16). ОМП g и Е можно найти, максимизируя это выражение по g и Е. Однако уравнения максимального правдоподобия не имеют явного решения. Андерсон разложил совместное распределение уп и у}2 на маргинальное распределение yjX и условное распределение yi2 при заданном yjX:
ЯУщ Уп I ^ ^=ЛУ,Х I Mb ОпЖг | Уц, ^20М £>11> а221)>
где, согласно свойствам двумерного нормального распределения, рассмотренным в Примере 5.9, ДуИ | gb ац) — нормальное распределение со средним gi и дисперсией ан, а Ду12 | j/p ^.р 02Vv а2м) — нормальное распределение со средним
^201 + ^2мЛ1
и дисперсией а22.Р Параметр
0 —(дь ^11» ^20*Р ^21Р a22 l)^
является взаимнооднозначной функцией исходного параметра0=(дь ^2, ап, а12, о^г
совместного распределения уп и уй. В частности, ^t и ап присутствуют при обоих способах параметризации, а другие компоненты Ф определяются следующими функциями от компонент 9:
0211 = ^^^ аи»
^201 =^2 02н/*ь(6-4)
022-1 = ^22—а?2 /О') 1.
Аналогично компоненты 9, отличные от ^j и аи, можно выразить через функции компонент ф:
Д2 = @20\ "*■ /?2м^1>
ai2 = 021iaH»(6.5)
а22 = а22.1 + 02иац.
Плотность данных УоЬб факторизуется следующим образом:
mп
/(yobs I ^ПЛУ/р уп I 9) П Лу„ I 9)-/= 1i=m+ 1
тп
= [П/О',! I № I Л.. 9)] [ П ЯЛ, I 0)] =(6.6)
/ = 1i = m + 1
= 1П/0'/1 I Д1» а11)1 [Ц /^Уц 1лр ^20Р ^2ГР а221)Ь
Первый фактор в скобках в (6.6) — плотность выборки из п независимых наблюдений из нормального распределения со средним ^t и дисперсией ац. Второй фактор — плотность для т наблюдений из условного нормального распределения со средним 02(Н ^-^пУн и дисперсией а22.р Далее, если параметрическое пространство 9 обычное и априорно никак не ограничено, то (дь ан) и (0204» 0ц-р а2м) раздельны, так как значение (дв ан) не дает никакой информации о (020 р ^21-р а221)- Следовательно, МП-оценку ф можно получить, независимо максимизируя правдоподобия, соответствующие этим двум компонентам.
Максимизация первого фактора дает
Лп
^^Л-'КУ!(6.7)
и
an=n-'E Ог1— Д|)2,
т. е. выборочные среднее и дисперсию п наблюдений уиуп1. Максимизация второго фактора проводится с использованием стандартных результатов для регрессии (см. пример 5.9) и дает
0211 = ^12А1Ь
0201=7—021.,7,(6.8)
^22'1 -5221>
где yj=m-xL"*=xyu. sjk = m-1L"=x(yij—y^ik—Ук) Для j, к=1,2 и $22-1 =522—$?2 Ац-
Теперь, используя свойства 5.1, можно получить ОМП других параметров. В частности,
^2 = 02О1 + 02IlMl
из выражения (6.5) или
^2=7 + 0211(Д1—7)(6-9)
из (6.7) и (6.8). Из (6.5)
°22 = ^22-1 + ^гг!^11
или из (6.7) и (6.8)
а22=»22 + 02211(»П— 511)-(6.10)
Наконец, для корреляции из (6.5) следует
е = СТ12(СТ11<Т22)-1/2 = 02мСТ1П (^ j^l l^ll)-^
так что из (6.7) и (6.8) имеем
Q = [М*..^)-"2] (ан /Sn),/2(S22/a22),/2-(6.11)
Первые члены в правой стороне (6.3), (6.10) и (6.11) — ОМП g2, «Ъг и е по выборке, из которой удалены п—т неполных наблюдений. Значит, вторые слагаемые представляют поправки, основанные на дополнительной информации, содержащейся в п—т неполных наблюдениях.
Пример 6.2. Численная иллюстрация результатов из примера 6.1. В табл. 6.1 в первых т= 12 наблюдениях зарегистрирован сбор яблок с дерева в сотнях плодов (у„) и процент червивых яблок, умноженный на 100О/2)- ® этих наблюдениях просматривается отрицательная зависимость между урожаем и процентом червивых яблок. Допустим, что наша цель — оценить среднее уа, причем для некоторых деревьев с малым сбором, занесенных в таблицу под номерами от 13 до 18, значение у^ неизвестно. Выборочное среднее, у2=45, — заниженная оценка процента червивых яблок, поскольку следует ожидать более высокого процента червивых плодов у последних шести деревьев, так как эти деревья в целом меньше (т. е. данные, видимо, ОС, но скорее всего, не ОПС). МП-оценка равна Д2 =49,33, в то время как оценка по полным наблюдениям — у2 = 45,0. Проведенные вычисления — всего лишь численная иллюстрация. При серьезном анализе этих данных следует рассмотреть такие вопросы, как, например, преобразование и (логарифмирование, извлечение квадратного корня), чтобы предположение о нормальности больше соответствовало данным.
Таблица 6. 1. Данные об урожае яблок (уа) и доля (в %) червивых плодов (у/2)
Номер дерева
Сбор (в сотнях) О',.)
Доля червивых ПЛОДОВ (уд)
Предсказание по регрессии (у^)
1
8
59
56,1
2
6
58
58,2
3
11
56
53,1
4
22
53
42,0
5
14
50
50,1
6
17
45
47,0
7
18
43
46,0
8
24
42
39,9
9
19
39
45,0
10
23
38
41,0
11
26
30
37,9
12
40
27
23,7
13
4
—
60,2
14
4
—
60,2
15
5
—
59,2
16
6
—
58,2
17
8
—
56,1
18
10
—
54,1
Г, = 19, s„=77,0.
у 2=45,^2 = 49,3333,^, = 14,7222
s,2=— 78,0,$22 = 101,8333,о„ =89,5340.
Источи
и к. [Snedecor and Cochran (1967), табл. 5.9.1].
ОМП (6.9) среднего yi2 представляет особый интерес. Ее можно записать в виде
(6.12)(6.12)
(6.12)
(6.12)
где
Л2=^2 + ^2мО,1-^1)-
Следовательно, ^2 — это вид регрессионной оценки, обычно используемой в выборочных обследованиях [см., например, Cochran (1977)], в которой вместо пропущенных yi2 фактически подставляются значения у2, предсказанные линейной регрессией yi2 на уп, вычисленной по полным наблюдениям.
ДВУМЕРНЫЕ НОРМАЛЬНЫЕ ДАННЫЕ
С ПРОПУСКАМИ В ОДНОЙ ПЕРЕМЕННОЙ:
ТОЧНОСТЬ ОЦЕНИВАНИЯ
Важным результатом раздела 6.1 является определение точности получаемых ОМП.
Асимптотическая ковариационная матрица
т\па22,—т\па22,—Асимптотическую ковариационную матрицу С для (ф—ф) мы найдем, вычисляя и обращая информационную матрицу. Логарифм правдоподобия ф равен по (6.6):
т\па22,—
т\па22,—
Кф\ ^obs) = (2^22-1)0/2 ^20-1 ^21-1Л1)2 5
n1
—(ZaiO-'E (J,!— щ)2——п\паи.
Дважды дифференцируя по ф, получаем
1^, ^1 I ^Obs)
W| robs) =
Д02О.р ^21 Р а221 I ^obs)
гдегдеЛД1, "и I yobs) =ЛД1, "и I yobs) =л/»пОл/»пООЛ/(2^,)ОЛ/(2^,)ии
где
где
ЛД1, "и I yobs) =
ЛД1, "и I yobs) =
л/»п
О
л/»п
О
О
Л/(2^,)
О
Л/(2^,)
и
и
т/о1гх тух/а1гх О
Л^20Р ^21Р а221 I ^obs)- ^l/^I^ 1=\Уп/°11\
О0^/(2^22-12
Обращение этих матриц дает
О
Ч^О Р ^21Р а221 I ^obs)
где
ООохх/п
О
О
1 ^(Дь ^П | ^obs)
ОО2ап /п
О
О
и
^2м(1+>^ /stl)m-1
У 1^221^^^ч
0
Ч^го-р
02I P а221
Г>ЬХ) =
»2M/mSn
а12-\^^^хх
0
0
0
2^2. х/т
Асимптотическую ковариационную матрицу (У—0) можно получить по уравнению (6.3). Чтобы продемонстрировать вычисления, рассмотрим
параметр g2> среднее переменной с пропусками. Поскольку /*2 = 18201 + 02i-i^i• после подстановки МП-оценок gi и 02ii МЬ| имеем
п дц2 дцг d#i2 дц2 8^ \_.я л , “ 8ц1 даи 80204 "P2II ®°221
Проводя дальнейшие вычисления, находим асимптотическую дисперсию (Д2^lY
DCDt = а22.! [^ + -^ру + ^^ ].(6.13)
Третий член в скобках имеет порядок 0(т~2), если данные ОС и ПС (т. е. ОПС), так как в этом случае №—gi)~0(m—’). Пренебрегая этим членом, получим
- fi. ё21 ^6 -,п—т\
®2Мn(1_g2) 1 = m U-e2 — Л(6.14)
Эти выражения можно сравнить с дисперсией у2, а22/т. Оказывается, что в больших выборках уменьшение дисперсии за счет использования и—т наблюдений с присутствием только yt пропорционально е2, умноженному на долю наблюдений с пропусками.
Выводы о параметрах по малым выборкам
Если объем выборки велик, интервальные оценки параметров можно получить, применяя аппроксимацию 5.1 (уравнение (5.6)) и следуя схеме из раздела 5.2. В частности, 95%-ный интервал для д2 имеет вид
g2 ± 1,96VVar(^2—g2),(6.15)
где Var(/t2—/*г) дана в (6.13).
Построение выводов по малым выборкам более затруднено. Рассмотрим, например, с частотной точки зрения выводы относительно ц2. Величина (д2—g2)/VVar(/i2—/42), полученная из (6.13), в больших выборках имеет стандартное нормальное распределение, но в малых выборках ее распределение сложно и зависит от параметров. В качестве полезной аппроксимации распределения этой величины, хорошо согласующейся с результатами моделирования, 118
было предложено /-распределение с т—1 степенями свободы [ см. Little (1976)]. Такое же /-распределение было предложено и для выводов относительно разности средних /42—w, основанных на (д2—gi— —pi + gj)/VVar(/i2—^—/i2 + pi). Приближенные методы построения доверительных интервалов по малым выборкам для других параметров, например для q, пока не развиты.
Другой подход к интервальному оцениванию по малым выборкам заключается в следующем. Задают априорное распределение параметров, а затем выводят апостериорное распределение при фиксированных данных. Точнее, пусть мы предполагаем, что рь ап, ^2о-1’ ^21-1 И ^22-1 априорно независимы и распределены согласно плотности
•А/1!» <Х11» 020'1’ ^2I P ^22 l) ~ ®'1 °^221 • (6.16)
Выбор а=с=1 приводит к априорному распределению Джефриса (Jeffreys) для факторизованной плотности [см. Box and Tiao (1973)].
Применяя обычную байесовскую теорию к случайной выборке [уа:/= 1, ..., nj, получим такое апостериорное распределение (дь ап): 1) пап/ои имеет распределение хи-квадрат с и+2а—3 степенями свободы; 2) апостериорное распределение pi при заданном ап нормально со средним pi и дисперсией ап/л. В соответствии с байесовской теорией регрессии для случайной выборки {^р уп), /=1, ..., т^ получим такое апостериорное распределение (/?2о Р ^2ii> °п i): 3) ma22.1/a22 i распределена по хи-квадрат с т + 2с—4 степенями свободы; 4) апостериорное распределение 02м при заданном a^.j нормально со средним Д2М и дисперсией а^^ДтЛп); 5) апостериорное распределение /320., при заданных /?21Ч и аы.х нормально со средним Я—/321.]Я и дисперсией а^/т. Вывод этих результатов см. в [Lindley (1965)]. Кроме того, 6) (рь ап) и (320I, Pivi« ^221) апостериорно независимы.
Результаты 1—6 означают, что апостериорное распределение любой функции 0(0) от ф можно моделировать, генерируя значения ф, следующим образом:
независимо извлечь хр и ^ц из распределения хи-квадрат с и + 2а—3 и ги + 2с—4 степенями свободы соответственно. Извлечь три независимые величины zu, z2, и z3z из стандартного нормального распределения;
вычислить ф^М?, р№, а^.х, 3$.,, 3$t)T, где аИ^иан/Хп,
On\ = m°llA^II'
$v 1= З21 • i + *2, (^1 z(msi 1)) 1/2>
вычислить ф( = ф(ф№). Например, если фСФ^р-г^ 02оа + ^211^ь ТО ^2Z = ^201 + 021ч/1^'
Численный пример
Теперь применим методы, описанные в двух предыдущих разделах, к данным табл. 6.1.
Пример 6.3. Интервальное оценивание для двумерного нормального распределения (продолжение примера 6.2). В табл. 6.2 представлены 95%-ные доверительные интервалы для g2, <^22 и р для данных из табл. 6.1. Интервалы строятся с помощью четырех методов: 1) в соответствии с асимптотической теорией, основанной на обратной наблюдаемой информационной матрице, как в (6.15) для g2; 2) с помощью /-аппроксимации интервалов для g2, которая получается при замене в (6.15) нормальной процентили 1,96 на процентиль 97,5 /-распределения с т—1 = 11 степенями свободы, т. е. на 2,201; 3) вычисление интервалов, заключенных между процентилями порядка 2,5 и 97,5% байесовского апостериорного распределения с априорной плотностью (6.16) при а=с=1 (распределение моделировалось 9999 сгенерированными по методу из раздела 6.3.2 значениями); 4) вычисление нормальных интервалов, полученных подгонкой нормального распределения под модель апостериорного распределения по методу 3 (подгонка состояла в использовании среднего и дисперсии апостериорно сгенерированной выборки). Методы 3 и 4 были реализованы для двух независимых множеств А и В случайных чисел, чтобы получить представление о дисперсии при моделировании.
Как и следовало ожидать, самые узкие интервалы получились по асимптотической теории (метод 1), и, скорее всего, уровень доверия этих интервалов меньше требуемых 95%. Остальные интервалы для р.2 сходны. В байесовских интервалах для а22, полученных моделированием, процентили порядка 2,5% намного ближе к МП-оценке 114,7, чем процентили 97,5%. Это отражает существенную ассимет- рию апостериорного распределения а22 вправо. Нормальная аппрок- 120
симация не может отобразить эту ассиметрию, но она обладает реалистическим свойством: приближенные интервалы значительно шире интервалов, полученных в соответствии с асимптотической теорией, а значит, они лучше обеспечат 95 %-ное накрытие повторно- - го выбора. Аналогичные замечания относятся и к интервалам для q.
Обратите внимание, что нижние границы для е во всех интервалах, построенных по нормальному распределению, меньше минимально допустимого значения (—1). На практике их нужно заменить на —1. Смоделированные байесовские интервалы для у выглядят более разумными. Вероятность накрытия истинного значения этими интервалами при повторном выборе требует дальнейшего исследования. Литтл [см. Little (1986)] рассматривает эту вероятность для ^аппроксимации апостериорного распределения д2 при различных значениях а и с.
МОНОТОННЫЕ СТРУКТУРЫ ДАННЫХ В МНОГОМЕРНОМ СЛУЧАЕ
Методы, описанные в разделах 6.2 и 6.3, можно легко обобщить для монотонных структур данных, изображенных на рис. 6.1, где для каждого (i-го) наблюдения у у присутствует, если присутствует Jy+iU^l, .... J— 1), так что Yx наблюдается больше, чем У2, который наблюдается больше, чем У3, и т. д. Мы рассмотрим только МП-оценивание, а точность оценивания можно анализировать, непосредственно обобщая методы из раздела 6.3.
Рис. 6.1. Схематическое представление данных с монотонной структуройРис. 6.1. Схематическое представление данных с монотонной структуройПодходящая для данной структуры факторизация такова:
Рис. 6.1. Схематическое представление данных с монотонной структурой
Рис. 6.1. Схематическое представление данных с монотонной структурой
ПАУ/р .... Уу\Ф)=
=ЙЛУ,1 I ФЭП ^с |у,р Ф1)...
-ДДуи I УцУц_х, ФД,
где Ду у | yiv .... Уу_и ф^ — условное распределение уу при заданных J,p .... Jy_p зависящее от параметра
Фр j=l,...,J Если (у|Р ..., уц) распределены по многомерному нормальному закону, то Дуу | у, Уц_х, Ф^ — нормальное распределение со средним, линейным по упу^, и с постоянной дисперсией. При обычном параметрическом пространстве для ф без 122
ограничений ф, раздельны и, значит, МП-оценки ф^ получаются с помощью регрессии у^ на у,р .... Jy_P определяемой по наблюдениям, у которых присутствуют все у,р ...,уи.
Пример 6.4. К+1 переменных, пропуски в одной переменной. В простом, но важном обобщении примера 6.1 уп заменяется на множество К полностью наблюдаемых переменных, так что получается структура данных, как на рис. 1.3. В результате мы имеем частный случай монотонных данных с 7=2 и ¥х при К переменных. МП- оценки дг и оц равны:
№ = Уг + G*i—Jl)02rl>
(6.17) ^гг^гг + ^н-! fan ^п)02ГР
где #ii, У1 — 1х^-векторы средних, /32Н — вектор Кх1 коэффициентов регрессии для множественной регрессии уп на у,р аи и sn — ковариационные КхК-матрицы, <тц построена по всем п значениям yiv sn построена по т значениям уп, для которых наблюдается уй. МП-оценка jUi соответствует заполнению пропусков уа с помощью МП-оценок множественной регрессии уа на у,Р
Оценка (6.17) является ОМП, если (уп, у,^ есть (К+1)-мерные нормально распределенные независимые случайные величины, а данные ОС. Более того, (6.17) есть ОМП, если данные ОС и
у,2 при заданном уп распределен нормально со средним (0201 +J,i02ii) и Дисперсией an.t;
распределение ул — любое распределение, для которого: a) #ц — МП-оценка среднего уп, б) р2 и 0^, ^i-p »22-i раздельны с параметрами этого распределения.
Важный частный случай связан с регрессией на фиктивные переменные, в которой уп — это К фиктивных переменных, указывающих одну из К+1 групп, при этом k-я компонента уя равна 1, когда i-e наблюдение относится к к-й группе, и равна нулю в противном случае. Для наблюдения из группы 1 у(1 =(1,0,00), для
наблюдения иэ группы 2 уд =(0,1,0,-. ,0), для наблюдения из группы К у(1 =(0,0,...,0,1) и для наблюдения из группы К+1 уп = = (0,0,....0,0). (К+1)-ю группу часто называют контрольной.
При этом соглашении ^ — вектор, состоящий из пропорций числа наблюдений выборки в первых К группах, щ — соответствующий вектор ожидаемых пропорций и условие 2 выполнено. Условие 1 эквивалентно предположению, что все значения уй в группе к нормальны со средним р.к и дисперсией an.v
По свойствам регрессии на фиктивные переменные предсказываемое значение уа для наблюдения из группы к — среднее присутствующих значений yQ в группе к. Следовательно, ОМП соответствует заполнению пропусков уй внутригрупповыми средними — одному из видов заполнения средними, который мы обсуждали в гл. 4, посвященной анализу данных с пропусками в выборочных обследованиях.
Пример 6.5. Монотонные многомерные нормальные данные. МП-оценивание по монотонным данным с 7>2 численно иллюстрируется в работе [Marini, Olsen and Rubin (1980)] на данных опроса 4352 человек. Структура этих данных, отображенная в табл. 1.2, не монотонна. Однако, как указано в гл. 1, можно получить монотонную структуру, удаляя часть данных, например данные с индексом ** в табл. 1.2. В результате получается монотонная структура (см. рис. 6.1) с 7=4. В предположении нормальности МП-оценки среднего и ковариационной матрицы переменных можно найти с помощью следующей процедуры:
вычислить по всем наблюдениям вектор средних и ковариационную матрицу для полностью присутствующих переменных блока 1;
вычислить по наблюдениям, в которых присутствуют значения переменных блока 1 и блока 2, многомерную линейную регрессию для переменных блока 2;
вычислить по наблюдениям с присутствующими переменными блоков 1—3 многомерную линейную регрессию переменных блока 3 на переменные блоков 1 и 2;
вычислить по наблюдениям, в которых присутствуют все переменные, многомерную линейную регрессию переменных блоков 4 на переменные блоков 1—3.
ОМП средних и ковариационной матрицы для всех переменных можно получить как функции оценок параметров, найденных в пунктах 1—4. Подробное обсуждение вычислений, включая применение мощного SWEEP-оператора, отложено до раздела 6.5. Результаты приведены в табл. 6.3.
В первом столбце дано название переменных. Следующие два столбца содержат МП-оценки средних (дмь) и стандартных отклонений ^oML) каждой переменной. В остальной части таблицы сравниваются оценки, полученные двумя другими способами оценивания.
5
S X V
2 Ч
X
2 5 X
V Ч С 2 о
о с
X
X V
О
2
ь X
so Я ГЧ ЯЯсп сп оо—■ЯЯ—■Я оо Ох to
- М -Н m—■N Ох -Я—'ОхЯОх to
Ill"Illi -III
г
ь X
Ox —^^ t\XX ОхЯгп ооsosoЯ оо Я ^
ГЧО ООСП1О Я—fSO to00toОО so о SO
S ° х я v х v х g о о и ” 5
OxtoооЯОх*О.ЯОооOxtoсп«оЯ
яsosoГ-OxОХОOxtoоСПОхспГЧ—so
оооо—яг-ЯСПtoСПСПооtotoО
спгчгч—fоооо“ооооо*яо—*
8 X я 8 и
ОЯхоооспЯГЧгч—■оосп—■Я
toОСПГЧСПОхГ-ОхСПОхОООSOОх
ОооЯОtosotototoЯ—■—■ЯГ*спЯ
ГЧ—■sogО-NOОООООСПгчгч
2
X X V Ч 2
св X
X 3 X с
и о я
о с
X
X V
О
1l8
Ь 2 - 1 6 х
О О О ОООООо оооо о о о
О О О ОООООо оооо о о о
I Ь X
°, °. °, °,®R Я. Я.о оооо о о„ О-
о* о" о" о"о“о** о* о*о о*ооо* о* о* о*
я 6 S g о я Я V = У X Я О о Ь X к и и 2
ОО Г- Я О ГЧ я СП О Ох ГЧ СП SO ГЧ ГЧ to оо N Я О — Ох Г- О so Ох ОО Г- СП О ГЧ Я to Ох Ох Ох Я оо г- to сп Я ГЧ сп О оо to О сп of гч гч а а о* о" о* о* о* о* -f я о* —*
о V X Я V а и
ГЧооIOto—■OSЯООГЧСПОООООSO<4
ОО—'ГЧ—■ООNОО—■—■ООГ-Г-СПSOСП
Г-tosoЯtoспЯtoЯОtoОспЯ
*Ш
SOО-NOОООООЯ<4
X
X V Я о
С S
я S * Я ° 5
5 v х я О о
Ь X к U н 2
оо г* я о еч я сп о Ох еч сп so еч гч to оо N Я О - Ox w г- О so Ох ОО Г- СП о еч Я to Ох Ох Я ОО г- to СП Я ГЧ СП О ОО to о
сп еч еч еч о ооо о о о о —■ я о —■
V V
X
Я 8 и
гчооtoto—охяооечспоооооsoеч
ооечоогчоо■оог-г-спsoсп
«оsoЯ«оспЯtoЯОюОспЯ
-£^fSOgо-no'оo'ооо*ягчгч
5 X X V
2 8
h251§м§ >
it " ^ h = 8 1 3 8 2 8
<? s 8 L S5S й 1 g ч оg
S 5 ч V hOsSsSE® 5 с ° S”
1Г°ЧЯ ПИШ i- § hi 5
v s s 5 x oQ.on^S^ms s s 9 и 5 ч
Й ОО С«> и ОДД >и и о дио
Таблица 6.3. МП-оценки средних и их стандартные отклонения, вычисленные по исходной выборке, и сравнение их с двумя другими наборами оценок
Продолжение
Переменная
МП-оценкн
Оценки по доступным наблюдениям
Оценки по комплектным наблюдениям
Среднее
Стандартное отклонение
Среднее
Стандартное отклонение
°ML х 100
Среднее
Стандартное отклонение
<%-’м1»
<’-'ml>
°ML ~ x 100
°ML х 100
°ML ~ х 100
Блок 2 переменных (зарегистрированы у участников дополнительного обследования)
Полученное образование
13,625
2,295
13,274
2,262
6,5
—1,4
14,196
2,204
24,9
—4,0
Престиж профессии
44,405
13,008
45,085
12,893
5,2
—0,9
47,056
12,745
20,4
—2,0
Семейное положение
0,940
0,238
0,940
0,238
0,0
0,0
0,940
0,237
0,0
—0,4
Число детей
1,991
1,306
1,973
1,304
—1,4
—0,2
1,928
1,242
—4,8
—4,9
Возраст
30,629
1,221
30,655
1,225
2,1
0,3
30,726
1,152
7,9
—5,4
Престиж профессии отца
43,998
14,821
44,258
14,786
1,8
—0,2
44,782
14,333
5,3
-3,2
Блок 3 переменных (зарегистрированы в дополнительном обследовании только у ответивших на вопросы в первом обследовании)
Вес в обществе
3,128
0,377
3,148
0,378
5,2
0,3
3,148
0,373
5,3
—1,1
Частота свиданий в студенческие годы
4,374
3,408
4,202
3,261
—5,1
—1,4
4,213
3,352
—4,7
— 1,6
Число братьев и сестер, родных по отцу и матери
2,219
1,748
2,099
1,744
-6,9
—0,2
2,055
1,660
—9,4
—5,0
Блок 4 переменных (получены по анкетам опроса родителей)
Семейный доход
4,902
1,530
4,075
1,538
—1,1
0,5
4,215
1,570
8,0
2,6
Отношение родителей к учебе в колледже
0,714
0,434
0,706
" 0,455
—1,6
4,8
0,754
0,431
8,0
—0,7
Число детей в семье
3,039
1,539
3,067
1,671
1,8
8,6
2,975
1,551
—4,2
0,8
о
СП
X
ж
о
о
о
о
00
5
fa
2
3
о
X
У
сь
Е
О
о
ж
о
о
р
о
5
X
2
■о 5
fa
о
9
2
fa
о
л
л
ж
о
X
О
5
ж
я
о
о
ОО
О
р
л
о
Q
о
о
5
2
X
2
S
2
2
х
о
9
о
о
ж
2
2
$э
О
О
9 5
ж
00
у
О
X
о
о
X
s
Л
2
л
2
х
у
rt
Ж
ж
2
X
X
о
2
о
о
о
2
2
fa
у
СП
о
X
s
Ж
о
00
2
X
X
а
о
о
о
2
СП
СП
о
о
У
у X
ж
о
о
9
о
2
у
X
я
2
О
л
л
ж
ж
х<
X
о
2
О
о
о
х<
X
о
Ol
Хс
о
X
я
25
X
о
5 °
СП
о
о
о
о
о
ж
5 "и
У
о
о
ж
ж
ж
о
о
D0
X
*
о
X
ж
о
СП
8
ХС
о
о
ж
2’
о
2
2
о
о
1?
о
о
ж
о
5
3
о
X
S
о
о
о
о
о
X
о
о
о
X
о
2
о
о
о
У
о
У
CD
о
го
о
о
о
Ol
X
о
о
о
X
о
я
fa
X
о
X
ж
ХС
ж
о
го
5
X
о
У
Е
о
fa
о
о Зо
о
о
о
о
5
о
о
о
2 2
X X
5 Е
я я
о я
CD
о я
о я
X X
о ж
о ж
ю о
СП о ю о
о я
о я
X У
X У
X
X У
X
о СП
X X
о СП
ж
X о ж
X X
ж
о fa
fa о
о я X
У я
о я о
2 о X
fa fa
X
о ж
X ж
ю X
о ж л
X я
X X X
о
о CD
го о
fa <6
О) fa
<6 fa ж
о о
X я
X 2
2 X
2 о
о 2
о 2
X X
X S
X 2
X X
2 X X
о о о
о fa ж
ж о
to <6
fa X
X
о ж л
2 о ж
2 о
S 5
2 X X У
ж о
ж о
ж о
5 fa
X X 2
5 fa rt
ж X
ж о
5 fa <6 ж
5 fa о
2 £
л X X 5
X 2 л
X 2 л
2
2
2
2 л
X л 2
2
я 2
о я о ж
S 8) 5
S 2
X
2
е
X X У
X
2
5 Е X
Х<
2
* fa
X 5
2 о
* X о
2 о
X
(Л 5 ГП ГП
2 X
я У я X о хс
2
■о
2 9 о
2
9 о
о О
Е л>
ОЗ ^ ГН ГН
ОЗ ^ ГН ГН
ОЗ ^ ГН ГН
2 9 О
2
м Е л>
у
9
3
о St
ы а S
St X ы о X g
X Хс
X X У
34 X ,
О Хс
Ж ж о Хс
Ж о Хс
О Хс
X Хс
Хс Е л 2
н $ 2
>: У О Хс Sr X
X у
О ^ х
го
о
о
*
5do
X
о
о X
5 fa г» ж X Хс
лчзл
7?У
О
S
2 □
6
о 2
о 2 □
О 2 □
Оператор «свертки» для симметричных матриц определяется следующим образом: свертка симметричной рхр-матрицы G по строке и столбцу к есть симметричная рхр-матрица Н с элементами
^кк~ ^^кк»
hjk = hkj = gjk/8kk'k^j,(618)
hji^gji—gjkgki/gkk, k*j, k*l.
Например, для матрицы 3x3
gn
gl2
gl3
— Vgn
gi2/gn
^13/^11
G =
gl2
g22
g23
, //=SWP[1]G =
gi2/g и
gl2 g2l2 /&И
#23^13^12/^11
gl3
g2 3
g33
^>3/^1
#23^13^12/^11
g33—gl3/gll
Матрица, полученная в (6.18), обозначена SWP[£]G. Результат последовательного применения оператора свертки по строкам и столбцам кх, к-ь ..., kt будем обозначать SWP[£b к-ь кДС. На практике свертку удобнее начинать с вычисления hkk =— 1/^, затем вычислять элементы в к-х строке и столбце, hjk = hkj =—gjk^kk» и, наконец, вычислять элементы вне этих строки и столбца, кц = =gj,—hjkgkl. Объем памяти можно сэкономить, размещая элемент (/, к) симметричной рхр-матрицы при А^у в позиции у(/— 1)/2+А- вектора длины р(р+1)/2.
Алгебраические вычисления показывают, что оператор коммутативен:
SWP[/, £]G = SWP[A; у]6.
Из этого следует
SWP[/H ..., yJG=SWP№, ^]6,
где (/в ...,/) — любая перестановка множества (кх, ..., кД. Таким образом, алгебраически порядок выполнения свертки не влияет на результат, хотя в вычислениях один порядок может оказаться точнее другого.
Оператор свертки тесно связан с линейной регрессией. Например, пусть G — ковариационная матрица 2x2 двух переменных Ух и У2.
Если H=SWP[1]G, то hxl — коэффициент регрессии У2 на YX) а Л22 — остаточная дисперсия У2. Далее, если G — выборочная ковариационная матрица для л независимых наблюдений, то —Иххкц/п — оценка дисперсии выборочного коэффициента регрессии кхг.
Рассмотрим более общий случай. Пусть по выборке р-мерных наблюдений объема л построена симметричная (р+1)х(р+1)-матрица
1УхУхrHLy?. . .yj6=••У кп-х^У,УкУрn~41yxyp1УхУхrHLy?. . .yj6=••У кп-х^У,УкУрn~41yxypП-ХИУрУхП-ХИУрУхп-^Урп-^Ургде JT, ..-,^ — выборочные средние, а суммирование проводится по л наблюдениям. Для удобства мы пронумеровали строки и столбцы от 0 до р, чтобы строка и столбец j соответствовали переменной Yj.Свертка по строке и столбцу 0 даетгде JT, ..-,^ — выборочные средние, а суммирование проводится по л наблюдениям. Для удобства мы пронумеровали строки и столбцы от 0 до р, чтобы строка и столбец j соответствовали переменной Yj.Свертка по строке и столбцу 0 даетSWP[0]G =SWP[0]G =Ух У] УРSn. . . 5piSjkУх У] УРSn. . . 5piSjkУр sXpsУр sXps(6.19)(6.19)где Sjk — выборочная ковариация Yj и Yk с делителем л-1, а не с (л—I)-1. Эта операция соответствует вычитанию из сумм взаимных произведений, деленных на л, поправок на средние Yx, ..., Yp. что приводит к выборочной ковариационной матрице ^к,. В терминах регрессии средние в первых строке и столбце матрицы SWP[0]G — это коэффициенты регрессии Уь ..., Yp на постояннуюгде Sjk — выборочная ковариация Yj и Yk с делителем л-1, а не с (л—I)-1. Эта операция соответствует вычитанию из сумм взаимных произведений, деленных на л, поправок на средние Yx, ..., Yp. что приводит к выборочной ковариационной матрице ^к,. В терминах регрессии средние в первых строке и столбце матрицы SWP[0]G — это коэффициенты регрессии Уь ..., Yp на постоянную5. Р. Дж. А. Литтл, Д. Б. Рубин5. Р. Дж. А. Литтл, Д. Б. Рубин129129
1
Ух
Ух
rHLy?
. . .yj
6=
•
•
У к
п-х^У,Ук
Ур
n~41yxyp
1
Ух
Ух
rHLy?
. . .yj
6=
•
•
У к
п-х^У,Ук
Ур
n~41yxyp
П-ХИУрУх
П-ХИУрУх
п-^Ур
п-^Ур
где JT, ..-,^ — выборочные средние, а суммирование проводится по л наблюдениям. Для удобства мы пронумеровали строки и столбцы от 0 до р, чтобы строка и столбец j соответствовали переменной Yj.
Свертка по строке и столбцу 0 дает
где JT, ..-,^ — выборочные средние, а суммирование проводится по л наблюдениям. Для удобства мы пронумеровали строки и столбцы от 0 до р, чтобы строка и столбец j соответствовали переменной Yj.
Свертка по строке и столбцу 0 дает
SWP[0]G =
SWP[0]G =
Ух У] УР
Sn. . . 5pi
Sjk
Ух У] УР
Sn. . . 5pi
Sjk
Ур sXps
Ур sXps
(6.19)
(6.19)
где Sjk — выборочная ковариация Yj и Yk с делителем л-1, а не с (л—I)-1. Эта операция соответствует вычитанию из сумм взаимных произведений, деленных на л, поправок на средние Yx, ..., Yp. что приводит к выборочной ковариационной матрице ^к,. В терминах регрессии средние в первых строке и столбце матрицы SWP[0]G — это коэффициенты регрессии Уь ..., Yp на постоянную
где Sjk — выборочная ковариация Yj и Yk с делителем л-1, а не с (л—I)-1. Эта операция соответствует вычитанию из сумм взаимных произведений, деленных на л, поправок на средние Yx, ..., Yp. что приводит к выборочной ковариационной матрице ^к,. В терминах регрессии средние в первых строке и столбце матрицы SWP[0]G — это коэффициенты регрессии Уь ..., Yp на постоянную
5. Р. Дж. А. Литтл, Д. Б. Рубин
5. Р. Дж. А. Литтл, Д. Б. Рубин
129
129
Уо=1, а полученная матрица js^j — остаточная ковариационная матрица от этой регрессии. В соответствии со сказанным будем также называть эту операцию сверткой по постоянному члену, а (6.19) назовем дополненной ковариационной матрицей переменных г.Yp.
Свертка по строке и столбцу 1, соответствующим Уь дает симметричную матрицу
SWP[0, 1]G =
—(l+ji^n)7/5ii7™(WSll)7. . .(^рАц)7
—l/$ll^12/^11• • •
-Su—$Ъ/$п• • • s^—SXf£\i/S\\ _
^-(V5,,)^Spp-^p/sn
где размер A — 2x2 , В — 2x(p—1), C — (p—l)x(p—1). В этой матрице результаты для многомерной регрессии У2, ..., Yp на Уь В частности, у-й столбец В содержит свободный член и коэффициент наклона для регрессии УЧ1 на Уь у=1, ...,р—1. Матрица С — остаточная ковариационная матрица У2, ..., Yp при фиксированном Уь Наконец, элементы А после умножения на соответствующие остаточные дисперсии или ковариации из С и деления на п позволяют определить дисперсии и ковариации оценок коэффициентов регрессии в В.
Проводя свертку по постоянному члену и первым q элементам, получаем результаты для многомерной регрессии У^+р .*.,Yp на Уь Yq. Точнее, пусть
SWP[O, 1, ..., 9]6 =SWP[O, 1, ..., 9]6 =EE
SWP[O, 1, ..., 9]6 =
SWP[O, 1, ..., 9]6 =
E
E
где размеры
D — (<7+1)х(<7+1), E — (9+l)x(p—g), F — ^p—qY/Ap—qY
Тогда у-й столбец E содержит вычисленные по методу наименьших квадратов свободный член и коэффициент наклона для регрессии YjJrq на Уь ..., Yq, j^Y^.^p—q, матрица F — остаточная ковариационная матрица Yq^v ..., Yp, а элементы D можно использовать, как описано выше, чтобы получить дисперсии и ковариации оценок коэффициентов регрессии в Е.
Итак, МП-оценки многомерной линейной регрессии Yq^v ..., Yp на Yv ..., Yq можно найти, проводя свертку матрицы G нормированных сумм взаимных произведений по строкам и столбцам, соответствующим постоянному члену и предсказывающим переменным (регрессорам) Yu ..., Yq.
Свертка по некоторой переменной, по существу, переводит эту переменную их зависимых в предсказывающие (независимые) переменные. Существует также и оператор, обратный к свертке и переводящий независимую переменную в зависимую. Этот оператор называется обратной сверткой (RSW, reverse sweep) и определяется как
H=RSW[A;]G, где ^kk~ ^^kk' hjk = hkj = —Sjk/gk^ k#j,(6.20)
Иц=gji—gjkgki/gkk,k ^j, I*j.
Легко проверить, что обратная свертка также коммутативна и является операцией, обратной к свертке, т. е.
RSW[£]SWP[Ar]G = SWP[£]RSW[£]G = G.
Пример 6.6. Двумерные нормальные монотонные данные (продолжение примера 6.1). С помощью операторов свертки и обратной свертки можно легко связывать различные параметризации двумерного нормального распределения. Так, посредством обозначений SWP[ ] и RSW[ ] можно компактно выразить связь (6.4) и (6.5) между параметрами 6 и ф из примера 6.1. Существенной является и возможность получения с помощью этих операторов численных результатов для МП-оценок.
Допустим, мы расположили 0 = (ii\, ^ ^и, #12> ^22)^ в следующей симметричной матрице, которая представляет собой аналог (6.19) для популяции:
—1/^1
У* =^i^н
М2
^12
М2^21
Oil
Матрица 0* представляет параметры двумерного нормального распределения после свертки по постоянной. Свертка 0* по строке и столбцу 1 согласно (6.18) даст
—(1 +М*/аи)
/tl/»ll
М2Н-\О\1^ <7ц
SWP[ljr =
Mi^^n
—ай1
(У|2/<711
М2Н-\О\1/О\ |
»|/аи
он—о2^/аи
Сравнение с (6.4) показывает, что вторая строка (и столбец) SWP[1]0* содержит свободный член (мг—Miai2/^n)» коэффициент регрессии У2 на У^а^/ои) и остаточную дисперсию ^.^^м—о^/^н- Матрица 2x2, образованная строками и столбцами 0 и 1, содержит (хотя и не в самом удобном виде) параметры распределения У,. Чтобы увидеть это, запишем:
—1Ml^20-1SWP[1]ф* = SWP[1]0*==Mi^11^21-1^20-1^2Mа221—1Ml^20-1SWP[1]ф* = SWP[1]0*==Mi^11^21-1^20-1^2Mа221(6.21)(6.21)
—1
Ml
^20-1
SWP[1]
ф* = SWP[1]0*==
Mi
^11
^21-1
^20-1
^2M
а221
—1
Ml
^20-1
SWP[1]
ф* = SWP[1]0*==
Mi
^11
^21-1
^20-1
^2M
а221
(6.21)
(6.21)
где ф* — параметр ф = 0и, ан, /32О.р &2i-i> °22i)T> представленный в виде матрицы. В соответствии со свойством 5.1 аналогичное выражение связывает МП-оценки ф с МП-оценками 0:
—1
Ml
^20-1
ф* =SWP[1]0‘ =
SWP[1]
^211
Ml
^11
^20 1
^211
®221
Применяя к обеим сторонам оператор RSW[1], получаем
0* =RSW[1]
SWP[1]
—1
^1
(Тц
020-1
021-1
(6.22)
020'1
021-1
^22-1
Выражение (6.22) определяет преобразование ф в § через операторы свертки и обратной свертки и показывает, как эти операторы можно использовать при вычислении в и ф.
Пример 6.7. Многомерные нормальные монотонные данные (продолжение примера 6.5). Теперь обобщим пример 6.6 и покажем, как можно применять операторы свертки и обратной свертки для поиска МП-оценок среднего и ковариационной матрицы для данных с монотонной структурой из многомерного нормального распределения. Мы полагаем, что после соответствующей перестановки данные имеют структуру, изображенную на рис. 6.1. Для простоты рассмотрим случай с /=3 блоками переменных. Обобщение для большего числа блоков проводится совершенно аналогично.
Шаг 1. Найти МП-оценки ^х и Ёи среднего и ковариационной матрицы переменных первого блока, наблюдаемого полностью. Это оценки — просто выборочные средние и ковариационная матрица по всем наблюдениям.
Шаг 2. Найти МП-оценки ^2о-1» 02м и ^221 свободных членов, коэффициентов регрессии и остаточной ковариационной матрицы для регрессии У2 на ¥х. Эти оценки можно найти, проводя свертку по У, дополненной ковариационной матрицы переменных У] и У2, построенной по наблюдениям, в которых присутствуют эти переменные.
Шаг 3. Найти МП-оценки Р30.Х2» 0зм2’ fe 12 и ^зз 12 свободных членов, коэффициентов регрессии и остаточной ковариационной матрицы для регрессии У3 на У] и У2. Их можно найти, проводя свертку по ¥х и У2 дополненной ковариационной матрицы переменных Уь У2 и У3, основанной на полных наблюдениях, где присутствуют Уь У2, У3.
Шаг 4. Вычислить матрицу
—1
Г «и
«12
Л = SWP[1]
Д1
£п
—
«21
А и
где SWP[1] — сокращенное обозначение свертки по переменным УР Шаг 5. Вычислить матрицу
«и
«12
020-1
Си
С12
Схз
B=SWP[2]
«21
Аи
В 21-1
=
Си
С11
С13
020-1
021 1
^22-1
с31
Си
Сзз
где SWP[2] — сокращенное обозначение свертки по переменным У2.
Шаг 6. Окончательно МП-оценка дополненной ковариационной матрицы Уь У2 и У3 дается выражением
Си
Си
Оз
030'12
-1 ДГ1
С1Х
С11
С13
^31-12
= RSW[1, 2]
/2£_
С31
С32
Сзз
032-12
030-12
03112
032-12
^33-12
Эта матрица содержит, как указано, МП-оценки средних и ковариационной матрицы Уь У2 и У3.
Шаги 4—6 можно компактно записать с помощью уравнения
—1
д*,г
^20-1
^3012
—1
SWP[2]
SWP[1]
Д|
£п
^21-1
^3112
д
£
= RSW[1,2]
^20-1
^211
^22-1
У32-12
РзО-12
^31-12^32-12
^33-12
с очевидным обобщением на случай более трех блоков переменных. Это уравнение определяет преобразование ф в § для данной задачи.
Пример 6.8. Численный пример. Рубин [Rubin (1976)] применил описанную выше схему вычислений к данным табл. 6.4, взятым из [Draper and Smith (1968)]. Исходно переменные были обозначены Xt, .... Х5. Данные имеют структуру, как на рис. 6.1 с J=3 и Ух^Хз, Х5\ Y2 = (Xi, Х2) и У3=Х4. МП-оценки маргинального рас- пределенйя (Хз, Х5), вычисляемые на шаге 1, равны д3 = 11,769, д5=95,423, а33=37,870, а35=—47,566, а„ =208,905.
Шаг 2 основан на наблюдениях 1—9 и позволяет получить коэффициенты регрессии (У,, У2) на (У3, У5):
31035=2,802,013.35=-0,526,/З15.35=0,105,
020-35 — 74,938,023-35 = * >062,025-35 ~ 1> 178
и оценку остаточной ковариационной матрицы
^12-35 _^12-35 _3,804—8,0113,804—8,011—8,01124,382—8,01124,382
^12-35 _
^12-35 _
3,804
—8,011
3,804
—8,011
—8,011
24,382
—8,011
24,382
Шаг 3 основан на наблюдениях 1—6 и дает возможность найти следующие оценки коэффициентов и остаточной дисперсии регрессии У4 на остальные переменные:
040,235-85,753,041-12351,863,042-12351,324,
043-1235 = 1,533,345.1235 = 0,397,см.1235 = 0,046.
Проводя вычисления на шагах 4—6, получаем:
— 1
#
£
=
*3
Х5XiХгХ4
KWPfKl
—1
11,769 95,4232,802 —74,938 85,753
SWP[I2]
11,769
37,870 —4
7,566 —0,5261,062 —1,533
= RSW[I235]
95,423
—47,566 208,9050,1051,178 0,397
2,802
—0,5260,1053,804 —8,011 —1,863
—74,938
1,062
1,178 —8,01124,382] —1,324
85,753
—1,533
0,397 —1,863 —1,3240,046
Таблица 6.4. Данные для примера 6.8 (значения в скобках считаются в примере пропусками)
Объекты
Переменные
X,
Хг
Х3
х.
Т=Х5
1
7
26
6
60
78,5
2
1
29
15
52
74,3
3
11
56
8
20
104,3
4
11
31
8
47
87,6
5
7
52
6
33
95,9
6
11
55
9
22
109,2
7
3
71
17
(6)
102,7
8
1
31
22
(44)
72,5
9
2
54
18
(22)
93,1
10
(21)
(47)
4
(26)
115,9
11
(1)
(40)
23
(34)
83,8
12
(Н)
(66)
9
(12)
113,3
13
(Ю)
(68)
8
(12)
109,4
Вычисляя правую сторону и переставляя переменные, получаем МП-оценки:
#4 =
Xi [6,655
х2
49,965
х3
11,769
х4
27,047
х3
95,423]
21,826
20,864
—24,900
—11,473
46,953"
20,864
238,012
—15,817
—252,072
195,604
£ =
—24,900
—15,817
37,870
—9,599
—47,556
—11,473
—252,072
—9,599
294,183
—190,599
46,953
195,604
—47,556
—190,599
208,905
ФАКТОРИЗАЦИЯ ДЛЯ НЕМОНОТОННЫХ СТРУКТУР
СПЕЦИАЛЬНОГО ВИДА
Немонотонные структуры неполных данных, для которых можно факторизовать правдоподобие, рассмотрены в (Anderson(1957)], где каждый фактор был правдоподобием для полных нормальных данных, и в общей форме — в [Rubin (1974)]. Типичный случай изображен на рис. 6.2, взятом с изменениями из [Rubin (1974)]. Переменные размещены в трех блоках (Уь У2, У3), таких, что:
Уз наблюдается больше Уь т. е. для любого объекта, в котором У1 наблюдается по крайней мере частично, У3 наблюдается полностью;
У и У2 никогда не наблюдаются вместе, т. е. для любого объекта, в котором У2 наблюдается по крайней мере частично. У! полностью отсутствует, и наоборот;
строки ¥х условно независимы, набор параметров распределения один и тот же.
Если опустить У2, а взять скалярные У! и У3, то структура рис. 6.2 сведется к двумерным монотонным данным. При условии ОС логарифм правдоподобия распадается на два слагаемых: первое соответствует маргинальному распределению У2 и У3 с параметром ф23 и строится по всем объектам, второе — условному распределению У1 при фиксированном У3 с параметром ф,.3 и строится по объектам с полностью наблюдаемым У3. Доказательство этого результата, включающего факторизацию для монотонных данных, приводится в [Rubin (1974), § 2].
Параметры фИ и фгз часто раздельны, поскольку ф23 можно пе- репараметризовать через ф2.3 и ф3 (обозначения не требуют пояснений) и параметры фх.3, ф2.3, ф3 раздельны во многих моделях. Важный аспект этого примера в том, что фгз и ф13 не обеспечивают полную перепараметризацию параметров совместного распределения Уь У2 и У3, так как параметры условной зависимости между У и У2 при фиксированном У3 (например, частная корреляция) отсутствуют. Эти параметры не входят в правдоподобие и не поддаются оцениванию по таким данным.
Рубин [Rubin (1974)] показал, как, повторно проводя редукцию данных структуры на рис. 6.2, факторизовать правдоподобие настолько полно, насколько это возможно. Хотя в общем случае не все получаемые факторы можно анализировать, независимо применяя методы для полных данных, мы проиллюстрируем основные идеи на двух примерах, которые сводятся к задачам для полных данных.
Пример 6.9. Нормальное трехмерное распределение. Лорд [Lord (1965)] и Андерсон [Anderson (1957)] рассматривают трехмерную нормальную выборку со структурой, как на рис. 6.2, где Уь У2 и У3 — одномерные, полных наблюдений нет, по У! и У3 есть тх наблюдений, по У2 и У3 — тг наблюдений, п=тх*тг. В предположении, что данные ОС, правдоподобие факторизуется на три компоненты: 1) тх*тг наблюдений из маргинального нормального распределения У3 с параметрами д3 и а33; 2) тх наблюдений из условного распределения У! при заданном У3 со свободным членом 810.3, коэффициентом регрессии 013.3 и дисперсией ап.3; 3) тг наблюдений из условного распределения У2 при заданном У3 со свободным членом 820-3» коэффициентом 82з-з и дисперсией а22.3. Эти три компоненты содержат 8 раздельных параметров, в то время как исходное
У3УгУ.
Объекты
1...10...0Х...Х
1...10...0Х...Х
Х...ХХ...Х0...0
Х...ХХ...Х0...0
1 — значение, 0 — пропуск, X — возможен пропуск.
Рнс. 6.2. Структура данных, при которой У3 наблюдается больше, чем У„ У, и У2 совместно не наблюдаются
совместное распределение ¥х, У2 и У3 включало 9 параметров, а именно 3 средних, 3 дисперсии и 3 ковариации. Параметр, который пропал после перепараметризации, — это частный (условный) коэффициент корреляции между У1 и У2 при заданном У3, a\i^^\v3aii-3' информация о котором отсутствует в данных.
Данные рассматриваемой структуры встречаются нередко. С такой структурой, когда У, многомерны, сталкиваются при решении 138
проблемы файлового подбора (file matching), возникающей при объединении больших правительственных баз данных. Например, пусть мы имеем один файл, представляющий случайную выборку записей Internal Revenue Service, IRS (с удаленными идентификаторами объектов), и другой файл, представляющий случайную выборку записей Social Security Administration, SSA (также с удаленными идентификаторами). Файл IRS содержит подробную информацию о доходе (УЭ и общие данные (Уз), тогда как файл SSA содержит подробную информацию о местах работы (У2) и такую же общую информацию (У3). Объединенный файл можно считать выборкой, в которой У3 присутствует для всех объектов, а У] и У2 вместе не наблюдаются. Для обозначения подобной ситуации взят термин «файловый подбор», так как часто пытаются заполнить отсутствующие значения У, и У2, подбирая и связывая в файле объекты по значению У3 с заменой пропусков значениями для связанных объектов. Такие задачи обсуждаются в [Rubin (1986)].
Пример. 6.10. Данные об образовании. В задачах проверки уровня образования типа описанных в [Rubin and Thayer (1978)] обычна ситуация, когда нужно оценить несколько разных тестов по различным случайным выборкам из одной популяции. Пусть, например, Х=(ХЬ ..., Хр) представляет р стандартных тестов, проведенных с объектами всех выборок. Допустим, что новый тест У1 проведен в первой выборке с mt объектами, новый тест У2 — во второй выборке с т2 объектами и так далее до Yq, причем в выборках нет общих объектов. Вследствие случайности выбора отсутствующие значения У ОПС. На рис. 6.3 изображена ситуация, когда q=3, являющаяся небольшим обобщением структуры из примера 6.9.
В строгом смысле коэффициенты частной корреляции между различными Уу при заданном X нельзя оценить, поскольку в данных нет информации об их значении. Простые коэффициенты корреляции между Уу часто более интересны при проверке уровня образования. Хотя МП-оценки этих коэффициентов не единственны, в данных содержится информация об их значении.
Непосредственные алгебраические вычисления показывают, что корреляция между У, и Yk зависит от частной корреляции между Уу и Yk, но не от частных корреляций между другими парами переменных. При увеличении частной корреляции между Уу и ¥к увеличивается простая корреляция этой пары, более того, эта зависимость линейна. Значит, оценив корреляцию при двух различных значениях частной корреляции (например, 0 и 1), можно оценивать корреляцию при любом значении частной корреляции с по-
Стандартные тесты
Новые тесты
Подвыборка
Объект
Х„ ...,хр
У, Уг Уз
1
1
1 ... 1
1 0 0
•
1 ... 1
1 0 0
2
тх +1
1 ... 1
0 1 0
•
•
.
•
тх + т2
1 ... 1
0 1 0
3
тх+т2И
1 ... 1
0 0 1
•
•
mx^m2-vm2
1 ... 1
0 0 1
Рис. б.З. Структура данных при трех новых тестах (1— значение присутствует, 0 — отсутствует)
мощью линейной интерполяции (или экстраполяции, в зависимости от выбранных значений). На рис. 6.4. изображен график оценки коэффициента корреляции как функции частной корреляции для данных
Частные корреляцииЧастные корреляцииРис. 6.4. Простые корреляции как функции частных корреляций [Rubin and Thayer (1978)].Рис. 6.4. Простые корреляции как функции частных корреляций [Rubin and Thayer (1978)].Службы проверки уровня образования (Education lasting Service) со структурой, как на рис. 6.3 при ай! = 1325, т2 = 1345, т3=2000 и двумерном X [см. Rubin and Thayer (1978)].
Частные корреляции
Частные корреляции
Рис. 6.4. Простые корреляции как функции частных корреляций [Rubin and Thayer (1978)].
Рис. 6.4. Простые корреляции как функции частных корреляций [Rubin and Thayer (1978)].
Как и при монотонных нормальных данных, SWEEP-one- ратор очень полезен при записи и в вычис-
пениях для этого рисунка. Вычисления можно описать так.
Шаг L Найдите МП-оценки параметров маргинального распределения X, цх и Е^. Это просто выборочные средние и ковариационная матрица для всех и наблюдений, р,х и Ё^. Этот шаг дает ^= (43,27,26,79) и
330,33 118,92
118,92 138,13
Шаг 2. Найдите МП-оценки Вхох» ^ixX и ^и-х коэффициентов регрессии и остаточной дисперсии для регрессии У1 на X. Их можно получить, проводя свертку по переменным X дополненной ковариационной матрицы У1 и X, вычисленной по тх наблюдениям, в которых присутствуют и X, и Уь На этом шаге получаем G310.x, Blxx)= = (0,9925, 0,1010, 0,1718) и 5П.Х= 11,0887.
Шаг 3. Найдите МП-оценки 02О.Х, Birx и ^и-х коэффициентов регрессии и остаточной дисперсии для регрессии У2 на X. Их можно получить, проводя свертку по переменным х дополненной ковариационной матрицы У2 и X, вычисленной по тг наблюдениям, в которых присутствуют X и У2. На этом шаге находим (В-^, ^-х^ = (—0,4444, 0,1760, 0,2278) и 5^ = 27,3818.
Шаг 4. Найдите МП-оценки Взо-Х» Ззх-х и ^зз-х коэффициентов регрессии и остаточной дисперсии для регрессии У3 на X. Их можно получить, проводя свертку по переменным X дополненной ковариационной матрицы У3 и X, вычисленной по т3 наблюдениям, в которых присутствуют и X, и У3. Этот шаг дает (5зо-х» ^Тх-х)= =(0,3309, 0,2298, 0,5731) и 533.х=71,4943.
Шаг 5. Приравняйте нулю все коэффициенты частной корреляции, не поддающиеся оценке. Найдите (единственную) МП-оценку вектора средних р,=(>х, i^r и ковариационной матрицы
всех переменных следующим образом:
—1—1^<оГ^<оГ
—1
—1
^<оГ
^<оГ
SWP
—1
^
Й
^хх
010-х
01х-х
020-х
02х-х
030-х
03х-х
= RSW[x]
010-х
0Т1х-х
а11-х
0
0
020-х
01Х-Х
0
°22-х
0
030-х
03х-х
0
0
а1Гх
#*(0)
£(0)
(6.23)
где нулевые индексы в левой части (6.23) обозначают оценки, условные по нулевой частной корреляции. Шаг 5 позволяет получить ^=(9,96, 13,27, 25,63),
22,6617,6132,84
17,6154,3149,61
32,8449,61165,64
53,7885,22144,08
36,7452,39106,50
Шаг 6. Приравняйте единице все коэффициенты частной корреляции, не поддающиеся оцениванию. Найдите соответствующие МП- оценки:
—1
2(1)
Эти оценки можно получить, замещая нижнюю правую Зх 3-подматрицу в правой стороне (6.23) на
^Пх^ °\\х°22х^ °\\х°33х
°\\х°22х®»х^22х°33х
'^Х-^ЗЗх^22х°33х°33х
Получаем те же значения ^ и £уу, но оценки остальных параметров другие. В частности, оценки корреляций между переменными Y равны 0,999, 0,996, 0,990. На шаге 5 соответствующие оценки равнялись 0,50, 0,54 и 0,52.
Проводя линейную интерполяцию между значениями корреляций на 5-м и 6-м шагах, получаем рис. 6.4. В [Rubin and Thayer (1978)]- рассмотрены и другие параметры, например коэффициент множественной корреляции. В общем случае они не линейны по (неоценивае- мым) частным корреляциям, но также легко вычисляются.
ЛИТЕРАТУРА
Anderson, Т. W. (1957). Maximum likelihood estimates for the multivariate normal distribution when some observations are missing, J. Am. Statist. Assoc. 52, 200-203.
Beaton, A. E. (1964). The use of special matrix operations in statistical calculus, Educational Testing Service Research Bulletin, RB-64-51.
Box, G. E. P., and Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis, Reading MA: Addison-Wesley.
Cochran, W. G. (1977). Sampling Techniques, 3rd ed. New York: Wiley.'
Dempster, A. P. (1969). Elements of Continuous Multivariate Analysis. Reading, MA: Addison- Wesley.
Dixon, W. J. (Ed.) (1983). BMDP Statistical Software, 1983 revised printing. Berkeley: University of California Press.
Draper, N. R., and Smith, H. (1968). Applied Regression Analysis, New York: Wiley7
Goodnight, J. H. (1979). A tutorial on the SWEEP operator. American Statistician, 33, 149-158
Lindley, D. V. (1965). Introduction to Probability and Statistics from a Bayesian Viewpoint, Vol. 2. Cambridge: Cambridge University Press.
Little, R. J. A. (1976), Inference about means from incomplete multivariate data, Biometrika 63, 593-604.
' Русский перевод: Кокрен У. Методы выборочного исследования. — М.: Статистика, 1976.
2
Русский перевод: Дрейпер Н., Смит Г. Прикладной регрессионный анализ. — М.: Финансы и статистика. - Кн. 1, 1986; кн. 2, 1987.
Little, R. J. A. (1986). Some methods for interval estimation with incomplete data.
Little, R. J. A. and Rubin, D. B. (1983). On jointly estimating parameters and missing data by maximizing the complete-data likelihood. American Statistician ЗП, 218-220.
Lord, F. M. (1955). Estimation of parameters from incomplete data, J. Am. Statist. Assoc. 50, 870-876.
Marini, M. M., Olsen, A. R., and Rubin, D. B. (1980). Maximum likelihood estimation in panel studies with missing data, in Sociological Methodology 1980. San Francisco: Jossey-Bass.
Morrison, D. F. (1971). Expectations and variances of maximum likelihood estimates of the multivariate normal distribution parameters with missing data, J. Am. Statist. Assoc. 66, 602-4.
Rubin, D. B. (1974), Characterizing the estimation of parameters in incomplete data problems, J. Am. Statist. Assoc. 69, 467-474.
Rubin, D. B. (1976). Comparing regressions when some predictor variables are missing, Technometrics 18, 201-206.
Rubin, D. B., and Thayer, D. (1978). Relating tests given to different samples, Psychometrika 43, 3-10.
Rubin, D. B. (1986). Statistical matching using file concatenation with adjusted weights and multiple imputation, J. Business Econ. Stat. 4, 87-94.
Snedecor, G. W„ and Cochran, W. G. (1967). Statistical Methods, 6th ed. Ames: Iowa State University Press.
ЗАДАЧИ
Познакомьтесь с работами по данным со структурной из примера 6.1, предшествовавшими [Anderson (1957)].
Допустим, что данные в примере 6.1. ОС. Покажите, что при заданных 0Gh> •••» Лп^гои и Д2Г1 — несовмещенные оценки 32oi н ^21 г Покажите исходя из этого несмещенность д2
Допустим, что данные в примере 6.1 ОПС. Найдите точную дисперсию д2, Условную по Он, ... ynV Указания. Если и распределена по хи-квадрат с d степенями свободы, то E(l/u)=l/(d— 2) [см. Morrison (1971)]. Выведите отсюда, что ^ имеет дисперсию меньше, чем У2, если и только если Q2>l/(m—1), где т — число полных наблюдений.
Сравните асимптотическую дисперсию /а—/42, определяемую выражениями (6.13) и (6.14), с точной дисперсией, вычисленной в задаче 3.
Докажите результаты 1—6 нз раздела 6.3.2 (за указаниями обратитесь к гл. 2 в [Box and Tiao (1973)].
Выведите асимптотическую дисперсию МП-оценок 1п<т22 для данных из раздела 6.2, выражая 1п<722 как функцию Ф и применяя метод, описанный в разделе 6.3.1. Вычислите асимптотический 95<7о-ный доверительный интервал для 1п<т22 по данным из табд. 6.1, преобразуйте его в интервал для агг и сравните с другими интервалами для <722 в таб. 6.2.
Выразите коэффициент регрессии Хх иа Хг, 0хм* ^я двумерного нормального распределения через параметры Ф из раздела 6.2 и выведите МП-оценку для данных примера 6.1.
Покажите в условиях задачи 7, что оценка 012.2, получаемая максимизацией логарифма правдоподобия для полных данных по параметрам и пропущенным значениям, равна 3^^ = 412-2^22/^22» где (в обозначениях раздела 6.2)
^^■i^ii+n .^Од—>2—02l.iOa — >i)]2.
ИСХОДЯ ИЗ ЭТОГО покажите, ЧТО /3 12.2 — несостоятельная оценка 3122» если доля пропусков не сходится к нулю (см. раздел 5.4, решение см. в [Little ana Rubin (1983)].
Покажите, что факторизация в примере 6.1 не дает раздельных параметров \фд для двумерной нормальной выборки с пропусками в У2 при средних (д^ д2), корреляции q и общей дисперсии ог.
Сгенерируйте на компьютере или другим способом двумерную нормальную выборку нз 20 наблюдений с параметрами ^1=^=0, aH = l, <z22=2, а12 = 1 и удалите значения У2 так, чтобы вероятность отсутствия >2 была равна 0,2 при >i <0 и 0,8 при 71 >0.
Постройте критерий проверки условия ОПС и примените его к вашим данным (воспользуйтесь программой BMDP8D в руководстве к пакету BMDP (см. Dixon (1983)]).
Вычислите 95%-ный доверительный интервал для д2, используя а) данные до удаления части У2, б) полные наблюдения, в) /-аппроксимацию (см. раздел 6.3.2). Сделайте выводы относительно свойств этих интервалов для данного механизма порождения пропусков.
Докажите, что оператор свертки коммутативен и что порядок проведения сверток алгебраически не существен ( хотя можно показать, что этот порядок может влиять на точность и диапазон вычислений).
Покажите, что RSW обратная к SWP операция.
Покажите, как вычислять коэффициенты частной и множественной корреляции с помощью SWP.
Оцените параметры распределения ХХ1 Х2, Х3 н Х5 в примере 6.8, считая, что Х4 совсем не наблюдается. Если вместо Х4 будет полностью отсутствовать Х3, вычисления окажутся проще ипн сложнее?
Постройте таблицу факторизации [см. Rubin (1974)] для данных из примера 6.10. Покажите, почему оценки, полученные в этом примере, — это МП-оценки.
Пусть данные ОС. Если статистик удаляет значения, чтобы получить набор данных, в котором факторы соответствуют полным данным, то обязательно ли в результате отсутствующие данные отсутствуют случайно? Приведите пример, иллюстрирующий существенные моменты.
Глава 7. МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
ДЛЯ СТРУКТУР ПРОПУСКОВ ОБЩЕГО ВИДА:
ВВЕДЕНИЕ И ТЕОРИЯ МЕТОДА
ПРИ ИГНОРИРУЕМОМ МЕХАНИЗМЕ ПРОПУСКОВ
МЕТОДЫ ВЫЧИСЛЕНИЙ
Структура неполных данных на практике часто не позволяет явно вычислять ОМП с помощью факторизации правдоподобия. Кро- | ме того, для некоторых моделей факторизация существует, но параметры ф( каждого из факторов не раздельны, и поэтому мак- 145
симизация факторов по отдельности не приводит к максимуму правдоподобия. В этой главе мы рассмотрим итеративные методы вычислений, когда ОМП не выражаются в явном виде. В некоторых случаях эти методы можно применить к факторизованным неполным данным, описанным в разделе 6.6.
Предположим, как и ранее, что мы имеем модель для полных данных У, которой соответствует плотность ДУ | 6), зависящая от неизвестного параметра 6. Введем обозначение У=(УоЬ$, ymis), где УоЬ5 представляет собой наблюдаемую часть У, а Ут15 — пропущенные значения. В этой главе для простоты примем, что данные ОС и что целью является максимизация правдоподобия
ЦО I yobs)= wyobs, ymis I 0)d¥mk(7.1)
по в. Аналогичный анализ применим в более общей ситуации, когда данные не ОС, а значит, член, представляющий механизм порождения пропусков, включается в модель. Такие случаи рассматриваются в гл. 11.
Если правдоподобие дифференцируемо и одномодально, ОМП можно найти, решая уравнение максимального правдоподобия
S(fl| yobs)=d^(7.2)
Когда нельзя явно найти корень (7.2), можно применить итеративные методы. Пусть 0® — начальная оценка О, вычисленная, например, по наблюдениям без пропусков. Обозначим ^ оценку на Z-й итерации. Алгоритм Ньютона—Рафсона определяется уравнением
^+I) = ew+Z-1(^> I У^ДО I yobs),(7.3)
где 1(0 | yobs) — наблюдаемая информация:
Если логарифм функции правдоподобия выпуклый и одномодальный, то последовательность значений ^ сходится к ОМП 0 параметра 0 (за одну итерацию, если логарифм правдоподобия — квадратичная функция от 6) Вариантом этой процедуры является метод функции вкладов (method of scoring), при котором в (7.3) наблюдаемую информацию заменяют ожидаемой:
0V*D = ^+J-4W(0w\ yobs), (7.4)
где
ДО>ЕЩе | yobs) | «1=-^^^1 6)dYobs.
При обоих методах вычисляется матрица вторых производных логарифма правдоподобия. Для сложных структур пропусков элементы этой матрицы являются сложными функциями от 6. К тому же эта матрица велика при большей размерности 6. Как следствие, чтобы применять эти методы, могут потребоваться тщательные алгебраические выкладки и высокоэффективное программирование.
Еще один алгоритм [см. Berndt, Hall, Hall and Hansman (1974)] основан на том факте, что выборочная ковариационная матрица вклада 8(6| yobs) является состоятельной оценкой информации в окрестности 6. Получается такое итеративное уравнение:
в('+1) = в(') + Х/е-1(^))5(в(0 I Yobs),
где (^б^Е^1 (dll/d6)(dli/d6)T, lt — логарифм правдоподобия /-го наблюдения, а X, — положительный шаг, вводимый таким образом, чтобы обеспечить сходимость к локальному максимуму. Другие варианты алгоритма Ньютона—Рафсона позволяют аппроксимировать производные логарифма правдоподобия численно, при использовании первых и вторых разностей между двумя последовательными итерациями.
Альтернативной вычислительной стратегией для задач с неполными данными, которая не требует вычисления или аппроксимации вторых производных, является ЕМ-алгоритм (expectation-maximization algorithm) — метод, который связывает МП-оценивание 6 по /(5 | УоЬб) с оцениванием по логарифму правдоподобия 1(6 | Y) для полных данных. Во многих важных ситуациях ЕМ-алгоритм удивительно прост как в содержательном, так и в вычислительном отношении. Оставшаяся часть этой главы посвящена ЕМ-алгоритму.
ЕМ-АЛГОРИТМ. ВВЕДЕНИЕ
ЕМ-алгоритм — очень общий итеративный алгоритм для МП- оценивания в задачах с неполными данными. На деле круг задач, которые можно решать с помощью ЕМ-алгоритма, очень широк. Он охватывает задачи, постановка которых обычно не связана с проблемой отсутствующих и неполных данных (например, оценивание компонент дисперсии, итеративно взвешиваемые оценки наименьших квадратов).
В ЕМ-алгоритме формализована относительно старая идея обработки неполных данных: 1) заполнение пропусков оценками пропущенных значений; 2) оценивание параметров; 3) повторное оценивание пропущенных значений, при этом оценки параметров считаются точными; 4) повторное оценивание параметров и так далее до сходимости процесса. Такие алгоритмы являются ЕМ-алго- ритмами для моделей, где логарифм правдоподобия для полных данных /(9 | УоЬ$, Утк)=1пЦ0 | yobs, ymis) линеен по УтЬ, или в более общей форме, где надо оценивать не отдельные пропуски, а отсутствующие достаточные статистики, и более того, где на каждой итерации алгоритма надо оценивать логарифм правдоподобия /(9 | У).
Поскольку ЕМ-алгоритм тесно связан с основанной на интуиции идеей заполнения пропусков и совершения итераций, неудивительно, что он уже давно предлагался в частных случаях. Одним из первых его предложил МакКендрик [McKendrick (1926)] для медицинских приложений. Хартли [Hartley (1958)] рассмотрел общий случай дискретных данных и довольно широко разработал теорию- В ег0 статье содержится много ключевых идей современной теории. Баум и соавторы [Baum, Petrie, Soules and Weiss (1970)] использовали этот алгоритм для марковской модели и доказали важные математические результаты, которые довольно легко обобщаются. Орчард и Вудбери [Orchard and Woodbery (1972)] первыми отметили широкую применимость основной идеи, названной ими «принципом отсутствующей информации». Сандберг [Sundberg (1974)] рассмотрел свойства общих уравнений максимального правдоподобия, а Бил и Литтл [Beale and Little (1975)] развили теорию для нормальной модели. Термин «ЕМ» был введен в [Dempster, Laird and Rubin (1977)]. В этой работе показана высокая общность алгоритма. В ней: 1) доказаны общие результаты о поведении алгоритма и, в частности, отмечено свойство, что каждая итерация увеличивает правдоподобие /(9 | УоЬ5); 2) приведено множество примеров. С 1977 г. появилось большое число работ по применению ЕМ-алгоритма и с исследованием его сходимости (см., например, [Wu (1983)])-
Каждая итерация ЕМ-алгоритма состоит из шага Е (вычисление математического ожидания) и шага М (максимизация)— Эти шаги можно легко представить содержательно, запрограммировать и раз-
местить в памяти компьютера. Далее, каждый шаг имеет непосредственную статистическую интерпретацию. Еще одним достоинством алгоритма является надежная сходимость, т. е. в определенных нестрогих условиях каждая итерация увеличивает логарифм правдоподобия /(9 | УоЬ5), и если /(9 | УоЬ$) ограничен, то последовательность /(9(/) | УоЬ5) сходится к стационарному значению /(9 | УоЬ$). С достаточной степенью общности можно сказать, что если последовательность 6^6 сходится, то она сходится к локальному максимуму или точке перегиба /(9 | yobs). Недостаток ЕМ-алго- ритма заключается в том, что скорость сходимости может быть очень низкой, если пропущено много данных. В [Dempster, Laird and Rubin (1977)] показано, что сходимость линейна со скоростью, пропорциональной наблюдаемой доле информации о 6 в 1(6 | У), о чем более точно говорится в разделе 7.5. Кроме того, ЕМ-алгоритм не обладает свойством, присущим алгоритму Ньютона—Рафсона или методу вкладов, согласно которому оценки, получаемые после одной итерации, асимптотически эквивалентны ОМП.
ОПИСАНИЕ ЕМ-АЛГОРИТМА
Описание шага М совсем просто: «Проводить максимально правдоподобное оценивание 6 так, как будто нет пропусков, т. е. как будто они заполнены». Таким образом, на шаге М ЕМ-алгоритма используются те же вычислительные методы, что и при МП-оцени- вании по 1(6 | У).
На шаге Е находят условное ожидание «пропущенных данных» при фиксированных наблюденных данных и текущих оценках параметров, а затем заменяют «пропущенные данные» найденными ожидаемыми значениями. «Пропущенные данные» взяты в кавычки, так как на практике в ЕМ-алгоритме не обязательно происходит действительное заполнение пропусков. Ключевая идея ЕМ-алгоритма, оформившаяся из частной идеи итеративного заполнения пропусков, состоит в том, что «пропущенные данные» — это не УтЬ, а функции от Утк, входящие в логарифм правдоподобия для полных данных, т. е. 1(6 | У).
Точнее, пусть 6^ — текущая оценка параметра 6. На шаге Е ЕМ- алгоритма находят ожидаемый логарифм правдоподобия при условии 6=6^:
Q(616W)=\i(61 n/(ymis I yobs, 6=e«wmk.
На шаге М ЕМ-алгоритма определяют 6<,+1), максимизируя этот ожидаемый логарифм правдоподобия:
Q^1 1) | б«) > Q^e | 6(0)для всех 6е.
Пример 7.1. Одномерные нормальные данные Допустим, что yz н. о. р. по N(jl, а2), где yz, /=1т, наблюдаются, a yz, i=m+ +1, ..., п, отсутствуют, и предположим, что выполняется ОС. Ожидаемое значение каждого пропуска jz при заданных УоЬ$ и 6=(д, а2) равно д. При этом, согласно примеру 5.1, логарифм правдоподобия 7(6 | У) для всех у;, /=1, .... п, линеен по достаточным статистикам Efyz и E?yt. Значит, на шаге Е алгоритма получаются значения
Е(Е yt | ev\ yobs) = £ yt + <n-mV\(7.5)
E(Ey2 | 6», yobs)=£ y^+(n-m)lW+Wl (7.6)
для текущих оценок 6(0 = (д(0, огЭД) параметров. Заметьте, что простая подстановка g(0 вместо пропусков ут+1, ..., у„ привела бы к отсутствию в (7.6) члена (л—ту^у.
Для полных данных ОМП g равна Е^у/п, а ОМП а2 — это Е^у2/п—(Е?у/пу. На шаге М используются эти же выражения с текущими ожиданиями достаточных статистик, вычисленными на шаге Е и подставляемыми вместо не полностью наблюдаемых достаточных статистик. Следовательно, на шаге М вычисляются
^=Е(Е у,\^. Y^/n,(7.7)
4<H'+i>)2=E(£>V|0<'), У^/л-^'+П)2.(7.8)
Полагая в уравнениях (7.5) — (7.8) р^ = У1+ ° = р и ^ = <Н,+ 1) = а, получаем, что итерации сходятся к
i^Yt /т и
а2=Е у^/т—р2 —
ОМП параметров р и а2 по УоЬ$ при условии ОС. Конечно, в этом примере ЕМ-алгоритм не нужен, поскольку можно получить ОМП (д, а2) в явном виде.
Пример 7.2. Полиномиальный случай. Этим примером начиналось описание ЕМ-алгоритма во введении к [Dempster, Laird and Rubin (1977)]. Пусть постулируется, что вектору данных наблюденных частот УоЬ$=(38, 34, 125) соответствует полиномиальное распределение с вероятностями (1/2 —1/20, 1/40, 1/2+1,40). Ставится цель найти ОМП 0. Определим У=(у1угузу^) как полиномиальную случайную переменную с вероятностями (1/2—1/20, 1/40, 1/40, 1/2), где ^о^^хУгУз+у*). Заметим, что если бы наблюдались «полные данные» У, ОМП была бы получена немедленно:
—•У2^3 .(7.9)
Ух +Уг +Уз
Заметим, также, что логарифм правдоподобия линеен по 0, так что поиск математического ожидания /(01 У) при заданных 0 и УоЬ$ включает те же вычисления, которые требуются для определения математического ожидания У при заданных 0 и yobs, когда, по существу, происходит подстановка оценок пропущенных значений:
Е^х | 6, УоЬ$)=38,Е(Уз | 0, УоЬ$)=34,
Е^з I 0, УоЬ$)= 125 (1/40)/(1/2 +1/40),
^(У* I S, УоЬ$)= 125 (1/2)/(1/2+1/40).
Таким образом, на +й итерации мы имеем на шаге Е при оценке 0(0
7^=125 (1/40(0)(1/2+1/40(0),(7.Ю)
а на шаге М, согласно (7.9)
0('+>)=(34+^)/(72+^).(7.11)
Итеративное повторение шагов (7.10) и (7.11) и определяет ЕМ-ал- горитм для этой задачи. На деле, полагая 0('+1) = 0(') = £ и объединяя два уравнения, мы получим квадратное уравнение относительно 0 и, значит, явное решение для ОМП. В табл. 7.1 показано, как последовательность значений оценок в ЕМ-алгоритме сходится к этому решению с начальной точки 0(°> = 1/2.
Пример 7.3. Двумерное нормальное распределение с пропусками в обеих переменных. Простой, но нетривиальный пример ЕМ-алго-
ПеременныеПеременныеY1 У2Y1 У2ОбъектыОбъекты1 О1 О771 1О 1О 11 О1 О771 1О 1О 11 =значение, О=пропуск1 =значение, О=пропускРис. 7.1. Структура пропу-сков для примера 7.3.Рис. 7.1. Структура пропу-сков для примера 7.3.ритма возникает в случае двумерного нормального закона с общей структурой пропусков: в первой группе объектов наблюдается Уь но отсутствует У2, во второй группе наблюдаются и У,, и У2, в третьей группе наблюдается У2, но отсутствует У1 (рис. 7.1). Мы хотим вычислить ОМП /т и Е среднего и ковариационной матрицы У> и У2.В отличие от примера 7.2 (и аналогично примеру 7.1) заполнение пропусков на шаге Е «не работает», так как логарифм правдоподобия /(9 | У) линеен не по данным, а по следующим достаточным статистикам:ритма возникает в случае двумерного нормального закона с общей структурой пропусков: в первой группе объектов наблюдается Уь но отсутствует У2, во второй группе наблюдаются и У,, и У2, в третьей группе наблюдается У2, но отсутствует У1 (рис. 7.1). Мы хотим вычислить ОМП /т и Е среднего и ковариационной матрицы У> и У2.В отличие от примера 7.2 (и аналогично примеру 7.1) заполнение пропусков на шаге Е «не работает», так как логарифм правдоподобия /(9 | У) линеен не по данным, а по следующим достаточным статистикам:
Переменные
Переменные
Y1 У2
Y1 У2
Объекты
Объекты
1 О
1 О
77
1 1
О 1
О 1
1 О
1 О
77
1 1
О 1
О 1
1 =значение, О=пропуск
1 =значение, О=пропуск
Рис. 7.1. Структура пропу-сков для примера 7.3.
Рис. 7.1. Структура пропу-сков для примера 7.3.
ритма возникает в случае двумерного нормального закона с общей структурой пропусков: в первой группе объектов наблюдается Уь но отсутствует У2, во второй группе наблюдаются и У,, и У2, в третьей группе наблюдается У2, но отсутствует У1 (рис. 7.1). Мы хотим вычислить ОМП /т и Е среднего и ковариационной матрицы У> и У2.
В отличие от примера 7.2 (и аналогично примеру 7.1) заполнение пропусков на шаге Е «не работает», так как логарифм правдоподобия /(9 | У) линеен не по данным, а по следующим достаточным статистикам:
ритма возникает в случае двумерного нормального закона с общей структурой пропусков: в первой группе объектов наблюдается Уь но отсутствует У2, во второй группе наблюдаются и У,, и У2, в третьей группе наблюдается У2, но отсутствует У1 (рис. 7.1). Мы хотим вычислить ОМП /т и Е среднего и ковариационной матрицы У> и У2.
В отличие от примера 7.2 (и аналогично примеру 7.1) заполнение пропусков на шаге Е «не работает», так как логарифм правдоподобия /(9 | У) линеен не по данным, а по следующим достаточным статистикам:
^ = рЛ1> 8г = Еуп, sn = E)7it,^ = рЛ1> 8г = Еуп, sn = E)7it,8гг = 'Е^111 sn = £ynya, (7.12)8гг = 'Е^111 sn = £ynya, (7.12)
^ = рЛ1> 8г = Еуп, sn = E)7it,
^ = рЛ1> 8г = Еуп, sn = E)7it,
8гг = 'Е^111 sn = £ynya, (7.12)
8гг = 'Е^111 sn = £ynya, (7.12)
которые являются простыми функциями выборочных средних, дисперсий и ковариаций. Следовательно, на шаге Е нужно найти условные ожидания сумм (7.12) при заданных УоЬ$ и 0=(д, Е). Для группы объектов с присутствием и уп, и уа условное ожидание величин (7.12) равно их наблюдаемым значениям. Для группы, где у;1 присутствуют, а уа пропущены, ожидания уп, и у^ равны на-
Таблица 7.1. Последовательность оценок в ЕМ-алгоритме для примера 7.2
t
^-6
0
0,500000000
0,126821498
0,1465
1
0,608247423
0,018574075
0,1346
2
0,624321051
0,002500447
0,1330
3
0,626488879
0,000332619
0,1328
4
0,626777323
0,000044176
0,1328
5
0,626815632
0,000005866
0,1328
6
0,626820719
0,000000779
7
0,626821395
0,000000104
8
0,626821484
0,000000014
блюдаемым значениям, ожидания уа, уаи УцУц можно найти с помощью регрессии уа на уп:
^(У/г I Уп’11’ ^) = ^2o-i +^211У/р
^0^г1 Л1>^>^) = (^201+РяхУпУ* °ni»
ЭДУдУа I У/р^Е^^го-! +#21-1Уд)У/1»
где @20- р ^211 и °22 i — функции от Е, соответствующие регрессии уа на ул (детали см. в примере 6.1). Для группы с присутствующими уа и пропущенными уп вычисление отсутствующих членов в достаточных статистиках проводится с помощью регрессии уп на уа. Найдя ожидания yiv уа, у^, у^и упуа для каждого объекта в трех группах, вычислим ожидания достаточных статистик (7.12) как суммы этих величин по объектам. На шаге М по «заполненным» достаточным статистикам определяются обычные моментные оценки ц и Е:
1Ц=8\/П,f^2=82^^9
д^ = 5п/П—g2 »di=S22./n—/42»6\2 = 812/и—Al#12>
ЕМ-алгоритм для этой задачи состоит в итеративном повторении этих шагов. Другие детали для этого примера рассматриваются в гл. 8, где описан ЕМ-алгоритм для многомерного нормального распределения общего вида с любой структурой пропусков.
ТЕОРИЯ ЕМ-АЛГОРИТМА
Распределение полных данных Y можно факторизовать следующим образом:
ДУ | 6)=ДУоЬ$, yobs | 6)=ДУоЬ$1 М^ I yobs,S), (7.13)
где ДУ^ 19) — плотность наблюдаемых данных У^, а ДУ^ | У^.А) — плотность отсутствующих данных ymis при заданных наблюденных данных. Разложение логарифма правдоподобия, соответствующее (7.13), — это
1(0 | Y) = l(6 | yobs, ¥^ = 1(6 | УоЬ$)+1пДУтк | yobs,0).
Нам нужно оценить в, максимизируя правдоподобие для неполных данных 1(6 | УоЬ5) по 6 при заданных УоЬ$. Однако непосредственное решение этой задачи может оказаться трудным.
Запишем:
КО I yobs)=/(S | П-ШЛУ^ | yobs, 0),(7.14)
где 1(6 | yobs) — максимизируемый логарифм правдоподобия для наблюдаемых данных, 1(6 | Y) — полный логарифм правдоподобия, максимум которого по предположению относительно легко найти, а 1ц/(Ут;51 ^obs»^) ~ отсутствующая часть полного логарифма правдоподобия.
Математическое ожидание по распределению пропущенных данных ymis, взятое по обеим сторонам (7.14) при заданных наблюденных данных УоЬб и текущей оценке 6, скажем, 6(0, равно:
/(0| УоЬ5)=е(0|^>)-Я(0|0(')), где
Q(6 | бМко | yobs, r^r™ | V(Wmis
и
H(6 I ^) = Jnn/(ymis I yobs,0)Wymis | yobs, wymis.
Заметим, что по неравенству Йенсена [см. Rao (1972), с. 47]
H(0\6W)^H(6W\eW).(7.15)
Рассмотрим последовательность в®, 6^ где 6(**Х''=М(6(О) для
некоторой функции М(-). Разность значений 1(6 | УоЬ$) на двух последовательных итерациях определяется выражением
ке^ I ^-/(^1 yobs)=[G(^+I) I eto)_Q(e<o । e«)]_
(7.16)
—[Я(0(,+1> I 6(0)—H(6W I 0(0)].
ЕМ-алгоритм выбирает значение ^,+1), максимизирующее 0(6 | 6(0) по 6. В более общем случае GEM, обобщенный ЕМ-алгоритм (generalized ЕМ), выбирает 0(,+1\ такое, что Q(6(**0 | 0(0) больше 0(6(010(0). Поэтому разность между функциями Q в (7.16) положительна для любого ЕМ- или GEM-алгоритма. Далее, заметим, что разность между функциями Н в (7.16) отрицательна согласно (7.15). Следовательно, для любого ЕМ- или GEM-алгоритма переход от 6(0 к 0<,+1> увеличивает логарифм правдоподобия. Сказанное доказывает теорему, являющуюся ключевым результатом в [Dempster, Laird and Rubin (1977)].
Теорема 7.1. Любой GEM-алгоритм увеличивает 1(61 УоЬ$) на каждой итерации, т. е.
/(^I^M^lFobs).
причем равенство выполняется в том и только в том случае, если0(6^ | ^=Q(^ | 6^.
Следствие 1. Допустим, что для некоторого 6*, принадлежащего параметрическому пространству 6, 1(6* | УоЬ$) > 1(6 | УоЬ$) для всех 6. Тогда для любого GEM-алгоритма
W^ I ¥^=1(6* I yobs),
Q(M(6*^ | б^^б* | в*) и
Я*™1 ^„W)^^» I V*)
почти наверное.
Следствие 2. Допустим, что для некоторого 6*, принадлежащего параметрическому пространству 6, 1(6* | УоЬ$) > 1(6 | УоЬ$) для всех 6. Тогда для любого GEM-алгоритма М(в*)=в*.
Теорема 7.1 указывает, что 1(6 | УоЬ$) не убывает на каждой итерации GEM-алгоритма и строго возрастает на таких итерациях, где возрастает Q (т. е. Q^'*^ | ДО, yobs) > Q(^ | ДО, yobs))- Следствия означают, что ОМП 6 является стационарной точкой GEM-алгоритма.
Другой важный результат, касающийся ЕМ-алгоритма, представлен в теореме 7.2, которая выполняется, когда Q(6 | 6^) максимизируют, полагая первую производную равной нулю.
Теорема 7.2. Допустим, что последовательность значений в ЕМ- алгоритме такова, что
В^^б^1*1'11 0W)=O, где D10 обозначает первую производную по первому аргументу, т. е.
Z»OQ(^+1) | 6W)= ув Q(6 I ДО) I g-^r+n;
6W сходится к 6е;
ЯУ^ I ^obs’^) - гладкая по 6, где гладкость определена в доказательстве. Тогда
D10l(6* \¥^=^!(е\¥^\9=в.=0.
так что если 5(/> сходится, то сходится к стационарной точке. Доказательство.
П1ОЦ0^ | Yobs)=D"W+n I б^)~D'°H^l+l^ | 0(0) =
=—Dl0H(e^ | e«)=
= - ±lMymis | yobs.mrmis I Yobs,0UWmis I e=^_ 99
В условиях предполагаемой гладкости, достаточной, чтобы менять порядок интегрирования и дифференцирования, эта величина сходится к
-!^/(Ут1з1УоЬ$,»*№5,
что оказывается равным нулю после перемены порядка интегрирования и дифференцирования.
Другие результаты по ЕМ-алгоритму в [Dempster, Laird and Rubin (1977); Wu (1983)], касающиеся сходимости, включают следующее:
если 1(0 | УоЬ$) ограничен, то l(0W | УоЬ$) сходится к некоторому /*;
если /(У| 6) — общее (выпуклое) экспоненциальное семейство и /(0 | УоЬб) ограничен, то l(0W | УоЬ$) сходится к стационарному значению /*;
если ДУ] 0) — регулярное экспоненциальное семейство и 1(01 Y^ ограничен, то 0W сходится к стационарной точке 0*.
ОТСУТСТВУЮЩАЯ ИНФОРМАЦИЯ
Матрицу присутствующей информации 1(0 | УоЬ$) можно найти, непосредственно дважды дифференцируя логарифм правдоподобия /(0 | УоЬ5) по 0, или другим способом: заметим, что двукратное дифференцирование (7.14) по 0 дает для любого ymis
1(0 I УоЬб)=Д0 I yobs, y^+W^ I УоЬ$,0)/д0д0,
где 1(0 | yobs, ymis) — «наблюдаемая» информация, содержащаяся в У=(УоЬб, ymis), а второй член, взятый со знаком минус, — это (отсутствующая) информация в Ут,5. Вычисляя ожидания по распределению Утк при заданных УоЬ$ и 0, получаем:
Кб | yobs) = -D^Q(0 I 0)+1DW I 0)(7.17)
при условии, что дифференцирование по 0 можно переносить за знак интеграла. Если мы назовем — D20^ | 0) полной, а D^H^O 10) — отсутствующей информацией, то (7.17) получит следующую примечательную интерпретацию:
Наблюдаемая информация = полная информация — отсутствующая информация.
Скорость сходимости ЕМ-алгоритма тесно связана с этими величинами: чем больше доля отсутствующей информации, тем медленнее сходимость. Точнее, Дэмпстер, Лэйрд и Рубин [Dempster, Laird and Rubin (1977)] показали, что для последовательности № значений в ЕМ-алгоритме, сходящейся к О*,
|0(/+1)_0*| = Х|6«—6*|(7.18)
для 66) в окрестности 0*, где X — отношение отсутствующей информации к полной при скалярном 6 или наибольшее собственное значение соответствующей матрицы при векторном 6.
Луи [Louis (1982)] выразил отсутствующую информацию в терминах величин для полных данных и показал, что
-d2<w | в)=ад I yObs. ^W I Уоъ8. VI W-
-S(0\Ydbs)S40\Yobs),
где, как и раньше, S обозначает функцию вкладов, а Т — транспонирование матрицы. В МП-оценке 5(6 | УоЬ$)=0 и в последнем выражении остается первый член. Уравнение (7.17) принимает вид
Д0| ^bs)=-^WI^)-
(7.19)
-E\S(6 | УоЬ$, Ym^S46 | yobs, ymis) | yobs,6] | e=$.
что может оказаться полезным в процессе вычислений.
Выражение для ожидаемой информации ДО), аналогичное (7.17), находят после вычисления математического ожидания (7.17) по yobs. Точнее,
до)=jc(0)+E{iyoH(e 16)],до)=jc(0)+E{iyoH(e 16)],(7.20)(7.20)
до)=jc(0)+E{iyoH(e 16)],
до)=jc(0)+E{iyoH(e 16)],
(7.20)
(7.20)
где Jc(6) — ожидаемая полная информация для У=(УоЬ5, ^ть)- в Работе [Orchard and Woodbery (1972)] это выражение приведено в другом виде.
Пример 7.4 (продолжение примера 7.2). Для «полиномиального» примера 7.2 логарифм правдоподобия для полных данных равен
>»! In (1—в)+(у2+Уз)1пв
с точностью до члена, не зависящего от 0. Дифференцирование по 6 приводит к
S(5|j)=—Уз/а-^+Оъ+Уз)^,
7(б| У^у./П-бХ+Оз+Уз)/#2.
Следовательно,
£[7(5 | Y) 1 yobs,5j =л/(1-5)2+(у2 + ;з)/52,
£[$2(5 | Y) | УоЬ$,5] =Var[S(5 | Y) | Y^V/fF,
где j>3 =£(у31 УоЬ$,У)=(Уз+У4)(0,255)(0,255 +0,5)-1 и У=Уаг(у31 УоЬ$,5)= =Оз+>'4)(0,5)(0,255)(0,255+0,5)-2 . Подставляя в эти выражения у,=38, у2 = 34, у3+у4=125 и 5=0,6268215, получаем
£{7(5 | У) | У^, 5] | 9=9=435,3,£[$2(5 | У) I ^оЬ$’^ I 9=#=57,8.
Следовательно, 1(61 УоЬ$)=435,3—57,8=377,5, что можно проверить непосредственным вычислением. Заметим, что отношение отсутствующей информации к полной равно 57,8/435,3=0,1328, что определяет скорость сходимости ЕМ-алгоритма около 5, отраженную в последнем столбце табл. 7.1.
ТЕОРИЯ ЕМ-АЛГОРИТМА
ДЛЯ ЭКСПОНЕНЦИАЛЬНОГО СЕМЕЙСТВА
ЕМ-алгоритм имеет особенно простую и наглядную интерпретацию, когда полным данным У соответствует распределение из регу- 158
лярного экспоненциального семейства, определяемого плотностью вида
KY\6>bWexp^YWa(^(7.21)
где 0 обозначает (</х 1)-вектор параметров, s(Y) — (lxcQ-вектор достаточных статистик для полных данных, а а и b — соответственно функции от 6 и Y. Многие задачи с полными данными моделируются распределением вида (7.21), охватывающим, по существу, все примеры из части II книги как частные случаи. Шаг Е для (7.21) заключается в оценивании достаточной статистики для полных данных
^ЖП I YoW6W).(7.22)
На шаге М определяется новая оценка 0, 0^*х\ как решение уравнений максимального правдоподобия
£(s(Y)|S)=s(O,(7.23)
являющихся просто уравнениями максимального правдоподобия для полных данных У, в которых $(У) заменено на sW. Решение уравнения (7.23) относительно 0 часто можно получать явно или, по крайней мере, с помощью имеющихся компьютерных программ для полных данных. В таких случаях вычислительные проблемы фактически сводятся к шагу Е для оценивания статистики s(Y) («заполнение пропусков») с помощью (7.22). Разложение наблюдаемой информации (7.19) в данном случае особенно просто. Полная информация есть Var(s(Y) 16), а отсутствующая информация — Var(s(y) | yobs,0). Значит, наблюдаемая информация есть
7(5 | yobs)=Var(5(n I 5)-Var(5(I9 | УоЬ$,0) -(7.24)'
разность между безусловной и условной дисперсиями достаточной статистики для полных данных. Отношение условной и безусловной дисперсии определяет здесь скорость сходимости.
ЛИТЕРАТУРА
Baum, L. E., Petrie, T., Soules, G., and Weiss, N. (1970). A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains, Ann. Math. Statist. 41, 164-171.
Beale, E. M. L., and Little, R. J. A. (1975). Missing values in multivariate analysis, J. Roy. Statist. Soc. B37, 129-145.
Berndt, E. B., Hall, B., Hall, R., and Hausman, J. A. (1974). Estimation and inference in nonlinear structural models, Ann. Econ. Soc. Meas^3, 653-665.
Dempster, A. P., Laird, N. M., and Rubin, D. B. (1977). Maximum likelihood estimation from incomplete data via the EM Algorithm (with discussion), J. Roy. Statist. Soc. B39, 1-38.
Hartley, H. O. (1958). Maximum likelihood estimation from incomplete data, Biometrics 14, 174-194.
Louis, T. A. (1982). Finding the observed information when using the EM algorithm, J. Roy. Statist. Soc. B44, 226-233.
McKendrick, A. G. (1926). Applications of mathematics to medical problems, Proc. Edinburgh Math. Soc. 44, 98-130.
Orchard, T., and Woodbury, M. A. (1972). A missing information principle: theory and applications. Proceedings of the 6 th Berkeley Symposium on Mathematical Statistics and Probability., 1, 697-715.
Rao, C. R. (1972). Linear Statistical Inference and Its Applications. New York: Wiley.
Sundberg, R. (1974). Maximum likelihood theory for incomplete data from an exponential family, Scand. J. Statist. 1, 49-58.
Wu,C. F. J. (1983). On the convergence properties of the EM algorithm, Ann. Statist. 11,95-103.
ЗАДАЧИ
Покажите, что для скалярного параметра алгоритм Ньютона—Рафсона сходится за одну итерацию, если логарифм правдоподобия — квадратичная функция.
Охарактеризуйте устно функции шагов Е и М ЕМ-алгорнтма.
Докажите, что логарифм правдоподобия в примере 7.3 линеен по статистикам (7.12).
Докажите следствия 1 и 2 теоремы 7.1.
Какие результаты по сходимости ЕМ-алгоритма вам известны?
Покажите, что (7.22) и (7.23) — это шаги Е и М для регулярного экспоненциального семейства (7.21).
Допустим, что У=ОИ —»УпУ — независимые случайные величины с гамма- распределением с неизвестным показателем степени к и средним p^gfEffjXy), где g — известная функция, 0=(0i, • ••> 6j) — неизвестные коэффициенты регрессии, а хл, ..., х^ — значения сопеременных Хъ ...» Xj для /-го объекта. При каких gу при-
1 Русский перевод: Рао С.Р. Линейные статистические выводы и их применения.— М.: Наука, 1968.
160
надлежит регулярному «(J+1)-параметрическому» экспоненциальному семейству и каковы естественные параметры и достаточные статистики для полных данных?
Допустим, что значения у{ в задаче 7 отсутствуют в том и только в том случае, если у^>с, где с — некоторая неизвестная точка цензурирования. Опишите шаг Е ЕМ-алгорнтма для оценивания а) 31» ..., 3j» когда к предполагается известным, б) 31» ..., 3j и к, когда к также надо оценивать.
Проведите вручную вычисления для «многомерного нормального» ЕМ-алгорит- ма с данными табл. 6.1, взяв в качестве начальных оценки, полученные по полным наблюдениям. Проверьте, что для этой структуры данных и при таком выборе начальных значений алгоритм сходится за одну итерацию (т. е. последующие итерации дают тот же результат, что и первая). Почему в данном случае не выполняется (7.18)? Указание. Рассмотрите следствие 2 теоремы 7.1 прн 0^ = 0*.
Найдите логарифм правдоподобия от 0 для наблюденных данных из примера 7.2. Покажите непосредственным дифференцированием, что 1(0 | УоЬ5)=453,3, как показано в примере 7.4.
Определите асимптотическую дисперсию ОМП 0 в примере 7.2 и сравните ее с дисперсией ОМП, когда складываются первая и третья частоты (т. е. 38 и 125), приводя в результате к частотам (163, 34) из биномиального распределения с вероятностями (1—0/4, 0/4).
Допустим, что во второй части примера 5.14 с цензурированной экспоненциальной выборкой наблюдаются yt, ..., ут, а ут+1, —»Уп цензурированы в с. Покажите, что в этой задаче достаточная статистика для полных данных есть $(У)=Е = 1 у. и что естественно взять в качестве параметра ф=1/0, обратное от среднего. Найдите наблюдаемую информацию для ф, вычисляя безусловную и условную дисперсию $(У) и проводя вычитание, как в (7.24). Найдите долю информации, теряемой при цензурировании, и асимптотические дисперсии 6—0 и ф—Ф-
Глава 8. МП-ОЦЕНИВАНИЕ
В ЗАДАЧАХ, СВЯЗАННЫХ
С МНОГОМЕРНЫМ НОРМАЛЬНЫМ РАСПРЕДЕЛЕНИЕМ
ВВЕДЕНИЕ
161161В этой главе мы рассмотрим ЕМ-алгоритм в приложении к нескольким задачам для моделей, связанных с многомерными нормально распределенными данными с пропусками: оценивание вектора средних и ковариационной матрицы в общем случае и при наличии ограничений на ковариационную матрицу, множественную линейную регрессию (в том числе дисперсионный анализ и многомерную регрессию), модели повторных измерений (в том числе
161
161
Р. Дж. А. Литтл, Д. Б. Рубин
модели регрессии со случайными коэффициентами, в которых сами коэффициенты рассматриваются как отсутствующие данные) и некоторые модели временных рядов. Описание методов анализа категориальных данных с частично наблюдаемыми или отсутствующими данными отложено до главы о таблицах сопряженности (гл. 9). Анализ смешанных нормальных и ненормальных данных обсуждается в гл. 10. Во всех примерах предполагается выполненным условие ОС.
ОЦЕНИВАНИЕ ВЕКТОРА СРЕДНИХ И КОВАРИАЦИОННОЙ МАТРИЦЫ
ЕМ-алгоритм для неполных многомерных нормальных выборок
Многие методы многомерного статистического анализа, включая множественную линейную регрессию, анализ главных компонент, дискриминатный анализ и канонический корреляционный анализ, основаны на преобразовании матрицы данных в выборочные средние и матрицу ковариаций переменных. Поэтому эффективное оценивание этих величин для произвольных структур пропусков в данных является очень важной проблемой. В этом разделе мы обсудим МП-оценки среднего и ковариационной матрицы по неполной многомерной нормальной выборке, предполагая, что данные отсутствуют случайно (ОС). Хотя предположение многомерной нормальности выглядит ограничительным, методы, обсуждаемые здесь, могут обеспечить состоятельные оценки при более слабых предположениях об исследуемых распределениях. Кроме того, предположение о нормальности будет в некоторой степени ослаблено при рассмотрении линейной регрессии в разделе 8.4. Робастные МП-оценки среднего и ковариационной матрицы для многомерного ^-распределения и многомерной нормальной модели с загрязнением обсуждаются в разделе 10.5.
Предположим, что мы имеем дело с А'-мерной переменной (Уь У2, ..., YKY нормально распределенной со средним ^=(/11, ..., g^) и ковариационной матрицей Е = (<т№). Обозначим У=(УоЬ8, ymj. У представляет выборку объема л из векторов (Уь ..., У^), Утк — пропущенные данные, УоЬ$ — множество наблюдаемых значений:
^obs— ^obs,l ’ Уobs,2’ • • ■ ’ Уobs,n)’
где 7obs I представляет множество переменных с присутствующими значениями в наблюдении i, i=l, ..., л.
Чтобы вывести ЕМ-алгоритм, заметим, что гипотегические полные данные Y извлекаются из распределения из регулярного экспоненциального семейства (7.21) с достаточными статистиками
S=(?iУф 7=1К, £ УцУ1к, J^=^Я)-
Пусть на t-й итерации 8^=(уУ\ Е<0). Шаг Е алгоритма состоит в вычислении
E^vW^^y^ j=l,...,K,(8.1)
^У^ । V(0)=£ W^» Ьк=Х’ -> К'
где
у(0= Г У У' если уи присутствует,
U I ^О,у |jobs„ 9W), если j,v пропущено,
(() _ г 0, если уц или yik присутствует,
,kl с CovOy, yik I Joby., 9(0), если yu и yik пропущены.
Таким образом, отсутствующие значения уу заменяются средними уу, условными по присутствующим значениям jobSi/ в этом наблюдении. Эти условные средние и ненулевые добавочные ковариации легко получаются из текущих оценок параметров сверткой приращенной ковариационной матрицы, так что переменные jobs,- — предикторы в уравнении регрессии, а остальные переменные — выходные. Оператор свертки описан в разделе 6.5.
Вычисления на шаге М ЕМ-оператора проводятся очень просто. Оценка 9(,+ 1) вычисляется по оценкам достаточных статистик для полных данных:
^+0=л-1£ у^ j=\к,
<^ =""1Е^1У0У,к\^ьз)-#^0#^0 =(8.2)
=л-»Е [(>(0 -му+П)О^ -i^+c^l, J’k^ •••• к-
Бил и Литтл [Beale and Little (1975)] предлагают заменить л-1 в оценке ojk на (л—1)—1 по аналогии с поправкой на число степеней свободы в случае полных данных.
Остается определить начальные значения параметров. Простейшими являются следующие четыре варианта:
использовать решение раздела 3.2 (брать только полные наблюдения);
использовать одно из решений по доступным наблюдениям (раздел 3.3);
вычислять выборочные среднее и ковариационную матрицу по данным, пропуски в которых заполнены одним из методов раздела 3.4;
вычислять средние и дисперсии по присутствующим данным каждой переменной, положив все корреляции равными нулю. Вариант 1 позволяет получить состоятельные оценки параметров, если верно ОПС и присутствует по меньшей мере Л + 1 комплектных наблюдений. При варианте 2 используются все данные, но существует возможность, что оценка ковариационной матрицы не является положительно определенной. Это может приводить к трудностям на первой итерации. Варианты 3 и 4 дают оценки ковариационной матрицы, которые несостоятельны в общем случае, но положительно полуопределены и поэтому обычно пригодны как начальные значения. В программной реализации, видимо, следует иметь несколько вариантов начальных значений, чтобы в различных ситуациях выбирать наиболее подходящий.
Связь между МП-оценкой и эффективными формами заполнения пропусков хорошо видна в ЕМ-алгоритме. На шаге Е пропуски заполняются наилучшим линейным прогнозом по текущей оценке параметров. Также вычисляются коэффициенты cjk, чтобы учесть заполнение пропусков при оценивании ковариационной матрицы.
ЕМ-алгоритм, описанный выше, был впервые описан в [Orchard and Woodbury (1972)]. Для решения этой проблемы ранее в [Trawin- ski and Bargmann (1964)] был описан метод вкладов, а в [Hartley and Hocking (1971)] в изящной форме были представлены итеративные уравнения. Важным отличием ЕМ-алгоритма от метода вкладов является то, что последний требует обращения информационной матрицы g и Е на каждой итерации. Эта матрица служит оценкой асимптотической ковариационной матрицы МП-оценок, непосредственно не вычисляемой при ЕМ-алгоритме. Однако обращение информационной матрицы на каждой итерации может оказаться трудоемким при большом числе переменных. Для А'-мерного случая информационная матрица 6 имеет К(К+1)/2 строк и столбцов. При АГ=ЗО она содержит более 100 000 элементов! В ЕМ-алгоритме асимптотическая ковариационная матрица может быть получена
в результате единственного обращения информационной матрицы, вычисленной при окончательном значении оценки 8.
Можно выделить три версии ЕМ-алгоритма. В первой хранятся исходные данные [Beale and Little (1975)]. Во второй хранятся сумма по переменной, суммы квадратов и суммы взаимных произведений для каждой матрицы пропусков [Dempster, Laird and Rubin (1977)]. Наиболее предпочтителен по объему памяти и вычислений третий вариант, в котором смешаны обе предыдущие версии. В этой версии сохраняются исходные данные для структур пропусков, которые повторяются менее чем в (АГ+1)/2 наблюдениях, и достаточные статистики — в противном случае.
8.2.2. Оценивание асимптотической ковариационной матрицы (8—0) по информационной матрице
Если данные ОС, то ожидаемая информационная матрица параметра 0=(д, Е), записанного в виде вектора, имеет вид
7(д)0
Д6)=
07(E)
Здесь (л £)-й элемент J(j£), соответствующий строке ^ и столбцу цк, равен
где
^.к.= г ^)"й элемент Eob$j, если присутствуют ху и xik,
1 0 — в противном случае,
a ^obs,/ — ковариационная матрица переменных, присутствующих в /-м наблюдении, (//и, rs)-6 элемент /(£), соответствующий строке а!т и столбцу <т„, равен
V4(2—6/т)(2—6„) Е.=1 ^lrj^msi + ^msi),
где 5/m = l при 1=т и 0 при 1^т. Как указывалось выше, матрица, обратная к J^, дает оценку ковариационной матрицы МП-оценки 8.
Матрица Jt^ оценивается и обращается на каждом шаге при вычислениях методом вкладов. Заметим, что ожидаемая информационная матрица блочно-диагональна по среднему и ковариациям, поэтому, чтобы получить асимптотические дисперсии МП-оценок средних или их линейных комбинаций, нужно лишь вычислить и обратить информационную матрицу для среднего J^, имеющую относительно малые размеры.
Наблюдаемая информационная матрица, которую вычисляют и обращают на каждой итерации алгоритма Ньютона—Рафсона, не является блочно-диагональной по g и Е, так что такое упрощение не проходит, если стандартные ошибки определяются по этой матрице. С другой стороны, стандартные ошибки, определяемые по наблюдаемой информационной матрице, вычисляются более условно по отношению к данным и, значит, они более точны, когда данные ОС, но не ОПС, и в приложениях предпочтительнее ошибок, вычисляемых ПО JW.
В ЕМ-алгоритме не используется ни наблюдаемая, ни ожидаемая информационная матрица, поэтому если какая-либо из них служит для вычисления стандартных ошибок, ее нужно вычислять и обращать после того, как получены МП-оценки.
8.3. ОЦЕНИВАНИЕ ПРИ ОГРАНИЧЕНИЯХ
НА КОВАРИАЦИОННУЮ МАТРИЦУ
В разделе 8.2 мы не налагали ограничения на параметр 6 многомерного нормального распределения и он мог принимать любые значения из естественного параметрического пространства. Однако в некоторых статистических моделях на значения 6 налагаются некоторые ограничения. МП-оценки по неполным данным в рамках таких моделей можно также без затруднений получать с помощью ЕМ-алгоритма, если параметры легко оцениваются по данным без пропусков. Шаг Е ЕМ-алгоритма не изменяется при наличии ограничений. Изменения требуются лишь на шаге М: максимизацию надо проводить с учетом ограничений.
Для некоторых ограничений неитеративные МП-оценки не существуют даже при полных данных. В некоторых из таких случаев можно применять ЕМ-алгоритм для итеративного вычисления МП- оценок, создавая фиктивные ненаблюдаемые переменные таким образом, чтобы шаг М выполнялся неитеративно. Эту идею иллюстрируют следующие два примера. Их можно модифицировать на случай, когда в наблюдаемых переменных есть пропуски.
Пример 8.1. Ковариационная матрица заданной структуры. Некоторые структурированные ковариационные матрицы, не имеющие явных МП-оценок, могут рассматриваться как подматрицы больших структурированных матриц, для которых явные ОМП уже существуют. В таких случаях меньшую ковариационную матрицу, скажем Ен, можно считать ковариационной матрицей наблюдаемых переменных, а большую матрицу, скажем Е, — ковариационной матрицей наблюдаемых и отсутствующих переменных. Для вычисления МП-оценок в исходной задаче применим ЕМ-алгоритм, как описано в [Rubin and Szatrowski (1982)].
В качестве примера рассмотрим стационарную ковариационную Зх3-матрицу Ец и 4х4-матрицу Е с круговой симметрией:
Ец =Ец =61 6г61 6Х6з 6г61 6г61 6Х6з 6г6з616х6з616х®16г63।6г616х6г।63639г61161616361]61®16г63।6г616х6г।63639г61161616361]61Ен ; ЕйEzi ; е22Ен ; ЕйEzi ; е22
Ец =
Ец =
61 6г
61 6Х
6з 6г
61 6г
61 6Х
6з 6г
6з
61
6х
6з
61
6х
®16г63।6г
616х6г।63
639г61161
616361]61
®16г63।6г
616х6г।63
639г61161
616361]61
Ен ; Ей
Ezi ; е22
Ен ; Ей
Ezi ; е22
Допустим, что мы имеем случайную выборку у,, .... уп из многомерного нормального распределения N3(0, Ен). Эти наблюдения можно считать первыми тремя из четырех компонент наблюдений в случайной выборке (yt, Zi), .... (уп, z„) из многомерного нормального распределения N4(0, Е), где первые 3 компоненты в каждом ty. z) присутствуют, а последняя компонента z, отсутствует, у, — наблюдаемые, (у(, ^ — полные данные, и присутствующие, и отсутствующие. Обозначим C=E(y/,z/)rO„Z,)/n и Сп = Е(уТууп. Матрица С — достаточная статистика для полных, а матрица Си — для присутствующих данных. Явные оценки максимального правдоподобия Е получаются по полным данным (по С) простым усреднением [см. Szatrowski (1978)], а шаг М ЕМ-алгоритма задается тогда в виде
9<f + 1)= | QLc^, 9^^ = | (ей +с# +с^+с^,
(8.3) ^+о = 2 (с£)+ с£>),
где с^р — (А, у)-а элемент с^ ожидаемого значения С на Гй итерации шага Е. Эти оценки 6Х, 6г и 63 дают новую оценку Е на (^+1)-й итерации.
Поскольку здесь есть только одна структура пропусков (у, присутствует, Zj отсутствует), на шаге Е ЕМ-алгоритма нужно вычислить ожидаемое значение С при заданной наблюдаемой достаточной статистике Сн и текущей оценке Е^1 матрицы Е, т. е. С<,>=Е’(С/Сц, EW). Сначала находим сверткой текущей оценки Е, E(z), по Y параметры регрессии условного распределения z, при заданном У( и получаем
E1Ф-*
ЕЯН-ЕУ
= SWP(1,2,3)
E/P
EjpEfi)-*
Ejp-E№Efp-‘E/p
E£)
Ожидаемое значение z^ условное по наблюденным данным и E = E(Z>, равно ^Е/р-^У, так что ожидаемое значение С12 = Е,.у/г/л, условное по Сц и E<z), равно CnEfp-^Й*. Ожидаемое значение zjz, при заданных наблюдаемых данных и Е = Е<0 равно
(Eff Е/р-1/^^-1 Е^>+ ^-^Р SW”1 ^>,
так что ожидаемое значение Ci2 = LfzjZj/n равно ^-^ Е^Е/рч-Е^Е/Р^СиЕ/р^Е/р.
Итог этих вычислений таков:
£(С|С,„Е<'>)=£(С|С,„Е<'>)=СхСхCxx^-^SCxx^-^SЕ^ЕЙ’-* С„{Е^—ЕЙ»(Е fp-1 —Е fp-1 С„ ЕЙ’-1^.^]Е^ЕЙ’-* С„{Е^—ЕЙ»(Е fp-1 —Е fp-1 С„ ЕЙ’-1^.^](8.4)(8.4)
£(С|С,„Е<'>)=
£(С|С,„Е<'>)=
Сх
Сх
Cxx^-^S
Cxx^-^S
Е^ЕЙ’-* С„{Е^—ЕЙ»(Е fp-1 —Е fp-1 С„ ЕЙ’-1^.^]
Е^ЕЙ’-* С„{Е^—ЕЙ»(Е fp-1 —Е fp-1 С„ ЕЙ’-1^.^]
(8.4)
(8.4)
Это новое значение С используется в (8.3) для вычисления новых оценок 6t, 61 и 6г, т. е. Е<,+1>.
Преимуществом ЕМ-алгоритма является возможность одновременно иметь дело с неполными данными и структурированными ковариационными матрицами. И то и другое часто встречается в «образовательных» тестах. В некоторых из этих задач единственные МП-оценки для неструктурированных ковариационных матриц не существуют из-за пропусков в данных, а структуры матриц легко проверить и обосновать теоретическими соображениями и результатами практических исследований аналогичных данных [см. Holland and Wightman (1982); Rubin and Szatrowski (1982)]. Когда число
структур пропусков больше одной, на шаге Е вычисляют ожидаемые достаточные статистики для всех (а не для одной, как в (8.4)) структур по отдельности.
Пример 8.2. Факторный анализ. Пусть У — наблюдаемая пхК- матрица данных и Z — ненаблюдаемая лх^-матрица «факторных значений», q<K. Строки (У,2) распределены независимо и одинаково. Маргинальное распределение каждой строки Z, факторов, нормально со средними (0,...,0), дисперсиями (!,...,!) и корреляционной матрицей В. Условное распределение f-й строки У, yj, при заданной строке / Z, Zj, нормально со средним a+z,3 и остаточной ковариационной матрицей 72=diag(r?,...,7/). Это предположение об условной независимости переменных при заданных факторах очень важно. Матрицу коэффициентов регрессии /3 обычно называют матрицей факторных нагрузок, а остаточные дисперсии в т2 — специфичностями.
Вообще говоря, оцениванию подлежат параметры а, 3, г2 и В. Поскольку маргинальное распределение каждой строки нормально со средним а и ковариационной матрицей т2+ЗтВЗ, МП-оценка а равна У. Значит, при оценивании методом максимального правдоподобия мы можем заменить (уу—а) на (Уу—у) и рассматривать только параметры (З^В). Чтобы упростить обозначения, примем Л=0 (т. е. отцентрируем наблюденные переменные по выборочным средним). Следовательно, маргинальное распределение наблюдаемых данных у при параметрах ^^В) нормально со средним 0 и ковариационной матрицей т2+ЗтВЗ — структурированной матрицей специального вида. Чтобы вывести ЕМ-алгоритм для факторного анализа методом максимального правдоподобия, можно применить общие результаты из примера 8.1. В частности, шаг Е — это (8,4) с первым блоком переменных, соответствующим наблюдаемым признакам У, и вторым блоком, соответствующим отсутствующим факторам Z. В [Rubin and Thayer (1982), (1983)] описаны детали шага М для трех случаев, определенных такими ограничениями на параметры:
^=1 (ортогональные факторы) и неограниченный /3;
В=1 и в 3 есть априорно заданные нули;
В произвольна и в 3 есть априорно заданные нули.
Случай 1 иногда называют разведочным, а случаи 2 и 3 — подтверждающим (confirmatory) факторным анализом.
В случае 1 МП-оценки 0 и т2 находят просто сверткой по Z текущей оценки матрицы перекрестных произведений, вычисленной перед этим на шаге Е:
^ ... о
0... T^
0^
= SWP[Z]
CH
C№
Cx^
C№
. (8.5)
0W
-(C^))-1 _
В случае 2 МП-оценки коэффициентов регрессии и остаточных дисперсий (^j,rp для у-й переменной У находят, проводя свертку только по факторам с ненулевыми коэффициентами в 0а. Поэтому для каждой группы признаков У с различными наборами априорных нулей в 0 надо проводить в (8.5) свертку С по различным множествам факторов Z. В [Rubin and Thayer (1982)] вычисления иллюстрируются на примере с девятью признаками и четырьмя факторами. Случай 3, обобщение случая 2, включает оценивание В. МП-оценка ковариационной матрицы переменных Z — это просто текущая ожидаемая матрица перекрестных произведений для Z, С$. Если равенство дисперсий факторов единице интерпретируют в том смысле, что существует бесконечное число множеств данных по маргинальному распределению каждого фактора с выборочной дисперсией 1, то МП-оценка В — это С№, нормированная под корреляционную матрицу.
Как и в примере 8.1, нужны лишь небольшие модификации для того, чтобы ЕМ-алгоритм для факторного анализа подходил для данных с пропусками. Конкретнее: на шаге Е надо вычислять ожидаемые достаточные статистики для каждой, а не для одной структуры неполных данных, когда все У, наблюдаются без пропусков.
Пример 8.3. Компоненты дисперсии. Большое число структурированных ковариационных матриц встречается в дисперсионных компонентных моделях, также называемых моделями дисперсионного анализа со случайными или смешанными эффектами. Для вычисления МП-оценок дисперсионных или, более общо, ковариационных компонент можно применять ЕМ-алгоритм [см. Dempster, Laird and Rubin (1977); Dempster, Rubin and Rutakawa (1981)]. Следующий пример взят из [Snedecor and Cochran (1967), c. 230].
При исследовании искусственного осеменения коров в выборке из К=6 быков были взяты образцы семенной жидкости для проверки возможности оплодотворения ею. Число образцов п^ взятых у каждого из быков, было различным. Данные приведены в табл. 8.1. Наибольший интерес представляет различие быков. Если бы у каждого быка было взято бесконечное число образцов, можно было бы вычислить дисперсию шести средних, чтобы оценить дисперсию
Т в б л и ц в 8.1, Деины# для примере 8.3
Бык
Процент успешного осеменения по образцам
п
Сумма (х)
1
46, 31, 37, 62, 30
5
206
2
70, 59
2
129
3
52, 44, 57, 40, 67, 64, 70
7
394
4
47, 21, 70, 46, 14
5
198
5
42, 64, 50, 69, 77, 81, 87
7
470
6
35, 68, 59, 38, 57, 76, 57, 29, 60
9
479
Сумма
35
1876
по быкам в популяции. Значит, в реальных данных есть одна компонента дисперсии, возникающая благодаря различию быков, извлекаемых из популяции, которое и представляет основной интерес, и вторая, появляющаяся из-за вариабельности образцов.
(8.6)(8.6)Обычная нормальная модель для таких данных — это
(8.6)
(8.6)
Уи = “Леи*
где
а, н^-р- N^a1^) — эффект различия быков, еу н.о.р. д^д^^ — эффект вариабельности образцов.
Интегрируя по а^ получим, что совместное распределение у у нормально с общим средним g, общей дисперсией о^ + о^ и ковариацией для образцов от одного быка и 0 — от разных быков. Значит,
„( (1 + о*/<т*)—если i=i', j^j',
корреляция (ууу^^ [
О,если z#r,
где е обычно называют коэффициентом внутриклассовой корреляции.
Рассматривая ненаблюдаемые случайные величины ai,...,a6 — как пропуски (а все у у — как присутствующие), получим ЕМ-алгоритм вычисления МП-оценок параметра в=(у, а^, <т2), а именно правдоподобие для полных данных состоит из двух факторов, первый из которых соответствует распределению у у, условному по а; и 0, а второй — распределению а,-, условному по 0:
Г— ^у—1 Г— т(“,— П "7==" ехр ; П г*—з exp , и V Tna\ р L вге J / V 2тга^ иJ
Логарифм правдоподобия линеен по следующим достаточным статистикам для полных данных:
7^ = 2 а,,
7*2 = 2 а2,,
7*3 = ^(Уу-а^. О^)2+ 2п^-а^.
МП-оценки для полных данных — это,
Эти уравнения определяют шаг М ЕМ-алгоритма. На шаге Е вычисляются ожидания Тх, Тг и 7з условно по текущей оценке 0 и наблюденным данным Уц, i=l,...,K, ]=\,...,Пц что можно сделать, применяя теорему Байеса к совместному распределению а, и у у так, чтобы получить условное распределение а,- при заданных Уу.
независимо_
(а, | >у 1,0)~+ (1 — w)y„ v,),
где
w,. = a72v,.,^ = ^г +ni<rj2)-1.
Отсюда
T^'+D =2^0,2 (0 + (l-w/0)^],
1^+^ = LVwtOpW + (1—w/0)^]2 + EV/(0,(8.8)
7У+1) =2 (yti-Я)2+ 2 nA^^to-^+vp].
МП-оценки, получаемые таким способом, равны /2=53,3184, 52 =54,8223 и а^ = 249,2235. Последние две оценки сравнимы с оценками а *=53,8740 и а 2 = 248,1876, полученными приравниванием наблюдаемого и ожидаемого среднего квадрата в дисперсионном анализе со случайными эффектами [см., например, Brownlee (1965), раздел 10.4].
С помощью ЕМ-алгоритма можно анализировать намного более сложные компонентные модели, включая модели с многомерными у? а, и X [см., например, Dempster, Rubin and Tsutakawa (1981); Laird and Ware (1982)].
МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ
Множественная линейная регрессия с пропусками только в зависимой переменной
Когда строится регрессия скалярной выходной переменной У на р предсказывающих переменных (регрессоров) Хь...,Хр и частично отсутствуют лишь значения У, неполные наблюдения не несут информации о параметрах регрессии 8yx=^yx» °yx)’ если ®yx — раздельный, а также если X рассматриваются как фиксированные постоянные. Тем не менее можно применить ЕМ-алгоритм по всем наблюдениям и итеративно получить те же МП-оценки, что были бы получены неитеративно только по полным наблюдениям. В некоторых случаях легче найти МП-оценки с помощью ЕМ-алгоритма, чем неитеративным способом.
Пример 8.4. Пропуски в дисперсионном анализе. В планируемых экспериментах набор значений УСХ,...,Х^ выбирают так, чтобы провести вычисления параметров методом наименьших квадратов. При нормальном распределении У, условном по заданным (Хх,...,Хр), метод наименьших квадратов дает МП-оценки. Когда часть значений У, скажем yj, i=l,...,m0, отсутствует, то исходный план с оставшимися наблюдениями не сбалансирован. По множеству причин, изложенных в гл. 2, может быть желательным оставить все наблюдения и рассматривать эту задачу как задачу с пропусками.
В ЕМ-алгоритме для этой задачи шаг М соответствует методу наименьших квадратов для исходного плана, а на шаге Е ищут ожидаемые значения и ожидаемые квадраты пропущенных значений у. Условно по текущим оценкам параметров 6^х=^ух> ° ух У-
С У1’С У1’если у5 присутствует (z=m0 4- если у4 отсутствует G= если у( присутствует, если у4 отсутствует,
С У1’
С У1’
где X — (и хр)-матрица значений X. Пусть У — (п xl)-вектор значений У, У(,) — вектор У, в котором пропуски у, замещены оценками на t-й итерации шага Е. На шаге М вычисляют
ЭДУ =(XrX)-1XTY«\(8.9)
t^112 ^^[^(у,-/^)^^^(8.10)
Алгоритм можно упростить, заметив, что в (8.9) не входит <т^, и после того, как процесс сошелся, мы имеем
I ЛI Л1 Л
так что из (8.10)
ИЛИИЛИ^УХ^УХ—— Ъ.^-ВухХу.—— Ъ.^-ВухХу.(8.11)(8.11)5ТХ = 1 £ ^.^ухХУ^^тхгхП т„+1п
ИЛИ
ИЛИ
^УХ
^УХ
—— Ъ.^-ВухХу.
—— Ъ.^-ВухХу.
(8.11)
(8.11)
Следовательно, в ЕМ-алгоритме можно опустить итеративное оценивание п2у х на шаге М и Е (у? | данные, 9^) на шаге Е и итеративно вычислять только ЭДХ. По окончании итераций мы можем вычислить 62ух непосредственно по (8.11). Эти итерации, в которых повторяется заполнение пропусков и переоценивание подставляемых значений из дисперсионного анализа, и составляют алгоритм, предложенный в [Healy and Westmacott (1956)] и упомянутый в разделе 2.4.3.
Линейная регрессия с пропусками в регрессорах
В общем случае пропуски могут быть и в выходных переменных, и в регрессорах. Предположим сначала совместную многомерную нормальность (Y, Xi, .... Хр). Тогда мы можем получать МП-оцен- ки для регрессии Y на Хь ..., Хр непосредственно с помощью ЕМ- алгоритма для многомерного нормального распределения, описанного ранее. Пусть
9 =
—1 Pi
Р1
Оц
Рр+1 al,f+l
^+1
а1,Р+1
ар+1,/>+1
обозначает дополненную ковариационную матрицу, соответствующую переменным Xi, .... Хр и XpvX г Y. Свободный член, коэффициенты регрессии и остаточная дисперсия для регрессии У на Хь .... Хр находятся в последнем столбце матрицы SWP[1, ...,р]0 — свертке 9 по постоянному члену и регрессорам. Тогда, если 9 — МП-оценка 9, найденная методом из раздела 8.2, то МП-оценки параметров регрессии находятся в последнем столбце SWP[l,...,p]0.
Пусть 8ух и а2ух — МП-оценки коэффициентов регрессии Y на X и остаточная дисперсия Y при фиксированном X, найденные с помощью ЕМ-алгоритма, как описано выше. Эти оценки являются МП-оценками в более общих условиях, чем многомерная нормальность Y и (Хь--.,ХрУ Точнее, допустим, мы разбили ^Хх.-.-.Х^ на (УдерА^), где переменные в Х^ наблюдаются больше и переменной Y, и переменных Х(0) (см. раздел б.б), т. е. в любом объекте хотя бы с одним наблюдением в Y или Х^ присутствуют все переменные из Х^у Особенно простая ситуация, когда X=(Xi,...,Xp) наблюдается полностью, так что Х^=Х. Общий случай представлен на рис. 6.1, где Yt будет соответствовать (Y, Х^1), Уэ—Хщ, а Yi — пустое множество. Тогда, если условное распределение (У,А(0)) при заданном Х^ — многомерное нормальное, то цух и Syyx — МП-оценки. Детальное изложение этих проблем содержится в гл. б.
Это предположение намного слабее, чем многомерная нормальность XiXp+V поскольку предикторы (регрессоры) в Х(1) могут быть категориальными, как в регрессии на фиктивные переменные, и, кроме того, можно вводить в регрессию взаимодействие между полностью наблюдаемыми регрессорами или степени регрессоров, не нарушая свойства процедуры для неполных данных.
К сожалению, в отличие от полных данных (рхр)-подматрица из р первых строк и столбцов SWP[l,...,p] 6 при наличии пропусков не соответствует ковариационной матрице оценок коэффициентов регрессии. Для вычисления асимптотической ковариационной матрицы оценок коэффициентов, основанной на обычной аппроксимации для растущего объема выборки, в общем случае требуется обращение полной информационной матрицы средних, дисперсий и ковариаций, приведенной в разделе 8.2.2. При моделировании, проведенном в [Little (1979)], хорошие свойства обнаружил приближенный метод оценивания этой ковариационной матрицы, предложенный в [Beale and Little (1975)]. При этом методе определяют
Var(Byx)=S^1a2y.x,
где Sw — ^хр-матрица взвешенных сумм квадратов и перекрестных произведений с (/Л)-м элементом, равным:
swjk=b wi^ij-^ik-\),
где х,уИ xik — наблюдаемые или оцениваемые значения соответственно Ху и xik, полученные на последней итерации ЕМ-алгоритма, Xj-EjWjXjj/EjWj — взвешенное среднее, a w, определяется как
, а2.х /62ух , если у, присутствует,
W- = )obs.i
' (0, если у, отсутствует,
где о2 — МП-оценка дисперсии у, условной по независимым 1 Aobs,i
переменным, присутствующим в i-м наблюдении.
МП-оценки для многомерной линейной регрессии можно получить, применяя алгоритм из раздела 8.2.1 и проводя затем свертку по независимым переменным в получаемой дополненной ковариационной матрице. Точнее, если Yx,...yK — зависимые, а Хх,...,Хр — независимые переменные, то сначала дополненная ковариационная матрица объединенного множества переменных (Хх,...Хр, YxY^ оценивается с помощью многомерного нормального ЕМ-алгоритма, а затем проводится свертка по Хх,...,Х . Получаемая матрица содержит МП-оценки матрицы рхК коэффициентов регрессии Y на X и ковариационной матрицы КхК остатков от регрессии Y на X при заданном X.
Пример 8.5. Пропуски в нескольких зависимых переменных. Теперь мы проиллюстрируем регрессионный анализ с несколькими за- висимыми' переменными и несколькими предикторами при наличии пропусков (преимущественно в зависимых переменных) на данных о сроках проявления признаков развития на первом году жизни детей [см. Reinisch, Rosenblum, Rubin and Schulzinger (1985)]. В выборке из 4653 здоровых детей содержались данные о датах проявления десяти
признаков развития (например, первая улыбка) и о 9 сопеременных, связанных с развитием ребенка. Пол был зарегистрирован для всех детей, 9 сопеременных — почти для всех детей, но в данных о при- - знаках развития были существенные пробелы, поскольку они регистрировались по дневникам матерей.
МП-оценки средних, дисперсий и корреляций между всеми переменными были получены с помощью ЕМ-алгоритма из раздела 8.2. Затем сверткой матрицы МП-оценок по полу была построена регрессия 10 признаков развития на пол, чтобы получить оценки средних возрастов проявления признака у мальчиков и девочек и оценки различий для этих возрастов между мальчиками и девочками. Стандартные ошибки параметров были вычислены подстановкой МП- оценок параметров в обычные выражения стандартных ошибок для полных данных, взятых с числом наблюдений, равным числу записей о проявлении признаков развития. Другими словами, ОМП средних, дисперсий и ковариаций были введены в стандартную программу регрессионного анализа полных данных при л=4653 и было проведено только одно изменение результатов — пересчет стандартных ошибок и статистик критериев на действительное число присутствующих значений зависимой переменной. Эта процедура согласуется с предложением в [Beale and Little (1975)], так как пол присутствует всегда. Результаты даны в табл. 8.2.
Таблица 8.2. Различие между мальчиками и девочками по срокам проявления признаков развития
Признак развития
Число записей о проявлении признака
Среднее для мальчиков
Среднее для де- вочек
Сравнение
без учета сопеременных
с учетом сопеременных*
д
Т
д
т
Поднимает голову
3273
32,1
34,8
2,7
3,16
2,2
2,51
Улыбается
3229
49,1
48,4
0,7
0,87
1,4
1,69
Держит голову
2618
118,5
116,9
1,6
1,18
2,0
1,27
Достигает предмет
2593
137,9
138,8
0,9
0,66
0,6
0,46
Самостоятельно сидит
3036
230,0
227,5.
2,5
1,69
2,8
1,91
Стоит с поддержкой
3840
279,8
285,4
5,6
3,25
5,4
3,05
Самостоятельно ползает
3391
306,5
313,9
7,4
3,72
7,1
3,55
Ходит с поддержкой
3689
324,6
325,6
1,0
1,71
2,0
1,35
Самостоятельно стоит
2128
337,7
339,8
2,1
1,28
1,7
1Д4
Самостоятельно ходит
1985
361,2
361,1
0,1
0,04
0,2
0,2
* Учитывались следующие сопеременные: вес при рождении, длительность беременности, социальное и материальное положение, предрасположенность к осложнениям беременности и родов, осложнения беременности, родовые осложнения, оценка физического состояния новорожденного, оценка неврологического состояния новорожденного, оценка незрелости новорожденного.
В правых столбцах табл. 8.2 приведены также результаты анализа с учетом 9 сопеременных. Оценки были получены сверткой матрицы МП-оценок средних, дисперсий и ковариаций по полу и этим 9 сопеременным. Стандартные ошибки вычислялись в соответствии с числом присутствующих значений для каждой зависимой переменной, поскольку сопеременные наблюдались практически полностью.
Последним этапом обработки был регрессионный анализ разностей выходных переменных (т. е. промежутков времени между проявлением признаков развития), взятых в качестве зависимых переменных. Снова использовались при вычислении стандартных ошибок методы регрессии для полных данных, и проводился лишь пересчет на объем выборки зависимой переменной, равнявшийся числу детей с присутствием обоих признаков, составляющих данную переменную. Эти объемы составляли от 1262 для разности между «самостоятельно ходит» и «самостоятельно стоит» до 3524 для разности между «стоит с поддержкой» и «самостоятельно сидит».
ОБЩАЯ МОДЕЛЬ ПОВТОРНЫХ ИЗМЕРЕНИЙ
С НЕПОЛНЫМИ ДАННЫМИ
Неполные данные часто встречаются в долговременных исследованиях, когда объекты наблюдаются в различные моменты времени и/или в разных экспериментальных условиях. Нормальные модели для таких данных часто объединяют структуры ковариационных матриц, аналогичные описанным в разделе 8.3, и структуры средних, которые связывают средние повторных измерений с переменными плана. Следующая общая модель повторных измерений основана на работах [Ware (1985); Helms (1984)] и приведена в [Jen- nrich and Schluchter (1987)].
Допустим, что гипотетические полные данные для случая / состоят из К измерений Jl = O/i....l)'l^) выходной переменной Y и что по предположению — независимые многомерные нормальные наблюдения со средним /if и ковариационной матрицей Е. Мы запишем:
. ^=^,Е=ад)(8.12)
где Xj — известная (Л'хти)-матрица плана для случая i, 0 — (mxl)- вектор неизвестных коэффициентов регрессии, а элементы Е — известные функции от множества v неизвестных параметров 0. Итак, модель задает структуру средних, определяемую набором матриц 178
плана VQ и ковариационную структуру, определяемую формой ковариационной матрицы Е. Присутствующие данные состоят из матриц плана ЭД и [уоьм,/=1ЛЬ гДе ^obv — наблюденная часть вектора у,. Предполагается, что пропущенные значения у, ОС. Логарифм правдоподобия для полных данных линеен по величинам ууТу.^ i= 1,...,л]. Поэтому шаг Е представляет собой вычисление средних у, и уТу,. при заданных jobs/, Xf и текущих оценках /3 и Е. Эта операция проводится с помощью свертки текущей оценки Е, аналогичной свертке в многомерной нормальной модели в разделе 8.2.1. Шаг М для этой модели является итеративным за исключением частных случаев, и, таким образом, самая привлекательная черта ЕМ-алгоритма — простота шага М — утрачивается. Дженрич и Шлухтер [Jennrich and Schluchter (1987)] представляют GEM-алго- ритм (см. раздел 7.4), а также обсуждают метод вкладов и алгоритм Ньютона—Рафсона, которые могут быть удобными при зависимости Е от умеренного числа параметров ф.
Комбинируя различные структуры средних и ковариационных матриц, можно смоделировать большое число ситуаций. Дженрич и Шлухтер обсуждают такие ковариационные структуры:
Независимость: Т. = П, ^ — скаляр, I — единичная матрица КхК.
Составная симметрия: E = \piU+^2I, ^i и ^2 — скаляры, U — А'х А'-матрица из единиц, I — единичная А'х А'-матрица.
Авторегрессия порядка 1: Е = (а^, Оц=^\ф^1-^, V'i.V'2 — скаляры. Полосовая структура: Е = (сг,у), Оу=Фг, где r=|z—у|+1, г=1К.
Факторная: Е = Г Гг + ^, Г — матрица Кх q неизвестных факторных нагрузок, ^ — диагональная матрица специфических дисперсий.
Случайные эффекты: IL = Zxl/ZT+ a1!, Z — известная матрица Kxq, ^ — неизвестная матрица рассеяния qxq, ог — скаляр, I — единичная матрица qxq.
Отсутствие структуры: Е = <о^, ф1 = ап, ^г = о\г, Фз = ог2
= °КК"
Структура средних также очень гибка. Если Х, = Г, единичная матрица КхК, то ц^13Т для всех L Такая структура постоянного среднего в сочетании с неструктурированной или факторной ковариационной матрицей или с матрицей составной симметрии дает модели, рассмотренные в разделе 8.2, а также в примерах 8.2 и 8.3. Выбирая другие варианты X;, можно легко формировать модель для межобъектных и внутриобъектных эффектов, как в следующем примере.
Пример 8.6. Модели кривых роста при неполных данных. В [Potthoff and Roy (1964)] приведены данные табл. 8.3 о росте И девочек и 16 мальчиков. Для каждого объекта в возрасте 8, 10, 12 и 14 лет регистрировалось расстояние от подмозгового придатка до челюстной борозды. Дженрич и Шлухтер подгоняют под эти данные 8 моделей. Мы подгоняем эти же модели под данные, полученные удалением девяти значений в скобках в табл. 8.3. Механизм удаления соответствовал условию ОС, но не ОПС. Точнее, для детей обоих полов с малыми значениями в 8 лет были удалены значения для возраста 10 лет. В табл. 8.4 для всех моделей даны значения логарифма правдоподобия, умноженного на —2 (—2Х), и хи-квадрат-статистики отношения правдоподобия (%2) для сравнения моделей. Последний столбец содержит значения последней статистики для полных данных до удаления [см. Jennrich and Schluchter (1987)].
Пусть yf обозначает 4 замера расстояний для z-го объекта и пусть х, — переменная плана, равная 1, если ребенок — мальчик, и 0 — если девочка. Модель 1 задает различные средние для каждого
Таблица 8.3. Данные о росте 11 девочек и 16 мальчиков
Девочки
Возраст, лет
Мальчики
Возраст, лет
8
10
12
14
8
10
12
14
1
21
20
21,5
23
1
26
25
29
31
2
21
21,5
24
25,5
2
21,5
(22,5)
23
26,5
3
20,5
(24)
24,5
26
3
23
22,5
24
27,5
4
23,5
24,5
25
26,5
4
25,5
27,5
26,5
27
5
21,5
23
22,5
23,5
5
20
(23,5)
22,5
26
6
20
(21)
21
22,5
6
24,5
25,5
27
28,5
7
21,5
22,5
23
25
7
22
22
24,5
26,5
8
23
23
23,5
24
8
24
21,5
24,5
25,5
9
20
(21)
22
21,5
9
23
20,5
31
26,0
10
16,5
(19)
19
19,5
10
27,5
28
31
31,5
11
24,5
25
28
28
11
23
23
23,5
25
12
21,5
(23,5)
24
28
13
17
(24,5)
26
29,5
14
22,5
25,5
25,5
26
15
23
24,5
26
30
16
22
(21,5)
23,5
(25)
Источник. Данные нз [Potthoff and Roy (1964)], приведенные в [Jennrich and Schluchter (1987)]. Значения в скобках считаются пропусками в примере 8.7.
пола и возраста и неструктурированную ковариационную матрицу 4x4. Матрицу плана для i-ro объекта можно записать как
1
xi
0
0
0
0
0
0
0
0
1
Xi
0
0
0
0
0
0
0
0
1
xi
0
0
0
0
0
0
0
0
1
XL
При отсутствии пропусков МП-оценка 3 — это вектор из восьми выборочных средних, МП-оценка E=S/n, где S — объединенная внутригрупповая матрица сумм квадратов и взаимных перекрестных произведений.
Таблица 8.4. Анализ моделей, рассмотренных в примере 8.7
Номер модели
Описание
Число параметров
—2Х
Сравниваемая модель
X2
Число степеней свободы
X2 для полных данных*
1
8 различных средних, неструктурированная ковариационная
386,956
2
матрица
2 прямые, неравные коэффициенты рег- ресснн, неструктурн-
18
3
рованная матрица
2 прямые, равные коэффициенты регрессии, неструктурированная коварнацион-
14
393,288
1
6,332
4
2,968
4
ная матрица
2 прямые, неравные коэффициенты регрессии, полосовая
' 13
397,400
2
4,112
1
6,676
5
структура
2 прямые, неравные коэффициенты регрессии, структура
8
398,030
2
4,742
6
5,166
6
АР(1)
2 прямые, неравные коэффициенты регрессии, случайные коэффициенты регрессии и свободные
6
409,524
2
16,236
8
21,204
7
члены
2 прямые, неравные коэффициенты регрессии, случайные свободные члены (составная симмет-
8
400,452
2
7,164
6
8,329
8
рия)
2 прямые, неравные коэффициенты регрессии, некоррелированные наблю-
6
401,312
2
8,024
8
9,162
дения
5
441,582
7
40,270
1
50,833
Источник. [Jennrich and Schluchter (1987)].
Эта неограниченная модель, модель 1 в табл. 8.4, оценивалась по . неполным данным табл. 8.3. Остальные семь моделей также оценивалась по этим данным. Графики наводили на мысль о линейности зависимости между средним расстоянием и возрастом с различными свободными членами и коэффициентами регрессии для мальчиков и девочек. Структуру средних для такой модели можно записать в виде
1 Xj —3 —Зх(
1 X; —1 —Xj
ft
рТ =Х£=
,(8.13)
1 Xj1Xj
03
1 Х; 33Xj
_ 04_
где /3, и /31 + /32 представляют общие средние, а /З3 и /З3 + /34 — коэффициенты регрессии соответственно для девочек и для мальчиков. В модели 2 была такая структура средних и неограниченная Е.
Статистика отношения правдоподобия модели 1 к правдоподобию модели 2 равна х2=6,332 при четырех степенях свободы, что указывает на достаточно удовлетворительное согласие для модели 2. Модель 3 получается из модели 2, если положить /34=0, т. е. если опустить последний столбец X;. Это ограничение означает, что прямые регрессии расстояния на возраст имеют одинаковый наклон для обеих половых групп. Отношение правдоподобия для сравнения модели 3 с моделью 2 равно 4,112 при одной степени свободы, что указывает на плохое согласие. Поэтому надо предпочесть структуру средних модели 2.
Остальные модели табл. 8.4 имеют структуру средних модели 2, но налагают ограничения на Е. Ковариационные структуры авторегрессии (модель 5) и независимости (модель 8) не согласуются с данными, судя по статистике хи-квадрат отношения правдоподобия. Полосовая структура (модель 4) и две структуры со случайными эффектами (модели 6 и 7) хорошо подходят под данные. Из этих моделей мы предпочтем по соображениям экономии модель 7. Ее можно интерпретировать как модель со случайными эффектами с фиксированным коэффициентом регрессии для каждого пола и случайным свободным членом, который варьирует от объекта к объекту около общего по полу среднего. В дальнейшем анализе следовало бы рассмотреть оценки параметров выбранной модели.
МОДЕЛИ ВРЕМЕННЫХ РЯДОВ
Введение
В коротком обсуждении моделей временных рядов с неполными данными (пропусками) мы ограничимся параметрическими моделями во временндй области с нормальными возмущениями, поскольку они больше всего подходят под метод максимального правдоподобия, развитый в гл. 5 и 7. В приложениях, очевидно, особенно важными выглядят два класса моделей этого вида: модели авторегрессии — скользящего среднего (АРСС), описанные в [Box and Jenkins (1976)], и модели пространства состояний или фильтры Калмана, впервые рассмотренные в технической литературе [Kalman (I960)] и интенсивно разрабатываемые в настоящее время в литературе по временным рядам в эконометрии и статистике [Harvey (1981)]. Как показано в следующем разделе, модели авторегрессии относительно легко оцениваются по неполным данным с помощью ЕМ-алгоритма. Анализ моделей Бокса—Дженкинса с компонентами скользящего среднего не так прост, однако МП-оценивание можно проводить, трансформируя их в модели общего пространства состояний, как описано в [Harvey and Phillips (1979); Jones (1980)]. Мы опускаем детали этого преобразования, хотя МП-оценивание моделей общего пространства состояний по неполным данным описано в общих чертах в разделе 8.6.3 в соответствии с подходом [Shumway and Stoffer (1982)].
Авторегрессионные модели
одномерных временных рядов с пропусками
Пусть У=(Уо1>'1,---1),т) обозначает полностью наблюденный одномерный временной ряд с Г+1 наблюдениями. Модель авторегрессии порядка р (АР(р)) предполагает, что у(, значение в момент времени i, связано со значениями в р предыдущих точках времени уравнением
^i | Wiv..,Xh,W-M«+0i),m+-^(8.14)
где 0=(а,/31,32,...,Зр><г2), а — постоянная, /3],...,^ — неизвестные регрессионные коэффициенты, а2 — неизвестная дисперсия ошибки. Оценки наименьших квадратов ai,3iРр и <т2 можно найти с помощью регрессии у, на л^О^, У;_2,...у,_р) по наблюдениям
i=p, p+1,..., T. Эти оценки будут только приближенно МП-оценка- ми, так как игнорируется вклад маргинальных распределений Уо, Ух,...! Ур—i в правдоподобие. Это допустимо при малых р по сравнению с Т.
При отсутствии некоторых наблюдений в ряде может прийти мысль применить методы регрессионного анализа с пропусками из раздела 8.4. Этот подход может давать полезные грубые приближения, но это не будет соответствовать МП-оцениванию, даже если считать, что пренебрегать маргинальным распределением jo, УхУр допустимо, так как 1) переменные с пропусками у^^р^ выступают и как зависимые, и как независимые переменные в регрессии, и 2) модель (8.14) задает специальную структуру вектора средних и ковариационной матрицы У, не используемую в анализе. Поэтому для оценивания модели АР(р) по неполным временным рядам необходимы специальные варианты ЕМ-алгоритма. Эти ва
рианты относительно легко реализуемы, хотя их описание нетривиально. Мы ограничиваемся случаем, когда р=\.
Пример 8.7. Модель АР(1) для временндго ряда с пропусками.
Полагая в (8.14) р=Л, получим
(8.15)(8.15)„ ।независимо
(8.15)
(8.15)
(У, | Jo,..., J/-], 6)~ Ма+ Ру^.а2).
Ряд АР(1) будет стационарным с постоянным по времени маргинальным распределением j, только при | /3 | < 1. Тогда совместное распределение j( имеет постоянные маргинальное среднее ^=E(j)=a(l—З)-1, дисперсию Var(j,) = (^(l—/32)~1 и ковариации Cov O’(J,+J=3*ff2(l—З2)-1 для к>\. Пренебрегая вкладом маргинального распределения j0, получим, что логарифм правдоподобия для полного У равен /(а,/3,а21 j)=—0,5(7-^^ (J._a_(3y._i)2_o,5 Tioga2 и эквивалентен логарифму правдоподобия для нормальной линейной регрессии j( на х,=у,—1 для данных \(ХрУ^, /=1,.../Ц Достаточные статистики для полных данных — эго s=(si,s2,s3,s4,s5), где
Sx^yp s1=I(7M, s3 = £xy2 s4 = E^_v Ss = Exyiyi_1.
МП-оценка 0=(а,/3,<т) — это 0=(а,^,а), где
(8.16)(8.16)а = ($1— В$г)Т-1,
(8.16)
(8.16)
В=(^-Г-'адХ^-Г-1^)-1.
а2 = [s3—s? Т-1-ВЧ$4-$^ Т-^/Т,
Теперь допустим, что некоторые наблюдения отсутствуют и выполняется ОС. С помощью ЕМ-алгоритма, по-прежнему игнорируя маргинальное распределение у0, можно получить МП-оценку 9. Пусть 9<,) = (а(О,/3«)1(7(О) — оценки 6 на Г-й итерации. На шаге М вычисляют 9(,+1) из (8.16), где достаточные статистики для полных данных s заменены оценками s^ на шаге Е.
На шаге Е вычисляютгде
sp) = E у^ ^=£у^, ^L^py+cV)^^) =£ [(^0 ^СО t ._,},^=^ tP^CO-bclO J,
и
у.,если У[ присутствует,
pCO=f
' £(yj УоЬ$,9(,)), если yf отсутствует,
г 0,если у,- или у,- присутствует,
СЧ)=
и I Cov о,^ I УоЬ$,9<'>), если у, и у^ отсутствуют.
На шаге Е выполняются обычные операции по свертке ковариационной матрицы наблюдений. Однако матрица ТхТ, как правило, велика, поэтому желательно использовать свойства модели АР(1) для упрощения вычислений. Допустим, что Y’Vs=^yjJrXyjJrl,...yk_P — последовательность пропусков между присутствующими наблюдениями у; и ук. Тогда 1) при заданных УоЬ$ и 9У^$ не зависит от других пропущенных значений и 2) распределение У^ при заданных yobs и 9 зависит от УоЬ$ только через «граничные» наблюдения yj и ук. Последнее распределение — многомерное нормальное с постоянной ковариационной матрицей и средними, которые являются взвешенными средними ^=а(1—3)—Ч У) и ук. Веса и ковариационная матрица зависят только от числа пропусков в данной последовательности и могут быть найдены сверткой текущей оценки ковариационной матрицы ^у^х,...^ по элементам, соответствующим наблюдениям yj и ук.
В частности, допустим, что у, и yi+2 присутствуют, а у^х отсутствует. Ковариационная матрица Ур yi+l и jy+2 равна:
3 З2
13
31 -
Свертка по yj и yjV1 дает
SWPVJ+ZH-^SWPVJ+ZH-^/3—/32а~2<72/3/3—/32а~2<72/3(8.17)(8.17)
SWPVJ+ZH-^
SWPVJ+ZH-^
/3—/32а~2
<72/3
/3—/32а~2
<72/3
(8.17)
(8.17)
Из (8.17) и стационарности следует
Е\ут\у^г,е] = /1+0(1 + /32)-1(уу.+2-/О+/3(1 + /32^
Var(yy+,1^2,0)=^^
Подставляя 6=6W в эти выражения, получаем ^у^ и c^j^ для шага Е. Заметим, что у^ — оценка пропущенного значения на последней итерации алгоритма.
Калмановская фильтрация
В [Shumway and Stoffer (1982)] рассмотрен фильтр Калмананезависимо
О, IМ^ ~ NU^B),
(z0|9) ~ N№,(8.18)
U, I Ziz^,#) ~ М^ФС?).
где У; — вектор 1 x q наблюдаемых в момент времени / переменных, М( — известная рх ^-матрица плана, которая связывает среднее у- с ненаблюдаемым случайным 1хр-вектором z,-, и 0=(Д^,Е,ф,2) представляет неизвестные параметры, где Д Е и Q — ковариационные матрицы, д — среднее Zo, Ф — рхр-матрица коэффициентов авторегрессии z, на z^. Случайный ненаблюдаемый ряд z,, моделью которого является многомерный процесс авторегрессии первого порядка, и представляет основной интерес.
Эту модель можно рассматривать как разновидность модели случайных эффектов для временных рядов, где вектор эффектов z, имеет корреляционную структуру по времени. Основной целью является оценка ненаблюдаемого ряда z, для /=1,2п (сглаживание) и для /=л+1, л+2,... (прогнозирование) по наблюдаемому ряду ухУг,...уп- Если бы параметр 6 был известен, оптимальными оценками Z; были бы их средние, условные по параметру 9 и данным У, называемые калмановскими оценками сглаживания. Набор рекурсивных формул для их вычисления называют фильтром Калмана. На практике 9 неизвестен, процедуры сглаживания и прогнозирования включают МП-оценивание 9 с последующей подстановкой в фильтр Калмана МП-оценки 6 вместо 6.
Такой же подход применяют, когда данные У неполные, заменяя У на наблюденную часть У — УоЬг МП-оценивание Q можно проводить методом Ньютона—Рафсона [Gupta and Mehra (1974); Ledolter (1979); Goodrich and Caines (1979)]. Удобной альтернативой этим методам является ЕМ-алгоритм, в котором отсутствующая часть У, ymis и Zi рассматриваются как отсутствующие данные. Привлекательное свойство этого метода состоит в том, что ожидаемые значения zt вычисляются при заданных yobs и текущей оценке 6, что совпадает с калмановским процессом сглаживания, описанным выше. Подробности шага Е приведены в [Shumway and Stoffer (1982)]. Шаг М реализуется довольно просто. Оценки ф и Q вычисляются по авторегрессии для ожидаемых значений достаточных статистик для полных данных, полученных на шаге Е:
^i ^/51 ^ ^<?i ^'—р/?i^i—1^,—1 И ,?i ^|— 1^' "
Оценкой В служит ожидаемое значение остаточной ковариационной матрицы п~*Е/=1 (у;—z^)T(yi—гДО. Наконец, оценка д — это ожидаемое значение Zo, а Е выбирается из содержательных соображений. Теперь мы опишем частный случай этой очень общей модели.
Пример 8.8. Двумерный временной ряд, измеренный с ошибками. Табл. 8.5 содержит два неполных временных ряда с данными о суммарных расходах на медицинское обслуживание, где У1 — данные, полученные службой Social Security, Administration (SSA), a Уг — Health Care Financing Administration (HCFA).
Таблица 8.5. Данные из примера 8.8 и прогнозируемые по ЕМ-алгоритму значения (затраты на здравоохранение в миллионах долларов)
Год, i
SSA
У»
НСРА
Прогноз по ЕМ-алгоритму
Е(х, 1 данные, 0)
Var,/2 (Х | данные, У) 1
1949
2633
2541
178
1950
2747
—
2711
185
1951
2868
—
2864
186
1952
3042
—
3045
186
1953
3278
—
3269
186
1954
3574
—
3519
186
1955
3689
—
3736
186
1956
4067
—
4063
186
1957
4419
——
4433
186
1958
4910
—
4876
186
1959
5481
—
5331
186
1960
5684
—
5644
186
1961
5895
—
5972
186
1962
6498
—
6477
186
1963
6891
—
7032
185
1964
8065
—
7866
179
1965
8745
8474
8521
ПО
1966
9156
9175
9198
108
1967
10287
10142
10160
108
1968
11099
11104
11159
108
1969
12629
12648
12645
108
1970
14306
14340
14289
108
1971
15835
15918
15835
108
1972
16916
17162
17171
108
1973
18200
19278
19106
109
1974
—
21568
21675
119
1975
—
25181
25027
120
1976
—
27931
27932
129
1977
—
—
31178
355
1978
—
—
34801
512
1979
——
—
38846
657
1980
—
—
43361
802
1981
—
—
48400
952
Источник. Данные из [Meltzer, Goodman, Langwell, Cosier, Baghelai and Bobula (1980)], приведенные в [Shumway and Stoffer (1982)].
Эти данные анализируются в [Shumway and Stoffer (1982)] с помощью модели
независимо(у у | z,,e)~ n^b^
Ui I Zjz,_P0) ~ N^i-^.Q),
где у у — суммарные расходы для времени i по данным SSA(/=1) и HCFA(/=2), z, — истинные расходы, образующие по предположению временной ряд АР(1) с коэффициентом ф и остаточной дисперсией Q, Bj — дисперсия измерения у у (/=1,2) и 0=(B1,B2^,Q). В отличие от примера 8.7, здесь не предполагается стационарность ряда АР(1) к,, так как параметр ф — это фактор роста, моделирующий экспоненциальный рост; предположение, что ф — постоянный по времени — это, вероятно, чрезмерное упрощение.
Таблица 8.6. Последовательность оценок на различных итерациях ЕМ-алгоритма для МП-оценок в примере 8.8
/
д(0
Ф(0
4(0
5,(0
5г(0
—21п£
1
2500
1,100
10000
10000
10000
885
2
2417
1,114
49837
41583
24105
680
3
2396
1,116
78153
54666
25486
675
4
2383
1,116
93513
59958
25580
675
5
2374
1,116
100571
62483
25384
674
10
2342
1,116
105152
65725
23920
674
20
2279
1,116
104814
67760
20971
672
40
2277
1,116
105115
68636
19394
671
50
2276
1,116
105097
68663
19354
671
75
2277
1,116
105115
68675
19329
671
Источник. [Shumway and Stoffer (1982), Табл. II].
В табл. 8.6 приведена последовательность итераций ЕМ-алгоритма. Начальные значения были выбраны просто по полностью наблюдаемым фрагментам рядов. Последние столбы табл. 8.5 содержат сглаженные оценки ^ на последней итерации ЕМ-алго- ритма для 1949—1976 гг. и прогноз на 5 лет (1977—1981 гг.) вместе со стандартными ошибками. Стандартные ошибки прогнозируемых значений возрастают с 355 для 1977 г. до 952 для 1981 г., что отражает большую неопределенность прогноза.
ЛИТЕРАТУРА
Beale, Е. М. L., and Little, R. J. A. (1975). Missing values in multivariate analysis, J. Roy. Statist.
Soc. B37, 129-146.
Bentler, P. M., and Tanaka, J. S. (1983) Problems with EM for ML factor analysis, Psychometrika 48, 247-253.
Box, G. E. P., and Jenkins, G. M. (1976). Time Series Analysis: Forecasting and Control. San Francisco: Holden-Day.
Brownlee, K. A. (1965). Statistical Theory and Methodology in Science and Engineering. New
York: Wiley.
Dempster, A. P., Laird, N. M., and Rubin, D. B. (1977). Maximum likelihood estimation from incomplete data via the EM algorithm, (with discussion), J. Roy. Statist. Soc. B39, 1-38.
Dempster, A. P., Rubin, D. B„ and Tsutakawa, R. K. (1981). Estimation in covariance component models, J. Am. Statist. Assoc. 76, 341-353.
Goodrich, R. L„ and Caines, P. E. (1979). Linear system identification from nonstationary cross-sectional data, IEEE Trans. Aut. Control, AC-24, 403-411.
Gupta, N. K., and Mehra, R. K. (1974). Computational aspects of maximum likelihood estimation and reduction in sensitivity function calculations, IEEE Trans. Aut. Control AC-19, 774-783.
Hartley, H. O., and Hocking, R. R. (1971). The analysis of incomplete data, Biometrics 14, 174-194.
Harvey, A. C. (1981). Time Series Models, New York: Wiley.
Harvey, A. C., and Phillips, G. D. A. (1979). Maximum likelihood estimation of regression models with autoregressive-moving average disturbances, Biometrika 66, 49-58.
Healy, M. J. R., and Westmacott, M. (1956). Missing values in experiments analyzed on automatic computers, Appl. Statist. 5, 203-206.
Helms, R. W. (1984). Linear models with linear covariance structure for incomplete longitudinal data, Biometrics Section, American Statistical Association 1984.
Holland, P. W., and Wightman, L. E. (1982). Section pre-equating: A preliminary investigation, in Test Equating (P. W. Holland and D. B. Rubin, Eds.). New York: Academic Press.
Jennrich, R. L, and Schluchter, M. D. (1987). Incomplete repeated measures models with structured covariance matrices, to appear in Biometrics 42.
Jones, R. H. (1980). Maximum likelihood fitting of ARMA models to time series with missing observations, Technometrics 22, 389-395.
Kalman, R. E. (1960). A new approach to linear filtering and prediction problems, Trans. ASME J. Basic Eng. 82, 34-35.
Laird, N. M., and Ware, J. H. (1982). Random-effects models for longitudinal data, Biometrics 38, 963-974.
Ledolter, J. (1979). A recursive approach to parameter estimation in regression and time series problems, Commun. Statist. Theory Meth. A8, 1227-1245.
Little, R. J. A. (1979). Maximum likelihood inference for multiple regression with missing values: A simulation study, J. Roy. Statist. Soc. B41, 76-87.
Русский перевод: Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. — М.: Мир, 1974.
Meltzer, A., Goodman, C., Langwell, K., Cosier, J., Baghelai, C, and Bobula, J. (1980). Develop physician and physician extender data bases, G-155, Final Report, Applied Management Sciences, Inc., Silver Springs, MD.
Orchard, T., and Woodbury, M. A. (1972). A missing information principle: theory and applications, Proceedings of the 6th Berkeley Symposium on Mathematical Statistics and Probability 1, 697-715.
Potthoff, R. F., and Roy, S. N. (1964). A generalized multivariate analysis of variance model useful especially for growth curve problems, Biometrika 51, 313-326.
Reinisch, J. M., Rosenblum, L. A., Rubin, D. B., and Schulzinger, M. F. (1985). Sex differences in behavioral milestones during the first year of life, Kinsey Institute report.
Rubin, D. B., and Szatrowski, T. H. (1982). Finding maximum likelihood estimates for patterned covariance matrices by the EM algorithm, Biometrika 69, 657-660.
Rubin, D. B„ and Thayer, D. T. (1982). EM algorithms for factor analysis, Psychometrika 47, 69-76.
Rubin, D. B., and Thayer, D. T. (1983). More on EM for ML factor analysis, Psychometrika 48, 253-257.
Shumway, R. H., and Stoffer, D. S. (1982). An approach to time series smoothing and forecasting using the EM algorithm, J. Time Series Anal. 3, 253-264.
Snedecor, G. W., and Cochran, W. G. (1967). Statistical Methods, Ames: Iowa State University Press.
Szatrowski, T. H. (1978). Explicit solutions, one iteration convergence and averaging in the multivariate normal estimation problem for patterned means and covariances, Ann. Inst. Statist. Math. 30, 81-88.
Trawinski, I. M., and Bargmann, R. W. (1964). Maximum likelihood with incomplete multivariate data, Ann. Math. Statist. 35, 647-657.
Ware, J. H. (1985). Linear models for the analysis of longitudinal studies. Am. Statist. 39, 95-101.
ЗАДАЧИ
Покажите, что оценки средних и дисперсий неполной многомерной выборки методом доступных наблюдений, описанным в разделе 3.3, являются МП-оценками, когда данные имеют многомерное нормальное распределение с неограниченными средними и дисперсиями и нулевыми корреляциями при игнорируемых пропусках. В каких ситуациях приемлем метод доступных наблюдений для многомерных данных с пропусками?
Напишите программу, реализующую ЕМ-алгоритм для двумерных, нормальных данных с произвольной структурой пропусков.
Опишите ЕМ-алгоритм для двумерных нормальных данных со средними (д^дг), корреляцией е, общей дисперсией а1 и произвольной структурой пропусков. Если вы решили задачу 2, модифицируйте свою программу для анализа этой модели. Указание. Проведите преобразование U^Y^Yz, G2 = Y,—У2.
Выведите выражение для ожидаемой информационной матрицы из раздела 8.2.2 для двумерных данных.
Найдите МП-оценки коэффициента корреляции q двумерного распределения по а) двумерной выборке объема т с известными средними д,, д2 и дисперсиями а? и а], б) по двумерной выборке объема т и двум дополнительным бесконечным выборкам из маргинальных распределений обеих переменных. Отметьте довольно удивительный факт: а) и б) имеют различные ответы.
Докажите утверждение перед уравнением (8.3), что МП-оценки Е по полным данным получаются из С простым усреднением. Указание. Рассмотрите ковариационную матрицу четырех переменных Ul = Yl + Y2 + Yi + Y4, U2 = Y,—Y2 + Y3—Y4, Y3 = Y,-Y3 и U4 = Y2—Y4.
Познакомьтесь с обсуждением ЕМ-алгоритма для факторного анализа в [Rubin and Thayer (1978), (1982); Bentler and Tanaka (1983)].
Выведите ЕМ-алгоритм для модели из примера 8.3, расширенной предположением д - МО,?2), где д рассматривается как отсутствующие данные. Затем рассмотрите случай т2 -♦ «=■=. (что дает равномерное априорное распределение по д).
Проверьте приближенный метод оценивания ковариационной матрицы оценок коэффициентов регрессии (см. раздел 8.4.2) для одного регрессора X по данным, в которых a) Y присутствует полностью, X подвержен пропускам, б) X присутствует полностью, Y подвержен пропускам. Дает ли этот метод точные асимптотические ковариации в обоих случаях?
Дополните детали, которые приводят к выражениям для среднего и дисперсии Уу+1 при заданных к-, уу+2 и 9, из примера 8.7. Прокомментируйте вид ожидаемого значения Уу+1 при р-»1 и #5—>0.
Обобщите задачу 10 и вычислите средние, дисперсии и ковариации Уу+1 и уу+2 при заданных Уу, Уу+з> 6 в последовательности, в которой уу и Уу+з присутствуют, а уу+1 и Уу+2 отсутствуют.
Глава 9. АНАЛИЗ ЧАСТИЧНО КЛАССИФИЦИРОВАННЫХ ТАБЛИЦ СОПРЯЖЕННОСТИ
БЕЗ УЧЕТА МЕХАНИЗМА
ПОРОЖДЕНИЯ ПРОПУСКОВ
ВВЕДЕНИЕ
Эта глава посвящена анализу неполных данных для категориальных переменных. Хотя категории могут быть образованы путем разбиения интервальной шкалы, упорядоченность категорий переменной такого вида или другой порядковой переменной здесь не учитывается. Методы обработки категориальных данных с учетом упорядоченности категорий, разработанные недавно [(см., например, [Goodman (1979); McCullagh (1980)]), можно обобщить на случай неполных данных с помощью теории правдоподобия, описанной в гл. 6 и 7.
Прямоугольную пх ^матрицу данных, состоящую из п наблюдений по V категориальным переменным YvYv, можно преобразовать в ^мерную таблицу сопряженности с ячейками, определяемыми совокупностью категорий переменных. Элементами этой таблицы являются целые числа VnjkuV где njki...t — число наблюдений в ячейке с Y\=j, Y2 = k, Y3=l,...,Yy=t. Если матрица данных содержит пропуски, то некоторые из наблюдений в описанной таблице сопряженности классифицированы частично. Полностью классифицированные наблюдения образуют ^мерную таблицу частот \mjkl,], а частично классифицированные — дополнительные маргинальные подтаблицы, определяемые подмножеством наблюдаемых переменных из множества (УЬ...,УК). Например, первые восемь строк табл. 1.16 представляют полные наблюдения в пятимерной таблице сопряженности с переменными: пол, возрастные группы и наличие ожирения в три различных момента времени. Остальные восемнадцать строк содержат данные для шести частично классифицированных таблиц с отсутствием одной или двух переменных о наличии ожирения. Мы будем обсуждать МП-оценивание по данным такого вида.
В следующем разделе факторизация правдоподобия, аналогичная факторизации, описанной для нормального случая в гл. 6, применяется к неполным категориальным данным со специальной структурой частного. В разделе 9.3 обсуждается МП-оценивание для общих структур с помощью ЕМ-алгоритма. В разделе 9.4 рассматривается МП- оценивание по частично классифицированным данным, когда вероятности классификации определяются логлинейной моделью. Обсуждение моделей с неигнорируемыми пропусками отложено до гл. 11.
Более общий вид неполные данные будут иметь, когда категория У определенного признака, например У,, неизвестна, но зато известно, что наблюдению соответствует одно из подмножеств 5 значений У. Если У] отсутствует полностью, то 5 состоит из всех возможных значений у. Если У, отсутствует, но записано значение У в менее подробной кодировке У , то 5 будет соответствующим подмножеством значений у. Пример таких данных, где возможна и точная, и грубая классификация, приведены в разделе 9.2.
Проблемы данных с пропусками, обсуждаемые здесь, нельзя ни в коем случае смешивать с задачей о структурных нулях, где определенные ячейки содержат нулевые частоты, поскольку в модели принимается, что вероятности появления наблюдений в этих ячейках равны нулю. Например, если У, — год рождения, а У2 — год первого брака и браки до 10 лет запрещены, то клетки, в которых Уг< У +9, — структурные нули совместного распределения Y, и У2. Отсутствие данных в ячейках (нулевые частоты) не рассматривается здесь как пропуски. Обсуждение проблемы структурных нулей см. в [Bishop, Fienberg and Holland (1975), гл. 5].
P. Дж. А. Литтл, Д. Б. Рубинi q-1
ФАКТОРИЗАЦИЯ ПРАВДОПОДОБИЯ
ДЛЯ МОНОТОННЫХ ПОЛИНОМИАЛЬНЫХ ДАННЫХ
Введение
В этом и следующем разделах мы предполагаем, что:
частоты в полных данных njkL.it имеют полиномиальное распределение с параметром и и вероятностями 0= (тг^/.../};
механизм порождения пропусков пренебрежим в смысле, указанном в гл. 5. Следовательно, правдоподобие для вероятностей 6 получается интегрированием правдоподобия для полных данных
L№M..,})= п ^(9.1)
J»K>l...,l
по отсутствующим данным. МП-оценки 0 получаются при максимизации получаемого правдоподобия при условии, что сумма вероятностей в ячейках равна 1.
Альтернативу модели, определяемой предположением 1, задает предположение, что частоты njkt д — независимые пуассоновские случайные величины со средними ^к1„л и вероятностями для ячеек 1г*к1..д = ^к1..л/^1,к>1..л^к1.,л. Если механизм порождения пропусков пренебрежим, выводы о 1тг*к1...Л по правдоподобию совпадают с выводами для V^jki.-.A из полиномиальной модели. Этот факт следует из соображений, аналогичных тем, что в случае полных данных [см. Bishop, Frienberg and Holland (1975)]. Мы ограничимся рассмотрением полиномиальной модели, так как с практической точки зрения она выглядит более общей по сравнению с пуассоновской моделью.
Для полных данных правдоподобие (9.1) дает МП-оценку 1TjkL..t-rtjkL.Vn с асимптотический дисперсией
Var(7Tyj(:/ f ^Jkl...t)~ ^кк-Л^Д ^jkl...tV^e
Нашей целью является получение аналогичных величин по неполным данным. В этом разделе мы обсудим структуры неполных данных частного вида, которые приводят к явным МП-оценкам.
МП-оценивание для монотонных структур
Проиллюстрируем сначала МП-оценки в простом случае двумерной таблицы сопряженности с дополнительной таблицей по одному' фактору.
Пример 9.1. Двумерная таблица сопряженности с дополнительной одномерной подтаблицей. Рассмотрим две категориальные переменные: У) с категориями У=!,...,/и У2 с категориями к=\э..мК.
Данные состоят из т наблюдений Оа, уа, i=l,...,m) с зарегистрированными jH, уп и г=п—т наблюдений Оа, /=/л + 1,...,и) с ja и отсутствующими у^. Структура данных идентична структуре в примере 6.1, но теперь переменные категориальны, т полностью классифицированных таблиц можно расположить в таблицу сопряженности JxK, у которой в ячейке с yix =j, уп=к есть mjk наблюдений; г остальных наблюдений образуют дополнительную подтаблицу /х1, у которой в ячейке с yiX=j rj наблюдений (рис. 9.1).
Для обозначения суммирования по индексам j и к мы будем использовать стандартный способ с помощью знака +. В нашей задаче
Как в примере 6.1, мы будем работать с другим набором параметров ф, соответствующим маргинальному распределению У] и условному распределению У2 приКак в примере 6.1, мы будем работать с другим набором параметров ф, соответствующим маргинальному распределению У] и условному распределению У2 приJ к9 = кТт TTu,...,^) И Е 'Lv^s-k =\wУ2J к9 = кТт TTu,...,^) И Е 'Lv^s-k =\wУ2Категории1Категории1Y,Y,СуммыСуммы11ККJJVm^Vm^Полные наблюденияПолные наблюденияСуммыСуммы<m.J<m.JттКатегории1Категории1JСумма г = п-тJСумма г = п-тНеполные наблюденияНеполные наблюденияРис. 9.1. Данные из примера 9.1Рис. 9.1. Данные из примера 9.1заданном Уь Логарифм правдоподобия данных можно записать взаданном Уь Логарифм правдоподобия данных можно записать в
Как в примере 6.1, мы будем работать с другим набором параметров ф, соответствующим маргинальному распределению У] и условному распределению У2 при
Как в примере 6.1, мы будем работать с другим набором параметров ф, соответствующим маргинальному распределению У] и условному распределению У2 при
J к
9 = кТт TTu,...,^) И Е 'Lv^s-k =\w
У2
J к
9 = кТт TTu,...,^) И Е 'Lv^s-k =\w
У2
Категории1
Категории1
Y,
Y,
Суммы
Суммы
1
1
К
К
J
J
Vm^
Vm^
Полные наблюдения
Полные наблюдения
Суммы
Суммы
<m.J
<m.J
т
т
Категории1
Категории1
J
Сумма г = п-т
J
Сумма г = п-т
Неполные наблюдения
Неполные наблюдения
Рис. 9.1. Данные из примера 9.1
Рис. 9.1. Данные из примера 9.1
заданном Уь Логарифм правдоподобия данных можно записать в
заданном Уь Логарифм правдоподобия данных можно записать в
виде
№mjk, rjW^mb +гу.)1пту+ * ^Im^^,(9.2)
где первое слагаемое — логарифм правдоподобия полиномиального распределения маргинальных частот т^ +rj с параметром л и вероятностями iry+, второе — логарифм правдоподобия условного полиномиального распределения mjk при заданном rri; с параметрами my+ и вероятностями
Итак, (9.2) — это факторизация правдоподобия вида (6.1) с ф, = ~ 1Т/+» У=1,...,/} и ф2= Vvk.j.j=lJ, к=1Л"), 0J и 02 раздельны. Максимизируя каждую компоненту по отдельности, получаем МП-оценки
7Г;
поэтому
^jk-^j
тЛ *rj - mjkп ’ ^k j- mJ+ ’
, _ Vnjk*^mjk/mj*Vj^
Л
(9.3)
Значит, согласно МП-оценке в (л кую ячейку распределяется доля т^к/т^ rj неклассифицированных наблюдений.
Пример 9.2. Монотонные двумерные дискретные данные. Мы численно проиллюстрируем результаты примера 9.1 на данных табл. 9.1, где У] — дихотомическая, а У2 — трихотомическая переменная. Оценивание маргинальных вероятностей Yx проводится по полностью и частично классифицированным объектам:
#1 + =190/140,#2+ =220/410.
Таблица 9.1. Пример со структурой данных на рис. 9.1
Полные объекты У2
Неполные объекты
1
2
3
Сумма
1
20
30
40
90
1100
У
У
2
50
60
20
130
290
Сумма
70
90
60
220
Сумма190
Условные вероятности отнесения к категориям У2 при заданном У, оцениваются по полностью классифицированным объектам:
#,.5=20/190,#2. j = 30/90,#3.5=40/90,
#5.2 = 50/130,#2.2=60/130,#з.2 = 20/130.
Сочетание этих оценок дает вероятности в (9.3):
#н =(20/90)(190/410)=0,1030,#13 = (40/90)(190/410)=0,2060,#22 = (60/130)(220/410)=0,2377,#н =(20/90)(190/410)=0,1030,#13 = (40/90)(190/410)=0,2060,#22 = (60/130)(220/410)=0,2377,#12 = (30/90)(190/410)=0,1545,#21 =(50/130)(220/410)=0,2064,#23 = (20/130)(220/410)=0,0826.#12 = (30/90)(190/410)=0,1545,#21 =(50/130)(220/410)=0,2064,#23 = (20/130)(220/410)=0,0826.
#н =(20/90)(190/410)=0,1030,
#13 = (40/90)(190/410)=0,2060,
#22 = (60/130)(220/410)=0,2377,
#н =(20/90)(190/410)=0,1030,
#13 = (40/90)(190/410)=0,2060,
#22 = (60/130)(220/410)=0,2377,
#12 = (30/90)(190/410)=0,1545,
#21 =(50/130)(220/410)=0,2064,
#23 = (20/130)(220/410)=0,0826.
#12 = (30/90)(190/410)=0,1545,
#21 =(50/130)(220/410)=0,2064,
#23 = (20/130)(220/410)=0,0826.
В отличие от них оценки по полностью классифицированным наблюдениям равны:
т н =20/220 = 0,0909, т12 = 30/220 = 0,1364, т13=40/220=0,1818, т21 = 50/220=0,2273, т22=60/220=0,2727, ?23 =20/220=0,0909.
Оценки (#^1 менее эффективны, чем МП-оценки {#у^}. Однако принципиальное преимущество МП-оценивания состоит, как и в нормальном случае, обсуждавшемся в примере 6.1, в уменьшении или устранении смещения, когда данные не отсутствуют и присутствуют случайно (не выполняется ОПС). Оценки \Tjk\ — МП- оценки, когда данные ОС и, в частности, когда вероятность пропус-
ка Yi зависит от Уь но не от У2. lir^} — состоятельные в общем случае оценки [тудЗ, только если данные ОПС, т. е. пропуски не зависят ни от Уь ни от У2. Маргинальные распределения у в полностью и не полностью классифицированных выборках, видимо, различаются (критерий хи-квадрат дает xi =5,23 с соответствующим p-значением, которое меньше 0,01), поэтому эти данные противоречат предположению ОПС.
Обобщения этого примера на случай других монотонных структур можно получить с помощью аналогичной факторизации правдоподобия.
Пример 9.3. Анализ шестифакторной таблицы. Фухс [Fuchs (1982)] представляет данные Protective Services Project for Older Persons — долговременного исследования 165 людей, предпринятого для оценки влияния социальных условий на состояние здоровья (табл. 9.2). Исследователи собирали данные по шести дихотомическим переменным: D — жив или умер, G — принадлежность к опытной или контрольной группе, S — пол (мужской, женский), А — возраст (меньше 75 лет, больше 75 лет), Р — физическое состояние здоровья (плохое, хорошее), М —- психическое состояние (плохое, хорошее). У 101 обследованного человека были зарегистрированы все переменные (табл. 9.2,а)). Состояние здоровья не было обследовано у 1 человека (табл. 9.2,6)). Запись о психическом состоянии отсутствовала у 33 человек (табл. 9.2,в)). Наконец, не было записей о физическом состоянии наряду с психическим у 29 человек (табл. 9.2,г)).
Если опустить информацию о психическом состоянии одного человека в табл. 9.2,6), данные будут иметь монотонную структуру, и МП-оценки вероятностей в ячейках можно вывести с помощью факторизации
Pr (D, G, A, S, Р, M)=Pr (D, G, A, S) Pr (P|D, G, A, S) Pr (M|D, G, A, S, Р).
Наблюденные частоты для оценивания трех распределений в правой стороне приведены в табл. 9.3,а). Вычисленные ожидаемые частоты, равные оценке вероятности для ячейки, умноженной на 164 (суммарный объем выборки), приведены в табл. 9.3,6). Например, частота в ячейке с D — жив, G — экспериментальная группа, А — больше 75 лет, S — мужской, Р — хорошее, М — хорошее, равна:
164(13/164)(10/11)(6/8) = 8,8636.
Замена D — жив на D — умер дает ожидаемую частоту 164(21/164)(6/19)(4/16)=4,4211.
Следовательно, ожидаемая условная вероятность выжить для людей из опытной группы старше 75 лет мужского пола с хорошим физическим и психическим состоянием равна (8,8636/(8,8636+ 4,4211))=0,6672. Эта оценка сравнима с оценкой 10/(10+6)=0,6 по полным наблюдениям табл. 9.2.
Таблица 9.2. Частично классифицированная таблица сопряженности для примера 9.3*
Состояние
Исход
Мужчины
Женщины
психическое
физическое
<75
>75
<75
>75
Э
К
Э
К
Э
к
э
К
а)
Полностью классик
Минированные набл
юд.
ения
Плохое
Плохое
Умерли
0
2
5
3
0
0
2
1
Выжили
1
0
0
0
0
0
0
1
Хорошее
Умерли
0
0
2
2
1
1
1
0
Выжили
0
2
2
0
0
0
0
0
Хорошее
Плохое
Умерли
0
0
3
1
0
0
1
2
Выжили
3
1
1
2
0
1
1
0
Хорошее
Умерли
1
1
4
6
2
0
0
2
Выжили
5
10
6
8
3
5
2
4
б) О
тсутствует переме
иная физического с
осп
юян
ия
Плохое
Нет
Умерли
0
0
0
0
0
0
0
0
Выжили
0
0
1
0
0
0
0
0
Хорошее
Умерли
0
0
0
0
0
0
0
0
Выжили
0
0
0
0
0
0
0
0
в) О
тсутствует перемен
тая психического
СОС1
поян
ия
Нет
Плохое
Умерли
2
0
5
3
1
1
2
0
Выжили
1
1
0
3
0
0
0
1
Хорошее
Умерли
1
0
0
0
0
0
1
2
Выжили
1
3
2
1
1
1
0
0
г) Отсутствуют обе переменные
Нет
Нет
Умерли
0
1
2
2
1
0
3
1
Выжили
2
8
1
2
1
1
2
2
• Э — экспериментальная, К — контрольная группа.
51 *
<4 08 Я.
ш о g
* з ■ 1 = 1 hi
Ш £ а =
§ о 8 di Si "
И! я а у о 3 X к i 5 Ч^ m Ч О » с * " I 5 а 5 £ £ i
i
5 *
Л
X
оо ооm <ч^-г-ооооог-сн
—« хе о о <ч о «л <н
<Ч О О* (Ч* о V «л
<4 00 Ox
A
2,
X s X
У о
S
m
о «ли м <чхе©хеооог*о<н
V О сЧ О сЧ -4* о си
V
X
сч 0° й 8 8 8 Й 2 8 S
о о о о —4 о хе
СП
КХ «Л-« О СП 4#^СП©1Л©<ПО©О
хеосчохе о «ло
оо—ОО О (Ч«Л
s s
s
Л
X
Ь 2^ «Т оо о ^SS^OK-O»
схосчоахг^оосч ^ *п о м‘ o' М Ихс о
СП
и*—
си —« \о о _О\ оо сч хе
<4—4—4—4 QСх О СЧ Сх сП —4^- 00
^ ОООСЧСЧхЛ-4^00
V
X
^^in<4 <4Л 5r-QQOOQ^-cHOO
s <4 sgЧЧЧ'®Ч^<Ч*Ч
VI5(Ч О О СП О еч -Г 00*
СП
|о m ^ гцсч » 1^8^888988 " ~ ° °" - v ^ -'
о
X
0 gОее;
Й stоо е
* |5 S
о § S 8 •& S 3 8 8 II t*t*t*t*
Й | H
*
о и
О 1 X
S: i г
h з8®
118 a
-4sS.o;ogioo
~ C *,§ c 5 c
8 1 S S в
I1
cx
Пример 9.4. Таблицы грубой и точной классификации. Данные в табл. 9.4,а) и б), представленные и проанализированные в [Hocking and Oxspring (1974)], иллюстрируют другую ситуацию, в которой можно вычислять МП-оценки, факторизуя правдоподобие. В табл. 9.4 содержатся данные об использовании лекарств для лечения проказы. 196 пациентов были классифицированы по степени инфильтрации и по общему клиническому состоянию после определенного времени со дня начала приема лекарств. Дополнительные данные о 400 других пациентах, грубо классифицированных по улучшению здоровья, приведены в табл. 9.4,6). Такого рода данные естественны в крупных диспансерных обследованиях, в которых подобные детальные результаты можно получить для небольшой группы, а грубо классифицированные данные можно собрать для большей группы людей без особых затрат.
Правдоподобие факторизуется в соответствии с совместным распределением объединенных частот из двух таблиц, классифицированных, как табл. 9.4,6), для всех 596 пациентов и условным распределением степени улучшения (сильное, умеренное, слабое) при заданном улучшении и степени инфильтрации для 196 пациентов. Полученные МП-оценки вероятностей в ячейках приведены в табл. 9.4,в), так что виден ход вычислений. Совместные вероятности инфильтрации и грубо классифицированного клинического состояния получены объединением данных из а) и б), что дает значения в последних двух столбцах и первые факторы первых трех столбцов. Последние умножаются на условные вероятности степени улучшения, вычисленные по первым трем столбцам а). В частности, значение в левом верхнем углу равно тгп = (224/596)(11/80)=0,0517, что сравнимо с тц = 11/196=0,0561, полученным только по точно классифицированным данным.
Оценивание точности МП-оценок
Асимптотическую ковариационную матрицу, соответствующую МП-оценкам (9.3), можно получить, вычисляя информационную матрицу для параметров в форме под факторизованное правдоподобие, обращая эту матрицу, а затем проводя преобразование параметров для исходного вида методом, описанным в разделе 6.1. Можно также непосредственно вычислить дисперии и ковариации. Например, чтобы вычислить асимптотическую дисперсию Kjk= -т^-к^ в примере 9.1, запишем
N^jk =Е(УагтЛ| (У, D+Var(EKjk\ (У,}),
где (У1} — набор маргинальных частот У. Отсюда асимптотически с точностью порядка 1/mL
NatKjk=Е[^+ irkj(l—Kkj)/mJ+]+Var{Tj+Tk.jl =~ Ху+ кк.Д1 Kk.j)/mj+ +ir^jTy+(l Ту+)/л.
Таблица 9.4. Классификация пациентов по степени инфильтрации и изменению состояния
а) Точно классифицированные наблюдения
Изменение состояния
Степень инфильтрации
улучшение
Сумма
сильное
умеренное
слабое
Малая
Большая
11
7
27
15
42
16
53
13
11
1
144
52
Сумма
18
42
58
66
12
196
б) Грубо классифицированные наблюдения
Степень инАильтпапии
Изменение состояния
Сумма
улучшение
без изменения
ухудшение
Малая
Большая
144
92
120
24
16
4
280
120
Сумма
236
144
20
400
в) МП-оценки вероятностей в ячейках по таблицам
а) и б)
Изменение состояния
инфильтрации
улучшение
без нзме- нения
ухудшение
сильное
умеренное
слабое
Малая
(224/596)(11/80)
(224/596)(27/80)
(224/596)(42/80)
173/596
27/596
Большая
(130/596)(7/38)
(130/596)(15/38)
(130/596)(16/38)
37/596
5/596
Источник. [Hocking and Oxspring (1974)].
Простые выкладки даютПростые выкладки даютУапг,ч.=-^J— 1mУапг,ч.=-^J— 1m_ ^z** 1+c- (111P 1,х—*)к n J X—Kjk J_ ^z** 1+c- (111P 1,х—*)к n J X—Kjk J
Простые выкладки дают
Простые выкладки дают
Уапг,ч.=-^J— 1m
Уапг,ч.=-^J— 1m
_ ^z** 1+c- (111P 1,х—*)к n J X—Kjk J
_ ^z** 1+c- (111P 1,х—*)к n J X—Kjk J
Cy=mxy+/my+—1. ПодставляяVarC^-ir^) = ^L.^ [ 1Cy=mxy+/my+—1. ПодставляяVarC^-ir^) = ^L.^ [ 1гдегдеоценки параметров, получаем
Cy=mxy+/my+—1. Подставляя
VarC^-ir^) = ^L.^ [ 1
Cy=mxy+/my+—1. Подставляя
VarC^-ir^) = ^L.^ [ 1
где
где
_ ill* 1+с ■ ^IZ^lL 1.(9.4)
x-%jk n J х~^к J
Левая сторона (9.4) записана в измененном виде, чтобы показать, что байесовский анализ асимптотической апостериорной дисперсии Tjk дает аналогичные результаты. Для ковариаций получаем
Соу(тд-гд, ^-^i)=Z^5q 1 + 21111 + 4i-1,к*1,
Co4Tjk—Xjk, ITjl—Tji) = —^.и*/)■
Если данные ОПС, то Cj мал и (9.4) сводится к выражению, аналогичному (6.14):
VarO^-ir») = 12112 Г1-11.(9.5)
т [1— irjk п J
В этом выражении £^(1—т^/т — оценка дисперсии оценки Tjk= =mjk/m, полученной без учета добавочных маргинальных частот, а остальная часть правой стороны описывает пропорциональное уменьшение дисперсии за счет маргинальных частот.
Пример 9.5 (продолжение примера 9.2). Применим эти формулы к оценкам тц по данным табл. 9.1. Оценка тгц =0,0909, не учитывающая дополнительные маргинальные частоты, имеет асимптотическую дисперсию тц(1—тц)//п, равную (после подстановки МП- оценок):
Var(lf j О=0,1030(1 —0,1030)/220 = 0,00042.
Аналогично из (9.5) получаем, что оценка асимптотической дисперсии МП-оценки хи =0,1030 равна:
Var(iH)=0,00042(1—Var(iH)=0,00042(1—(0,2222—0,1030)1900,8970-410(0,2222—0,1030)1900,8970-410)=0,00039.)=0,00039.
Var(iH)=0,00042(1—
Var(iH)=0,00042(1—
(0,2222—0,1030)1900,8970-410
(0,2222—0,1030)1900,8970-410
)=0,00039.
)=0,00039.
Итак, уменьшение дисперсии за счет использования дополнительных маргинальных частот мало. Тем не менее данные скорее всего , не ОПС, как указано в примере 9.2. Поэтому ти — смещенная оценка тц. В предположении ОС in — несмещенная оценка тп, тах что грубая оценка смещения ти равна ти—#п =0,0121. Отсюда грубая оценка средней квадратической ошибки ти равна:
MSE(T11)=0,01212+Var(Tii)=0,00057.
Заменяя (9.5) на более точную формулу (9.4), получаем для диспер- енн яи Var(#n)=0,00042(0,9384 + 0,1151)=0,00044.
Значит, метод максимального правдоподобия дает значительно более точную оценку тн благодаря учету того, что данные, видимо, не ОПС.
9 3 МП-ОЦЕНИВАНИЕ ДЛЯ ПОЛИНОМИАЛЬНЫХ ВЫБОРОК С ОБЩЕЙ СТРУКТУРОЙ ПРОПУСКОВ
Как и для нормальных данных, неполные полиномиальные данные без монотонной структуры требуют применения итеративных процедур для МП-оценивания. ЕМ-алгоритм здесь особенно прост, так как логарифм правдоподобия линеен по пропущенным значениям. Для монотонных данных в примерах 9.1 и 9.2 МП-оценивание, по сути, распределяет частично классифицированные данные по полной таблице исходя из условных вероятностей, вычисленных по полностью классифицированным данным. На шаге Е ЕМ-алгорит- ма для общей структуры выполняется как раз эта функция за исключением того, что условные вероятности вычисляются по текущим оценкам вероятностей в клетках, а не по.полностью классифицированным данным. На шаге М вычисляются новые вероятности в ячейках по заполненным данным. Впервые этот алгоритм появился в статистической литературе в работе [Hartley (1958)]. Мы формулируем ЕМ-алгоритм для общего случая, применяя его к различным частным случаям.
Допустим, что исходные полные данные — это полиномиальная выборка объема п при J ячейках cb...,cj с nj наблюдениями в Cj и параметром 0=Gri,..,irj), где tj — вероятность отнесения к су- Наблюденные данные состоят из т полностью классифицированных наблюдений с /иу наблюдениями в су-, j = 1,...,Z т = Ej=, mj, и п—т неполных наблюдений, попадающих в подмножества J ячеек. Мы разбиваем множество частично классифицированных объектов на К групп, так что все объекты внутри каждой группы имеют одинаковый набор возможных ячеек. Пусть гк частично классифицированных объектов попадает в к-ю группу, a Sk — множество ячеек, к которым могут относиться эти объекты. Далее, определим индикаторную функцию S(jXSk),j=iJ, к=1,...,К, такую, что 6(jfcSk)=\, если Cj принадлежит Sk и 6(j^Sk)=0 — в противном случае.
Опишем шаг Е ЕМ-алгоритма. Обозначим через (ry^, J=!,...,/) текущую оценку параметров (на Лй итерации). Распределение исходных полных данных относится к регулярному экспоненциальному семейству с достаточными статистиками
\п?]= 1Д.
Поэтому шаг Е состоит в вычислении
= Е(И; I данные, тгР,...,тг}°} = mj + X. гк ^%, гдеj
текущая оценка условной вероятности попадания в ячейку j при условии, что наблюдение относится к набору категорий Sk. Шаг Е, по сути, распределяет частично классифицированные наблюдения по таблице в соответствии с этими вероятностями.
На шаге М вычисляются новые оценки параметров: тгу+^ = п^/п.
Это довольно общая формулировка. Ячейки могут образовывать многофакторную таблицу с наблюдениями, классифицируемыми по V переменным У.-.-.У^, где Yv имеет jv категорий и П jv=J. Тогда частично классифицированные наблюдения могут формировать добавочные маргинальные подтаблицы, в которых одна или более переменных Yv не зарегистрированы. Мы приведем простой численный пример для такой структуры неполных данных.
Таблица 9.5. Таблица 2х 2 с дополнительными маргинальными частотами по обеим переменным
Классификация по Yt и У2
Классификация по У,
Классификация по У2
у2
12 Сумма
110050150
У,
27575150
Сумма175125300
2зо3
У,260®
Сумма90
У2
12Сумма
28”60г88
Замечание. Индексы а, б, в, г относятся к дополнительным маргинальным частотам и используются в табл. 9.6.
Пример 9.6. Таблица 2x2 с дополнительными маргинальными частотами по обеим переменным. МП-оценивание для двумерных таблиц с дополнительйыми данными о частотах для обеих переменных впервые рассматривалось в [Chen and Feinberg (1974)]. В табл., 9.5 приведены данные, проанализированные в [Little (1982)]. В табл. 9.6 показаны первые три итерации ЕМ-алгоритма, в котором на-, чальные оценки вероятностей в ячейках вычислялись по полностью; классифицированной подтаблице. Затем эти вероятности использо-1 вались для распределения частично классифицированных наблюде-
ний, как показано в табл. 9.6. Например, 28 частично классифицированных наблюдений с У2 = 1 имели У1 = 1 с вероятностью 100/ (100 + 75) и У1=2 с вероятностью 75/(100 + 75). Значит, из 28 объектов 28-100/175 = 16 будут отнесены к У1 = 1 и 28-75/175 = 12 объектов — к У1=2. На следующем шаге по заполненным данным вычисляют новые вероятности и итерации продолжаются далее. Сходимость наступает при значениях вероятности классификации, равных:
тгп=0,28, ТГ12 = О,17, тг21 =0,24, тг22=0,31.
Таблица 9.6. ЕМ-алгоритм для данных табл. 9.5 (механизм порождения пропусков игнорируется)
Оценки вероятностей
Распределение объектов
Шаг 7
у2
у2
1
2
1 100/300
50/300
1 100 + 20“ +16"
50+10а + 24Г
зоа
У,
2 75/300
75/300
бв
2 75 + 30 +12
бг
75 + 30 +36
60®
28"
60Г
Шаг 2
136/478
84/478
100+18,6+15,1
50+11,4+22,4
117/478
141/478
75 + 27,2+12,9
75 + 32,8 + 37,6
Шаг 3
0,28
0,18
100+18,4+15,1
50+11,6+21,9
0,24
0,30
75 + 20,5+12,9
75 + 33,5 + 38,1
Шаг 4
0,28
0,17
0,24
0,31
Замечание. Индексы в правой верхней таблице указывают частично классифицированные наблюдения из табл. 9.5. Например, из 28 объектов с У2 = 1 (индекс в) 16 отнесены к К, = 1 и 12 — к У2=2.
Пример 9.7. Применение к ПЭТ. Варди и др. [Vardi, Shepp and Kaufman (1985)] приводят интересный пример ЕМ-алгоритма для двухфакторных категориальных данных, получаемых при позитрон- эмиссионной томографии (ПЭТ). Описание, предлагаемое здесь, взято из [Rubin (1985)]. При ПЭТ «картина» органа (например, мозга) создается при подсчете частот эмиссии в D детекторах, упорядоченно расположенных вокруг органа. Орган моделируется как В ящиков или точек, каждая из которых характеризуется своим параметром интенсивности Х(6), Ь=\,...,В, определяющим скорость эмиссии. Из физических соображений определяется матрица DxB известных вероятностей Рг (детектор=</| точка=6) того, что эмиссия из точки b будет зарегистрирована детектором а. Цель — использовать эти известные условные вероятности совместно с наблюденными частота- ми в D детекторах, чтобы оценить интенсивность (или маргинальную вероятность эмиссии) в каждой из В точек.
Пусть тг= V^(d, 6)) — матрица DxB совместных вероятностей того, что эмиссия происходит в точке b и регистрируется детектором d. т определяется через Pr(d|6) и Х(6). Гипотетические полные данные — это п н.о.р. наблюдений 6, = V6j(d, 6)), где b^d, 6)=1, если ьй отсчет возник в 6-й точке и зарегистрирован d-м детектором, и нуль — в противном случае. Наблюденные (т. е. неполные) данные состоят из п маргинальных частот по 6/ по строкам, т. е. это векторы Dxl, указывающие детектор для каждой из п эмиссий. ЕМ-алгоритм работает следующим образом:
задать начальные значения для X, скажем Х(0), что определяет начальные значения для т, т(0);
на шаге Е распределить наблюденные отсчеты для детектора d=\,...,D по В точкам в соответствии с условными вероятностями, заданными т(0); ■
на шаге М оценить Х(1) с помощью маргинальных частот по точкам (суммированных по всем детекторам отсчетов);
повторить шаг Е с новой оценкой X и так далее до наступления сходимости.
9.4. Л ОГЛ ИНЕЙНЫЕ МОДЕЛИ
ДЛЯ ЧАСТИЧНО КЛАССИФИЦИРОВАННЫХ ТАБЛИЦ СОПРЯЖЕННОСТИ
Полные данные
Для полных ^факторных таблиц сопряженности с вероятностями в ячейках {^ Д часто важно перейти к моделям, в которых вероятности имеют определенную структуру. Например, независимость факторов соответствует модели, в которой вероятности выражаются в виде
^., = 7/-^)...^(9.6)
при некоторых мультипликативных факторах т, {/1)), {т®},...,{Vй). Удобно выражать (9.6) как логлинейную модель:
1пхуИ= а+ «9’ + а® +... + а^,(9.7)
где а9’=1п/1) и т. д. Различные наборы а в правой стороне (9.7) могут давать одно и то же множество вероятностей {тгуИ ,). Поэтому для того, чтобы единственным образом задать а, нужны V ограничений. Обычно полагают
Таблица 9.7. Иерархические логлинейные модели для трехфакторных таблиц сопряженности
Модель
Обозначение
Члены в (9.8), приравниваемые к нулю
(1)
1123)
Нет
(2)
112, 23, 31)
(3)
112, 13)
(4)
11,23)
(5)
123)
1«Г> «^^)
(6)
U, 2, 3)
(^ «Г ^ О
(7)
12, 3)
1<>> “^. ^. -^ «^
(8)
И)
v^. «Г- ^3). «й3’. ^2). ^3))
(9)
10)
Ха^\ ^, ^, ag« а^, ^>, ^>)
Уравнения (9.6) или (9.7) задают логлинейную модель для вероятностей в ячейках. Более общий класс моделей получается при разложении логарифма вероятностей в ячейках на сумму константы, главных эффектов вида (9.7) и взаимодействий более высоких порядков и приравнивании некоторых членов разложения нулю. Например, для трехфакторной таблицы
1пхд/= а+ а)1’ + а® + а<3> + а^ + а^ + «^ + а^, (9.8) где сумма а по любому из индексов равна нулю. Члены {aj0), (<42)Ь («Р) называются главными эффектами соответственно Уь У2 и У3. Члены {ад’}, {с$3)}, {а£3)} называются двухфакторными взаимодействиями соответственно между Yt и У2, У1 и У3, У2 и У3. Наконец, члены (aJ^/3)) называются трехфакторными взаимодействиями между Уь У2 и У3. Полагая все двух- и трехфакторные взаимодействия равными нулю, получим модель независимости (9.7) для V=3 переменных. Другие модели получаются, если приравнять нулю другие члены в (9.8).
Важным классом моделей, которые можно получить таким путем, являются иерархические логлинейные модели. Они обладают таким свойством: если в модель входит v-факторная зависимость а^ между множеством факторов S, то в модель входят и все (v—1)-факторные взаимодействия, взаимодействия более низких порядков и главные эффекты, относящиеся к подмножествам факторов из S. Для трехфакторной таблицы имеется 19 иерархических моделей. В табл. 9.7 приведены девять из них, остальные 10 можно получить, меняя факторы в моделях (3), (4), (5), (7) и (8).
МП-оценивание для иерархических моделей различно по сложности в зависимости от подбираемой модели. В частности, для всех моделей в табл. 9.7 можно найти явные оценки, за исключением {12, 23, 31), где необходима итеративная процедура оценивания.
Для сравнения качества выбора логлинейных моделей широко используются две асимптотически эквивалентные статистики. Отношение правдоподобия равно:
С2=2Елс1п-^-, (9.9)
С Пс
где сумма ведется по всем с ячейкам в таблице, пс — наблюденная частота в ячейке с и пс=п%с — ожидаемая частота в с, оцененная по модели. Статистика хи-квадрат Пирсона определяется как
^2 = E-^lZ^1. (9.10)
С йс
Если подбираемая модель верна, то и G2 и X1 асимптотически распределены по хи-квадрат с числом степеней свободы, равным числу независимых ограничений по вероятности в ячейках. Подробности о вычислении числа степеней свободы и другие сведения о логлинейных моделях для полных данных можно найти в [Good man (1970); Haberman (1974); Bishop, Fienberg and Holland (1975); Fienberg (1980)].
Пример 9.8. Полная трехфакторная таблица. Таблица 9.8,а) представляет таблицу сопряженности 23, содержащую данные о смертности новорожденных [см. Bishop (1975), табл. 2. 4—2]. В табл. 9.9 показаны оценки вероятностей в ячейках и статистики для подбора некоторых логлинейных моделей для этих данных.
Таблица 9.8. Таблица сопряженности 23 с частично классифицированными наблюдениями
Клиника (К)
Предродовой уход (П)
Исход (И)
умерли
выжили
а) Полностью классифицированные случаи (т = 715 случаев)
А
хуже
3
176
лучше
4
293
В
хуже
17
197
лучше
2
23
б) Частично классифицированные случаи
(данные о клинике отсутствуют, г=255 случаев)
хуже
10
150
лучше
5
90
Источник, a) [Bishop (1975), табл. 2.4—2], б) вымышленные данные. 208
Модель {ИПК} в табл. 9.9,а) не налагает ограничения на вероятности в ячейках и полностью согласуется с наблюденными пропорциями. Поэтому обе статистики согласия равны нулю при нулевой степени свободы. Две ненасыщенные модели в табл. 9.9,6) и 9.9,в) характеризуются очень низкими значениями G2 и X1, а именно {ИК, ПК} указывает, что смертность связана с клиникой, но смертность и предродовой уход условно по клинике не связаны, что касается {ИК, ПК, ИП), то здесь к предыдущей модели добавляется взаимодействие ИП. Поскольку разница в согласии пренебрежима и первая модель менее загруженная, надо, видимо, отдавать предпочтение ей. Модель {ИК, ИП) плохо подходит к данным и включена в иллюстративных целях.
Таблица 9.9. Оценки вероятностей в ячейках т-^хЮО по насыщенной модели [ИЛК) и три логлинейные модели, подобранные по данным табл. 9.8, а)
Клиника (К)
Послеродовой уход (П)
Исход (И)
Согласие
умерли
ВЫЖИЛИ
а) Модель [ИПК)
А
хуже
0,42
24,62
лучше
0,56
40,98
ч.с.с.=0, G2=0, №=0
В
хуже
2,38
27,55
лучше
0,28
3,22
б) Модель [ИК, ПК, ИП)
А
хуже
0,39
24,64
лучше
0,59
40,95
ч.с.с. = 1, G2=0,04, №=0,04
В
хуже
0,41
27,52
лучше
0,25
3,24
в)
Модель [ИК, ПК)
А
хуже
0,36
24,67
лучше
0,62
40,92
ч.с.с. = 2, G2=0,08, №=0,08
В
хуже
2,38
27,55
лучше
0,28
3,22
г) Модель [ИК, ИП)
А
хуже
0,76
35,51
лучше
0,22
30,08
ч.с.с. = 2, G2= 188,1, №=169,5
В
хуже
2,04
16,66
лучше
0,62
14,11
Логлинейные модели для частично классифицированных таблиц
Как и для насыщенных моделей из разделов 9.2 и 9.3, при МП- оценивании логлинейных моделей частично классифицированные наблюдения распределяют по полной таблице, используя оценки условных вероятностей, а затем оценивают вероятности классификации по заполненной таблице. Единственная разница заключается в том, что все вероятности оценивают, соблюдая ограничения, налагаемые логлинейной моделью. Эти ограничения могут увеличить объем вычислений, требуемых для получения МП-оценок, по двум причинам. Во-первых, факторизация правдоподобия для монотонных структур не обязательно приводит к явным МП-оценкам, так как параметры в факторах не обязательно являются раздельными. Во-вторых, шаг М ЕМ-алгоритма для немонотонных структур может сам быть итеративным. Мы проиллюстрируем каждое из этих обстоятельств примером.
Таблица 9.10. МП-оценки для моделей [ИПК), (ИП, ИК, ПК)и [ИП, ИК) по данным табл. 9.8,а) и 9.8,6)
Клиника
Предродовой уход
Исход
умерли
выжили
А
хуже
а) модель [ИПК) 100(3/20)(30/970) = 0,46
100(176/373)(523/970)=25,44
В
лучше хуже
100(4/6)(11/970)=0,76
100(17/20)(30/970)=2,63
100(293/316)(406/970) = 38,81 100( 197/373X523/970)=28,48
А
лучше хуже
100(2/6)(11/970)=0,38
б) модель [ИП, ИК, П 100(2,8/20)(30/970)=0,43
100(23/316)(406/970) = 3,05 Сумма= 100,0
К)
100(176,2/373)(523/970) = 25,47
В
лучше хуже
100(4,2/6)(11/970) = 0,79
100(17,2/20)(30/970)=2,66
100(292,8/316)(406/970) = 38,78 100(196,8/373)(523/970)=28,45
А
лучше
хуже
100(1,8/6)(11/970)=0,34
в) модель (ИП, ИК) 100(5,4/20)(30/970)=0,84
100(23,2/316)(406/970)=3,07 Сумма = 100,0
1ОО(253,9/373)(523/97О) = 36,70
В
лучше хуже
100(1,6/6)(11/970)=0,30
100(14,6/20)(30/970)=2,26
100(215,1/316)(406/970)=28,49
1ОО(119,1/373)(523/97О)= 17,22
лучше
100(4,4/6)(11/970)=0,83
100(100,9/316)(406/970)= 13,26 Сумма = 100,0
Пример 9.9. МП-оценивание в неполной трехфакторной таблице (продолжение примера 9.8). Допустим, что к данным табл. 9.8,а), проанализированным в примере 9.8, добавлены дополнительные данные табл. 9.8,6). В них есть сведения об1 исходе (И) и предродовом уходе (П), но данных о клинике (К) нет. В результате получаются данные с монотонной структурой, где П и И наблюдаются 210
больше К. Правдоподобие для объединенных данных табл. 9.8,а) и 9.8,6) факторизуется на член для распределения ИП, включающий r+m=970 случаев, и член для распределения К при заданном ИП, включающий т=715 полностью классифицированных случаев. Эти два распределения содержат раздельные параметры для моделей {ИПК}, {ИП, ИК, ПК} и {ИП, ИК}. Следовательно, для этих моделей методом факторизации правдоподобия из гл. 6 можно вывести МП-оценки. В табл. 9.10,а) показаны МП-оценки \OOitjkl для насыщенной модели {ИПК}, рассчитанные по методу из раздела 9.2. В табл. 9.Ю, б) и 9.Ю,в) показаны МП-оценки для {ИП, ИК, ПК) и {ИП, ИК}. Поскольку в этих моделях подбираются параметры маргинального взаимодействия {ИП}, оценки вероятностей для этого взаимодействия такие же, как и для {ИПК}. Условная вероятность того, что К=А при заданном ИП, получается из соответствующей модели по 715 полным случаям. Для {ИП, ИК} эти вычисления неитеративны, но для {ИП, ИК, ПК) требуются итеративные вычисления. Два множества МП-оценок объединяются как для насыщенных моделей, чтобы получить по свойству 5.1 МП- оценки оценки совместных вероятностей Tjkl.
Таблица 9.11. МП-оценки для модели (ИК, ПК), вычисляемые с помощью ЕМ-алгоритма по данным табл. 9.8,а) и 9.8,6)
Шаг М. Оценки вероятное-Шаг Е. Частоты в ячейках
тей в ячейках (х 100)после заполнения
Итерация
Клиника
Предродовой уход
Исход
Исход
ВЫЖИЛИ
умерли
ВЫЖИЛИ
умерли
1
А
хуже лучше
0,36
0,62
24,67
40,92
3 + (10)(0,36)72,74=4,33 4+5(0,62)70,90=7,44
176+150(24,62)752,22 = 246,86 293 + 90(40,92)744,14 = 376,44
В
хуже лучше
2,38
0,28
27,56
3,22
17+10(2,38)72,74=25,67 2+5(0,28)70,90=3,56
197+150(27,56)752,22=276,14 23+90(3,22)744,14=29,56
2
А
хуже лучше
0,48
0,73
25,42
38,84
4,50
7,56
246,84 376.32
В
хуже лучше
2,72
0,30
28,40
3,12
25,50
3,44
276,16
29,68
3
А
хуже лучше
0,49
0,75
25,42
38,82
4,55
7,59
246,83
376,31
В
хуже лучше
2,69 0,30
28,41
3,12
25,45
3,41
276,17
29,69
4
А
хуже лучше
0,50
0,76
25,42
38,82
4,56
7,60
246,83
376,31
В
хуже лучше
2,68
0,29
28,41
3,12
25,44
3,40
276,17
29,69
Параметры распределений ИП и К при заданном ИП не раздельны для модели {ИК, ПК), поэтому методы факторизации правдоподобия неприменимы. В табл. 9.11 приведены четыре итерации ЕМ-алгоритма для этой модели, оценки lOOtryjy на шагах 4 и 5 совпадают с точностью до двух десятичных знаков. Вычисления на шаге Е проводились с помощью микрокалькулятора, а шаг М осуществлялся подбором {ИК, ПК) по заполненной таблице с помощью стандартной программы логлинейного анализа (BMDP4F в пакете BMDP [см. Dixon(1983)J). Заполненные частоты, полученные на шаге Е, были преобразованы в целые умножением на 100, так как программа логлинейного анализа усекает вводимые вещественные числа до их целой части. Для более крупных задач можно запрограммировать шаг Е, чтобы избавиться от обременительных расчетов. Заметим, что здесь шаг М неитеративный. Та же процедура будет действовать и в той ситуации, когда шаг М итеративный, но тогда в ЕМ-алгоритме присутствуют вложенные итерации.
В предыдущем примере начальные значения для ЕМ-алгоритма основывались на полностью классифицированной таблице. В больших таблицах с нулевыми ячейками эта процедура может давать неудовлетворительные начальные значения, что указано в [Fuchs(1982)]. Например, допустим, что в полной таблице маргинальная таблица, соответствующая некоторому члену в модели, имеет пустую ячейку, а в дополнительной таблице частота в той же ячейке положительна. Если строить начальные значения по полностью категоризованной таблице, то ЕМ-алгоритм никогда не позволит, чтобы в ячейке с нулем была ненулевая вероятность, что противоречит информации из дополнительной таблицы. Эту проблему можно решить, вычисляя начальные значения после того, как к ячейкам полностью классифицированной таблицы будут добавлены положительные значения таким ббразом, что начальные оценки будут находиться в допустимом параметрическом пространстве. На последующих итерациях эти добавки исчезнут.
Критерии для подбора моделей по частично классифицированным данным
Статистики хи-квадрат, аналогичные (9.9) и (9.10), можно вычислять по частично классифицированным данным, проводя суммирование по ячейкам в полной таблице и в частично классифицированной дополнительной таблице. Заметим, что для насыщенной мо
дели (в примере 9.9 — {ИПК}), в отличие от полных данных, получают ненулевые значения G2 и А2. Эти значения служат для проверки условия ОПС.
Статистики хи-квадрат для модели с ограничениями можно получить, вычисляя G2 (или X2) для модели с ограничениями и для насыщенной модели и вычитывая второе из первого [Fuchs (1982)]. Получаемая разность имеет такое же число степеней свободы, как статистика хи-квадрат для модели с ограничениями для полных данных.
Хотя на первый взгляд кажется, что эти процедуры требуют ОПС, на деле критерии остаются верными и при условии, что пропущенные данные ОС. При последнем предположении компоненты правдоподобия, соответствующие механизму порождения пропусков, сокращаются при вычитании значений G2 (или X2) для двух моделей.
Пример 9.10 (продолжение примера 9.9). Статистики для выбора модели в неполной трехфакторной таблице. Статистики G2 и X2 для насыщенной модели [ИКП] из примера 9.9 равны:
^2(ИКП)=7,9б, С2(ИКП) = 7,80, ч.с.с. = 3.
Вычисление числа степеней свободы (ч.с.с.) выполнено так: всего в данных 8+4=12 ячеек, что дает 11 степеней свободы для оценивания 7 вероятностей в ячейках и 1 вероятности получения ответа, или 8 параметров. Отсюда ч.с.с. = 11—7—1 = 3. Поскольку 95-я процентиль распределения хи-квадрат с 3 степенями свободы равна 7,815, нулевая гипотеза, что данные ОПС, имеет P-значение меньше 0,05 по статистике X2 и около 0,05 по статистике G2. Ненасыщенные модели дают:
^(ИП, ИК, ПК)=7,99, С2(ИП, ИК, ПК) = 7,84, ч.с.с. = 11—6—1 =4,
^(ИП, ПК) = 8,29, С2(ИП, ИК)=8,00, ч.с.с. = 11—5—1 = 5,^(ИП, ИК)=178,55, С2(ИП, ИК)= 195,92, ч.с.с. = 11—5—1=5.
Вычитая значения статистик хи-квадрат для насыщенной модели, получаем:
ДА^ИП, ИК, ПК)=0,03, ДС^ИП, ИК, ПК)=0,04, ч.с.с.=8—6—1 = 1,
ДА^ИП, ПК)=О,33, ДС2(ИП, ПК)=0,20, ч.с.с. = 8—5—1=2,
ДА^ИП, ИК)=170,59, ДС2(ИП, ИК)= 188,12, ч.с.с. = 8—5—1=2,
что вполне сопоставимо со статистиками, основанными на полностью классифицированных случаях из табл. 9.9. Как н ранее, мы отдаем предпочтение модели [ИП, ПК].
ЛИТЕРАТУРА
Bishop, Y. M. M., Fienberg, S. E„ and Holland, P. W. (1975). Discrete Multivariate Analysis-.
Theory and Practice. Cambridge, MA: MIT Press.
Chen, T„ and Fienberg, S. E. (1974). Two-dimensional contingency tables with both completely and partially classified data. Biometrics 30, 629-642.
Dixon, W. J. (Ed.) (1983). BMDP Statistical Software, 1983 revised printing, Berkeley CA: University of California Press.
Fienberg, S. E. (1980). The Analysis of Crossclassified Data, 2nd ed. Cambridge, MA: MIT Press.
Fuchs, C. (1982). Maximum likelihood estimation and model selection in contingency tables with missing data, J. Am. Statist. Assoc. П, 270-278.
Goodman, L. A. (1970). The multivariate analysis of qualitative data: Interaction among multiple classifications, J. Am. Statist. Assoc. 65, 225-256.
Goodman, L. A. (1979). Simple Models for the Analysis of Association in Crossclassifications Having Ordered Categories, J. Am. Statist. Assoc. 14, 537 552.
Haberman, S. J. (1974). The Analysis of Frequency Data. Chicago: University of Chicago Press.
Hartley, H. O. (1958). Maximum likelihood estimation from incomplete data. Biometrics 14, 174-194.
Hocking, R. R., and Oxspring, H. H. (1974). The analysis of partially categorized contingency data, Biometrics 30, 469 -483.
Little, R. J. A. (1982). Models for nonresponse in sample surveys, J. Am. Statist. Assoc. 77, 237-250.
McCullagh, P. (1980). Regression models for ordinal data, J. Roy. Statist. Soci. B42, 109-142.
Rubin, D. B. (1985), Comment on “A statistical model for positron emission tomography,” J.
Am. Statist. Assoc. 80, 31-32.
Vardi, Y., Shepp, L. A., and Kaufman, L. (1985). A statistical model for positron emission tomography, J. Am. Statist. Assoc. 80, 8 37.
ЗАДАЧИ
Покажите, что для полных данных пуассоновская и полиномиальная модели для многофакторных частотных данных дают на основании правдоподобия одинаковые выводы для вероятностей в ячейках. Покажите, что результат остается верным, если данные ОС.
Выведите МП-оценки и соответствующие дисперсии для правдоподобия (9.1). Указание. Сумма вероятностей равна 1.
Проверьте результаты критерия хи-квадрат на условие ОПС в примере 9.2.
Вычислите долю отсутствующей информации в примере 9.2 с помощью методов из разделов 7.5 и 7.6.
Вычислите ожидаемые частоты в ячейках в первом столбце табл. 9.3,6) и сравните ответ с результатами для полных случаев.
Допустим, что в примере 9.3 нет наблюдений со структурой г. Какие параметры не поддаются оцениванию, т. е. ие входят в правдоподобие? Оцените вероятности в ячейках, используя предполагаемые значения для этих параметров (см.раздел 6.6).
Выразите словами предположение о механизме порождения пропусков, при которых оценки в табл. 9.4,в) являются МП-оцеиками для примера 9.4.
Приведите подробности вывода уравнения (9.4).
Повторите вычисления в примере 9.4 для оценок т12.
Проведите вычисления в примере 9.4, предполагая, что грубо классифицированные данные в табл. 9.4 были сведены к градациям «улучшение» или «без улучшения» (без изменений или ухудшение).
Проведите вычисления для ЕМ-алгоритма для данных табл. 9.5, поменяв местами значения с индексами а, б и в, г в дополнительной таблице Сравните МП-оценки отношения шансов тц^т^'т^' с оценками по полным случаям. Совпадают ли они?
Покажите, что в примере 9.9 факторы в факторизованном правдоподобии раздельны для моделей (ИП, ИК, ПК) и (ИП, ИК), но не раздельны для (ИК, ПК).
Приведите явные МП-оценки для всех моделей табл. 9.7, кроме (12, 23, 31).
С помощью результатов из задачи 12 выведите оценки для моделей (ИПК) (ИК, ПК) и (ИП, ИК) в табл. 9.9.
Вычислите ОМП для модели (ИП, ИК) для всех данных табл. 9.8, в которых частоты в дополнительной таблице 9.8,6) увеличены в 10 раз.
Почему начальные значения, в которые входят нулевые вероятности, могут нарушить нормальную работу ЕМ-алгоритма? Указание. Рассмотрите правдоподобие
Глава 10. СМЕШАННАЯ МОДЕЛЬ ДЛЯ НОРМАЛЬНО И НЕНОРМАЛЬНО РАСПРЕДЕЛЕННЫХ НЕПОЛНЫХ ДАННЫХ С ИГНОРИРОВАНИЕМ МЕХАНИЗМА ПОРОЖДЕНИЯ ПРОПУСКОВ
ВВЕДЕНИЕ
В гл. 8 мы рассмотрели различные модели для непрерывных переменных с пропусками, опирающиеся на многомерное нормальное распределение. Категориальные переменные участвовали лишь как полностью наблюдаемые сопеременные в регрессионных моделях. В гл. 9 мы обсуждали модели для категориальных переменных с пропусками. В настоящей главе мы рассмотрим методы анализа данных с пропусками для смешанной совокупности нормальных и ненормальных переменных. В этом направлении было сделано совсем немного исследований, где ограничивались моделями, в которых механизм порождения пропусков считается пренебрежимым.
Литтл и Шлухтер [Little and Schluchter (1985)] описали модель для данных с пропусками для смешанных нормальных и категориальных переменных и вывели относительно простой и вычислительно осуществляемый ЕМ-алгоритм. Основной вариант этой модели представлен в разделе 10.2. В разделе 10.3 выведены важные обобщения. В разделе 10.4 проводится сравнение с ранее разработанными алгоритмами. Наконец, в разделе 10.5 мы рассматриваем модели смесей нормальных распределений, которые дают устойчивые МП-оценки средних и ковариационной матрицы, а также других параметров, связанных с ними, как для полных, так и для неполных данных.
ОБЩАЯ МОДЕЛЬ ПОЛОЖЕНИЯ
Модель и оценки для полных данных
Допустим, что гипотетические полные данные представляют собой случайную выборку объема л по £ непрерывным переменным Хи V категориальным переменным У. Категориальная переменная j имеет Tj уровней, так что категориальные переменные задают V- факторную таблицу сопряженности с C-Tl^Jj ячейками. Обозначим через х^ вектор 1хА непрерывных переменных, а через вектор 1 х V категориальных переменных у /-го объекта. По yt построим 1хС-вектор Wp равный Em, если объект I относится к /и-й ячейке таблицы сопряженности, где Ет—вектор 1 х С с т-м элементом, равным 1, и остальными элементами, равными нулю.
Олкин и Тэйт [Olkin and Tate (1961)] определяют общую модель положения для распределения (XpWj) в терминах маргинального распределения W; и условного распределения х, при заданном wf.
w- — н.о.р. сл. в. с вероятностями ячеек
Рг^,=Ет)=тгт, т = \,...,С, Етгт = 1;
при заданном w^Em {Xi\Wi=Em)^NK^m,Q) -
A-мерное нормальное распределение со средним /im-(^mp---,/4mj<) и ковариационной матрицей П. Обозначим П=(ть...,тс) вектор 1хС вероятностей в ячейках и Г= {д^} — матрицу СхК средних в ячейках. Модель содержит С—1+АС+1/2А(А+1) параметров 9=(П,Г,П).
Следует упомянуть следующие свойства модели: 1) ковариационная матрица (2 предполагается одинаковой во всех ячейках таблицы сопряженности; 2) если какая-то бинарная переменная, скажем Уь со значениями 0 и 1 выбрана в качестве зависимой переменной, то получится модель логистической регрессии. Это значит, что условное распределение Ух при постоянных значениях других переменных — бернуллиевское с Рг(У1 = 1)=е£/(1+е£), где L линейна по остальным переменным; 3) если в качестве зависимой выбрана какая-то непрерывная переменная, то получается нормальная регрессионная модель, т.е. условное распределение Хх при фиксации значений других переменных нормально со средним, являющимся линейной комбинацией других переменных и константы.
Свойства 2 и 3 означают, что МП-оценки для данной модели логистической регрессии с пропусками и для данной модели линейной регрессии с пропусками в непрерывных и категориальных предикторах можно найти, вычисляя МП-оценки О=(П,Г,(2) и преобразуя их к виду, дающему параметры соответствующего условного распределения. Преобразования легко провести с помощью оператора свертки, как это делается в разделе 10.2.3.
(ЮЛ)(ЮЛ)Логарифм правдоподобия для этой модели равен:/(Г,П,П) = .Е In/Cx/I^r.n)^ .Е ln/(wjn) ==А(П)—4-/г( О-1 ,Е хЬ;) +trn-T( .Е м^лга +С г/ п
(ЮЛ)
(ЮЛ)
(/?] w/m)Onxm "^И-т^ ^т) ’
где wim — т-я компонента wb tr — след матрицы, А(П)= = —у« {Х1п(2т)+1п|П| ]. Максимизация (ЮЛ) приводит к ОМП для полных данных
П=л-1Е^/,
Г^Ех^Еи^)-', (Ю.2) 6=п~х E(xz— w^ )т(х,—wzf),
которые являются просто наблюденными относительными частотами в ячейках, средними в ячейках и объединенной ковариационной матрицей X внутри ячеек соответственно.
МП-оценивание при пропусках
Теперь допустим, что некоторые значения в X и в W отсутствуют. Пусть xobsi — вектор присутствующих непрерывных переменных у ьго объекта, xmisi — вектор пропущенных непрерывных переменных, a Sj — множество ячеек, в которых может находиться /-й объект при присутствующем наборе категориальных переменных. Рассмотрим ЕМ-алгоритм для МП-оценивания 6 по данным ^obs,p ^р ^~1>«*»>л).
Плотность (ЮЛ) относится к регулярному экспоненциальному семейству с достаточными статистиками полных данных Exjxb Ewjx,- и Ewb являющимися соответственно суммой квадратов и взаимных произведений в X, суммами X в ячейках и частотами в ячейках. Следовательно, мы можем применить упрощенную форму ЕМ-алго- ритма из раздела 7.6. На Лй итерации на шаге Е вычисляют ожидаемые значения достаточных статистик при заданных (.xobsi) Sb i= = 1,...,и) и текущих оценках параметров ^=(п^,Г^,№). Для каждого объекта вычисляют:
Шаг Е:
Tx~E(x]Xi\xobsi, 8,., 9<0),(Ю.З)
Т^Е^х^, 8;, 9(0),(10.4)
T3i=E(Wj\xobsi, 8,, 9(0).(Ю.5)
Шаг Е подробно рассмотрен в разделе 10.2.3. На шаге М вычисляют МП-оценки (10.2), где достаточные статистики полных данных заменены на их оценки на шаге Е.
Шаг М:
п
Г«-И)=£>-1Г«-И)=£>-1П^1) = л--.ЕТ3/,
Г«-И)=£>-1
Г«-И)=£>-1
(10.6)
г п , п хТ , п Х1^'.^[дг.^дг^^т,,)].
где D — диагональная матрица с ненулевыми элементами LT3i. После этого снова проводят вычисления на шаге Е по (10.3)—(10.5) с новыми оценками параметров, и циклы продолжаются, пока процедура не сойдется.
Таблица 10.1. Данные для примера ЮЛ
Низкий риск (G=l)
Средний риск (С=2)
Высокий
риск (С=3)
первый
второй
первый
второй
первый
второй
ребенок
ребенок
ребенок
ребенок
ребенок
ребенок
R, И D,
R2 у2 ог
R, Ух D,
r2 К О,
R, Ух Dy
R2 у2 d2
110 — —
- 150 1
88 85 2
76 78 —
98 110 —
112 1032
118 1651
— 130 2
— 98 —
114 133 —
127 1381
92 1181
116 1452
114 125 —
108 103 2
90 100 2
ИЗ - -
———
———
126 — —
113 — 2
95 115 2
107 93 —
92 75 —
118 1401
118 123 —
— 65 —
97 68 2
— — 1
101—2
— 120 —
105 128 —
118 — 2
— — 2
———
87982
———
96 113 —
92—2
———
114 — 2
——2
138 1631
130 140 —
90 — 1
НО — 2
56 58 2
88 1051
115 1531
———
98 123 —
96 88 —
96 95 1
87 1002
— 1452
139 185 2
113 НО —
112 115 —
126 135 2
118 133 —
126 1381
105 133 1
102 130 —
114 120 —
———
130 195 —
120 160 —
109 150 —
89 ИЗ 2
130 135 -
—.——
116—2
— 133 —
98 108 —
90 80 2
91 75 2
64 45 2
82 532
—.—.—
115 140 2
—
109 88 2
128 — 2
121—2
115 1582
— 135 1
75 63 1
88 73 1
— 120 1
108 118 —
112 1152
93 140 —
93 — 1
———
———
100 1402
133 1681
126 158 2
———
115 — 2
105 138 1
74 751
118 1801
116 148 —
123 170 1
115 138 2
88 118 —
84 103 —
123 —1
ПО 155 1
114 130 2
104 123 2
100 —1
101 120 1
— — 2
ИЗ 123 2
118 1381
— 110 1
ИЗ — 2
— — 2
103 108 —
———
117 — —
82 103 2
121 1551
— 100 2
122 —1
114 — 2
———
— — 2
105 — 2
— — 1
———.
104 118 1
———
87 85 1
———
— 63 —
Пример 10.1. Данные для исследования групп риска. В [Little and Schluchter(1985)] анализируются данные исследовательского проекта St. Louis Risk Research Project, приведенные в табл. 10.1. Одна из целей исследования состояла в том, чтобы оценить влияние психических расстройств родителей на различные стороны развития их детей. В предварительном исследовании были собраны данные о л=69 семьях с двумя детьми. Семьи классифицировались по группе риска родителей (G) по следующим категориям:
G=1 — контрольная группа нормальных семей из местного населения;
6=2 — группа умеренного риска, где один из родителей болен вторичной шизофренией или страдает другим психиатрическим заболеванием или где один из родителей имеет непсихиатрическое хроническое заболевание;
0=3 — группа высокого риска, где один из родителей болен шизофренией или страдает сильными психическими расстройствами.
В табл. 10.1 приводятся также данные по двум другим категориальным переменным: Dx — число симптомов у первого, Пг — у второго ребенка (1 — мало, 2 — много). Значит, всего есть V=3 категориальные переменные, образующие таблицу сопряженности 3x2x2 с С=12 ячейками. Есть также К=4 непрерывные переменные Rx, Ух, Ri и кг, где Rc и Vc — стандартизованные коэффициенты индекса развития навыков чтения и речи с-го ребенка в семье, с=1,2. Переменная G наблюдается всегда, но остальные переменные имеют пропуски в самых разных сочетаниях.
Анализ структур пропусков показывает, что все параметры общей модели положения поддаются оцениванию, несмотря на множество пробелов в матрице данных. Например, хотя R2 не присутствует в полностью классифицированной таблице при G=l, Dx=2, Di = l, есть пять других семей с известным значением R2. которые могли оказаться в этой ячейке. Эти наблюдения содержат информацию, по которой можно оценить среднее R2 в этой ячейке.
В табл. 10.2 (модель Л) показаны МП-оценки, вычисленные по ЕМ-алгоритму для модели без ограничений. Соответствующий максимум логарифма правдоподобия равен 872,73. Было найдено несколько локальных максимумов правдоподобия, возможно, в связи с относительно высокой долей пропусков в категориальных переменных Dx и £)2, и требовалось до 50 итераций в зависимости от начальных значений, чтобы логарифм правдоподобия сходился к максимуму с точностью до двух десятичных знаков. Между средними в некоторых ячейках, соответствующими различным максимумам правдоподобия, были обнаружены существенные отличия. Подробности указаны в [Little and Schluchter (1985)]. Эти обстоятельства показывают, что выводы надо делать аккуратно, так как данных недостаточно для того, чтобы обеспечить соответствие с предположением об асимптотической нормальности.
Таблица 10.2. МП-оценки по данным табл. 10.1
а) ожидаемые частоты и средние в ячейках
Ячейка
Ожидаемые частоты
Средние в ячейках
В,
В2
vx
6
D,
D2
А
В
А
В
А
В
А
В
А
В
1
1
1
10,2
4,8
110,2
113,6
99,8
103,0
133,7
140,9
119,4
129,5
1
1
2
9,0
8,8
123,4
122,8
116,0
115,4
161,1
160,1
132,1
131,0
1
2
1
3,6
3,7
111,2
105,3
110,0
101,7
147,7
136,9
126,9
111,6
1
2
2
4,2
9,7
118,0
114,5
111,9
111,1
123,9
120,8
151,4
148,0
2
1
1
2,2
4,3
87,6
88,4
101,1
101,5
81,1
81,7
103,3
104,2
2
1
2
7,2
7,8
104,3
104,4
109,4
109,6
134,6
134,8
109,6
109,9
2
2
1
2,3
3,3
96,4
96,1
134,5
134,3
122,6
122,0
146,1
145,3
2
2
2
12,3
8,6
106,7
106,6
97,0
96,8
104,3
104,5
102,4
102,3
3
1
1
2,1
3,2
115,8
115,7
82,9
82,8
137,7
137,5
96,3
96,0
3
1
2
7,8
5,9
105,7
100,7
100,8
96,1
127,9
119,4
128,3
117,1
3
2
1
1,0
2,5
56,2
76,2
88,2
108,3
58,3
90,4
105,4
148,6
3
2
2
7,1
6,4
107,3
107,4
107,0
107,3
107,2
107,2
104,8
104,8
б) стандартные отклонения и корреляции
Стандартные отклонения
Корреляции
R,
Вг
(Я„Я2)
(Я„И2)
(В2Уд
ШгУд
(^Уд
А
13,2
11,9
20,7
24,1
0,701
0,832
0,825
0,663
0,835
0,885
В
13,1
11,9
20,1
23,3
0,685
0,832
0,822
0,654
0,836
0,881
А
— модель без ограничений
на средние или вероятности в ячейках;
В
— модель без ограничений на средние и с ограничением на вероятности в ячей-
ках фх и и
2 предполагаются независимыми
от G).
Вычисления на шаге Е
Опишем теперь более подробно, как по уравнениям (10.3)—(10.5) вычисляются величины {ThJ^Tj,-, i=\,...,nV Все параметры в нижеследующих выражениях равны текущей оценке параметра №. При вычислении T3i находят Efw/x^g^Sj»^) для каждого объекта /=1,...,л; т-ю компоненту этого ’вектора будем обозначать uim = Pr(Wj=Em | xobs>/, Sh6WY Таким образом, для т = \,...,С uim — условная апостериорная вероятность, что объект i относится к ячейке т при заданных наблюденных непрерывных переменных x^i, т. е. информация о том, что объект i относится к одной из ячеек из S, и 0=0W. Эта вероятность положительна, если m^S^ причем она имеет вид
w/m=exp(Sm)/zLs.exp(dm),(10.7)
где-1-1
^т ^•’‘'obs./^obs,/ ^obs./.m ^obs./.m^obs,/ ^obs.i.m "^^(^щ)(10.8)
и ДоЬ5,/,т и ^obs,/ — среднее и ковариационная матрица в ячейке т непрерывных переменных xobsi-, присутствующих у ьго объекта. 220
к т-й ячейке:Etwimxij\xobs,i’^i'®^ =к т-й ячейке:Etwimxij\xobs,i’^i'®^ =Теперь обозначим непрерывные переменные для /-го объекта через ^ху, j=l,...,K). Если Ху пропущен, обозначим через ^=E(xy\xobsi, w-E^Oty прогноз значения Ху по регрессии в т-й ячейке Jq на xobs,/ ПРИ 9=№Х Элемент в т-й строке и у-м столбце Тг1 для т=1,...,Си j=\,...,K получается при умножении Ху или его оценки на условную апостериорную вероятность, что /-й объект относится
к т-й ячейке:
Etwimxij\xobs,i’^i'®^ =
к т-й ячейке:
Etwimxij\xobs,i’^i'®^ =
toim хц"\ если Ху отсутствует, «1тХу, если Ху присутствует.
Обозначим для отсутствующих Ху и xik через OjkobSii условную ковариацию Ху и xik при заданных xobs z и условии ’wj=Em. Тогда у-й элемент Ту для у, Аг=1К, равен:
^ХУ xik I xobs,v^i > ^) = m^s ^ImEiXy xik I *оЬ spwi= Em >^) =
, xijxik' xip xik присутствуют,
Xi^mts^im ^P' XU отсутствует, xik присутствует x-ij^-m^s^im &^' xij присутствует, xik отсутствует, °jkW,?e“im^^ XU’ xik отсутствуют.
Вычисления удобно проводить с помощью оператора свертки, описанного в разделе 6.5. Рассмотрим матрицу
^obs,/
6T “cov,/
ГТк • ~1 obs,/
м=
^cov,/
^mis,/
fr- ■
1 mis,/
_ 1 obsj
f • ■ 1 mis,/
P
где Р — диагональная матрица СхС с т-м диагональным элементом, равным 21шгт, т = \С, и где
0=0=^obs,i ^cov,/^obs,i ^cov,/^cov,/ ^mis,/^cov,/ ^mis,/и l^obs,/’ ^mis,/]и l^obs,/’ ^mis,/]
0=
0=
^obs,i ^cov,/
^obs,i ^cov,/
^cov,/ ^mis,/
^cov,/ ^mis,/
и l^obs,/’ ^mis,/]
и l^obs,/’ ^mis,/]
текущие оценки П и Г, разделенные в соответствии с присутствующими и отсутствующими переменными X -у /-го объекта. Проводя свертку по элементам М, соответствующим присутствующим X, получаем
SWP[xobM]M=SWP[xobM]M=Си G^ G^Gh G22 G^G13 G23 G33Си G^ G^Gh G22 G^G13 G23 G33
SWP[xobM]M=
SWP[xobM]M=
Си G^ G^
Gh G22 G^
G13 G23 G33
Си G^ G^
Gh G22 G^
G13 G23 G33
где Gn =—Opbsi’ Gi2 = ^obsi ^covi — коэффициенты регрессии пропущенного X на xobs>;, G22 = omis’,— °cov,i Oobs.i Qcov,i содержит остаточные дисперсии и ковариации oy^-obs,, для Хц, Xjk^xobsi, Gl3 = £ldbsi robs,,- дает коэффициенты для xobs,- в’ линейной дискриминантной функции (10.8), а т-й диагональный элемент 1/2G33 = 1/2Р-1/2ГоЬ$>/ O0bs,i ^obs,, равен сумме второго и третьего членов в правой стороне (10.8). Таким образом, Gu и G33 вместе с -хт дают линейную дискриминантную функцию 6т и, следовательно, Qim, как и в (10.7). Значительный выигрыш в вычислениях можно получить, группируя объекты с одинаковой структурой пропусков в X, чтобы избежать ненужной повторной свертки.
ОБОБЩЕНИЕ ОБЩЕЙ МОДЕЛИ ПОЛОЖЕНИЯ НА СЛУЧАЙ ОГРАНИЧЕНИЙ НА ПАРАМЕТРЫ
Введение
Модель из раздела 10.2 задает различные векторы средних цт для т разных ячеек таблицы и не налагает ограничений на вероятности ячеек, кроме очевидного Exm = 1. В этом разделе мы опишем более общую модель, в которой допустимы ограничения на цт, типичные для дисперсионного анализа, и на т™, применяемые в лог- линейной модели с ограничениями. Эта сообщенная модель рассмотрена в [Krzanowski (1982)] для дискриминантного анализа при полных данных.
Ограничения на средние в ячейках
Пусть Z,- — вектор 1хг, г^С, переменных плана для /-го объекта; ^j можно получить из вектора индикатора ячейки путем Zj=WjA, где А — известная матрица Схг, представляющая выбранный план. Обобщенная модель определяет, что условное распределение х,- при заданном Wj зависит от Wj только через z;, т. е. Лх,^,)- ~Nk(ZjB-, 0), где В — матрица гхК неизвестных параметров. Отметим, что Д(х,-| w;) = Wj АВ, так что Г=АВ. В модели из раздела 10.2 А — единичная матрица СхС.
Логлинейная модель для вероятностей ячеек
Другой путь уменьшения размерности модели — это введение ограничений на вероятности П с помощью логлинейной модели, обсуждавшейся в разделе 9.4. Например, допустим, что ячейки форми-
руются путем совместной классификации по трем категориальным переменным Уь У2 и У3 с Л, /2 и 73 уровнями соответственно, C=/ixZ2xZ3. Изменим обозначения: пусть тг^ — вероятность, что У\=], Уг=к, Уг=1 для У=1,...,Л, к=\1г и /=1/3.Логлинейная
модель задается уравнением
iMjM -«+«"'+^^+<$4^+«р+4»
и приравниванием некоторых подмножеств элементов а нулю. В разделе 9.4 приведено более подробное изложение.
Модификация алгоритма из раздела 10.2.2
Пусть а — ненулевые элементы а в логлинейной модели для V- факторной таблицы с С=пу=1 Ij ячейками. Обозначим тт(а) вероятность попадания в т-ю ячейку с учетом ограничений, /и=1,...,С. Мы коротко опишем модификации алгоритма из раздела 10.2.2, нужные для подгонки моделей из разделов 10.3.2 и 10.3.3 по неполным данным.
Пусть ot(0), Q(0) и № — начальные оценки параметров для какой- либо модели разделов 10.3.2 и 10.3.3, вычисленные, возможно, по полным наблюдениям. Пусть Г<°> =АВ®\ где А — известная матрица плана, и тг^ = 7гт(а(0)), т=1С. Модель с ограничениями из разделов 10.3.2 и 10.3.3 относится к регулярному экспоненциальному семейству с такими минимальными достаточными статистиками для полных данных: Lx^Xj, LwJwjA и линейными комбинациями частот Ewj, определяемыми подбираемой логлинейной моделью. Так как эти величины — линейные комбинации достаточных статистик для полных данных при модели из разделов 10.2, шаг Е состоит в вычислении ЕТ^, ЕТу и ET3i по уравнениям (10.3)—(10.5) и формировании линейных комбинаций этих функций, дающих минимальные достаточные статистики для полных данных для модели с ограничениями.
Вычисления на шаге М отличаются от вычислений для модели без ограничений. Оценки Г, П и Q получают, соблюдая ограничения, наложенные на модель. П оценивают, образуя сначала многофакторную таблицу с частотами ячеек, задаваемыми вектором ET3i (уравнение (10.5)). Эта таблица содержит элементы из частот частично классифицированных объектов, распределенных по таблице на шаге Е. Новые частоты в ячейках получают, подбирая предложенную логлинейную модель по частотам в ET3i методами для полных данных, которые сами могут быть итеративными, если нет явных оценок. Вероятности в подогнанной таблице — новые оценки (тт(“))> используемые на следующем шаге М. На практике при отсутствии явного вида для оценок на шаге М на первых итерациях,
возможно, будет достаточно улучшать оценки вероятностей прохождением одного шага итеративного алгоритма пропорционального подбора, что исключает необходимость в двух вложенных уровнях итераций. В результате получается обобщенный ЕМ-алго- ритм из раздела 7.3, поскольку алгоритм пропорционального подбора обладает свойством увеличивать правдоподобие данных на каждом шаге до того, как алгоритм сойдется [Brown (1959)].
При полных данных МП-оценки В и Q равны ^=(Ez}zz)~1-Ezzx/ и Й=л-‘Е(х—z,S)T(x—z^ (см. [Anderson (1958), гл. 8]). Мы получим на шаге М оценки В и Q, если в приведенных уравнениях для В и Q запишем z^WjA и заменим Exjxit Ewjx, и Ewzw(- на ET1Z, ET2j и Р соответственно, где Р — матрица с диагональными элементами ET3Z и нулевыми внедиагональными элементами. Тогда пересчитанные на шаге М оценки В, Г и Q на Z-й итерации равны:
В<'+» = (АтРА)-1Ат(ЕТ2,), (10.9)
Г«+»=АВ<'+1> (10.10)
Q<'+»=л-1 [ Д T1Z—( Д T^yA^TPAr'AT^Д Т2()]. (10.11)
Если на средние не наложено никаких ограничений, А — единичная матрица СхС, и уравнения (10.9)—(10.11) для Q(,+1> и Г(,+1) эквивалентны соответствующим уравнениям в (10.6). Новые оценки П(,+1), Г(,+1) и Q<'+1> подставляются в следующий шаг Е, задаваемый уравнениями (10.3)—(10.5).
Модели с ограничениями для данных примера 10.1
Пример 10.2 (продолжение примера 10.1). В разделе 10.2.2 по данным табл. 10.1 подбиралась модель положения без ограничений. В этой модели слишком много параметров — 69 при 69 неполных наблюдениях. В этом разделе мы подберем и проверим модели с меньшим числом параметров, соответствующее гипотезам, представляющим основной интерес. Допустим, в частности, что мы хотим проверить гипотезу, что развитие патологических психиатрических симптомов у детей не связано с группой риска родителей. Эта гипотеза означает, что
^кЛ^^Л+кЬ 7=1»2,3, к,1=\,2,
где Tjki — вероятность, соответствующая уровню j фактора G и уровням к и I факторов Dx и Пг. На средние непрерывных переменных в ячейках ограничений нет. В [Little and Schluchter (1985)] эта модель подгоняется по данным методом из раздела 10.3.4.
В табл. 10.2 (модель В) приведены ОМП для модели с ограничениями. Максимум логарифма правдоподобия составил —877,64. Напомним, что логарифм правдоподобия для полной модели, вычисленной в разделе 10.2.2, был равен —872,73. Значит, хи-квадрат- статистика отношения правдоподобий для проверки независимости Di и Р2 от G равна 2-(—872,73+ 877,64)=9,82 при шести степенях свободы, что означает отсутствие доказательств несоответствия модели. Для этой модели был найден также другой локальный максимум (—877,72).
Затем в поисках более простой модели Литтл и Шлухтер обратились к модели, в которой взаимодействия GxDx, GxD2 и GxDxxD2 не влияют на средние непрерывных переменных при тех же ограничениях на вероятности ячеек. Ограничения на средние непрерывных переменных можно записать в виде £’(x,|z,)=z,B, где В — матрица параметров 6x4, a z^WjA, где
Ат =
111111111111
11110000—1—1—1—1
00001111—1—1—1—1
100—1100—1100—1
0 10—1010—1 0 1 0—1
_0 0 1 —1 0 0 1 —1001 —1_
и 12 ячеек в векторе w4 расположены так, что индекс Р2 пробегает значения быстрее всех, a G — медленнее всех. Эта модель уменьшает число параметров, нужных для описания средних, с 48 до 24.
Снова были обнаружены локальные максимумы функции правдоподобия. Глобальный максимум логарифма правдоподобия составил —910,46, так что критерий отношения правдоподобий для сопоставления этой модели с полной моделью равнялся х2=75,46 (при 30 с.с.), что означает, что ограниченная модель не согласуется с данными. Авторы также вычислили параметры модели, в которой нулевым был только эффект взаимодействия GxDxxD2 при тех же ограничениях на вероятности ячеек. Эта модель также обнаружила несоответствие данным при сравнении с полной моделью (х2=59,39 при 14 с.с.). P-значения не приводились, поскольку они бессмысленны в связи с наличием локальных максимумов правдоподобия. Тем не менее эти результаты означают, что степень влияния психического состояния родителей на развитие навыков чтения и речи у детей зависит от психического состояния ребенка, как и следовало ожидать.
225225Р. Дж. А. Литтл, Д. Б. Рубин
225
225
СВЯЗЬ С ДРУГИМИ ЕМ-АЛГОРИТМАМИ ДЛЯ НЕКОТОРЫХ СТРУКТУР ПРОПУСКОВ
При отсутствии категориальных переменных Y алгоритм из раздела 10.2 сводится к ЕМ-алгоритму для многомерного нормального распределения, описанному в разделе 8.2.1. Если отсутствуют непрерывные переменные и категориальные переменные содержат пропуски, то данные можно расположить в виде многомерной таблицы сопряженности с дополнительными таблицами для частично классифицированных наблюдений. Тогда алгоритм соответствует МП-оцениванию для частично классифицированных таблиц сопряженности, обсуждавшихся в разделе 9.4.
Говоря более общо, алгоритмы из разделов 8.2.1 и 9.4 можно применять также для структуры данных рис. 10.1. В этих данных V категориальных переменных наблюдаются больше К непрерывных переменных в том смысле, что у объектов с присутствием одной или более непрерывных переменных наблюдаются также все категориальные переменные. Следуя теории факторизации правдоподобия из гл. 6, можно получать МП-оценки для модели из раздела 10.3 следующим образом:
оценить параметры совместного распределения Y по первым V столбцам рис. 10.1. Поскольку все данные только категориальные, здесь применимы алгоритмы поиска ОМП для частично классифицированных таблиц сопряженности;
Переменные
ОбъектыY,...YvX,. . .Хк
11... 1х х
т1...1'х. . .х
т+1х...х0...0
пх...х0...0
Рнс. 10.1. Структура пропусков, дающая простые ОМП. Обозначения: 1 — присутствует, 0 — отсутствует, х — присутствует или отсутствует. Источник. [Little and Schluchter (1985)].
оценить параметры условного распределения X при заданном Y по первым т строкам рис. 10.1. Здесь можно использовать многомерный нормальный ЕМ-алгоритм, несмотря на присутствие категориальных переменных. При этом в ЕМ-алгоритм включают фиктивные переменные; представляющие эффекты г, в плане дисперсионного анализа, рассматривая их как непрерывные переменные. Затем проводят свертку окончательной оценки ковариационной 226
матрицы всех переменных по элементам, соответствующим фиктивным переменным, что дает оценки 5 и Q параметров условного распределения X при заданном У. Они и являются МП-оценками в соответствии с теорией факторизации правдоподобия гл. 6.
Алгоритм из раздела 10.2.2 вместе с модификациями для модели с ограничениями из раздела 10.3.4 также дает МП-оценки В и О (и П), когда категориальные переменные присутствуют полностью, но алгоритм отличается от «нормального» ЕМ-алгоритма, поскольку свертка проводится только по непрерывным переменным (подробности см. в разделе 10.2.3). Основное достоинство этого алгоритма заключается в возможности обрабатывать данные сб^структурой, не соответствующей рис. 10.1, так как методы из разделов 8.2.1 и 9.4 уже нельзя применять для вычисления ОМП.
Если непрерывные переменные присутствуют полностью, а У представляет полностью отсутствующую переменную с к категориями, то алгоритм из раздела 10.2.2 сводится к алгоритму Дэя [Day (1969)] для смеси к нормальных многомерных распределений. Так как наш алгоритм работает при пропусках в непрерывных переменных, он является обобщением алгоритма Дэя на случай неполных данных. Как и во многих других моделях смеси, весьма вероятна многоэкстремальность правдоподобия [Aitkin and Rubin (1985)], так что мы советуем запускать алгоритм несколько раз с различными начальными значениями параметров.
Таблица 10.3. Результаты применения ЕМ-алгоритма для смесей к данным Дарвина
а) Данные о разностях высоты самоопыленных и перекрестно опыленных
растений
12 34
56789 10 11 12 13 14 15
—67—48 68
4 16 23 24 28 29 41 49 56 6(
) 75
б) Результаты для модели нормального распределения: —2 логарифма прав-
доподобия: 122,9, д=20,93, 52= 1329,7.
в) Результаты применения ЕМ-алгоритма для смеси двух нормальных рас-
пределений
Начальный выбор
—2 логарифмаД,Д2б2
1.V
(номер наблюдения в первой
правдоподобия
компоненте)
1
116,0—57,433,0385,4
2,00
15
122,921,6220,911330,0
0,957
любое подмножество
{1...9)
116,0—57,433,0385,4
2,00
любое подмножество
(10...15J
122,9оценки зависят от точного на-
чального значения
Пример 10.3. Одномерная модель смеси для биологических данных. В [Aitkin and Wilson (1980)] проверяли поведение ЕМ-алгорит- ма для моделей смеси на нескольких малых наборах данных. Одним из них были данные Дарвина о разностях по высоте в парах с само- опыленными и перекрестно опыленными растениями. Они приведены в табл. 10.3,а). В табл. 10.3,6) вместе со значением логарифма правдоподобия (в котором опущена константа п1п2тг) приведены обычные МП-оценки в предположении нормальности выборки со средним д и дисперсией о1. С помощью ЕМ-алгоритма была подобрана модель двухкомпонентной нормальной смеси со средними /ц и /42> общей дисперсией аг и смешивающей пропорцией р при различных начальных значениях. Все начальные значения определяли, относя наблюдения к первой или второй компоненте (т. е. все начальные апостериорные вероятности принадлежности к компоненте были равны 0 или 1) и применяя для вычисления начальных оценок параметров шаг М. Результаты приведены в табл. 10.3,в). Они показывают чувствительность окончательных оценок к начальным значениям. Правдоподобие, видимо, двумодально с высокой крутой модой при оценках, получаемых для первого или третьих начальных значений, и с низкой широкой модой при оценках для второго начального значения.
АЛГОРИТМ РОБАСТНОГО МП-ОЦЕНИВАНИЯ
Введение
В примере 10.3 моделью данных была смесь нормальных распределений с различными средними и равными дисперсиями. Другая модель, особенно полезная в робастном оценивании, — смесь нормальных распределений с равными средними и различными дисперсиями. Рассмотрим выборку (х,-, /=1,...,л), подверженную загрязнению, и пусть у, обозначает ненаблюдаемую бернуллиев- скую случайную величину, так что у, = 1 соответствует «правильной» реализации, а У;=2 означает, что х,- — загрязняющая реализация. Мы предполагаем, что при условии у,- = 1 х,- распределен нормально N^.a2), а при у,=2 — нормально N^o2/}^, где X считается известным. Например, если принято, что загрязнение в 10 раз увеличивает дисперсию, то Х=0,1. Результат — загрязненная нормальная модель. МП-оценка среднего занижает веса резко выделяющихся наблюдений, как мы увидим в следующем разделе.
Модели такого типа могут быть оценены с помощью ЕМ-алго- ритма, в котором у, рассматриваются как пропущенные данные. Мы представим общую модель смеси для робастного оценивания, которая включает загрязненную нормальную модель как частный
случай, а также включает модели, где маргинальное распределение X/ — ^-распределение. В разделе 10.5.2 рассматривается одномерный случай, описанный в [Dempster, Laird and Rubin (1977, 1980)]. Случай многомерной xz, описанный в [Rubin (1983)], рассмотрен в разделе 10.5.3. Раздел 10.5.4 обобщает анализ на многомерную Xj при наличии пропусков [Little (1986)].
Устойчивое оценивание для одномерной выборки
Пусть Х=(хххл)т — случайная выборка из такой популяции, что
(х,|М,) ~ NGx, a4q^
где q, — ненаблюдаемые н.о.р положительные случайные величины с известной плотностью Afa,). Целью является вычисление МП- оценки ^=(Д,а2)т параметра 0=(д,а2)т с помощью ЕМ-алгоритма, считая значения Q=(9i,...,g„)T пропущенными данными.
Если бы присутствовали и X, и Q, то МП-оценки ^,0^ получались бы методом взвешенных наименьших квадратов:
Д= Д^,Х;/.^q^St/s»,(10.12)
у= Д fc^ =,(1013)
где So = E”=19z, si = ^"=i9iXj и $2 = Е"_^;х1 — достаточные статистики полных данных, определенные в разделе 7.6. Значит, при «пропусках» 2(/+1)-я итерация ЕМ-алгоритма выглядит следующим образом.
Шаг Е. Взять в качестве оценок s0, 5, и s2 их условные ожидания при заданных X и текущих оценках 0=(дИ,<т<92). Поскольку 50, $1 и s2 линейны по q^ шаг Е сводится к вычислению оценок весов
^ ^Eiq^x^,^).(10.14)
Шаг М. Вычислить новые оценки (дО+п.оО+ч2) по (10.12) и (10.13) с (50,51,5г), замененными их оценками на шаге Е, т. е. с q^ замененными на w^ из (10.14).
Итак, здесь ЕМ-алгоритм — это разновидность метода наименьших взвешенных квадратов. Конкретный вид оценок весов (10.14) зависит от предполагаемого распределения q^ В [Demster, Laird and Rubin (1977,1980)] обсуждаются две модели, в которых получаются простые веса.
Пример 10.4. Одномерная модель нормального распределения с загрязнением. Допустим, что A(gz) сосредоточена в двух значениях qit 1 и X, так что
1—т, если q^X,
НдЦ =НдЦ =(10.15)(10.15)■ т, если д, = Х (известно),О — в противном случае,
НдЦ =
НдЦ =
(10.15)
(10.15)
где 0<т<1. Тогда маргинальное распределение х, — смесь N^a1) и М(щаг/Х), т. е. мы имеем загрязненную нормальную модель, описанную в разделе 10.5.1, с вероятностью загрязнения т. Применяя теорему Байеса, получаем
= hft^!t& (10.16)
где
^-(х.—цУ/о1. (10.17)
Веса w^ для ЕМ-алгоритма получаются при подстановке текущих оценок и aW в (10.17) и использовании (10.16). Обратите внимание, что значения х,-, далекие от среднего, имеют большое значение d? и (при Х<1) уменьшенный вес на шаге М. Следовательно, алгоритм ведет к устойчивым оценкам р, в которых выделяющиеся наблюдения имеют низкий вес.
Пример 10.5. МП-оценивание для выборки из t-распределения. Вторая модель, рассмотренная в [Dempster, Laird and Rubin (1977, 1980)], задает q^k/a, где kt имеет гамма-распределение:
НЦс^к^хех^—к;)Л\а\ (10.18)
Здесь Г(-) обозначает гамма-функцию. При этом маргинальное распределение х,- есть /-распределение Стьюдента со средним ц, параметром масштаба а1 и р=2а степенями свободы. Таким образом, модель приводит к МП-оцениванию по выборке из /-распределения с v степенями свободы, v известно.
Введем e* = l+0,5d?/(a—1), где d, определено в (10.17). Можно легко показать, что при заданном х, к;0* имеет гамма-распределение (10.18), в котором а заменено на а+1/2. Отсюда
wi=EXki\xb^o1’X/a=X.v* Х)/(у+<%). (10.19)
Как и в предыдущем примере, веса w^ находят, подставляя текущие оценки параметров ц и а1 в (10.17) и вычисляя (10.19) по найденному значению v. В (10.19) занижается вес выделяющихся наблюдений со степенью, связанной обратной зависимостью с v. Последний параметр можно фиксировать на каком-либо подходя-
щем значении (например, 4). Можно также повторно проводить вычисления при различных значениях из целочисленных значений v и выбирать то, которое максимизирует логарифм правдоподобия. Совместное оценивание v,p. и о1 можно также осуществлять за счет некоторого усложнения шага М.
Непосредственным и важным обобщением моделей из примеров 10.4 и 10.5 является моделирование среднего линейной комбинацией предикторов X, дающее алгоритм наименьших взвешенных квадратов для линейной регрессии с ошибками, имеющими загрязненное нормальное или ^-распределение [Rubin (1983)]. В [Pettitt (1985)] описано МП-оценивание для загрязненной нормальной и ^-модели, когда значения X группированы и округлены.
Устойчивое оценивание средних и ковариационной матрицы по полным данным
Рубин [Rubin (1983)] обобщил модель из раздела 10.5.2 на многомерный случай и применил ее для вывода МП-оценок для многомерных выборок из загрязненного нормального или из Лраспреде- ления. Пусть х,- — вектор \хК значений переменной Хх,...,Хк. Допустим, что х,- имеет ^-мерное нормальное распределение
(х,|9,9,) ~ N^, ^/q,\ (10.20)
где q, — ненаблюдаемые н.о.р положительные случайные скалярные величины с известной плотностью h^q). МП-оценки д и ^ можно найти, если применить ЕМ-алгоритм, считая Q=(g1,...,gzz)r пропущенными данными.
Если бы Q наблюдались, МП-оценки ^ и ^ можно было бы найти по многомерным аналогам (10.12) и (10.13):
А= ^91X1/ X1qi=sl/So, (10.21) ^= £ ^'^ ^Т^'" ^ = ^222^1^0 0Q 22)
где s0 = E?=vqj, s1=E"=xqixi и s2 = E”=1qjx[ — достаточные статистики полных данных. Значит, при отсутствии Q(t+ 1)-я итерация ЕМ- алгоритма выглядит следующим образом.
Шаг Е. Взять в качестве оценок s0, st и s2 их условные ожидания при заданных X и текущих оценках О^.^О) параметров. Так как $0, 51 и $1 линейны по q,, шаг Е снова сводится к вычислению опенок весов
^=Е^\х^\^у
Шаг М. Вычислить по (10.21) и (10.22) новые оценки (д('+1),^'+1>), заменив 50, s, и s2 их оценками, полученными на шаге Е.
Если Qj распределены по (10.15), маргинальное распределение Xj — смесь N(jn,^ и NQi.^/X), значит мы получим Х-мерную нормальную модель с загрязнением. Веса находят следующими обобщениями (10.16) и (10.17):
,(10.23)
1—ir+ irX^expffl— X)dj/2)
где теперь d; — квадрат расстояния для /-го объекта:
dt^x-nW-Kx-^.(Ю.24)
Модель приписывает низкие веса объектам с большим значением di-
Если, с другой стороны, k^aq, имеет гамма-распределение, как в (10.18), то маргинальное распределение х, — это многомерное t- распределение со средним ц, параметром масштаба ^ и р=2а степенями свободы. Веса при этом определяются следующим обобщением (10.19):
w(=E(9(|x;,/4,^)/a=(p+10/(p^(10.25)
где d^ по-прежнему равно (10.24).
Рубин [Rubin (1983)] рассматривает также обобщение этих моделей для многомерной регрессии.
Устойчивое оценивание среднего и ковариационной матрицы по данным с пропусками
Литтл [Little (1986)] обобщил эти алгоритмы для ситуаций, когда некоторые значения X отсутствуют. Пусть xobs, обозначает множество переменных, наблюденных у /-го объекта, xmis, — множество отсутствующих переменных. Обозначим ^^ = [xobs,-, /=1л) и ^15= [xmisZ, /=1л). Допустим, что 1) [х,] распределены со
гласно (10.20) и 2) отсутствующие данные ОС. МП-оценки ц и ^ можно найти, применяя ЕМ-алгоритм, в котором отсутствующими данными считаются А^ и Q.
Шаг М такой же, как и при полных X, и описан в предыдущем разделе. На шаге Е оценивают достаточные статистики полных данных $0, 51, 52 с помощью их условных ожиданий при заданных
Xobs и текущей оценке ^'^(д^.^О) параметра 6. Получаем Е^ОЛ^Е^ #).xobs,,) = Д w*\
где wP=^(?(|Sw,xobs(), j-я компонента Е^,!^,^^ равна: £(.£,^0,^^
где ^=Е(Ху | ^w,xobS)(), так как условное среднее х,у при заданных 0(<),хоЬ,,- и ^ не ’зависит от q-. Наконец, и,к>й элемент WM^obs) Равен:
^.^ХуХ,^,^^ £5^^
где поправки ^.obs>i равны нулю, если присутствуют Ху и xik, и остаточной ковариации ху и xik при заданных хрк5,-, умноженной на qy если и ху, и xik отсутствуют. Величины £Ф и ^0Ь5/ находят сверткой ^-W текущей оценки ^ так, чтобы xobs Z являлись предик- торными переменными. Вычисления такие же, как и для «нормального» ЕМ-алгоритма (см. раздел 8.2.1). Единственной модификацией, нужной для данного алгоритма, является взвешивание с помощью весов w^ сумм и сумм квадратов и перекрестных произведений, которые затем используются на шаге М.
Веса w^ для загрязненной нормальной и для /-модели вычисляются, как и для случая полных данных, по уравнениям (10.23) и (10.25) соответственно, лишь со следующими небольшими изменениями: 1) К заменяют на Ку число наблюдаемых у t-го объекта переменных, и 2) квадрат расстояния (10.24) вычисляют только по наблюдаемым у ьго объекта переменным.
Обе многомерный модели — с загрязненным нормальным и с /-распределением — приписывают малые веса объектам с большим расстоянием d?. Распределение весов, однако, как показывает следующий пример, у этих двух моделей различно.
Пример 10.6. Распределение весов при многомерных моделях с загрязненным нормальным и с t-распределением. Рассмотрим рис. 10.2, где показано распределение весов для а) многомерного /-распределения с р=6,0, б) многомерного /-распределения с у=4,0 и в) загрязненного нормального распределения при т=0,1, Х=0,077 в случае искусственных данных из многомерного /4-распределения с л=4 переменными, л=80 наблюдениями, в которых 72 из 320 значений случайно удалены. Обратите внимание, что веса для /-распределений при р=4 разбросаны шире, чем при р=6, а занижение весов в загрязненной нормальной модели проявляется преимущественно на нескольких выделяющихся наблюдениях.
ИнтервалИнтервалИнтервалИнтервал0,16+0,24+ • • •0,32+ •0,40+ ”0,48+ •0,56+ •0,64+072+ ......0,80 0,880,96 +*••••1,041,12 1,201,281,361,44+ "1,52+••••1,60 + • ++++++5101520250,16+0,24+ • • •0,32+ •0,40+ ”0,48+ •0,56+ •0,64+072+ ......0,80 0,880,96 +*••••1,041,12 1,201,281,361,44+ "1,52+••••1,60 + • ++++++510152025а) Модель с многомерным te - распределениема) Модель с многомерным te - распределением0,09 +0,18 + ...0,27+ -0,36 + • • •0,45+ •0,54+0,63+......0,72+......0,81+ 0,90 ч .....•0,991,08+.....1,17+•......1,26+.........1,35+......1,44+......1,53+•••1,62+•1,71+•••.1,80 +•1,89 + + .— + —— ++ „„ +51015200,09 +0,18 + ...0,27+ -0,36 + • • •0,45+ •0,54+0,63+......0,72+......0,81+ 0,90 ч .....•0,991,08+.....1,17+•......1,26+.........1,35+......1,44+......1,53+•••1,62+•1,71+•••.1,80 +•1,89 + + .— + —— ++ „„ +51015206) Модель с многомерным U - распределением6) Модель с многомерным U - распределениемИнтервалИнтервал0,09 +0,18 +0,27 +0,36 +0,45 +0,54 +0,63 +0,72 +0,81 +0,90 +0,99 +0,09 +0,18 +0,27 +0,36 +0,45 +0,54 +0,63 +0,72 +0,81 +0,90 +0,99 +1,171,261,351,171,261,35
Интервал
Интервал
Интервал
Интервал
0,16+
0,24+ • • •
0,32+ •
0,40+ ”
0,48+ •
0,56+ •
0,64+
072+ ......
0,80
0,88
0,96 +*••••
1,04
1,12
1,20
1,28
1,36
1,44+ "
1,52+••••
1,60 + • ++++++
510152025
0,16+
0,24+ • • •
0,32+ •
0,40+ ”
0,48+ •
0,56+ •
0,64+
072+ ......
0,80
0,88
0,96 +*••••
1,04
1,12
1,20
1,28
1,36
1,44+ "
1,52+••••
1,60 + • ++++++
510152025
а) Модель с многомерным te - распределением
а) Модель с многомерным te - распределением
0,09 +
0,18 + ...
0,27+ -
0,36 + • • •
0,45+ •
0,54+
0,63+......
0,72+......
0,81+
0,90 ч .....•
0,99
1,08+.....
1,17+•......
1,26+.........
1,35+......
1,44+......
1,53+•••
1,62+•
1,71+•••.
1,80 +•
1,89 + + .— + —— ++ „„ +
5101520
0,09 +
0,18 + ...
0,27+ -
0,36 + • • •
0,45+ •
0,54+
0,63+......
0,72+......
0,81+
0,90 ч .....•
0,99
1,08+.....
1,17+•......
1,26+.........
1,35+......
1,44+......
1,53+•••
1,62+•
1,71+•••.
1,80 +•
1,89 + + .— + —— ++ „„ +
5101520
6) Модель с многомерным U - распределением
6) Модель с многомерным U - распределением
Интервал
Интервал
0,09 +
0,18 +
0,27 +
0,36 +
0,45 +
0,54 +
0,63 +
0,72 +
0,81 +
0,90 +
0,99 +
0,09 +
0,18 +
0,27 +
0,36 +
0,45 +
0,54 +
0,63 +
0,72 +
0,81 +
0,90 +
0,99 +
1,17
1,26
1,35
1,17
1,26
1,35
51015202530354045505560
в) Модель с загрязненным нормальным распределением
Рис. 10.2. Распределение весов для устойчивых МП-оценок, вычисляемых по данным из многомерного ^-распределения (веса отнормированы на единицу)
Литтл [Little (1986)] показал в имитационных экспериментах, что оценки для этих моделей могут быть оценками средних, коэффициентов регрессии и корреляций, которые защищены от выбросов, когда данные ненормальны, а потеря эффективности при справедливости нормального распределения невелика. В статье представлена также графическая процедура для оценивания нормальности.
Обобщение модели
Одно из ограничений, наложенных на описание модели, требует равенства масштабного множителя qt, нужного для моделирования хвостов тяжелее нормального, для всех переменных из множества данных. Может оказаться полезным допустить различие масштабных множителей для разных переменных, например, чтобы отразить различие загрязнения переменных. В частности, для устойчивого оценивания регрессии с пропусками в предикторах лучше всего может подойти модель с масштабным множителем только для зависимой переменной.
К сожалению, если обобщить модель до различных масштабных множителей у различных переменных, утрачивается простота шага Е ЕМ-алгоритма для общей структуры пропусков. Несколько исключений, о которых следует сказать, основаны на том факте, что модели можно легко обобщить для работы с набором полностью наблюдаемых сопеременных Z так, что у, выражается через многомерную нормальную линейную регрессию на z,- со средним ^3j^y и ковариационной матрицей ^/qt условно по неизвестному масштабному множителю. Допустим, что данные можно представить в виде множества с монотонной структурой пропусков, в котором при К блоках переменных ХхХк Xj наблюдается у всех объектов, у которых присутствует Xj+V /=1K—L Тогда совместное распределение Xt,...,XK можно выразить произведением распределений:
ДХх Хк,ф) =ДХ1,Ф№1\Х1,ФУ. ,ДХк\Хх,... ,ХК-х^,
как обсуждалось в гл. 6. Тогда условное распределение ДХ^Хх,...^^) для этой факторизации можно описывать как многомерное нормальное распределение со средним И^ЗуХц и ковариационной матрицей ^j.v..j_x/qyi где теперь масштабный множитель qy может принимать различные значения в зависимости от J. Параметры каждой компоненты правдоподобия оцениваются в рамках рассмотренного обобщения многомерной регрессионной модели. После этого с помощью преобразования, подобного преобразованию, обсуждавшемуся в гл. 6, получают МП-оценки других параметров совместного распределения Хх,...,Хк.
ЛИТЕРАТУРА
Aitkin, М., and Rubin, D. В. (1985). Estimation and hypothesis testing in finite mixture models, J. Roy. Statist. Soc. B47, 67-75.
Aitkin, M., and Wilson, G. T. (1980). Mixture models, outliers, and the EM algorithm, Tech- nomeirics 22, 325-331.
Anderson, T. W. (1958). An Introduction to Multivariate Statistical Analysis. New York: Wiley*
Brown, D. T. (1959). A note on approximations to discrete probability distributions, Inf. Control 2,386-392.
Day, N. E. (1969). Estimating the components of a mixture of normal distributions, Biometrika
464 -474.
Dempster, A. P., Laird, N. M., and Rubin, D. B. (1977). Maximum likelihood estimation from incomplete data via the EM algorithm (with discussion), J. Roy. Statist. Soc. B39, 1 -38.
Dempster, A. P., Laird, N. M., and Rubin, D. B. (1980). Iteratively reweighted least squares for linear regression when errors are normal/independent distributed. Multivariate Analysis V, 35-37.
Krzanowski, W. J. (1980). Mixtures of continuous and categorical variables in discriminant analysis, Biometrics 36, 493-499.
Krzanowski, W. J. (1982). Mixtures of continuous and categorical variables in discriminant analysis: a hypothesis-testing approach, Biometrics 38, 991-1002.
Little, R. J. A. (1986). Robust estimation of the mean and covariance matrix from data with missing values, paper given at the Joint Statistical Meetings, Chicago, August 1986.
Little, R. J. A., and Schluchter, M. D. (1985). Maximum likelihood estimation for mixed continuous and categorical data with missing values, Biometrika 72, 497-512.
Olkin, I., and Tate, R. F. (1961). Multivariate correlation models with mixed discrete and continuous variables, Ann. Math. Statist. 32, 448-465.
Pettitt, A. N. (1985). Re-weighted least squares estimation with censored and grouped data: An application of the EM algorithm. J. Roy. Statist. Soc. B47, 253-261.
Rubin, D. B. (1983). Iteratively reweighted least squares, Encyclopedia of the Statistical Sciences, Vol 4. New York; Wiley, pp. 272-275.
ЗАДАЧИ
Докажите свойства 2) и 3) модели из раздела 10.2.1.
Покажите, что (10.2) дает МП-оценкн параметров по логарифму правдоподобия для полных данных (10.1).
Выведите МП-оценки для общей модели положения в частном случае одной полностью присутствующей категориальной переменной Y и одной непрерывной переменной X с пропусками, используя методы факторизации правдоподобия из гл. 6.
Допустим, что в задаче 3 X присутствует полностью, а У имеет пропуски. Покажите, что МП-оценки общей модели положения нельзя найти с помощью факторизации правдоподобия, так как параметры соответствующих факторов не раздельны. Предложите другую модель, в которой факторы раздельны. Выведите для нее МП-оценки.
Покажите с помощью теоремы Байеса, что (10.7) следует из определения общей модели положения.
Русский перевод: Андерсон Т. Введение в многомерный статистический анализ. - М.: Физматгиз, 1963.
Выведите из свойств общей модели выражения из раздела 10.2.3 для условного математического ожидания wjmXjj и XjjXjk прн заданных xobs;, S, и в®.В исследовании 20 выпускников"'университетской группы спустя 5 лет после окончания университета по переменным: пол (1 — мужской, 2 — женский), раса (1 — белый, 2 — другая раса) н годовой доход, представленный на логарифмическойВыведите из свойств общей модели выражения из раздела 10.2.3 для условного математического ожидания wjmXjj и XjjXjk прн заданных xobs;, S, и в®.В исследовании 20 выпускников"'университетской группы спустя 5 лет после окончания университета по переменным: пол (1 — мужской, 2 — женский), раса (1 — белый, 2 — другая раса) н годовой доход, представленный на логарифмическойшкале, были получены такие результатыНомер12345678Пол11122222Раса 11111111Доход25463151626810шкале, были получены такие результатыНомер12345678Пол11122222Раса 11111111Доход25463151626810(— означает пропуск):9 10 11 12 13 14 15 16 17 18 19 20 2221122111221 1 2 2 2 2 20 29 — 32 38 15 —(— означает пропуск):9 10 11 12 13 14 15 16 17 18 19 20 2221122111221 1 2 2 2 2 20 29 — 32 38 15 —
Выведите из свойств общей модели выражения из раздела 10.2.3 для условного математического ожидания wjmXjj и XjjXjk прн заданных xobs;, S, и в®.
В исследовании 20 выпускников"'университетской группы спустя 5 лет после окончания университета по переменным: пол (1 — мужской, 2 — женский), раса (1 — белый, 2 — другая раса) н годовой доход, представленный на логарифмической
Выведите из свойств общей модели выражения из раздела 10.2.3 для условного математического ожидания wjmXjj и XjjXjk прн заданных xobs;, S, и в®.
В исследовании 20 выпускников"'университетской группы спустя 5 лет после окончания университета по переменным: пол (1 — мужской, 2 — женский), раса (1 — белый, 2 — другая раса) н годовой доход, представленный на логарифмической
шкале, были получены такие результаты
Номер12345678
Пол11122222
Раса 11111111
Доход25463151626810
шкале, были получены такие результаты
Номер12345678
Пол11122222
Раса 11111111
Доход25463151626810
(— означает пропуск):
9 10 11 12 13 14 15 16 17 18 19 20 222112211122
1 1 2 2 2 2
20 29 — 32 38 15 —
(— означает пропуск):
9 10 11 12 13 14 15 16 17 18 19 20 222112211122
1 1 2 2 2 2
20 29 — 32 38 15 —
Вычислите МП-оценки для общей модели только по полным наблюдениям.
Выведите явные формулы (10.3)—(10.6) для шагов Е и М для этих данных и сделайте 3 итерации ЕМ-алгоритма, используя оценки из а) в качестве начальных.
Повторите задание 7,6), введя такое ограничение: переменные пола н расы независимы.
Вычислите логарифм правдоподобия для данных задачи 7 для моделей нз задач 7 н 8. Получите значение хи-квадрат-статистикн отношения правдоподобий для проверки независимости пола и расы. Заметьте, что объем выборки слишком мал, чтобы считать, что в этом примере статистика распределена по хи-квадрат (см. [Little and Schluchter (1985)]).
Выведите весовые функции (10.16) н (10.19) для моделей в примерах 10.4 н 10.5.
Выведите весовые функции (10.23) и (10.24) для моделей нз раздела 10.5.3.
Выведите уравнения для шага Е из раздела 10.5.4.
Глава 11. МОДЕЛИ С НЕИГНОРИРУЕМЫМИ ПРОПУСКАМИ
ВВЕДЕНИЕ
В разделе 5.3 мы ввели разделение y=(yobs,ymis) полных данных У на присутствующие УоЬ$ и отсутствующие значения Утк и индикаторную матрицу R, которая определяет структуру пропусков. Мы сформулировали модель через распределение У с плотностью ДУ| У), зависящей от неизвестного векторного параметра 9 и распределение R с плотностью ДД\¥,ф), условной по заданному У и зависящей от векторного параметра ^. Правдоподобие, игнорирующее механизм порождения пропусков, определялось как любая функция 9, пропорциональная ДУоЬ5|У):
L(9| УоЬ5)~ЛУоЬ5|9),(11.1)
где ДУоЬ5|9) получается интегрированием плотности ДУ|0)=ДУвЬ$, Утк|9) по y_is. Полное правдоподобие определялось как любая функция 9 и пропорциональная ДУоЬ5,/?|0,^):
U9,MYObs)-AYobs,RM,U9,MYObs)-AYobs,RM,(И.2)(И.2)
U9,MYObs)-AYobs,RM,
U9,MYObs)-AYobs,RM,
(И.2)
(И.2)
где J(Yobs,R\6,^ получается интегрированием плотности Л^^оЬб-^б-^) ^^obs>ymisls) по Ymis- Было показано, что выводы относительно 6, основанные на (11.1), эквивалентны МП-оценива- нию по (11.2), если 1) пропущенные данные ОС, т. е. KR\Yob^mk,>l/)=jUt\Yobs^ при любых ф и Утк, взятых при наблюденных значениях R и УоЬ$, и 2) параметры и 9 раздельны в соответствии с определением в разделе 5.3. Все примеры в гл. 6—10 касались моделей с правдоподобием в виде (11.1) и, значит, были основаны на предположении о справедливости условий 1) и 2). В этой главе мы обсуждаем модели, в которых не выполняется ОС, и для МП-оценивания надо иметь модель механизма пропусков и максимизировать полное правдоподобие (11.2).
Важно различать модели, в которых механизм порождения пропусков неигнорируем, но известен, в том смысле, что распределение R при заданных У=(УпЬс,Утк) зависит от ymis, но не зависит от неизвестного параметра и модели, в которых механизм порождения пропусков неигнорируем и неизвестен, что отражается в незнании параметра ф. Простым примером известного неигнорируе- мого механизма является цензурированная экспоненциальная выборка, ведущая к правдоподобию (5.15). Так как в этом случае значения отсутствуют, если они больше известного цензурирующего значения с, то распределение R при заданном У полностью определено. Другие примеры с известным неигнорируемым механизмом даны в разделе 11.3. В этих случаях МП-оценки часто можно вычислять с помощью ЕМ-алгоритма. В разделе 11.2 обсуждается ЕМ-ал- горитм в общем случае известного или неизвестного неигнорируе- мого механизма.
Разделы 11.4—11.6 посвящены моделям с неигнорируемым механизмом порождения пропусков и неизвестным ^. Это значит, что пропуск считается связанным со значениями Y некоторым лишь частично известным образом, даже после учета сопутствующей информации X об объектах с пропусками и без пропусков. Большинство рассматриваемых в литературе моделей такого типа относятся к случаю пропусков только в одной переменной. Например, У может быть размером дохода, X — множеством полностью зарегистрированных переменных, таких, как возраст, пол, образование, и можно предполагать, что отсутствие ответа на вопрос о доходе среди людей с одинаковым значением X зависит от размера дохода, но точно эта зависимость неизвестна.
Можно сформулировать два подхода к моделям с неигнорируе- мыми пропусками. Как и в разделе 5.3, мы можем записать совместное распределение R и У в виде
KR,Y\X,e,^=KY\X,6V№X,^, (И.З)
где первая компонента характеризует распределение У при заданном X в популяции, а вторая — моделирует присутствие ответа 238
как функцию X и Y. С другой стороны, можно записать
ЛК,¥\ХЛ,^=ЛУ\Х,КЛ№\Х,^1 (11.4)
где первая плотность характеризует распределение У; при заданном Xj в слое, определяемом структурой пропусков, а вторая моделирует распределение структур пропусков как функцию только от X. Обратите внимание: когда пропуски есть только в одной переменной, так что R принимает значения 0 и 1, мы обычно не располагаем данными, по которым можно было бы оценить распределение KY\X,R =0,£) в (11.4), поскольку это распределение относится к объектам с пропуском. Формулировка модели в виде (11.4) позволяет явно увидеть основную трудность, связанную с пропусками в данных. Для успешного развития теории надо уметь связывать распределение KY\X,R=0,5) для объектов с пропуском с соответствующим распределением ДУ|Аг,/? = 1,5) для объектов без пропуска. В разделе 11.5 это достигается за счет использования байесовского априорного распределения, связывающего параметры двух распределений.
Формулировка (11.3) применяется для моделей, обсуждаемых в разделах 11.3 и 11.4. Мы увидим, что в некоторых случаях параметры модели можно оценить, не включая в явном виде информацию, связывающую объекты с пропуском и объекты без пропуска, в отличие от моделей, основанных на (11.4). Однако данное свойство обманчиво, поскольку здесь эта информация задается неявно. Следовательно, для обоих вариантов, (11.3) и (11.4), чувствительность к формулировке модели является в одинаковой степени серьезной научной проблемой. Во многих приложениях исследователю нужно вычислять оценки для нескольких различных моделей порождения пропусков, а не полагаться исключительно на одну модель.
ТЕОРИЯ ПРАВДОПОДОБИЯ ДЛЯ МОДЕЛЕЙ С НЕИГНОРИРУЕМЫМИ ПРОПУСКАМИ
Теория правдоподобия для выводов от 6 и ^, основанная на (11.2), сходна с теорией выводов относительно 6 для игнорируемых пропусков, обсуждавшейся в гл. 5—7. В частности, МП-оценки (9,й находят при максимизации (11.2), а обратная информационная матрица, полученная двукратным дифференцированием логарифма правдоподобия по (0,^), дает оценку ковариационной матрицы оценок параметров, если эта матрица существует и выборки достаточно велики, чтобы логарифм правдоподобия был квадратичен в окрестности (5,#).
В частных случаях можно вывести явные оценки, как в примере 5.8. Однако часто для максимизации правдоподобия нужны итеративные методы, обсуждавшиеся для игнорируемых пропусков в
разделе 7.1. В частности, ЕМ-алгоритм при неигнорируемых пропусках имеет следующий вид: 1) найти №Х i^0) — начальные оценки ^6,^, 2) на t-й итерации вычислить на шаге Е при найденных текущих оценках (У^,^) величину
Q(9,tW‘h = \Ke,>^
где /(^>^| Kobs»^mis>^) — логарифм правдоподобия полных данных и №^¥^6,^ — плотность условного распределения отсутствующих данных при заданных присутствующих значениях У и ^. На шаге М найти У<<+1),^<+1), максимизирующее Q:
Q^^^.^^b^-^Q^^o^ для всех 9,^.
Заменить 9^, ^ на следующей итерации алгоритма на вУ*^,^*^. По теории, аналогичной теории из раздела 7.3, каждая итерация этого алгоритма увеличивает Ц9,ф\ YoVe>R) и при довольно слабых общих условиях алгоритм сходится к стационарному значению правдоподобия.
МОДЕЛИ С ИЗВЕСТНЫМИ НЕИГНОРИРУЕМЫМИ МЕХАНИЗМАМИ ПОРОЖДЕНИЯ ПРОПУСКОВ:
ГРУППИРОВАННЫЕ И ОКРУГЛЕННЫЕ ДАННЫЕ
С помощью ЕМ-алгоритма можно получать МП-оценки по данным, в которых некоторые наблюдения сгруппированы в категории, хотя можно применять и традиционные алгоритмы, обсуждаемые, например, в [Kulldorf (1961)]. Использование ЕМ-алгоритма демонстрируется в следующих трех примерах.
Пример 11.1. Сгруппированная экспоненциальная выборка. Допустим, что гипотетические полные данные являются случайной выборкой (yi,...^) из экспоненциального распределения со средним 9. Пусть в действительности известны значения Y в т<п наблюдениях. Остальные п—т значений сгруппированы по J категориям, таким, что j-я категория содержит значения Y, лежащих между <г и bj. Эта постановка включает случай цензурирования, когда ау>6 и bj = =, как и ситуацию, когда т=0 и все данные представлены в сгруппированном виде.
В данном примере надо обобщить бинарный индикатор пропусков R до переменной с 7+1 значениями. Точнее, положим Д = 1, если У; известно точно, и /?,=у+1, если У; попадает в j-ю категорию, т. е. лежит между Oj и bj(j=l,...,J).
Гипотетические полные данные относятся к регулярному экспоненциальному семейству с достаточной статистикой полных данных ^"=\У;- Следовательно, шаг Е ЕМ-алгоритма на г-й итерации состоит в вычислении
E(iEyi\Yobs,R,6=№'>') = Е У^уМ,
где предсказываемые значения у,- равны: ^=Е^\а,СУ<Ь^=
= 1^ etP^-^dy/^ exp^-^dy
bje 1'—b./«W—а МАе 1 —е Jbje 1'—b./«W—а МАе 1 —е Jпо определению экспоненциального распределения. Интегрируя по частям, получаем
bje 1'
—b./«W—а МА
е 1 —е J
bje 1'
—b./«W—а МА
е 1 —е J
5^=еуЧ
На шаге М вычисляют
5«+i) =n-i(^ Еу^Е^у
Предсказываемое значение для наблюдения, цензурированного в а^ получают, полагая bj = a=, что дает
Если все л—т наблюдений цензурированы, то можно найти явные МП-оценки. Объединяя шаги Е и М, получим
у«+1)Ек + Ег/вЮ+а)).
\=1/
Полагая 0(0 = #<<+0 = д' и решая уравнение относительно 6, имеем , m J ,
В частности, если для всех j Oj=c, т. е. точка цензурирования у всех наблюдений одинакова, то
§=т-х {Е^+(п—т)с ), что совпадает с оценкой, выведенной непосредственно в примере 5.14.
Пример 11.2. Группированные данные из нормального распределения с сопеременными. Допустим, данные по переменной Y сгруппированы таким же способом, что и в примере 11.1, но теперь гипотетические полностью присутствующие значения Y — независимые наблюдения из нормальной линейной регрессии на полностью наблюдаемые сопеременные Xi, Хг,..., ХР, т. е. значение у, в /-м наблюдении распределено нормально со средним 0о + Ер ^^ и по-
стоянной дисперсией 82. Достаточные статистики полных данных есть Еу,Еурск(к=Л,...р) и Ly1- Отсюда на шаге Е ЕМ-алгоритма вычисляют
£(2^ V,<?=<^ ,W JL^0’
E(ZyKk\YobrRJ=e^ = Еурс1к+ ^Е, y(»,xik, к=1,2,...,р,
Е(^\ Yobs,R,e=n= ^У- + ^y^s^,
где У=(/Зо,/Зь...,/Зр,сг2), №=фУ\...,0У\<^‘^ — текущая оценка в,у^ = = ^ + ^‘\ sW = W—^W), n.№ = 0oW + EPk=10kWXjk, 8/0 и 7/0 — это поправки на неигнорируемые пропуски. В данном случае они имеют вид
s (0=_ MdW)-^)
‘Ф(<//'’)—Ф(с/'>) ’
7/0 = 6/02 +7/0 = 6/02 +df'^df'^-c^c^)Ф(dp')—Ф(cW)
7/0 = 6/02 +
7/0 = 6/02 +
где ф и Ф — плотность и функция стандартного нормального распределения, и
СЮ=(a^/o/ato, d^=фр-ц^А
для /-го наблюдения в /категории (/?,=у + 1, или, что эквивалентно, а,<У^Ь).
На шаге М вычисляют регрессию Y на Хх,...Х, используя ожидаемые значения достаточных статистик, найденные на шаге Е. Эта модель применялась в [Hasselblad, Stead and Galke (1980)] при регрессионном анализе логарифма содержания свинца в крови по сгруппированным данным.
Пример 11.3, Цензурированные нормальные данные с соперемен- ными (тобит-модель). Важный частный случай предыдущего примера; положительные значения Y присутствуют полностью, а отрицательные цензурируются, т. е. могут находиться в произвольных точках интервала (—«». 0). В обозначениях примера 11.2 все присутствующие у, положительны, 7=1, ах =—=» и 61=0. Для цензурированных наблюдений с/о = =«=, dW =—/i/0/o<'), 8/0 =—ФУ^У Ф(<//0) и 7/0 = 8/О(б/О + ^/o/t/O), отсюда
5>Р =£(yJ>),x^O)=/t/O-a^-^
где \^)=ф(£УФ^ (величина, обратная к так называемому отношению Милса), а —^\(—р.УУ^ — поправка на цензурирование
Подставляя МП-оценки параметров, получаем прогноз значений
5>,=Е(у,\6рс^^= fcH^-^ (11.5) для цензурированных наблюдений, где jii=Bo + ’E0kxik. Эту модель в эконометрической литературе [см. Amemiya (1984)] иногда называют тобит-моделью в связи с ее применением в эконометрии [Tbbin (1958)].
МОДЕЛИ СТОХАСТИЧЕСКОГО ЦЕНЗУРИРОВАНИЯ
МП-оценивание моделей стохастического цензурирования
Интересные обобщения модели в примере 11.3 сопряжены с переменной У1 с пропусками, связанной линейной регрессией с сопере- менными, как и в примере 11.3, и наблюдаемой, если и только если значение другой полностью отсутствующей переменной У2 превышает некоторый порог (например, нуль). Общая формулировка дана в следующем примере.
Пример 11.4. Модель двумерного нормального стохастического цензурирования. Допустим, что Yt наблюдается не полностью, У2 совсем не наблюдается, р сопеременных X наблюдаются полностью и для z-го объекта ДУ|Х,в) определяется выражением
\Уа) -x#l )’( e„i(1L6)
где xi = (xi0,xiV...,xiJ) — постоянный член хюэ1, xn,...,xip — предикторы для i-ro объекта, /31 и /32 — векторы (р+1)х 1 коэффициентов регрессии, некоторые из них могут быть априори приравнены нулю, а А2(а,с) обозначает двумерное нормальное распределение со средним d и ковариационной матрицей с. Далее, ДК\Х,У,^ определяется как вырожденное распределение:
f 1, если yQ>0,
Кп I 0, если уа<0,U ’
Кп = 0.
где Ry — индикатор пропусков у у, равный Ry=l, если у у присутствует, и Ry=0, если отсутствует.
Для этой модели подходит и другой вариант факторизации (11.3), в которой приведено интегрирование по У2 и R относится только к пропускам Y\. Пусть R означает множество значений (/?1(|, 0=(/Зь а?), и ^=(/3i,32,e). Из (11.6) и (11.7) получаем, что распределение R
при заданных X и У, — бернуллиевское с вероятностью присутствия значения у /-го объекта, равной
Pr(2?z = 1 | уп,х,)=Рг(у,2>0 | ^„х,)
При q^O эта вероятность является монотонной функцией Yx, значения которой иногда отсутствуют. Отсюда по теории гл. 7 механизм порождения пропусков неигнорируем. Если, напротив, g=0, а 02 и (0ьа2) раздельны, то механизм пропусков игнорируем, и МП- оценки (01,о2) можно получать методом наименьших квадратов для линейной регрессии по полным наблюдениям.
Эту модель ввел Хекман [Heckman (1976)], чтобы описать отбор женщин при приеме на работу. В [Amemiya (1984)] она названа то- бит-моделью типа II. Заметим, что тобит-модель из примера 11.3 получается при Yt=otYi.
Для этой модели были предложены две процедуры оценивания — МП-оценивание и двухшаговый метод, введенный в [Heckman (1976)]. Первоначально МП-оценки предлагалось получать с помощью алгоритма, приведенного в [Berndt, Hall, Hall and Hausman (1974)]. Мы опишем ЕМ-алгоритм для случая, когда на коэффициенты 01,02 не наложены ограничения. Будем считать, что гипотетические полные данные — это наблюдения с присутствием Yx и У2. Тогда достаточные статистики полных данных равны {ЕупХу, Е^^у, ^цуа, Е^,2} при /=0,1...,д Поскольку все (ху) присутствуют, шаг Е состоит в замене отсутствующих уа, уа, упуй и уп на их математические ожидания при заданных параметрах и присутствующих данных. Из свойств двумерного нормального распределения получаем:
^(Уц I Уп 0) = //у Х( Д/г)»
^Уй. I 3'/2>0)= Дд + ^О1^)’
Е(Уп I J/2^o)=/i,1—e<7iX(—/il2),
Е^п I Уп < 0) = 1 + Д,2—ДаХ(—Д/;2).
Е^Уп I У а > 0)=1 + Рп + РпМр-п).
Е(Уп I ^/2^0) = /I,2 + а^—еа,Х(—ц12)(2цп—qo^),е^УцУц 13'Q^0)=/i,1(/ij2 Х( /4,2))+ е®1-
В этих выражениях 1) Х(-) определена в примере 11.3; 2) не указано явно, что ожидание условно по х{ и параметрам; 3) iin=x£x, ца = =хДъ 4) У,2^0 относится к наблюдениям с пропуском и Yy и У2, а у,2>0 — к наблюдениям с пропуском только У2. Вычисления на шаге Е проводятся после подстановки текущих оценок параметров.
На шаге М проводят следующие операции с оценками достаточных статистик для полных данных, полученными на шаге Е:
вычисляют регрессию У2 на X, что дает коэффициенты В г для уравнения пропусков;
вычисляют регрессии У/ и У2 на X, что дает коэффициенты В для У2 и Bi для Хи остаточную дисперсию а?2;
полагают Bi = Bi+BBi, б^д^+В1 и Q = B/av.
Если на коэффициенты Bi и р2 наложены ограничения, то на шаге М нужны итеративные вычисления, и алгоритм теряет свою простоту.
Чувствительность МП-оценок к отклонению от нормальности
В модели примера 11.4 прогноз отсутствующего значения определяется таким образом:
£о,11 у,!^.*^ ^—^ц—^.£о,11 у,!^.*^ ^—^ц—^.(11.9)(11.9)где_^ц=Х/В\, ji^XiBi- Заметим, что поправка на цензурирование — ё®Л(—Д/г) зависит от оценки корреляции q. Этой оценки нет в уравнении прогноза (11.5) для «чистой» модели цензурирования в примере 11.3. Таким образом, несмотря на то, что Yv и У2 никогда не наблюдаются совместно, корреляцию е надо уметь оценивать.
£о,11 у,!^.*^ ^—^ц—^.
£о,11 у,!^.*^ ^—^ц—^.
(11.9)
(11.9)
6) Механизм пропусков6) Механизм пропусков11.1. Модель нормального стохастического цензурирования в выборке11.1. Модель нормального стохастического цензурирования в выборкеИсходное распределениеНаблюдаемое распределениеИсходное распределениеНаблюдаемое распределениеа) Распределение У,а) Распределение У,Следующие предположения о модели дают информацию о е, которую можно использовать для МП- оценивания: 1) априорные ограничения на коэффициенты 01 и /32 и 2) предположения о нормальности in при заданном х- в исходной популяции. Чтобы показать роль второго предположения, рассмотрим модель при отсутствии сопе- ременных, когда х, = 1 — постоянный член. На рис. 11.1 дано распределение Yv в исходной популяции и в популяции наблюдений без пропуска. Последнее распределение отнормировано так, чтобы показать «остаток» от истинного распределения. По предположению исходное распределе- Рис. ние У) — нормальное. Рас-
6) Механизм пропусков
6) Механизм пропусков
11.1. Модель нормального стохастического цензурирования в выборке
11.1. Модель нормального стохастического цензурирования в выборке
Исходное распределение
Наблюдаемое распределение
Исходное распределение
Наблюдаемое распределение
а) Распределение У,
а) Распределение У,
пределение присутствующих значений скошено за счет стохастического цензурирования, если р=0. Имея выборку присутствующих значений, можно оценить g по степени отклонения выборки от нормальности. Другими словами, пропуски заполняются таким образом, чтобы выборка без пропусков была максимально близка к нормальной. Ясно, что эта процедура целиком основана на предположении о нормальности значений Ki в исходной популяции, которое невозможно проверить. При отсутствии сведений об этом распределении с таким же успехом может оказаться верным предположение, что отсутствующие значения имеют то же скошенное распределение, что и наблюдаемые значения на рис. 11.1. Если эта гипотеза действительно верна, то поправка на избирательность в нормальной модели скорее добавит смещение, чем устранит его. Следующий пример иллюстрирует это.
Пример 11.5. Пропуски в данных о размере дохода в текущем обследовании населения. В [Lillard, Smith and Welch (1982), (1986)] модель из примера 11.4 применялась для анализа пропусков значений дохода по данным четырехкратного опроса о размерах дохода при текущих обследованиях населения (Current Population Survey, CPS) в 1970, 1975, 1976 и 1980 гг. Выборка 1980 г. состояла из 32879 белых работающих городских жителей мужского пола от 16 до 65 лет, подтвердивших получение заработной платы или жалованья (но не обязательно его размер if), и не занятых индивидуальной трудовой деятельностью. Из них 27909 сообщили значение W, а 4970 не сообщили. В обозначениях примера 11.4 Yi равно по определению (И^—О/7, где 7 — показатель степенного Преобразования, предложенного в [Box and Сох (1964)]. Предикторы X были выбраны такими:
постоянный член;
образование (5 фиктивных переменных — по сроку обучения: 8, 9—11, 12, 13—15, 16+);
стаж (4 переменные по интервалам: 0—5, 5—10, 10—20, 20+);
вероятность иметь стаж меньше года (вер. 1);
район (юг или другой район);
ребенок главы семьи (1 — да, 0 — нет);
другой родственник главы семьи или член другой родственной семьи (да, нет);
опрашивался лично или нет (1 — да, 0 — нет);
срок участия в обследовании (1 или 2 года).
Последние четыре переменные были исключены из «уравнения доходов», т. е. соответствующие члены в 0\ были приравнены к нулю. Переменные образования, стажа и района были исключены из «уравнения пропусков» — соответствующие коэффициенты в 0г были приравнены нулю.
Таблица 11.1. Оценки коэффициента 3, регрессии логарифма дохода на сопеременные (по данным 1980 г.)
Переменная
МНК (по ответившим)
ММП для модели цензурирования
Двухшаговый метод
Постоянная
9,5013 (0,0039)
9,6816 (0,0051)
10,0373 (0,0173)
0,2954 (0,0245)
0,2661 (0,0202)
0,2615 (0,0241)
9-11
0,3870 (0,0206)
0,3692 (0,0169)
0,3718 (0,0203)
Образо- 12
0,6881 (0,0188)
0,6516 (0,0158)
0,6713 (0,0185)
ванне13—15
0,7986 (0,0201)
0,7694 (0,0176)
0,8096 (0,0198)
46+
1,0519 (0,0199)
1,0445 (0,0178)
1,0418 (0,0195)
р-5
—0,0225 (0,0119)
—0,0294 (0,0111)
—0,0425 (0,0117)
5—10
0,0534 (0,0038)
0,0557 (0,0039)
0,0561 (0,0037)
Стаж 4ю-20
0,0024 (0,0016)
0,0240 (0,0016)
0,0448 (0,0017)
|20+
—0,0052 (0,0008)
—0,0036 (0,0008)
—0,0033 (0,0008)
Вер.1
—1,8136 (0,1075)
—1,7301 (0,0945)
-1,5311 (0,1059)
Район
-0,0654 (0,0087)
-0,0649 (0,0085)
—0,0893 (0,0086)
e = Corr(y1, у2|х)
0
—0,6842
АГ
27909
32879
32879
В большинстве эмпирических исследований модель строят для логарифма дохода. Такое преобразование получается при у->0. В табл. 11.1 показаны оценки коэффициентов регрессии 0Х для логарифма размера дохода, вычисленные 1) обычным методом наименьших квадратов (МНК) по ответившим при предположении, что пропуски, по сути, игнорируемы (е=0) и 2) методом максимального правдоподобия (ММП) для модели примера 11.4. МП- оценка е составила р = —0,6812, что соответствует положительной поправке —ё®А(—Аг/) на цензурирование размеров дохода (см. (11.9)). Коэффициенты регрессии для МНК и ММП в табл. 11.1 сходны, хотя разница свободных членов для МНК и ММП (9,68— 0,50=0,18 на логарифмической шкале) означает примерно 20%-ную разницу прогноза размера дохода для неигнорируемых пропусков, что является довольно существенной поправкой.
Таблица 11.2. Максимум логарифма правдоподобия как функция у и соответствующие значения q
7
Максимум логарифма правдоподобия
в
0
—300613,4
—0,6812
0,45
—298168,4
—0,6524
1,0
—300563,1
0,8569
Источник. [Lillard, Smith and Welch (1982)].
В [Lillard, Smith and Welch (1982)] было подобрано несколько моделей стохастического цензурирования при различных значениях 7. В табл. 11.2 приведены значения максимума логарифма правдоподобия при трет значениях, а именно при 0 (логарифм), при 1 (тождественное преобразование) и при 0,45, и МП-оценки для случайной подвыборки из данных. Максимум правдоподобия намного больше при 7=0,45, чем при 7=0 или 7=1, что указывает на плохое соответствие модели нормального цензурирования для исходных и для логарифмированных значений размера дохода.
В табл. 11.2 показаны также значения g как функции 7. Земетим, что при 7=0 и 7=0,45 q отрицателен, т. е. распределение дохода по ответившим скошено в левую сторону, и значения дохода для отказавшихся отвечать должны быть большими, чтобы заполнять правый хвост. Напротив, при 7=1 q положителен и распределение по ответившим скошено направо, а значения дохода для отказавшихся отвечать должны быть малыми, чтобы заполнить левый хвост. Таким образом, таблица отражает чувствительность поправки к асимметрии распределения преобразованного дохода по ответившим.
Наилучшая модель из [Lillard, Smith and Welch (1982)] с 7=0,45 предсказывает большие доходы для отказывающихся отвечать, в среднем на 73% больше подстановок, предлагаемых Бюро переписи, которые выбирались методом подстановки с подбором в предположении игнорируемости пропусков. Как отметил Рубин [Rubin (1983)], эта большая поправка вычислена в соответствии с предположением о нормальности значений в популяции при 7=0,45. Вполне вероятно, что пропуски можно игнорировать и что распределение значений среди неответивших такое же (скошенное), асимметричное, как и среди ответивших. Действительно, сравнение подстановок, предлагаемых Бюро переписи, со значениями, взятыми из данных IRS о доходе при проведении файлового подбора для файлов CPS/IRS, не обнаруживает существенного занижения оценки [David, Little, Samuchel and Triest (1986)].
Двухшаговый метод Хекмана
Процедура определения параметров модели, предложенная в [Heckman (1976)], не дает МП-оценок. В ней требуются намного более простые вычисления по сравнению с МП-оцениванием. Этому свойству обязана широкая распространенность этой процедуры. Основу процедуры Хекмана в большой степени составляют не поддающиеся проверке предложения об априорных нулях в векторах регрессионных коэффициентов /31 /32. Это может привести к сильно искаженным результатам, если эти предположения неверны. Поэтому применять метод надо с большой осторожностью.
При описании метода удобно использовать разные обозначения для предикторов Yx и для предикторов У2. Пусть Хг обозначает подмножество сопеременных X, которые по предположению должны предсказывать У2 (и, значит, наличие пропуска), а /32 — соответствующий подвектор ненулевых значений в /32. Аналогично сопеременные Хх — предикторы Yx и 0* — подвектор ненулевых значений в 0Х. Тогда из моделей (11.6) и (11.7) следует, что
Рг^,., = 11 х^Ф^^х,^ (11.10) и
Е^н \ К^^х^х^л- ea1Hx^=xil0* + qo№^ (И.И) где xjX и ха обозначают значения Хх и Хг у z-ro объекта. Отсюда состоятельные оценки /3* и /32 получаются так: 1) оценить /32 величиной /32 по пробит-регрессии Rn на ха с помощью всей выборки; 2) оценить /3* и qox по МНК-регрессии уп на xiX и на X 1 = Х(х12^) с помощью выборки с присутствующими значениями. Это и есть двухшаговый метод Хекмана. Можно сформулировать немного более эффективные варианты метода, заменяя на втором шаге МНК на обобщенный метод наименьших взвешенных квадратов.
Двухшаговый метод «не работает» при отсутствии сопеременных пропуска, поскольку если хй — постоянная для всех i, то Нх^Рг) — также постоянная, которая смешивается с постоянным членом в (11.11). Если Хг неодинаковы для различных объектов, но Хх=Х и Хг — подмножество переменных Хх, то параметры 0* и qcx в (11.11) идентифицируемы только благодаря нелинейности преобразования X. Для работоспособности метода на практике необходимо, чтобы в Хг были переменные, которые являются хорошими предикторами наличия пропуска и отсутствуют в Хх, т. е. не связаны с Уь когда остальные переменные фиксированы. Например, в примере 11.5 предполагается, что переменная «ребенок главы семьи» влияет на наличие ответа, но не связана с доходом. Однако едва ли можно поверить в такое отсутствие связи, поскольку эта переменная может быть «законным» предиктором дохода, не включенным в Хх. Если она связана с доходом, то поправки на неигнорируемые пропуски могут оказаться ложными.
Последний столбец в табл. 11.1 показывает результаты применения двухшагового метода к данным примера 11.5. Самое сильное отличие этого метода от ММП проявляется в большем свободном члене (10,0373 вместо 9,0816), что означает, что предлагаемые значения примерно на 60% больше, чем при МНК. Это не слишком правдоподобная поправка. Лилард и др. [Lillard, Smith and Welch (1982)] обнаружили также на данных CPS заметную нестабильность двухшаговых оценок в зависимости от выборки. Литтл [Little (1985а)] пытается объяснить эту нестабильность и приводит обсуждение предположений для этого метода.
Рассматривались также другие варианты модели нормального стохастического цензурирования, в которых пробит-модель пропуска заменяется на равномерную [Olsen (1980)] и логистическую модели [Olsen (1980); Greenlees, Reece and Zieschang (1982)]. Последняя из этих работ касается пропусков значений дохода в текущем обследовании населения CPS. Естественно, оценки в этих моделях также чувствительны к выбору априорных нулей в 3i и /Зг (см. задачу 6).
ПРЕДИКТОРНЫЙ БАЙЕСОВСКИЙ ПОДХОД К АНАЛИЗУ СМЕЩЕНИЙ ПРИ ПРОПУСКАХ
При этом подходе к смещению за счет пропусков, предложенном Рубином [Rubin (1977)], строят модель распределения для объектов с пропусками и без пропусков с отдельными параметрами, как в (11.4) и связывают параметры подходящим байесовским априорным распределением. Неигнорируемый пропуск связан с априорно фиксированными параметрами, а оставшиеся параметры распределения оцениваются с помощью соответствующего байесовского апостериорного распределения. Влияние пропуска оценивается интервалом, основанным на распределении, предсказывающем гипотетическую статистику для полных данных при заданных присутствующих значениях. Основная идея иллюстрируется в следующем простом примере. Более общий случай, описанный Рубином, представлен в примере 11.7.
Пример 11.6. Чувствительность выборочного среднего к неигно- рируемым пропускам. В простой случайной выборке по переменной У объема п доля пропусков равна р=(п—тУп. Исследуемой характеристикой является среднее значение Y, которое можно выразить в виде
7 = (1-P)7r+/>7Nr,
где yR — наблюдаемое среднее для отвечающих, 7NR — ненаблюдаемое среднее для отказывающихся отвечать. Допустим, что значения Y распределены нормально со средним aR и дисперсией aR у первых, aNR и a^R — у вторых. Для простоты сначала примем, что дисперсии равны, т. е. Or = Onr = o3» и что °2 известно. Значения для отвечающих независимы при заданных aR, aNR и а2. Отсюда
(У r I «R><r2)~^(«R,o2/(^ прУ), (у NR I aNR,a2) — ЛХ«нкЛр)>
ult N(a,a2) — нормальное распределение co средним a и дисперсией a2. Субъективные априорные представления о сходстве респондентов и отказывающихся отвечать можно формализовать, задавая априор- 250
ное распределение aNR, зависящее от aR и о1. В тех приложениях, которые обсуждал Рубин, подходящим считалось нормальное априорное распределение
(“nr I «к,а2)~Мак,^)
при некотором значении ^2- Среднее этого распределения, aR, означает, что среднее по неотвечающим с одинаковой вероятностью может оказаться больше или меньше среднего по отвечающим. Величина отражает субъективное представление о коэффициенте разброса среднего по отказывающимся около среднего по респондентам. Например, исследователь может считать с уровнем доверия 95%, что среднее по неотвечающим попадет в интервал
aR(l ± 1,96^2).
Если ^2=0, то распределение У для первых и вторых совпадает, и механизм порождения пропусков игнорируем.
Влияния пропусков можно оценить по предикторному распределению у при заданных yR и ^2- Можно легко показать с помощью теоремы Байеса, что оно нормально со средним yR и дисперсией
Var(y |yR,a2)=p2Var(yNR |yR,a2)=p2Var(aR |yR,a2) +
+p2E’(Var(yNR I aNR) |yR,a2) + p2£(Var(aNR | aR) |yR,a2).
В этом уравнении последний член не зависит от объема выборки. Он отражает неопределенность неигнорируемой компоненты модели. Считая априорное распределение aR равномерным и вычисляя априорную дисперсию aNR при заданных aR и а2, мы получим
Var(y |yR,a2)=p2(a2/(np)+ a2/(n—np).+ ^^r + »2/(n—пр))) =
=Р2 (а2/(пр—пр2) + ^Ук + о2/(п—пр))).
Отсюда 95%-ный байесовский интервал для у при заданных yR и а2 равен
yR ± 1,96 War (у |yR,a2) =yR ± 1,96р (а2/(пр—пр2) +
+ ^г^к + ^/(п—пр)))1/2.
Это уравнение соответствует формуле (2.1) в статье Рубина при ^nR=.^r, 51=0.
Заметим, что при больших и длина этого интервала равна примерно 4рфгУл и описывает неопределенность, вносимую неигнорируемой компонентой модели. Выражая ее в долях среднего, получим, что она равна априорному параметру ^2» умноженному на 4 и на долю пропусков.
Пример 11.7. Чувствительность выборочного среднего к неигно- рируемым пропускам при наличии сопеременных. Существенное развитие предыдущего примера мы получим, если включим в модель сопеременные Х=^Хх,...,Х^, присутствующие для всех объектов выборки. Если У линейно связана с X как в популяции респондентов, так и в популяции отказывающихся отвечать, мы получим ожидаемые значения
^r I «R.^R.^.^^aR+XR/JR, Var(yR | ак,0к,аг,Х) = ог/(.п—пр),
^NR I aNR»^NR’ffZ>^=aNR+-^NR/8NR’ Var(y NR | aNR,^NR,<72,A3 = (^/(np), где X R и X NR — наблюдаемые выборочные средние для первых и вторых, a aR, aNR, 3r> 3nr и °2 — неизвестные параметры. Чтобы связать параметры для этих двух групп, будем считать, что параметры для неотвечающих имеют следующие условные по параметрам отвечающих априорные распределения:
^NR ~ ^?^R’ ^ ^R^,
0NR ~ M0R>^2 0r)»
где Nq{a,B) — ^-мерное нормальное распределение со средним а и ковариационной матрицей В, a 0мР = амв+^гв8мр,0в = ар+^гв8в — параметры, представляющие средние Y при Х=ХК в популяциях отвечающих и неотвечающих. Параметр фх измеряет априорную неопределенность коэффициентов регрессии. Обозначим /3^ и 0^R j-e компоненты 31 и 3^ соответственно. Введенные априорные распределения означают, что исследователь на 95% уверен, что 3^к попадет в интервал
/3^(1 ±1,9600
при любом j. Параметр 02 отражает неопределенность скорректированного среднего и соответствует 02 в примере 11.6 в случае отсутствия сопеременных. Механизм пропусков игнорируем в выводах по функции правдоподобия при 0i = 02=O.
В предложении равномерного априорного распределения фк и /Зк95%-ный байесовский интервал для у при имеющихся данных принимает вид
Ук(1 + йо±1,96(02й2 + 02й2+й2)1/2), где__
й0 =PkX NR X R)bR/y R,
А2 = й 0 + (p2sR/y r)^ NR X R)$xx 1 kX NR X R)T,
й2=р2П+4/[7кП(1—p)]),
й23=р2(4/Ук)[1/(^нПр№^^
Здесь 6R и sR — коэффициенты регрессии и остаточная дисперсия, полученные методом наименьших квадратов для регрессии Ук на ^r> а ^м — матрица сумм квадратов и взаимных произведений по X для отвечающих. В частности, предсказываемое значение среднего равно:
У rO + й0) =у R + р(Х NR X R)6R.
Последний член представляет поправку на сопеременные (на различие средних X в выборках отвечающих и неотвечающих). Длину интервала
определяют 3 компоненты. Первая, У\Н\ — относительная дисперсия, возникающая за счет недостатка информации о возможном равенстве коэффициентов регрессии Y на X в обеих группах. Член У^й^ отражает неопределенность для равенства средних У при X=XR. Член й, отражает неопределенность, вносимую пропусками, которая присутствует даже при равенстве распределений в обеих группах, т. е. когда V'i = V'2=0 и механизм пропусков игнорируем.
Поучительно исследовать эти Выражения, когда объем выборки отвечающих стремится к бесконечности. Компонента й2 стремится к нулю, и длина интервала становится равна примерно 4рУк(^2+ + V'^K^nr-^r)^/^!2!172 (в предыдущем примере длина равнялась 4pyR^2). Кажущееся увеличение длины интервала при наличии сопеременных противоречит тому, что поправка на сопеременные должна уменьшить неопределенность предсказания у. Однако в этих двух примерах субъективный параметр ^2 неодинаков. Поправка на сопеременные должна уменьшать разности между условными средними при XR в популяциях отвечающих и неотвечающих, и это должно приводить к меньшему значению ^2 в априорном распределении в данном примере по сравнению с примером 11.6. Неприятным свойством этой модели является невозможность оценить улучшение прогноза за счет сопеременных, так как оно зависит от относительной величины ^2 из примера 11.6 и V^ и ^2 в данном примере, а эти величины назначаются до начала анализа данных.
Пример 11.8. Приложение результатов из примера 11.7. Рубин иллюстрирует метод с помощью данных обследования 660 школ. В 472 школах заполнили анкету о дополнительных занятиях (для отстающих) с 80 вопросами. Были выбраны 21 зависимая переменная (У) и 35 сопутствующих переменных (А).
Зависимые переменные характеризовали дополнительные занятия по частоте их проведения и лежали в диапазоне от О (никогда) до 1 (всегда). Ограниченная шкала затрудняет интерпретацию переменных со средними на концах отрезка, поэтому мы ограничим вни-
мание на семи переменных, лежащих в середине шкалы. Выбранные зависимые переменные соответствовали частоте:
дополнительных занятий, проводимых в часы школьных занятий;
18А: дополнительных занятий, проводимых за счет занятий общественными науками, иностранными языками и/или научных исследований;
дополнительных занятий, проводимых за счет занятий по математике;
23А: дополнительных занятий с разбиением отстающих на группы по уровню занятий;
23С: дополнительных занятий с разделением учащихся на группы по интересам;
32А: дополнительных занятий с использованием, кроме основного пособия, других учебников;
32D: дополнительных занятий с материалами, подготовленными преподавателем.
Сопутствующие переменные X в исследовании описывали успехи в школе и социально-экономическое положение учащихся.
Табл. 11.3 представляет значение статистик yR, R1 (квадрата множественной корреляции между Y и X для отвечающих), h0, hv, hi и h3. Значения hQ описывают (пропорциональные) поправки средних, основанные на регрессии на X. Они в целом малы, хотя увеличение среднего переменной 18В составляет б Vo. Это означает, что неотвечающие занимаются дополнительно за счет занятий по математике намного чаще, чем респонденты.
Таблица 11.3. Значения статистик для 7 переменных в обследовании школ
Переменная
^R
R1
h0
h.
•h
hi
17В
0,39322
0,54763
0,02096
0,02647
0,28549
0,02786
18А
0,23132
0,54378
0,00080
0,02300
0,28615
0,03961
18В
0,09067
0,53405
0,06331
0,07749
0,28974
0,07701
23А
0,65796
0,54942
0,00814
0,01020
0,28494
0,01060
23С
0,45240
0,59361
0,00368
0,00679
0,28492
0,00983
32А
0,33968
0,66787
0,00394
0,00394
0,28487
0,00596
32D
0,41489
0,57689
0,00130
0,00334
0,28487
0,00531
Значения йь hi и h3 определяют вклады ^hр ^2й2 и й, в квадрат длины интервала. Длина 95%-ного интервала как функция ^ и ^2 приводится в табл. 11.4. Малые значения hv означают, что неопределенность различия коэффициентов регрессии в двух группах, моделируемая величиной V'i» практически не влияет на интервал. Значения hi почти совпадают с долей пропусков р=0,2848, поэтому вклад неопределенности различия средних с поправками в двух группах описывается величиной 4й21Д2=4^2 = 1,14^2.
Основное влияние на длину интервала оказывает величина ^2. Например, увеличение ^2 с 0 до 0,1 приводит к увеличению длины интервала для переменных 23А и 23С в 3 раза, а для 32А и 32D — в 5 раз. С другой стороны, для переменных 17В, 18А и особенно 18В более существенна компонента йз, относящаяся к остаточной дисперсии регрессии, хотя другие переменные также играют роль при ^2>0,1.
Таблица 11.4. Длина 95%-ных интервалов для У" в процентах от yj*
Переменная
*1=0
*1 = 0,4
^=0
*2 = 0,1
*2=0,2
*2=0,4
^2 = 0
*2 = 0,1
*2=0,2
*2 = 0,4
17В
5,6
8,0
12,7
23,7
6,0
8,3
12,9
23,6
18А
7,9
9,8
13,9
24,2
8,1
9,9
14,0
24,3
18B
15,4
16,5
19,3
27,8
16,6
17,6
20,2
28,5
23А
2,1
6,1
11,6
22,9
2,3
6,1
11,6
22,9
23С
2,0
6,0
11,6
22,9
2,0
6,1
11,6
22,9
32А
1.2
5,8
11,5
22,8
1,2
5,8
П,5
22,8
32D
1,1
5,8
11,4
22,8
1,1
5,8
И.4
22,8
Этот пример наглядно демонстрирует возможное влияние смещения из-за пропусков и степень того, как смещение зависит от величин типа fa, которые нельзя в общем случае надежно оценить по данным. Единственное удовлетворительное решение проблемы неигно- рируемых пропусков связано с дополнительной информацией о наблюдениях с пропусками, что обсуждается в разделе 12.6.
НЕИГНОРИРУЕМЫЕ МОДЕЛИ
ДЛЯ КАТЕГОРИАЛЬНЫХ ДАННЫХ
Для неполных категориальных данных рассматривались два вида моделей с неигнорируемыми пропусками. В [Pregibon, (1977); Little (1982); Nordheim (1984)] предлагалось вводить априорные вероятности пропусков для категорий в таблице, которые видоизменяют правдоподобие. В [Baker and Laird (1985); Fay (1986); Little (1985b)] рассматривались логлинейные модели для совместного распределения категориальных переменных и индикаторов пропусков. Здесь мы обсудим второй подход, поскольку он ближе по содержанию к моделям таблиц сопряженности, рассмотренным в гл. 9. В отличие от этих моделей, модели, обсуждаемые ниже, касаются тонких вопросов идентифицируемости, которые мы не будем подробно анализировать. Мы изложим основные идеи, ограничившись примером двухфакторной таблицы сопряженности с одной дополнительной подтаблицей. 255
Пример 11.9. Двухфакторная таблица сопряженности с одной дополнительной маргинальной таблицей. Допустим, что данные такие же, как в примере 9. Ln наблюдений по двум категориальным переменным, Yi с уровнями j=l,...,J, и Yi с уровнями Л=1К; т наблюдений полностью классифицированы и образуют двухфакторную таблицу сопряженности Vm^, а г=п—т наблюдений классифицированы по У1, но не по Yi и образуют дополнительную маргинальную таблицу [г]. В качестве иллюстрации возьмем данные из табл. 11.5. с J=K=2.
Таблица 11.5. Таблица сопряженности 2x2 с одной дополнительной маргинальной подтаблицей
У,
У2
1
1m„ = 100
Уг
2 mzi = 30
m+,=130
2 m12=20
тгг=50 m+2 = 70
ml+ = 120
mz+ =80
m=200
y, 1 2
1 r„=?
Г21 =?
2
Г12=?
Г22 = ?
n=40
Г2 = 60
r=100
Полностью классифицированные (R=l)
Частично классифицированные (R=0)
Пусть R принимает значение 1, если Yi присутствует, и 0 — если отсутствует. Допустим, что при фиксированном п гипотетические полные наблюдения распределены полиномиально по таблице JxKx2, образованной Yi, Yi и R. Пусть кJk=Pr(Yi=j, Yi=k) и <b.k=Pr(R=l\Yi=j, Yi=k), так что Pr(Y\=j,n=k, R=l^= 1г=кф}к и Рг(У1=у, Yi=k, R=0)=-KJk(\—ф^. Эта модель содержит 2/Л—1 параметров. Данные обладают JK+J— 1 степенями свободы для ее оценки: JK — в полностью классифицированной таблице, J — в дополнительной таблице, и одна степень свободы уходит на ограничение: сумма вероятностей равна 1. Отсюда в модели содержится UК— 1—(JK+J—\^=ДК— 1) лишних параметров. Мы уменьшим число параметров, вводя ограничения на вероятности в ячейках в виде иерархической логлинейной модели (заметим, что логлинейные модели в разделе 9.4 описывают совместное распределение У, а здесь мы строим модель совместного распределения У и индикатора пропусков /?).
Все иерархические модели, включающие главные эффекты Уц Yi и R, приведены в табл. 11.6. первый столбец описывает модель с помощью обозначений, введенных в разделе 9.4. Следующие три столбца дают число параметров в модели, число степеней свободы
для проверки качества модели и число неидентифицируемых параметров модели, т. е. не входящих в правдоподобие. Для этих величин справедлива взаимосвязь
ч.с.с. в модели + ч.с.с. для проверки модели—число неидентифицируемых параметров -JK+J—1.
Последнее число — число степеней свободы в данных. Остальные шесть столбцов показывают результаты проверки соответствия моделей данных в табл. 11.5 — статистика отношения правдоподобий для этой проверки, соответствующее число степеней свободы и оценки вероятностей в ячейках (х 100).
Таблица 11.6. Модели для двухфакторной таблицы сопряженности с одной дополнительной подтаблицей
Модель
Число степеней свободы
Значение для данных табл. 11.5
Модель
Критерий
X2
Неидеитн- фнцируе- мость
Критерий
X2
Оценки вероятностей в ячейках (х 100)
X2
Ч.С.С.
*и
*12
*2,
*22
(1) (УУЛ)
и К— 1
0
ЛЯ-1)
—
—
—
—
—
—
(2) (УУ,УЯ,УЯ)
JK+J+K—2
0
К—1
—
—
—
—
—
—
(3) (УУ,уR).
JK+J— 1
0
0
0
0
44,4
8,9
17,5
29,2
(4) (УУ.УЯ)
JK+K— 1
тах(7— К,0)
max(K—7,0)
0
0
39,4
14,0
11,8
34,9
(5) (УУ,Л)
JK
J— 1
0
10,75
1
44,4
8,9
17,5
29,2
(6) (УЛУЯ)
2(7+К)—3
(У—1ХА7—1)
К—\
44,99
1
—
—
—
—
(7) (УЯ.У)
U+K— 2
(J-1XX-1)
0
44,99
1
34,7
18,7
30,3
16,3
(8) (У,У«)
2К+У—2
U-^K
К—\
55,74
2
—
—
—
—
(9) (У,У,Я)
J+K— 1
U-^к
55,74
2
34,7
18,7
30,3
16,3
. Следующие аспекты моделей из табл. 11.6 заслуживают некоторого
внимания.
Неидентифицируемость. Модели (УУ2/?), (УУ2, YVR, У2/?}, (У/?,У2/?}, (У, У2Л) и, если K>J, то и (УУ2, YTR\, содержат параметры, не поддающиеся оцениванию. Для оценки вероятностей ячеек в этих моделях требуется дополнительная информация. Соответствующие оценки в таблице отсутствуют.
Отметим, что две из этих моделей, (У/?,У2/?) и (У,У2/?>, неиденти- фицируемы, хотя число параметров в них меньше JK+J— 1 числа степеней свободы для данных. Рассмотрим, например, модель условной независимости У и У2 при заданном R, т. е. (У/?,У2/?). В этой модели 2 J+2K—3 параметров: один — для маргинальной вероятности пропуска, J+K—2 — для условного распределения У и У при заданном /Ми J+K— 2 — для условного распределения У и У2 при ^=0. Последние два распределения вместе содержат JK—-1
9. Р. Дж. А. Литтл, Д. Б. Рубин
вероятностей без (J—1)(Х—1) степеней свободы, так как ¥х и ¥г независимы условно по R. Правдоподобие для неполных данных рас
падается на три компоненты с разделительными параметрами, соответствующие маргинальному распределению R, условному распределению У1 и У2 при /? = 1 и условному распределению У1 при R=0. Эти компоненты обеспечивают оценки 1+(J+X—2)+(J— Г)=2/+К— 2 параметров. Остальные К—\ параметров, отвечающие распределению У2 при /?=0, неидентифицируемы. Остается (JK+J— 1)—(2J+ +К— 2)=(J— 1)(Х— 1) степеней свободы для данных, что соответствует числу степеней свободы при проверке условной независимости У, и У2 при заданном /?=1.
Игнорируемость пропусков. Это свойство выполняется для моделей (^У^У, Я] и (У^/?}, так как пропуски зависят только от Уь наблюдаемой полностью. Эти модели можно подгонять по данным методам гл. 9. То же справедливо и для моделей (У^,/?} и (УЬУ2,/?), поскольку в них предполагается независимость пропусков от У, и У2, т. е. условие «данные ОПС». Они дают такие же оценки [тг/А.), что и их аналоги при условии ОС, т. е. (^У^УрК) и (У1,У2,У1/?} соответственно.
Проверка качества. Статистика хи-квадрат для проверки справедливости модели (У^,/?} основана на критерии независимости У, от R по двухфакторной маргинальной таблице ¥xxR, модели (У1/?,У2) — на критерии независимости Kj и У2 по полностью классифицированным наблюдениям. Статистика для модели (УЬУ2,/?} —
сумма двух первых статистик.
Оценивание. МП-оценка яд для {^У^УрК} или (У1У2,/?) равна Vj^km^A-fj^/VmA-rY где ^=(^//^+)5 — подставляемые частоты (см., например (9.3)). Можно считать, что эта оценка получается при таком распределении частично классифицированных наблюдений пр таблице, которое отвечало бы распределениям lmjk-vmj4\, полностью наблюдаемым внутри строк, как в примерах 9.1 и 9.2.
Из 5 моделей табл. 11.6 с неигнорируемыми пропусками только одну можно определить без дополнительной априорной информации, а именно [У1У2,У2^1, которую можно оценить при K^J. Эта модель означает, что пропуск У2 зависит от значения У2, но не
от УР МП-оценки (тг^) для этой модели также имеют вид ijk = = (mjk-v-fjA/(m-v-ry но теперь подставляемые значения f*k таковы, что rjk/'+^^k^k’ т- е- они согласуются с распределениями полностью классифицированных данных внутри столбцов. Эти
ограничения вместе с условием К^ = гу для всех V приводят к JK—K+J — линейным уравнениям относительно JK неизвестных f*k.
Если K>Jt то параметров больше, чем уравнений, и поэтому нужны априорные условия, чтобы однозначно определить [г^] (и, значит, ЯуД Если K<J, то уравнений больше, чем параметров, и МП-оценки f*jk не могут точно удовлетворять условиям. В таких случаях для вычисления [гу^] можно использовать ЕМ-алгоритм (см., например, [Baker and Laird (1985)]). Если K=J, то JK линейных уравнений можно решить непосредственно, не прибегая к ЕМ-алго- ритму. В частности, при J=K=2 мы получим следующие уравнения относительно /п, >?2, ^i и г22:
^21 = ^*1^21/^11»Г22 = /И22//И12, Г12 + Г[1=ГЬ Г^+Г22 = Г2.
Решения равны ffi =(г2—гхтгг/тх^тгх/тхх—т22/тхд~' и т. д. Для данных табл. 11.5 мы получим
гГ1 =200/11» f[2 = 240/ll, ^=60/11, гЧ2=600/11,
что дает оценки V^jk^ в строке (4) табл. 11.6.
Оценки, получаемые при решении этих линейных уравнений, могут быть отрицательными, т. е. не совпадать с МП-оценками. Как показано в [Baker and Laird (1985)], чтобы такой случай не имел места, шансы lrj/г^ в маргинальном столбце должны лежать между наименьшими и наибольшими значениями шансов (Wy^/w^) в столбцах k=\v..,K. В нашем примере ^/^=40/60 находится между тхх/т2х = 100/30 и ти12//и22 = 20/50, так что это условие выполняется. Подробности см. в [Baker and Laird (1985)].
Выбор модели. Важно отметить, что в нашем примере обе модели, (УЬУ2,У1/?] и [УвУ^У^], идеально согласуются с данными ввиду отсутствия степеней свободы на проверку согласия. Поэтому невозможно отдать предпочтение одному из двух наборов оценок liTjk^ для этих моделей, не обращаясь к априорным рассуждениям о том, какой механизм порождения пропусков в имеющихся данных более правдоподобен.
В [Little (1985)] идеи этого примера обобщены на случай двухфакторной таблицы с двумя дополнительными маргинальными подтаблицами. В этой ситуации вводятся индикаторы /?! и R2 пропусков в У1 и У2 и рассматриваются модели четырехфакторной таблицы для Уь У2, 1?, и R2. Можно рассматривать и таблицы большей размерности, по крайней мере в принципе.
ЛИТЕРАТУРА
Amemiya, Т. (1984). Tobit models: a survey, J. Econometrics 24, 3 61.
Baker, S., and Laird, N. (1985). Categorical response subject to nonresponse, Department of Biostatistics, Harvard School of Public Health, Boston, MA.
Berndt, E. B., Hall, B„ Hall, R., and Hausman, J. A. (1974). Estimation and inference in nonlinear structural models, Ann. Econ. Soc. Meas. 3, 653-665.
Box, G. E. P., and Cox, D. R. (1964). An analysis of transformations, J. Roy. Statist. Soc. B26, 211-252.
David, M. H., Little, R. J. A., Samuhel, M. E., and Triest, R. K. (1986). Alternative methods for CPS income imputation, J. Am. Statist. Assoc. 81, 29-41.
Fay. R. E. (1986). Causal models for patterns of nonresponse, J. Am. Statist. Assoc. 81, 354-365.
Greenlees, W. S., Reece, J. S., and Zieschiing, K. D. (1982). Imputation of missing values when the probability of response depends on the variable being imputed, J. Am. Statist. Assoc. 77, 251-261.
Hasselblad, V„ Stead, A. G„ and Galke, W. (1980). Analysis of coarsely grouped data from the lognormal distribution, J. Am. Statist. Assoc. 75, 771-778.
Heckman, J. (1976). The common structure of statistical models of truncation, sample selection and limited dependent variables, and a simple estimator for such models, Ann. Econ. Soc. Meas. 5, 475-492.
Kulldorff, G. (1961). Contributions to the Theory of Estimation from Grouped and Partially Grouped Samples. Stockholm: Almquist and Wiksell and New York: Wiley.
Lillard, L., Smith, J. P.. and Welch, F. (1982). What do we really know about wages: The importance of nonreporting and census imputation, The Rand Corporation, Santa Monica, CA.
Lillard, L„ Smith, J. P„ and Welch, F. (1986). What do we really know about wages? The importance of nonreporting and Census imputation, Journal of Political Economy, 94, 489-506.
Little, R. J. A. (1982). Models for nonresponse in sample surveys, J. Am. Statist. Assoc. 77, 237-250.
Little, R. J. A. (1985a). A note about models for selectivity bias, Econometrica 53, 1469-1474.
Little, R. J. A. (1985b). Nonresponse adjustments in longitudinal surveys: models for categorical data, Bulletin of the International Statistical Institute, 15.1, 1-15.
Nordheim, E. V. (1984). Inference from nonrandomly missing data: An example from a genetic study on Turner's Syndrome, J. Am. Statist. Assoc. 79, 772-780.
Olsen, R. J. (1980). A least squares correction for selectivity bias, Econometrica 48, 1815-1820.
Pregibon, D. (1977). Typical survey data: estimation and imputation. Survey Methadol. 2, 79-102.
Rubin, D. B. (1977). Formalizing subjective notions about the effect of nonrespondents in sample surveys, J. Am. Statist. Assoc. 72, 538-543.
Rubin, D. B. (1983). Imputing Income in the CPS, in The Measurement of Labor Cost (Jack Triplett, Ed.). Chicago: University of Chicago Press.
Tobin, J. (1958). Estimation of relationships for limited dependent variables, Econometrica 26, 24 36.
ЗАДАЧИ
Проведите интегрирование, необходимое для вывода шага Е в примере Пл
Выведите выражения для шага Е в примере 11.2. Опишите в явном виде шаг М для этого примера.
Выведите выражения для шага Е в примере 11.4.
Покажите правильность описания шага М в конце примера 11.4. Почему оценку а? ие вычисляются просто по регрессии У, на А?
Сравните ММП и двухшаговый метод оценивания параметров модели стохастического цензурирования из примера 11.4. Чем они сходны, чем различаются?
Рассмотрите модель цензурирования из примера 11.4, когда х,=(х|1, z,), где Z, — одна бинарная переменная, влияющая иа цензурирование, но с нулевым коээфи- циентом регрессии У, на X. Ниже даются средние у^ при заданных х,, классифицированные по z, и по присутствию (Л,7 = 1) или отсутствию (Я,7=0) значения уи:
1
0
1
^,1 0
хД + eniX^p
хД + р<лХ(—уи)
хА + е<т>Х(т10)
хД + е^Х(—v10)
0 или 1
ХА
х£\
В этой таблице Х() определено в примере 11.3, а уц — среднее Yi для объектов со значением соперемеииых (х,, f,=y).
Выведите выражения в таблице.
Рассмотрите разность средних У1 для объектов с пропуском и со значением при различных значениях у(у. Покажите, что модель отвечает приблизительно аддитивной структуре средних в таблице (подробности см. в [Little (1985а)]).
Допустим, что для модели из примера 11.4 обследована случайная подвыборка объектов с пропуском и для них получены значения У. Выпишите функцию правдоподобия для получаемых данных и опишите ЕМ-алгоритм.
Покажите в контексте примера 11.7, что апостериорное распределение упри заданном n2=s^ нормально со средним 5^(1 + йо) и дисперсией у2к(^й[ + ^й^ + + й^). Каковы апостериорные средние и дисперсия переменной 32D при V-1 = ^2 = 0,5?
Выпишите факторизованное правдоподобие для моделей [УУг.У/?], [УУг.Угй], [УД.Уг/?] и [У1У2Л] из примера 11.8 в подходящей параметризации. Укажите для каждой модели иеидентифицируемые параметры (если они есть).
Проверьте пять наборов оценок вероятностей в ячейках в табл. 11.6.
Постройте повторно табл. 11.6 по данным табл. 11.5, где л и п умножены на 10.
Г л а в a 12. МОДЕЛЬНЫЙ ПОДХОД К ПРОПУСКАМ ПРИ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЯХ
БАЙЕСОВСКАЯ ТЕОРИЯ ДЛЯ ПОЛНЫХ ДАННЫХ
В гл. 4 мы рассматривали пропуски при обследованиях с позиции квазирандомизационного подхода, в котором значения переменных (У2) считались фиксированными, а выводы строились на основе известного распределения выборки Д/fZ) и модели распределения пропусков Д/?|/,Ё2). При другом подходе к построению выводов вводят модель распределения переменных У и используют методологию, служившую нам основой в гл. 5—11. Для выводов о параметрах конечной популяции более естественно использовать
байесовский подход, при котором задают априорное распределение
неизвестных параметров, чем подход, опирающийся только на правдоподобие. Поэтому мы принимаем в этой главе байесовский
подход аналогично разделу 11.5. Более полное исследование дано в
[Rubin (1987), гл. 2].
столбцы— переменным. Пе-столбцы— переменным. Пе-ИсследуемыепеременныеИсследуемыепеременныеДанные обследования при отсутствии пропусков можно представить на рис. 12.1, на котором строки соответствуют объектам, ПеременныеИндикатор
столбцы— переменным. Пе-
столбцы— переменным. Пе-
Исследуемыепеременные
Исследуемыепеременные
пленавключения
в выборку 1I
ременные плана обследования Z и индикаторная переменная I известны для всех объектов популяции. Переменные У за— регистрированы у
Рис. 12.1. Данные выборочного обследованияЛ объектов
при отсутствии пропусков.выборки С
/, = 1. Анализ полных данных обследования можно рассматривать как задачу с неполными данными при монотонной структуре, изображенной на рис. 12.1. Целью является построение выводов о значениях У, отсутствующих в выборке.
При построении байесовской модели для таких данных значения I и У считают реализациями случайных переменных с совместным распределением
AY,I\ZWIY\ZW\ YZ).(12.1)
Обозначим У=(У|ПС>Уехс)> гДе ^inc — множество значений У в выборке, У^ — множество вне выборки. Таким образом, при отсутствии пропусков данные состоят из_У1пс,/и, конечно, Z. Выводы о параметре популяции, таком, как У, среднее Y, получают из его распределения при заданных наблюдаемых значениях yinc, / и Z. Это распределение определяется присутствующими данными yinc, I и Z и распределением отсутствующих данных Уехс при заданных ^пс> I и 2;
№_ | y^z^^^f^- .(12.2)
В этой формулировке явно видно, что апостериорное распределение Y^ в (12.2) условно не только по yinc и Z, но и по /. Часто исследователи игнорируют это дополнительное условие при построении байесовских моделей и основывают выводы на распределении
Л1'„.|1'е,2)-(12.3)
Следуя [Rubin (1976), (1978), (1987)] и [Little (1982)], мы будем говорить, что механизм извлечения выборки игнорируем, если распределения У^ (12.2) и (12.3) совпадают. Достаточным условием для этого является независимость распределения I при заданных У и Z от Y^:
Д/| Y,Z)=AI\ yinc,Z).(12.4)
Если (12.4) выполняется, то правая часть (12.2) равна:
AY\Z^I\Y,Z) AY\ZW\Yin^Z) AY\Z)
№ I ZWI XZ^dY^ "VVY\ZVy\ Y^Y^ ~ №\Z)dYeK ’
что означает идентичность (12.2) и (12.3).
Примечательно, что если выбор объектов в соответствии с механизмом извлечения выборки Д11 Y,X) проводится случайно, то функция Д11 Y^Y^Z) известна и не зависит от yinc или У^. Поэтому любой случайный выбор игнорируем, и его распределение не играет непосредственной роли в байесовских выводах. Другие способы формирования выборки могут быть «неигнорируемы», и тогда выводы по (12.3) могут быть смещенными. В этом случае полную модель (12.1) описать трудно, если только исключение объектов из
выборки не проводится с помощью известного механизма, например цензурирования с известной точкой цензурирования. Таким образом, случайный выбор играет важную роль при моделировании, хотя выборочное распределение не участвует в построении выводов. Это обстоятельство отмечалось в литературе (см., например, [Rubin (1976), (1978); Scott (1977)]), однако оно заслуживает того, чтобы его еще раз подчеркнуть, поскольку это — важнейший аргумент против представления о том, что модельный подход исключает необходимость в случайном выборе объектов. Более того, даже при игнорируемом механизме выбора последствия ошибок построения модели зависят от плана выбора, который, следовательно, неявно влияет на выбор модели.
Пример 12.1. Расслоенный случайный выбор при отсутствии пропусков. Проиллюстрируем изложенное. Пусть Z — переменная, указывающая номер слоя популяции, т. е. z, =j. если ьй объект относится к j-му слою, j=l,...,J, Y — переменная, измеряемая в обследовании для всех объектов выборки. Распределение Д У | Z) определим в виде
/(YlZ) = y(YlZ,SV(9lZ)de,
где 8=((у,а^), j=l,...,J) — промежуточные параметры модели с априорной плотностью
Ле)=Па-1
а ДУ | УД^П^Ду | z^Oj, где для объектов из j-ro слоя toi I ^j^^oy^xpV^y-^ -
нормальная плотность со средним ^ и дисперсией Oj. Использование промежуточного параметра 6 для условий независимости объектов — распространенный подход при байесовском моделировании.
Распределение Д1\ Y,Z) соответствует расслоенному случайному выбору лу из Nj объектов j-ro слоя. Это значит, что значение Д1\ Y,Z) одинаково у всех выборок /=(/1,...,/^)т с л. объектами в слое j,j=\,...,J, и равно нулю в противном случае. Поскольку это распределение не зависит от У^, выборочный механизм игнорируем, и выводы об отсутствующих значениях можно строить с помощью распределения (12.3). В частности, выводы о среднем популяции можно основывать на ДУ | Z,yinc).
Пусть у, и sj — выборочные средние и дисперсия в слое j. Апостериорное распределение nj асимптотически нормально со средним у. и дисперсией Sj/nj. Теперь среднее У у в j-м слое популяции имеет вид
/€шс /€ехс
апостериорное среднее Yj равно:
Е^- (£ ^ + £ ЕОи| К|пс.2)/лг =jr,
поскольку для исключительных объектов
Е^ Y^Z^ElEiyy^Y^yinc,Z] =Е^\ Ут^=у?
Можно также показать, что априорная дисперсия Yj равна:
Var( Yj |yinc,Z) = (1 -nj/NjVj/nj.
Таким образом, поправка на конечность_популяции (1—nj/Nj) появляется в оценке точности параметра Yj популяции в таком же виде, как и при расслоенном случайном выборе в теории от рандомизации. В этом и других примерах выводы о параметрах p.j отличаются от их аналогов в конечной популяции Yj на поправку на конечность популяции, которую можно игнорировать, если доли объектов в выборках Hj/Nj малы. Значит, апостериорное распределение У асимптотически нормально со средним
Ц¥\¥^=Ь^(12.5)
и дисперсией
Var(Y |УШС,7) = £ P^ny'-N^,(12.6)
где Pj=Nj/N. Заметим, что при подходе от рандомизации (гл. 4) выражение (1.2.5) — это расслоенное среднее, обычно применяемое для оценки У, а (12.6) — стандартная оценка дисперсии повторного выбора [Cochran (1977)]. Поэтому байесовские интервалы, основанные на (12.5) и (12.6), эквивалентны доверительным интервалам, получаемым в теории от рандомизации.
БАЙЕСОВСКИЕ МОДЕЛИ
ДЛЯ ДАННЫХ ОБСЛЕДОВАНИЯ С ПРОПУСКАМИ
Для изложения переменные удобно разделить в обследовании на две группы U и Y, где 17 присутствует у всех объектов выборки, а У подвержена пропускам. Структура пропусков в У описывается матрицей индикаторов пропусков Р = (Р^, где Ry = Y если у у зарегистрировано, и Ry = 0 — в противном случае. Представим схематично данные на рис. 12.2, как в [Little (1982)]. Значения U, R, Y, присутствующие в выборке, обозначим I7inc, /?inc, yinc, а исключенные значения — [7^, R^, У^. Включенные значения yjnc можно
Объекты Переменные ZОбъекты Переменные ZYiY2...YkYiY2...Ykструктурой пропусковструктурой пропусковдалее разбить на присутствующие УоЬ$ и отсутствующие ymis- Заштрихованная область, на диаграмме представляет данные (Z,Z,(7inc, ^inc’-W Значения индикаторов включения в выборку и пропусков показаны на диаграмме как блоки нулей и единиц. Объек
Объекты Переменные Z
Объекты Переменные Z
YiY2...Yk
YiY2...Yk
структурой пропусков
структурой пропусков
ты расположены по строкам, так что первые т объектов содержат все переменные, следующие л—т объектов включены в выборку, но неполны, а остальные N—п объектов не вошли в выборку.
На диаграмме показан частный случай с монотонной структурой пропусков в У, обсуждавшейся в гл. 6. В этом случае все множество данных также имеет монотонную структуру: Z и I присутствуют полностью и наблюдается больше У и R, a Z, I, U и R наблюдается больше У. Как указано в гл. 6, вывести эффективные методы обработки пропусков легче при монотонной, чем при более общей структуре, хотя теория, излагаемая ниже, рассматривает самую общую ситуацию. Частный случай монотонной структуры возникает при пропуске всего объекта, когда все частично наблюдаемые переменные отсутствуют у некоторых объектов и когда нет полностью наблюдаемых переменных 17.
В чисто байесовской модели задают совместное распределение I, U, R и У условно по Z. Это распределение можно определить как произведение условных распределений
KY,R^J\Z)=KY,U\Z)f(R\Y,U,Z)f(I\ Y,R,U,Z). (ПЛ)
Первый фактор в правой части (12.7) совершенно аналогичен первому фактору в (12.1) с заменой У на (Y,U). Последний фактор в (12.7) аналогичен второму в (12.1) и заменой У на (Y,U) и дополнительным условием по R, которое появляется из-за возможных пропусков (т. е. выводы могут зависеть от структуры пропусков). В связи с этим дополнительным условием при возможности пропусков мы будем говорить, что механизм извлечения выборки игнорируем, если Д7| Y,R,U,Z) зависит только от наблюдаемых значений (УоЬ$, 7?inc, ^incZ)-
Д/| Y.R.U.Z) =Д1\ yobs,Z?inc,tZinc,Z). (12.8)
Наконец, второй фактор в (12.7) новый и представляет механизм пропусков — условное распределение R при заданных (Xt/Z). Факторизация (12.7) имеет такую же общую форму, что и факторизация (11.3) для неигнорируемых пропусков, с дополнительным фактором, отражающим выборочный механизм.
Теперь выводы о параметрах популяции следуют из присутствующих значений (Tobs,/?inc,(7inc/,Z) и условного распределения отсутствующих значений (Уе^Д^^.С/у^) при заданных присутствующих значениях:
KVmk,Ura\Yobs,Rinc,UVncJ,Z)^
(12.9)(12.9)WW.WIZ)^
(12.9)
(12.9)
toWtilW^dY^dR^dU^
Здесь в явном виде представлено, что апостериорное распределение (12.9) условно по / и /?inc, кроме (УоЬ$,У1пс,2). Это дополнительное условие часто игнорируют, даже сталкиваясь с пропусками, и строят байесовские выводы с помощью распределения
A l^exc’^mis’^exc |УоЬ8>^шс>^) ~A l^exc’^mis’^exc |УоЬ8>^шс>^) ~(12.10)(12.10)RY,U\Z)
A l^exc’^mis’^exc |УоЬ8>^шс>^) ~
A l^exc’^mis’^exc |УоЬ8>^шс>^) ~
(12.10)
(12.10)
WVYMZjdY dY^jdU LAL 11116 CAL
Следуя [Rubin (1976), (1987)] и определению из раздела 12.1, мы будем говорить, что механизмы извлечения выборки и пропусков одновременно игнорируемы, если распределения (12.9) и (12.10) совпадают. Достаточным условием для игнорируемости механизма пропусков при игнорируемости выборочного механизма является независимость распределения R при заданных Y, U и Z от отсутствующих значений 111*0
/№ОД=/(Я|УоЬ$,Цпс,г).
Если верны это уравнение и (12.8), то
TO,W\ZWWJ\ZW^^^
поэтому (12.9) равно (12.10).
Детальное изложение условий игнорируемости механизмов извлечения выборки и пропусков дано в [Little (1982)]. Перефразируя формулировки, мы можем сказать, что при случайном выборе эти механизмы игнорируемы, если распределение пропусков не зависит от значений признаков, отсутствующих у некоторых объектов. В частности, предполагается, что пропуск не зависит от отсутствующей переменной внутри подклассов, определенных значением переменных плана Z и полностью наблюдаемых переменных Umc. Эти условия сходны с условием ОС и условием раздельности параметров из предыдущих глав, налагаемых в рамках теории правдоподобия. Это соответствие обсуждается в [Rubin (1978), гл. 2].
В следующем разделе мы опишем методы, основанные на модели с распределением в виде (12.9), которая построена в предположении игнорируемости механизмов выбора и пропусков. Почти все аналитические процедуры с обработкой пропусков в выборочных обследованиях, применяемые на практике, опираются, по сути, на это предположение.
МЕТОДЫ ДЛЯ МОДЕЛЕЙ
С ИГНОРИРУЕМЫМИ ПРОПУСКАМИ
Теперь продемонстрируем применение байесовской теории из раздела 12.2 на ряде простых примеров. Некоторые результаты согласуются с оценками и стандартными ошибками квазирандомизацион- ного подхода из гл. 4, однако, как можно показать с помощью простых обобщений этих стандартных результатов, модельному подходу присуща гибкость при выводе оценок и стандартных ошибок в нетрадиционных ситуациях. Во всех примерах взят простой случайный выбор из конечной популяции с пропусками в Y, но не в U. Поскольку ни один из примеров не опирается на существование переменных плана Z, они не включены в выражения, хотя легко провести непосредственное обобщение на случай расслоения. Во всех примерах предполагается, что пропуски игнорируемы, но, возможно, зависимы от значений полностью наблюдаемых переменных t/inc.
Пример 12.2. Модели весовых групп с известными частотами в группах. Допустим, что из популяции с N объектами извлечена простая случайная выборка объема лив значениях переменной Y есть пропуски, соответствующие случайному подвыбору значений выборки внутри групп, формируемых по переменной U, зарегистрированной у всех объектов выборки. Пусть Nj и Yj означают соответственно число объектов и среднее в j-й группе популяции ^U=j). Нашей целью является оценить общее среднее в популяции
Y^PjYj, где Pj=Nj/N.
Допустим, что значения Y в j-й группе н.о.р. по нормальному закону со средним pj и дисперсией о^ и что ^ и 1пс^ имеют локально равномерные априорные распределения, как и в примере 12.1. Считая объем выборки большим, а (7^ ) известными, получим (с помощью выкладок, аналогичных примеру 12.1), что данные по отвечающим (по объектам без пропусков) нормальны со средним
ДУ |yobs,l/inc,\Nj }) = ^PjyjR (12.11) и дисперсией
Уаг(У |yobs,l/inc,\Nj ))=^Pfanj'—N^sfa, (12.12) где mj — число ответивших, ^R и sjR— выборочные среднее и дисперсия значений Y в выборке' отвечающих в j-й группе. Обратите 268
внимание, что (12.11) — это среднее пострасслоения, а (12.12) — его дисперсия, полученные в (4.15) и (4.16) соответственно в рамках квазирандомизационной теории. Значит, эти выражения дают байесовские интервалы, совпадающие с доверительными интервалами для частотного подхода из раздела 4.4.3.
Пример 12.3. Модели весовых групп с неизвестными частотами в группах. Допустим, что мы имеем такую же постановку, как в предыдущем примере, но с неизвестными {^-) в группах, что обычно бывает, когда U— переменная, изучаемая в обследовании. Байесовские выводы о Y основаны на его апостериорном распределении при заданном УоЬ$, которое получают из апостериорного распределения У, условного по заданным УоЬ$ и {^), из примера 12.2, интегрируя по апостериорному распределению {^ ), условно- МУ "О УОЬз’ ^inc-"
Л УI^obs^inc)= тУоЬ$ДПсЛ^)1/Х1^1^obs»Ц^Ц^.
В частности, среднее и дисперсия этого распределения равны:
^(^bs^mc^W l^bs^inc> 1^1 У0Ьз ДпсЛ =
(12.13) = LE(Pj\ Yo^s,Uxn()yjR и
Уаг(У |УоЬ5,Цпс)=^[Уаг(У | (^} ,yobs,t/inc)| yobs,(7inc] +
+Уаг[Д У | (^) ,УоЬз,Цпс)| Уоь5,Щ= (12-14) = Ц£(Р?| Уо^,^)/^-^! УоЬ5Дпс)/^ +
+Var (Е/^ yjR | УоЬ5, t/inc)»
где суммирование проводится по весовым группам j=y...,J. Допустим, что объекты распределены по весовым группам как н.о.р. полиномиальные случайные величины с вероятностями (0x»...s0j) и индексом 1 при локально равномерном по (Уь...,^) априорном распределении. Тогда
^®j\ ^obs»^inc) =Рр
Уаг(Уу| УоЬ5Дпс)=р/1“PjVn,Соу(Уу, 0^ | yobs, ^пс)= рj р^ /и >
где Pj = nj/n, выборочная доля в у-й группе. Далее
E(Pj\ (Уу) ,УОЬ$ Дпс) = [Пу + kN-n^/N,^Pj\ (6j) ,yobs,l/inc) = (N~n)0j (1 -е^№,Co^P?Pk\ ^).У^Днс)—^-")^/^-
Отсюда
ОД ^Дпс^ГОД V)j ) ^obs^inc)! ^obs^ind == [лу + (N— n)Pj]/N=Pj,
Var(Pv| yobs,l/inc)=£[Var(Py| (Уу) ,yobs,l/inc)]++Var[£(Py.| [Уу) ,yobs,(/inc)| yobs,(/inc] =
= (1 -1 /7V)( 1 -n/N^PjV 1 -PjVn,CON<Pj,Pk\YobyUmcVE\CONkPj,Pk\\ej)>^obs’^incl^obs’^incl "*"+ Cov[£(Py| \6j } ,УоЬ8ДЬс), £(Р^(|Уу } ,УоЬ$Дпс)| ^obs^ind == — (1—1/7V)(1 — n/N^pjpk/n.
Подставляя эти выражения в (12.13) и (12.14), получаем
^( ^ l^obs’^ind = ^PjyjR =-^с
— оценку весовых групп (4.10) и после некоторых выкладок
Уаг(У |УоЬ5,Цпс)= ,5^[1— mj/^Np^X s}R/mj++ п~\\~\/^(\~п/1^
-t-Pj^—Pj^/mjV
Это выражение приближенно равно оценке среднеквадратической ошибки оценки весовых групп, приведенной после (4.12).
Гибкость модельного подхода при вычислении оценок и стандартных ошибок можно легко увидеть на примере, когда весовые группы формируются совместно по уровням двух или более факторов. Пусть
Y = £il£iPjkYjkt
где индекс jk относится к группе, соответствующей уровням Ux = j и иг=к двух классифицирующих переменных. Модель
0*1 мп =Л u^MVN^o^
для отвечающих и неотвечающих объектов в группе (j,k) с 6 = ^]к^]к> j— 1,--мЛ к=1,..мК) и локально равномерными априорными распределениями для и 1паД ведет к оценкам весовых групп или пострасслоения, как и ранее. Если число отвечающих
mjk мало в некоторых группах, можно подобрать более экономную модель для описания средних в группах. Например, данным может хорошо соответствовать аддитивная модель
О'/1 м/1 =Л и^к^-М^А-фвк» aj^,
где теперь 0=(зца^к^=\,...,3, к-\,...,К}. Эту модель можно оценивать методом наименьших квадратов, обеспечивая прогноз отсутствующих значений Y Можно строить также объединенную оценку дисперсии, подбирая модель, в которой дисперсии а^к считаются равными при всех j и (или) к.
Другой модельный подход, с помощью которого можно уменьшить добавочную дисперсию оценки весовых групп j^c (по сравнению с оценкой пострасслоения (12.11)), — моделирование вероятности групп Pjk. Например, может оказаться приемлемым предположение о независимости классифицирующих факторов Ux и С^ что ведет к оценкам (без учета поправок на конечность популяции)
Pjk = nj+n + k/n2.
К г где п]^=^№ ^k = ^j=xnjk-
Гибкость модельного подхода при сглаживании средних в группах, дисперсий и пропорций вероятностей особенно полезна, когда весовые группы определяются совокупностью трех или более факторов, т. е. в случаях, когда для оценки пострасслоения и весовых групп требуется достаточно большое число отвечающих в каждой группе, где есть пропуски. Как видно из следующего примера, модельный подход можно также приспособить и для случая с присутствием сопеременных для прогноза пропущенных значений.
Пример 12.4. Заполнение по регрессии. Рассмотрим более общий случай. Пусть извлечена простая случайная выборка объема п^р и^.-.^и^. где К переменных Ux^.^Uk зарегистрированы у всех объектов выборки, а наличие пропуска не зависит от Y условно по Ux»...»UK. Предположим, что
где vz = v(uii9...,uiK) — известная функция, характеризующая разнородность дисперсии. Априорные распределения параметров 0= = (/30,...,/За;,1п(72) предполагаются локально равномерными. Тогда оценками пропущенных значений Y служат их апостериорные средние
ВД ^obs’^inc)= ^° + ^jMip
где (3о,3ь---,3к) — оценки коэффициентов методом наименьших квадратов с весом /-го объекта, равным vz.
Частные случаи оценок, основанных на этой модели, включают оценки из предыдущего примера, получаемые из (12.5) при vz = l и при (Л,...,^, представляющих фиктивные переменные для весовых групп. В их число также входят оценки отсутствующих jz по отношению _
где yR и uR — средние Y и единственной переменной U у отвечающих. Эту оценку получают, полагая в (12.15) К=\, 0о=О и vz = uzl. Если К=\ и vz = l, получается регрессионная оценка отсутствующих yf.
Л =Ук + №j—uR^. (12.16)
Эта оценка появляется также в соответствии с рандомизационной теорией при двойном выборе [Cochran (1977), гл. 12], когда U — переменная, зарегистрированная в большой исходной выборке, a Y — переменная, зарегистрированная в случайно извлеченном подмножестве объектов этой выборки.
При непосредственном применении модельных методов регрессионную модель (12.15) можно использовать не только для оценки отсутствующих значений, но и для построения выводов о параметрах популяции. При этом важно выбирать модели, которые «приспосабливаются» к выборочному плану, т. е. нечувствительны к неточному выбору модели. Последними работами по этой важной теме для полностью зарегистрированных данных являются, например, [Royall and Herson (1973)] или [Hansen, Madow and Tepping (1982)], обсуждение этой работы см. в [Rubin (1985)].
Эту модель можно использовать более узко — просто для вычисления значений для подстановки с последующим оцениванием характеристик популяции по заполненным данным, проводимым с помощью рандомизационных методов. Конечно, при заполнении пропусков модельный подход не ограничивается линейными моделями вида (12.15). Например, для бинарной У. обычно предпочтительнее логистическая регрессия. Для категориальных Y и Ux,...,UK данные образуют частично классифицированную таблицу сопряженности с полными объектами, классифицированными по У, Ux»...,UK, и неполными объектами, классифицированными только по Ux,...JJK. По этим данным можно строить логлинейные модели для таблиц сопряженности, описанные в гл. 9. Эти модели дают оценки p^Ux^.-JJ^ условной вероятности p^c\Ux,...JJ^ того, что объект с пропуском имеет категорию У= с при заданных современных UX,...)UK. Подстановки можно получать, приписывая частично классифицированный объект к ячейке с с вероятностью p(c\UX)...,UK). Эта процедура близка к ЕМ-алгоритму для МП-оце- нивания, обсуждавшемуся в гл. 7.
Поскольку одна подстановка обычно не может представлять неопределенность в выборе подставляемых значений для пропуска (при заполнении каждого пропуска одним значением), для справедливости выводов в общем случае при проведении анализа нужны специальные процедуры. Одним из таких подходов является многократное заполнение.
МНОГОКРАТНОЕ ЗАПОЛНЕНИЕ
Под многократным заполнением мы будем понимать процедуру замены каждого пропущенного значения на вектор АО 2 подстановок. М значений упорядочены в том смысле, что с помощью векторов подстановок можно создать М заполненных множеств данных: замена каждого пропуска первой компонентой из его вектора подстановок дает первое заполненное множество, замена пропусков второй компонентой вектора подстановок — второе множество и т. д. Для анализа каждого множества используются обычные методы для полных данных. Если М наборов подстановок — повторные случайные выборки при одной модели пропусков, то М выводов для заполненных данных можно объединить, чтобы построить вывод, отвечающий неопределенности из-за пропуска в рамках этой модели. Если подстановки сделаны в соответствии с двумя или более моделями пропусков, то объединенные выводы при этих моделях можно сравнивать друг с другом, чтобы выявить чувствительность анализа к моделям пропусков, что особенно важно, когда пропуски неигнорируемы.
Многократные подстановки были впервые предложены в [Rubin (1978)], хотя эта идея появилась в [Rubin (1977)]. В [Rubin (1987)] на высоком уровне дается полное обсуждение этого вопроса. Можно рекомендовать также работы [Rubin (1986); Herzog and Rubin (1983); Li (1985); Schenker (1985); Rubin and Schenker (1986)]. Метод потенциально применим во многих областях. Особенно многообещающе он выглядит в сложных обследованиях, в которых трудно аналитически модифицировать общепринятые методы анализа полных данных на случай пропусков. Ниже мы коротко обсудим многократное заполнение и продемонстрируем его применение.
Как уже указывалось в гл. 2—4, заполнение пропусков широко используется в приложениях. Очевидным практическим преимуществом однократного заполнения является возможность применять обычные методы анализа для полных данных. Заполнение обладает еще одним достоинством в тех частых случаях, когда сбор и анализ данных проводится разными лицами или учреждениями (например, Бюро переписи и университетским ученым-социологом), поскольку при сборе данных можно получить информации больше и лучше по качеству, чем при анализе. Например, в некоторых случаях можно использовать информацию, закрытую по условиям конфиденциальности (например, почтовые индексы домов, в которых проживают
опрашиваемые), для получения подстановок для пропусков (например, годового дохода). Очевидным недостатком однократного заполнения является то, что подстановка одного значения, рассматриваемого как известное, т. е. без специальных поправок, не может отразить выборочный разброс при какой-либо модели пропусков или неопределенность выбора правильной модели пропусков.
Многократные подстановки обладают достоинствами однократного заполнения, но лишены его недостатков. Точнее, если М заполнений проводятся при одной модели пропусков, то результаты М повторов анализа для полных данных можно легко объединить, строя вывод, который правильно отражает выборочную дисперсию, возникающую за счет пропущенных значений. Если многократное заполнение проводится в рамках различных моделей, то вариабельность выводов, верных для этих моделей, отражает неопределенность выбора точной модели. Единственный недостаток многократного заполнения по сравнению с однократным состоит в увеличении объема работы за счет вычисления подстановок и анализа результатов. Однако для современных компьютеров дополнительная работа по анализу данных оказывается очень небольшой, так как она, по сути, сводится к М повторным решениям одной задачи вместо одного.
Теоретически многократное заполнение надо проводить в соответствии со следующей схемой. Для каждой из рассматриваемых моделей М заполнений Ymis — это М повторных извлечений выборки из апостериорного предикторного распределения Ymis. Каждое повторение соответствует независимому выбору параметров и подстановок. На практике часто можно использовать неявные модели вместо явных. Оба этих типа моделей продемонстрированы в [Herzog and Rubin (1983)], где повторные подстановки создаются с помощью 1) явной регрессионной модели и 2) неявной модели, являющейся модификацией подстановки с подбором, принятой в Бюро переписи.
Переход от обычного анализа к анализу многократно заполненных данных проводится довольно прямолинейно. Во-первых, каждое заполненное множество данных анализируется с помощью одного и того же метода для полных данных, который применялся бы при отсутствии пропусков. Пусть У/, Wb 1=\,...,М, — М оценок для «полных» данных и соответствующие дисперсии оценок У, вычисленные по М повторным заполнениям при условии справедливости одной модели. Например, в примере 12.1 У, дается правой частью (12.5), а И} — правой частью (12.6) по /-му набору подстановок Ymis. Объединенная оценка равна:
^=Д1 (12.17)
Вариабельность, соответствующая этой оценке, имеет две компоненты: средняя дисперсия внутри одной подстановки
wm=^ (12.18)
и дисперсия между различными подстановками
(12.19)(12.19)_ £(0/-^
(12.19)
(12.19)
м- м-\
(при векторном 6^У заменяют ность, отвечающая ^м, равна:(при векторном 6^У заменяют ность, отвечающая ^м, равна:на ( )г(-))- Суммарная вариабель-на ( )г(-))- Суммарная вариабель-
(при векторном 6^У заменяют ность, отвечающая ^м, равна:
(при векторном 6^У заменяют ность, отвечающая ^м, равна:
на ( )г(-))- Суммарная вариабель-
на ( )г(-))- Суммарная вариабель-
тм=^м+^вм,тм=^м+^вм,(12.20)(12.20)
тм=^м+^вм,
тм=^м+^вм,
(12.20)
(12.20)
где (Л/+1)/Л/ — поправка на конечность М. При скалярном 6 априорное распределение для интервальных оценок и критериев значимости — это /-распределение:
-1/2
^-^м)Тм ~Ч,(12.21)
где число степеней свободы
р=(М—1) 1 +р=(М—1) 1 +(12.22)(12.22)1 ^Ъ
р=(М—1) 1 +
р=(М—1) 1 +
(12.22)
(12.22)
Л/+1 вм м j
основано на аппроксимации Сэтертуэйта_[КиЬ1п and Schenker (1986); Rubin (1987)]. Интересно заметить, что WM/BM — оценка величины (1—7У7, где 7 — доля информации о У, отсутствующая вследствие пропусков. Наблюдаемая и отсутствующая информация определена в разделе 7.5.
Если в 0 г компонент, то уровни значимости для гипотез относительно У можно получить из М повторных оценок для полных данных У/ и ковариационных матриц Uj с помощью многомерных аналогов (12.17)—(12.21). Менее точные ^-значения можно получить непосредственно по М повторным уровням значимости. Подробности можно найти в [Rubin (1987)].
Несмотря на то что многократное заполнение наиболее естественно объясняется при байесовском подходе, можно показать, что получаемые выводы обладают хорошими свойствами с частотной точки зрения. Например, как показано в [Rubin and Schenker (1986)], во многих случаях интервальные оценки, получаемые только по двум заполнениям, близки по накрытию к номинальным уровням при рандомизационном подходе.
Пример 12.5. Выводы по расслоенной случайной выборке при многократном заполнении (продолжение примеров 12.1. и 12.2). Чтобы проиллюстрировать многократное заполнение, исследуем среднее популяции Y по расслоенной случайной выборке, ^спользуя модель из примера 12.1. При полных данных выводы о Y следует строить, опираясь на утверждение
(Г-Д W -^GE, ^'-^'ЧО] ■ (12.23)
Допустим теперь, что в j-м слое только mj из лу объектов имеют значения. При многократном заполнении каждый из ^j(hj—mj) объектов будет иметь М подстановок, образуя М заполненных наборов данных и М значений средних и дисперсий в каждом слое (обозначим их у^ и s]^ 1=\,...М). Из (12.17) и (12.23) получим оценку Y многократного заполнения — среднее М оценок по заполненным данным:
y=<ЦармУм- (12-24)
Из (12.13), (12.20) и (12.23) получим дисперсию — сумму двух компонент, отраженных в (12.25):
М г J-inМ + 1 М 7—
йх [^nl'-Nj ^/М+^йхЙх<РЯ^^(12-25>
Из (12.21) и (12.22) получаем, что окончательные выводы о Y следуют из того, что (У —У) имеет /-распределение с нулевым средним, квадратом параметра масштаба, определяемым выражением (12.25), и числом степеней свободы (12.22).
Пример 12.6. Получение многократных подстановок для расслоенной случайной выборки с игнорируемыми пропусками (продолжение примера 12.5). Поскольку многократные подстановки вычисляются по предикторному распределению, интуитивно напрашивается метод получения подстановок с подбором, при котором пропущенные значения случайно извлекаются из множества присутствующих значений в одном слое Используя утверждения в [Rubin (1979); Herzog and Rubin (1983)], можно показать, что при бесконечном М получаемая оценка многократного заполнения (12.24) равна оценке пострасслоения из примера 12.2, определяемой выражением (12.12). Суть проблемы здесь заключается в том, что подстановка с подбором не отражает неопределенность выбора параметров в слоях. Эту неопределенность можно все-таки представить в простых обобщениях подстановки с подбором и, значит, получить при больших М не только оценку пострасслоения, но и правильную дисперсию.
Сначала рассмотрим метод, основанный на неявной модели, названной в [Rubin and Schenker (1986)] приближенным байесовским бутстрепом. Независимо для /=1,...,Л/ выполним следующие шаги: 1) получим для каждого слоя nj возможных значений У, случайно извлекая nj значений с возвращением из mj присутствующих значений У в j-м слое и 2) случайным образом извлечем лу—т; пропущенных значений с возвращением из этих nj значений. Чтобы показать, что этот метод пригоден при больших М, т. е. что он будет давать оценку пострасслоения и ее дисперсию в этом случае, можно привлечь результаты из [Rubin and Schenker (1986)] или [Rubin (1987)].
В этом же смысле пригоден также выбор многократных подстановок с помощью явной нормальной модели из примера 12.2, где значения Y внутри слоя j распределены независимо и нормально со средним ^ и дисперсией а? и априорное распределение QtJna.) локально равномерно. Этот метод, названный в [Rubin ana Schenker (1986)] полностью нормальным заполнением, задается М независимыми повторениями следующих двух шагов: 1) извлечь для каждого слоя (p.j,Oj) из их совместного апостериорного распределения и 2) извлечь лу—mj значений для пропусков Y как н.о.р., нормально распределенные со средним и дисперсией, равными извлеченным ^ и oj.
НЕИГНОРИРУЕМЫЕ ПРОПУСКИ
До сих пор мы рассматривали модельный подход к пропускам в обследованиях, основываясь на предположении об игнорируемости пропусков, т. е. подразумевалось, что объекты с пропуском и без пропуска с одинаковыми значениями зарегистрированных переменных не различаются систематически по значениям переменных, отсутствующих у объектов с пропусками. Таким образом, предполагалось выполненным условие ОС. С помощью моделей неигнорируемых пропусков, аналогичных моделям из гл. 11, можно применять модельный подход к обследованиям с пропусками, которые предполагаются неигнорируемыми. По сути, в примерах 11.5 и 11.7 использованы модели неигнорируемых пропусков для данных из реальных обследований.
При неигнорируемых пропусках возникает важный вопрос: является ли целью статистического анализа: 1) дать единственный верный вывод или 2) выявить чувствительность выводов к неигнори- руемым пропускам, делая несколько выводов, каждый из которых справедлив для предполагаемой модели пропусков. Естественно, получение единственного верного вывода в общем случае очень трудная задача, поскольку обычно на практике нет убедительных фактов, исходя из которых можно было бы определить одну точную модель пропусков. Следовательно, исследование чувствительности выводов, верных при различных условиях, — намного более реальная цель по сравнению с получением единственного верного вывода, хотя и менее удовлетворительная. В примере 11.7 проводилось такое исследование чувствительности. Многократное заполнение при подстановке вместо пропусков значений, вычисленных по разным моделям, служит удобным способом выявления чувствительности выводов к этим моделям.
Пример 12.7. Модели весовых групп с неигнорируемыми пропусками. Допустим, что, как и в примере 12.3, группы для взвешивания выбраны таким образом, чтобы в j-й группе распределение Y было одинаковым для объектов с пропуском и без пропусков — нормальным со средним iij и дисперсией aj. Однако в отличие от примера 12.3 переменная, по которой определяются весовые группы, зареги-
стрирована только для объектов выборки без пропусков. Например, пусть пропуск игнорируем внутри категорий дохода, а доход зарегистрирован у отвечающих, но не у отказывающихся отвечать. Тогда нам известно число mj респондентов в j-й группе, но не известно число отказывающихся дать ответ (лу—т^ см. табл. 12.1.
Таблица 12.1. Выборка, классифицированная по наличию пропуска н по переменной весовых групп, известной только для респондентов (в скобках указаны ненаблюдаемые величины)
1
Индикатор пропуска R
/г, = 1
Сумма
('ll)
тх
^x—mvX
Группа
j
mJ
^—тй
(”;)
J
mJ
№j-m^
Сумма
т
п—т
п
Мы хотим оценить среднее популяции
где, как и ранее, Pj и Yj — доля популяции и среднее в j-й группе. Если бы объемы выборок л^ в каждой группе были известны, мы могли бы оценить Y с помощью оценки весовых групп:
5(y|y0bs, /?inc,{^))=£-^= 2,^=7^.
Вместо этого мы оценивали Y апостериорным средним
E(Y\Y^Rmc>=£j&, (12.26)
где hj=E(nj\ Tobs^me) — оценка частоты в j-й группе. Оценивание Hj очень чувствительно к априорным условиям, что можно легко увидеть из табл. 12.1, если заметить, что проблема состоит в распределении л—т отказавшихся отвечать по весовым группам. Предположение об игнорируемости соответствует независимости строк и столбцов в этой таблице и ведет к оцениванию среднего популяции средневыборочным yR по респондентам.
Пусть ^j — априорная вероятность присутствия значения ответа в j-й группе. Примем (нереалистичное) предположение, что ^ известны. Считая распределение частот в таблице полиномиальным, а 278
априорное распределение вероятностей групп — равномерным, мы получим 3
E{nj\ (^) y^Jt^nm^^m^ (12.27)
Поэтому один из подходов основан на том, чтобы определить возможные значения вероятностей ответа, а затем вычислить оценку
Y, подставляя (12.27) в (12.26). По сути, оценка Y зависит от относительных разностей вероятностей ответа, поэтому надо определить не J, a J— 1 величин. Выбирая различные значения {^) и вычисляя соответствующие оценки, мы выявили чувствительность оценки к априорным предположениям о механизме пропусков.
Пример 12.8. Модели неигнорируемых пропусков для частично классифицированных таблиц сопряженности. Модели неигнорируемых пропусков при категориальных переменных рассмотрены в разделе 11.6. В [Little (1982)] представлены МП-оценки для модели, связанной с обсуждавшейся в [Pregibon (1977)] моделью для задачи с непрерывными и категориальными переменными. Здесь мы опишем частный случай этой модели, когда пропуски содержатся только в одной категориальной переменной.
Допустим, что мы имеем т объектов, классифицированных по категориальным переменным Y, UX,..MUK, и п—т объектов, классифицированных только по UX,...,UK. Пусть p(c\Ub...JJK) обозначает условную вероятность, что случайно выбранный объект популяции имеет значение у=с при заданных значениях сопеременных СД,...,^. При игнорируемом механизме пропусков шаг Е ЕМ-алгоритма состоит в приписывании доли p^4c\Ux,...JJK) подмножества п—т частично классифицированных объектов со значениями UX)...JJK к группе у=с, где р^ обозначает оценку р на Z-й итерации (подробности даны в гл. 9). Таким образом, шансы отнести объект к группе у=с против группы у=с' равны
(12.28)
Допустим теперь, что априорные шансы отнести объект с пропуском к категории у=с против у=с равны тг(с,с). Апостериорные шансы вычисляются по теореме Байеса как априорные шансы, умноженные на (12.28). Значит, чувствительность оценки к неигнори- руемым пропускам можно легко исследовать как априорные шансы, когда оценивание проводится с помощью ЕМ-алгоритма или с помощью многократного заполнения при различных предположениях об априорных шансах.
НЕИГНОРИРУЕМЫЕ ПРОПУСКИ И ОТСЛЕЖИВАНИЕ ОБЪЕКТОВ
Единственным путем снизить чувствительность выводов к неиг- норируемым пропускам является уменьшение доли пропусков или сбор информации о том, как объекты с пропусками отличаются от респондентов по исследуемым выходным переменным. Существует 279
довольно обширная прикладная статистическая литература, освещающая методы уменьшения исходно присутствующих пропусков в обследованиях. Три тома, опубликованные Комиссией по неполным данным (Panel on Incomplete Data) Национальной академии наук (США), представляют собой прекрасный библиографический путеводитель [Madow, Nisselson and Olkin (1983); Madow, Olkin and Rubin (1983); Madow and Olkin (1983)]. Наиболее прямолинейный метод сбора информации об объектах с пропусками — проследить по крайней мере за частью из них, чтобы получить нужную информацию. Даже если удается проследить лишь за несколькими объектами, это может стать чрезвычайно полезным для уменьшения чувствительности и неустойчивости выводов, что продемонстрировано в следующем численном эксперименте.
Пример 12.9. Уменьшение неустойчивости выводов при отслеживании объектов. В [Glynn, Laird and Rubin (1986)] описан ряд имитационных экспериментов для нормальных и логнормальных данных, которые можно использовать для исследования уменьшения неустойчивости выводов при наличии данных об отслеженных объектах. Для нормального случая была извлечена выборка из 400 значений из стандартного нормального распределения (из бесконечной популяции). С применением логистического механизма пропусков Pr(/?z = 1 |jz)=exp(l +yz)/[l + exp(l+_yz)] был порожден 101 пропуск. После этого случайным образом были извлечены различные подмножества из 101 объекта, чтобы образовать данные об отслеженных объектах. В итоге получились данные, состоявшие из (ypRi) для объектов без пропусков и отслеженных объектов с пропусками, и только из Ri для неотслеженных объектов с пропусками.
Для анализа этих данных применялись две модели. Использовалась байесовская модель, аналогичная модели из примера 11.5, в которой исходные наблюдения без пропусков считались распределенными М/м,а?), а с пропусками — М^ао) с априорным распределением (^b^oJnffiJnczo), пропорциональным константе. В этой модели значения ¥t были распределены как смесь двух нормальных популяций с неизвестной смешивающей пропорцией. Данные анализировались также при нормально-логистической модели пропусков:
logit [Рг(Я, = 1 !>-,•,а0,«,)] = «о + <Х\Ур
где априорное распределение (^,a0,aiДпа) также было пропорционально константе. Эта модель аналогична модели стохастического цензурирования, рассмотренной в разделе 11.4.
Весь эксперимент был повторен с другим набором данных с 400 логнормальными наблюдениями (т. е. экспонентами значений из стандартного нормального распределения). С помощью логистического механизма отсутствия пропуска Pr(7?z = l/yz)=exp(yz)/(l+exp(yz)) было образовано 88 пропусков. Снова для создания данных об отслеживании объектов с пропусками были случайно извлечены раз-
личные подмножества объектов с пропусками. Для анализа логнормальных данных использовались те же две модели. Заметим, что если для нормальных данных модель цензурирования была подобрана правильно, а модель смеси — неправильно, то для логнормальных данных обе модели были неверными.
Таблица 12.2. Выборочные моменты сгенерированных данных*
Нормальные данные
Логнормальные данные
N
выборочное среднее
выборочное стандартное отклонение
N
выборочное среднее
выборочное стандартное отклонение
Объекты без пропуска
299
0,150
0,982
312
1,857
2,236
Объекты с пропуском
101
—0,591
0,835
88
0,724
0,571
Сумма Значения в популяции
400
0,0
1,0
1,649
2,161
* Нормальные данные извлечены нз нормального (0,1) распределения, логнормальные данные — экспонента от значений из того же распределения. Пропуск определяется логистической функцией: Рг(/?= 1/у)=ехр(а0 + «1У)/[1 +ехр(а0 + а^)], где (ao,ai)=(l,l) для нормальных данных и (0,1) — для логнормальных.
В табл. 12.2 приведены результаты для сгенерированных данных — и нормальных, и логнормальных. В табл. 12.3 даны оценки среднего популяции для обеих моделей и для обоих типов данных. Сразу можно заметить несколько очевидных обстоятельств. Во-первых, модель смеси выглядит несколько более устойчивой по сравнению с моделью цензурирования и проявляет себя почти так же хорошо, как и модель цензурирования, когда верна последняя, и лучше ее, когда обе модели неверны. Во-вторых, чем больше доля отслеженных объектов, тем лучше оценки при обеих моделях. В- третьих, даже малое число отслеженных приводит при использовании модели смеси к разумным оценкам. В [Glynn et al. (1986)] используется многократное заполнение, чтобы построить выводы по данным обследования пенсионеров с применением модели смеси, включающей сопеременные.
Таблица 12.3. Оценки среднего популяции по данным об объектах без пропусков из табл. 12.2 и по данным об отслеживании некоторых объектов с пропусками
Число «отслежен- ных»
Нормальные данные
Число «отслежен- ных»
Логнормальные данные
модели смеси
модель цензурирования
модель смеси
модель цензурирования
11
—0,010
—0,009
9
1,58
0,934
24
—0,025
—0,029
21
1,60
1,030
28
—0,006
—0,008
25
1,61
1,054
101
—0,037
—0,037
88
1,61
1,605
ЛИТЕРАТУРА
Box, G. E. P., and Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis. Reading, MA: Addison-Wesley.
Cochran, W. G. (1977). Sampling Techniques. New York: Wiley/
Glynn, R., Laird, N., and Rubin, D. B. (1986). Selection modelling versus mixture modelling with nonignorable nonresponse, Proceedings of the 1985 Educational Testing Sereice Conference on Selection Modelling.
Hansen, M. H., Madow, W. G., and Tepping, J. (1983). An evaluation of model-dependent and probability-sampling inferences in sample surveys, J. Amer. Statist. Assoc. 78, 776 -807.
Herzog, T., and Rubin, D. B. (1983). Using multiple imputations to handle nonresponse in sample surveys, Incomplete Data in Sample Surveys, Volume 2: Theory and Bibliograohy, New York: Academic Press, pp. 209-245.
Li, К. H. (1985). Hypothesis testing in multiple imputation—with emphasis on mixed-up frequencies in contingency tables, Ph.D. Thesis, The University of Chicago.
Little, R. J. A. (1982). Models for nonresponse in sample surveys, J. Amer. Statist. Assoc. 77, 237-250.
Madow, W. G., Nisselson, H., and Olkin, I. (1983). Incomplete Data in Sample Surveys, vol. I: Report and case studies. New York : Academic Press.
Madow, W. G„ and Olkin, I. (1983). Incomplete Data in Sample Surveys, vol. 3: Proceedings of the Symposium, New York: Academic Press.
Madow, W. G., Olkin, L, and Rubin, D. B. (1983). Incomplete Data in Sample Surveys, vol. 2: Theory and Bibliographies. New York: Academic Press.
Pregibon, D. (1977). Typical survey data: estimation and imputation, Survey Methodol. 2, 70-102.
Royall, R. M., and Herson, J. (1973). Robust estimation from finite populations, J. Amer. Statist. Assoc. 68, 883-889.
Rubin, D. B. (1976). Inference and missing data, Biometrika 63, 581-592.
Rubin, D. B. (1977). Formalizing subjective notions about the effect of nonrespondents in sample surveys, J. Amer. Statist. Assoc. 72, 538-543.
Rubin, D. B. (1978). Multiple imputations in sample surveys—a phenomenological Bayesian approach to nonresponse, Imputation and Editing of Faulty or Missing Survey Data, U.S. Department of Commerce, pp. 1-23.
Rubin, D. B. (1979). Illustrating the use of multiple imputation to handle nonresponse in sample surveys, Proceedings of the 1979 Meetings of the ISI-IASS, Manila.
Rubin, D. B. (1985). The use of propensity scores in applied Bayesian inference. Bayesian Statistics 2. (Bernardo, J. M., De Groot, M. H., Lindley, D. V., and Smith, A. F. M. Eds). Amsterdam: North Holland, pp. 463-472.
Rubin, D. B. (1986). Statistical matching using file concatenation with adjusted weights and multiple imputations, J. Business Econ. Statist. 4, 87-94.
Rubin, D. B. (1987). Multiple Imputation for Nonresponse in Surveys. New York: Wiley.
Rubin, D. B., and Schenker, N. (1986). Multiple imputation for interval estimation from simple random samples with ignorable nonresponse, J. Amer. Statist. Assoc. 81, 366-374.
Scott, A. J. (1977). On the problem of randomization in survey sampling, Sankhya C39, 1-9.
Русский перевод: Кокрен У. Методы выборочных обследований. — М.: Статистика, 1976.
ЗАДАЧИ
Пусть у" и у2 — выборочные средние и дисперсия у в простой случайной выборке объема л из популяции объема N. Покажите, что при нормальной модели асимптотическое апостериорное распределение среднего популяции У нормально со средним У и дисперсией (л-1—N-'ls1. Получите отсюда (12.11) и (12.12).
Познакомтесь с результатами байесовской теории для полиномиального распределения, ведущими к апостериорным моментам 6: и 6^ в примере 12.3 (см., например, [Box and Tiao (1973)].
Приведите подробный вывод среднего и_дисперсии У в примере 12.3.
Покажите, что апостериорная дисперсия У в примере 12.3 и средняя квадратическая ошибка оценки весовых групп в примере 4.2 асимптотически совпадают.
Предположите в примере 12.5, что многократные подстановки получаются с помощью подбора и что М и, все л ■ велики. Покажите, что в результате оценка многократного заполнения Y, Y в (12.24), равна (12.11), а соответствующая дисперсия, равная (12.25), меньше, чем (12.12).
Покажите, что методы приближенного байесовского бутстрепа и полностью нормального заполнения, описанные в примере 12.6, дают при больших М и nj оценку пострасслоеиия с соответствующей дисперсией.
ДОПОЛНЕНИЕ К ПЕРЕВОДУ
А.М.НИКИФОРОВ
МЕТОДЫ АНАЛИЗА ДАННЫХ С ПРОПУСКАМИ И ИХ СВОЙСТВА. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ
НЕПОЛНЫХ ДАННЫХ
ВВЕДЕНИЕ
Предлагаемое дополнение посвящено тем направлениям и проблемам статистического анализа данных с пропусками, которые не рассматривались в книге Р.Дж.А.Литтла и Д.Б.Рубина совсем или рассматривались недостаточно подробно. Их обсуждение, на наш взгляд, уместно в рамках данной книги и будет интересно для читателя.
По сути, теоретическое обоснование методов, изложенных в книге, было сведено к ссылке на работу [Rubin (1976)]. В этой работе при довольно слабо формализованных условиях были продемонстрированы некоторые свойства инвариантности для трех видов статистик (в том числе для отношения правдоподобия). Эти свойства и указание на аналогию со случаем полных данных, конечно, не могут заменить доказательств. Так, наблюдения в выборке при наличии пропусков принадлежат различным подпространствам исходного выборочного пространства, что противоречит традиционным постановкам, требуют уточнения обычные условия идентифицируемости и т.п.
Для конкретных задач и моделей приходится определять специфические условия, связанные с наличием пропусков. Такой подход не только дает возможность получить строгое теоретическое обоснование результатов, но и полезен методически: появляется возможность ослабить условия на распределение пропусков, по-новому раскрываются свойства различных методов и т.д.
В первых разделах дополнения к переводу сформулированы обобщения некоторых классических результатов на случай наблюдений с пропусками; исследованы асимптотические свойства оценок максимального правдоподобия, обобщенных на случай пропусков в наблюдениях, — оценок максимального «маргинального правдоподобия», вычисление которых с помощью ЕМ-алгоритма является основным предметом данной книги; рассмотрены задачи анализа классификации, анализа временных рядов.
В рамках важнейшего раздела математической и прикладной статистики — теории проверки гипотез, практически не обсуждавшегося в книге, рассматриваются подходы к построению и применению статистических критериев при наличии пропусков для типичных нулевых гипотез: однородности двух и нескольких выборок и независимости случайных величин. Предлагаются критерии, для применимости которых достаточно наложить на распределение пропусков условия, которые намного слабее условий ОПС и ОС (формулировку этих условий см. в разделе 5.3 книги, а также в разделе 2.1 дополнения). Обсуждается проблема проверки случайности пропусков (условий ОС и ОПС), также не рассматриваемая в книге.
Кроме того, в дополнении обсуждаются некоторые важные свойства различных методов заполнения. Показано, что метод «локального заполнения» пропусков (см. раздел 7 дополнения) не имеет тех серьезных недостатков, которые присущи простым методам заполнения из гл. 3 книги.
Наконец, в дополнении рассматривается современное состояние программного обеспечения прикладного статистического анализа данных с пропусками, даются предложения по составу методов анализа данных с пропусками в общестатистическом пакете. Приводится текст программы, реализующей ЕМ-алгоритм для многомерного нормального распределения.
СВОЙСТВА ОЦЕНОК
МАКСИМАЛЬНОГО МАРГИНАЛЬНОГО ПРАВДОПОДОБИЯ
ОБОЗНАЧЕНИЯ
Пусть А—измерения г показателей объекта, часть из которых отсутствует в соответствии с г-мерным вектором пропусков М со значениями координат «пропуск» либо «нет пропуска». Будем называть г-мерным наблюдением с пропусками 2г-мерный случайный вектор принимающий значения в измеримом пространстве tX-Xt, ITxlFY где £ =56 !x.„x5Cr,Л1, =^х...хЛ(п
А = Х «пропуск», «нет пропуска»), СТ^и (/^— соответствующие а- алгебры. Через Р*'М обозначим распределение случайного вектора (сл.в.) (А,М). s^^ будет обозначать математическое ожидание по распределению Р^^.
Статистический эксперимент \XJjX, P^j с отсутствием пропусков является проекцией статистического эксперимента с пропусками Е = [22хЖ, lAxt/^, рХ-М^ (см. [Ибрагимов, Хасьминский (1979), с. 18]). Случаю выборки независимых одинаково распределенных (н.о.р.) наблюдений с пропусками объема п соответствует произведение п экспериментов Е. Нас будут интересовать прежде всего выводы о распределении случайного вектора X, т. е. о распределении рХ = рХ.м [АхЛЦ, где А^.
Будем называть Лй структурой пропусков г-ю из 2Г мыслимых реализаций случайного вектора М. Знак Б будет обозначать суммирование по всем возможным структурам пропусков.
Условия на распределение пропусков формализуются так. Условие ОС.
p(m|x) = p(m|xObS),(1)
где р(т\х) — условная вероятность наблюдения х со структурой пропусков т при Х=х, хоь5 — присутствующие в соответствии с т компоненты х (таким образом, вероятность (1) одинакова для всех отсутствующих значений х^).
В общем случае
р(т)=Рх-м<Х,т)=\;р(т\х') dPx
будет обозначать безусловную вероятность наблюдения со структурой т. Условие ОПС определяется равенством:
p(m|x)=p(m).
Далее в обозначениях хт^ и xjgg мы будем часто опускать индекс т, а также индексы obs и mis в аргументах плотностей и функций распределения, если это не вызовет недоразумений.
СОСТОЯТЕЛЬНОСТЬ ММП-ОЦЕНОК
В задаче оценивания будем считать, что \PX^ = \Pe^^ £ В^, — параметрическое семейство, доминированное мерой у=У) x...xvr с соответствующим семейством плотностей (Дл;9), SeO с р<^ Как и в книге, далее предполагается, что р(т|х) не зависит от 6.
Ддя каждой структуры пропусков т определим соответствующую маргинальную плотность:
/m(x,9)=jy(x,9) dv^x.-.xdv^
где интегрирование ведется по компонентам л, .... ik вектора х, отсутствующим в соответствии с т. Напомним, что индекс obs у аргумента маргинальной плотности опущен.
Обобщение метода максимального правдоподобия на случай данных с пропусками приводит к оценке максимального «маргинального правдоподобия» (ОММП):
^(Х,М) = arg тах/^Х.б).(2)
в
Для выборки н.о.р. наблюдений с пропусками (Xv М^,..., ^Хп,М^) ОММП равна п
arg max П /м, (Х„6\
6 t=i
Покажем теперь, что при выполнении некоторых условий ММП- оценка обладает асимптотическими свойствами, которые проявляет обычная ОМП. Обозначим 60 истинное значение оцениваемого параметра, соответствующее распределению Xt. Укажем сначала на свойство сильной состоятельности ОММП в весьма слабых условиях регулярности.
Условие И. Для любого 6^60 найдется такая структура пропусков т, что /m(x,S)^/m(x90) на множестве С(0)с<Г, таком, что
J p(m|xObs) Ax,60)dv > 0.
Приведем несколько примеров, в которых выполняется условие идентифицируемости И.
При оценивании параметров многомерного нормального распределения условие выполняется, если вероятность совместного наблюдения переменных в любой из попарных комбинаций больше нуля.к
Оценивание параметров смеси к распределений G(x)=E р, F\x,6^ z= 1
по неклассифицированной выборке можно рассматривать как задачу обработки данных с пропусками (у каждого наблюдения пропущен инд екс класса). Условие И выполняется, если смесь идентифицируема, т.е. если заданное распределение G(x) однозначно определяет число классов к, веса р; и параметры 6, каждого класса (определение см., например, в [Патрик (1980); Миленький (1975)]). Таким образом, значения переменной могут полностью отсутствовать в выборке, однако параметры, определ яющие ее распределение, могут быть состоятельно оценены, как параметр (pi,..., р^) распределения индекса класса в данном примере.
Вероятность появления полностью комплектного наблюдения больше нуля, выполняется условие ОПС, в Ре^Ре^ при 6^6О. Это самое распространеннное условие (см. [Бурлаков (1979); Titterington, Jiang (1983)]).
Обозначим е(0,ф) метрику в О и У^ - sup /т(х,ф).
е(М)^Д
Условие Н. ЛхД непрерывна по 6 на множестве В^ОК, P6oW»=L
Условие J. Для всех 0с©1 т, для которых р(т)>0, существует такое Д>0, что
j In и^ (х,9) //т(х,90) ЛхА) dv < ~
(по умолчанию область интегрирования — (х: f(x,6o) > 0 ]).
Условие J налагает ограничения на маргинальные плотности для всех возможных структур пропусков. Следующее условие проще, предъявляется только к полной плотности и влечет за собой выполнение условия J: для всех 0е© существует такое Д>0, что
j /^ (хА dv <~.
Теорема L Если выполняются условия ОС, Н, И, J, а 6 — компакт, то ОММП в случае выборки н.о.р. наблюдений с пропусками (A^Af])... сильно состоятельна.
Доказательства теорем 1,3 и 4 (при условии ОПС) содержатся в [Никифоров (1987)], их формулировки в насятощем дополнении следуют [Никифоров (1989)]. Теорема 1 соответствует одному из вариантов в [Боровков (1984), раздел 2.27], обобщенному на случай пропусков.
АСИМПТОТИЧЕСКАЯ НОРМАЛЬНОСТЬ
И ЭФФЕКТИВНОСТЬ ОММП
Интересно получить неравенство Крамера—Рао для данных с пропусками, т.е. указать для регулярного случая нижнюю границу ковариационных матриц оценок 6 (Х,М) = 9 (A^s, А/), получаемых по присутствующим данным. В традиционной форме [Ибрагимов, Хасьминский (1979), с.104; Боровков (1984), с.158] неравенство неприменимо для данных с пропусками, так как аргумент плотности, x^s, является случайным (он меняется в зависимости от М)*. Тем
* Точнее, можно применять для данных с пропусками неравенство Крамера—Рао в обычной форме, но лишь условно по М.
не менее для данных с пропусками остается верной запись
(3) где J — единичная матрица, D(6)= V 0(d(6)T), d(9^=E?CiM6—90 — смещение, если определить информационную матрицу как
1^ = Е $ V0In/w(x0) [V0 Infm^yp(m|x obsV(x,e0) dv. (4)
Точнее, справедлив следующий результат.
Теорема 2. Пусть Ц(х,9)У/г непрерывно дифференцируема по 6 для п.в. [У] значений х, для оценки 6 верно Е^^В1 < С < «=>, выполняется условие ОС, матрица 1(6) положительно определена и непрерывна по 0€®. Тогда выполнено (3).
При условии ОПС инеформационная матрица (4) имеет более простой вид:
/(0) = Ep(m) j V# In/^Ix^IVgln/^U.^jVCx^o) dv.
Введем следующее условие регулярности.
Условие R. Для всех бит, для которых р(т)>0, функции ln/m(x^) трижды дифференцируемы по 6, все производные первого и второго порядков мажорируются интегрируемыми функциями, а третьи производные — функциями, интегрируемыми по J(x,6)dv.
Теорема 3. Пусть выполняются условие ОС и условие регулярности R, I (6) положительно определена в О. Тогда:
ОММП по выборке н.о.р. сл.в. №, Afi),... асимптотически нормальна с ковариационной матрицей I (60), т.е. при п — ~ имеет место сходимость по распределению х#Г"(9 — 0О) "^ N(OJ(6o));
среди решений уравнения ^УД /^(^,6) = 0, начиная с некоторого случайного п, существует по /^^-вероятности только одно состоятельное решение.
Таким образом, асимптотическое поведение ММП-оценки в условиях регулярности аналогично поведению ОМП в задаче без пропусков, т.е. ОММП асимптотически нормальна и эффективна.
КЛАССИФИКАЦИЯ ПО ДАННЫМ С ПРОПУСКАМИ
Следующей задачей, в которой мы рассмотрим применение подхода с заменой исходного (полного) распределения на маргинальные распределения, является дискриминантный анализ многомерных наблюдений с пропусками.
Пусть мы получаем (с пропусками) измерения характеристик объекта, которые зависят от того, к какому из к классов принадлежит объект, т.е. X есть случайный вектор, имеющий одно из к распределений Pw^Ph которые мы будем считать известными. Потери при отнесении наблюдения из класса j в класс i обозначим через c(iV)> априорную вероятность принадлежности к классу j — через Pj.
10. Р. Дж. А. Литтл, Д. Б. Рубин
Решающее правило есть отображение d(X,M)=d(Xobs) [1£], т.е. классификация объектов с использованием той части данных, которая доступна иам в соответствии с вектором пропусков М. Задачей является поиск оптимального решающего правила D, минимизирующего средние потери
к
R(d) = Е Pj Ес <d (Х,М) [/), ;=i
где Ej — математическое ожидание по распределению случайного вектора (Х,М) в классе j. Обозначим через / (х|У) и /т(х|» полную и маргинальную (в соответствии со структурой пропусков т) плотности, отвечающие распределению Pj случайного вектора X в классе j.
Теорема 4. Пусть выполняется условие ОС и распределение пропусков не зависит от класса:
p(m/xj) = p(m/xobs), j=\ к.(5)
Тогда оптимально (минимизирует средние потери) решающее правило, основанное на маргинальны^ плотностях:
Z>(A",A/) = arg min ЕРу ^Gl/) ^м (-ИАi j
Исходя из этого простого результата с помощью геометрических представлений несложно показать, что предварительное заполнение пропусков в распознаваемом наблюдении (предлагаемое, например в [Kennedy, Chien (1982)]) не может улучшить качество классифицирования, а в широком круге задач приводит к увеличению средних потерь (вероятности ошибочной классификации при антидиагональ- ной матрице потерь). Этот результат верен в условиях теоремы, т.е. при известных распределениях, или при оценивании распределений РЬ...,Р^ по обучающим выборкам, по крайней мере, в асимптотике роста объемов выборок.
Приведенная формулировка включает случай [Krzysko (1983)] дискриминантного анализа временных рядов (см. также раздел 4).
К проблеме классификации можно отнести и задачу о разладке [Клигене, Текльснис (1983)], в которой качество методов характеризуется, как правило, длительностью периода от изменения состояния наблюдаемого объекта (разладки) до подачи сигнала об обнаружении разлодки (при заданной интенсивности ложных тревог). Ясно, что оптимальная обработка пропусков может быть очень важной при практическом применении методов обнаружения разладки, будь то анализ технологическогог процесса, обработки данных сейсмического слежения и т.п. Следует ожидать, что использование маргинальных плотностей в (асимптотически) оптимальных методах, например в алгоритме кумулятивных сумма (см., например, [Никифоров (1983)]), позволит сохранить их свойства при наличии пропусков.
ОБРАБОТКА НАБЛЮДЕНИЙ
ИЗ ВРЕМЕННБ1Х РЯДОВ ПРИ НАЛИЧИИ ПРОПУСКОВ
В этом разделе мы обсудим применение подхода с использованием маргинальной плотности при наличии пропусков, когда наблюдения выборки уже не являются независимыми.
Как и в разделе 8.6 книги Р.Дж.А. Литтла и Д.Б.Рубина, мы рассмотрим процесс авторегрессии р-го порядка АР(р), см. уравнение (8:14) книги, не замыкаясь, однако, на задаче построения ЕМ-алгорит- ма. Условная плотность вероятности выборки Х^=(ХуХр...,Хп) из временного ряда за время от /=0 до t=n есть
Л I а^,0) / дх_^ ,6) / дх_^ ,е\(6)
Для АР(р) плотность (6) определена , если известны р значений ряда до /=0, т.е. Х_р,...,Х_1 .
Пусть в выборке за время от t=S ^ —р до t=n отсутствуют значения Хц, Х;2Обсуждаемый подход ведет к использованию при наличии пропусков в статистических выводах вместо плотности (6) условной маргинальной плотности
/м (^ I ^1) = /м (^/L А /,6),(7)
где в числителе и знаменателе стоят маргинальные плотности, полученные интегрированием по Xit, Х/2 Для процесса АР(р) плот
ность (7) будет теперь определена, если есть р наблюдений ряда подряд до /=0 с известными значениями, и через s выше обозначен момент времени, с которого начинается «серия» наблюдений без пропусков (т.е. iY > s+p). Случай, когда такой «серии» не существует, относится к проблеме анализа временных рядов при отсутствии начальных значений, обсуждаемой в конце раздела.
Итак, при наличии пропусков предлагается использовать (7) в статистических выводах. В задачах дискриминантного анализа временных рядов использование (7) дает оптимальный классификатор (см. предыдущий раздел).
Что касается точечного .оценивания для зависимых наблюдений, то исследуемый подход приводит к оценкам максимального маргинального правдоподобия (2) с фукцией правдоподобия в виде (7). Утверждения о состоятельности, асимптотической нормальности и эффективности ОММП в условиях регулярности для данных с пропусками, видимо, поддаются обобщению на обсуждаемый случай зависимых наблюдений.
щ*
Теперь рассмотрим процесс авторегрессии первого порядка АР(1): X, = 0Xt_, + ет, 0 6 (-1,1),
где ет — случайная величина, распределенная нормально ^0,ст2). Здесь и далее для краткости принято, что среднее процесса ц=0 и 0=(3,а1). При ненулевом ц потребуется лишь простая замена Xt на Xt
Предложение. Маргинальная плотность наблюдения Хих для одномерного гауссовского процесса АР(1) при наличии к пропусков подряд есть:
Kxuv\xt_k№=
= (1 + 02+... + 0г/г)-1/2 ехр Г — ^+1—^+* Х1-к^ 1
Доказательство просто: в [Никифоров (1987)] используется метод математической индукции, еще проще ограничиться вычислением условных математического ожидания и дисперсии нормально распределенной случайной величины Xt+V
Пусть теперь выборка с пропусками из процесса АР(1) образована наблюдениями ... Xt, Xt ,...,Xt, причем tx ^ —1, а О ^ ti ^ ...^ tt ^ п. Тогда (7) равно
УСА^ | Xh, 0) /(Xt3 | Xt1? 0) .../(X,J Xtrl,0\
где сомножители имеют вид (8) при числе пропусков k=ti+x—^/—ь /=01.
С помощью (8) можно полностью описать ЕМ-алгоритм (см. раздел 8.6.2 книги) для авторегрессионного процесса АР(1). Для этого нужно вывести условные математическое ожидание и дисперсию Xt, E(Xt | Xtl, X(2) и Var (Xt | X^, Xt2), при произвольной структуре пропусков, т.е. когда Xt — один из к пропусков между Xt и Xt2 : tx <t<ti, к=уг—tx—1) > 1 (в книге получены выражения для Аг= 1, а в задаче 8.11 предлагается вывести их для случая £=2). Обозначим через кх число пропусков, отделяющих отсутствующее значение Xt от Xt : кх = t—tx — 1, и аналогично кг = 1г—t—1, тогда k=kx+ki+l. Далее, для АР(1)
Л^хДх^ Axtl\xt) дх,\х,д
^l^i’^) - Axti\xt) - лад,)
Подставляя в правую часть этого выражения плотности вида (8) с параметрами ki, кх и к (в силу нормальности Xt достаточно расписать только числитель), получим:
E^Xt\Xtx,Xt^ = (Xtxek'+ 1V2 + X^^/V,
(9) Var(Xf|Xfi,A,2) = Vx V^/V,
где K^l + ^+.-. + iS2*1. /2=i+...+^2, ^i+.^+y2^. Выражения, полученные в книге в конце раздела 8.6.2, следуют из (9) при кг=к2=0 (в обозначениях раздела 8.6 Xt следует заменить на Yt—ц).
В заключение обсудим проблему, связанную с отсутствием ина- чальных значений при обработке временных рядов и весьма существенную в том случае, когда мы имеем дело с короткими реализациями временного ряда. Пусть мы начали наблюдения в момент времени t=0, т.е. в реализации отсутствуют значения Х_р ...,Х_р,Х_р_1... . Обычный способ [Бокс, Дженкинс (1974)] вычисления плотности в этом случае — «прогнозирование назад» достаточно большого числа реализаций временного ряда (например, для процесса АР(р) «прогнозируют» р реализаций). Этот способ сходен с заполнением пропусков. В подходе с использованием маргинального распределения эта проблема решается естественным образом. В самом деле, можно рассматривать наблюдения, отсутствующие до /=0, как бесконечное множество пропусков. Например, пусть мы наблюдаем временной ряд АР(1) с момента времени /=0. Тогда маргинальная плотность для наблюдения Хо есть (8), где положено £===:
~ х(1—32)1/2Г 1 — 022 "I
Дх.) = _—exp [ — — х0 J .
уЩо2<т2
Как мы видим, это выражение совпадает с выражением в [Бокс, Дженкинс (1974)], полученным для «точной» функции правдоподобия из других соображений (а именно из условия обратимости процесса).
УСЛОВНЫЕ ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ ОДНОРОДНОСТИ МНОГОМЕРНЫХ ВЫБОРОК ПРИ НЕСЛУЧАЙНЫХ ПРОПУСКАХ
В этом разделе будут сформулированы критерии и результаты для двухвыборочной задачи, а затем описаны их аналоги для нескольких выборок и провеедно обсуждение методов вычисления.
ОПИСАНИЕ КРИТЕРИЕВ
Рассмотрим задачу проверки однородности двух многомерных выборок с пропусками с нулевой гипотезой
Но : F = G
и общей альтернативой
Н^ : F * G.
Нас будут интересовать критерии со статистиками типа Смирнова и омега-квадрат. В одномерном случае эти критерии свободны от распределения в классе непрерывных функций распределения (ФР). Для их прямых многомерных обобщений это свойство утрачивается вследствие зависимости между элементами случайного вектора. Естественным и простым выходом является построение критериев, условных по объединенной выборке (для ранговых критериев — условных по матрице рангов объединенной выборки). Этот подход был предложен еше в начале 60-х годов: в [David, Fix (I960)] и [Sen, Chatterjee (1964)] «было указано, что классический принцип перестановок Фишера... в приложении к ранговым критериям для многомерных задач ведет к процедурам, которые свободны от распределения и которые, по крайней мере теоретически, могут быть протабулированы» [Bickel (1969), с. 1]. Применяя этот принцип к многомерному обобщению двухвыборочного критерия Смирнова, П. Бикел [Bickel (1969)] доказал, что такой условный критерий состоятелен и свободен от распределения.
Оказывается, можно предложить такие обобщения условных критериев Смирнова и омега-квадрат на случай многомерных наблюдений с пропусками, что они будут состоятельными и свободными от распределения при очень слабых ограничениях на распределение пропусков.
Пусть
А{ = ((Xi.MO,...,^^),^ = ^М;)<Х„,М'^ -
две независимые выборки r-мерных наблюдений с пропусками. Построим для этих выборок маргинальные эмпирические функции распределения (ЭФР) для всех наблюденных структур пропусков (напомним, что структурой пропусков в г-мерном наблюдении называется r-мерный вектор М с координатами «пропуск» или «нет пропуска», а ^-мерной эмпирической функцией распределения вы- 294
борки (Xi,...,XJ называется
ПХ € и,) = F(y) = \/п Е 1Х. (у),кк
где иу — угол в R с вершиной у, 1х = П ЛО,- — х) — функция распределения с массой 1 в точке x=(xi,...,x^T, Мр — функция Хевисайда). Пусть Ц > 0 обозначает число наблюдений с /-й структурой пропусков в 1-й выборке, /=1s, лу > О — число наблюдений су-й структурой пропусков во 2-й выборке, j=\t (подмножества структур пропусков в выборках могут не совпадать, структуры в одном подмножестве пронумерованы независимо от другого подмножества). Таким образом, мы получим два множества ЭФР:
^■(х),..., Т^х)), (Gf(x) G^x)],
где F-i — .^-мерная ЭФР, построенная по ij наблюдениям с Ай структурой пропусков из первой выборки, Г; — размерность соответствующего подпространства Rri с RrtG”/ — ЭФР во
второй выборке, j=\,...,t, а х в качестве аргумента по-прежнему обозначает подмножество х^ переменных исходного r-мерного случайного вектора х, присутствующих согласно Ай (Ай) структуре пропусков т=т^т=т]). Далее индексы Ц и лу в обозначениях ЭФР опущены.
Критерий типа Смирнова основан на статистике
D = sup | Е Ippyi — Е пр^х)/п | .(10)
х 1=17=1 J J
Заметим, что если число s (или f) наблюденных структур пропусков в первой (второй) выборке больше единицы, то соответствующая сумма в (10) уже не является функцией распределения. Далее, если не выполняется условие ОПС, то эти суммы не являются в общем случае состоятельными оценками соответствующих линейных комбинаций маргинальных функций распределения исходной ФР Цх) или G(x).
Верхняя грань в (10) берется по х € Rr. Статистика D сравнивается с критическим значением с(а, \Х,М\), где \Х,М\ — объединенная выборка наблюдений с пропусками: \Х,М\ = Арвп. Точнее,
1, если D>c,
Ф(£> | ^ХМ) = ,Ф(£> | ^ХМ) = ,w, если D=c,w, если D=c,(П)(П)
Ф(£> | ^ХМ) = ,
Ф(£> | ^ХМ) = ,
w, если D=c,
w, если D=c,
(П)
(П)
0, если D<c,
где Ф — критическая функция, а с и w — величины, зависящие от \Х,М\ и обеспечивающие нужный уровень значимости а. Значения с и w определяются единственным образом для любого 0<а<1. Уточнять способ их выбора мы не будем, поскольку на практике обычно оперируют фактически достигаемым уровнем значимости, способ вычисления которого обсуждается ниже.
Распределение статистики D при нулевой гипотезе определяется на множестве перестановок, условном по объединенной выборке \х,м\-
I\D^d\\XM = ^l^ '^Ц0^*(12)
где I — индикатор события, Dj — значение статистики (10) для /-го возможного способа выбора (без возвращения) наблюдений из \Х,М\ в выборку объема /, /=1, ..., f/^).
Теорема 5.' Пусть распределение пропусков в выборках одинаково:
p(m|x,l) = p(m|x,2) = р(т|х),(13)
где р(т|х,/) — вероятность наблюдения /-й выборки со структурой т при значении сл.в. Х=х, а в остальном произвольно. Тогда условный критерий (10), (11) уровня а>0 состоятелен против альтернативы Я! : Цх) # G(x), причем найдутся такие т и х € Xobs>
что Jb (m|x) d[F— G](x)=0. Здесь через XobsH X^ обозначены под- x^s
пространства Rr, соответствующие присутствующим и отсутствующим переменным при структуре т.
Дополнительное условие, конкретизирующее альтернативу в формулировке теоремы, означает, упрощенно говоря, что критерий обнаруживает любое различие между распределениями на множестве, вероятность наблюдения из которого больше нуля (т.е. различие, не «маскируемое» пропусками).
Наблюдения с различным числом присутствующих значений имеют в (10) одинаковый вес. Более общий вид статистики (10):
D = sup | Е aft — Е bpj |,(14)
X
и при выборе ai=lfj/l, где rt — число присутствующих переменных в структуре mt (и аналогичном выборе bj) эта ситуация изменится. При этом коэффициенты, соответствующие «пустым» наблюдениям с т=(«пропуск»«пропуск»), будут равны нулю, т.е. различие выборок по таким наблюдениям уже не будет при-
ниматься в расчет. Вообще говоря, выбор коэффициентов а и b довольно произволен. При способах выбора, обсуждавшихся выше, учитывается различие выборок по распределению структур пропусков. Можно отказаться от этого: значения a^Vs и b=l/t или ai = bj=\ также обеспечивают справедливость теоремы 5.
Статистика Смирнова для многомерных ЭФР допускает и другие обобщения при пропусках, например
D=max suple/7/^—Ьр^хД,(15)
/ X
где максимум берется по множеству структур [mz], присутствующих в [Х,М} (в (15) принято, что индексы /,. и л; в обозначениях Ft и G, относятся к одной и той же структуре пропусков mimax, что допускается /,=0 или л,=0, /;+л;>0). При выборе a^l/l, Ь^п/п или а^Цгр, Ь^п^^п формулировка теоремы 5 для статистики (15) сохраняется дословно.
Статистикой типа омега-квадрат в обсуждаемой постановке будет:
Jt^ а^-Д bp^dWtx),(16)
где Ж — некоторая весовая функция (не обязательно ФР).
Возможны, конечно, и другие способы обобщения статистик типа Смирнова и омега-квадрат.
Так, супремум в (10), (14), (15) берется по x^W. Это эквивалентно поиску максимума на множестве U точек х из Rr, у которых координаты Xj принимают значения j-ой переменной, имеющиеся в объединенной выборке %Л/}, во всех возможных сочетаниях, т. е. U=^ctRr:xj=Xlj, /=1/+л, j=\г), где Ху — значение у-ой переменной у /-го объекта объединенной выборки, если оно присутствует, и + ", если отсутствует. В случае двух выборок объемов I и л при отсутствии пропусков и совпадений число элементов множества U составит (1+п)г. Таким образом, объем вычислений увеличивается экспоненциально с ростом размерности наблюдений, по крайней мере, для простого перебора по множеству U.
Другой путь прямого обобщения статистик типа Смирнова — брать максимум модуля в выражениях (10), (14), (15), только в (1+п) выборочных точках, т. е. на множестве V=^c£Rr;Xy=Xy, /=1l+n, j'=l,...г), где Ху, означает то же, что и выше. Обозначим статистики, полученные таким способом, через Т. Очевидно, T^D. Заметим, что критерии, основанные на втором способе обобщения
статистики Смирнова, также состоятельны. Относительно сравнения двух подходов по мощности соответствующих критериев и другим свойствам пока ничего нельзя сказать.
В случае статистик типа омега-квадрат можно по-разному выбирать функцию W в (16) в согласии с этими двумя подходами. В первом интеграл (16) обратится в сумму подынтегральной функции по множеству U, во втором — в сумму по множеству V (второй вариант соответствует формальному прочтению для многомерного случая статистики Лемана—Розенблатта с W=H, где Н — ЭФР объединенной выборки [Большев, Смирнов (1983), с. 86]).
В многовыборочном случае это обилие вариантов множится на несколько способов построения статистик для к выборок (см. например, [Гаек, Шидак (1971), с. 133—136]). Один из наиболее известных способов (см. [Черномордик (1980)] и ссылки там) можно обобщить на случай данных с пропусками следующим образом:
S- к S' S-
трЛ"^ 1171
где Sj — число структур пропусков в j-ой выборке, Fy — /умерная ЭФР, построенная по 1у наблюдениям с /-й структурой в /-и выборке, Cj, dp atj — некоторые положительные коэффициенты, например, ау=1^у/1,, Cj=dj=lp lj — объем j-й выборки. Распределение статистики (17) определяется аналогично (12). Обобщение (12) и условия (13) очевидно. Переформулировка для многовыборочного случая теоремы 5 и следующих за ней предложений также не составит труда для читателя.
Из (12) следует, что условные критерии типа (14) — (17) как перестановочные критерии свободны от распределения, поскольку при заданной объединенной выборке [ХМ и при нулевой гипотезе распределение статистики одно и то же в семействе всех распределений рх,м на ртх^ т е
рх-м х... х px.M(D rf| [ХМ)
не зависит от рхм, Это свойство, конечно, верно для обоих подходов к многомерному обобщению критериев типа Смирнова и омега- квадрат.
Заметим также, что в предлагаемых критериях не требуется непрерывности ФР, так что совпадения в наблюдениях в выборке по одной или более переменным не требуют модификаций процедур. Это обстоятельство — естественное следствие построения критериев как условных по (объединенной) выборке [см. Кокс, Хинкли (1978), гл 6].
МЕТОДЫ ВЫЧИСЛЕНИЙ
Задачу вычисления фактически достигаемого уровня значимости Q для условных перестановочных критериев, рассмотренных выше, можно представить как задачу оценивания среднего конечной совокупности с числом элементов С(1,п)=( / / (в к-выборочном случае вместо С(1,п) надо взять («1+ ...+л^!/(л1!...лА!), где л](..., пк — объемы выборок). В самом деле, пусть д,=0, если для i-то из С(1,п) возможных способов извлечения выборки объема / из объединенной выборки^ХА/) статистика D^d, где d — наблюденное значение статистики D, и qt=X — в противном случае. Тогда Q=’Lqi/C(l,n). При практическом использовании критерия можно пренебрегать конечностью С(1,п) (в случаях, когда С(1,п) мало, нетрудно точно вычислять Q с помощью полного перебора), при этом мы приходим к задаче оценивания параметра Q биномиального распределения.
К сожалению, эффективная схема точного вычисления Q для статистик типа Смирнова [Черномордик (1980)] не поддается обобщению на многомерный случай, а для критерия омега-квадрат — даже на одномерный случай. Это относится и к другим методам, в которых задачи об однородности к выборок анализируются с помощью модели случайных блужданий, поскольку в многомерном случае трудно установить связь между траекторией блуждания и значением статистики. Естественным (и приемлемым с практической точки зрения) методом является метод статистических испытаний (Монте-Карло), в котором в качестве оценки Q используется число испытаний, в которых статистика имела значение, не меньшее наблюденного. Точность оценивания Q естественно характеризовать доверительным интервалом уровня 95%, 99% и т. п. Для его вычисления можно использовать биномиальную аппроксимацию, указанную выше, а при достаточно большом числе испытаний — пуассоновскую аппроксимацию биномиального распределения (для Q, близких к 0 или 1) или нормальную аппроксимацию.
Поскольку с ростом объемов выборок и особенно размерности наблюдений время счета быстро возрастает, целесообразно после одного или нескольких испытаний пересчитывать оценку Q и соответствующий доверительный интервал и выводить эти величины на экран, чтобы пользователь мог остановить процесс (например, увеличение точности оценки Q, как правило, не имеет смысла, если текущий 99%-ный доверительный интервал для Q равен (0,3, 0,8)).
Заметим, что прерывание итераций по достижении заданной точности (длины интервала) будет приводить в среднем к оптимистическому доверительному интервалу и к оценке Q, смещенной к
значению 0 либо 1. На практике можно пренебречь этим эффектом, считая, что пользователь, прерывая счет, подвержен воздействию многих внешних факторов, так что выбор точности и момента остановки счета случайны.
Вообще говоря, точность вычисления Q в методе Монте-Карло не существенна для свойств состоятельности критерия и свободы от распределения и важна, по сути, лишь для его мощности. Это вытекает из следующего утверждения.
Пусть задан уровень значимости 0<а<1. Назовем «приближенным критерием уровня а с К испытаниями» критерий, в котором за фактически достигаемый уровень значимости принимается его оценка Ок методом Монте-Карло после К испытаний. (Замечание. Уровень значимости приближенного критерия совпадает с уровнем значимости точного критерия благодаря тому, что Ок — несмещенная оценка Q при любом Л^>0.)
Теорема 6. В условиях теоремы 5 приближенные критерии уровня а>0 при К>0 испытаниях состоятельны.
Теорему 5 можно считать частным случаем этого результата. Она соответствует теореме 6 при К= С(1,п). (При выборе без возвращения. При выборе с возвращением К==> .) Обобщение формулировки теоремы 6 для критериев со статистиками (14) — (17) и для других предложений из раздела 5.1 достаточно прозрачно и опускается.
АНАЛИЗ ТАБЛИЦ СОПРЯЖЕННОСТИ И ПРОВЕРКА НЕЗАВИСИМОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН
При проверке независимости непараметрическими методами также допустимы очень слабые условия на распределение пропусков. Рассмотрим сначала задачу проверки независимости двух факторов в двумерной таблице сопряженности.
Пусть в эксперименте получают двумерные наблюдения с пропусками (Х,М), где Х=(хх,Хг)т, M=(mx,m^T, где х, принимает значения /€(1,...,/Ц, х2 — значения j€[lС]. Допустим, что распределение подчиняется одному из следующих условий (различие функций может, как и ранее, задаваться различием аргументов):
p(m|xi ,х^ =р(тх\х,)р(т2\х2)(18а)
или
р(т\х1,х2)=рбт1\х2)р(т2\х1).(186)
В данном примере условие ОС не является одним из частных случаев (186).
Пусть при отсутствии пропусков (т. е. в соответствии с распределением Р*) вероятности ячеек в таблице сопряженности RxC равны ру , i=l,...A j=l,...,C. Тогда при наличии пропусков и условии (18а) (случай (186) рассматривается аналогично) вероятности ячеек в таблице сопряженности, составленной по комплектным наблюдениям, равны
Apyp'jpj, (19)
где А — константа нормировки, а р\ и р* — вероятности р(тх = =«нет пропуска»!^=z) и р(т2=«нет пропуска»|х2 =j). На протяжении раздела будет предполагаться, что р- >0 и р* >0 при всех / и J.
Из (19) вытекает, что при наличии пропусков, подчиняющихся условию (18а) или (186), можно проверять гипотезу независимости по комплектным наблюдениям с помощью обычных критериев отношения правдоподобия или хи-квадрат без каких-либо изменений.
В самом деле, считая справедливой гипотезу независимости, т. е. принимая р°у =p°i+p0+j, где p°i+ = Epy,p°+j = Еру , после
простых выкладок получаем Рц-p^p^j, где Ру — вероятности ячеек в таблице, образуемой комплектными наблюдениями, p^p+j — соответствующие маргинальные вероятности по строкам и столбцам. С другой стороны, указанные критерии сохраняют состоятельность против общей альтернативы зависимости: р°у ^р^р^р поскольку это условие влечет выполнение неравенства Py^Pi + p+J при любых р->0, Pj>0, р°у, Ерц=1, i=l,...,R, j=l,...,C. Чтобы доказать это, надо убедиться в том, что система уравнений относительно /?С+1 неизвестных А, р°у
0 4 12 0 „0 0 1Pki=A^ PiPjPkjPn, Е РЦ = 1,
имеет единственное решение р°у =p°l + p°+j.
Выкладки, связанные с доказательством этого утверждения, мы опустим.
Для проверки независимости в таблицах 2x2 (эквивалентной гипотезе 6=р0пР2г/^Р”2Р11)=^ известны равномерно наиболее мощные несмещенные условные критерии, основанные на гипергеометрическом распределении. Проводя доказательство аналогично [Леман (1979), с. 163—165], получим, что при пропусках оптимальны эти же критерии, вычисляемые по комплектным наблюдениям, если верно (18а) или (186). Более того, равномерно наиболее мощными останутся несмещенные критерии для проверки различных
р(т\х)=^хр(т3\х1(^р(т\х)=^хр(т3\х1(^(20)(20)
р(т\х)=^хр(т3\х1(^
р(т\х)=^хр(т3\х1(^
(20)
(20)
гипотез о 0 при альтернативных, указанных в [Леман (1979), с. 153], если при наличии пропусков типа (18а) или (186) эти критерии также будут вычисляться только по наблюдениям с присутствием обоих факторов.
Перечисленные выше результаты отражают то обстоятельство, что наблюдение с присутствием одной из компонент вектора X не несет информации о зависимости двух факторов, если выполняется условие (18).
Сходные явления будут наблюдаться и при логлинейном анализе Ar-факторных таблиц сопряженности. Например, при проверке общей независимости (гипотезы об отсутствии взаимодействия высшего порядка в логлинейной модели) аналогом условий (18а) и (186) является
где теперь тих — Ar-мерные случайные векторы, а (/(!),..., Цк)) — произвольная перестановка множества (1,..,,Аг).
В общем случае проверки независимости к случайных величин, не обязательно являющихся дискретными с конечным числом градаций, ситуация сохраняется, т. е. независимость случайных величин при отсутствии пропусков, P^x;=P!(Xi)P2(x2)...P^ ведет при выполнении условия (20) к независимости в комплектных наблюдениях:
р(х\т*>=рхкхх\т^...рк(х^т^,
где т* — структура пропусков, соответствующая комплектному наблюдению. Таким образом, при справедливости (20) можно проверять независимость случайных величин по комплектны^ наблюдениям с помощью тех же непараметрических критериев (например, ранговых критериев Спирмена или Кендалла при к=2\ которые применяются для данных без пропусков. Справедливости ради отметим, что такой подход при к>2 может сильно снижать эффективность критериев при альтернативах, включающих частичную зависимость (т. е. зависимость внутри подмножества переменных в наблюдении) и большом числе пропусков.
МЕТОДЫ ЗАПОЛНЕНИЯ ПРОПУСКОВ И ИХ СВОЙСТВА. ЛОКАЛЬНОЕ ЗАПОЛНЕНИЕ
Обобщенно говоря, методам заполнения пропусков присущи следующие два принципиальных недостатка.
Как правило, параметры для алгоритма заполнения пропусков вычисляются по присутствующим данным, что вносит зависи- 302
мость между наблюдениями. Конечно, такой искусственной зависи- мости не возникает, если проводится заполнение константой или случайными значениями, не зависящими от присутствующих наблюдений в выборке, или методом «подстановки без подбора» (см. раздел 4.5 книги). На практике эти методы представляют малую ценность. Зависимости можно также избежать, разделяя исходную выборку на две подвыборки и вычисляя подстановки (например, средневыборочные значения) для анализируемой подвыборки по значениям наблюдений во второй подвыборке. При таком подходе жертвуется часть информации, чтобы заполнить пропущенные значения.
Распределение данных после заполнения будет отличаться от истинного, даже если пренебречь зависимостью, указанной выше. Этот факт особенно нагляден для простых методов заполнения — средневыборочными, по регрессии и т. п. (см. раздел 3.4 книги или [Basilevsky et al. (1985)]). Так, заполнение средневыборочными Хр j=1,...,г, по присутствующим значениям даст распределение в виде смеси, одной из компонент которой является истинное распределение по присутствующим значениям (соответствующее комплектным наблюдениям), а остальными компонентами — распределения, соответствующие некомплектным наблюдениям с различными структурами пропусков и вырожденные в
1х;=хр
где Sz — множество признаков с пропусками /-й структуры, /=1,...^Ч N — число наблюденных структур пропусков. Различные варианты методов заполнения с помощью регрессии, главных компонент и аналогичных методов снова приведут к смеси истинного и вырожденных распределений с вырождением на гиперплоскостях, на которых располагаются предсказываемые значения.
Анализ таких «полных» данных стандартными методами неправомерен и приводит к недостаткам, подробно обсуждавшимся в разделе 3.4: несостоятельность, смещенность оценок параметров. Качество оценок ухудшается с ростом доли пропусков. Аналогичные явления (несостоятельность, искажение номинального уровня значимости) характерны и для статистических критериев проверки гипотез, применяемых к заполненным данным.
Рассмотрим теперь метод, который естественно назвать методом локального заполнения пропусков. Он сходен по идее с одним из методов подстановки с подбором, применяемых для задачи оценивания среднего одномерной переменной в конечной популяции
(см. гл. 4), — с методом «ближайшего соседа». Разберем такой вариант метода локального заполнения.
Пусть Rr — r-мерное евклидово пространство. Примем, что вероятность комплектного наблюдения больше нуля. Пусть F(x), x^Rr, — функция распределения случайного вектора X (соответствующая Р*), а (Хх,МО,...,(Хп,Мп) — выборка независимых наблюдений с пропусками. Допустим, что распределение Рх абсолютно непрерывно относительно некоторой меры на Rr, так что существует плотность / относительно этой меры.
Допустим, что в Z-м наблюдении Х; отсутствуют переменные ^imis и присутствуют Xiobs. Вычислим евклидовы расстояния между /-м и всеми комплектными наблюдениями Х; в подпространстве, соответствующем присутствующим в X, переменным:
(21)
Пусть Ij = Vu*..J^ — подмножество индексов с минимальным значением расстояния (21). Если в Zz входит только один объект ji, то берут подстановку %/mis=%7- Если к>1, то из /, извлекают случайным образом индекс j и полагают X/mis=Xy.mis.
Обозначим через Fn(x) эмпирическую функцию распределения, построенную по заполненной этим методом выборке.
Теорема 7. При п и условии ОПС
sup|F/x>—F(x)\ -*0.(22)
Приведенное утверждение означает, что при неограниченном увеличении объема выборки локальное заполнение обеспечивает совпадение распределения заполненной выборки с истинным.
Из теоремы вытекает, в частности, что оценки, непрерывные в Fb равномерной метрике [см. Боровков (1984), с. 26], а к ним относятся очень многие «разумные» оценки, состоятельные при полных данных, будут состоятельны и для данных с пропусками после локального заполнения.
Описанный простейший способ можно обобщить в нескольких направлениях. Во-первых, можно использовать самые разные расстояния — метрики Махаланобиса, Хемминга, Колмогорова, их комбинации, взвешивание переменных, неметрические расстояния и т. д. Во-вторых, возможны варианты, не ограничивающиеся подбором по комплектным объектам, например заполнение по наблюдениям с возрастающим числом присутствующих переменных с «на-
коплением» значений (такой вариант более «равномерно» использует присутствующую в выборке информацию). При этом для справедливости (22), однако, обязательна вложенность подмножеств переменных с присутствующими значениями в последовательности объектов.
В общем случае, когда распределение пропусков может не подчиняться условию ОПС, наблюдениям со структурой т при заполнении описанным способом будет соответствовать плотность
Уоб-^isl ■^Obs)fm№s)
в предположении существования соответствующих плотностей, где jo — плотность, условная по присутствию комплектного наблюдения, а /т — плотность, условная по присутствию наблюдения со структурой т. В результате предельное распределение заполненной выборки имеет плотность
Ер(т)/о til^bs^m (^bs/т
При условии ОПС fm^bs)=/m(^bs) №я всех т (в правой части этого равенства стоит маргинальная плотность распределения Рх)1 что отвечает результату (22).
Обратимся теперь к известному алгоритму ZET [Загоруйко, Елкина, Тимеркаев (1976)]. Внешне он сходен с методом локального заполнения. Однако с точки зрения математика его нельзя признать удовлетворительным. Провести сколько-нибудь строгое исследование свойств алгоритма практически невозможно, так как он представляет собой последовательность достаточно сложных эвристических процедур. Вместо этого мы продемонстрируем на простых примерах действие механизмов, которые будут приводить в общем случае к искажениям исходного распределения при заполнении пропусков алгоритмом ZET. Обсуждаемые ниже явления надо учитывать также при конструировании локальных методов заполнения.
Рассмотрим более подробно последнюю модификацию алгоритма ZET — алгоритм ZETM [Загоруйко и др. (1986), гл. 2]. В этом алгоритме пропуски заполняются величиной, которая является линейной комбинацией (взвешенным средним) регрессионных оценок пропущенного значения. Оценки вычисляются по предсказывающей подматрице исходной таблицы «объект-признак». Размеры подматрицы малы (в примере, сопровождающем описание алгоритма, фигурируют значения от 3x3 до 10x10). Конкретный способ
3053051. Р. Дж. А. Литтл, Д. Б. Рубин
305
305
вычисления в [Загоруйко и др. (1986)] не указан, однако при любом разумном толковании (используется ли простая или множественная регрессия и т. п.) будут задействованы следующие механизмы.
Если в вычислении подстановок используется не один, а несколько объектов, то усреднение прогнозируемых значений может привести к неприятным последствиям, даже если число этих объектов мало. Рассмотрим неполную выборку двумерных векторов (xj9> в которой часть объектов комплектна, а часть объектов содержит значения х и пропуски у. Будем проводить заполнение по методу «двух ближайших соседей»: подбирать для /-го объекта с пропуском yt два комплектных объекта /ь/2 с минимальными расстояниями 1хл”х/1’ lxh”xil и заполнять пропуск значением У^^-^УкУЗ- Тогда в пределе при л-*°° для распределений, непрерывных по х, условная дисперсия подстановок у при заданном х будет в 2 раза меньше истинной условной дисперсии у. Значит, если зависимость между х и у не очень сильна, то занижение дисперсии будет заметно уже при сравнительно небольшой доле пропусков. Свойство (22) будет верно в общем случае только при у=у(х) п. в. (Заполнение по регрессии не изменит характер рассматриваемых искажений.)
Отбор признаков связан с еще одной опасностью. Это проще всего проиллюстрировать на примере выборки независимых трехмерных бинарных векторов (лу^-, /=1,2,...,л, которую можно представить в виде трехфакторной таблицы сопряженности 2x2x2. Пусть распределение сосредоточено в трех точках — (0,0,0), (0,1,1) и (1,0,1) с массами 1/3 каждая. Пусть p-я часть наблюдений содержит пропуски в переменной z. По-прежнему будем считать верным условие ОПС. Заполняя пропуски локальным методом (т. е. подбирая ближайший объект и случайно выбирая значения, если число таких объектов с минимальным расстоянием более одного), но используя только переменную х и игнорируя значения у, мы получим, что в заполненной выборке часть наблюдений имеет недопустимые значения: (0,0,1) и (0,1,0). В пределе п**00 эта часть составляет р/3.
То, что в алгоритме ZETM «столбцы» (признаки) отбираются по степени близости друг к другу [см. Загоруйко и др. (1986), с. 20], может уменьшить подобный эффект, но, конечно, не устранит его полностью (за исключением случая строгой линейной зависимости). В приведенном примере столбцы х и у одинаково близки к столбцу Z в евклидовой метрике, используемой в ZETM.
Сходной природой обладает и еще один возможный источник искажений. Речь идет о таком способе поиска подстановок. Пусть требуется заполнить пропуск у-го признака у /-го объекта, Ху. Если вычислять подстановки по подмножеству наблюдений с присутствием признака j и это подмножество формируется независимо от аналогичных подмножеств, образуемых для заполнения 306
пропусков в других признаках, то такой подход тоже может приводить к «выбросам» — объектам с неестественным сочетанием значений признаков, а также к другим искажениям. Этот подход был реализован в алгоритме ZET.
В алгоритме ZETM имеется итеративный режим вычисления новых значений подстановок с учетом значений, вычисленных и подставленных на предыдущем шаге [Загоруйко и др. (1986), с. 21, 115], что может вносить дополнительную искусственную зависимость между объектами выборки и усиливать «центростремительные тенденции», особенно если доля пропусков велика.
В разделе 4.5.1 книги упомянуты еще два подхода к заполнению пропусков. Для обоих свойство (22) в общем случае не выполняется. В первом (пункт е), см. также [Titterington, Jiang (1983); Little, Smith (1987)]) к подстановке для пропуска, вычисляемой по регрессионному уравнению, добавляют случайное значение, сгенериро- "ванное согласно распределению, условному по присутствующим значениям, со значением параметра, равным его текущей оценке 6. Распределение подстановок будет «подгонять» истинное распределение к распределению выбранной параметрической модели со значением параметра 6. Составной метод (пункт ж)) также не удовлетворителен: ясно, что при различном распределении отклонений от регрессии для различных значений независимых переменных добавление к регрессионному предсказанию случайно выбранных остатков может заметно исказить исходное распределение.
Более приемлемо выглядит вариант, близкий к одному из предложений в [Little, Smith (1987)], — комбинация регрессионного и локального заполнения, при которой к регрессионному прогнозу пропущенных значений добавляют остаток от регрессии для ближайшего (в пространстве известных переменных) комплектного наблюдения. Свойства такого метода будут близки к описанному выше простому методу локального заполнения, в частности, при ОПС будет выполняться (22). Вопрос о том, какой из этих двух подходов предпочтительнее (и в каких условиях), остается открытым.
Что касается свойств методов заполнения, описанных в книге в разделе 4.5.3, то они близки к свойствам описанного простого локального метода. Заметим, что методы из гл. 4 предназначены для решения частной задачи — оценивания характеристики скалярной переменной, поэтому здесь ситуация проще. В частности, вести подбор по полному подмножеству «сопеременных» xz- не обязательно в отличие от локального заполнения в общем многомерном случае.
В заключение раздела коротко обсудим, как заполнение пропусков влияет на характер выводов при так называемых методах анализа данных, и назовем некоторые альтернативные подходы. К этим методам относятся методы кластерного анализа, многомерного шкалирования, разведочные методы (например, визуализация данных). Их применение обычно не опирается на какую-либо вероятную модель, поэтому бессмысленно характеризовать их свойства в статистических терминах состоятельности, (несмещенности критериев и оценок параметров, устойчивости и эффективности. Тем не менее и для этих методов заполнение, как правило, искажает природу данных и характер выводов. Так, если пропуски не зависят от значений признаков, то заполнение средними, по регрессии или аналогичными методами приведет к искусственному увеличению доли объектов со значениями признаков в центре совокупности (выборки) или на соответствующих гиперплоскостях. Искусственно компактными будут классы в кластер-анализе после заполнения пропусков внутригрупповыми средними или с помощью алгоритма ZETM. При этом степень искажения также увеличивается с ростом доли пропусков. Поэтому в методах анализа данных желательно искать методы обработки пропусков, не связанные с их заполнением (а при отсутствии таковых обращаться к локальному заполнению).
К методам невероятностного анализа данных с пропусками без их заполнения относится подход, описанный в гл. 5 книги Э. Дидэ с соавторами «Методы анализа данных. Подход» основанный на методе динамических сгущений» (М.: Финансы и статистика, 1985), для кластер-анализа эталонного типа (обобщение алгоритма типа ISODATA). Для методов анализа данных, основанных на матрице расстояний между объектами (иерархический кластер-анализ, многомерное шкалирование), можно «заполнять» не пропуски, а те компоненты расстояний, которые невозможно вычислить из-за пропусков наблюдений, т. е. добавлять к расстоянию d^ вычисленному в подпространстве S, возможно большей для каждой (ьй) пары объектов размерности, средневыборочное расстояние в дополнении $. до полного пространства (такой способ реализован в одном из пакетов ЦСМИ, см. раздел 9), или это же расстояние, умноженное на величину, пропорциональную d^ В многомерном шкалировании при наличии пропусков естественно минимизировать сумму Lp^d— —dy по всем /=1,...,л(л—1)/2 парам объектов, dt — исходное, d{ — модельное расстояния для z-й пары, когда в Pj вводится множитель, монотонно возрастающий при увеличении числа признаков, участвовавших в вычислении расстояния d^ Все эти подходы требуют изучения.
ИССЛЕДОВАНИЕ РАСПРЕДЕЛЕНИЯ ПРОПУСКОВ. ПРОВЕРКА СЛУЧАЙНОСТИ
Условия случайности пропусков (ОС и ОПС) являются необходимыми условиями применимости большинства известных методов анализа неполных данных, в том числе и описанных в книге Литтла и Рубина. Между тем к настоящему времени предложено лишь несколько частных методов проверки случайности пропусков, например простейший метод сравнения одномерных распределений, упомянутый в книге (раздел 3.2) и более подробно обсуждаемый в [Little, Smith (1987)], или метод проверки условия ОПС для независимых переменных в задаче анализа линейной регрессионной модели в [Simonoff (1988)].
Тем не менее можно построить полезные многомерные критерии для проверки ОПС и ОС. Сразу оговоримся, что проверить условие ОС принципиально возможно только в том случае, когда станут известны первоначально отсутствовавшие значения — при проведении более дорогостоящих или разрушающих измерений или по данным об объекте, полученным через некоторое время после проведения исследования и т. п. (но не за счет заполнения пропусков тем или иным способом, в котором само условие ОС или ОПС будет считаться справедливым).
Несмотря на то что новые методы корректны при условии ОС и не требуют более жесткого условия ОПС, проверка условия ОПС также важна, поскольку простые методы обработки неполных данных (например, анализ полных наблюдений или методы локального заполнения, обсуждаемые в настоящем дополнении), приемлемые в общем случае только при выполнении ОПС, видимо, еще долго будут использоваться в приложениях. Новые методы (описанные, в частности, в этой книге) требуют довольно больших вычислительных ресурсов. Может оказаться дешевле получить дополнительные наблюдения и провести анализ полных наблюдений, чем обрабатывать исходную выборку с пропусками. Кроме того, для многих задач проверки гипотез методы, успешно работающие при ОС, еще не развиты. Сюда относятся, в частности, традиционные задачи проверки гипотез в предположении нормальности распределения (регрессионный, корреляционный, дискриминантный анализ и др.).
Начнем с критериев проверки условия ОС по восстановленным данным. Нулевая гипотеза:
Н'0:р(т № =р(т |xobs,xmi> =р(т |xobs). (23)
Пусть в случайной выборке н.о.р. r-мерных наблюдений с пропусками (XbMx)1...1Xi^Rr) присутствуют наблюдения с $ различными структурами пропусков wb...,ws. Тогда из (23) следует, что для
каждой структуры т^ /=1,...а распределение переменных, отсутствующих согласно rrij (с функцией распределения F), является маргинальным распределением исходного распределения Рх (с ФР F(x)):
^Ы=Р(хт^,(24)
где условная запись в правой части означает, что аргументом F является x=fxmisAobs) со значениями переменных, относящихся к xobs, равными +“ (считаем, что из множества тхms исключена структура, соответствующая комплектному наблюдению).
Построим по восстановленным значениям пропусков s эмпирических функций распределения ^F*,...,F*^ для s структур. Таким образом, i-я ЭФР F* определена в подпространстве переменных, отсутствующих согласно Ш;. Построим также Р*(х) — г-мерную ЭФР «восстановленной» выборки Хъ...,Хп.
Для проверки (24) предлагаются непараметрические перестановочные критерии, близкие по духу к критериям из раздела 5, со статистиками, аналогичными (14) — (17) (разумеется, данная задача не сводится к проверке однородности s выборок, поскольку выборки заведомо неоднородны по структуре пропусков). Статистикой типа Смирнова будет
D= sup tcAF^-F^xA1,(25)
где Fgfx) — маргинальная ФР эмпирической функции распределения Р*(х) в подпространстве переменных, отсутствующих согласно Шу Cj — некоторые веса, например с, может быть числом отсутствующих значений при mj, числом объектов со структурой mj, их произведением и т. п. Распределение (25) определяется условно по восстановленной выборке Хх,...,Хп. Нетрудно сконструировать критерии с другими статистиками типа (15) или (16), типа омега- квадрат (17) и т. п.
Условие ОПС
Н"0;р(т\х)=р(т)
означает, что распределение X одинаково для каждой структуры пропусков, имеющейся в выборке (Хх,Мх),... (совпадает с распределением F(x)).
Проверять условие ОПС по исходной выборке с пропусками можно лишь относительно присутствующих переменных:
Fi"(xobs)=F(xobs,"), /=1,...А(26)
где теперь аргументом ФР F является вектор х с xmis=(+ro + ="), a Ff — ФР переменных, присутствующих согласно т (здесь принято, что из множества mx,...,ms исключена структура, соответствующая наблюдению с полным отсутствием значений). Таким образом, принципиально невозможно обнаруживать по исходной выборке такие отклонения от ОПС, для которых выполняется (26), но нарушено условие ОС.
Построить простые перестановочные критерии типа (25) для проверки ОПС трудно, поэтому рассмотрим случай, когда Р^ относится к параметрическому семейству многомерных распределений (например, нормальных). Тогда гипотеза состоит в том, что s выборок извлечены из распределений, маргинальных по отношению к Рх. и подходящим критерием будет обобщение критерия отношения правдоподобий на случай данных с пропусками типа ОС (критерий отношения «маргинальных правдоподобий»). Действия будут таковы: получить произведение Lx функций правдоподобия для всех s выборок, вычисленных по отдельности с помощью обычных методов для данных без пропусков, а затем вычислить функцию правдоподобия Ьг исходной выборки с пропусками ^Х1,М1),...,^Хп,Мп), считая, что все Хе имеют распределение Р^ (если Рх — нормальное распределение, то это можно сделать с помощью ЕМ-алгоритма для многомерного нормального распределения, см. раздел 8.2 книги и текст соответствующей программы в разделе 10 дополнения). Тогда величина 2(ln£i—1пТ2) имеет асимптотическое распределение хи-квадрат (число степеней свободы зависит от вида модели Рх, а также от г, — числа присутствующих значений при /-й структуре пропусков). Кстати, можно конструировать подобные (на самом деле более простые) параметрические критерии проверки условия ОС по данным с восстановленными значениями пропусков, а не только перестановочные критерии типа (25).
Проверка условия ОПС по восстановленнной выборке сводится к обычной задаче об однородности s r-мерных выборок, которую можно решать, используя как параметрические критерии, например из [Андерсон (1963)], так и непараметрические критерии. Конечно, располагая восстановленными значениями, можно строить критерии проверки не только для ОС и ОПС, но и для других условий, например (18), (20) из раздела 6 или условий (5), (13), использованных в теоремах 4 и 5 (см. разделы 4 и 5).
Поскольку пропуски являются случайными объектами, они могут сами по себе представлять предмет статистического исследования.
В r-мерной выборке объема N пропуски порождают случайную матрицу rxN со значениями элементов «пропуск» и «нет пропуска». При независимых наблюдениях с пропусками имеется N независимых r-мерных бинарных случайных векторов. Можно выдвигать гипотезу о равной вероятности пропуска в переменных: Py=pik, где Ру — вероятность пропуска у-й переменной в /-м наблюдении, /=1,...^, j,k=\г, и проверять ее как в предположении одинаковой распределенности пропусков для различных объектов, т. е. при py=prj, так и без него (соответствующие асимптотические критерии можно найти в [Флейс (1989), раздел 8.4] и в цитированных там работах), а также в [Орлов (1982); Никифорова (1989)]). По критериям, описанным в [Флейс (1989), гл. 13], можно проверять гипотезы о наличии зависимости между пропусками в различных переменных, также не полагаясь на предположение об одинаковой распределенности пропусков по объектам. Следуя указанным выше работам, можно строить и другие гипотезы подобного рода и соответствующие критерии.
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СТАТИСТИЧЕСКОГО АНАЛИЗА ДАННЫХ С ПРОПУСКАМИ
СОВРЕМЕННОЕ СОСТОЯНИЕ ПРЕДМЕТА
Основным инструментом прикладной статистической обработки данных служат пакеты программ, библиотеки и другие программные продукты. Можно констатировать, что современное статистическое программное обеспечение анализа данных с пропусками в целом находится на уровне 60-х годов (в этом разделе мы не затрагиваем методы анализа в рамках теории надежности и т. п., имея в виду лишь те задачи, в которых механизм порождения пропусков не представляет прямого интереса для исследователя). Практически все статистические программные средства, в которых предусмотрена возможность наличия пропусков в данных, содержат лишь простые методы — исключение некомплектных наблюдений, заполнение пропусков средними, заполнение с помощью регрессии или главных компонент, вычисление ковариационной матрицы и вектора средних парными методами и т. д., т. е. методы, которые были реализованы еще в первых версиях пакетов SSP, IMSL, BMD (BMDP). Как было показано выше (см. гл. 3, а также дополнение), эти методы, как правило; неудовлетворительны. В связи с этим не имеет смысла подробно рассматривать состав методов анализа данных с пропусками, реализованных к настоящему времени в программных средствах, относящихся к прикладной статистике (их насчитывается несколько сотен [см. Сильвестров (1988)]). Доста-
точно указать читателю краткий обзор И. С. Енюкова в [Айвазян, Енюков, Мешалкин (1983)], где представлены возможности пакетов BMDP 3-й и 4-й версий, SPSS, ППСА, ОТЭКС, ПНП (развитие библиотеки SSP), DIAS по обработке неполных данных. В этих и практически во всех других программных средствах прикладного статистического анализа реализовано лишь некоторое подмножество указанных простых методов или их модификаций (за исключением пакета ОТЭКС, в котором важное место отводится алгоритму ZETM, обсуждавшемуся в разделе 7).
Тем не менее разработка статистического программного обеспечения, основанного на новых подходах, рассмотренных в данной книге, началась, и, видимо, через несколько лет многие статистические программные средства будут содержать реализации современных, теоретически обоснованных методов.
Одним из первых общестатистических пакетов, представляющих новые методы, описанные в настоящей книге, будет пакет BMDP последней, шестой версии, выпуск которого планируется в 1990 г. В этом пакете предполагается реализовать, например, методы анализа для многих из моделей, связанных с многомерным нормальным распределением и порождаемых структурами из раздела 8.5.
В нашей стране в Центре статистических методов и информатики (ЦСМИ) разрабатывается статистическое программное обеспечение, в состав которого включены современные методы обработки неполных данных, в том числе описанные в данной книге и в дополнении.
Один из программных продуктов ЦСМИ — диалоговая статистическая система ДИСАН (разработана под руководством О. М. Черномордика), которая, по сути, является специализированным средством обработки таблиц данных типа «объект-признак» с пропусками. Все разделы этой системы рассчитаны на наличие пропусков. В системе реализованы методы проверки случайности пропусков. В мощном экранном редакторе, входящем в ее состав, каждая таблица исходно считается состоящей из пропусков. Каждый пропуск может иметь два состояния — «отсутствующее» и «стертое» значение. Отсутствующие или стертые значения отображаются на экране как пустые ячейки, поэтому пользователю не нужно кодировать пропуск числовым значением.
Система не предлагает методы заполнения, которые, могли бы стать источником искаженных выводов. Если в какой-либо задаче существует несколько корректных вариантов обработки пропусков, то вычисления проводятся для всех вариантов (если при этом не требуется слишком больших вычислительных затрат). Система «помогает» пользователю избежать ошибочных выводов, связанных с наличием пропусков. Так, например, в регрессионном анализе для метода комплектных наблюдений проводится дисперсионный анализ регрессии, а для ЕМ-алгоритма выводятся только соответствующие оценки.
МЕТОДЫ АНАЛИЗА ДАННЫХ С ПРОПУСКАМИ В ОБЩЕСГАТИСГИЧЕСКОМ ПАКЕТЕ
В данном разделе описывается примерный набор методов обработки данных с пропусками, которые целесообразно включать в настоящее время в общестатистические пакеты, исходя из современного уровня их развития и обоснованности. Совокупность описанных ниже функций близка к набору методов, реализованных в диалоговой системе статистического анализа данных с пропусками Центра статистических методов и информатики.
Для каждого метода указывается один или более приемлемых способов обработки пропусков, а также соответствующие условия на распределение пропусков. Используются следующие сокращения: АКН — анализ комплектных наблюдений, ПМ — парный метод. Если не оговаривается особо, то условием на распределение пропусков для АКН и ПМ является условие ОПС, а для ЕМ-алгоритма — условие ОС.
Работа с данными. Ввод и редактирование данных с пропусками. Возможность удаления значений и восстановление «стертых» значений. Удаление по условию. Стандартные средства манипулирования данными.
Проверка случайности пропусков и исследование распределения пропусков. Простейшие методы проверки по одномерным распределениям. Проверка условий ОПС и ОС с помощью условных
многомерных перестановочных критериев по статистикам типа Колмогорова—Смирнова, омега-квадрат, с помощью критерия отношения правдоподобия для многомерного нормального распределения. Проверка гипотез о равной вероятности пропусков в переменных и о зависимости между пропусками в различных переменных.
Статистика одномерных случайных величин. Вычисление выборочных характеристик (среднего арифметического, дисперсии, коэффициента вариации, размаха), их погрешностей (ошибки среднего, дисперсии, коэффициента вариации и т. д.), доверительных границ. Проверка нормальности. Непараметрический одномерный анализ (вычисление медианы, квантилей, межквартильного расстояния, моды). Робастные оценки характеристик. Построение гистограммы и оценки функции распределения. Парзеновская оценка плотности.
Проверка однородности двух независимых выборок с помощью критериев Крамера—Уэлча, Стьюдента, обобщенного критерия Смирнова. Обнаружение эффекта воздействия (проверка однородности двух связанных выборок): критерий Стьюдента, непараметрические критерии знаков, критерий Смирнова симметрии распределения и другие.
Способ обработки пропусков — исключение пропусков из выборки (при проверке однородности двух связанных выборок — исключение пары, в которой отсутствует хотя бы одно из наблюдений). Условия на распределение пропусков зависят от вида анализа: для большинства параметрических задач игнорировать пропуски допустимо в общем случае лишь при ОПС (или ОС, что эквивалентно в одномерном случае при независимых наблюдениях). Для непараметрического анализа условия слабее. Так, при точечном и доверительном оценивании медианы достаточно равенства вероятностей пропуска относительно точки /?~1(1/2), при проверке однородности — одинакового распределения пропусков в выборках (условие (13)).
Проверка однородности двух независимых многомерных выборок с помощью критериев Хотеллинга, Беннета [см. Андерсон (1963)] (метод обработки пропусков — АКН), отношения правдоподобия (для этого критерия вычисления основаны на ЕМ-алгоритме).
Проверка гипотез о значении среднего многомерного нормального распределения с помощью критериев Хотеллинга (АКН) и отношения правдоподобия (используется соответствующий вариант ЕМ-алгоритма). Проверка однородности двух связанных многомерных выборок с помощью этих критериев (при этом в каждой паре наблюдений вычисляются разности значений только для одновременно присутствующих переменных, в противном случае разность считается пропуском).
Проверка однородности нескольких многомерных выборок с помощью непараметрических критериев (см. раздел 5 дополнения, условие (13)).
Оценка матрицы парных (АКН, ПМ, ЕМ-алгоритм) и частных (АКН, ЕМ-алгоритм) коэффициентов корреляции, коэффициентов Кендалла и Спирмена (ПМ). Проверка гипотез о значении коэффициентов корреляции: парных (АКН, ПМ), частных (АКН). Проверка независимости двух случайных величин по коэффициентам корреляции Кендалла и Спирмена_ (условия (18)).
Регрессионный анализ. Множественная линейная регрессия, нелинейная регрессия, непараметрическая регрессия, многофакторный дисперсионный анализ (оценивание — АКН, ЕМ-алгоритм; проверка гипотез — АКН).
Классификация. Линейный дискриминантный анализ (АКН, ЕМ-алгоритм). Кластер-анализ (метод обработки пропусков описан в конце раздела 7). Анализ смесей распределений (ЕМ-алгоритм). Метод к ближайших соседей (для этого метода возможны, например, такие подходы. В первом поиск ближайших соседей ведется среди тех объектов обучающих выборок, у которых присутствуют все переменные, имеющиеся у классифицируемого объекта из контрольной выборки, во втором — только среди тех объектов обучающих выборок, у которых структура пропусков такая же, как у данного классифицируемого объекта. При условии ОПС качество первого классификатора, естественно, будет выше, в то время как второй подход применим при следующем слабом условии на распределение пропусков: пропуски не зависят от класса (можно построить разумный классификатор, отказавшись даже от этого условия), в остальном распределение произвольно.)
Снижение размерности и визуализация данных. Факторный анализ (АКН, ЕМ-алгоритм), метод главных компонент, проекции на плоскость любых главных компонент (АКН). Диаграммы рассеивания (ПМ). Двумерное шкалирование (метод обработки пропусков описан в конце раздела 7).
ТЕКСТ ПРОГРАММЫ ЕМ-АЛГОРИТМА
ДЛЯ МНОГОМЕРНОГО НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
Приводимый в распечатке текст адаптирован из текста программы, входящей в состав диалоговой статистической системы ЦСМИ (см. раздел 9), функционирующей под управлением операционной системы РАФОС для ЭВМ, программно совместимых с ЭВМ СМ-4. 316
Данный вариант программы оформлен как независимая совокупность модулей (подпрограмм, написанных на Фортране), практически готовая для обращения.
Для вызова программы пользователь должен лишь написать три простые дополнительные процедуры-функции DEF, DEFOBS и COND (тип функций — LOGICAL *1). В DEF должен быть один входной параметр X вещественного типа, в DEFOBS — два входных параметра: первый — М, число признаков, второй — вещественный массив Y длины М (вектор значений одного объекта). Значение DEF должно быть равно .FALSE., если X — значение, и .TRUE., если X — пропуск. Значение DEFOBS должно быть равно .FALSE., если в У нет ни одного пропуска, и .TRUE., если в У есть хотя бы один пропуск. Значение COND, равное .TRUE., должно означать, что условие сходимости не удовлетворено (самое простое условие — достижение заданного числа итераций — реализовано в подпрограмме, содержащейся в тексте).
Структура программы хорошо видна из текста. Дополнительно прокомментируем лишь подпрограмму COVAR, в которой вычисляются вектор сумм по переменным и матрица сумм взаимных произведений по всем присутствующим переменным: лл
/=1^j^L\^^'k? Л^=Ь—^(27)
В этих выражениях используются обозначения из раздела 8.2 книги, а штрих в знаке суммирования обозначает, что суммы вычисляются только по наблюдениям, в которых присутствуют значения переменной у (в первой сумме) или переменных j и к (во второй сумме). Далее эти суммы складываются в (8.1) и (8.2), см. раздел 8.2 книги, с соответствующими компонентами для пропущенных значений. Суммы (27) вычисляются однократно за время работы программы. Благодаря этому приему увеличивается эффективность алгоритма.
Входной массив данных (таблица «объект-признак») X не должен содержать «пустых» переменных или наблюдений (т. е полностью состоящих из пропусков), а также переменных, состоящих только из совпадающих значений.
В программе присутствует большое число массивов — входных, выходных и рабочих, поэтому целесообразно оформить их динамический вызов через один массив допустимого размера (что сделано в упомянутой системе). Из исходного текста исключены проверки на пустые переменные и т. п., поскольку, может быть, удобнее проводить их до обращения к программе, и, кроме того, их присутствие в тексте ухудшает восприятие алгоритма.
В распечатке имеется текст программы, реализующей оператор «свертки», описанный в разделе 6.5 (подпрограмма SWEEP2). Еще один доступный источник — [Clarke (1982)], программа в котором отличается от приведенной по двум пунктам: во-первых, в [Clarke (1982)] проводится проверка на вырожденность обрабатываемой матрицы, во-вторых, входная матрица разрушается в процессе вычисления.
Цель этой публикации — служить иллюстрацией к материалу книги, а также быть основой для разработки собственных программ по ЕМ-алгоритму, в том числе и для более сложных моделей, связанных с многомерным нормальным распределением. В распечатке продемонстрирована требующаяся в ЕМ-алгоритме для многомерного нормального распределения последовательность процедур и сами процедуры, типичные технические приемы и т. п. При профессиональном программировании, конечно, может потребоваться ввести в данный текст более эффективный алгоритм сортировки, включение проверок на правильное функционирование программы, способы более точного вычисления ковариаций и дисперсий, другие варианты вычисления начальных значений (см. раздел 8.2 книги) и т. п.
с
С SUBROUTINE ЕМ
С
С ЕМ-АЛГОРИТМ ДЛЯ МНОГОМЕРНОГО НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
С
С ВХОДНЫЕ ПАРАМЕТРЫ:
С
С X - МАТРИЦА ДАННЫХ РАЗМЕРА NOVR*M. НЕ ДОЛЖНА СОДЕРЖАТЬ ПУСТЫЕ
С НАБЛЮДЕНИЯ И ПЕРЕМЕННЫЕ. МАССИВ X - ВЕКТОРИЗОВАННЫЙ.
С УЛОЖЕН ПО НАБЛЮДЕНИЯМ: 1, .... J. .... М, М+1... NOVR*M.
С ( I.JI-ЫЙ ЭЛЕМЕНТ (J-ЫЙ ПРИЗНАК, I-ЫЙ ОБЪЕКТ) ИМЕЕТ
С ПОЗИЦИЮ J+M*( 1-1).
С М - ЧИСЛО ПРИЗНАКОВ (>0)
С NOVR - ЧИСЛО НАБЛЮДЕНИЙ (>1)
С ITER - ПРЕДЕЛЬНОЕ ЧИСЛО ИТЕРАЦИЙ (>О)
С
С ВЫХОДНЫЕ ПАРАМЕТРЫ
С
С WT - ОЦЕНКА СРЕДНИХ (МАССИВ ДЛИНЫ М)
С ST - ОЦЕНКА КОВАРИАЦИОННОЙ МАТРИЦЫ (ВЕРХНИЙ ТРЕУГОЛЬНИК.
С ВЕКТОРИЗОВАННЫЙ МАССИВ ДЛИНЫ М*(М+1)/2).
С
С РАЗМЕРЫ РАБОЧИХ МАССИВОВ:
С
С ITYP - NTYP+1 (NTYP - ЧИСЛО СТРУКТУР ПРОПУСКОВ В X,
СNOVR >- NTYP >0, ITYP(I) - НОМЕР ПЕРВОГО
СОБЪЕКТА С 1-ОЙ СТРУКТУРОЙ ПРОПУСКОВ)
СWCO№ - М ( СУММЫ ПРИСУТСТВУЮЩИХ ЗНАЧЕНИЙ ПЕРЕМЕННЫХ)
СSCOMP - М*( М+1) /2 (МАТРИЦА СУММ ВЗАИМНЫХ ПРОИЗВЕДЕНИЙ)
С VII - М (МАССИВ ДЛЯ НАКОПЛЕНИЯ ПОДСТАНОВОК НА ИТЕРАЦИИ Т+1)
С ST1 - М*(М+1)/2 (МАССИВ ДЛЯ НАКОПЛЕНИЯ ПОПРАВОК К
СКОВАРИАЦИЯМ НА ИТЕРАЦИИ Т+1)
С SWR - М*(М+1)/2
С Y - М
С
С ВЫЗЫВАЮТСЯ: DEFOBS, COVAR, RPLACE, EXCHNG, INTIAL, ITERA
С
SUBROUTINE ЕМ
*( X,М, NOVR, ITER, WCOMP,SCOMP, ITYP, VTl,STI, Y.SWOR, WT.ST) C
DIMENSION X(1),WCOMP(1),SCOMP(1), ITYP(l), W(l) ,ST(1),
*Vri(l),STl(l),SWOR(l),Y(l)
LOGICAL*! DEFOBS
C
С ВЫЧИСЛЕНИЕ ВЕКТОРА СУММ ПО ПЕРЕМЕННЫМ И МАТРИЦЫ СУММ ВЗАИМНЫХ
С ПРОИЗВЕДЕНИЙ
CALL COVAR (X.NOVR.M, WCOMP. SCOMP)
с
С ЦИКЛ ИСКЛЮЧЕНИЯ КОМПЛЕКТНЫХ НАБЛЮДЕНИЙ IREADY=1
С
С LSL - НОМЕР ТЕКУЩЕГО ПРОСМАТРИВАЕМОГО НАБЛЮДЕНИЯ LSL-IREADY
С
5 IF(. NOT. DEFOBS(M, Х( (LSL-1) *М+1))) GO ТО 10 С С ПОМЕНЯТЬ МЕСТАМИ ОБЪЕКТЫ С НОМЕРАМИ IREADY И LSL:
CALL R PLACE (X, LSL, IREADY, М)
IREADY=IREADY+1 С 10 LSL-LSL+1
IF( LSL. LE. NOVR) GO TO 5 C C ===== ВЫХОД ИЗ ЦИКЛА ИСКЛЮЧЕНИЯ КОМПЛЕКТНЫХ ОБЪЕКТОВ: NMISIN=IREADY-1 С С ПЕРЕТАСОВКА ОБЪЕКТОВ ПОД СТРУКТУРЫ ПРОПУСКОВ
CALL EXCHNG (X.NMISIN.M, ITYP.NTYP) С С ВЫЧИСЛЕНИЕ НАЧАЛЬНЫХ ЗНАЧЕНИЙ ПАРАМЕТРОВ
CALL INTIAL (NOVR,NMISIN,М,WCOMP,SCOMP,WT,ST,X) С 60 IF(NMISIN. EQ. 0) GO TO 5000 C С ОСНОВНАЯ ИТЕРАТИВНАЯ ПРОЦЕДУРА (СОБСТВЕННО ЕМ-АЛГОРИТМ) CALL ITERA
* (X,NOVR,М, WCOMP,SCOMP, ITYP,NTYP, ITER, VT1, STI, Y, SWOR, WT.ST) c 5000 RETURN
END
C
c
C SUBROUTINE ITERA
C
С РЕАЛИЗУЕТ СОБСТВЕННО EM-АЛГОРИТМ (DEMPSTER ET AL. ,
C J. ROY. STAT. SOC. ,SER. B, 1977, P. 1-37) ДЛЯ МП-ОЦЕНКИ
С ПАРАМЕТРОВ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ - КОВАРИАЦИОННОЙ
С МАТРИЦЫ И ВЕКТОРА СРЕДНИХ
С
С ВХОДНЫЕ ПАРАМЕТРЫ:
С
С X - ПЕРЕТАСОВАННАЯ ( ПО СТРУКТУРАМ ПРОПУСКОВ) МАТРИЦА ДАННЫХ,
С НЕ СОДЕРЖИТ КОМПЛЕКТНЫХ НАБЛЮДЕНИЙ, ВЕКТОРИЗОВАННЫЙ
С МАССИВ, УЛОЖЕН ПО НАБЛЮДЕНИЯМ: 1, ... , J .., , NMISIN*M.
С (I,J)-bM ЭЛЕМЕНТ (J-ЫЙ ПРИЗНАК, 1-ЫЙ ОБЪЕКТ) ИМЕЕТ
С В X ПОЗИЦИЮ J+M*( 1-1)
С NOVR - ОБЩЕЕ ЧИСЛО ОБЪЕКТОВ (>1)
С М - ЧИСЛО ПРИЗНАКОВ
С WC0MP - СУММЫ ПРИСУТСТВУЮЩИХ ЗНАЧЕНИЙ ПЕРЕМЕННЫХ
С SC0MP - МАТРИЦА СУММ ВЗАИМНЫХ ПРОИЗВЕДЕНИЙ ПРИСУТСТВУЮЩИХ
СПЕРЕМЕННЫХ (ВЕКТОРИЗОВАННЫЙ МАССИВ ДЛИНЫ М*(М+1)/2)
С ITYP - МАССИВ НОМЕРОВ ОБЪЕКТОВ С РАЗЛИЧНЫМИ СТРУКТУРАМИ ПРОПУСКОВ
С NTYP - ЧИСЛО СТРУКТУР ПРОПУСКОВ ОО)
С ITER - ПРЕДЕЛЬНОЕ ЧИСЛО ИТЕРАЦИЙ
С
С ВЫХОДНЫЕ ПАРАМЕТРЫ:
С
СWT - ОЦЕНКА СРЕДНИХ
СST - ОЦЕНКА КОВАРИАЦИОННОЙ МАТРИЦЫ
С (ВЕКТОРИЗОВАННЫЙ МАССИВ ДЛИНЫ М*(М+1)/2)
С
С РАБОЧИЕ МАССИВЫ:
С
С SWR - МАССИВ ДЛИНЫ М*(М+1)/2
С WT1.ST1 - МАССИВЫ ДЛЯ НАКОПЛЕНИЯ СУММЫ ПОДСТАНОВОК
СИ ПОПРАВОК К КОВАРИАЦИЯМ ДЛЯ ИТЕРАЦИИ Т+1,
СДЛИНЫ МАССИВОВ М И М*( М+1)/2.
С Y - ВЕКТОР ЗНАЧЕНИЙ-ПОДСТАНОВОК ДЛЯ ОДНОГО ОБЪЕКТА
С НА ТЕКУЩЕЙ ИТЕРАЦИИ
С
С ВЫЗЫВАЮТСЯ: SETNUL, DEF, 3WEEP2, SUBST, COND
С ==========-=====================-===-========
С SUBROUTINE ITERA
*( X, NOVR, М, WCOMP, SCOMP, ITYP, NTYP, ITER, W1, STI, Y, SWOR, W,ST)
C
DIMENSION X(1),WCOMP(1),SCOMP(1),
*ITYP( 1), W( 1), ST( 1), Wl( 1),ST1( 1) ,STOR( 1), Y( 1)
LOGICAL *1 DEF,COND
C
MDIM=M*(M+l)/2
C
С — ТЕЛО ИТЕРАТИВНОГО ЦИКЛА
CALL SET NUL (WT1,M)
CALL SET NUL (ST1,M DIM)
DO 100 K-l.NTYP
LT-( ITYP(K)-1)*M
c
С ДЛЯ КАЖДОЙ СТРУКТУРЫ ОПЕРАЦИЯ SWEEP ПРОВОДИТСЯ ОДИН РАЗ DO 10 J=1,M
10 IF(DEF(X(LT+J))) CALL SWEEP2 (M, J, ST, SWOR) C
С ВЫЧИСЛЕНИЕ АДДИТИВНЫХ СОСТАВЛЯЮЩИХ СРЕДНИХ И КОВАРИАЦИОННОЙ МАТРИЦЫ
DO ICO L-ITYP(K), ITYP(K+1)-1
IJ-0
KU-(L-1)*M
DO 100 J-1,M
YLJ-X(KU+J)
IF(.NOT. DEF(YLJ)) GO TO 40 C
С ВЫЧИСЛЕНИЕ ТЕКУЩЕЙ ПОДСТАНОВКИ ДЛЯ ПРОПУСКА
YLJ-SUBST( J, WT, SWOR, X( KU+1), M)
Vri(J)-Vri(J)+YLJ
40Y(J)=YLJ
C
DO 100 I-1,J
С ВЫЧИСЛЕНИЕ ПОПРАВОК К КОВАРИАЦИЯМ
IJ-U+1
YLI-Y( I)
IF(DEF(YLJ)) GO TO 80
IF(. NOT. DEF(YLI)) GO TO 100
60ST(IJ)-ST(IJ)+YLI*YLJ
GO TO 100
80IF(. NOT. DEF(YLI)) GO TO 60
ST(IJ)-ST(IJ)+YLI*YLJ+SWOR(IJ)
100 CONTINUE C
С ОКОНЧАТЕЛЬНОЕ ВЫЧИСЛЕНИЕ ОЦЕНОК ПАРАМЕТРОВ ДЛЯ ТЕКУЩЕЙ ИТЕРАЦИИ
IJ-0
OVR-1. /NOVR
DO 110 J-1,M
С
С ВЫЧИСЛЕНИЕ СРЕДНИХ
WT J-( WT1( J) +WCOMP( J)) *OVR
WT(j)-vrj c
С ВЫЧИСЛЕНИЕ КОВАРИАЦИОННОЙ МАТРИЦЫ
DO 110 1-1,J
IJ-U+1
110 ST( IJ)-(ST1( IJ)+SCOMP( I J)) *OVR-WTJ*WT( I) c
С ПРОВЕРКА УСЛОВИЯ СХОДИМОСТИ
IF(COND( ITER)) GO TO 1
RETURN
END
с с ———.————————————————— с
С SUBROUTINE COVAR С
С ВЫЧИСЛЕНИЕ ВЕКТОРА СУММ ПО ПЕРЕМЕННЫМ И МАТРИЦЫ СУММ
С ВЗАИМНЫХ ПРОИЗВЕДЕНИИ ПО ВСЕМ ПРИСУТСТВУЮЩИМ ЗНАЧЕНИЯМ С С ВХОДНЫЕ ПАРАМЕТРЫ: С
С X - МАТРИЦА ДАННЫХ РАЗМЕРА NOVR*M.
С МАССИВ X - ВЕКТОРИЗОВАННЫЙ, УЛОЖЕН
С ПО НАБЛЮДЕНИЯМ: 1, . ... J, . .., М; М+1... NOVR*M. С М - ЧИСЛО ПРИЗНАКОВ (>О) С NOVR - ЧИСЛО (.НЕПУСТЫХ) НАБЛЮДЕНИИ (>1) С С ВЫХОДНЫЕ ПАРАМЕТРЫ: С С WOMP - ВЕКТОР СУММ С SCOMP - МАТРИЦА СУММ ВЗАИМНЫХ ПРОИЗВЕДЕНИИ С С ВЫЗЫВАЮТСЯ- DEF, SETNUL С ======================== С
SUBROUTINE COVAR (X,NOVR,M, WCOMP,SCOMP)
REAL WCOMP(1),SCOMP(1),X(1)
LOGICAL * 1 DEF C С ВЫЧИСЛЕНИЕ СУММ
CALL SETNUL (V/COMP.M) C
KU=O
DO 15 K=1,NOVR
DO 15 J=1,M KU=KU+1 XX-X(KU)
15 IF(. NOT. DEF(XX)) WCOMP(J)=WCONP(J)+XX C
С ВЫЧИСЛЕНИЕ СУММ ВЗАИМНЫХ ПРОИЗВЕДЕНИИ
L-0
DO 55 J-l.M
DO 55 1=1, J
TIJ-O.
L=L+1 KU=O DO 38 K-l.NOVR XX-X( I+KU) YY=X(J+KU)
IF (DEF(XX)) GO TO 38
IF (DEF(YY)) GO TO 38
TI J=TIJ+XX*YY
38 KU=KU+M
55 SCOMP(L)=TIJ
C
RETURN
END
C
C ———;===========„=====ra;—
SUBROUTINE INTIAL (NOVR,NMISIN,M,WCOMP,SCOMP,VT,ST,X)
C
С НАЧАЛЬНЫЕ ЗНАЧЕНИЯ ПАРАМЕТРОВ
С ВЫЧИСЛЯЮТСЯ МЕТОДОМ ALL_VALUE
С
С ВЫЗЫВАЮТСЯ: SETNUL, DEF
С
С
DIMENSION VCOMP(l) ,SCOMP(.l) , УЦ1) ,ST(1) ,Х(1)
LOGICAL *1 DEF
C
CALL SETNUL(WT,M)
CALL SETNUL( ST, M*(,M+1)/2)
C
NCOMPL-NOVR-NMISIN
COMPL=NCONPL
IF( NMISIN. EQ. 0) GO TO 60
C
С ОПРЕДЕЛЕНИЕ ЧИСЛА П0ПРИЗНАК0ВЫХ И ПОПАРНЫХ НАБЛЮДЕНИИ ки=о
DO 15 K=l,NMISIN
DO 15 J-1,M
KU-KU+1
15 IF(. NOT. DEF(,X(KU))) VT(.J) =VT(.J) +1.
C
L-0
DO 55 J-1,M
DO 55 1=1, J
NIJ=O
L=L+1
KU=O
DO 38 K-l,NMISIN
IF(. NOT. DEF(X( I+KU)). AND. . NOT. DEF( X( J+KU))) NIJ-NIJ+1
38 KU=KU+M
55ST(L)-NIJ
C
С ОПРЕДЕЛЕНИЕ НАЧАЛЬНЫХ ЗНАЧЕНИЙ ПАРАМЕТРОВ
60 TJ-0
DO 110 J-1,M
C
С ВЫЧИСЛЕНИЕ НАЧАЛЬНЫХ СРЕДНИХ
WT J=WCOMP( J) / (W (J) +COMPL)
VT(J)=VTJ c
С ВЫЧИСЛЕНИЕ НАЧАЛЬНОЙ КОВАРИАЦИОННОЙ МАТРИЦЫ
DO 110 1=1,J
U=U+1
110 ST( IJ)=SCOMP( IJ)/(ST( I J)+COMPL)-VTJ*VT( I) c
RETURN
END
C C ==============—.==============================
C
SUBROUTINE EXCHNG (X,NMISIN,M, ITYP.NTYP) C
С ПЕРЕСТАНОВКА ОБЪЕКТОВ ПОД СТРУКТУРЫ ПРОПУСКОВ: ОБЪЕКТЫ
С С ОДИНАКОВОЙ СТРУКТУРОЙ ПРОПУСКОВ РАСПОЛАГАЮТСЯ ПОДРЯД С
С ВЫЗЫВАЮТСЯ: CMPNEQ, RPLACE с ======= == „—,=
С
DIMENSION Х(1), ITYP(l)
LOGICAL.*! CMPNEQ
С NTYP-0 IREADY=1
С
С БОЛЬШЕ НЕТ НАБЛЮДЕНИИ СО СТРУКТУРОЙ NTYP,
С ИНИЦИАЦИЯ СБОРА НАБЛЮДЕНИИ С НОВОЙ СТРУКТУРОЙ NTYP+1
5 NTYP=NTYP+1
ITYP(NTYP)=1READY
IREADY=IREADY+1
C
С ЕСЛИ ЗДЕСЬ ПРОИСХОДИТ ВЫХОД, ТО ПОСЛЕДНИЙ ОБЪЕКТ ПОРОЖДАЕТ
С НОВУЮ СТРУКТУРУ
IF( IREADY. GT. NMISIN) GO ТО 50
С
С НОМЕР ТЕКУЩЕГО НАБЛЮДЕНИЯ, СРАВНИВАЕМОГО ПО СТРУКТУРЕ С
С ОБЪЕКТОМ НОМЕР ITYP( NTYP): LSL=IREADY
С
10 IF( CMPNEQ! X, ITYP( NTYP) ,LSL,M)) GO TO 20 C
С ПОМЕНЯТЬ МЕСТАМИ ОБЪЕКТЫ С НОМЕРАМИ I READY И LSL: CALL RPLACE ( X, LSL, I READY, М)IREADY-1RE ADY+lIF( IREADY. GT. NMISIN) GO TO 50C20 LSL-LSL+1IF(LSL. GT. NMISIN) GO TO 5GO TO 10CС ВЫХОД ИЗ ПЕРЕТАСОВКИ:50 ITYP(NTYP+1)-NMISIN+1RETURNENDCС ПОМЕНЯТЬ МЕСТАМИ ОБЪЕКТЫ С НОМЕРАМИ I READY И LSL: CALL RPLACE ( X, LSL, I READY, М)IREADY-1RE ADY+lIF( IREADY. GT. NMISIN) GO TO 50C20 LSL-LSL+1IF(LSL. GT. NMISIN) GO TO 5GO TO 10CС ВЫХОД ИЗ ПЕРЕТАСОВКИ:50 ITYP(NTYP+1)-NMISIN+1RETURNENDCSUBROUTINE R PLACE (X,L1,L2,M)CС ПЕРЕСТАВЛЯЕТ СТРОКИ (ОБЪЕКТЫ) LI И L2С В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ XSUBROUTINE R PLACE (X,L1,L2,M)CС ПЕРЕСТАВЛЯЕТ СТРОКИ (ОБЪЕКТЫ) LI И L2С В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ XСREAL Х(1)СIF(L1.EQ.L2) GO ТО 30KU1-(L1-1)*MKU2-(L2-1)*MDO 11 J-l.M KU1J-J+KIH KU2J-J+KU2 Y-X(KU1J)X(KU1J)=X(KU2J) GO TO 1111X(KU2J)-YC30RETURNENDC0a==t>=a========== =====a-==СREAL Х(1)СIF(L1.EQ.L2) GO ТО 30KU1-(L1-1)*MKU2-(L2-1)*MDO 11 J-l.M KU1J-J+KIH KU2J-J+KU2 Y-X(KU1J)X(KU1J)=X(KU2J) GO TO 1111X(KU2J)-YC30RETURNENDC0a==t>=a========== =====a-==IIcFUNCTION CMPNEQ (X,L1,L2,M)cFUNCTION CMPNEQ (X,L1,L2,M)CC C c cCC C c cОПРЕДЕЛЯЕТ, СОВПАДАЮТ ЛИ СТРУКТУРЫ ПРОПУСКОВ В ДВУХ ОБЪЕКТАХ С НОМЕРАМИ L1 И L2 В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ X.FALSE. - СОВПАДАЮТ.TRUE. - НЕТОПРЕДЕЛЯЕТ, СОВПАДАЮТ ЛИ СТРУКТУРЫ ПРОПУСКОВ В ДВУХ ОБЪЕКТАХ С НОМЕРАМИ L1 И L2 В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ X.FALSE. - СОВПАДАЮТ.TRUE. - НЕТСС ВЫЗЫВАЕТСЯ: DEFСС ВЫЗЫВАЕТСЯ: DEFС ————С ————
С ПОМЕНЯТЬ МЕСТАМИ ОБЪЕКТЫ С НОМЕРАМИ I READY И LSL: CALL RPLACE ( X, LSL, I READY, М)
IREADY-1RE ADY+l
IF( IREADY. GT. NMISIN) GO TO 50
C
20 LSL-LSL+1
IF(LSL. GT. NMISIN) GO TO 5
GO TO 10
C
С ВЫХОД ИЗ ПЕРЕТАСОВКИ:
50 ITYP(NTYP+1)-NMISIN+1
RETURN
END
C
С ПОМЕНЯТЬ МЕСТАМИ ОБЪЕКТЫ С НОМЕРАМИ I READY И LSL: CALL RPLACE ( X, LSL, I READY, М)
IREADY-1RE ADY+l
IF( IREADY. GT. NMISIN) GO TO 50
C
20 LSL-LSL+1
IF(LSL. GT. NMISIN) GO TO 5
GO TO 10
C
С ВЫХОД ИЗ ПЕРЕТАСОВКИ:
50 ITYP(NTYP+1)-NMISIN+1
RETURN
END
C
SUBROUTINE R PLACE (X,L1,L2,M)
C
С ПЕРЕСТАВЛЯЕТ СТРОКИ (ОБЪЕКТЫ) LI И L2
С В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ X
SUBROUTINE R PLACE (X,L1,L2,M)
C
С ПЕРЕСТАВЛЯЕТ СТРОКИ (ОБЪЕКТЫ) LI И L2
С В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ X
С
REAL Х(1)
С
IF(L1.EQ.L2) GO ТО 30
KU1-(L1-1)*M
KU2-(L2-1)*M
DO 11 J-l.M KU1J-J+KIH KU2J-J+KU2 Y-X(KU1J)
X(KU1J)=X(KU2J) GO TO 11
11X(KU2J)-Y
C
30RETURN
END
C
0a==t>=a========== =====a-==
С
REAL Х(1)
С
IF(L1.EQ.L2) GO ТО 30
KU1-(L1-1)*M
KU2-(L2-1)*M
DO 11 J-l.M KU1J-J+KIH KU2J-J+KU2 Y-X(KU1J)
X(KU1J)=X(KU2J) GO TO 11
11X(KU2J)-Y
C
30RETURN
END
C
0a==t>=a========== =====a-==
I
I
c
FUNCTION CMPNEQ (X,L1,L2,M)
c
FUNCTION CMPNEQ (X,L1,L2,M)
C
C C c c
C
C C c c
ОПРЕДЕЛЯЕТ, СОВПАДАЮТ ЛИ СТРУКТУРЫ ПРОПУСКОВ В ДВУХ ОБЪЕКТАХ С НОМЕРАМИ L1 И L2 В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ X
.FALSE. - СОВПАДАЮТ
.TRUE. - НЕТ
ОПРЕДЕЛЯЕТ, СОВПАДАЮТ ЛИ СТРУКТУРЫ ПРОПУСКОВ В ДВУХ ОБЪЕКТАХ С НОМЕРАМИ L1 И L2 В ПОСТРОЧНО УЛОЖЕННОМ МАССИВЕ X
.FALSE. - СОВПАДАЮТ
.TRUE. - НЕТ
С
С ВЫЗЫВАЕТСЯ: DEF
С
С ВЫЗЫВАЕТСЯ: DEF
С ————
С ————
REAL Х(1)
LOGICAL *1 DEF, CMPNEQ ,D1, D2
KU1-(L1-1)*M
KU2-(L2-1)*M
DO 11 J-l.M D1=DEF( X( J+KU2)) D2=DEF(X( J+KU1))■
С НЕСОВПАДЕНИЕ ХОТЯ БЫ ПО ОДНОМУ ПРИЗНАКУ -> TRUE IF( (DI. OR. D2). AND. (. NOT. DI. OR.. NOT. D2)) GO TO 400 11 CONTINUE C
CMPNEQ-. FALSE.
333 RETURN C
400 CMPNEQ-. TRUE. GO TO 333 END C C “ = = = » = = =:»==»«» = — ==»=========»=== ^^^=^ = ^^^^^^^^^^^^Ea^^ ===—=^^^^ FUNCTION COND ( ITER) C
С ОПРЕДЕЛЯЕТ ВЫПОЛНЕНИЕ УСЛОВИЯ ВЫХОДА ИЗ ИТЕРАТИВНОГО ПРОЦЕССА:
С.TRUE. - ПРОДОЛЖАТЬ
С.FALSE. - НЕТ
Q = = » = »S»»»»»=a» = = ss=»=3£S С
LOGICAL *1 COND,START DATA START/. TRUE. / C COND-. TRUE.
IF (START) GO TO 11
I-I+l IF( ITER. LT. I) COND-. FALSE. RETURN
C
1=0
START-. FALSE. GO TO 1 END
C
SUBROUTINE SETNUL(X,M) 0 =========================-
DIMENSION X(l) ■ DO 1 J=1,M
KK-NKK-KGKK1= l./G(NKK)CС ВЫЧИСЛЕНИЕ ЭЛЕМЕНТА (К,К)OUT(NKK)=-GKK1JJ=OСDO 30 J-l,IDIF( J. EQ. K)GOTO 30IFCK. GT. J)GOTO 5JK-K+JJGO TO 105 JK=J+KKCС ВЫЧИСЛЕНИЕ СТРОКИ/СТОЛБЦА К10 GJK-G(JK)*GKK1OUT(JK)=GJKLL=OCDO 27 L-1,JIF(L. EQ. K)GO TO 27JL-L+JJIF(K. GT. L) GOTO 23KL=K+LLGOTO 2523 KL=L+KKCС ВЫЧИСЛЕНИЕ ОСТАЛЬНЫХ ЭЛЕМЕНТОВ25 OUT(JL) = G(JL)-G(KL)*GJK27 LL=LL+L30 JJ=JJ+JCRETURNENDKK-NKK-KGKK1= l./G(NKK)CС ВЫЧИСЛЕНИЕ ЭЛЕМЕНТА (К,К)OUT(NKK)=-GKK1JJ=OСDO 30 J-l,IDIF( J. EQ. K)GOTO 30IFCK. GT. J)GOTO 5JK-K+JJGO TO 105 JK=J+KKCС ВЫЧИСЛЕНИЕ СТРОКИ/СТОЛБЦА К10 GJK-G(JK)*GKK1OUT(JK)=GJKLL=OCDO 27 L-1,JIF(L. EQ. K)GO TO 27JL-L+JJIF(K. GT. L) GOTO 23KL=K+LLGOTO 2523 KL=L+KKCС ВЫЧИСЛЕНИЕ ОСТАЛЬНЫХ ЭЛЕМЕНТОВ25 OUT(JL) = G(JL)-G(KL)*GJK27 LL=LL+L30 JJ=JJ+JCRETURNEND
KK-NKK-K
GKK1= l./G(NKK)
C
С ВЫЧИСЛЕНИЕ ЭЛЕМЕНТА (К,К)
OUT(NKK)=-GKK1
JJ=O
С
DO 30 J-l,ID
IF( J. EQ. K)GOTO 30
IFCK. GT. J)GOTO 5
JK-K+JJ
GO TO 10
5 JK=J+KK
C
С ВЫЧИСЛЕНИЕ СТРОКИ/СТОЛБЦА К
10 GJK-G(JK)*GKK1
OUT(JK)=GJK
LL=O
C
DO 27 L-1,J
IF(L. EQ. K)GO TO 27
JL-L+JJ
IF(K. GT. L) GOTO 23
KL=K+LL
GOTO 25
23 KL=L+KK
C
С ВЫЧИСЛЕНИЕ ОСТАЛЬНЫХ ЭЛЕМЕНТОВ
25 OUT(JL) = G(JL)-G(KL)*GJK
27 LL=LL+L
30 JJ=JJ+J
C
RETURN
END
KK-NKK-K
GKK1= l./G(NKK)
C
С ВЫЧИСЛЕНИЕ ЭЛЕМЕНТА (К,К)
OUT(NKK)=-GKK1
JJ=O
С
DO 30 J-l,ID
IF( J. EQ. K)GOTO 30
IFCK. GT. J)GOTO 5
JK-K+JJ
GO TO 10
5 JK=J+KK
C
С ВЫЧИСЛЕНИЕ СТРОКИ/СТОЛБЦА К
10 GJK-G(JK)*GKK1
OUT(JK)=GJK
LL=O
C
DO 27 L-1,J
IF(L. EQ. K)GO TO 27
JL-L+JJ
IF(K. GT. L) GOTO 23
KL=K+LL
GOTO 25
23 KL=L+KK
C
С ВЫЧИСЛЕНИЕ ОСТАЛЬНЫХ ЭЛЕМЕНТОВ
25 OUT(JL) = G(JL)-G(KL)*GJK
27 LL=LL+L
30 JJ=JJ+J
C
RETURN
END
11X(J)-O. RETURN END
1
1
FUNCTION SUBST (J,WT,SWOR,X,M) C С ВЫЧИСЛЯЕТ ТЕКУЩУЮ ПОДСТАНОВКУ ДЛЯ ПРОПУСКА С С ВЫЗЫВАЕТСЯ: DEF
С
REAL Х( 1), WT( 1) ,SWOR(1)
LOGICAL *1 DEF
С
SU=O.
JJ=J*(J-l)/2
DO 11 1=1, M
YI=X( I)
11 IF(.NOT. DEF(YD) SU=SU+SWOR( I+JJ)*( YI-WT( I)) C
SUBST=SU+WT(J)
RETURN
END
C
C ========================================================
C SUBROUTINE SWEEP2
C
С СВЕРТКА СИММЕТРИЧНОЙ МАТРИЦЫ G ПО СТРОКЕ/СТОЛБЦУ NSWEEP.
С
С ВХОДНЫЕ ПАРАМЕТРЫ: ID, NSWEEP, G
С ВЫХОДНОЙ ПАРАМЕТР: OUT
С
С ID - РАЗМЕР МАТРИЦЫ
С OUT - РЕЗУЛЬТАТ СВЕРТКИ, G НЕ ИЗМЕНЯЕТСЯ
С
С G, OUT - ВЕКТОРИЗОВАННЫЕ МАССИВЫ ДЛИНЫ ID*(ID+l)/2
С(ВЕРХНИЕ ТРЕУГОЛЬНИКИ СООТВЕТСТВУЮЩИХ МАТРИЦ)
С
С 1 =< К =< ID, 1 =< ID
С ====--».—=-=-«—-=-=-
с
SUBROUTINE SWEEP2 (ID, NSWEEP, G, OUT)
REAL G(l),OUr(l)
CI
K-NSWEEP
NKK=K*(K+l)/2
ЛИТЕРАТУРА
Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983. — 472 с.
Андерсон Т. Введение в многомерный статистический анализ. — М.: Физматгиз, 1963.
Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. — М.: Мир, 1974. — 406 с.
Большее Л. Н., Смирнов Н. В. Таблицы математической статистики. — М.: Наука, 1983. — 416 с.
Боровков А. А. Математическая статистика. — М.: Наука, 1984. — 472 с.
Бурлаков И. А. Исследование и разработка диалоговой диагностической системы с оптимизацией процесса обследования: Автореф. дне.... канд. физ.-мат. наук. — М„ 1979. — 25 с.
Гаек Я., Шидак 3. Теория ранговых критериев. — М.: Наука, 1971. — 376 с.
Загоруйко Н. Г., Елкина В. Н., Емельянов С. В., Лбов Г. С. Пакет прикладных программ ОТЭКС. — М.: Финансы и статистика, 1986. — 160 с.
Загоруйко Н. Г, Елкина В. Н., Тимеркаев В С. Алгоритм ZET-75 заполнения пробелов в эмпирических таблицах н его применение //Машинные методы обнаружения закономерностей. — Новосибирск: Наука, 1976. — С. 57—63.
Ибрагимов И. А., Хасьминский Р. 3. Асимптотическая теория оценивания. — М.: Наука, 1979. — 528 с.
Клигене Н., Текльснис Л. Методы обнаружения моментов изменения свойств случайных процессов //Автоматика и телемеханика, 1983. — №10. — С. 5—56.
Кокс Д., Хинкли Д. Теоретическая статистика. — М.: Мир, 1978. — 560 с.
Леман Э. Проверка статистических гипотез. — М.: Наука, 1979. — 498 с.
Методы анализа данных: подход, основанный на методе динамических сгущений: /Пер. с фр.; Под ред. и с предисл. С. А. Айвазяна и В. М. Бухштабера. — М.: Финансы и статистика, 1985. — 357 с.
Миленький А. В Классификация сигналов в условиях неопределенности (Статистические методы самообучения в распознавании образов). — М.: Сов. радио, 1975. — 328 с.
Никифоров И. В. Последовательное обнаружение изменения свойств временных рядов. — М.: Наука, 1983. — 200 с.
Никифоров А. М. Разработка и исследование статистических методов распознавания образов с самообучением и обработки неполных данных. Дне. ... канд. физ,- мат. наук. — М.: 1987. — 144 с.
Никифоров А. М. Статистический анализ наблюдений со случайными пропусками //Пятая Международная Вильнюсская конференция по теории вероятностей и математической статистике: Тез. докл. — Вильнюс, 1989. — С. 98—99.
Никифорова Г. В. Непараметрические критерии проверки гипотез о случайных бинарных матрицах в асимптотике растущего числа параметров //Пятая Международная Вильнюсская конференция по теории вероятностей и математической статистике: Тез. докл. — Вильнюс, 1989. — С. 100—101.
Орлов А. И. Парные сравнения в асимптотике Колмогорова //Экспертные оценки в задачах управления. — М.: ИПУ, 1982 — С. 58—66.
Сильвестров Д. С. Программное обеспечение прикладной статистики. — М.: Финансы и статистика, 1988. — 240 с.
Патрик Э. Основы теории распознавания образов. — М.: Сов. радио, 1980. — 408 с.
Флейс Дж. Статистические методы для изучения таблиц долей и пропорций. — М.: Финансы н статистика, 1989. — 319 с.
Черномордик О. М. Об одном непараметрическом критерии однородности нескольких выборок //Теория вероятностей и ее применение. — 1980. —Т. XXVIII. — В. 4. — С. 758—760.
Basilevski A., Sabourin D., Hum D., Anderson А. (1985). Missing data estimators in the general linear model: an evaluation of simulated data as an experimental desing. Commun. Statist. — Simula. Computa. 14 (2), pp. 371—394.
Bickel P. I. (1969). A distribution free version of the Smirnov two sample test in the p-variate case. Ann. Math. Statist., vol. 40, pp. 1—23.
Clarke M. R. В (1982). The Gauss-Jordan Sweep operator with detection of collinearity, Applied Statistics, vol. 31, pp. 166—168.
David F. N, Fix E. (1960). Rank correlation and regression in a nonnormal surface. Proc. Fourth Berkeley Symp. Math. Statist. Prob. 6, pp 177—197. Univ, of California Press.
Kennedy D. P., Chien Y. T. (1982). Optimal estimation for full space classification of incomplete data, in Pattern Recognition and Image Processing, Proceedings. Las Vegas, pp. 152—154.
Krzvsko M. (1983). The discriminant analysys of multivariate time series. IEEE Ti-ans. on Inform. Theory, vol. 29, pp. 612—614.
Little R. J. A., Smith P. J. (1987) Editing and imputation for quantitative survey data. Journal of American Statistical Association, vol. 82, No. 397, pp. 58—68.
Rubin D. B. (1976) Inference and missing data. Biometrika, vol. 63, pp. 581—592.
Sen P. K, Chatterjee S. К (1964) Nonparametric tests for the bivariate two sample location problem. Calcutta Statist. Ass. Bull., vol. 13, pp. 18—58.
Simonoff J. S. (1988). Regression diagnostics to detect nonrandom missingness in linear regression. Tbchnometrics, vol. 30, No. 2, pp. 205—214.
Titterington D. M., Jiang J.-M. (1983). Recursive estimation procedures for missing data problems. Biometrika, vol. 70, pp. 613—624.
•ОГЛАВЛЕНИЕ
Предисловие к русскомуизданию 5
Предисловие 8
Часть I.Анализ данныхспропусками: обзор 11
Глава 1.Введение 11
Глава 2. Планирование экспериментов и пропуски в данных 29
Глава 3. Быстрые методы обработки многомерных данных с пропусками 48
Глава 4. Пропуски в выборочных обследованиях 61
Часть II. Анализ данных с пропусками на основе функции правдоподобия 91
Глава 5. Теория выводов, основанных на применении функции правдоподобия 91
Глава 6. Факторизация правдоподобия для методов, когда механизм порождения пропусков игнорируется 110
Глава 7. Метод максимального правдоподобия для структур пропусков общего вида: введение и теория метода при игнорируемом механизме пропусков 145
Глава 8. МП-оценивание в задачах, связанных с многомерным нормальным распределением 161
Глава 9. Анализ частично классифицированных таблиц сопряженности без учета механизма порождения пропусков
Глава 10. Смешанная модель для нормально и ненормально распределенных неполных данных с игнорированием механизма порождения пропусков
Глава 11. Модели с неигнорируемыми пропусками
Глава 12. Модельный подход к пропускам при выборочных обследо
ваниях ваниях 192215237262284192215237262284Дополнение к переводу. А.М.Никифоров. Методы анализа данных с пропусками и их свойства. Программное обеспечение статистической обработки неполных данных
ваниях
ваниях
192
215
237
262
284
192
215
237
262
284
Литтл Р. Дж.А., Рубин Д.Б.
Л64Статистический анализ данных с пропусками/Пер. с
англ. — М.: Финансы и статистика, 1990. — 336 с.: ил.—(Математико-статистические методы за рубежом).
ISBN 5-279-00443-Х.
Книга известных американских статистиков является первым на русском языке систематическим изложением современных методов, алгоритмов и вычислительных процедур обработки пропущенных значений в различных задачах статистического анализа.
Для статистиков, преподавателей и студентов вузов.
0702000000—126
Л 110—90
ББК 16.2.9ББК 16.2.9010(01)—90
ББК 16.2.9
ББК 16.2.9