Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ОГЛАВЛЕНИЕ
Предисловие 5
Введение 10
Основные обозначения 13
Глава 1. Элементы математической статистики 15
Параметрическая статистика. Свойства оценок 16
Метод моментов 19
Неравенства Фишера-Крамера-Рао 24
Метод максимального правдоподобия (ММП) 29
Глава 2. Методы учета априорной информации в рамках параметрической статистики 35
Метод Байеса 35
Минимаксный метод учета априорной информации 40
Обобщенный метод максимального правдоподобия учета априорной детерминированной информации 41
Обобщенный метод максимального правдоподобия учета априорной стохастической информации 44
Глава 3. Устойчивые методы оценивания параметра положения 48
Минимаксный метод Хьюбера 49
Робастные М-оценки 55
Глава 4. Методы непараметрической статистики 60
Восстановление функции распределения 60
Восстановление плотности распределения методом гистограмм .62
Восстановление плотности распределения методом Розенблатта- Парзена 63
Восстановление плотности распределения проекционными методами 66
Восстановление плотности распределения регуляризованным методом гистограмм 69
Метод корневой оценки плотности распределения 71
Глава 5. Проверка гипотез о законе распределения 74
Проверка гипотезы о законе распределения в рамках непараметрической статистики 74
Проверка гипотезы о законе распределения в рамках параметрической статистики 76
Глава 6. Численные методыстатистического моделирования 79
Способы моделирования случайных величин 79
Применение метода статистического моделирования для решения некоторых прикладных задач 84
Глава 7. Метод наименьших квадратов для линейных моделей с неопределенными данными 90
Примеры линейных моделей с неопределенными данными90
Классическая схема МНК 93
Обобщения классической схемы МНК 103
Прогнозирование с помощью линейных регрессионных моделей . 109
Глава 8. Робастные методы для линейных моделей с неопределенными данными 111
Робастные М-оценки параметров линейных моделей 111
Численные методы нахождения робастных оценок параметров линейных моделей .113
Глава 9. Учет априорной информации в линейных моделях с неопределенными данными 117
Метод Байеса в рамках линейных моделей 118
Минимаксный метод учета детерминированной априорной информации 121
Обобщенный метод максимального правдоподобия учета априорной стохастической информации в рамках линейных моделей . . . 124
Обобщенный метод максимального правдоподобия учета априорной детерминированной информации в рамках линейных моделей 137
Регуляризованный метод наименьших квадратов 140
Глава 10. Метод наименьших квадратов для нелинейных моделей с неопределенными данными 146
МНК-оценки параметров нелинейных моделей и их свойства . . . 146
Численные методы нахождения МНК-оценок параметров нелинейных моделей 149
Глава 11. Методы выделения детерминированных и хаотических компонент временных рядов 153
Метод сглаживающих ортогональных полиномов 153
Метод сглаживающих линейных сплайнов 158
Робастные линейные сглаживающие сплайны 163
Метод сглаживающих кубических сплайнов 167
Метод вейвлетов 177
Глава 12. Методы прогнозирования хаотических временных рядов 182
Методы прогнозирования с использованием априорной информации и ортогональных полиномов 182
Методы прогнозирования с использованием априорной информации и линейных сплайнов 185
Методы прогнозирования с использованием сингулярно-спектрального анализа 187
Глава 13. Планирование оптимальных измерений при восстановлении функциональныхзависимостей 192
Постановка задач планирования оптимальных измерений 193
Методы решения задач планирования оптимальных измерений . 199
Список литературы 205
Предметный указатель 211
Предисловие
Представляемая нами книга написана на основе курса лекций, читаемого одним из авторов на протяжении более чем 20 лет студентам старших курсов МИФИ и слушателям факультетов повышения квалификации и переподготовки.
При подготовке настоящего издания были внесены дополнения, включающие некоторые последние достижения, в том числе авторов книги, в основном по двум направлениям: робастное оценивание и оценивание с учетом дополнительной априорной информации. В книге также представлены некоторые современные методы прогнозирования временных рядов и элементы теории вейвлет-преобразования.
Книга в первую очередь предназначена лицам, использующим математические методы обработки неопределенных данных при решении прикладных задач различного содержания. Кроме того, большинство разделов книги используются студентами МИФИ, выполняющими учебно-исследовательские работы, студентами-дипломниками и аспирантами, тематика исследований которых требует применения математических методов обработки неопределенных данных.
В книге рассматриваются неопределенные данные, неопределенность которых может быть обусловлена двумя причинами: 1) стохастическим характером данных; 2) неполной априорной информацией об искомом решении, задаваемой, например, в виде принадлежности решения детерминированному множеству. Вышеуказанный неопределенный характер данных и определил название книги.
В гл. 1 представлены базовые элементы математической статистики. Анализируются основные свойства оценок и соотношения между ними, в частности эффективность и робастность оценок. Изложен традиционный материал, в том числе интервальное оценивание математического ожидания и дисперсии нормально распределенной случайной величины. Рассматриваются два универсальных метода в рамках параметрической статистики: метод моментов и метод максимального правдоподобия (ММП). Метод моментов изложен в обобщенном виде, позволяющем существенно расширить рамки его применения. С помощью неравенства Фишера-Крамера-Рао анализируется эффекти вность оценок. Представлены основные свойства ММП-оценок. Изложение теоретических результатов сопровождается примерами, при рассмотрении которых конструируются функции правдоподобия и находятся информация Фишера и информационная матрица Фишера, ММП-оценки и их
характеристики. Особое внимание уделяется многомерному нормальному распределению.
Во 2-й главе рассматриваются методы учета дополнительной априорной информации в рамках параметрической статистики. Представлены четыре метода учета априорной информации в зависимости от ее вида. Если априорная информация об искомых параметрах имеет стохастический характер, то предлагается использовать два метода: метод Байеса и обобщенный метод максимального правдоподобия (ОММП) с заданием априорной выборки. Если же априорная информация об искомых параметрах и задается в виде принадлежности и априорному множеству Яо, то предлагается использовать два метода — минимаксный и ОММП с учетом соотношения м € &• Анализыруются схемы применения методов учета априорной информации и алгоритмы их численной реализации. Рассматриваются примеры применения методов, в частности случай, когда члены исходной выборки подчиняются нормальному закону.
В 3-й главе представлены робастные методы оценивания параметра положения в условиях наличия больших выбросов. Подчеркивается, что схема робастного оценивания параметра положения может быть без существенных качественных изменений обобщена на многомерный вариант оценивания параметров регрессионной модели. За основу робастного оценивания взят минимаксный подход Хьюбера. Предлагается итерационный метод численного нахождения робастной оценки параметра положения, основанный на геометрическом положении робастной оценки искомого параметра. Рассматривается общая схема получения робастных М-оценок, основанная на использовании функции влияния.
В гл. 4 представлены некоторые часто используемые для решения прикладных задач методы непараметрической статистики восстановления функции и плотности распределения. Подчеркивается, что задача восстановления плотности распределения по выборке, в отличие от аналогичной задачи для функции распределения, принадлежит к классу некорректно поставленных задач и поэтому может быть эффективно решена только при использовании дополнительной априорной информации об искомой плотности. Форма и объем априорной информации могут быть различными, и в зависимости от этого используются различные методы восстановления плотности распределения. В главе описаны 5 методов восстановления плотности распределения, использующие различные виды и уровни априорной информации. В методах гистограмм, Розенблатта-Парзена и корневой оценки плотности априорная информация используется для определения подходящих значений коэффициентов, аналогичных параметру регуляризации. В проекционных методах априорная информация может быть использована в виде задания априорной реперной плотности, в регуляризованном методе гистограмм априорная информация об искомой плотности задается в виде априорного класса плотностей.
В гл. 5 дается краткое изложение схем проверки гипотез о восстанавливаемом законе распределения в рамках параметрической и непараметрической статистик. Представлены критерии согласия Колмогорова, %2
Глава 6 посвящена численным методам статистического моделирования. В этой главе представлены способы моделирования случайных величин, в частности датчики равномерно распределенной нормированной случайной величины 7, основанные на методах Лемера и Неймана. Дано применение метода статистического моделирования для вычисления определенных интегралов и решения интегральных уравнений Фредгольма второго рода.
В гл. 7 изложен метод наименьших квадратов (МНК) для линейных моделей с неопределенными данными. Представлена классическая схема МНК и ее обобщения. Приводятся наиболее значимые свойства МНК-оценок и их обобщений. В конце главы дается линейная прогнозная модель, использующая МНК на этапе ее «обучения».
В гл. 8 представлены робастные схемы для линейных моделей с неопределенными данными. Все робастные схемы оценивания для линейных моделей строятся на основе функций влияния и М-оценивания. Особое внимание уделяется М-оценке Хьюбера. Предлагаются итерационные численные схемы нахождения нелинейных робастных оценок параметров линейных моделей, в частности итеративный МНК и метод вариационно-взвешенных квадратических приближений. Для нахождения робастной оценки Хьюбера предлагается эффективная итерационная процедура, сходящаяся к робастной оценке за конечное число итераций.
В гл. 9 изложены схемы учета дополнительной априорной информации в линейных моделях с неопределенными данными. Отмечается, что в условиях, когда информационная матрица Фишера исходной линейной модели вырождена или близка к вырожденной, задача оценивания параметров линейной модели принадлежит к классу некорректно поставленных задач и без учета дополнительной априорной информации невозможно получить приемлемые по точности оценки искомых параметров. В главе представлены различные схемы учета априорной информации, основанные на методах Байеса, минимаксном и ОММП. Для ОММП даны две схемы оценивания в зависимости от вида априорной информации. При применении первой схемы ОММП можно учитывать априорную информацию стохастического характера, задаваемую в виде априорной выборки. В этом случае предполагается, что совместная плотность вероятностей членов выборки зависит от искомого вектора и линейной модели. При применении второй схемы ОММП учитывается априорная информация детерминированного вида, задаваемая в виде априорного детерминированного множества, которому заведомо принадлежит искомый вектор и. В § 9.5 рассматривается также регуляризованный метод наименьших квадратов, позволяющий учитывать погрешность в элементах матрицы А исходной линейной модели Аи = / — е.
В гл. 10 в сжатой форме изложен метод наименьших квадратов для нелинейных моделей. Приведен итерационный метод Ньютона-Гаусса численного нахождения МНК-оценок решений нелинейных моделей. Даны регуляризованные модификации Левенберга-Марквардта итерационных процессов Ньютона-Гаусса.
Главы 11, 12 посвящены анализу и прогнозированию временных рядов. В гл. 11 представлены методы выделения детерминированных компонент временных рядов. Все представленные в главе методы основаны на представлении детерминированной компоненты в виде разложения по базисной системе функций и оценке коэффициентов разложения с помощью МНК или робастной схемы. В качестве базисной системы функций берутся: 1) система полиномов, ортогональных на множестве фиксированных значений аргумента; 2) линейные сплайны; 3) кубические сплайны; 4) вейвлеты. Предлагаются эффективные численные схемы расчета искомых коэффициентов детерминированных компонент. В гл. 12 представлено несколько сравнительно новых методов прогнозирования временных процессов. Первые два из них основаны на учете априорных экспертных оценок прогнозируемых величин и применении схем выделения детерминированных компонент, изложенных в гл. 11. Третий из представленных в гл. 12 методов прогнозирования базируется на сингулярно-спектральном анализе и выделении главных компонент исследуемого временного ряда. Указывается на соответствие между прогнозированием с помощью метода главных компонент и прогнозированием на основе линейной регрессионной модели.
В завершающей книгу гл. 13 дано краткое введение в планирование оптимальных измерений при восстановлении функциональных зависимостей. Рассматриваемая задача планирования особенно важна при проведении физических экспериментов, когда экспериментатор имеет возможность выбора значений аргумента, при которых производятся измерения восстанавливаемой функции. Вводятся различные типы оптимальности планов экспериментов и изложены методы решения задач оптимизации планов измерений для рассматриваемых типов оптимальности, включая алгоритмы их численного решения.
Ссылки на используемую литературу даны в квадратных скобках, а сам список литературы представлен в алфавитном порядке и включает в себя лишь цитируемые источники. Представленный список не претендует на полноту, а отражает лишь некоторые стороны изложенного в книге материала. Для читателя, желающего углубить свои знания по теории вероятностей и традиционным главам математической статистики, рекомендуем монографии В. С. Пугачева [62], Ж. Закса [33], М. Кендалла и А. Стюарта [38], С. Р. Рао [65], энциклопедию «Вероятность и математическая статистика» [19]. Теория матриц достаточно полно изложена в монографии Ф. Р. Гантмахера [23]. С численными методами, используемыми при обработке неопределенных данных, можно ознакомиться в книгах [20,36,51,56,70,77].
Авторы благодарят заведующего кафедрой «Прикладная математика» МИФИ, д.ф.-м.н., профессора Н.А. Кудряшова, д.ф.-м.н., про-
фессора этой же кафедры Т. И. Савёлову и рецензентов за просмотр рукописи и высказанные замечания, учтенные в окончательном варианте книги.
Авторы будут благодарны за все замечания и предложения, которые можно направлять по e-mail: bookQkryanev. ru. Материалы, использованные в данной монографии, а также информацию о направлениях деятельности авторов можно найти на сайте www • kryanev. ru.
Москва, январь 2003 г.Москва, январь 2003 г.А. В. Крянев Г. В. Лукин
Москва, январь 2003 г.
Москва, январь 2003 г.
Введение
Статистические методы все более широко применяют при решении различных прикладных задач. В первую очередь традиционно они используются при обработке данных экспериментов, причем круг задач обработки непрерывно расширяется прежде всего за счет расширения областей, где используются экспериментальные методы, и усложнения самих экспериментов.
В последние годы в связи с запросами практики интенсивно развиваются методы исследования, основанные на измерениях косвенной информации об изучаемых системах и объектах. Часто задачи математической обработки и интерпретации неопределенных данных по косвенным проявлениям изучаемых объектов принадлежат к классу некорректных задач. Разработка статистических методов решения некорректных задач обработки и интерпретации неопределенных данных еще далека от завершения, но и в этой области уже создано много подходов и методов, а на их основе — апробированных эффективных численных алгоритмов решения поставленных задач. Знать эти методы и уметь их использовать — насущная необходимость для любого экспериментатора и специалиста, обрабатывающего неопределенные данные.
Вторая значительная особенность последнего периода развития статистических методов исследования — широкое применение современной вычислительной техники при обработке неопределенных данных. Применение компьютеров при обработке данных дает возможность решать такие задачи, решение которых совсем недавно было невозможно. Например, большинство задач обработки результатов измерений косвенных проявлений изучаемых объектов невозможно решить без применения компьютеров. Кроме того, сокращение времени обработки при применении компьютеров дает возможность создания оперативных систем управления сложными объектами, в которых слежение за поведением объекта осуществляется с помощью экспериментальных методов (например, с помощью систем различных датчиков и приборов измерения). Бурное внедрение компьютеров и вычислительных методов в статистику, и, в частности, в статистическую обработку данных, заставило заново переосмыслить место и значение многих классических методов математической статистики под углом возможности их использования с применением компьютеров и потребовало разработки самих численных реализаций, новых методов и создания эффективных численных алгоритмов обработки данных. Знать основные из этих
методов и алгоритмов, владеть ими не только полезно, но и необходимо обработчику неопределенных данных.
В последние годы в самой математической статистике, в силу ее внутреннего развития и потребности практики, созданы новые подходы и методы, более полно и адекватно учитывающие реальные ситуации, возникающие при получении неопределенных данных. Прежде всего это относится к критическому переосмыслению основных предположений, упрощений и гипотез, которые берутся в качестве основы получения тех или иных статистических подходов и методов. Всякий разумный метод обработки должен обладать свойством устойчивости в том смысле, что любое возможное (физически реализуемое) малое уклонение от базовых предположений приведет лишь к малым изменениям в конечных результатах обработки данных. Такие устойчивые методы обработки в математической статистике получили название робастных.
При решении прикладных задач обработку неопределенных данных, как правило, проводят в условиях, когда у исследователя помимо исходных неопределенных данных имеется дополнительная априорная информация об изучаемом объекте. Ясно, что учет этой дополнительной информации позволяет в ряде случаев существенно повысить точность конечных результатов обработки. Более того, для целого класса задач обработки данных без учета дополнительной априорной информации вообще невозможно получить приемлемый конечный результат.
В математической статистике разработаны различные методы учета дополнительной информации об изучаемом объекте и ее «соединения» в процессе обработки с неопределенными данными, ознакомить с такими методами ——также одна из целей настоящей книги.
В главах 7-13 книги представлены методы и алгоритмы восстановления регрессионных зависимостей и их применения для прогнозирования.
Задачи восстановления регрессионных зависимостей встречаются во всех областях естествознания при обработке неопределенных данных.
Обширный класс регрессионных зависимостей составляют линейные задачи. К линейным регрессионным задачам относятся, например, многие задачи восстановления функциональной зависимости, задачи исследования изучаемых объектов и систем по измерениям косвенной информации об этих объектах и системах (линейные задачи идентификации). Математические модели линейных регрессионных задач —— системы линейных уравнений, правая часть которых имеет случайный характер. В некоторых задачах идентификации не только правая часть исходной системы уравнений, но и оператор левой части имеет неопределенный характер и часто задается со случайными погрешностями. Из-за наличия погрешностей исходная система уравнений, как правило, является противоречивой, т. е. не существует ни одного точного решения исходной системы при заданной правой части с погрешностями. Поэтому попытки решения таких систем «в лоб» с помощью традиционных методов, ориентированных на получение точного решения,
часто приводят к неудовлетворительному результату. В то же время, учитывая случайный характер погрешностей, для получения приемлемого приближенного решения этих систем естественно применять статистические методы.
Применение статистических подходов и методов для решения задач восстановления регрессионных зависимостей имеет ряд особенностей и специфических моментов, требующих качественного анализа и разработки эффективных численных алгоритмов получения приближенных решений. Ознакомить читателя с основными, наиболее эффективными и апробированными методами и численными алгоритмами решения задач восстановления регрессионных зависимостей ——одна из целей настоящей книги.
В книге рассматриваются также нелинейные задачи идентификации, численное решение которых требует разработки специальных методов и алгоритмов.
Часто исследователь является не только пассивным обработчиком неопределенных данных, но и может повлиять на процесс их получения. В таких условиях естественно добиваться такого набора неопределенных данных (в рамках тех ограничений и возможностей, в которых проводится набор), при котором возможно получение наилучшего конечного результата по идентификации изучаемого объекта или системы. В книге изложены некоторые основные методы и алгоритмы решения задач планирования оптимального набора при восстановлении функциональных зависимостей.
Основные обозначения
X],…，Xn — элементы выборки р(ж) — плотность вероятностей 尸(七)——функция распределения вероятностей р^(ж) —— плотность вероятностей случайной величины £ р(ж; и) — плотность вероятностей, зависящая от параметра м р(ж I и)——условная плотность вероятностей при фиксированном значении 〃
р(ж)——оценка плотности вероятностей р(ж)
F(x) — оценка функции распределения F(x) и — оценка параметра м
%(%) — эмпирическая функция распределения
Ми — математическое ожидание случайной величины и
2ов — доверительная вероятность
ak — начальный момент /с-го порядка
从九—центральный момент /с-го порядка
(т2(^), D(£)——дисперсия случайной величины £
s2 — эмпирическая дисперсия
Ф(^) = —== е"» ds — интеграл вероятностей
，27r J о
F ⑴—гамма-функция
Х„ — случайная величина, распределенная по закону хи-квадрат с п степенями свободы
1п, 1п (и) — информация Фишера или информационная матрица Фишера
Ln, Ln(u) — функция правдоподобия
Zn, ln(u) — логарифмическая функция правдоподобия
К± — ковариационная матрица случайного вектора £
У =丄 £ 匕-средняя арифметическая
№(m, о?)——нормальный закон распределения с математическим ожиданием т и дисперсией а2
&в — оценка Байеса параметра м
Ка — ковариационная матрица априорного распределения иа — центр априорного распределения параметра м Рапр(м) — плотность априорного распределения
Ug Ra — априорное множество
йммп — оценка метода максимального правдоподобия параметра 〃 (ММП-оценка)
否оммп — оценка обобщенного метода максимального правдоподобия параметра и (ОММП-оценка)
△и — смещение оценки 〃
arg Yninu(max)f(u) — значение и, для которого целевая функция /(и) достигает минимума (максимума)
К — параметр Хьюбера
p(s)——функция влияния М-робастной оценки параметра положения
/(),/+,/_ —— множество индексов, соответствующих средней части, правому и левому «хвостам» распределения Хьюбера
К (и)——функция распределения Колмогорова
Кп(〃)一 функция распределения Масси
6(勿)—обобщенная функция Дирака
Н^(ж) — полином степени к Чебышева-Эрмита
L訳“)—полином степени к Чебышева-Лагерра
厶(с) — функция Лагранжа
7 ——случайная величина, равномерно распределенная на промежутке [ОД]
£ ——доля засорения в модели смеси Хьюбера или вектор погрешностей правой части регрессионной модели
否мнк — оценка метода наименьших квадратов параметра 〃
Xmin(C)(Xmax(。))一 минимальное (максимальное) собственное значение квадратной матрицы С
cov(X, У) — ковариация случайных величин X и Y
gradu /(и) — градиент функции /(〃)
4T — транспонированная матрица матрицы А
。一1 ——обратная матрица невырожденной квадратной матрицы С
^мм — оценка минимаксного метода параметра 〃
(а, о) — скалярное произведение векторов и и v
||u|| — евклидова норма вектора и
Sn(%)——кубический интерполяционный сплайн
Sna(N)——кубический сглаживающий сплайн
Sa(t)——линейный сглаживающий сплайн
“(t)——базисный вейвлет
£(7V) — план эксперимента
£(TV)——нормированный план эксперимента
М(е) — информационная матрица, соответствующая плану эксперимента e(N)
0(e) = Л/т(£)— обратная матрица информационной матрицы Л/(е)
Глава 1ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЙСТАТИСТИКИ
Математическая статистика, и, в частности, математическая обработка экспериментальных данных как ее составная часть, базируются на многих разделах математики и прежде всего на теории вероятностей. Предполагается, что читатель знаком с такими основными понятиями теории вероятностей, как случайные события и величины, вероятность события, операции над случайными событиями, случайными величинами и вероятностями, законы распределения случайных величин, предельные теоремы теории вероятностей. В качестве базовой книги, где изложены теория вероятностей и математическая статистика, рекомендуем использовать монографию [62]. Некоторые дополнительные сведения из теории вероятностей, используемые в математической статистике, будут вводиться в соответствующих местах монографии по мере необходимости.
Одной из основных, базовых задач математической статистики является задача восстановления неизвестного закона распределения случайной величины по конечному числу ее реализаций. Более подробно, рассматривается случайная величина £, для которой известна (из эксперимента) совокупность ее случайных реализаций
(Ы)(Ы)Х]_，.. .，X九
(Ы)
(Ы)
Требуется с максимально возможной точностью определить закон распределения £, например плотность вероятностей р^(ж).
Совокупность случайных реализаций (1.1) называется выборкой^ число реализаций п — объемом выборки. Если случайные реализации, рассматриваемые как случайные величины, независимы, то выборка называется повторной^ в противном случае ——бесповторной. Для повторной выборки, и только для нее, совместная плотность вероятностей совокупности случайных величин (1.1) (если она существует) имеет вид pj p^(xi). В дальнейшем, если специально не оговорено, предпола- г=1
гается, что (1.1) — повторная выборка. В математической статистике любую измеримую функцию (скалярную или векторную) от членов выборки (1.1) принято называть статистикой.
Иногда исследователя интересует не сам закон распределения случайной величины £, а лишь некоторые его характеристики, например математическое ожидание и дисперсия (соответственно, вектор математических ожиданий и ковариационная матрица, если £ — векторная
случайная величина) или некоторые моменты случайной величины более высокого порядка.
При восстановлении плотности вероятности по выборке различают два подхода ——параметрический и непараметрический.
Параметрический подход основан на гипотезе о принадлежности искомой плотности вероятностей р^(ж; и) классу плотностей, определяемых совокупностью параметров и (если и фиксирован, то плотность р^(ж; и) определена однозначно). Например, часто вводится гипотеза о нормальности распределения скалярной случайной величины £, т. е.
РбЗ； т, а2) = 71r— е-(т-т)2/(2ь2)
у2тг ст
с неизвестными параметрами т, а2.
В рамках параметрического подхода задача восстановления плотности вероятностей сводится к задаче восстановления значений тех неизвестных параметров и, от которых зависит плотность вероятностей. При решении прикладных задач методами математической статистики исследователя чаще всего интересуют именно значения восстанавливаемых параметров, а не сама плотность вероятностей, поэтому методам параметрической статистики будет уделено наибольшее внимание.
Непараметрические методы восстановления законов распределения наблюдаемых случайных величин не предполагают такой жесткой фиксации класса законов распределения при помощи конечного числа параметров, хотя довольно часто в рамках непараметрического подхода используют метод «погружения» в параметрическое семейство с потенциальной возможностью неограниченного увеличения числа искомых параметров.*
Параметрическая статистика. Свойства оценок
Интуитивно ясно, что по выборке конечного объема принципиально невозможно точное восстановление закона распределения в рамках как параметрического, так и непараметрического подходов. В результате восстановления мы получаем приближенные значения закона распределения (например, плотности вероятностей) или приближенные значения параметров (если использован параметрический подход). В математической статистике приближенные значения параметров плотности вероятностей или самой плотности вероятностей, полученные на основе выборки (1.1), принято называть оценками.
Оценки параметра и и плотности pg будем обозначать символами N и 花 соответствен но.
Любая оценка и зависит от членов выборки (1.1) и поэтому является случайной величиной.
Оценка и называется несмещенной^ если М & = ”，где иТ — искомое точное значение параметра и. Если М 仑卢 ”丁, то оценка и смещена.
Поскольку оценка 2 =仑(X】，…，Хп) зависит от членов выборки, то она, вообще говоря, будет изменяться при увеличении объема выборки
(добавлении новых членов выборки). Интуитивно ясно, что при п —> оо информация о законе распределения в выборке неограниченно увеличивается, и поэтому достаточно разумная оценка параметра должна сближаться (в том или ином смысле) с его точным значением.
Оценка и = &(X】,...,Хп) называется состоятельной по вероятности (в среднем квадратичном), если и(Х1?..., Х^- сходится по вероятности (в среднем квадратичном) к иТ при п —> оо. Если тип сходимости безразличен или ясен из контекста, то будем говорить о состоятельности оценки без указания типа сходимости.
Конечно, состоятельность является хорошим свойством оценки, но все же скорее успокоительного, а не конструктивного характера, поскольку на практике объем выборки всегда конечен. Для практики наиболее важным является вопрос о близости (в том или ином смысле) оценки к искомому значению параметра при фиксированном объеме выборки. Меру близости можно вводить по-разному. Например, если и — скаляр и оценка и несмещена, то в качестве меры близости чаще всего выбирают дисперсию оценки (если и — несмещенная оценка вектора, то мерой близости может служить ковариационная матрица оценки). Оценки, наиболее близкие к истинным значениям, называют эффективными. Одна из основных задач математической статистики —— нахождение эффективных оценок.
Как уже указывалось выше, основой параметрического подхода является жесткое постулирование класса распределений. К сожалению, на практике реальные законы распределения случайных величин, образующих выборку (1.1), как правило, отличны от постулированного. Хотя такое отличие может быть и малым, оно всегда имеется. Если оценка малочувствительна к малым изменениям (в том или ином смысле) исходного постулированного закона распределения, то такая оценка называется робастной.
Любая оценка и n-мерного вектора и представима в виде
& = S(Xi,...,Xn), (1.2)
где S — оператор из конечномерного пространства элементов (X],Хп) в m-мерное пространство Ет.
Если S —— линейный оператор, то оценка (1.2) называется линейной, в противном случае и ——нелинейная оценка. В частности, если Xj — векторы размерности 6, то линейная оценка представима в виде и = SX + “о, где S — матрица размерности (т х n А:), X — совокупность компонент векторов выборки (1.1), ио — фиксированный детерминированный вектор.
Класс линейных оценок играет важную роль в математической статистике, поскольку в этом классе часто удается найти «хорошие» оценки, а линейность оценки позволяет в большинстве случаев вычислять ее с меньшими вычислительными затратами по сравнению с нелинейными оценками.
Часто встречаются оценки, которые вместо свойств несмещенности обладают более общим свойством асимптотической несмещенности:
М &(Xi,... , Xn) т иТ при n т оо. В частности, состоятельные в среднем квадратичном оценки асимптотически несмещены.
Выше были рассмотрены некоторые основные свойства оценок. Конкретные оценки могут обладать одними из этих свойств и не обладать другими. Спрашивается, каким из перечисленных свойств оценок следует отдавать предпочтение при выборе подходящей оценки? Универсального ответа на этот вопрос не существует. Конечно, всегда желательно, чтобы оценка была эффективной. Но, к сожалению, часто эффективные оценки неустойчивы и тогда, в условиях опасности нарушения основных предположений, следует отдавать предпочтение робастным оценкам, эффективность которых максимальна. С другой стороны, и эффективные (или почти эффективные), и робастные оценки, как правило, даже для простых параметрических моделей могут быть вычислены только с помощью компьютеров. Линейные оценки наиболее легки для вычислений, но в большинстве случаев не обладают свойством робастности.
До сих пор мы рассматривали точечное оценивание параметров, в результате которого вместо неизвестного точного значения ит получаем одно его приближенное значение — оценку и.
В математической статистике существует еще один способ оценивания ——интервальный. При интервальном оценивании находят две оценки скалярного параметра 〃 uH, ив такие, что определена вероятность Р {〃 е (〃н,〃в)} =「(〃)• Величину Рдов = infup(u) называют доверительным уровнем, а 1 — рдов уровнем риска. В приложениях часто доверительный уровень и уровень риска выражают в процентах, а границы ин, "в подбирают так, чтобы доверительный уровень равнялся одному из стандартных значений: 0,9; 0,95; 0,99; 0,999. Например, если Рдов 二 0,95, то говорят о 95 % доверительном уровне и 5 % уровне риска.
Интервальные оценки более информативны, чем точечные, но их получение требует больших вычислительных затрат. Наиболее часто интервальные оценки получают, используя подходящую точечную оценку и, для которой удается построить плотность вероятностей р^(〃)・ Тогда доверительный интервал \и — Si^u + 62] находят из равенств
u 合 + 62
j р^(и) du = j 九=等.
В частности, если р^(“) симметрична относительно и, доверительный интервал [и — 5, и +(5] симметричен относительно и, а 5 > 0 находят из равенства
]Pu(u) du = Рдов-и —6
С методами математической статистики можно ознакомиться в книгах [2-5,33,38,40,48,65].
Метод моментов
Пусть (1.1) — повторная выборка скалярной случайной величины £, у которой существуют моменты достаточно большого порядка.
В качестве оценки 2^ начального момента А:-го порядка М£‘ возьмем статистику
诵=^士(1.3) i=l
В частности, оценка математического ожидания m дается равенством
6=^£х,・(1.4)
г=1
В качестве оценки 0k центрального момента А:-го порядка М (£ — М £)素 возьмем статистику
伙三玄区一向及；(1.5)
г=1
в частности, оценка дисперсии а2 дается равенством
接是士К-市产.(1-6)
1=1
Оценки (1.3) несмещены, так как М&^ = — £ MX，= Mf£ со- г=1
стоятельны в среднем квадратичном в силу закона больших чисел (теорема Чебышева).
Оценки (1.5) также состоятельны в среднем квадратичном, но смещены, и, следовательно, обладают свойством асимптотической несмещенности. Например, для оценки (1.6)
m32 =…02 D 們=些二^ -+ 空手!
где 从4 — центральный момент 4-го порядка случайной величины £.
Часто вместо асимптотически несмещенной оценки (1.6) используют несмещенную оценку дисперсии:
s2 = Wlt?K — 6)2,г=1s2 = Wlt?K — 6)2,г=1(1.7)(1.7)
s2 = Wlt?K — 6)2,г=1
s2 = Wlt?K — 6)2,г=1
(1.7)
(1.7)
которую называют эмпирической дисперсией.
Дисперсии несмещенных оценок (1.4), (1.7) равны D (向=а2/п^ D s2 = п2(п — 1)-2D (?2). В частности, если £ распределена по нормальному закону, то 儿4 = Зег4 и D (s2) = 2ст4/(п — 1).
На оценках моментов (1.3) случайной величины £ основан метод моментов оценки параметров и и искомой плотности вероятностей г式①；").
Пусть задано т линейно независимых функций ai(x),..., аш(ж) (т — размерность вектора и). Имеем
] Pg(%; u)aj(x) dx = bj(u),
где bj(u) — известные функции искомых параметров и. В качестве состоятельных оценок Ма^ ⑹ возьмем статистики
&(X) = ^£aKXi).
Тогда согласно методу моментов в качестве оценок параметров берется решение системы уравнений
%(&)=%(Х), J = 1,..., m.(1.8)
В частности, если а)(Х) = X% j = 1,..., m, то
aк①)=包=
п г=1
Пример 1.1. р^ 〃) = ^~UX^ ? S； где "0.
Возьмем 团⑺ 二 ж. Имеем: М fli(x) = М£ = 1/и. Поэтому система
(1.8) сводится к одному уравнению(1.8) сводится к одному уравнению11
(1.8) сводится к одному уравнению
(1.8) сводится к одному уравнению
^ = - 52 Хг, откуда и = г=1
Замечание 1.1. Если интегралы
ОО
р^(х; u)aj(x) dx
аналитически не «берутся», то при решении нелинейной системы (1.8) (обычно одним из методов итераций) левые части равенств (1.8) подсчитываем, вычисляя эти интегралы численно.
Если £ ——векторная случайная величина размерности г, то каждый член Xj = (Х〃,.. ., Х»)Т выборки (1.1)—— r-мерный вектор.
В качестве несмещенной и состоятельной оценки m вектора математических ожиданий векторной случайной величины £ можно взять
nnпгр
б = ^£к = Х£х“..£х») =(X,£)т. г=1г=1г=1
Статистики
务盯=几：J £(Xki - Xi)(Xkj ~ X/ 月=1
4 =后必 - 1)(玄(Xl见)2玄时 -羽)2厂/2k=lfc=l
являются состоятельными оценками ковариации cov (&, ^) и коэффициента корреляции r(^i^j) компонент ^ и ^ векторной случайной величины £. Оценка hij несмещена, оценка »切 смещена и потому является асимптотически несмещенной.
Следовательно, состоятельной и несмещенной оценкой ковариационной матрицы Kg является симметричная положительно определенная (г х г)-матрица Kg, (£,/)-й элемент которой равен 6叮.Матрицу /Q можно представить в виде
& =丄XTX, X、 n — 1& =丄XTX, X、 n — 1(Хц — X] Xi2 — Х2 X” — Xr Х21 — Xi X22 — X2. •. Xzr — Xr
& =丄XTX, X
、 n — 1
& =丄XTX, X
、 n — 1
\%п1 - %1Хп2 - %2-..Xnr - X
где X — (n x г)-матрица.
Пусть £ ——скалярная нормально распределенная случайная величина И р^(ж) =е-(х-ш)2/(2а2),
，27r а
Рассмотрим сначала случай, когда т неизвестен, а2 известен. В качестве оценки m возьмем статистику (1.4). Случайная величина m распределена по нормальному закону Af(m, а/у/п). Поэтому нормированная случайная величина (т — т)/(ау/п) распределена по нормированному нормальному закону М(0,1). Имеем
где Ф(^) = -7= e~s /2 ds — интеграл вероятностей. В таблице значе- V27r J о
ний интеграла вероятностей находим t = ^(рдов), для которого 2Ф(%)= =Рдов- Тогда доверительный интервал для параметра т с уровнем доверия 100рДов% имеет вид
m - Мрдов)； ^ m ^ m + 力(рДов)-^.(1.9)
Vnvn
Для 90%, 95%, 99%, 99,9% уровней доверия коэффициент ^(рдов) равен 1,64; 1,96; 2,58; 3,29 соответственно. При увеличении уровня доверия длина доверительного интервала возрастает, например, длина
доверительного интервала при уровне риска в 0,1 % почти в два раза больше длины доверительного интервала для уровня риска в 10%.
Рассмотрим теперь случай, когда тиа2 оба неизвестны. Тогда в качестве точечных оценок этих параметров возьмем статистики (1.4) и (1.7). При построении доверительных интервалов для тиа2 используется следующее утверждение.
Теорема 1.1. Пусть (1.1) — повторная выборка случайной величины, распределенной по нормальному закону М(тп, о). Тогда т и s2 независимы и ^(п — 1)/сг2 распределена по закону Х^_「
Доказательство. Совместная плотность вероятностей совокупности независимых центрированных случайных величин Yi = Xi — т, г = 1,..., п, дается равенством
р(у) = Р® …心=^7^ exp (-斎)g d・
В n-мерном пространстве (i/i,... , уп)Т совершим поворот вокруг начала координат так, чтобы в новой системе координат z = =(21,, zn)T выполнялось равенство 2n = ^=г £ yi. Имеем: z = =Ug, Z = С/У, где U ——ортогональная матрица поворота. Случайные величины Zi,.. ., Zn независимы. Кроме того, £ Z? = £ 匕？, г=1г=1
поскольку при повороте расстояния не изменяются. Обозначим ту = =丄 £ 匕.Имеем
£ 匕2 = £(匕-ТПу)2 + птпу = £ Z^ + nmy, г=1г=1г = 1
откуда
s2(n-l) = f (X,-市)2 =玄(匕一吗)2 =
£=1i=l，=1
n - 1
Из равенства s2(n — 1) = £ Z? следует, что величина m = г=1
=m + Znjу/п не зависит от s?, a s? распределена по закону x^-i- Теорема доказана.
Нормированная случайная величина Un =(市一тп)/(ау/п) распределена по закону М(0,1) и не зависит от случайной величины Vn = = ^{п — 1)/сг2, распределенной по закону х^_「Поэтому отношение Стьюдента Т^т = Un/\/Vn/{п — 1) = (m — m)/(s\/n) распределено
по закону Стьюдента с плотностью вероятностей
PT—⑴=PT—⑴=t G (—oo, oo).t G (—oo, oo).1「6/2) Л +~П/2
PT—⑴=
PT—⑴=
t G (—oo, oo).
t G (—oo, oo).
Имеем: P (•皿—ГIИмеем: P (•皿—ГI^(n - 1) Г((п - 1)/2) \п-1)
Имеем: P (•皿—ГI
Имеем: P (•皿—ГI
tравенства 2 j оtравенства 2 j оРТп-i(S)ds = Рдов-РТп-i(S)ds = Рдов-< Q = Рдов, где t = t(n- 1,рДов) находится из
t
равенства 2 j о
t
равенства 2 j о
РТп-i(S)ds = Рдов-
РТп-i(S)ds = Рдов-
Итак, доверительный интервал для параметра т имеет вид
m-t^n- 1,рдОВ)-7=- W m W 市 + 力(几-1,рДов)-7=-.(1.Ю)
vnVn
При фиксированной рдов коэффициент t(n — 1, рдов) убывает с ростом п и t(n — 1, Рдов) Т 力(Рдов) — из формулы (1.9) при п -> ОО. При фиксированном п коэффициент t(n — 1, рдов) возрастает с ростом рдов. Значения t(n — 1, рдов) для различных п и стандартных значений рдов табулированы. Например, для п = 5 коэффициент Стьюдента равен 2,13; 2,78; 4,6; 8,61 для 90%, 95 %, 99% и 99,9% уровней доверия. Так как при фиксированном уровне доверия ^(п — 1,рДов) > ^(рдов), доверительный интервал (1.10) шире доверительного интервала (1.9). Увеличение доверительного интервала для т в случае неизвестного с? является своеобразной «платой» за незнание ст2.
Построение доверительного интервала для а2 также основано на результате теоремы 1.1. Действительно,
Рдов = Р {"2 < $ (:”)< и】 а"】(〃)九,
где
0 22f/2(n-3)/2 -u/2
г^п-1)/2) и е ,
〃 > 0 ——плотность вероятностей случайной величины, распределенной
по закону хМ「
Границы ui(n — 1, рдов), 〃2(九—1, Рдов) обычно выбирают согласно
правилу
0ui
Таким образом, доверительный интервал для а2 имеет вид
21(71 - 1,рдов)52 < а2 < 22m - 1,Рдов)$2,(1-11)
где 〃(九-1, Рдов)=(九一 1)以(九-1, Рдов), к = 1,2.
Коэффициент 21 € (0,1) обладает следующими свойствами: при фиксированном п z\ — монотонно убывающая функция рДов, причем 21 Т 0 при Рдов Т 1； Z1 Т 1 при Рдов Т 0； Z1 При фиксированной рдов монотонно возрастает с ростом п и zi 1 при тг т 8. Коэффициент 22 > 1, 22 Т 1, МОНОТОННО убывая При П —> ОО И фиКСИрОВЯННОЙ рдов. Коэффициенты z】,z? для различных значений п и рдов табулированы.
Неравенства Фишера—Крамера-Рао
Обозначим р(а；1,... , жп; и) совместную плотность вероятностей совокупности случайных величин, образующих выборку (1.1). Функция членов выборки p(Xi,. .., Хп; и) называется функцией правдоподобия и обозначается 厶九(X】,...,Хп; и). Если (1.1) — повторная выборка, то
Ln(Xi,..., Хп; и) = П pf(Xj； и).г=1
Часто вместо функции правдоподобия используют логарифмическую функцию правдоподобия
/п(Х1,..., Xn; а) = In Ln(X],..., Xn; 〃).
Для повторной выборки
/п(Х]_,..., Хп; и) = ^2 h(Xt； 〃)，i=i
где h(Xj； и) = In p£(Xj； 〃).
Как мы уже знаем, существует много несмещенных и состоятельных оценок параметра 〃. Спрашивается: существует ли верхняя граница точности таких оценок, построенных на основе выборки (1.1)?
Рассмотрим сначала случай, когда и — скаляр. Тогда степень близости любой несмещенной оценки й к истинному значению иТ дается дисперсией оценки D & = М (& — ит)2.
Теорема 1.2 (Фишер-Крамер-Рао). Пусть G = &(Xi,..., Хп)— любая несмещенная оценка и. Тогда
где
г — —r( a2/n(X] , . . . , Xn； 〃)n _ _*
Доказательство. Имеем
j • • • j Ln(-^i, • • •, Xn； 〃)dXi... dXn —- 1.
Откуда
ОО
]窮 dXi...dXn = 0.(1.13)
Но М & = it или.
ОО
]• • • ] "(Xj., • • •, -^^л)-^п(-^^1, • • • ? Хп； “) dX]_... dXn = ?/•
Дифференцируя последнее равенство, получаем
ОО
]•••]否籍 dX1...dXn = l.
Умножим равенство (1.13) на ит и вычтем из последнего равенства:
ОО
• • • dXn -■—• • • dXn -■—1.1.
• • • dXn -■—
• • • dXn -■—
1.
1.
Левую часть последнего равенства можно записать в виде
ОО
]…](& - ит)^~ 驚厶n dXi …dXn = M(u-吋)需.
Итак, получено равенство
m(先=1.
Обозначим Y = й — uT, Z = ^^. Из равенства (1.13) следует, что М Z = 0. Поэтому левая часть равенства М У Z = 1 ——ковариация центрированных случайных величин У, Z. Но для любых двух случайных величин У, Z справедливо неравенство Коши-Буняковского М2yz W W М У 2Mz2. Поэтому
1 WM(6 …т)2M 隱[
м dln 1 dLn
Имеем: —= — откуда
321n =里з2& _ J_ 2 =丄 ¥% _ 产吟 2
Поэтому
так как
м舒dXi...dX“ = O.
Теорема доказана.
Замечание 1.2. В тексте теоремы 1.2 не зафиксированы условия, налагаемые на функцию правдоподобия Ln, при выполнении которых справедливы выкладки доказательства теоремы. Эти условия будут приведены ниже при формулировке неравенства Фишера-Крамера- Рао для многомерного случая.
Величина /п не зависит от оценки и, а определяется только законом распределения членов выборки и характером зависимости этого закона от искомого параметра и. Из доказательства теоремы 1.2 следует, что /п положительна. Если выборка повторная, то
In = -= nh, где Л = -М
Таким образом, /п характеризует знание о параметре и, «заложенное» в выборке (1.1), и не зависит от конкретной реализации выборки, поэтому 1п называют информацией (Фишера). Из вышесказанного следует, что если выборка повторная, то увеличение выборки в к раз увеличивает информацию Фишера также в к раз.
Из неравенства Фишера-Крамера-Рао следует, что величина, обратная к информации Фишера, ограничивает снизу дисперсию любой несмещенной оценки параметрам, построенной на основе выборки (1.1). Оценки, для которых в неравенстве Фишера-Крамера-Рао достигается равенство, называются эффективными. Отношение en = l/(/n D 2), О en 1, называется эффективностью оценки и. Для эффективных оценок (если они существуют) и только для них en = 1.
Пример 1.2. Пусть
「£(,; и) =
и выборка (1.1) повторная. Тогда
пехp2 52(Xj - ^)2]
Ln(Xi,..., Xn; ^) = fj P£(Xc； u) =*^2 n ，
/n = -” 2万 一 n In。- 奈宫(X i)2,厶=-M * = %
Поэтому /п = п/а2. Для несмещенной оценки
и =и =1 пD&=г=1
и =
и =
и, следовательно, оценка и эффективна.
Пример 1.3. Пусть р^(ж; и) = ие~их, ж > 0, и выборка (1.1) повторная. Тогда
Ln = ипе 』,Xi > 0, г = 1,..., п,
1п= п\п и - u\"Xi,厶=当 Лг =乌ии
Итак, для неизвестного параметра экспоненциального закона информация Фишера зависит от значения самого искомого параметра. Для оценки и = п^^ Xj еп < 1.
Пусть теперь и — вектор размерности т. Матрица 1п = (/订)，где
тл/г а?、5 = -м丽前ртл/г а?、5 = -м丽前рг, j = 1,... , m,г, j = 1,... , m,
тл/г а?、
5 = -м丽前р
тл/г а?、
5 = -м丽前р
г, j = 1,... , m,
г, j = 1,... , m,
называется информационной матрицей Фишера. Из определения информационной матрицы следует ее симметричность. Имеем
1 0ЬпLn 3〃/1 0ЬпLn 3〃/綻/n _ _1_ a?Ln _ 丄 dLn 3Lnduiduj Ln duiduj 片 dui duj
1 0Ьп
Ln 3〃/
1 0Ьп
Ln 3〃/
Но
7-4^1 • • • dXn = o,
Ln duiduj J J duiduj
=0.=0.
=0.
=0.
Поэтому
-M.翦- duiduj-M.翦- duiduj
-M.翦- duiduj
-M.翦- duiduj
Таким образом, информационная матрица Фишера является ковариа
ционной матрицей совокупности центрированных случайных величин
Предположим, что 〃 невырождена и
j…口若|dXi...dXn < оо
для любого и и г = 1,..., т.
Пусть и = (&1,..., &т)т — несмещенная оценка искомого вектора ит, построенная по выборке (1.1).
Теорема 1.3. Ковариационная матрица Ки любой несмещенной оценки и удовлетворяет неравенству
К&》J'1.(1.14)
Неравенство (1.14) — обобщение неравенства Фишера-Крамера- Рао (1.12) на случай векторного искомого параметра и. Оно означает, что симметричная матрица Ки — Z'1 неотрицательна. Элементы главной диагонали матрицы Ки являются дисперсиями о^. компонент &» вектора оценки и. Поэтому из неравенства Фишера-Крамера- Рао (1.14), в частности, следуют неравенства % ^ /^1, г = 1,..., m, где //1 ——г-й элемент главной диагонали матрицы, обратной к информационной матрице Фишера.
Неравенство Фишера-Крамера-Рао обобщается и на случай смещенных оценок. Заметим, что неравенство (1.14) эквивалентно выполнению неравенства (КиО,о)》(/^^о,。) для любого о е Ет. Обозначим bi(u) смещение г-й компоненты вектора оценки &=(&,..., &т)т, т. е. М & = s + А (м).
Теорема 1.4. Пусть 1° выполнены условия теоремы 1.3 (условия регулярности); 2°существуют для всех и, где i> j = 1,т.
OUj
Тогда для любого вектора о € Ет справедливо неравенство
(ки…)》(/](1.15)
где (г, j)-u элемент матрицы D (и) дается равенством
В частности, для одномерного случая (т = 1) неравенство (1.15) эквивалентно неравенству
М(&-〃)2》&+讐))；(1.16)
где Ь(〃)— смещение оценки й.
Так же как и для одномерного случая, несмещенная оценка и = =(21,. .. , ит)Т называется эффективной (совместно эффективной),
если в (1.14) достигается равенство. Оказывается, что оценка и является эффективной тогда и только тогда, когда закон распределения оценки и нормальный (теорема Хогга-Крейга) [33].
Метод максимального правдоподобия (ММП)
ММП позволяет получать оценки, которые в определенном смысле близки к достижению границы Фишера-Крамера-Рао, а если эффективные оценки существуют, то совпадают с ними.
Согласно ММП за оценку параметра и принимается решение экстремальной задачи
&ммп = arg max Ln(Xi,..., Хп； ")•(L17)
Если функция правдоподобия дифференцируема по и, то ММП- оценка (1.17) является решением системы уравнений правдоподобия
graxlu Ln(Xi,...,Xn; 2) = 0.(1.18)
Часто вместо экстремальной задачи (1.17) и системы (1.18) удобно рассматривать эквивалентные им задачи
"ммг! = arg max /九(X】，...，Х^; iz)〉(1.19)
grad, /n(Xi,...,Xn; 6) = 0.(1.20)
Прежде чем перечислять общие свойства ММП-оценок, найдем ММП-оценки параметров для некоторых стандартных распределений.
Пример 1.4. Пусть
v2?r ст
где и = (mo, а2)т и выборка (1.1) повторная. Имеем
4(X1,, Хм mo, а2) = —In 2тг — In a2 — E(Xf — mo)?.
22.=1
ain _ пain _ пn^Z £(Xf -滾0)2 = 0,n^Z £(Xf -滾0)2 = 0,Получаем систему уравнений правдоподобия
ain _ п
ain _ п
n
^Z £(Xf -滾0)2 = 0,
n
^Z £(Xf -滾0)2 = 0,
=当 £(Xf -命о) = 0, ото а 厶‘
t=i
откуда
倉。=丄 eM, 62 =丄£(m一倉0)2.П i=lП i=lИз сказанного выше следует, что ковариационная матрица вектора倉。=丄 eM, 62 =丄£(m一倉0)2.П i=lП i=lИз сказанного выше следует, что ковариационная матрица вектораи = (то? 3?)т равна Ки =и = (то? 3?)т равна Ки =а2/па2/п0062(п — 1)а4/п62(п — 1)а4/п2 ). Информационная2 ). Информационная
倉。=丄 eM, 62 =丄£(m一倉0)2.П i=lП i=l
Из сказанного выше следует, что ковариационная матрица вектора
倉。=丄 eM, 62 =丄£(m一倉0)2.П i=lП i=l
Из сказанного выше следует, что ковариационная матрица вектора
и = (то? 3?)т равна Ки =
и = (то? 3?)т равна Ки =
а2/п
а2/п
0
0
62(п — 1)а4/п
62(п — 1)а4/п
2 ). Информационная
2 ). Информационная
п/а2 00 п/(2сг4)п/а2 00 п/(2сг4).Следовательно, при.Следовательно, при必応")= e必応")= eа х Ь, и = (а, б)';а х Ь, и = (а, б)';Ln(X],... , Хп; а, Ь)—Ln(X],... , Хп; а, Ь)—11Г^11Г^а W Xmin,а W Xmin,Ь》Xmax,Ь》Xmax,
п/а2 0
0 п/(2сг4)
п/а2 0
0 п/(2сг4)
.Следовательно, при
.Следовательно, при
必応")= e
必応")= e
а х Ь, и = (а, б)';
а х Ь, и = (а, б)';
Ln(X],... , Хп; а, Ь)—
Ln(X],... , Хп; а, Ь)—
1
1Г^
1
1Г^
а W Xmin,
а W Xmin,
Ь》Xmax,
Ь》Xmax,
матрица Фишера Zn(^o, ст2)=
п -^ оо ковариационная матрица ММП-оценки достигает нижней гра
ницы Фишера-Крамера-Рао. Такое свойство оценок называют асимп
тотической эффективностью. Заметим, что ММП-оценка то несме- щена, а ММП-оценка 3? асимптотически несмещена.
Пример 1.5. Пусть р^(ж; и) = ие~их, ж > 0. Имеем
/п(Хь ..., Хп; и) = п\п и - u^Xi, 嘉=^ - ^ Xj = 0, откуда бммп =九/玄 ％.
Пример 1.6. Пусть
где
Xmin = min {X】，...，Xn}, Xmax = max {X】，...，Xn}.
Следовательно, максимум Ln достигается при Ьммп = Xmax, аММП = Xmirv
Пример 1.7. Пусть совместная плотность вероятностей членов выборки дается равенством
「(％1,.・.，％九；и) = &7r)п/：к у ехР{~| (^ ^^ - ulY ^ - ul)},
где ж = (%i,. .. , %п)т, / = (1,.. ., 1)т, т. е. все члены выборки имеют одинаковое математическое ожидание и, распределены нормально и между ними существуют корреляционные связи. Имеем
К(Х1, •.., Хп; 71) = -^ 1П27Г — ； In\КХ\- ； (К£1(Х-ul^X-〃7),
где X = (Xi,..., Хп)т. Отсюда
器=一认 К>7,7) + (К「7,Х), &ммп=(舒:才
В частности, если Кх = diag(c* с) т0 (人丁7,7) = V —, г = 1 У (К「7,х)= £ V 0 &ММП = £ +/ £ F — средневзвешенная г=1 叫г=1 S / £=1 8
оценка.
ММП-оценки обладают свойством инвариантности.
Теорема 1.5. Пусть совокупность функций gi(〃), • • •, gk(〃), 1 ^ k ^ т, отображает область U С Е^1 изменения параметра и в k-мерный параллелепипед П^ W Ек. Тогда ММП-оценка параметра &•(〃)дается равенством ujMMn = & (&“”〃)•
Пример 1.8. Пусть (1.1) — повторная выборка логнормального распределения, т. е. In X» 〜Af(mo, сг2). Известно, что математическое ожидание 〃 и дисперсия d? логнормального распределения связаны с то и сг2 соотношениями
从=再。+。2/2, d2 = 42(eb2-i)
Обозначим
匕=1nX" "1,...,吃p=丄玄匕，32 =丄玄(匕一p)2
Тогда согласно теореме 1.5 ММП-оценки параметров 〃，d? логнормального распределения даются формулами
0MMп — exp{Y + 尹/2},④統口 — %мп(е° - 】)•
Следующее свойство ММП-оценок связано с понятием достаточной статистики.
Пусть Т(Х],…，Хп) — такая статистика, что условное распределение любой другой статистики Z(X],. .. , Хп), не связанной функциональной зависимостью с Т, при заданной Т(Х],.. ., Хп) не зависит от искомого параметра и. Тогда Т(Х工Хп) называют достаточной статистикой. Если значение достаточной статистики Т(Х],..., Хп) на выборке (1.1) известно, то знание значения любой другой статистики на выборке (1.1) не добавляет никакой новой информации об искомом параметре и. Не всякое семейство совместной плотности вероятностей членов выборки (1.1) допускает существование достаточной статистики. С другой стороны, если достаточная статистика существует, то всегда желательно ее найти, поскольку тогда вместо всей выборки (1.1) можно сохранять лишь значение достаточной статистики, не теряя при этом информации об искомых параметрах.
Ниже приведен простой критерий существования и определения достаточной статистики.
Теорема 1.6 (факторизации Фишера-Неймана). Для того чтобы статистика Т(Х],.. ., Хп) была достаточной у необходимо и доста-
точно выполнение представления
Ln(Xi,..., Хп; и) =/(Т(Х],..., Хп); и) з(Х],..., Хп), где сомножитель 夕 не зависит от искомого параметра и.
Пример 1.9. Пусть р^(х; u) ~ Af(mo, ст2) и (1.1) — повторная выборка. Имеем
1 Г 1 п1
Ln(Xi,Хп; и) =(2；工2产 ^Р [-彳 £(K - m0)2j =
=exp {-亲[X(K 一 X)2 + n(X -m0)2] }.
Поэтому набор двух скалярных статистикПоэтому набор двух скалярных статистик{不,玄(К—五)2}—доста- г=1{不,玄(К—五)2}—доста- г=1точная (векторная) статистика, если неизвестны 7no и а2. Ясно, чтоточная (векторная) статистика, если неизвестны 7no и а2. Ясно, чтонаборнабор信尤Ef}信尤Ef}также является достаточной статистикой.также является достаточной статистикой.
Поэтому набор двух скалярных статистик
Поэтому набор двух скалярных статистик
{不,玄(К—五)2}—доста- г=1
{不,玄(К—五)2}—доста- г=1
точная (векторная) статистика, если неизвестны 7no и а2. Ясно, что
точная (векторная) статистика, если неизвестны 7no и а2. Ясно, что
набор
набор
信尤Ef}
信尤Ef}
также является достаточной статистикой.
также является достаточной статистикой.
Пример 1.10. Пусть р^(х; и) = 1/и, 0 ^ ж ^ и, и выборка (1.1) повторная. Тогда Ln(Xi,Хп; и) = l/u", X； < и. Функцию Ln можно представить в виде Ln = l/un, Xmax < ". Поэтому Xmax — достаточная статистика, если и неизвестно.
Если для закона распределения выборки (1.1) имеется достаточная статистика T(Xi,…，Хп), то ММП-оценки выражаются только через T(Xi,…，Хп) и тем самым не теряют информации о параметре и. Действительно, пусть
厶П(Х],..., Xn； u) = /(T(Xi,..., XJ и) з(Х“ ...，Хп)・
Тогда уравнение правдоподобия имеет вид
grad” In f (T(Xi,Xn); u) = 0,
и тем самым &ммп зависит только от достаточной статистики 7(X1,XJ
Пример 1.11. Пусть
pg(N； и)=彳三，a^x ^Ь,
и выборка (1.1) повторная. Тогда аммп = Xmin, Ьммп = Хтах, причем {Xmin,Xmax} ~ достаточная статистика при неизвестных а и Ь. В частности, ММП-оценкой математического ожидания М£ будет (Xmin + Xmax)/2・
Пусть
PE(n; u) = b(c) exp £ UjTj(x) + ^(u).
Тогда >£(%; u) называют экспоненгщальной плотностью.
Теорема 1.7. Пусть 1° выборка (1.1) повторная и р^(ж; и) — экспоненциальная плотность] 2° (т х т) -симметричная матри
ца R с элементами 尺叮=— положительно определена для всех
OU% j
и Е U С Ет. Тогда ММП-оценка иММП единственна, является достаточной статистикой и корнем системы уравнений
V £ 厶(К) = а 鸣器吐j = 1, • • •, m・(1.21)
Доказательство. Имеем
П7ПП
Ln(X], • • •, ^n 5 м)= Rb(Xi)exp {£叫£厶5)+九叭叫.
t=l' >=1 i=l
Поэтому набор |^2 Ti(Xj, • • •, ^2 Тт(Х<)| является достаточной
" 口a Ln
статистиком. Приравнивая к нулю частные производные -^—, полу-
C/Uj
чаем систему (1.21), которая в силу положительной определенности матрицы R имеет единственное решение, доставляющее максимум Ln. Теорема доказана.
При выполнении некоторых условий регулярности ММП-оценки состоятельны, а именно: если (1.1) — повторная выборка, то &ммп т ит по вероятности при тг т 8. Более того, для любого е > 0 существуют такие ^, а > 0, что Р {|&ммп — url ^ ^} ^ Ке~ап для всех n 1.
Ранее при рассмотрении примеров было отмечено, что ММП- оценки являются либо эффективными, либо близки к нижней границе Фишера-Крамера-Рао при больших п. Оказывается, что и в общем случае при выполнении условий регулярности ММП-оценки являются асимптотически эффективными и асимптотически несмещенными [33].
Еще одно замечательное свойство ММП-оценок связано с их асимптотической нормальностью.
Последовательность случайных величин ап называют асимптотически нормальной, если найдутся такие детерминированные невырожденные матрицы Ап и векторы 从九,что закон распределения величин Ап(ап — 〃п) стремится к нормальному Л/*(0, Ко) при п —> оо, где Ка — положительно определенная (т х т)-матрица.
При выполнении условий регулярности закон распределения последовательности ，^(&ммп — ит) стремится к нормальному
2 А.В. Крянев, Г.В. Лукин
^(0, /-1(〃т)) при п —> оэ, где /一1(〃丁) — матрица, обратная к информационной матрице Фишера. Используя свойство асимптотической нормальности ММП-оценок, после нахождения точечных ММП-оценок можно строить доверительные интервалы для искомых параметров. Действительно, при достаточно большом п закон распределения йммп — иТ близок к нормальному,
2(°，^^ /Т®ммп))・
В частности, закон распределения й^ммп — и^т близок к одномерному нормальному,
2(。，^" ^(^ммп))?
где %ммп — :i— компонента вектора иммп, /才(&ммп)—外卤 элемент главной диагонали матрицы /~1(&ммп)・ Поэтому доверительные интервалы для компонент ММП-оценки £?ммп имеют вид
勺мми -*仇ов)勺мми -*仇ов)"■ W 〃jT W ^jMMIl + ^(Рдов)"■ W 〃jT W ^jMMIl + ^(Рдов)
勺мми -*仇ов)
勺мми -*仇ов)
"■ W 〃jT W ^jMMIl + ^(Рдов)
"■ W 〃jT W ^jMMIl + ^(Рдов)
где ^(Рдов) при заданной доверительной вероятности рдов находится по таблице интеграла вероятностей согласно равенству
貝Рдов)
£ [ с—/2 ds =等.
毎 J2
о
Теоретическое обоснование ММП дано в монографии [33].
Глава 2
МЕТОДЫ УЧЕТА АПРИОРНОЙИНФОРМАЦИИ В РАМКАХПАРАМЕТРИЧЕСКОЙ СТАТИСТИКИ
При восстановлении значений искомых параметров исследователь располагает, как правило, дополнительной (априорной) информацией о параметрах, помимо информации, «заложенной» в выборке (1.1). До сих пор оценки параметров строились только на основе выборки (1.1) и не учитывали дополнительную информацию о параметрах. Ясно, что учет дополнительной информации позволит улучшить надежность и точность оценивания.
В настоящее время используют два основных метода учета дополнительной информации в зависимости от ее характера — байесовский и минимаксный. Ниже, кроме этих двух методов учета априорной информации, изложен еще один — обобщенный метод максимального правдоподобия.
Метод Байеса
Применение байесовского подхода предполагает трактовку искомого параметра и как случайной величины. Тогда априорная информация задается в виде априорного распределения рапр(и) случайной величины и.
В большинстве прикладных задач искомый параметр и является детерминированной величиной, и поэтому искусственно навязанная байесовским подходом трактовка детерминированных величин и как величин случайных вызывает многочисленную критику в адрес метода Байеса. Следует однако отметить, что метод Байеса во многих случаях позволяет успешно учесть априорную информацию и получить разумные оценки.
Итак, при байесовском подходе и — случайная величина. Обозначим p(Ni,..., жп, и) совместную плотность вероятностей совокупности случайных величин X】，…，Хп, и. Имеем .
Р(37], . . . , Хп, 1Z)= Р^1 ? • • • ? ^п I м)Рапр(а)=
=0(U I %1, . . . , %п) Р(%1, • • • , *^п)?
где p(u I Xi,.. ., хп) — условная плотность вероятностей случайной величины и при фиксированных значениях у,…，％n, р(%1,хп)— маргинальная совместная плотность вероятностей совокупности слу-
чайных величин X】,...,Хп, которую можно найти по формуле
Р(%1, • • • , *^п) = ] Р(С1, • • • , ^п)") dlZ — j p(N], . . . , Хп I U)0anp(〃) du, UU
Из вышесказанного следует формула
p(〃 I 6, • • • , Nn)=(用(門，…产 П!3叁叩(竺)р(®1, . . . ,ЖП I M)Panp3) du
Поскольку имеется одна реализация совокупности случайных величин X],..., Хп, даваемая выборкой (1.1), то окончательно получаем формулу Байеса
P(U J X], . . . , Xn) = Ln(Xj_, . . . , Xn； U)Panp(〃)/C, где нормировочный множитель
С = ] Ln(Xi,..., Хп; и)Рапр(м) d〃
не зависит от и.
Функция р(а I Ж1,..., жп) называется апостериорной плотностью вероятностей.
В качестве точечной байесовской оценки (Б-оценки) йБ выбирают одну из характеристик апостериорной плотности вероятностей, например моду, математическое ожидание или медиану апостериорного распределения. Ясно, что в общем случае все три оценки будут различными.
Существует и другой способ получения точечной байесовской оценки, при котором задается положительная функция потерь lV(||u — м||), где 2 — оценка параметра и. На основе выбранной функции потерь W(t) и полученной апостериорной плотности р(м; Ж1,..., хп) строится функционал
А(&; Xi,Xn) = J IV(II& - 词1加3 I Xi,Xn) d%
который принято называть апостериорным риском оценки и при заданной выборке (1.1). Тогда Б-оценка определяется как решение экстремальной задачи:
(2.1)(2.1)пв = arg min Я(й; Х【，...，Х^),
(2.1)
(2.1)
т. е. Б-оценка минимизирует апостериорный риск.
При определении Б-оценки согласно формуле (2.1) также остается неоднозначность байесовской точечной оценки из-за возможности выбрать различные функции потерь W⑴.Отметим, что при первом способе обычно в качестве Б-оценки берут моду апостериорного распределения (наиболее вероятное значение апостериорной случайной
величины 〃)； при втором способе чаще всего выбирают квадратичную функцию потерь W(t) = #. Де Гроот и Рао изучали вид Б-оценок для различных функций потерь. Было установлено, что для W(t) = |£|, W(t) = # и W(±) = т/(± + 6)—献力—6)，В〉0 (прямоугольное окно), Б-оценка совпадает соответственно с медианой, математическим ожиданием и модой (для унимодальной и симметричной относительно моды апостериорной плотности) апостериорного распределения. Если апостериорное распределение унимодально и симметрично относительно моды, то все Б-оценки для любой симметричной выпуклой функции потерь совпадают.
Пусть Рапр(^) принадлежат некоторому семейству плотностей Ра. Для нахождения апостериорного распределения важно ответить на вопрос: какому семейству плотностей Рс должна принадлежать совместная плотность вероятностей выборки (1.1), чтобы апостериорная плотность также принадлежала семейству %? Семейство Рс называют сопряженным семейству Ра. Знание сопряженного семейства значительно облегчает решение задачи нахождения апостериорного распределения, поскольку в большинстве случаев сводит эту задачу к пересчету параметров, определяющих семейство Ра. Ниже приводятся утверждения о виде сопряженных семейств £, если основное семейство Ра связано с нормальными распределениями.
Рассмотрим сначала случай одномерного нормального закона распределения.
Теорема 2.1. Пусть
加=▲e-(l")2/(2产)
выборка (1.1) повторнаяу и неизвестно, мера точности г = 1/сг2 задана. Допустим^ что рапР(^) ~ М(〃,1/т), где 丁 = 1/。^ — л<е- ра точности. Тогда апостериорное распределение является нормальным 1/(т + nr)) со средним =三‘十巴三* и мерой точности т + пг
丁‘ = т + nr, где X =丄 * X— п — г=1
Из теоремы 2.1 следует, что Б-оценки неизвестного параметра и для любой симметричной выпуклой функции потерь совпадают и даются формулой
%=(/ + */(£ + £)•(22)
Из (2.2), в частности, следует, что 金^ ~ X при больших п. Последнее означает, что при увеличении объема выборки (1.1) «цена» априорной информации о параметре и падает и Б-оценка, суммирующая информацию о параметре 〃，«заложенную» в выборке (1.1), и априорную информацию, приближается к ММП-оценке йммп, построенной только на основе выборки (1.1). Наоборот, если п фиксировано, а ад —> 0, то
йБ т 〃，т. е. при сГд —> 0 «цена» априорной информации неограниченно увеличивается.
Рассмотрим теперь многомерный случай. Пусть все члены повторной выборки (1.1)——m-мерные векторы, распределенные по нормальному закону Х{ ~ 人f(〃, a2 KJ где Кх — положительно определенная (т х т)-матрица.
Требуется оценить компоненты вектора и = (%,…，ит)Т.
Пусть априорное распределение искомого вектора U — нормальное М(〃а, с^ К.), где Ка — положительно определенная (т х т)-матрица.
Тогда апостериорная плотность определяется равенством
-『£(К>(д - и), Xi -и)- 2。г=1
где С = [(2“严6+1)/267mп。丁 |к"п/2 |Ка卩/2]Т — НОРМИРОВОЧНЫЙ множитель.
В качестве байесовской оценки и^ возьмем моду апостериорного распределения. Тогда получаем равенство
(2.3)(2.3)“в = (4 к> + 十 ^1)1 (4 к「х+к” J,
(2.3)
(2.3)
где X = - J2 Xj.
Рассмотрим теперь более сложный случай, когда неизвестны и и, и г = 1/сг2. Тогда, согласно методу Байеса, необходимо задавать априорное совместное распределение двух случайных величин (U, Я).
Теорема 2.2. Пусть априорное совместное распределение (U, R) таково: условное распределение U при фиксированном г — нормальное со средним 从 и мерой точности т, а маргинальное распределение R — гамма-распределение с параметрами а /3 > 0 (р(г)= =0a га~ге~^г/Г(а)). Тогда апостериорное совместное распределение (U, R) таково: условное распределение U при фиксированном г — нормальное со средним
“=“=т〃 + пХт + пт〃 + пХт + п
“=
“=
т〃 + пХт + п
т〃 + пХт + п
ТП(Х — /I)?2(т + п) •ТП(Х — /I)?2(т + п) •
ТП(Х — /I)?
2(т + п) •
ТП(Х — /I)?
2(т + п) •
а маргинальное распределение R — гамма-распределение с параметрами
а，= а+М 0 = з + ^£(Х・Г)2 +
Если в качестве Б-оценок взять математическое ожидание апостериорного распределения, то с помощью теоремы 2.2 получаем
,咏=4・(2.4)
Т + па
Из (2.4) следует, что 金^ ~ X, аБ = З^мп ПРИ п оо и иБ ц при г —> оо.
Пусть pg(N； и) — m-мерное нормальное распределение с неизвестным вектором средних м и ковариационной матрицей а2КХ} где мера точности г = 1/а2 неизвестна, Кх — задана. Матрица, обратная к ковариационной матрице r^~1, называется матрицей точности.
Теорема 2.3. Пусть априорное совместное распределение (U, R) таково', условное распределение U при фиксированном т — т~мерное нормальное с вектором средних 从 и матрицей точности тК[\ а маргинальное распределение R — гамма-распределение с параметрами а, /3 > 0. Тогда апостериорное совместное распределение таково: условное распределение U при фиксированном г — т-мерное нормальное с вектором средних // = (К^1 + пК^】)"】 (К]从 + пК'1%), а маргинальное распределение R — гамма-распределение с параметрами
/, пт
а = а + -у,
0 =户 + 玄(К - хГк-1^-х)+ |(/- 〃)тк「(х - м). г=1
Если, как и прежде, в качестве Б-оценки взять моду апостериорного распределения, то из теоремы 2.3 получаем
餘=(К「+ пК~^-\К-^ + пК^Х),咏=彩 (2.5)
Из (2.5) следует, что
右в ~ X,咏 ~ ± £(Хе - Х}ТК~х{Xi - X)г=1
При 71ToО.
Замечательным свойством байесовского подхода является возможность получения на основе апостериорного распределения не только точечных оценок параметров, но и доверительных интервалов для оцениваемых параметров. Действительно, например, для оценки (2.2) получаем доверительный интервал
^Б -力仇。в)/=^ W "Т W &Е + ^(Рдов)^у ,(2.6)
где
При отсутствии априорной информации вместо (2.6) получаем доверительный интервал, длина которого 2±(рДов)о/<^ больше длины интервала (2.6), равной 2е(рДов)/т'・ Таким образом, использование дополнительной априорной информации в рамках баейсовского подхода приводит к уменьшению длины доверительного интервала.
Если в качестве Б-оценки взять моду апостериорного распределения, то
2б = arg 噴х {In p(Xi,...,Xn I u) + ln рапр(^)}-(2.7)
Пусть априорная информация о параметре и отсутствует. Тогда, согласно постулату Байеса, положим рапр(^) = const и Б-оценка (2.7) примет вид йБ = arg maxu 1n(X】,...,Xn; u), т. e. Б-оценка будет совпадать с ММП-оценкой, основанной на выборке (1.1).
Теоретические основы метода Байеса представлены в монографиях [26,33].
Минимаксный метод учета априорнойинформации
Часто априорная информация об искомом параметре и задается детерминированно в виде и С Ug где Ua С £/т — априорное множе> ство. Интуитивно ясно, что чем «уже» априорное множество U., тем больше имеется априорной информации о параметре. При таком виде априорной информации иногда используют минимаксный методу согласно которому минимаксная оценка (ММ-оценка) &мм определяется равенством
&мм = arg min V(u),(2.8)
иеиа
где V{u) = тахиеС/аМЯ(й, и), Я(и, u) = W{^u{Xr,... ,ХП) - и||), М R(&, и) — функция риска.
Таким образом, минимаксный метод выбирает такую оценку, которая предохраняет от возможно большего риска при изменении и на априорном множестве 〃.
Справедливо неравенство
max min М R(&, и) W min max М R(u, м),
U^Ua UU uEUa
причем ММ-оценка существует, если последнее неравенство обращается в равенство.
Как и Б-оценки, ММ-оценки определены неоднозначно из-за возможности выбирать различные функции потерь W(t). Чаще всего берут квадратичную функцию потерь W(t) = #.
Иногда при определении ММ-оценок ограничивают класс возможных оценок U (например, выбирают класс линейных оценок). Тогда ММ-оценка определяется согласно равенству
&мм = arg min У(й).(2.9)
awDnUa
Нахождение ММ-оценки для произвольного априорного множества Ua и большой размерности т ——трудоемкая вычислительная задача. Если функция потерь квадратичная, то для некоторых частных видов априорного множества и закона распределения выборки (1.1) удается найти явный аналитический вид ММ-оценки.
Пусть P£(n; и)——ттг-мерное нормальное распределение с неизвестным вектором математического ожидания и и известной ковариационной матрицей а2К^. Пусть априорное множество Ua ——ттг-мерный эллипсоид (с центром в “о и «радиуса» р, т. е. (и — и^В(и — и。) W ^ р2, В — симметричная положительно определенная (тп х тп)-матри- ца). Выберем квадратичную функцию потерь. Тогда ММ-оценка (2.8) дается равенством
&мм = "о + 十(4 В + g *U)Kg，( 53 Xf —几〃o),(2.10)
где В - модифицированная матрица В [79].
При п —> оо (или при а2 —> 0) 2ММ 〜X, т. е. ММ-оценка сближается с ММП-оценкой, построенной по выборке (1.1), а «цена» априорной информации уменьшается.
Если р —> оо, то ММ-оценка (2.10) также сближается с ММП- оценкой &ММП = X и тем самым «цена» априорной информации уменьшается. Если р —> 0, т. е. априорное множество становится все уже, стягиваясь к центру “о, то 2ММ —> “о, а «цена» выборки (1.1) падает.
Теоретические основы ММ-оценивания представлены в монографии [79].
Обобщенный метод максимальногоправдоподобия учета априорнойдетерминированной информации
Можно предложить еще один подход учета априорной информации детерминированного характера и £ Ua, согласно которому оценка искомого параметра определяется равенством
&оммп = arg max Ln(Xi,..., Хп； и).(2.11)
ueua
Такой метод оценивания назовем обобщенным методом максимального правдоподобия (ОММП), а оценку (2.11) — оценкой обобщенного максимального правдоподобия (ОММ П-оценка).
Часто вместо представления (2.11) ОММП-оценки удобно использовать эквивалентное представление
^оммп = arg min —'(Xi,..., Xn; u).(2.12)
ueua
Если функция —/n(Xi,..., Xn; и) сильно выпукла по и € Ua,Ua — выпуклое множество, то ОММП-оценка существует и единственна.
В общем случае ОММП-оценка может быть найдена с помощью численных методов выпуклого программирования, например с помощью метода сопряженных градиентов, методов штрафных функций, метода градиентного спуска [18].
Для некоторых частных случаев ОММП-оценку (2.12) можно найти в явном аналитическом виде.
Предположим, что функция правдоподобия дифференцируема по и, а априорное множество Ua ——m-мерный эллипсоид, т. е. (м — и0)ТВ(и — и。)< р2. Пусть
&ммп = arg 盡鼠-Zn(Xi,..., Хм и) e Ua.
Тогда 2ОММП = йммп и априорное множество (из-за своей «обширности») не содержит дополнительной информации об искомом векторе и. Пусть йммп « Uа- Тогда, используя способ Лагранжа, получаем уравнение Эйлера, решением которого является ОММП-оценка
-gradu /n(Xi,..., Хп; и) + аВ(и - и0) = 0,(2.13)
где а > 0 — множитель Лагранжа. Величина параметра а находится из равенства (и — и^В(и — uq) = р2.
Пусть, например, р^(ж; и) — m-мерное нормальное распределение с неизвестным вектором математических ожиданий и и известной ковариационной матрицей о»Kg、выборка (1.1) повторная. Тогда
—Zn(Xj,..., Х^; и)=
=等 1rl (2岳)+ e |^I + 1 玄(К 一 u)7壮1(К一吟
и уравнение (2.13) принимает вид
пК^и - К” £ X» + аа2В(и - u0) = О,
г=1
откуда
&оммп = ^о + —2 (аВ + 乌 К£) K£i ( ^2 X» — two) •(2-14)
ОММП-оценка (2.14) с точностью до значения множителя Лагранжа а > 0 совпадает с ММ-оценкой (2.10).
Из определения ОММП-оценок следует, что если априорная информация отсутствует (Ua = Ет), то ОММП-оценка совпадает с ММП- оценкой. Ясно, что в общем случае ОММП-оценка совпадает с ММП- оценкой тогда и только тогда, когда &ммп W
ММ-оценки и ОММП-оценки смещены, причем смещение производится в нужную сторону с приближением оценки к искомому точному значению параметра.
Например, смещения Ди оценок (2.10) и (2.14) соответственно равны
△и = ~2 (~~2 В' + ~~2 KU)-lg'(uO — иТ)
и
△u = а{аВ + 乌 ^Г1)~1^(uo — иТ).
Следовательно, величины смещений стремятся к нулю в трех случаях: 1° р —> оо, 2° п —> оо, 3° а2 —> 0.
Поскольку ММ-оценки и ОММП-оценки смещены, их точность можно оценить с помощью матрицы D(u) = М(и — иТ}(и — ит)т.
Для ММ-оценки (2.10)
0(&мм) = 6 夕 + 方 吋厂.(2.15)
Для ОММП-оценки (2.14)
О&ммп) = SB + 夕 К尸尸・(2.16)
Из формул (2.15), (2.16) следует состоятельность в среднем квадратичном оценок (2.10), (2.14) при: 1° р -> 0, 2° п —> сю, 3° а2 —> 0.
Оценки (2.10) и (2.14) линейны и для их вычисления необходимо обратить симметричные положительно определенные матрицы
^В' + ^К^ и (аВ + 夕寸)
соответственно, предварительно обратив симметричную положительно определенную матрицу /Q. Одним из эффективных численных методов обращения симметричной положительно определенной матрицы А является метод квадратного корня (метод Холецкого), основанный на представлении А = S「S, где S ——верхняя треугольная матрица.
Пример 2.1. Для одномерного случая (т = 1) эллипсоид (и — uq)tВ(и — uo) W 0? представляет собой интервал \и — Uo| W d. Можно доказать, что оценки (2.10), (2.14) принимают вид
&мм = U2cL M 玄 К +па + а' па + а /
W4> d.W4> d.2 = 1
W4
> d.
W4
> d.
"оммп —"оммп —i=li=l
"оммп —
"оммп —
Mo + dsign(^#Xi_?zo), l^gXi —〃o|
Ii=lt=l
Из последнего выражения для ОММП-оценки видно, что она совпадает с ММП-оценкой, если &ммп € [^о — d,u()+ d], и является ближайшей точкой интервала [и。一 d, “о + d] к ММП-оценке, если &ММП « [“о — d, “о + d]. Это правило сохраняется и для общего случая выпуклой функции —/П(Х],.. ., Х^; и) и выпуклого множества Ug а именно: если &ммп Е 4, то йоммп = &ммп，если же &ммп 阴", то &оммп является ближайшей точкой априорного множества Ua к ММП- оценке вдоль однопараметрической кривой (2.14), 0 ^ а < оо.
Поэтому для выпуклой по и логарифмической функции правдоподобия —/п(Х],…，Хп; и) и выпуклого априорного множества Ua можно предложить следующий алгоритм нахождения ОММП-оценки: 1° найти ММП-оценку; 2° если uMMn W &, то иоммп = &ммп； если &ммп « &, то найти «проекцию» иоммп точки &ммп на априорное множество Ua.
Обобщенный метод максимальногоправдоподобия учета априорной стохастическойинформации
Так же как и в предыдущем разделе, предлагаемый ниже метод учета априорной информации базируется на методе максимального правдоподобия.
Обозначим L(u)=厶n(Xi,..., Хп; и) и Z(u) = In L(u) функцию правдоподобия и логарифмическую функцию правдоподобия исходной выборки (1.1) соответственно.
Пусть наряду с исходной выборкой (1.1) задана априорная выборка
Y「Yn,(2.17)
члены которой независимы от членов выборки (1.1).
Обозначим через La(u)=厶n(H,…，Yn；微)и 1а(и) функцию правдоподобия и логарифмическую функцию правдоподобия априорной выборки (2.17), которые зависят от исходных параметров и.
Тогда совместная (обобщенная) функция правдоподобия Lo(u) и совместная логарифмическая функция правдоподобия 1о(и) совокупности членов выборок (1.1), (2.17) определяются с помощью равенств
厶。Q) = L®)“®),(2.18)
/。(微)= /(") +/а(м).(2.19)
Следовательно, имеем равенство
/°(м) = /(〃)+ /£〃)，(2.20)
где /(и), /а(〃),，о(後)—информационные матрицы Фишера исходной выборки (1.1), априорной выборки (2.17) и совместной выборки (1.1), (2.17) соответственно. Из равенства (2.20) следует, что при совместном рассмотрении выборок (1.1) и (2.17) происходит суммирование информации об искомых переменных и, имеющейся в исходной и априорной выборках.
Согласно обобщенному методу максимального правдоподобия (ОММП) при стохастическом виде априорной информации, задаваемой априорной выборкой (2.17), ОММП-оценка искомых параметров 後 определяется равенством
&оммп = arg max Lo(u).(2.21)
В частности, если совместная плотность вероятности членов априорной выборки (2.17) не зависит от искомых параметров и, то в априорной выборке отсутствует информация о векторе и, /о(и) = 0 — нулевая матрица и оценка (2.21) совпадает с ММП-оценкой (1.17), определяемой только по исходной выборке (1.1).
Если наряду с исходными параметрами и имеются дополнительные параметры v = ®i,vr)Tчисловые значения которых неизвестны, например некоторые характеристики законов распределения членов выборки (1.1), (2.17), то вместо ОММП-оценки (2.21) (только параметров и) необходимо рассматривать совместную ОММП-оценку всех параметров и, v:
(&оммт 方оммп) = arg max 厶。(〃,。).(2.22)
Если на и и V не накладывается никаких априорных ограничений, то (2.21), (2.22) — задачи на безусловный экстремум. В частности, если обобщенные функции правдоподобия 厶。(〃),Lo(u, v) дифференцируемы, то ОММП-оценки (2.21), (2.22) могут быть найдены как решения обобщенных уравнений правдоподобия
graL Lo^u) = 0,(2.23)
gradu Lo(u, о) + gradv 厶。(〃,⑦)=0,(2.24)
соответственно.
Если на и, V накладываются априорные ограничения (см. ниже), то решение экстремальных задач (2.21), (2.22) необходимо искать при выполнении этих ограничений. В этом случае имеем задачи на условный экстремум и необходимо использовать численные методы решения экстремальных задач на условный экстремум [18]. В частности, иногда некоторая часть параметров и (или 後,и) по их содержательному смыслу неотрицательна. Тогда вместо задач на безусловный экстремум (2.21), (2.22) будем иметь задачи на условный экстремум:
&оммп = arg max 厶。(设)，(2.25)
(£оммп»оммп) = arg m%L。®,吟(2.26)
соответственно.
Рассмотрим важный частный случай, когда члены выборок (1.1), (2.17) распределены по нормальному закону и независимы, причем X； ~ М(и, а2 Кх), Yj ~ М(и, (Тд Ка), где К^ Ка 一 положительно определенные матрицы.
В этом случае ОММП-оценка (2.21) дается равенством
&ОММП =(令 К> + ? К「)7g К-ГХ + £ К「р),(2.27)
— 1 П — 1 %
где X = —£Хе, У = 号 В частности, если ^ = 1, то оцен- n i=iN г=1
ка (2.27) принимает вид
&оммп =(方 К> + ± К「)(令 К「Х + 十 К「У).(2.28)
Сравнение (2.28) с (2.3) показывает их полную идентичность. Таким образом, предлагаемая в этом параграфе схема ОММП-оценивания позволяет в случае стохастического характера априорной информации избежать искусственно навязанной схемой Байеса трактовки вектора 〃 как случайной величины и получить оптимальную оценку и без потери имеющейся информации об искомых параметрах.
Например, ОММП-оценка (2.27) несмещена и удовлетворяет неравенству Фишера-Крамера-Рао
К&ОММП = ‘О，
где обобщенная информационная матрица Фишера /о = / + /о, / = (п/сг2) ^~1 — информационная матрица Фишера параметров 〃 для исходной выборки (1.1), Тд = (N/o^)K；i —— информационная матрица Фишера параметров и для априорной выборки (2.17).
Часто в распоряжении исследователя имеется одновременно априорная информация об исходных параметрах и как детерминированного характера, задаваемая в виде принадлежности и £ R., так и стохасти-
ческого характера, задаваемая в виде априорной выборки (2.17). Тогда ОММП-оценка параметров и определяется равенством
&ОММП = arg max 厶。(〃).(2.29)
Для решения задачи (2.29) можно использовать численные методы решения задач на условный экстремум [18]. В частности, если —1о(и)— выпуклая функция, а Яо — выпуклое множество, то задача (2.29) принадлежит к классу задач выпуклого программирования.
Оценка (2.29) обладает оптимальными свойствами и позволяет наиболее эффективно использовать информацию о параметрах и, «заложенную» в исходной выборке (1.1), априорной выборке (2.17) и в задании априорного множества Яа.
Методы учета априорной информации в рамках параметрической статистики представлены также в работах [42,43].
Глава 3
УСТОЙЧИВЫЕ МЕТОДЫ ОЦЕНИВАНИЯПАРАМЕТРА ПОЛОЖЕНИЯ
ММП-оценивание и связанные с ним методы оценивания с учетом априорной информации базируются на точном знании закона распределения выборки (1.1) и дают достаточно эффективные (в различных смыслах для различных методов) оценки параметров. Однако при решении практических задач идеализированная ситуация точного подчинения членов выборки ги потети чес кому распределению Р(Ж1,. .., %п； и) выполняется редко. Практически всегда наблюдается уклонение от гипотетического распределения и в этих случаях получаемые оценки уже не будут обладать оптимальными свойствами. Спрашивается: не будут ли получаемые оценки слишком далеки от истинных значений, если даже уклонение истинного закона распределения выборки (1.1) от гипотетического в определенном смысле мало? К сожалению, приходится констатировать, что для многих широко используемых стандартных гипотетических распределений даже малое уклонение истинного закона распределения выборки (1.1) от гипотетического может приводить к значительным уклонениям полученных оценок от истинных значений. Например, для нормального закона распределения, наиболее часто принимаемого в качестве гипотетического, наличие даже небольшой части членов выборки, значительно уклоняющихся от среднего значения (большие выбросы), приводит к большому искажению оценок и к катастрофическому падению их эффективности. Можно задать вопрос: а зачем брать гипотетическое распределение? Возьмем истинный закон распределения выборки (1.1) и, применяя, например, ММП-оценивание, получим эффективные оценки. Но в том и заключается трудность, что истинный закон распределения выборки (1.1) исследователю не известен. Известна, возможно, лишь какая-то неполная информация об истинном законе распределения. Например, при наличии больших выбросов часто известна доля членов выборки (1.1), принадлежащих выбросам, и известно, что сами выбросы располагаются симметрично относительно среднего значения. Иногда информация об истинном законе распределения может быть еще более скудной.
Математически задача оценивания в условиях неточного знания истинного закона распределения выборки (1.1) ставится следующим образом. Задается класс плотностей {р(%ь • • • , сп；後)}，которому принадлежит неизвестная истинная плотность выборки (1.1). Требуется в этом классе выбрать такую гипотетическую плотность po(Ni,. • •, %冗；u), чтобы получить гарантированную и одновременно наиболее близкую
к истинному значению параметра оценку. Гарантия оценки понимается в следующем смысле: точность оценки, полученной на основе выбранной гипотетической плотности, не меньше точности любой другой оценки вне зависимости от того, какова истинная плотность из класса {р(я：1,..., жп; и)}. Плотность po(^i,..., %п； и) называют устойчивой плотностью относительно класса {р(жх,..., жп;後)}, а саму оценку и ——робастной.
Минимаксный метод Хьюбера
Рассмотрим случай, когда X" м ——скаляры, выборка (1.1) повторная, pg(N； и) = pg(N — u), Pg(s) — четная функция. Таким образом, класс {р(ж1,..., хп; и} определяется классом {「(％)}, где р(ж — и) симметричны относительно искомого параметра и (параметра сдвига). Дополнительные условия, накладываемые на класс {р(ж)}, будут даны ниже.
Пусть в классе {「(％)} выбрана гипотетическая плотность ро(х). Тогда ММП-оценка определится равенством
u = u(Xi, • • •, Xn; ро) = arg max '(Xi,..., Хп; и),(3.1)
где
1n(Xi,..., Xn； u) — ^2 In Ро(Х〃 — и).!=1
Обозначим pu(x) истинную плотность из класса {р(ж)}. В качестве меры точности оценки возьмем дисперсию оценки. Дисперсия оценки (3.1) D й зависит от выбранной гипотетической и истинной плотностей, р0(ж) и Pu(n), и определяется равенством
DG = D(po,pu)=
=j ... j(u(a：i,..., хп; ро) - u)2pu3i — и)... ри(хп - и) dxi... dxn.
Построим устойчивый метод оценивания параметра сдвига и на основе минимаксного подхода, согласно которому устойчивая (робастная) оценка (3.1) находится по такой устойчивой относительно класса {p(N)} ПЛОТНОСТИ Po(N), ДЛЯ КОТОрОЙ
Po(N)= arg min £>(р0),(3.2)
где О(ро) = maxpu€{p(c)} D(p0,pu).
Из сказанного выше следует, что робастная оценка параметра сдвига является ММП-оценкой при такой устойчивой гипотетической плотности, которая минимизирует максимальное значение дисперсии оценки при любой возможной истинной плотности из класса {р(ж)}. Итак, выбор устойчивой плотности, согласно минимаксному подходу, приводит
50 Устойчивые методы оценивания параметра положения [Ел. 3 к минимальной потере точности получаемой оценки при реализации самой неблагоприятной истинной плотности из класса {р(ж)}.
Обозначим з(£)= (In ро(а;))'. Робастная ММП-оценка (3.1) удовлетворяет уравнению £ 3(Х» — &) = 0. i=i
В силу состоятельности оценки и для больших п и с учетом симметрии плотностей имеем
£ у(Х» — &) ^ £ g(Xi - 後)一(仑 一 и) £ d(X» —微). г=1i=li=l
Отсюда
玄屮(Xi — u) ^玄屮(Xi — 〃)^$з(Хе-〃)
u-u^ 得=—*=—三
£ 3 (Xi —标)£ 屮(Xi — 〃)[ (p\x — u)pu(x — и) dx
i=li = lJ
Поэтому с учетом четности Po(n) и нечетности g(N)получаем
D^po.Pu)=D^po.Pu)=J . . . j(2 — M)2pu(/1 — u)... pu^xn — u) d^i . . . dxn 2
D^po.Pu)=
D^po.Pu)=
£ 3(g — a)) pu(a；i — и) ... ри(жп — и) dx】...dxn
九2(]屮'(① _ U)Pu (① _ ") d①)
j • J j，(g)Pu(6)• • • Pu(xn) d6 • . • dxn—-oo i=lj • J j，(g)Pu(6)• • • Pu(xn) d6 • . • dxn—-oo i=l"2(]"(①)％(①)d①)"2(]"(①)％(①)d①)ии](p2(x)pu(x) dx](p2(x)pu(x) dx71( j (p\x)pu(x) dx^71( j (p\x)pu(x) dx^
j • J j，(g)Pu(6)• • • Pu(xn) d6 • . • dxn
—-oo i=l
j • J j，(g)Pu(6)• • • Pu(xn) d6 • . • dxn
—-oo i=l
"2(]"(①)％(①)d①)
"2(]"(①)％(①)d①)
и
и
](p2(x)pu(x) dx
](p2(x)pu(x) dx
71( j (p\x)pu(x) dx^
71( j (p\x)pu(x) dx^
Итак,
叫e^ ](顆уМ‘)叫e^ ](顆уМ‘)
叫e^ ](顆уМ‘)
叫e^ ](顆уМ‘)
Но [(吗，)，Pu(n) d% =-[迎3竺⑵ dx. Следовательно,
JJ Po(x)
8OO
*[(需)^w^/(I^a^^2-
Используя неравенство Коши-Буняковского, получаем
(噥^ “J. (篇右成播№y&
Поэтому
O(P0,Pu)^(n j (^j)2p«(^)da；)_1 = ^>
где
/i=M(2吗?二也У
——информация Фишера о параметре сдвига и для каждого члена выборки (1.1).
С другой стороны, в силу асимптотической эффективности ММП- оценок
O(Pu,Pu) ~)
/п П/1
при больших п, т. е. при Po(n) = Pu(n), достигается минимальное значение D(pq). Поэтому исходная минимаксная задача сводится к экстремальной задаче maxp(c)e{pm)} D(p, р) = D(py,py), которая эквивалентна экстремальной задаче
8
，(廊⑺}！(需卜⑺也(з-з)
Здесь через р，х) обозначена устойчивая (робастная) плотность. Для нахождения устойчивой плотности как решения экстремальной задачи (3.3) необходимо указать класс {「(/)}.
При решении многих прикладных задач удобным классом {「(/)}, адекватно описывающим реальную ситуацию, является класс ", образованный смесью Я = {「(/)： p(n) = (1 — £)g(R)+ £八(力)}, где g⑺—
заданная (реперная) плотность, £ € [0,1] — заданное число (доля засорения), h(x)——произвольная неизвестная плотность. Предполагается, как и прежде, что g(N), h(x)——четные функции.
Теорема 3.1 (Хьюбер). Пусть — In g(/) — дважды дифференцируемая выпуклая функция. Тогда в классе Н существует устойчивая плотность
(1 - £)д(%о)ехр{-П|/ - %о|}, х < 窃，
Py(N)=〈(1 - £)g(N)，No&N&Nl, (3.4)
、(1 - £)@31)ехр{-П|/ - Ж1|}, X > 6,
где /о, 6 — границы интервала, на котором монотонная функцггя g'(2j)/g(N)ограничена по модулю константой К, определяемой из условия нормировки плотности
1 = (1 - £)j g(x) dx + g(。。)^6(。1)(1 _ £).
Доказательство теоремы Хьюбера основано на решении неклассической вариационной задачи
min рМенmin рМен
min рМен
min рМен
Рассмотрим наиболее часто используемый на практике случай, когда реперный закон распределения нормальный, т. е. g(N)= =(2万。2)-1/2 е-М/З?) Имеем: g，(力)/g(N)= — ж/сг2, откуда\х\ ^ К а2 и “о = — ^cг2 = —Ко, у = Ко? = Ко, К = Ко,
惠 exp 传 3 + К。)—冬},” -Ко,
(3.5)(3.5)&⑺fc^exp{-M},岡 & K。，
(3.5)
(3.5)
§W exp I - — (ж - Ka)-号}, x〉Ka,
I，27ro
где К находится из равенства
к
j 6—2/2 ds + ^£-K2/2 О
Параметр Хьюбера К однозначно определен по доле засорения £, причем К(£)т 8 при £ т 4-0, К(е) т 0 при £ т 1 — О, К(£)— монотонно убывающая функция. Значения функции К(е) табулированы. Например, для £ = 0,01; 0,05; 0,1; 0,25; 0,5 значения параметра К равны
1,945; 1,399; 1,14; 0,766; 0,436 соответственно (данные взяты из работы [83]).
Используя теперь устойчивую относительно класса Н гипотетическую плотность Ру(/), найдем робастную оценку (3.1).
Имеем
Zn(Xi,..., Хп； и) = ^2 In Ру(X» — u) = n In ^^£)+ ” ^ п- К?—
-у £ (Хс - м) + ^ £ (х» - “) 一 £ (Xi - “)2, £口+ie/一° ie/o
где множества индексов，+, /_, /о определены равенствами
，+ = {£: Xi — и > Ксг}, /_ = {£: Xi — и < —Ко},
/0 = {г ： \Xi -и\^ Ко}, п+, п_ ——количество индексов г, принадлежащих множествам /+, /_ соответственно. Поэтому уравнение правдоподобия д1п/ди = 0 имеет вид п^Ко — п-Ка 4- £ (Х^ — &) = 0. Последнее равенство перепи- гб/о шем в виде
& =丄[£ X, + (右+ + n_)2 + Кст(Я+ —右―)],(3.6)
где
/о = {г： |%t - й| ^ Ко}, Г = {£ ： Xi-u> Ко},
/_ = {£: Xi — и < —^cг}, 自+, fi- — количество индексов г, принадлежащих множествам /+, /_ соответственно.
Для решения нелинейного уравнения (3.6) удобно использовать итерационный процесс
心+i = ^ [ £ X； + (九+亍 + n_j・)%・ + Ксг(п+5 - n_j)j,(3.7)
6 = {г : \Xi -叫| & Ко}, /+?• = {£: Xi - Uj > Ker},
I-j = {£ : Xi — Uj < —^cr},
n+j, П-j — количество индексов г, п ри над л ежащих множествам /十力 /_j соответственно. В качестве нулевого приближения йо можно брать 人1 п
среднюю арифметическую &()= — * X-
г=1
Итерационный процесс (3.7) легко программируется и быстро сходится за конечное число шагов. Практически сходимость обеспечивается за 1-10 итераций при объеме выборки до 1000 элементов и проценте засорения до 20 % (е = 0,2).
Если доля засорения стремится к 1 и тем самым К стремится к нулю, оценка Хьюбера (3.6) стремится к медиане выборки (1.1). Если засорение стремится к нулю и тем самым К неограниченно увеличивается, ]п оценка Хьюбера (3.6) стремится к средней арифметической — * X- г=1
При решении прикладных задач измерения являются неравноточными. В этих случаях члены X» выборки (1.1) имеют различные дисперсии af. Причиной же засорения (наличия больших выбросов) является ошибочное завышение точности (занижение значений дисперсий) для ряда измерений. Причем номера членов выборок с заниженными дисперсиями неизвестны. Минимаксный метод Хьюбера позволяет снизить вредное влияние измерений с ошибочными дисперсиями и указать эти измерения.
В описанной ситуации для робастной оценки (3.1) логарифмическая функция правдоподобия дается равенством
/n(Xi,…,Xn; u) = ^ In ру 二,
где Ру(с)——устойчивая плотность (3.5) с сг = 1. Поэтому
/n(Xi,...,Xn； u) = ^2 m i=l/n(Xi,...,Xn； u) = ^2 m i=l(1 - £)+ n+ + n一G\2(1 - £)+ n+ + n一G\2金+金+Xi — и +Xi — и ++ к £ге/-+ к £ге/-Х^ — иХ^ — иге/о aге/о aгде/+ = {£: Xj — и >где/+ = {£: Xj — и >Ку}, /_ = {£:Ку}, /_ = {£:Xj — и < —К%},Xj — и < —К%},
/n(Xi,...,Xn； u) = ^2 m i=l
/n(Xi,...,Xn； u) = ^2 m i=l
(1 - £)+ n+ + n一
G\2
(1 - £)+ n+ + n一
G\2
金+
金+
Xi — и +
Xi — и +
+ к £
ге/-
+ к £
ге/-
Х^ — и
Х^ — и
ге/о a
ге/о a
где
/+ = {£: Xj — и >
где
/+ = {£: Xj — и >
Ку}, /_ = {£:
Ку}, /_ = {£:
Xj — и < —К%},
Xj — и < —К%},
/о = {£ : |Xj - 3 & Kq}, и вместо (3.7) получаем итерационный процесс
м = (* 訪 Т [ ё 祭 + X 吋 + £，
i=liW/oj ie/+5iEl-j
(3.8) где
Zoj = {£ : |Xj - Uj\ & K(Ti}, /+/ = {£ : Xj - Uj > Kai},
I-j = {£ : Xi — Uj < —Kai}.
11оценку ио = Е^-^Е А)оценку ио = Е^-^Е А)В качестве нулевого приближения можно брать средневзвешенную
1
1
оценку ио = Е^-^Е А)
оценку ио = Е^-^Е А)
Нахождение устойчивой минимаксной оценки Хьюбера относительно класса Н предполагает знание доли засорения £. Часто доля за-
сорениясорениянеизвестна. Тогда можно рекомендовать схему устойчивого
сорения
сорения
оценивания параметра сдвига с одновременным подбором подходящего значения доли засорения. Согласно этой схеме подбирается такое значение £, при котором достигается наилучшее выполнение равенства е =(九+ 4- п-)/п. Практика численной обработки экспериментальных данных показала, что выбор значения К = 1,8 дает вполне удовлетворительные результаты при изменении доли засорения в промежутке [0,01; 0,2].
На рис. 3.1 представлены результаты, иллюстрирующие применение итерационного процесса (3.7) на выборке из 100 элементов с коэффициентом засорения £ = 0.5. В качестве реперного закона взят нормальный N(0J), засорение осуществлено добавлением равномерно распределенных на интервале [—10,10] величин. Горизонтальная пунктирная линия соответствует нулевому приближению &о, сплошная линия ——найденной в результате вычислений оценке. Символами (+, ★) помечены значения с i Е 1-^ и i Е 1_ соответственно.
Робастные М-оценки
Существуют методы устойчивого оценивания, отличные от минимаксного подхода Хьюбера. Одним из эффективных методов борьбы с большими выбросами и получения устойчивой оценки является оце-
нивание параметра сдвига с помощью усеченной средней
п — т
и = Хус = n J2m £ Х(А(3.9)
i=m+l
где X(i)《Х(2)《…& Х(п)— упорядоченные по возрастанию члены выборки (1.1), т < [п/2]. Из (3.9) следует, что усеченная средняя получена отбрасыванием т самых левых и т самых правых членов выборки (1.1) и усреднением п — 2m оставшихся. Для получения усеченной средней необходимо задать число т. Если известна доля засорения £, то можно взять т = [еп/2].
Модификацией усеченной средней является оценка Винзора
и = Хв = ^[ С X(i)+m(X(Tn+1) + X(n_m))].(3.10)
i=m+l
Из (3.10) следует, что в отличие от усеченной средней в оценке Винзора 2m крайних членов выборки не отбрасываются, a m левых крайних проецируются в точку X(m+i), тп правых крайних проецируются в точку X(n_m).
Оценка Винзора (3.10) подобна минимаксной оценке Хьюбера (сравните (3.10) с (3.6)). Отличие состоит в том, что проецирование самых левых и правых членов выборки в оценке Хьюбера производится по отношению к самой оценке, а в оценке Винзора проецирование производится до нахождения оценки и априори известно (при заданном т). При увеличении т «степень робастности» усеченной средней и оценки Винзора увеличивается.
Усеченная средняя и оценка Винзора при т = [п/2] совпадают с медианой выборки (1.1).
Обобщением усеченной средней и оценки Винзора на случай неравноточных измерений являются робастные оценки
»=m+l °⑴
(3.12)(3.12)£ 军++ ”
(3.12)
(3.12)
*=т+1 6r⑴' °(m+l) O(n-m)
где (X⑴- &)/cr(i)W (X⑵- &)/c(2) < …，(X(n)_ &)/cr(n)— упорядоченная по возрастанию последовательность чисел {(X* — u)/ai, £ = 1, . . . , 71}.
Средневзвешенная оценка Винзора (3.12) подобна минимаксной оценке из (3.8). Отличие состоит в том, что в оценке (3.12) число 2m проецируемых точек и сами точки проекции фиксируются.
%+1 = 52 i=m+l%+1 = 52 i=m+lОценки (3.11), (3.12) нелинейны и могут быть найдены с помощью итерационных процессов:
%+1 = 52 i=m+l
%+1 = 52 i=m+l
п-m (i)
*+1 = [ e *■+m i=m+l ⑴
где (Х『一 й^)/а(1) & (X『)一 %)/сг(2) & ... & (X，)- %)/a(n).
В качестве нулевого приближения можно взять средневзвешенную оценку &о =鼻今(上 А) •
Широкий класс робастных оценок можно построить с помощью следующего подхода. Обозначим
-In р(Х{; и) = р (X* 価)+ &,
где 儿 не зависят от и. Тогда ММП-оценка минимизирует сумму
В частности, для минимаксной робастной оценки Хью- г=1“
бера из (3.8) имеем
"2/2, 同 & к, 0(s)=〈
[K\s\- К2/2, |s|>K.
Будем выбирать такие функции p(s), которые позволят снизить влияние больших выбросов и тем самым определят робастную оценку. Функция Хьюбера p(s) обладает этим свойством, поскольку за пределами промежутка |s| ^ К квадратичная зависимость заменена на более слабую — линейную.
Пусть задана четная выпуклая положительная функция p(s), р(0) = 0. М-оценкой называется значение а, которое минимизирует функционал е Р ("^^)， г=1*
аm = Arg 哽，0(&^2).i=lаm = Arg 哽，0(&^2).i=l(3.13)(3.13)
аm = Arg 哽，0(&^2).i=l
аm = Arg 哽，0(&^2).i=l
(3.13)
(3.13)
М-оценка однозначно определяется функцией p(s).
Чтобы М-оценка была робастной по отношению к большим выбросам, если реперный закон распределения нормальный, необходим более медленный рост функции p(s) по сравнению с квадратичной функцией, по крайней мере для больших |s|, и (желательно) квадратичная зависимость для малых |s|.
Пример 3.1. М-оценки, порожденные функцией p(s) = |s『, где р》1, называются Lp-оценками. Если р € [1,2), то Lp-оценки будут робастными, причем «степень робастности» повышается при уменьшении р вплоть до 1. Lp-оценка при р = 1 совпадает с медианой выборки (1.1) (в случае равноточных измерений).
Пример 3.2. Робастная оценка, порожденная функцией
[2а, |s| > 7га,
называется оценкой Андрюса. Значение а рекомендуется выбирать так, чтобы точка перегиба р(а) равнялась 3 (согласно правилу «трех сигм»). При таком способе выбора а = 6/тг р 1,91. Для малых |s| p(s) ~ s?. При уменьшении а «степень робастности» оценки Андрюса увеличивается.
Пример 3.3. Робастная оценка, порожденная функцией
鼠s) = ± [1-(1 + Л|б|)е-№1],
А > 0, называется оценкой Рамсея. Для малых \s\ p(s) ~ s2; a p(s) т —> 1/Л2 при \s\ т оо. Параметр Л выберем так, чтобы точка перегиба функции 0(s) равнялась 3. Тогда Л = 1/3. При увеличении Л «степень робастности» оценки Рамсея увеличивается.
Если функция p(s) отлична от квадратичной, то М-оценка нелинейна. Для нахождения М-оценок существует несколько эффективных численных итерационных алгоритмов.
Запишем минимизируемый функционал правой части (3.12) в виде
гдегдеWiWiп
где
где
Wi
Wi
£(Х,-〃)2%
.Определим.Определимг=1
.Определим
.Определим
Если веса 忆 фиксированы, то & =工 Х^% • г=1
итерационный процесс
%+】=£ К%-信 W^ , где W^ =葭可 Р (然勺•
В качестве нулевого приближения можно взять Wi^ = l/a?, т.е. йо — средневзвешенная. Этот итерационный процесс называют итеративным методом наименьших квадратов.
Если функция p(s) дифференцируема, то можно определить еще один численный итерационный метод нахождения М-оценок. М-оценка является решением уравнения
&'DW=。，
которое с учетом четности p(s) можно записать в виде
^(Х「")М = °，se 忆=忌…)Р' (^^) •
Определим итерационный процесс
W к% •信険),где 吟=g|x：F "•
В качестве нулевого приближения можно взять
Этот итерационный процесс называют методом вариационно-взвешенных квадратических приближений. Для £р-оценок (p(s) = |s|p) оба метода совпадают.
Рассмотрим теперь еще один класс плотностей, отличных от класса Хьюбера Н. Допустим, что исследователю известно о принадлежности истинной плотности ро(/) классу симметричных плотностей, сосредо- d
точенных в основном на отрезке [—d, d], т. е. ] р(ж) dx ^ р, гдер G (0,1) -d
задана (класс ^p). С помощью введения класса Кр можно, например, учитывать априорную информацию о степени разброса измеряемых значений относительно среднего значения и.
Теорема 3.2. Устойчивая относительно класса Кр плотность задается равенством
1 d Py(N) =1、d1 d Py(N) =1、dа о Ьж(Гм cos Zfc°s"exp{-2a(^-l)bа о Ьж(Гм cos Zfc°s"exp{-2a(^-l)b|з?J W d,\x\ > d,|з?J W d,\x\ > d,(3.14)(3.14)
1 d Py(N) =1
、d
1 d Py(N) =1
、d
а о Ьж
(Гм cos Z
fc°s"exp{-2a(^-l)b
а о Ьж
(Гм cos Z
fc°s"exp{-2a(^-l)b
|з?J W d,
\x\ > d,
|з?J W d,
\x\ > d,
(3.14)
(3.14)
где a b находятся из системы
2 I
г COS О j . j/ 冗
P = 1 - TTTJ a = btgb, 0 < 6 < -.
l + o2
Доказательство теоремы 3.2 сводится к решению экстремальной задачи (3.3), где {р(①)} = Кр.
При уменьшении d и увеличении р «степень робастности» оценки (3.1), основанной на устойчивой плотности (3.14), увеличивается.
Робастные методы оценивания параметра положения представлены в работах [42,69,81,83,88].
Глава 4
МЕТОДЫ НЕПАРАМЕТРИЧЕСКОЙСТАТИСТИКИ
Если класс, к которому принадлежит искомое распределение, неизвестен (с точностью до численных значений конечного числа параметров), то для восстановления распределения используют непараметрические методы.
Отметим, что задача восстановления плотности вероятностей р^(х) по повторной выборке (1.1) без учета дополнительной априорной информации о законе распределения является некорректно поставленной (смысл некорректности будет разъяснен ниже).
Восстановление функции распределения
Достаточно просто по повторной выборке (1.1) дать оценку функции распределения 尸(①)случайной величины £ (в дальнейшем, если не сделано специальных оговорок, предполагается, что £ — скаляр).
В качестве оценки 戸(①)обычно берут эмпирическую функцию распределения
/3)= ^ £ 仙-X)(4.1)
i=l
где q(z) = {j， ^ ^ qJ — единичная функция.
Теорема 4.1 (Гливенко-Кантелли).
Р { sup|F(x)- /(七)1n-б т 0} = L
Таким образом, согласно теореме Гливенко-Кантелли, эмпирическая функция распределения является состоятельной оценкой искомой функции распределения, причем сходимость /(/) к F(x) равномерна по х.
Покажем, что Fn(x) — несмещенная оценка F(x). Действительно,
M/Q) = ^ 玄Mg - X, = ^ ? ] 7/(х - s)p^s) ds = i=li=l -oo
1 口 °?
=~ 52 ] P^(s) ds = RQ).
E -oo
Докажем состоятельность в среднем квадратичном оценки /3). Действительно,
М/^3) = М&^т/(2；-ХП)=4 三 ^ М т/(ж - Х^ т/(ж - Х>)=
=3 玄 Мт^З — Х^ + З 玄 МТ](Х- Х1)7](х- Xj). n i=ln i 羌М，=1
Имеем
А Емт/2^ 一 к) = М £мт/(а: - К)=
1%1
=—Е； J 献Q-s)P(s)ds= ^F(q)t° "i = l-oo
при n —> oo. Далее,
-2 Ё Мт](х- Xi)T](x- Xj) = 72 *#j, *J=1
=4£ Mi](x - Xi)Mr](x - Xj)=
吗❷F\x) т我Q) n吗❷F\x) т我Q) n1 n /卞、2
吗❷F\x) т我Q) n
吗❷F\x) т我Q) n
=—£(^(x - s)p(s)ds)=
2*力 32=1 —ОО
при n —> сю. Поэтому дисперсия D Fn(x) = М F^(x)—户(忆)—> О при п —> сю.
Теорему Гливенко-Кантелли уточняет неравенство Колмогорова- Смирнова:
Р{sup 尸⑺—%(я:)| > с} < 2exp{-2s2n},
справедливое для любого закона распределения при достаточно большом п.
Обозначим Кп(и) функцию распределения случайной величины Un = у/п тахх 尸(Q)— Fn(x)\. Функция Кп(и) не зависит от закона распределения F(x) и выборки (1.1), а определяется только объемом выборки п. Функции Кп(и) для различных значений п и и табулированы [14]. Используя таблицы Кп(и)у можно находить доверительные ПОЛОСЫ ДЛЯ F(X)： |尸(忆)—Fn(x)\ W M(PnoB)/« для ж € (-сю, сю),
где рдов =勺(微(p№)). Существует
lim Кп(и) = К (и) = * l)z exp (—2l2u2) ПТ8^"^
/ = —ОО
(Колмогоров). Функция К (и) также табулирована [14]. Поэтому при большом п (практически, если п > 100) для нахождения и(рдов) можно пользоваться равенством рдов = К(и(рдов)).
Эмпирическая функция распределения /(/) является кусочно постоянной. Иногда производят сглаживание 兄⑺ с помощью подходящей монотонно возрастающей функции (см. гл. 10). При использовании сглаживания Fn(x) необходимо следить, чтобы оно не приводило к выходу за пределы доверительной полосы.
Восстановление плотности распределенияметодом гистограмм
Восстановление плотности вероятностей р^(ж) по повторной выборке (1.1) в рамках непараметрического подхода представляет гораздо большие трудности по сравнению с восстановлением функции распределения F(x). Действительно, поскольку р^(х) = dF(х)/dx, то формально, получив оценку 戸(/), можно определить оценку 庆(力)= = dF(x)/dx. К сожалению, задача дифференцирования принадлежит к классу некорректно поставленных задач, поскольку сколь угодно малые изменения в 戸(力)могут привести к большим изменениям в 伙(力). Поэтому любой устойчивый способ оценивания р^(х) должен быть ре- гуляризирующим алгоритмом для задачи дифференцирования (конечно, с учетом того факта, что р^(х) — неотрицательная нормированная функция).
Исторически первым способом оценивания плотности является метод гистограмм. Область изменения значений случайной величины разбивается на N интервалов Ад (мы сохраняем за интервалом и его длиной одно обозначение). Обозначим п^ количество членов выбор
ки (1.1), попавших в интервал △力£ n^ = п, Частоты — являются оценками вероятности р§ попадания значений £ в интервал ^Xj, т.е. р/ = ] р^(х) dx. Поэтому величины 几農-являются оценками сред
него значения плотности р^(х) на интервале Дх^, т. е.———р^(ж) dx.
J
Итак, за оценку плотности принимается
亦⑺= ^^~， 力 G Ag, j =(4.2)
Функция рг(х) неотрицательна, кусочно постоянна и нормирована, так как
NN8HAXj>=1NN8HAXj>=1
NN
8HAXj>=1
NN
8HAXj>=1
Основной трудностью при построении гистограммы является выбор интервалов разбиения △xj. Рекомендуется интервалы △бд выбирать так, чтобы в каждый из них попадало одинаковое количество членов выборки (5-10, если п порядка 100). При увеличении п количество членов выборки в каждом интервале необходимо увеличивать. Если обозначить А^тах длину наибольшего интервала, то Дхтах играет роль параметра регуляризации при оценивании плотности по гистограмме. При п —> оо А^тах должен уменьшаться согласованно с ростом п.
Для построения доверительного интервала оценки (4.2) составим статистику
犬=九 £ 侬二liMl,(4.3)
закон распределения которой при п —> 8 стремится к распределению Х%—1 (теорема 5.1).
Статистику (4.3) можно представить в эквивалентном виде
)2(言尸5
Поэтому доверительная полоса для оценки (4.2) имеет вид
V ( —^(丄Аб - < ±7(Рдов)
У、упДж^ Ад丿〈Ад丿 з п ，
где
±N(Рдов)Рдов — I Px^_](t) dt.о
Существуют стандартные программы построения гистограмм.
Восстановление плотности распределенияметодом Розенблатта-Парзена
Дифференцируя эмпирическую функцию распределения, получаем оценку
РобМ =^il
П г=1
где 3(勺)一функция Дирака. Эта оценка плотности неприемлема, поскольку является обобщенной функцией. Модифицируем оценку р^, представив ее в виде классической функции за счет《размазывания» обобщенных функций 6(х — Xi).
Пусть {吵n(N)} — последовательность таких симметричных плотностей, что 吵n(N)т 6(q) при n f оо. Определим оценку плотности равенством
р(ж)= ^£“пЗ — х)г=1р(ж)= ^£“пЗ — х)г=1(4.4)(4.4)
р(ж)= ^£“пЗ — х)г=1
р(ж)= ^£“пЗ — х)г=1
(4.4)
(4.4)
Теорема 4.2. Оценка (4.4) состоятельна в среднем квадратичном в каждой точке ж непрерывности р^(ж), если:
ОО
1° ] ^п(ж — 5)p^(s) ds —> р^(ж) при п —> сю;
2° ^ тахж ^п(ж) т 0 при п —> оо.
Доказательство. Имеем
1n7
М田⑺=^ ^M%(n - XR = j 版(n - s)pf(s)ds т 々(a;) i=l-ОО
при n —> оо. Используя независимость случайных величин, образующих повторную выборку (1.1), получаем
М於(q) = 3 £ М 版(а; - Xf)%(Q - X» =
ОО\ 2
=^ j %g — s)P£(s)ds + ^^ ( j 麻(q _ s)pw(s)ds)
Но
ОООО
-I 必(q - s)pw(s) ds w — max%") 麻(q - s)p《(s) ds т 0
при n —> oo, a
/8\2
j 屮式工 _ s)p«s) ds) T 龙(N)
при n т оо. Следовательно, Мр2(ж) т р|(ж) при п т оо в каждой точке непрерывности р^(ж). Но тогда D р(ж) = Мр2(ж) — М2 р(ж) —> О при п —> сю в каждой точке непрерывности р^(ж). Теорема доказана.
Можно построить класс плотностей {吵九(匸)}, удовлетворяющих условиям теоремы 4.2, по следующей схеме. Пусть ^п(ж)——произвольная непрерывная ограниченная плотность и последовательность положительных чисел {hn} удовлетворяет условиям hn —^ Q, h^n —^ оо при п —> оо. Тогда последовательность функций
удовлетворяет условиям теоремы 4.2. Если
吵⑺=^=-产/2,v2?r
то последовательность
В методе Розенблатта-Парзена число hn играет роль параметра регуляризации. Конструктивные способы выбора подходящего значения hn при конечном объеме выборки могут быть предложены только на основании дополнительной информации об искомой плотности.
Рис. 4.1
На рис. 4.1 представлен пример восстановления плотности распределения с помощью метода Розенблатта-Парзена по выборке из 100 значений. Для примера использовано двухмодальное распределение из смеси нормальных распределений "(—2,1) и М(2,2). Сплошная линия со «ступеньками» соответствует эмпирической функции распределения. Пунктирной линией отмечены восстановленная плотность вероятностей и интеграл от нее. Сплошной линией отмечены аналитические плотность и функция распределения вероятностей.
Метод Розенблатта-Парзена изложен в работах [16,25,57,106,108].
3 А.В. Крянев, Г.В. Лукин
Восстановление плотности распределенияпроекционными методами
Проекционные методы основаны на разложении искомой плотности в ряд по ортогональной системе функций относительно фиксированной реперной плотности.
Пусть известно, что искомая плотность р^(ж) достаточно близка к некоторой известной плотности Po(n), которую будем называть реперной. Предположим для определенности, что промежуток изменения возможных значений £ — вся числовая ось.
Обозначим через {qk(R)} систему полиномов, нормированных на (—оо, оо) с весом ро(с), т. е.
]伍3)史/(/)r)(力)dx =厶力
причем Qo(n) = 1, qk(比)—полином степени k. Такая система полиномов определена однозначно и ее можно найти с помощью стандартной процедуры ортогонализации Гильберта-Шмидта.
Обозначим
к
J=0
и представим искомую плотность в виде
Р£(力)=Po(n) £ ckqk(x).(4.5)
k=0
Имеем
&)= 1,以=]Qk(x)p^x) dx.
Поэтому
k??k
Ck = £% xjp0(x)dx = ^akjajy片。—8J=°
где aj ——начальный момент j-ro порядка случайной величины §.
Если начальные моменты aj заменить их оценками 必(например, … 1 п
оценками метода моментов 名=—£ Xf) и в (4.5) ограничиться ко-
71 г=1
нечным числом слагаемых, то получаем оценку плотности
万(n) = РоЗ)玄 Ckqk(x),(4.6)
fc=0
где 3及=£ akj3j. j=0
В проекционных методах число членов разложения тп играет роль параметра регуляризации. Если случайная величина § имеет моменты любых порядков, то принципиально возможно неограниченное увеличение т, которое должно осуществляться согласованно с ростом объема выборки п. При практическом применении оценки (4.6) стараются ограничиться небольшим количествам членов разложения. Ясно, что в этом случае оценка (4.6) будет давать хорошую точность, если только реперная плотность Ро(力)удачно «угадана» и близка к искомой плотности.
Часто проекционную оценку удобно представить через оценки центральных моментов. Тогда вместо случайной величины § рассматривают нормированную случайную величину go = (§ — ai)/。^ и проекционная оценка имеет вид
方3)= ^0。(与生)，(4・7)
где р0(у) = po(g) £ OokqMg), 00k = £ 纵戒,Mj — нормированный fc=0j=0
центральный момент J-ro порядка, 0i = 0, 02 = 1, Coo = 1, Coi = «ю, 002 =a20 +。22.
Пусть, например, в качестве реперной плотности взят нормальный закон распределения, тогда
Ро®) =er?/?, 無匂)=为 〃k®),
V27r
где "k(g) — полином Чебышева-Эрмита, и проекционная оценка принимает вид
万⑺=焉 e-(l】)2/m [1 + £ 紹血(宁)]，(4.8) fc=3
где 03 = * 04 = 04 — 3, 05 = 05 一 1003, 06 = 06 _ 1504 + 30.
Напомним, что 卩k =卩[丨仆、叫 ~~ центральный момент случайной величины §, и если § нормально распределена, то 112k = (2k — 1)!!, 〃2k+l = 0-
Оценку (4.8) принято называть оценкой Г рама-Шарлье.
Задача 4.1. Пусть промежуток изменения случайной величины《 —— полуось 力》0 и в качестве реперного закона распределения взят экс- з*
поненциальный закон Po(n) = а е~аж, а > 0. Показать, что {仇⑺}— нормированная система полиномов Чебышева-Лагерра Ь^(ж). Найти оценку Г рама-Шарлье для этого случая.
Проекционные оценки можно рассмотреть для случая, когда орто- нормированная система разложения отлична от системы полиномов. Действительно, пусть {Д(^)}——произвольная система линейно-независимых функций и задана реперная плотность ро(с). Ортонормируем систему {九⑺} с весом ро(^) (например, используя стандартную схему ортогонализации Г ил ьберта-Шмидта). Полученную ортонормирован- ную систему функций обозначим {夕卽(冗)}. Имеем
ОО
j ipi^fpj^pQ^x) dx = 6ij.
Искомую плотность 火⑺ представим в виде
ОО
(4.9)(4.9)Р^Х) = Г。")£ Ск(Рк(Х),к=0
(4.9)
(4.9)
ОО
где Ск = J ^(ж)ре(ж) dx.
Ук = “⑹• ИмеемУк = “⑹• Имеем— ОО
Ук = “⑹• Имеем
Ук = “⑹• Имеем
Введем случайные величины
МУа：= j 屮к ⑺ Pg ⑺ dx = См— oo
Поэтому по выборке (1.1) можно дать оценки коэффициентов &:
以=；£ 3k(Xt).
几t=l
Ограничиваясь в разложении (4.9) конечным числом членов и заменяя неизвестные точные значения Ск на их оценки &；, получаем проекционную оценку
Р(ж) = P0(N)Е ^к^к{х\(4.10)
fc=0
Проекционная оценка (4.10) обладает большей гибкостью по сравнению с оценкой (4.6), поскольку дает возможность выбирать подходящую систему разложения. При удачном выборе реперной плотности и системы {夕卽⑺} можно достичь хорошей точности оценки (4.10) даже при небольшом числе членов разложения.
Если в (4.10) положить Po(n) = const, то получаем оценку Ченцова
»（n）= £@飞（吟»（n）= £@飞（吟(4.11)(4.11)
»（n）= £@飞（吟
»（n）= £@飞（吟
(4.11)
(4.11)
где {(Pk(x)}—где {(Pk(x)}—ортонормированная системаортонормированная система，@ =空心.，@ =空心.
где {(Pk(x)}—
где {(Pk(x)}—
ортонормированная система
ортонормированная система
，@ =空心.
，@ =空心.
Иногда удобно брать разложения вида (4.10) или (4.11) по системе функций {gk(N)}, не обладающих свойством ортогональности. Возьмем, например, в представлении (4.11) в качестве 3k (n) плотности распределения. Тогда плотность (4.11) представляет собой модель смеси
с неизвестными весами Ск € [0,1],с неизвестными весами Ск € [0,1],£ <7卽=1. Оценки Ск весов Ск
с неизвестными весами Ск € [0,1],
с неизвестными весами Ск € [0,1],
fc=i
можно получить с помощью обобщенного метода максимального правдоподобия с учетом вышеуказанных ограничений на веса.
Проекционные методы представлены в работах [16,57,85,86].
Восстановление плотности распределениярегуляризованным методом гистограмм
Искомая плотность связана с функцией распределения соотношением F(x) = ] &(s) ds, которое запишем в виде
ОО
j t/(n — s)p^(s) ds = R(n)・(4.12)
При заданной функции F(n) (4.12)——интегральное уравнение 1-го рода относительно неизвестной плотности, т. е. задача восстановления плотности по функции распределения ——некорректно поставленная задача. Но F{x) также неизвестна и по выборке (1.1) можно лишь дать оценку F(x), взяв, например, в качестве оценки эмпирическую функцию распределения Fn{x).
Итак, задача восстановления плотности по выборке сводится к задаче решения интегрального уравнения (4.12) в условиях, когда точная правая часть этого уравнения неизвестна и заменена оценкой Fn(x).
Рассмотрим дискретный аналог уравнения (4.12), полученный с помощью сетки {шу}, j = 1,..., TV + 1, Anj = Qj+i — Xj\
J Pf(s) ds = R(g+1)-尸(&)•(4.13)
При замене неизвестной R(力)на Fn(x) имеем
= /(巧+1) - /(巧)=*
где nj — число членов выборки, попавших в интервал [xjy ж7-+1]. Элементы Kwij ковариационной матрицы Kw случайного вектора
w = ^Fn^...^FnN)TKwii =怨二 9々)： Kwij =-竺仪拧,
£ # 九 £, 7 = 1, • • • , N;厶朽=尸(巧+i) - F(&)・
Поскольку 歹(n) неизвестна, матрицу Kw заменим ее оценкой Kw, элементы которой вычисляются по формулам
TliTljTliTlj^wii —^wii —11ППHiHiПП
TliTlj
TliTlj
^wii —
^wii —
1
1
П
П
Hi
Hi
П
П
При n —> сю вектор w асимптотически нормален. Это следует из интегральной теоремы Муавра-Лапласа, так как rij — дискретные случайные величины, распределенные по биномиальному закону. Если 九//九一> 0 при п т оо, то справедлива асимптотическая формула
鼠=出呢停,}/ +。（叫,
где элементы матрицы о (п) стремятся к нулю при п —> оо.
Пусть априорная информация об искомой плотности имеет детерминированный характер: pg (力)€ G, где G ——некоторое множество плотностей задаваемого класса (множество G может задаваться совокупностью равенств и неравенств с вхождением в них pg(%)).
Определим ОММП-оценку плотности
N ж>+1о 1
万⑺=arg min £ ( [ pQ) dx -》—.(4.14)
p(M)WG ・一1 'JП 丿 71 j
Если априорная информация об искомой плотности отсутствует, то ОММП-оценка (4.14) совпадает с оценкой плотности по методу гистограмм.
Если G — выпуклое множество пространства непрерывных функций, то оценка (4.14) существует и единственна и может быть найдена с помощью методов выпуклого программирования, в частности, можно использовать метод сопряженных градиентов или методы штрафных функций.
Иногда множество G априори не задается. Тогда G можно выбирать в виде
{G : р(ж) = £ акЗк⑺},fc=i
где {8凡(力)}——система базисных функций. В качестве базисных функций можно брать ортогональную систему (аналогично методу Ченцова). Число членов разложения т должно быть согласовано с объемом выборки и может быть найдено с помощью способа невязки [54,71] или с помощью метода упорядоченной минимизации риска [6,22].
На рис. 4.2 представлен пример восстановления плотности распределения с учетом априорной информации. В качестве системы базисных
функций были использованы ортогональные полиномы Чебышева- Эрмита. Искомая плотность и эмпирическая функция распределения вероятностей представлены сплошной линией. Восстановленные плотность и функция распределения вероятностей обозначены пунктиром.
Методы непараметрической статистики представлены также в работах [66,82].
Метод корневой оценки плотностираспределения
В работе [13] был предложен новый метод оценки плотности, который связан с проекционными методами и носит название метода корневой оценки плотности. Суть корневого метода состоит в том, что вместо разложения искомой плотности предлагается разлагать по орто- нормированной системе так называемую пси-функгщю 吵(％), связанную с искомой плотностью р(/) равенством
(4.15)(4.15)Р(%)=他(%)『•
(4.15)
(4.15)
В квантовой механике функция 叭⑦)играет фундаментальную роль, называется координатной пси-функцией и является решением стационарного уравнения Шредингера.
Переход от разложения р(/) к разложению 叭％) позволяет при применении метода максимального правдоподобия получить эффективную вычислительную схему оценки искомых параметров разложения.
Действительно, пусть
以N)=玄4⑵⑺，(4.16)
i=l
где {仍⑺} — ортонормированная система, {q} — коэффициенты разложения, подлежащие оценке.
В дальнейшем предполагается, что функции g(N),叭％) и коэф-
ОО
фициенты q действительны. Из условия нормировки ] P(n) dx = 1
—oС следует равенство
玄建=1・(4.17)
i=l
Следовательно, необходимо оценить т — 1 независимых коэффициентов. Для их оценки используем метод максимального правдоподобия.
Если выборка (1.1) повторная, то
п / т т、
/п(с) = In “С)= Ё 1п ( Z Е 仍(XQ 3j(XQ Ci Cj j.
Для нахождения максимального значения логарифмической функции правдоподобия /几⑹ с учетом ограничения (4.17) сформируем функцию Лагранжа:
Цс) = /п(с) + Л(1-^С?).(4.18)
г=1
Приравнивая к нулю частные производные dL/dci^ получаем систему уравнений
幾=2士玄仍(Х：)м(Х±)2入 q = 0, £ = 1,. •., тп. (4.19)
dCiP(XQ
Умножая обе части последнего равенства на q и суммируя по г, получаем А = п. Следовательно, для нахождения ММП-оценок коэффициентов ci,..., сп необходимо решить нелинейную систему уравнений
с； = ^ ^2 ⑦(XQ (g Cj%(XQ) , г = 1,..., m. (4.20)
凡=1j=i
Для решения системы (4.20) в [13] предложен итерационный процесс
с" = ас「+ ^^Е 仍(XQ(£ 寸脸仙))\(4.21)
где 0 < а < 1 подбирается так, чтобы скорость сходимости итерационного процесса была наибольшей (4.21).
Поскольку из равенства (4.19) следует также равенство
j=l k=l а n00
丄* 皿沿出 一м=f仍(C，产)p(N)壶=4力
p(Xk)P ⑹J р(н)「
*=1-00
то полученные оценки являются состоятельными.
В работе [13] приведены и другие свойства корневых оценок плотности, в частности выбор оптимального числа слагаемых тп в представлении (4.16).
Как и в методе Г рама-Шарлье, в качестве базисной системы функций <fii(x) можно взять систему функций Чебышева-Эрмита
例(％)= 一尸 1 =工 Hi(x) о-/", i = 0,1,..., у 2* г! /F
где Hi(x) — полином Чебышева-Эрмита г-го порядка.
Глава 5
ПРОВЕРКА ГИПОТЕЗ О ЗАКОНЕРАСПРЕДЕЛЕНИЯ
Восстановление закона распределения по выборке (1.1) в большинстве случаев основано на некоторых гипотезах. Например, в рамках параметрического подхода априори принимается гипотеза о принадлежности плотности распределения классу плотностей, определенных с точностью до конечного числа параметров. В рамках параметрического и непараметрического подходов могут использоваться дополнительные априорные гипотезы (априорная информация) о законе распределения. Но гипотезы могут быть ошибочны. Поэтому после принятия той или иной априорной гипотезы и восстановления закона распределения необходимо проверить выполнение этой гипотезы, т. е. проверить, насколько хорошо выборка (1.1) согласуется с восстановленным законом распределения. В частности, при применении параметрического подхода оценки параметров во многом зависят от принятого гипотетического класса плотностей. И поэтому проверка соответствия оцененной плотности этому классу, с точки зрения согласования выборки (1.1) с оцененным законом распределения, является гарантией правильности самих оценок параметров. Если же применяется непараметрический подход, который априори может не «навязывать» класс плотностей, то после получения оценки плотности часто возникает задача о проверке гипотез принадлежности оцененной плотности тому или иному классу плотностей.
Проверка гипотезы о законе распределенияв рамках непараметрической статистики
Для проверки гипотезы о законе распределения можно использовать либо восстановленную функцию распределения (обычно эмпирическую функцию распределения Fn(x)), либо восстановленную плотность распределения р(ж).
При использовании эмпирической функции распределения Fn(x) часто применяют критерий согласия Колмогорова и критерий
Критерий согласия Колмогорова использует рассмотренную ранее в разделе (4.1) случайную величину
К = max|F(x) - RnQ)|,(5」)
где R(n) — тестируемая функция распределения.
Если гипотеза Н о соответствии тестируемой функции распределения истинной функции распределения верна, то 匕一> 0 при п —> оо, в противном случае % Т V*〉0.
На практике величину (5.1) удобно рассчитывать по формуле
%=UP?,n{: - RX⑴),⑴)-
где X(i)< X(2)< …< X(n)— ранжированная последовательность членов выборки (1.1).
Для заданных уровня значимости (обычно используют стандартные значения р = 0,8; 0,9; 0,95; 0,99) гипотеза Н отвергается, ес・ ли Vn > Крит(九,Р)，где Крит(九，р) — критическое значение величины (5.1), зависящее от объема выборки и заданного уровня значимости. Числовые значения 14рит(п, р) можно найти в [14].
При применении критерия d используется статистика
ОО
Y= J (尸⑺一/⑺)2 dr⑺.(5.2)
Если Fn(x) — эмпирическая функция распределения, построенная по выборке (1.1), то для расчета з^ можно использовать формулу
=盘 + ^ 玄(RX⑴)-,(5.3)
г=1
где, как и прежде, Х(“ ——ранжированная последовательность членов выборки (1.1).
При выполнении гипотезы Н о равенстве тестируемой функции распределения истинной функции распределения т 0 при п —> оо.
Для заданных уровня значимости и объема выборки гипотеза Н отвергается, если，> с^крит(п, р), где с^Крит(^? Р)— критическое значение величины (5.3), зависящее от объема выборки и уровня значимости. Числовые значения 3中”(九,「)можно найти в [14].
Для проверки гипотезы Н о соответствии тестируемой плотности распределения р(ж) выборке (1.1) часто используют критерий х2 (хи- квадрат) Пирсона.
Пусть область изменения значений случайной величины § разбита на ^ интервалов [xj, N/+i), J = 1,.. ., ^. Обозначим nj — число членов выборки (1.1), попавших в интервал [xj, xj+i), pj = j р(ж) dx — хз вероятность попадания в интервал [xj,畤+i).
Определим статистику
以=П玄n肾f) •(5.4)
Теорема 5.1 (Пирсон). Пусты 1° выборка (1.1) повторная]
N…
2° £ Рб = 1. Тогда статистика Zn из (5.4) при п —> оо имеет
X2 -распределение с ^ — 1 степенями свободы.
Для проверки гипотезы Н о соответствии тестируемой плотности распределения р(/) выборке (1.1) зададим рдов и по таблице ^(Рдов)
Х2-распределения найдем такое г(рдов), что j Р^2(z) dz = рдов.
…о
Если Zn < ^(рдов), то считают, что гипотеза Н подтверждается 100 рдОВ-процентным уровнем доверия. Если же Zn > 2(рДов), то считают, что гипотеза Н о соответствии плотности распределения р(冗) выборке (1.1) не подтверждается.
Проверка гипотезы о законе распределенияв рамках параметрической статистики
Проверка гипотез о законе распределения и согласования выборки (1.1) с оцененным законом в рамках параметрической статистики также производится с помощью различных критериев согласия. Наиболее часто используют критерий согласия х? Фишера. Пусть, как и выше, область изменения значений случайной величины § разбита на 7V интервалов △xj, ^ = 1,.. ., ^. Обозначим nj — число членов
Хз + 1
выборки (1.1), попавших в интервал △%/, pj = ] p(N； и) dx — вероятности попадания в интервал Дху, вычисленные по гипотетической оцененной плотности р(/; и). Определим статистику
2“ = п£ 貳号甸 1(5.5)
Теорема 5.2 (Фишер). Пусть оценка и п-мерного параметра и является асимптотически эффективной и асимптотически нормальной (например, и = иММП). Тогда статистика Zn при тг т 8 имеет X2 -распределение с ^ — m — 1 степенями свободы.
Используя теорему Фишера, можно проверить соответствие гипотезы о принадлежности искомой плотности классу р(ж; и) выборки (1.1).
Действительно, зададим рдов и по таблице х2-распределения найдем такое 2(рДов), что
^(Рдов)
J PxjT(z)dz = * о
Если Zn < г(рдов), то считают, что гипотеза о принадлежности плотности классу р(ж; и) согласуется с выборкой (1.1). Если же Zn》г(рдов), то считают, что гипотеза о принадлежности плотности классу р(ж; и) не согласуется с выборкой (1.1) и имеет место значимое отклонение оцененной гипотетической плотности от выборки (1.1).
Критерий х? применяется также для проверки гипотезы о совпадении законов распределения для серии выборок. Пусть вместо одной выборки (1.1) заданы / повторных выборок
Х*1,..., XкП1е,к = 1, • • • > I,(5・6)
где Пк — объем /г-й выборки, п = £ 九靑.Пусть вводится гипотеза к=1
о принадлежности плотности р^(ж) классу р(/; и). Обозначим и оценку параметра а, сделанную по всей совокупности выборок (5.6):
e升1
Pj = p(N； и) dx,
rikj — число членов выборки (5.6) (с фиксированным к), попавших в интервал △巧.Введем статистику
/ N
2 =* (* - %).(5.7)
凡=1 j=i
Аналогично теореме 5.2 справедливо следующее утверждение.
Теорема 5.3. Пусть оценки и являются асимптотически эффективными и асимптотически нормальными. Тогда при 九凡 т оо, 6 = 1,...,/, закон распределения статистики zin стремится 先 X2-распределению с l(N — 1) — m степенями свободы.
Применим теорему 5.3 для проверки гипотезы о совпадении закона распределения для каждой из / выборок (5.6). По заданной рдов найдем такое 2(рДов), что
2(Рдов)
О
Если Z,n < Z(pAob), то гипотеза о совпадении законов распределения для серии выборок (5.6) (гипотеза об однородности выборок) принима-
ется. Если Zin》Z(pAOB)5 то гипотеза об однородности выборок отвергается.
Если гипотеза об однородности выборок (5.6) проверяется по отношению к фиксированной плотности р(/), то вместо статистики (5.7) вводится статистика
/ N
%п = ^＞靑玄 ^ (* f，(5.8)
靑=1 j=i
不+i
где pj = ] р(ж) dx. хз
Закон распределения статистики (5.8) при 7H т оо, k = 1,..., /, стремится к х2-распределению с /(7V — /) степенями свободы. Поэтому критическая граница 2(рдов) проверки гипотезы однородности выборок (5.6) определяется из равенства
^(Рдов)
j Px%N—Jz)dz = PwB・о
Проверка гипотез о законе распределения представлена в работах [28,33,34,38,40].
Г лава 6
ЧИСЛЕННЫЕ МЕТОДЫ СТАТИСТИЧЕСКОГОМОДЕЛИРОВАНИЯ
Под статистическим моделированием в узком смысле (в самой математической статистике) обычно понимают способы моделирования случайных величин с помощью специально раз работайн ых «датчиков» случайных величин и использования полученных с их помощью выборок для апробирования тех или иных статистических методов и численных алгоритмов, базирующихся на этих методах. Под статистическим моделированием в широком смысле понимается решение различных задач с применением методов математической статистики и моделирования случайных величин. В частности, методы Монте-Карло являются численными методами решения различных задач, и прежде всего задач математической физики, при помощи моделирования случайных величин [70].
Способы моделирования случайных величин
При решении задач методами статистического моделирования необходимо уметь моделировать реализации случайных величин с различными законами распределения. Оказывается, что достаточно уметь моделировать одну реперную случайную величину, а реализации случайных величин с другими законами распределения получать с помощью некоторых преобразований над реализациями значений реперной случайной величины. Вообще говоря, в качестве реперного можно взять различные распределения, но в настоящее время общепринято в качестве реперной брать равномерно распределенную на отрезке [0,1] случайную величину 7. Действительно, пусть задана произвольная случайная величина § с плотностью р(ж) и функцией распределения
F(a:) = J p(s) ds.
Теорема 6.1. Выполнение равенства
歹(S) = 7(6.1)
необходимо и достаточно для того, чтобы F(x) была функцией распределения случайной величины §.
Доказательство. Пусть 歹(n) — функция распределения случайной величины £. Тогда случайная величина 7, определенная равен-
ством (6.1), распределена равномерно на промежутке [0,1]. Действительно, функция распределения /(g) случайной величины 7 определится равенством
%®) = Р {) < у} = Р {尸⑹ < у}-
Если g V 0, то Р {F(^) V g} = 0. Если у〉1, то Р {F(^) < у} — 1.
Если 0 г/ ^ 1, то Р {尸(§) < у} = Р{£ < 尸т(д)} = R(RT(g)) = у. Итак,
(0, У < 0,
^(у)= < 仇 °《у《1,
у>^
т. е. 7 распределена равномерно на [0,1].
Пусть 7 распределена равномерно на [0,1] и выполнено равенство (6.1), где 歹(力)——функция распределения некоторой случайной величины. Покажем, что &(%) = F⑺.Действительно, § = F-1^). Поэтому 旦(n) = Р{§ V n} = P {公т()) < ж} = P {7 < F(a;)}= = %(尸(力))=R(n), поскольку F(x) € [0,1]. Теорема доказана.
Из теоремы 6.1 следует, что повторная выборка
71 ? • • • ? 7n(6・2)
равномерно распределенной на [0,1] случайной величины порождает повторную выборку (1.1) случайной величины §, где X； = Fgi(7i) (мы ограничиваемся случаем, когда F^i существует).
Пример 6.1. Пусть § равномерно распределена на отрезке [а, 6]. Имеем
^(х) = ^———,а х b.
Поэтому Х{ = а + (Ь — а))「
Пример 6.2. Пусть § распределена по экспоненциальному закону. Имеем:尸£(力)=1 — е~Лж, n》0. Поэтому 1 — е-лх< = 7», откуда
Y 1 11
Л 1 一 ¥
Поскольку случайная величина 1 — 7, также равномерно распределена на [0,1], то повторную выборку (1.1) можно получить и по формуле
К = g In 丄.
Задача 6.1. Используя формулу (6.1), представить выборку (1.1) для нормально распределенной случайной величины § через выборку (6.2).
Для многих распределений использование формулы (6.1) для построения выборки (1.1) с помощью выборки (6.2) неудобно и связа-
но с достаточно большими вычислительными затратами. Ниже для некоторых стандартных широко используемых распределений будут даны другие более удобные и эффективные способы построения выборки (1.1) с помощью выборки (6.2).
Итак, для получения выборки (1.1) необходимо иметь эффективные способы получения выборки (6.2).
Существует несколько способов получения выборки (6.2) с помощью компьютера. Наиболее эффективным и надежным из них является способ псевдослучайных чисел, основанный на последовательном получении членов выборки (6.2) с использованием какой-либо формулы. В этом случае числа % из (6.2) называют псевдослучайными.
Применяют несколько алгоритмов получения псевдослучайных чисел. Большая часть из них основана на формуле
7t+i = R(%),(6.3)
где R(n)——достаточно быстро осциллирующая функция на промежутке [0,1] со значениями на этом же промежутке.
Например, в методе вычетов Лемера Я(ж) = D(g ж), где D(x)— дробная часть числа ж, g > 0 — достаточно большое число, т. е. последовательность псевдослучайных чисел (6.2) с помощью метода вычетов получается по рекуррентной формуле
%+1 = 0(g%)・(6.4)
Если в (6.4) 7о = пго/М где mo, М, g — целые взаимно простые числа, то все % из (6.4) представимы в виде). = mJМ、где m+i и М взаимно просты и g равно остатку, полученному при делении grrii на М, Например, удовлетворительная последовательность псевдослучайных чисел получается при то = 1, М = 242, g = 517. Заметим, что случайные числа 7.+1, 7», связанные формулой (6.4), зависимы с коэффициентом корреляции, равным 1/g. Ясно, что при достаточно большом g их можно считать практически некоррелируемыми. Более подробную информацию о псевдослучайных числах и методах их тестирования можно найти в [70].
Вернемся к методам построения выборки (1.1) по выборке (6.2). Кроме метода построения, основанного на формуле (6.1), на практике часто используют метод Неймана. Пусть значения случайной величины £ принадлежат конечному отрезку а ^ ж ^ 6 и р^(ж) W °. Обозначим 7⑴，^⑶ независимые равномерно распределенные на [0,1] случайные величины. Тогда случайные величины £°)= а + 7(D(b — а), £(2) = 0)(2)независимы и равномерно распределены на отрезках [а, 6], [О, С] соответствен но, и поэтому их совместная плотность р(к, у)= =(Ь — а)~1С~1, а^х^Ь,О^у^С.
Теорема 6.2 (Нейман). Случайная величина £ = £。), если X)< p(W(D), имеет плотность вероятностей р(х).
Доказательство. Имеем
凡(z) = Р 代 < Z} = Р 代⑴ < z I S⑵ < p(N))}=
二 P{(£⑴ <z)c (£(2)<「(£(】)))}
P 代⑵ <P(C))}*
Числитель последнего выражения равен вероятности того, что случайная точка (W(D, £(2)) попадает ниже кривой у = р(ж) и одновременно левее вертикальной прямой ①=z. Поэтому
P{£D<z)g52)<p(N)))} =
zр(н)z
= Jd“ J ^b^dy=C^\P^dx' a0a
Знаменатель равен вероятности попадания случайной точки (£°), £(?)) ниже кривой у 二 р(ж) и поэтому
Ь р(н)
Р代⑶</))} = m]u^匈=壮彳a О
Итак,
尸£(z)= [ J с&)dx\/=卜(工)焱，
т. е. р(ж)——плотность вероятностей случайной величины £. Теорема доказана.
Для получения одной реализации случайной величины £ по методу Неймана требуются по крайней мере две независимые реализации случайной величины 7, причем, если случайная точка (£°), £°)) попадает выше кривой у = р(ж), то реализации £ не будет получено. Поэтому для снижения числа пар (£口), £(?)), для которых не происходит реализаций £, необходимо брать С равным наименьшему возможному значению С = тахж р(ж).
Для получения выборки (1.1) для некоторых стандартных законов распределения используют специальные приемы, учитывающие специфику рассматриваемых распределений.
Пусть £ ——нормально распределенная случайная величина. Обозначим Ео = (£ — М §)/сг£ нормированную случайную величину. Пусть
——нормированная сумма /V независимых случайных величин, равномерно распределенных на [0,1]. Согласно центральной предельной тео-
реме Линдеберга-Леви закон распределения §]丿 при /V т 8 стремится к М(0,1).
Поэтому при достаточно большом /V закон распределения £(、)= = 气部)+ М£ будет близок к ^(M^, сг^). Следовательно, при достаточном большом N одну реализацию случайной величины £ можно подсчитывать по N независимым реализациям 7 согласно формуле
X=M£ + %y|g(2 七X=M£ + %y|g(2 七—1)・—1)・(6・5)(6・5)
X=M£ + %y|g(2 七
X=M£ + %y|g(2 七
—1)・
—1)・
(6・5)
(6・5)
На практике ограничиваются ^ = 12 и тогда формула (6.5) принимает вид
12
(6.6)(6.6)X» = % £七 + М £ - 6%.
(6.6)
(6.6)
亍=i
Рассмотрим случайную величину
£n = Y In (71 . . .7/v+i),
где 7i,..., tn+i ——независимые случайные величины, равномерно распределенные на [0,1]. Докажем, что
1TV!1TV!^N -Хх х е^N -Хх х еж > О,ж > О,
1TV!
1TV!
^N -Хх х е
^N -Хх х е
ж > О,
ж > О,
т. е. £n подчиняется 7-распределению. Действительно, для ^ = О утверждение доказано ранее. Предположим, что утверждение справедливо для ^. Тогда
£n+i = -； In(71 • • • TN+2)= Cv + &•
Поскольку £n и £o независимы,
P£n+i(①)=J %v(① _ s)p&(s) ds = j^p(N _ s)Ne-^x-s}Xe~Xsds = -000
V+2V+2_
J(…ds = NR +e •
0
Следовательно, если £ подчиняется 7-распределению с плотностью вероятностей р^(ж) = ”^ xNe~Xx^ ж > 0, то по /V -h 1 независимым реализациям 7 находим одну реализацию £ согласно формуле Xj = =-д In (71.. .7/V+1).
Рассмотрим теперь m-мерную нормально распределенную случайную величину с вектором математического ожидания а =
=(ai,..., ат)т и ковариационной матрицей К& Представим Kg = =QQT, где Q ——невырожденная (m х т)-матрица. Матрица Q определена неоднозначно. Одну из таких матриц можно найти методом квадратного корня (тогда Q будет треугольной). Введем случайную величину 9 = Q-i(W — а)・ Векторная случайная величина ту распределена нормально. Имеем: М ту = Q~1(M ^ — а) = 0, ковариационная матрица Кп = QTK£(QT)t = QTQQT(QT)t = / (единичная матрица). Следовательно, ту = (щ,..., rjm)T, где rjj, j = L …、т — независимые нормально распределенные величины с законом распределения №(0,1) и одна реализация 匕 случайной величины 77 состоит из m независимых реализаций скалярной случайной величины с законом М(0,1).
Из вышесказанного следует, что реализация X» случайной величины £ может быть получена по формуле
Xi = a + QYi，(6.7)
Применение метода статистическогомоделирования для решения некоторыхприкладных задач
Ранее уже отмечалось, что метод статистического моделирования применяется как для решения «внутренних» задач самой математической статистики и обработки экспериментальных данных, так и для решения прикладных задач вне математической статистики. В частности, после создания алгоритма обработки экспериментальных данных можно «отработать» этот алгоритм еще до поступления самих экспериментальных данных путем их замены «псевдоэкспериментальными данными», полученными с помощью моделирования случайных компонент. Конечно, на этапе отработки алгоритма и формирования псев- доэкспериментальных данных необходимо учитывать всю имеюпдуюся у исследователя информацию о возможной области изменения будущих реальных экспериментальных данных.
рифметическую & =—рифметическую & =—При решении прикладных задач методом статистического моделирования, когда эти задачи не несут в себе элемента случайности, его вносят искусственно по следующей схеме. Обозначим через и решение задачи (и может быть скаляром, вектором, функцией, вектор-функ- цией и т. д. в зависимости от конкретной задачи). Подберем такую случайную величину £, что М£ = м. Тогда, осуществив достаточно большое число реализаций величины £ и получив выборку ее значений Xi, • • •, Хп, получают оценку и, например взяв в качестве и среднеа-
рифметическую & =—
рифметическую & =—
г=1
Основная трудность состоит в подборе такой случайной величины £, что М£ = м. Конечно, подбор £ неоднозначен и, если имеется возможность выбора, то следует отбирать случайную величину £ с наименьшим разбросом относительно среднего значения и и учитывать (часто в первую очередь) вычислительные затраты на реализацию каждого
значения X» величины £. В конечном итоге выбор £ диктуется объемом вычислительных затрат на получение оценки 2 с заданной точностью.
Рассмотрим несколько приемов вычисления определенных интегралов с помощью метода статистического моделирования.
Пусть требуется вычислить интеграл
(6.8)(6.8)=]/(ж) dx
(6.8)
(6.8)
где х ——m-мерный вектор. Введем m-векторную случайную величину п с плотностью р(ж) > 0, n € G, и скалярную случайную величину £ = =f ⑺/р⑺• Имеем
М £ = f р(х) dx = J.
Поэтому получаем оценку интеграла
(6.9)
где Xi г = 1,..., п ——повторная выборка значений случайной величины ту. В дальнейшем предполагается, что интеграл (6.8) сходится абсолютно.
Оценка (6.9) несмещена и состоятельна (по вероятности) в силу закона больших чисел (теорема Хинчина). Оценка (6.9) определена для любой плотности р(х) > 0, ж € G, J р(①)dx = 1.
Точность оценки (6.9) определяется ее дисперсией. Имеем: D J =
=—D £. Таким образом, следует выбирать £ с наименьшей дисперсией, п
или, что то же самое, с наименьшим М 已 Имеем
М §2 =[g) dx = f dx,
GG
Следовательно, выбор наилучшей оценки (6.9) сводится к выбору такой
р(ж) > 0, ж G G, для которой интеграл ■ / / dx принимает наимень- J р(х)
G
шее значение. Используя неравенство Коши-Буняковского, имеем
什“嘲 d J = ( J ^g^ v^J d J W
GG
Положим
P(n) = #ML_.(6.10)
J \f(x)\dx G
Имеем
M L = J 謂 dN = J 謂也 J If 3)1 dN = (J If 3)1 d J・ GGGG
j 1/3)1 d%j 1/3)1 d%Поэтому выбор р(ж) согласно (6.10) обеспечивает наименьшее значение дисперсии оценки (6.9). К сожалению, определение плотности
j 1/3)1 d%
j 1/3)1 d%
согласно (6.10) требует знания нормировочной константы
которая так же, как исходный интеграл (6.8), неизвестна. Несмотря на
эту принципиальную трудность определения оптимальной плотности, формула (6.10) подсказывает, какую p(n) следует выбирать, а именно: р(к) должна «повторять» глобальное изменение |/(/)| в области G. Пусть функция /а(ж) достаточно хорошо аппроксимирует глобальное изменение /(к) и интеграл j |/а(^)| dx достаточно легко подсчитыва
ется. Тогда плотность
PQ) = I九(①)1 • (j \fa(X)\dx^
обеспечивает близость оценки (6.9) к оптимальной оценке с р(ж) из (6.10).
Существуют другие приемы уменьшения дисперсии оценки (6.9). Все эти приемы основаны на использовании дополнительной информации об искомом интеграле или подынтегральной функции /(ж). Пусть, например, функция /o(n) близка к f(x) в ^2-метрике, т. е.
(f(c)-foQ)产р(с)(f(c)-foQ)产р(с)da:，％da:，％
(f(c)-foQ)产р(с)
(f(c)-foQ)产р(с)
da:，％
da:，％
где £ мало, и интегралслучайную величинугде £ мало, и интегралслучайную величинуJ九⑺J九⑺dx = J。известен. Введем скалярнуюdx = J。известен. Введем скалярную
где £ мало, и интеграл
случайную величину
где £ мало, и интеграл
случайную величину
J九⑺
J九⑺
dx = J。известен. Введем скалярную
dx = J。известен. Введем скалярную
£ = Jo +£ = Jo +/m)-%(力р⑺/m)-%(力р⑺
£ = Jo +
£ = Jo +
/m)-%(力р⑺
/m)-%(力р⑺
и оценку
J = Jo + С 1=1J = Jo + С 1=1〃М) - ％(к)р(М)〃М) - ％(к)р(М)(6.11)(6.11)
J = Jo + С 1=1
J = Jo + С 1=1
〃М) - ％(к)р(М)
〃М) - ％(к)р(М)
(6.11)
(6.11)
Имеем
М£ = J,
D 3 D=，'⑺р^。⑺尸 dz — (J 一 J°)2 W 巒・
Поэтому для дисперсии оценки справедливо неравенство D J < е2/п. Такой способ учета дополнительной информации с получением оценки (6.11) называется методом выделения главной части.
Подчеркнем, что применение методов Монте-Карло дает значительное преимущество по сравнению с классическими детерминированными методами вычисления интегралов при увеличении размерности m области G (при увеличении кратности интеграла (6.8)).
Рассмотрим теперь решение линейных интегральных уравнений вида
3(①)=]^(ж, xf)(p(xf) Ax' + /(ж)(6.12)
G
методами Монте-Карло.
Введем линейный интегральный оператор
Кд(①)=]^(x, xf)(p(xf) dxz.
Обозначим K^g результат j-кратного применения оператора К к функции g(N)и
(九夕)=]f(x)(p(x)dx
G
—скалярное произведение функций /(ж) и gQ). Таким образом, (/, К%) — скалярное произведение функции /(ж) и функции К%, полученной в результате j-кратного применения оператора К к функции g(N). Например,
К2(р(х) = ] ^(ж, ж7) ] К(а/, х")(р(х〃) d①"dxf 三 j К2З, xf)^(xf) dx\ GGG
где
^2(ж, жх) = j ^(z, xf/)K(x/f, ж7) dxuG
——дважды итерированное ядро. Для произвольного J имеем
К%⑺=]Kj(x, х)(р(х) dx\
G
гдегде
где
где
勺(七,七')=]Kj^^x, xff)K(xff, xz) dxH
—итерированные ядра.
Выберем в G такие плотность р(с) > 0 и условную плотность P(N I жх) > 0, что ] р(ж) de = ] p(N I х') dx = 1.
Условную плотность р(с I а/) называют плотностью вероятностей перехода из точки а/ в точку х и часто обозначают р(ж, т х).
Определим в G случайную траекторию
Тк —• {七0 ■-^ N] ■-^ • • • ■-^ Njfe},
где к。——реализация случайной величины ^о с плотностью р(с), Xj —— реализация случайной величины £/ с плотностью p{xj |j =
Введем совокупность скалярных статистик
_ KQo, ci) K(ci,a；2) K(g_i,g)Wj Р(6 I NO)P(«2 I Ж1) ' ' ' p(巧 I Xj-1) 5
определенных для J = 1,..., А;. Если положить wo = 1, то Wj =
=吗・-i • K(g_i, &)/?(%• I Xj-i), j = 1,k.
Определим совокупность скалярных случайных величин 仆亍= =Wj ^,；R f (巧)• Покажем, что M”g = (g, K‘/)・ Действительно,
"畛）="畛）=tv/г м 夕(с。) К(со, 6)К(д-1, g)
"畛）=
"畛）=
4 — ТЫ pQi I c。)…p^ I ^-i)
=]3(s()) ds j ... ] K(s(), si)... K(s?・—i, sj)f(sj) dsi ... dsj =
GG G
=j ^MK^f^SQ) ds =(3 Mf).
G
Таким образом, реализовав n случайных траекторий
Tk = (T(fcl, • • • , ^kn)^
получаем оценки Uj скалярных произведений Uj = (g, ^^/) согласно формулам
叫=(6.13)
где ^ji^ г = 1,..., n — реализации случайной величины "亍 на г-й траектории Tji，
С помощью оценок (6.13) скалярных произведений (д, К，/) можно получить оценки значений функции К?/(а:。). Действительно, пусть
g(N)= 6(n — жо). Тогда (6(n — g), К^ f(x)) = К^ f(xo). Возьмем в качестве р(с) = 5(n — No), т. е. все траектории Tji «стартуют» из фиксированной точки с。и ”加=Wjf(xj). Имеем: М"/о = К^ f(xo).
Теперь все готово для построения приближенного решения интегрального уравнения (6.12). Действительно, если спектральный радиус линейного интегрального оператора К из (6.12) меньше 1, то единственное решение з(м) уравнения (6.12) представимо в виде ряда Неймана:
3(N)= f(N)+ Kf(N)+ №/(Ж)+ . . . (6.14)
Ограничимся в (6.14) конечным числом слагаемых. Тогда в фиксированной точке х = Xq
зЗо) ^ f(No) + Kf Qo) + ... + Kkf(x0) (6.15)
и приближенные значения слагаемых К^ f(xo)^ j = 1,..., А?, правой части (6.15) могут быть оценены по формулам (6.13), где %., г = 1,..., п, — реализации случайной величины ", на г-й траектории Tji с фиксированной точкой «старта» х = xq для всех траекторий.
Если уравнение (6.12) описывает стационарное распределение <^(ж) частиц, мигрирующих в объеме G, а К(с, ж7) — индикатриса рассеяния частиц и /(ж) — функция распределения независимых источников частиц, то К'/(с。) определяет «долю» в стационарном распределении j раз рассеянных частиц. Координаты траектории Tki в этом случае являются координатами точек изменения направления движения частиц за счет поеледовательных актов их рассеяния.
Глава 7
МЕТОД НАИМЕНЬШИХ КВАДРАТОВДЛЯ ЛИНЕЙНЫХ МОДЕЛЕЙ
С НЕОПРЕДЕЛЕННЫМИ ДАННЫМИ
Метод наименьших квадратов (МНК) — один из наиболее широко используемых методов при решении многих задач восстановления регрессионных зависимостей. Впервые МНК был использован Лежандром в 1806 г. для решения задач небесной механики на основе экспериментальных данных астрономических наблюдений. В 1809 г. Гаусс изложил статистическую интерпретацию МНК и тем самым дал начало широкому применению статистических методов при решении задач восстановления регрессионных зависимостей.
В дальнейшем (кроме гл. 10) в монографии будут рассматриваться задачи линейного регрессионного анализа.
Пусть и = (гн,.. •,後гл)' — m-мерный вектор искомых параметров, / = (/1,..., /п)т ——n-мерный вектор, полученный из эксперимента и тем самым отличающийся от неизвестного точного вектора /т на вектор случайных погрешностей е =(£i,..., еп)т, т.е. / = f丁 + е. Известно, что искомый вектор и связан с вектором fT соотношением
Аи =方，(7.1)
где Л — заданная (п х ш)-матрица. Заметим, что в § 9.5 будет рассмотрен случай, когда элементы матрицы А также имеют случайный характер.
Систему (7.1) запишем в виде
Аи = f -е.(7.2)
Задача нахождения приближенных значений и, «удовлетворяющих» системе (7.2), и будет основной задачей линейного регрессионного анализа.
Подчеркнем, что значения вектора случайных погрешностей е неизвестны, известен лишь закон распределения случайного вектора е или даже не сам закон, а только некоторые его характеристики.
Примеры линейных моделейс неопределенными данными
Прежде чем переходить к изложению МНК в рамках классической схемы, приведем примеры прикладных задач, сводящихся к задачам линейного регрессионного анализа.
Пример 7.1. Пусть между двумя физическими величинами ж, у существует функциональная зависимость вида у = ^ uj 屮j(x))где 夕1(%),, Зт(%) — известные функции, а】，...，“m — параметры, значения которых неизвестны. Предположим, что производится серия фиксаций Xi, £ = 1,.. ., п, переменной ж и при х = Xi проводятся измерения yi, i = 1,. .. ,п, переменной у, причем измерения д^ содержат случайные погрешности /. Таким образом, имеем систему равенств
ZA — / = £%•夕式3),г = 1,... ,п.(7.3)
5=1
Введем векторы
/ =(2/1, • • •, дм)', е —(厶,• • •, tn)',” = ("1, • • •, Um)'
и (п х т)-матрицу A, Aij =夕亍(％彳),г = 1,. .., n, j = 1,... , m. Тогда система равенств (7.3) запишется в эквивалентном виде (7.2).
Пример 7.2. Пусть между величинами у и х±,..., жт существует
функциональная зависимость вида у = ^ 〃产力 где (“ь …，ит)Т — j=i
параметры, значения которых неизвестны. Для восстановления значений параметров 叫，j = 1,..., m, фиксируются значения Xji, г = 1,.. ., п, переменных Xj, j = 1,... , m, и при Xj =今，j = 1,. .. , m, производятся измерения дм г = 1,. .. , п, переменной у, причем измерения 仇 содержат случайные погрешности %.
Таким образом, имеем систему равенств
У» — fj =〉: ^j^ji 5£ = 1,..., n.(7.4)
Если обозначить / = (y±,..., yn)T, f = (厶，…，£九)丁，и = =("i, •..,"小)7, А — (п х т)-матрица с элементами 厶刁=%亍高 то система (7.4) запишется в эквивалентном виде (7.2).
Пример 7.3. Рассмотрим интегральное уравнение первого рода
ъ
(7・5)(7・5)j ^(ж, s)u(s) ds = /т(ж),
(7・5)
(7・5)
где ядро К(%, s) задано, ”(％) — неизвестная искомая функция, а вместо /т(ж) известна ее реализация /(ж), измеряемая с погрешностью, т.е. /(ж) = /т(ж) + е(%), е(ж) — случайная функция погрешностей.
К интегральному уравнению первого рода (7.5) сводятся многие задачи идентификации изучаемого объекта по измерениям косвенной
информации об этом объекте. В приложениях K(e,s) часто играет роль так называемой аппаратной функции.
Введем сетку а ^ Xi < %2 < • • • < хп W Ь и будем рассматривать равенство (7.5) только в узлах ж = д, г = 1,.. ., т. Проведем дискретизацию интегрального уравнения (7.5), заменяя интеграл в левой части (7.5) интегральной суммой
e к(д,力)%・"(力・)=fT(Xi),
где Qj зависят от выбранной интегральной формулы. Например, применяя формулу трапеций, имеем aj = As/ = Sj+± — Sj.
Поэтому дискретный аналог интегрального уравнения (7.5) имеет вид
53 к(/‘ ^э}^з^^j) = f (g) — £(g), i= i^..., Ti. (7.6) к
Обозначим
/ = (f (%i), • • ♦, /(%п))т, £ =(£(Ж1),..., e(%n)),
” ―(U(S1), • • ♦ , "(Sm)) 5
A — (n x т)-матрица с элементами Aij = K(%i, Sj)aj.
Тогда система (7.6) запишется в эквивалентном виде (7.2).
Пример 7.4. В приложениях часто приходится рассматривать системы интегральных равенств вида
j K(s)u(s)ds=а；т,£ = 1, 九，(7・7)
где K(s) — известные функции, u(s) — искомая функция, aiT — числа.
К системе интегральных равенств вида (7.7) сводятся, например, многие задачи спектрометрии и вычислительной томографии.
Из эксперимента известны не точные значения aiTl а их приближенные значения &, т. е. а, = aiT + / , где 勺—случайные погрешности.
Проведем дискретизацию системы интегральных равенств (7.7). Вместо системы (7.7) получим ее дискретный аналог
m
е К(力)%"(力•)=4 -/，。=1,…，九，(7.8)
где известные коэффициенты aj зависят от выбранной интегральной формулы.
Если обозначить / = (ai,..., ап)Т, е =(£“•••，fn)', 4 — (п х т)-матрица с элементами А^ = К(5“％, то систему (7.8) можно записать в эквивалентном виде (7.2).
Замечание 7.1. При дискретизации интегрального уравнения (7.5) и системы интегральных равенств (7.7) всегда необходимо соблюдать выполнение неравенства n ^ т.
Классическая схема МНК
Рассмотрим основное уравнение (7.2) линейного регрессионного анализа. В рамках классической схемы МНК вводятся следующие предположения.
Отсутствует какая-либо априорная информация о векторе искомых параметров и, т. е. априори предполагается, что и € Яш;
Векторы £ и f случайные;
Отсутствуют систематические смещения в /, т.е. Me = 0 — нулевой вектор;
Ковариационная матрица вектора е дается равенством К£ = =о2/п, где /п — единичная матрица порядка п, т. е. компоненты е» попарно не коррелируют и имеют одинаковую дисперсию а2 (а2 может быть неизвестной);
Матрица А — детерминированная и полного ранга, т. е. rank А = =т.
Введем функционал
Q(u) = \\8\\2 = \\f-Au\\\(7.9)
где 11е1| = (^2勺)/ - евклидова норма.
Согласно МНК за оценку искомого вектора и принимается вектор, который минимизирует сумму квадратов отклонений:
&мнк = arg minQ(u).(7.10)
Найдем явный вид МНК-оценки. Имеем
Q(u) = (/ - Аи, / - Аи) = ||/||2 - 2(/, Аи) + (Ли, Ли)=
= \\/\\2-2(щАТ/)^(АТАи,и),
где Лт — транспонированная к А матрица.
Поскольку на а априори не накладывается никаких ограничений, МНК-оценка является корнем уравнения grad” Q(u) = 0. Имеем
grad” Q(u) = —2ЛТ/ + 2АТАи.
Поэтому получаем равенство А’А&мнк = Ат/. Так как А — матрица полного ранга, то симметричная (тп х т)-матрица АТ А ——положительно определена. Следовательно,
&мнк = (ЛТЛ)~1АТ/.(7.11)
Очевидно, что при а = ймнк функционал Q[u) имеет единственный (глобальный) минимум, поскольку 乞旦屮 = 2ДТА — положительно определенная матрица.
Как и любая оценка, МНК-оценка имнк — (векторная) случайная величина. Из (7.11) следует, что имнк ——линейная оценка относительно вектора экспериментальных измерений /. Исследуем некоторые свойства МНК-оценки (7.11). Имеем: МиМнк = ^ {АтА)~гАтf = =(Ат А)-1 АТМ / = {АТ А)~х АТАи = а, т. е. МНК-оценка не сме
щена.
Найдем ковариационную матрицу Ки МНК-оценки имнк. Имеем: Ки = BKfBT, где В = (АтA)~xАт,勺一ковариационная матрица вектора измерений f. Но Кf = К£ = а21п, Вт = {(工丁厶)〜】.Поэтому Ки = {АТ А)~х АТ а21пА{АТ А)~х. Итак,
Ки = а2(ЛтЛ)~.(7.12)
Из (7.12), в частности, следует, что Ки стремится к нулевой матрице при М т 0, т. е. МНК-оценка (7.11) сходится в среднем квадратичном к истинному значению вектора и искомых параметров при неограниченном увеличении точности измерения каждой компоненты вектора /.
Заметим, что сама МНК-оценка (7.11) не зависит от дисперсии а2 и тем самым определяется однозначно и при неизвестной а2. В то же время ковариационная матрица МНК-оценки (7.11), определяющая точность этой оценки, пропорциональна а2.
Итак, МНК-оценка (7.11) линейна и несмещена. Но существует бесконечно много линейных несмещенных оценок и искомого вектора и (все они имеют вид и = Я/, где R — детерминированная (n х т)- матрица). Спрашивается, какое место среди всех линейных несмещенных оценок занимает МНК-оценка (7.11)?
Теорема 7.1 (Гаусса-Маркова). Пусть выполнены предположения 1-5 классической схемы МНК. Тогда МНК-оценка (7.11) эффективна в классе всех линейных несмещенных оценок. г)
Доказательство. Рассмотрим любую линейную несмещенную оценку й = Rf. Имеем
М & = а = RM / = RAu.
Поэтому RA = /т. Обозначим L = R —(厶丁工尸川.Имеем
LA = RA-(*4尸『4 = /g一 /小=0
——нулевая матрица. Далее, для ковариационной матрицы К& оценки & получаем
Kg = RKfRT = Ra2InRT = a2RRT = a2[L + (ЛТЛ)~1АТ] x
х [L + (ATA)-XAT]T = a2[L + (川4尸『][厶7 + 4(4Т4厂1]=
=02出L7 +厶4川4尸+ (LA^A)-1^ + (*4尸]=
= a2[(ATA)~1 + LLT].
Поскольку симметричная (m х т)-матрица L LT неотрицательна, то (厶74)-1 + LLT》(АТА)-1, откуда К&》Ки. Теорема доказана.
Из теоремы Гаусса-Маркова, в частности, следует, что дисперсия любой компоненты МНК-оценки (7.11) не превосходит дисперсию этой компоненты любой другой линейной несмещенной оценки, т. е. МНК- оценка совместно эффективна в классе линейных несмещенных оценок. Итак, МНК-оценка (7.11) является эффективной в классе линейных несмещенных оценок и по совокупности параметров 也…,um, и по каждому параметру Uj^ J = 1,.. ., m, в отдельности.
Иногда необходимо получить оценку не самого вектора и, а вектора d = Си, где С — заданная детерминированная (к х т)-матрица. Справедливо следующее обобщение теоремы Гаусса-Маркова: при выполнении условий классической схемы МНК-оценка 0Mнк = °&мнк эффективна в классе всех линейных несмещенных оценок.
Подчеркнем, что в этом разделе всюду идет речь о классе линейных несмещенных оценок, использующих лишь информацию об измерениях компонент /1,. .. , /п вектора / из (7.2).
Часто дисперсия сг2 погрешностей измерений /» неизвестна. Оказывается, что в этом случае можно получить оценки не только искомого вектора и, но и дополнительного неизвестного параметра а2. Обозначим /мнк = 4&мнк，е = / - /мнк- Компоненты ei,..., еп вектора е называют невязками, а сам вектор е ——вектором невязок.
Введем положительную статистику
Теорема 7.2. Статистика s2 — несмещенная оценка дисперсии
Доказательство. Имеем
е = Аи + е — 4&мнк = 4〃 + е — А(АТ А)-1 Дт/ =
=Аи + е — А^А7 А)~г АТ (Аи + е)=
=Аи + е — Аи — А(АТ А)~г Ат £ = (/п — А(АТ А)~г Ат)е = Се、 где С = 1п — А(АТА)~г Ат. Поскольку
С2 = [1п -4(4t4)-147]2 = /n 一 2д(atа)-1 аt +
+ А{АТА)-1 ^А^А)~г А1' = 1п-厶(4丁4)一14T = &
то (7 — проекционная матрица. Кроме того, С — симметричная матрица. Далее,
М ||е||2 = М ете = ЪЛ.етСтСе = М€ТСе = М £ £ Cije^j = г=1 j=l
=°? £ &i = a2 tr С = a2(n 一行(4(4Т4)-14Т))= a2(n 一 m), г=1
так как tr(А(АТА)~гАт) = tr {{ATA)^^А) = tr /т = т.
Итак, М s2 = оЛ Теорема доказана.
Если о? неизвестна, то в качестве несмещенной оценки ковариационной матрицы МНК-оценки (7.11) можно взять матрицу К& = =s2 (Ат А)~г.
Заметим, что корреляционная матрица сог(й) МНК-оценки (7.11) не зависит от а2 и полностью определяется матрицей А,
Рассмотрим вопрос о состоятельности МНК-оценки (7.11) при n т т оо, т. е. при неограниченном увеличении числа уравнений системы (7.2). В задачах регрессии увеличению п соответствует увеличение числа измерений функции у. Ясно, что не всякое неограниченное увеличение числа уравнений системы (7.2) будет приводить к неограниченному увеличению точности МНК-оценки (7.11). Например, если в задаче восстановления функциональной зависимости у = щ + U2X неограниченное увеличение п происходит только за счет неограниченного увеличения числа измерений у^ при одном фиксированном значении х^ = ®о? то МНК-оценка (7.11) не будет состоятельной.
Поскольку при увеличении п изменяется матрица Л (добавляются новые строки), то вместо одной системы (7.2) рассматривается последовательность систем вида
4n〃 = «Аг — £п,(7.14)
где Лп — последовательность матриц с неограниченно увеличивающимся числом строк п.
Для того чтобы последовательность МНК-оценок
6n =(《4尸叫/(7.15)
обладала свойством состоятельности, необходимо наложить определенные ограничения на последовательность матриц Ап исходной системы (7.14).
В дальнейшем предполагается, что для модели (7.14) выполнены все пять предположений классической схемы МНК.
Напомним, что состоятельность в среднем квадратичном последовательности несмещенных оценок ип эквивалентна стремлению к нулевой матрице последовательности ковариационных матриц Кп оценок йп. Поэтому состоятельность в среднем квадратичном последовательности МНК-оценок (7.15) при п т 8 эквивалентна соотношению (Д^Лп)"1 т 0 — нулевая матрица при п т оо.
Теорема 7.3 (Эйкер). Для того чтобы последовательность МНК- оценок (7.15) была состоятельной в среднем квадратичном, необходимо и достаточно выполнение соотношения Amjn(X^An) т +оо при п т оо. Здесь Хт\п(А^Ап) — минимальное собственное значение симметричной положительно определенной матрицы 4^ Дп.
Доказательство. Пусть ип сходится в среднем квадратичном к % т. е. (А^Дп)'1 т 0 при п —> оо. Из последнего соотношения следует, что все собственные значения поеледовательности матриц (4^4九)一1 стремятся к нулю, в частности Amax(4^^n)_10. Но тогда Amin(^n ^п)=
=l"max(4^4n)T Т оо. Пусть теперь》min(4^4n) т оо- Тогда АШах(^п ^n)-1 — l/^min(^n^n) ~> 0 при п т оо. Следовательно, все собственные значения последовательности матриц (4^4П) стремятся к нулю, что эквивалентно стремлению к нулевой матрице последовательности матриц (4^4)т. Теорема доказана.
Условие Эйкера,
Xmin(4^4) Т +8 при П -> ОО,(7.16)
являющееся необходимым и достаточным для состоятельности в среднем квадратичном, в общем случае довольно трудно проверить. Поэтому было предложено несколько более легко проверяемых условий, достаточных для состоятельности в среднем квадратичном последовательности МНК-оценок (7.15).
Теорема 7.4. Пусть существуют такие последовательность положительных чисел ап —^ 0 и положительно определенная симметричная (т х т)-матрица Я что Нт^тоо апА^Ап = Я. Тогда последовательность МНК-оценок (7.15) состоятельна в среднем квадратичном.
Доказательство. Имеем: Кп =(風4n尸 =ап(ап4^4п)т. Но 9九4^4) т Я-1 при п —> сю. Поэтому Кп т 0. Теорема доказана.
Пример 7.5. Рассмотрим задачу восстановления функциональной зависимости у = их, где и ——неизвестный параметр, ж — независимая переменная. Пусть измерения производятся в точках g = £ Дж, г = 1,..., п, где Дж — расстояние между двумя соседними точками фиксации £- Имеем: Ап = Аж(1, 2,..., п)т — матрица-столбец, 4^ = Дж(1, 2,..., п) — матрица-строка, 4^4П = (△%)?£/ = i=i =(△ж)2п(п + 1)(2п + 1)/6 — положительное число. Имеем: 厶^4冗/九3 т (Дж)2/3 при 九 т оо. Поэтому условие теоремы 7.4 выполнено, и, следовательно, последовательность МНК-оценок ип =
= 6(п(п + l)(2n + 1)An)~i £ iyi сходится в среднем квадратичном i=i
к точному значению параметра и. Конечно, в данном примере состоятельность в среднем квадратичном легко проверяется непосредственно,
4 А.В. Крянев, Г.В. Лукин
так кактак какКп = о2(&п)Кп = о2(&п)6а26а2П(П + 1)(2п + 1)(△①)2П(П + 1)(2п + 1)(△①)2т 0 при п —> оо.т 0 при п —> оо.
так как
так как
Кп = о2(&п)
Кп = о2(&п)
6а2
6а2
П(П + 1)(2п + 1)(△①)2
П(П + 1)(2п + 1)(△①)2
т 0 при п —> оо.
т 0 при п —> оо.
Приведем еще один достаточный критерий состоятельности в среднем квадратичном последовательности МНК-оценок (7.15).
Определим матрицы сопряженности Rn равенством
2」・=1，…，m・
Матрица сопряженности Rn симметрична и положительно определена, причем на ее главной диагонали стоят единицы, а элемент (Яп)^ — косинус угла между двумя векторами ——г-м и J-м столбцами матрицы Ап.
Теорема 7.5. Пусть
1° (A^An)jj = £ 吟―> 8 при п т оо для любого J = 1,..., т; i=i
2° Нтпт8 几九=Я, где R — симметричная положительно определенная (т х т) -матрица.
Тогда последовательность МНК-оценок (7.15) состоятельна в среднем квадратичном.
Доказательство. Введем диагональные (т х т)-матрицы
0n = diag (J(小4)11 ,. .. , J(4^Ai)mm )•
Имеем: Rn = D^A^AnD^1, откуда 4^厶几=DnRnDn. Поскольку |Я| * 0, то ЛтЕ(А) > 6 > 0. Поэтому существует такое по, что для всех п ^ по выполнены неравенства Amin(^n)》6. Имеем: Amin(^n^п)= —入min (°n Rn °п)》入min (Rn)Xmin(O^)》^ ГП1П ^A^ An^jj —> CXD При n —> оо. Итак, выполнено условие Эйкера (7.16). Теорема доказана.Пример 7.6. Рассмотрим задачу восстановления функциональной зависимости у = щ + “2%, где Ui, ”2 — неизвестные искомые параметры, х — независимая переменная. Пусть измерения производятся в точках Xi = гДж, £ = 1,.. ., п, где Дж — расстояние между двумя соседними точками фиксации д. Имеемп 吗虫An ) 几m + l& 史L±1殴L±12(An)2 丿Имеем: Rn = D^A^AnD^1, откуда 4^厶几=DnRnDn. Поскольку |Я| * 0, то ЛтЕ(А) > 6 > 0. Поэтому существует такое по, что для всех п ^ по выполнены неравенства Amin(^n)》6. Имеем: Amin(^n^п)= —入min (°n Rn °п)》入min (Rn)Xmin(O^)》^ ГП1П ^A^ An^jj —> CXD При n —> оо. Итак, выполнено условие Эйкера (7.16). Теорема доказана.Пример 7.6. Рассмотрим задачу восстановления функциональной зависимости у = щ + “2%, где Ui, ”2 — неизвестные искомые параметры, х — независимая переменная. Пусть измерения производятся в точках Xi = гДж, £ = 1,.. ., п, где Дж — расстояние между двумя соседними точками фиксации д. Имеемп 吗虫An ) 几m + l& 史L±1殴L±12(An)2 丿1111△ж \△ж \2Дж2Дж1 пДж /1 пДж /，^п ^П —，^п ^П —
Имеем: Rn = D^A^AnD^1, откуда 4^厶几=DnRnDn. Поскольку |Я| * 0, то ЛтЕ(А) > 6 > 0. Поэтому существует такое по, что для всех п ^ по выполнены неравенства Amin(^n)》6. Имеем: Amin(^n^п)= —入min (°n Rn °п)》入min (Rn)Xmin(O^)》^ ГП1П ^A^ An^jj —> CXD При n —> оо. Итак, выполнено условие Эйкера (7.16). Теорема доказана.
Пример 7.6. Рассмотрим задачу восстановления функциональной зависимости у = щ + “2%, где Ui, ”2 — неизвестные искомые параметры, х — независимая переменная. Пусть измерения производятся в точках Xi = гДж, £ = 1,.. ., п, где Дж — расстояние между двумя соседними точками фиксации д. Имеем
п 吗虫An ) 几m + l& 史L±1殴L±12(An)2 丿
Имеем: Rn = D^A^AnD^1, откуда 4^厶几=DnRnDn. Поскольку |Я| * 0, то ЛтЕ(А) > 6 > 0. Поэтому существует такое по, что для всех п ^ по выполнены неравенства Amin(^n)》6. Имеем: Amin(^n^п)= —入min (°n Rn °п)》入min (Rn)Xmin(O^)》^ ГП1П ^A^ An^jj —> CXD При n —> оо. Итак, выполнено условие Эйкера (7.16). Теорема доказана.
Пример 7.6. Рассмотрим задачу восстановления функциональной зависимости у = щ + “2%, где Ui, ”2 — неизвестные искомые параметры, х — независимая переменная. Пусть измерения производятся в точках Xi = гДж, £ = 1,.. ., п, где Дж — расстояние между двумя соседними точками фиксации д. Имеем
п 吗虫An ) 几m + l& 史L±1殴L±12(An)2 丿
1
1
1
1
△ж \
△ж \
2Дж
2Дж
1 пДж /
1 пДж /
，^п ^П —
，^п ^П —
Здесь An — (п х 2)-матрица, 4^4n — симметричная положительно определенная (2 х 2)-матрица. Матрицы сопряженности даются равен-
ствами
при п т оо.при п т оо.
при п т оо.
при п т оо.
n — mn — mt=it=i
n — m
n — m
t=i
t=i
Следовательно, условия теоремы 7.5 выполнены.
Выше была доказана несмещенность оценки (7.13) неизвестной дисперсии а2. Рассмотрим теперь состоятельность оценки (7.13) при п -> оо.
Теорема 7.6. Если выполнены предположения классической схемы МНК, то оценка (7.13) состоятельна по вероятности при п -> сю без дополнительных условий.
Доказательство. При доказательстве теоремы 7.2 было установлено равенство е = Се, где С = 1п — 4n (4^4尸《一проекционная симметричная матрица. Поэтому
=——-——守с& =n — m=——-——守с& =n — m$2 = 6% = -L-eTCTCe п — т п — т
=——-——守с& =n — m
=——-——守с& =n — m
В силу закона больших чисел£ е? т 0 по вероятности при п т i=i
т оо. Покажем, что еТАп(АТAn)-1 ALе т 0 в среднем квад-
п — т
ратичном при п —> сю. Действительно, поскольку матрица (工^厶九)-'
симметрична и положительно определена, то существует такая невырожденная (т х т)-матрица Рп, что (厶^厶九)〜】= РпР^. Следовательно, А^Ап = (Р^^Р-1, откуда получаем равенство Р^А^АпРп = =/т, где /т — единичная матрица порядка т. Обозначим гп = =(п — т)~^2Р^厶六.Имеем
Iknll2 = Н『п = ^^”4""，*е = -^^8Т Ап{А^Апух А^е.
Следовательно, достаточно доказать соотношение гп -^ 0 в среднем квадратичном при п т оо. Имеем: М гп = 0 — нулевой вектор. Для ковариационной матрицы ^r вектора тп получаем соотношения
Kr = М(гпг^) =Р^А^АпРп =
п — тп — тп
Следовательно, Кг стремится к нулевой матрице при п т оо, т. е. 『п т 0 в среднем квадратичном при п -> оо. Теорема доказана.
Последовательность МНК-оценок (7.15) при выполнении некоторых условий обладает еще одним замечательным свойством асимптотической нормальности.
Прежде чем переходить к выявлению этого свойства у последовательности МНК-оценок (7.15), напомним определение асимптотической нормальности для произвольной последовательности случайных векторов 0n размерности т.
Обозначим Моп = ап, % — ковариационная матрица вектора vn. Предполагается, что матрицы Vn положительно определенные. Тогда существуют такие положительно определенные симметричные матрицы ИГ I’?, что V^^Vn1^2 = Vn1- Введем последовательность нормированных векторов о? = 1^~1/2(0九一ап). Имеем: Мо? = 0——нулевой вектор.
Для ковариационной матрицы V： вектора о? получаем равенства Vn = КГ"2%КГ1/2 = V^^Vn^Vn^Vn1^2 = /т. Итак, ковариационная матрица нормированного вектора является единичной матрицей.
Говорят, что последовательность случайных векторов vn асимптотически нормальна^ если закон распределения нормированных векторов о? стремится к нормальному "(О, /т) при п —> сю.
Проведем нормировку последовательности МНК-оценок (7.15). Имеем
&： = ^ (4^An)i/2(&n - ") = ^ (Д^Ап)1/2((А^Лп)~1Д^/ - и)=
=i (4^4П)1/2((4£4П)-14^(4П” + £)-")=
=I (А^Ап)~1/2А^£ = &f,
где Вп = 丄(4^4n)T/24^ — (m х п)-матрица. Обозначим Ьп^, j = 1,..., m, г = 1,..., п, — элементы матрицы Вп.
Теорема 7.7. Пусть дополнительно к предположениям классической схемы МНК случайные величины £i^ i = 1,... ,п независимы и их моменты третьего порядка равномерно ограничены. Тогда для асимптотической нормальности последовательности МНК-оценок (7.15) достаточно выполнения соотношения
bnji т 0(7.17)
при 九 т оо для всех J = 1,... т, г = 1,.. ., п.
Справедливость теоремы 7.7 следует из центральной предельной теоремы Ляпунова.
Теорема 7.8. Пусть выполнены условия теорем 7.4, 7.7 и ana^j т 0 при п -> сю для всех г = 1,.. ., n, j = 1,... , m. Тогда
последовательность МНК-оценок (7.15) асимптотически нормальна и справедливо соотношение —Д=- (2П — 〃) ~ ^(0, a2R~r) при п —> оо.
V ап
Доказательство. Имеем
3П = ； (4^4П)-1/24詈=1 (аП〃4)t/2 A《.
Но 9九4^4几)-1/2 т Я"1/2, ^/а^А^ т 0 при тг т оо. Поэтому выполнено соотношение (7.17) теоремы 7.7. Далее, ковариационная матрица вектора ——и) дается равенством
V ап
К& = ± 雜(4皆4尸=с2(ап4*4п)т.
Поэтому К& т a2R~l при тг т оо. Теорема доказана.
Заметим, что соотношение (7.17) означает неограниченное уменьшение доли каждого отдельного измерения при неограниченном увеличении числа измерений.
Наличие свойства асимптотической нормальности последовательности МНК-оценок (7.15) позволяет утверждать, что при достаточно большом п закон распределения МНК-оценки (7.11) близок к нормальному М(и^ а2(АТА)-1). Последнее позволяет, например, строить приближенные доверительные интервалы для каждой компоненты вектора и с тем большей точностью, чем больше п. Действительно, при достаточно большом п можно утверждать, что с вероятностью рдов истинное значение Uj принадлежит интервалу
%мнк%мнк-ot(pgB) J(4T力)?・J W 〃f W %MHK + сардов) /(474)?■j,
%мнк
%мнк
где
=Рдов,=Рдов,j = 1,. .. , m.j = 1,. .. , m.
=Рдов,
=Рдов,
j = 1,. .. , m.
j = 1,. .. , m.
До сих пор предполагалось, что закон случайных величин /, г = 1,..., п, произволен. Предположим теперь, что случайные величины £市 распределены по нормальному закону. Тогда с учетом предположений классической схемы МНК совместная плотность вероятностей ре (ж) совокупности случайных величин е определяется равенством
Ре（8）=Ре（8）=1(2Тг广/2戸1(2Тг广/2戸
Ре（8）=
Ре（8）=
1
(2Тг广/2戸
1
(2Тг广/2戸
Равенство (7.2) дает реализацию случайной величины е = / — Ди, и, следовательно, функция правдоподобия имеет вид
L(u)=L(u)=11(2тг)п/2°п(2тг)п/2°п(f-4以(f-4公 2/(f-4以(f-4公 2/
L(u)=
L(u)=
1
1
(2тг)п/2°п
(2тг)п/2°п
(f-4以(f-4公 2/
(f-4以(f-4公 2/
ММП-оценка искомого вектора м определяется равенством 2ММП = =arg max” L(u), которое в нашем случае эквивалентно равенству ^ммп = arg minu \\Аи - /||2.
Итак, если в рамках классической схемы МНК погрешности распределены по нормальному закону, то МНК-оценка (7.11) совпадает с ММП-оценкой. Поскольку случайная реализация / подчиняется нормальному закону Af(/T, а21п), а МНК-оценка ——линейная комбинация компонент вектора /, то МНК-оценка (7.11) также подчиняется нормальному закону 2(% а2(АТА)-1).
Замечательным дополнительным свойством МНК-оценки в случае нормального закона распределения погрешностей является ее эффективность в классе всех несмещенных оценок.
Теорема 7.9. Пусть е ~ Af(O,(т2/п). Тогда МНК-оценка (7.11) является эффективной в классе всех несмещенных (линейных и нелинейных) оценок.
Доказательство. Для любой несмещенной оценки ип справедливо неравенство Фишера-Крамера-Рао
Ки》L, где
/ = M((gradu In L(u))(gradu In 厶(〃))')
—информационная матрица Фишера. Имеем
In L(u) = —~ In(2тг) — п\п а马 In \\Аи — /||2.22。
Поэтому
grad” In L(u) = 4 Дт(/ —力微)=3 4rg.
Отсюда
(gradu In L(〃))T = А.
следовательно,
(gradu In L(〃))(gradu In 乙(微))丁 = -^ ATsetA.
Поэтому
/ = M AteetA)=力 4TM(£”)4 = 3 4T4aaa
откуда
Г1 = a2(ATA)-\
т. e. в неравенстве Фишера-Крамера-Рао для МНК-оценки (7.11) достигается равенство. Теорема доказана.
Часто регрессионную модель (7.1) используют для подсчета значения линейной комбинации у = ^ ajuj =。丁微,где а — заданный вектор. Эту задачу называют прогнозом для у. Например, при восстановлении функциональной зависимости необходимо знать значения функции не только в точках фиксации независимой переменной 勺匕...,％忆, где производятся экспериментальные измерения функции, но и при других значениях независимой переменной. Прогноз по формуле
歹мнк = а'&мнк(7.18)
будем называть МНК-прогнозом.
Теорема 7.10. МНК-прогноз (7.18) несмещен и эффективен в классе всех линейных несмещенных прогнозов.
Доказательство. Имеем
М 歹мнк = МаТ&мнк = аТМиМИК = ати = у,
т. е. МНК-прогноз несмещен. Любой линейный несмещенный прогноз у имеет форму у = аТи, где 2 ——линейная несмещенная оценка и, т. е. & — Я/ и RA = /小.Обозначим L = R — (АТА)~1АТ. При доказательстве теоремы 7.1 было показано, что LA = 0. Имеем
扰®мнк) =。2/(川4尸%
cr2(y) = аТRKf 肝а = o'oTRBTа = ia'(厶 + АтA)~rАт) х
х (厶丁 + Д(АтА)-1)а = а2ат((АтА)~г + LLT)a =
=а2ат(ДтА)~га + а2атLLTа》М(；мнк)・
Последнее неравенство следует из неотрицательности симметричной матрицы 厶厶т. Теорема доказана.
Если в предположениях классической схемы вектор погрешностей £ распределен нормально, то МНК-прогноз (7.18) распределен по одномерному нормальному закону М(д, а2аТ{ATA)~rcl) и является эффективным в классе всех несмещенных прогнозов (линейных и нелинейных).
Обобщения классической схемы МНК
В настоящем параграфе будут рассмотрены обобщения классической схемы МНК, связанные с отказом от выполнения тех или иных предположений классической схемы.
Начнем обобщения с отказа от предположения 4 классической схемы, вместо которого вводится следующее предположение: ковариационная матрица вектора £ дается равенством Ке =(r2Q, где Q —— положительно определенная (п х п)-матрица (а2 может быть неиз-
вестной). Таким образом, теперь возможно наличие корреляционных связей между компонентами случайного вектора е.
Поскольку матрица С симметрична и положительно определена, существует такая невырожденная матрица S, что Q = SST. Введем обозначения 屮 = S-1/, £ = S~i£, В = S-1 Д. Тогда регрессионная модель (7.2) эквивалентна системе
3"=9一8(7.19)
Имеем
М£ = М5-% = а
& = S^K^S-1)7 = a2S-1Sl(S~1)T = ^S^SS7^)-1 = a2In.
Таким образом, регрессионная модель (7.19) удовлетворяет всем предположениям классической схемы МНК. Следовательно, МНК- оценка искомого вектора и определяется равенством
^мнк = arg min Q(〃)，(7.20)
где Q(〃)= IIВи -夕俨.
Преобразуем функционал Q(u). Имеем
Q®) = (В〃 —(р)т (Ви — з) = (S^Au — S-1/)T(S~14u — 5-1/)=
=(Ди - ff^S-^S-^Au -/) = (Ди - f)T(SST)~\Au -/)=
= (Аи- f)Tn~\Au- f).
Итак, МНК-оценка (7.20) определяется равенством
&мнк = arg min (Ли - f)T£l~1(Au - /).(7.21)
Имеем
&МНК = (ВТву'вТ 屮=((5-1Д)т5-1Л)-1(5-1Д)т5-1/ =
=(4T(5~1)TS~14)_14T(S~1)TS~1/ = (ATcfi/TfTif
Следовательно
имнк =(7.22)
Оценку (7.22) принято называть взвешенной МНК-оценкой Гаусса- Маркова.
Взвешенная МНК-оценка (7.22) несмещена. Действительно,
М&мнк = (ATn-1AT)~1ATil-1f =(川片“尸力％-%〃 = и.
Найдем ковариационную матрицу оценки (7.22). Имеем
Ки = ^^Ay^AT^Kf^AT^A}-1^^^ =
=а2^^1 А)-1 А7^-1^-1 А^О.-1 А)'1 = а2 (Ат ^1 А)-1.
Здесь использована симметричность матриц (4丁口-14尸 и Q-1. Итак,
Ки = ^(Д^-1^)-1.(7.23)
Теорема 7.11. При сделанных выше предположениях обобщенная МНК-оценка эффективна в классе линейных несмещенных сценок.
Схема доказательства теоремы 7.3 аналогична схеме доказательства теоремы 7.2.
Рассмотрим последовательность взвешенных МНК-оценок
&п = (А^А^А^-1^
для регрессионной модели Апи = fn — еп^ К^ = о^Сп.
Теорема 7.12. Пусть выполнено условие Эйкера (7.16) и Amax(^n) W г, где г не зависит от п. Тогда последовательность взвешенных МНК-оценок ип состоятельна в среднем квадратичном.
Доказательство. Достаточно доказать, что Xmin^n^n1 ^п) т оо при п —> оо. Имеем
Xmin(胃才】4)》\nin(火4)Xmin(C/) =》
入 max(' "n 丿
》~ ^min(-^n -^n) ~^ 8
при n —> oo. Теорема доказана.
Пусть теперь дополнительно к вышеуказанным предположениям вектор погрешностей £ распределен по нормальному закону ^(0, о^С). Тогда взвешенная МНК-оценка (7.22) будет ММП-оценкой. Действительно, функция правдоподобия для этого случая имеет вид
1( (f - AufQ-^f - Аи)\
(2"产Im研2吗研r
Следовательно,
&ММП = arg max L(u) = arg min (/ - Au)TQl~1(f - Au) = uMHK.
Более того, сама взвешенная МНК-оценка будет распределена по нормальному закону Af(u, а2(АТА)-1).
Часто а2 неизвестна. Из формулы (7.22) следует, что взвешенная МНК-оценка не зависит от(т2, но ковариационная матрица взвешенной МНК-оценки, определяющая точность этой оценки, пропорциональна а2 (см. формулу (7.23)). Если а2 неизвестна, то ее можно оценить по формуле
&2 __ (А&мнк - f)qL(A^MHK - f)(7 24)
n - m(
Оценка (7.24) несмещена и состоятельна по вероятности при п —> оо.
При решении практических задач иногда ковариационная матрица С погрешностей неизвестна и тогда вместо оптимальной взвешенной МНК-оценки (7.22) применяют МНК-оценку (7.11). Ясно, что в этом случае эффективность оценивания снижается. Спрашивается, сохраняются ли тем не менее такие свойства оценки, как несмещенность и состоятельность?
Имеем： М&мнк = М (АтA)~rАтf = (ДТА)-1 АТМ / = и, т. е. оценка остается несмещенной без всяких дополнительных условий.
Предположим, что выполнены условия теоремы 7.12. Имеем
Ки = {^А^А^К^А^^ =
=^(A^A^A^SlnA^A^AJ-1.
Поэтому
Хтах(Кб) < аЧ^^Х^А^А^А^А^А^
—b”max((4^4n) l)Xmax(Cn) W Т Т。
入min(An An)
при n T oo. Следовательно, при вышеуказанных условиях МНК- оценка (7.11) состоятельна в среднем квадратичном даже при наличии корреляций между компонентами вектора погрешностей.
При решении многих задач кроме регрессионной модели (7.2) исследователь располагает дополнительной информацией о векторе и искомых параметров. В гл. 9 будут подробно рассмотрены методы учета дополнительной априорной информации, и особенно в условиях, когда в исходной регрессионной модели (7.2) «заложено» недостаточно информации о параметрах. Здесь же предположим, что дополнительная информация задана в виде системы равенств
Ви = А(7.25)
где В — заданная (к х т)-матрица ранга к, b — заданный вектор размерности k, k < т.
Требуется на основе регрессионной модели (7.2) получить оценку 2, удовлетворяющую системе уравнений (7.25).
Пусть выполняются предположения классической схемы МНК.
Определим обобщенную МНК-оценку 2ОВ соотношением
&ов = arg min \\Аи - /||2(7.26)
при условии (7.25).
Найдем оценку 2ОВ и выясним ее свойства.
Теорема 7.13. Оценка иОБ (7.26) единственнанесмещена и дается равенством
иОБ = имнк+(АТА)-1ВТС(Ь- Вимнк), (7.27)
где имнк — МНК-оценка (7.11),。= (8(4丁4)-13丁)-1. Для ковариационной матрицам оценки иОБ справедливо равенство
К& = М (4丁力)-1 (/т _ ВтСВ{АгА)-1).(7.28)
Доказательство. Для решения экстремальной задачи (7.26) с ограничениями (7.25) применим метод множителей Лагранжа. Введем функционал Лагранжа Q(u) = ]\Аи — f |『+ ат(Ви — 6), где а — вектор множителей Лагранжа размерности k.
Имеем: Q(〃)= (Ди — /, Аи — /) + ат(Ви — 6),
graL Q&) = 24T4〃 - 2д^/ + вТа = 0,(7.29)
откуда и =(力丁4)-1(力7/ — ^ Вта). Подставляя последнее выраже
ние в (7.25), найдем вектор а = 2{3(^А)~хВ7)-1 {Ви^пк — Ь). Если теперь в уравнении (7.29) заменить а последним выражением, то получаем оценку (7.27).
Далее,
М &ОЕ = М &мнк + М (АТА)-1ВТС(Ь - В&мнк) = 〃 +
+ (АТА)~1ВТС(Ь - 5〃)= и,
= LKU 厶t，
где 厶=，m — (АТА)~1ВТСВ. Следовательно,
Kg =経(/小 _ {АгАУ1ВтСВ}{АгА)-1{1гп - ВТСВ(АТА)-1)=
=^(^А)-1 - (АТА)~1ВТСВ(АГA^-^Irn - ВТСВ(АТА)-1)=
=о2(4Та)-1(/т _ ВТСВ{АГА)-1У =
=а2(АтА)-\1т - ВТСВ(АТА)-1).
Теорема доказана.
Из доказательства теоремы 7.13 следует, что
Р = Irn- ВТСВ(АТА)-1
—проекционная матрица, и тем самым все ее собственные значения равны либо 1, либо 0. Можно показать, что Р ——вырожденная матрица, т. е. по крайней мере одно ее собственное значение равно нулю.
Из формулы (7.28) следует, что
k& =02(474厂1 — ^^а)-^8тев(дtа)-1
U(4" = Fk，
поскольку матрица {АТ А)~х Вт С В {АТ А)^1 симметрична и неотрицательна.
Итак, обобщенная МНК-оценка (7.27) эффективней МНК-оценки (7.11). Последнее связано с тем, что оценка (7.27) использует дополнительную информацию об искомых параметрах, даваемую системой (7.25).
Можно показать, что обобщенная МНК-оценка (7.27) эффективна в классе всех линейных несмещенных оценок, удовлетворяющих системе (7.25).
Если ранг матрицы В равен тп (4 = тп), то оценка (7.27) совпадает с единственным решением системы (7.25), а К& = 0 — нулевая матрица. Действительно, имеем
С = (8(4Т4)-1ВТ)Т = (вт)т5T 力)3-1,
&об = &мнк + (АтА)-1Вт(Вт)-1(АтА)В-\Ь - В&мнк)=
-金мнк + в一% 一 2МНk = 8-1A
К& = a2(ATA)-\lm - Вт(ВТ)-\АТA)B~TВ(АТА)-1)=
= a\ATA)-\lm^Im) = 0.
Итак, если А; = т, то система (7.25) содержит полную информацию об искомых параметрах, однозначно и точно (без погрешностей) их определяя, а регрессионная модель (7.2) становится ненужной.
В заключение этого параграфа сделаем несколько замечаний относительно численной реализации МНК.
Для нахождения МНК-оценок и ковариационных матриц, определяющих точность этих оценок, необходимо обратить матрицы:
—для МНК-оценки (7.11) — АтА}
—для взвешенной МНК-оценки (7.22) — Q, А1^^1 Ат;
—для обобщенной МНК-оценки (7.27) — ДтД, В{АТА)~хВт.
Матрицы АТД,厶7口-14丁 — размерности (m х m), Q — размерности (п х п), В(АТА)~г Вт — размерности (6 х к).
Поскольку все матрицы АтА, С, 4丁口一14,区(力丁4)一13丁 симметричны и положительно определены, то для их обращения рекомендуется применять эффективный метод квадратного корня, созданный как раз для обращения симметричных матриц. В математическом обеспечении современных компьютеров имеются стандартные программы обращения симметричных матриц методом квадратного корня.
Большие вычислительные трудности возникают, когда матрица АТ А плохо обусловлена (в этом случае и матрица ДТП-1 А будет также плохо обусловлена). Плохая обусловленность матрицы АТ А означает, что регрессионная модель (7.1) содержит недостаточно информации об искомых параметрах и. В этих случаях необходимо использовать дополнительную априорную информацию о векторе и и применять
7.4] 17Poанозпробанпе с помогцьто см?<е立九仅七 реарессионн^а? моделей 109 методы оценивания, позволяющие «соединять» всю информацию о векторе и. Подробно такие методы будут рассмотрены в гл. 9.
Метод наименьших квадратов и его применения представлены в работах [2,6,15,27,64,65,68].
7.4. Прогнозирование с помощью линейныхрегрессионных моделей
При решении прежде всего экономических задач, в частности задач прогнозирования в финансовой области, можно использовать многофакторную регрессионную модель вида
Y = u0+^Uj Xj + е,(7.30)
где Xi,.. . , Хт ——наблюдаемые случайные величины (факторы); £ ——помеха, носящая хаотический характер, причем Me = 0; uo, Ui,... , Um — параметры, подлежащие оценке; У — искомая величина (отклик системы).
Модель (7.30) может быть использована для прогнозирования искомой величины У для будущих моментов времени, если значения факторов для настоящего момента 土о известны.
В этом случае необходимо реализовать два этапа. На первом из них на основе «исторических» данных оценивают значения параметров uo, Ui,.. ., Um (этап «обучения» модели (7.30)). На втором этапе используют равенство (7.30) для прогноза искомой величины У при оцененных значениях 〃о,微匕 …,ит и известных «текущих» значениях факторов Xi,.. ., Хт・
Замечание 7.2. Если исследуемый с помощью модели (7.30) процесс имеет нестационарный характер, то приходится периодически «переобучать» модель (7.30), переоценивая параметры uo, Ui,. .., и^, на основе последних новых «исторических» данных.
Для получения оптимальных оценок параметров uo, ^1, • •. , "m на этапах «обучения» и «переобучения» модели (7.30) применим МНК.
Запишем модель (7.30) в виде двух равенств:
МУ = 〃о+ £ %・МХ力(7.31)
У°= £%・XJ + £,(7.32)
7=i
где У ° = У — М У, X? = Xj —MX/ — центрированные величины.
Формулу для определения ui,...,微小 получаем из (7.32), миними
зируя дисперсию。2(£)= M(Y° — £ Uj Xj)2 no Ui,..., um:
微=K> cov(Y,X),(7.33)
где 〃 = (ui,..., um)T, Kx — положительно определенная ковариационная (m x т)-матрица факторов X】，…，Xm; cov (У, X) = = (cov (У, Xi),.. ., cov (У, Xm))' — вектор, компоненты которого cov (У, Xj) = M (У°Х?) — ковариации величины У и факторов Х^, j = 1,.. ., т.
На практике на этапах «обучения» или «переобучения» модели (7.30) следует использовать формулу (7.33) с заменой Кх и cov (У, X) их оценками, полученными на основе «исторических» данных.
Если база «исторических» данных, используемых для «обучения», состоит из реализованных значений
^i, Xjj , j = 1, . . . , 772,£ = 1, . . . , 72,(7.34)
то оценки элементов матрицы Кх и вектора cov (У, X) определяются равенствами
(^х)н =告 Е(Х'Г -无г)(Х我—无I)，无г = ^ 上 Xg
而(КХг) = £ 玄(匕-У)(ХГ-ХГ)' Y = ^Yi. i=lг=1
Таким образом, окончательные оценки параметров 〃о,微】,...,微小, полученные на этапе «обучения» модели (7.30), определяются равенствами
u0 = V - £ 叫又力 & =(众1,...,&小)7 = К-1^^,%),(7.35)
j=i
где cov (У, X) = (cov (У, X»,cov (У, Хт))т.
После этапа «обучения» модели (7.30), определяемого формулами (7.35), модель (7.30) можно использовать для прогнозирования искомой величины У согласно равенству
Крог = &0 + £ % Х?・，
5=1
где Xi,... , Хт ——значения наблюдаемых факторов на текущий момент времени.
Глава 8
РОБАСТНЫЕ МЕТОДЫ ДЛЯ ЛИНЕЙНЫХМОДЕЛЕЙ С НЕОПРЕДЕЛЕННЫМИ
ДАННЫМИ
Ранее уже отмечалось, что МНК-оценки являются эффективными в классе всех несмещенных оценок, если погрешности измерений компонент вектора / распределены по нормальному закону. Однако на практике часто нормальность закона распределения погрешностей будет нарушаться. Некоторые нарушения нормальности закона распределения могут приводить к значительной потере эффективности МНК-оценки и ее отклонению от истинных значений искомых параметров. Подчеркнем, что истинный закон распределения погрешностей измерений остается неизвестным.
Особенно большая потеря эффекты в ности МНК-оценок происходит при наличии даже небольшой доли больших выбросов. На практике большим выбросам соответствуют те измерения 力，реальная погрешность которых значительно превосходит приписываемую им дисперсию о，, причем ни реальная величина таких погрешностей, ни их номера г не известны.
При наличии больших выбросов необходимо применять робастные методы оценивания [83], позволяющие значительно снизить вредное влияние больших выбросов на оценку и получить приемлемую итоговую оценку искомых параметров.
Робастные М-оценки параметров линейныхмоделей
Существует несколько робастных методов оценивания [69,81,83, 88]. На их основе можно сконструировать различные робастные методы восстановления. Один из методов робастного восстановления основан на замене квадратичной нормы в экстремальных задачах (7.10), (7.21) на Lp-норму.
Вместо экстремальной задачи (7.10) рассмотрим экстремальную задачу
&роб = arg пйпУ^|(Дц)г - Л|р,(8.1)
г=1
где (Au)i — г-я компонента вектора Au, 1 ^ р < 2.
При уменьшении р вплоть до 1 робастность оценки (8.1) увеличивается. Поскольку при р > 1 функционал правой части (8.1) сильно выпуклый, то существует единственная робастная оценка (8.1).
При р / 2 оценка (8.1) нелинейна, а ее фактическое вычисление значительно сложнее, чем вычисление МНК-оценки (7.11). Ниже будут даны конкретные алгоритмы вычисления нелинейных робастных оценок, в том числе и оценки (8.1).
Пусть выполняются все предположения классической схемы МНК, за исключением предположения Kf = a2In, которое заменено на К/ = =diag(a?,...，^).
Тогда взвешенная МНК-оценка будет определяться равенством
&мнк = arg пйп^2((Аи){-九产今・ (8.2)
При наличии больших выбросов некоторые измерения 九 будут иметь большие значения дисперсий, чем соответствующие им дисперсии ст?, причем ни номера £ больших выбросов, ни истинные значения дисперсий a2 (/j) не известны.
Введем М-класс робастных оценок, определяемых равенством
2роб = arg min 上小枣士- 力),(8.3)
где р(ж) — выпуклая четная положительная функция, р(0) = 0.
Для того чтобы оценка (8.3) обладала робастностью по отношению к большим выбросам и не «портила» измерения, не являющиеся большими выбросами, функция р(ж) должна быть близкой к ж2 при малых значениях \х\ и менее возрастающей по сравнению с ж2 при больших значениях |ж|.
В качестве конкретных функций р(ж), порождающих конкретные робастные оценки (8.3), можно брать, например, функции Андрюса, Рамсея, Хьюбера [69,81,83,88]. Заметим, что Лр-оценка (8.1) является М-оценкой с р(ж) = \х\р. Поскольку дЛя любой робастной М-оценки функция р(ж) будет отлична от ж2, любая робастная М-оценка нелинейна.
В силу сильной выпуклости функции р(%) робастная М-оценка (8.3) существует и единственна.
Рассмотрим более подробно робастную оценку Хьюбера, которая является М-оценкой с
где К — параметр Хьюбера [83].
Часто робастная оценка Хьюбера при наличии больших выбросов предпочтительней других робастных оценок, так как она является
минимаксной оценкой в классе плотностей, образуемом моделью смеси [83].
Множество индексов / = {г : г = 1,. .. , п} разобьем на три подмножества:
/о = {£ ： I九一(4金роб)е| 4 Ку},
/_ = {£:九一(АбробЬ <-Ку},(8.4)
，+ = {£ ： fi — (4〃роб)с > Kj}.
Очевидно, что / = /о U /_ U /十.
Уравнение gradu £ Р((А&роб)£ ~ /с)/сс) — 0 для определения ро-
г=1
бастной оценки Хьюбера имеет вид
j = 1,…，m.j = 1,…，m.£ *((Е)Т)+ £ 讐 一 £ 警=о, i£/o 'iG /—»口+
j = 1,…，m.
j = 1,…，m.
Последние уравнения перепишем в эквивалентном виде
£ ~Т ((4%б)с -力)+ £г€/о “CW/-£ ~Т ((4%б)с -力)+ £г€/о “CW/-К о jdij + &/(4〃роб); — аи(4〃роб)бК о jdij + &/(4〃роб); — аи(4〃роб)б
£ ~Т ((4%б)с -力)+ £г€/о “CW/-
£ ~Т ((4%б)с -力)+ £г€/о “CW/-
К о jdij + &/(4〃роб); — аи(4〃роб)б
К о jdij + &/(4〃роб); — аи(4〃роб)б
К (TtCLtj + ciij (-AtZpo6)t — aij(4"po6)iК (TtCLtj + ciij (-AtZpo6)t — aij(4"po6)iОтсюда получаемОтсюда получаем金+金+0.0.
К (TtCLtj + ciij (-AtZpo6)t — aij(4"po6)i
К (TtCLtj + ciij (-AtZpo6)t — aij(4"po6)i
Отсюда получаем
Отсюда получаем
金+
金+
0.
0.
玄貸（也。6）,=
£ 粤力 + £ 弊[(4&p°6)l Kq] + £ W [(4&po6)i + Kq], ie，o °’ ie/一 “се，+ “
j = 1,..., m. Из последней системы следует, что &р°б определяется равенством
проб = ^WA^-^Wf,(8.5)
叨е W = diag (1/а?,. .. , l/a^), / = (Д,...,五)丁;五=九 если г € /0； fi = (Айроб)г - К%, если г е /_;九=(Дироб)г + К%, если г е /+.
Численные методы нахождения робастныхоценок параметров линейных моделей
Нахождение робастной оценки (8.3) связано с минимизацией функционала £ 0((4〃卜 — /i)/<7j), которую можно осуществить любыми стандартными итерационными методами решения экстремальных задач без ограничений, например градиентными методами или методом
Ньютона. Однако учитывая специфику экстремальной задачи (8.3), можно предложить новые эффективные численные алгоритмы нахождения робастной оценки (8.3).
Предположим, что р(ж) дифференцируема. Тогда для нахождения
оценки (8.3) имеем уравнение gradu £ p((Au)i —九)/j) = 0, которое г=1
эквивалентно системе нелинейных уравнений
£ J (И^^) ^ = 0,j , т. (8.6)
г=1
Систему (8.6) с учетом четности р(ж) запишем в эквивалентном виде
(8.7)(8.7)£ Wi((Au)i - fi)aij = 0, j = 1,... ,m, i=l
(8.7)
(8.7)
_ /((4叫一川/g| 1(4吟一力|s_ /((4叫一川/g| 1(4吟一力|s(8.8)(8.8)
_ /((4叫一川/g| 1(4吟一力|s
_ /((4叫一川/g| 1(4吟一力|s
(8.8)
(8.8)
Если бы «веса» Wi были известны, то решение системы (8.7) давалось бы равенством
u^^WAr^Wf,u^^WAr^Wf,(8.9)(8.9)
u^^WAr^Wf,
u^^WAr^Wf,
(8.9)
(8.9)
где W = diag(% ..., Wn).
На основе (8.8), (8.9) предлагается итерационный метод нахождения робастной оценки (8.3):
WU)=diag(M'；..,wN)),孤)=，(((”？ - ？吼, ^\(л(8.10)
u^1^ =(川w⑴4尸川叩⑴/.
В качестве первого приближения рекомендуется брать средневзвешенную МНК-оценку 〃⑴ =(ATW^A)~1ATW^f, где W^ = = diag(l/冠，...，1/сЗ・
Итерационный метод (8.10) нахождения робастной оценки (8.3) называется итеративным МНК.
Можно предложить еще один вариант итерационного метода нахождения робастной оценки (8.3).
Экстремальную задачу (8.3) запишем в эквивалентном виде
(8.11)(8.11)2Роб = arg min^Wi^Au^i -力产,г = 1
(8.11)
(8.11)
гдегде而 _ 0((4* -力)/s) ((A叫＜)2而 _ 0((4* -力)/s) ((A叫＜)2(8.12)(8.12)
где
где
而 _ 0((4* -力)/s) ((A叫＜)2
而 _ 0((4* -力)/s) ((A叫＜)2
(8.12)
(8.12)
Если бы «веса» Wi были известны, то решение экстремальной задачи (8.11) давалось бы равенством
"=(*访4尸川访九"=(*访4尸川访九(8.13)(8.13)
"=(*访4尸川访九
"=(*访4尸川访九
(8.13)
(8.13)
где W = diag(Wi,..., Wn).
На основе (8.12), (8.13) предлагается еще один итерационный метод нахождения робастной оценки (8.3):
W^^^^\...^\ 评？=W^^^^\...^\ 评？=р(((6))「九)/内)((4加》一九)2р(((6))「九)/内)((4加》一九)2(8.14)(8.14)
W^^^^\...^\ 评？=
W^^^^\...^\ 评？=
р(((6))「九)/内)((4加》一九)2
р(((6))「九)/内)((4加》一九)2
(8.14)
(8.14)
小+i)= ^W^A^A^^f.
В качестве первого приближения рекомендуется брать средневзвешенную МНК-оценку 〃⑴=(АтW^А)~гАтW^f, где W^ = = diag(l/a?,...,l/a2).
Итерационный метод (8.14) нахождения робастной оценки (8.3) называется методом вариационно-взвешенных квадратических приближений.
Если р(ж) = |ж|р, 1 ^ р < 2, т. е. рассматривается робастная Lp-оценка, то итеративный МНК (8.10) и метод вариационновзвешенных квадратических приближений (8.14) эквивалентны.
Сходимость итераций (8.10), (8.14) для случая р(ж) = |ж|р, 1 ^ р < < 2, доказана В. И. Мудровым и В. Л. Кушко. В общем случае при решении конкретных задач метод вариационно-взвешенных квадратических приближений часто дает очень быструю сходимость ——иногда достаточно 1-2 итераций для достижения приемлемой точности.
Форма записи системы (8.5), определяющей робастную оценку Хьюбера, подсказывает следующий итерационный процесс (ИП):
и^1^ = (ATWA)~1ATWf{l\ , (8.15)
где
#)= (£".., *)т； #)=九 если г € /R
#)= (Au^)i 4- Kq, если г € /?;
/? = (Au^)i - Ку, если i е /Р;
碎)={г : 1(4小)一力I W Kq},乃)={£ ：力 一 (4〃")Ь < -Kq},
/? = {£ : fi - (Au^)i > K%}.
В качестве первого приближения рекомендуется брать средневзвешенную МНК-оценку.
Имеется принципиальное преимущество ИП (8.15) по сравнению с ИП (8.10) и (8.14). Действительно, на каждом шаге ИП (8.10), (8.14)
Рис. 8.1Рис. 8.1
Рис. 8.1
Рис. 8.1
приходится пересчитывать матрицы (厶丁 W(‘)人尸 A'W"), в том числе обращая матрицу ^W^A. В ИП (8.15) формирование матрицы {ATWА)~А ATW производится только один раз, а затем эта матрица «обслуживает» все итерации. На каждом шаге процесса (8.15) производится только перерасчет вектора /"), что требует значительно меньших вычислительных затрат по сравнению с перерасчетом матрицы
Итерационный процесс (8.15) легко программируется и сходится за конечное число итераций. Практика применения ИП (8.15) показала его высокую эффективность. Для достижения приемлемой точности требуется, как правило, 1-10 итераций. Рекомендации по выбору величин параметра К остаются такими же, как и в § 3.1.
Заметим, что ИП (8.15) позволяет автоматически выявлять большие выбросы, для этого в компьютерной программе достаточно предусмотреть фиксацию тех номеров г, для которых измерения fi попадают в множества /£)
На рис. 8.1 представлены результаты применения численных методов нахождения параметров линейных моделей. Сплошные линии соответствуют линейной регрессии по МНК и доверительному интервалу с уровнем доверия 95 %. Пунктиром показаны робастная линейная регрессия и доверительный интервал с уровнем доверия 95 %. Символами (+, ★) помечены значения с £ С，+ и £ W /_.
Робастные методы для линейных моделей представлены также в работах [7-9,69,84,88].
Глава 9
УЧЕТ АПРИОРНОЙ ИНФОРМАЦИИВ ЛИНЕЙНЫХ МОДЕЛЯХ
С НЕОПРЕДЕЛЕННЫМИ ДАННЫМИ
В настоящей главе будут рассмотрены классические и сравнительно новые методы учета дополнительной априорной информации об искомом векторе и. Эти методы позволяют получать приемлемые оценки вектора и даже в тех условиях, когда в исходной регрессионной модели (7.2) «заложено» недостаточно информации о векторе и.
Выше были рассмотрены только несмещенные (или, по крайней мере, асимптотически несмещенные) оценки искомого вектора и и дополнительных неизвестных параметров, если таковые имеются. Это и естественно, поскольку, если относительно и нет никакой другой информации, кроме «заложенной» в регрессионной модели (7.2), то смещенное оценивание не позволяет определить погрешность оценки. Действительно, вектор погрешности оценки 5 = и — ит можно представить в виде 5 = Ь(&, ит) + ?7(й), где b(&, ит) = М & — ит — вектор смещения, т/(仑)=й — М й— вектор статистической погрешности оценки й. Вектор смещения зависит от искомого вектора ит. Вектор же статистической погрешности оценки от искомого вектора не зависит, он определяется лишь выбранной оценкой. Если нет никакой априорной информации об искомом векторе, то нельзя оценить вектор смещения 6(й, 〃т).
Если регрессионная модель (7.2) принадлежит к классу некорректно поставленных задач, то информационная матрица Фишера либо вырождена, либо плохо обусловлена, и поэтому даже оптимальная МНК- оценка либо не существует, либо дает слишком большое значение погрешности оценки. Поскольку любая другая несмещенная оценка будет давать еще большие значения погрешности оценки, то при решении некорректных задач восстановления в классе несмещенных оценок не существует «хороших» — все несмещенные оценки «плохие».
Подчеркнем еще раз, что речь идет о несмещенных оценках, использующих информацию об искомом векторе, «заложенную» только в регрессионной модели (7.2).
Итак, при решении некорректных задач восстановления необходимо искать разумные оценки (тем более «хорошие» оценки) в классе оценок, использующих дополнительную априорную информацию об искомом векторе и, помимо «заложенной» в регрессионной модели (7.2). Подчеркнем, что некорректность задачи восстановления, основанной на регрессионной модели (7.2), эквивалентна вырожденности или пло-
хой обусловленности информационной матрицы Фишера. Последнее означает, что в модели (7.2) «заложено» недостаточно информации об искомом векторе, и поэтому принципиально нельзя получить разумные оценки решения, оставаясь только в рамках модели (7.2).
Следовательно, отличие корректной задачи восстановления от некорректной заключается в том, что для корректной задачи существуют приемлемые оценки искомого вектора без привлечения априорной информации, для некорректной же задачи невозможно получение приемлемых оценок искомого вектора без привлечения априорной информации.
Априорная информация об искомом векторе и может быть двух видов ——статистической и детерминированной. В зависимости от вида априорной информации используют два классических метода решения некорректных задач восстановления. Если в распоряжении исследователя имеется априорная информация об искомом векторе статистического характера, то можно использовать метод Байеса. Если же априорная информация об искомом векторе имеет детерминированный характер, то можно использовать минимаксный метод.
Подчеркнем, что любой метод оценивания искомого вектора 〃，основанный на использовании дополнительной априорной информации, можно применять и при решении корректных задач восстановления. Но если при решении корректных задач такие методы (в частности, метод Байеса и минимаксный метод) позволяют лишь улучшать качество оценок (на основе использования дополнительной априорной информации) и можно получать приемлемые оценки и без привлечения этих методов, то при решении некорректных задач без использования методов, позволяющих учесть априорную информацию об искомом векторе (в частности, методов Байеса и минимаксного), принципиально невозможно получение приемлемых оценок искомого вектора.
Метод Байеса в рамках линейных моделей
Метод Байеса основан на трактовке искомого вектора и как случайного вектора, для которого априорная информация задается в виде априорной плотности вероятностей р(〃). Тогда апостериорная плотность вероятностей р(и | /) подсчитывается по формуле Байеса
Р(跳1/)= 产瓜犯一， (9.1)
Р(^)Р(/ I ") du
где р(/ I и) — плотность вероятностей случайного вектора / регрессионной модели (7.2).
В качестве байесовской оценки (Б-оценки) искомого вектора берут подходящую характеристику апостериорного распределения (при той реализации вектора /, которая зафиксирована в регрессионной модели (7.2)). Наиболее часто в качестве Б-оценки выбирают: среднее апо-
стериорное значение, т. е. М и, где и ——случайный вектор с плотностью p(u I /); медиану случайного вектора 〃； наиболее вероятное значение, т. е. моду случайного вектора и.
Подчеркнем, что при применении байесовского подхода необходимо задание двух законов: распределения вектора / (совпадающего с точностью до математического ожидания с законом распределения вектора случайных погрешностей измерений е) и априорного. Если законы неизвестны, то приходится вводить гипотезы, согласно которым постулируются законы распределения / и априорный. Конечно, в этом случае правильность полученных оценок во многом зависит от правильности «угадывания» законов распределения.
Предположим, что законы распределения вектора / и априорный нормальные, т. е.
Р= 3严exp { - * (〜- 4叫，
= (2 产麻沁 exp {一桌(…。)5® 一叫，
где Mo, аа^а — центр и ковариационная матрица априорного распределения.
Для рассматриваемого случая, когда законы распределения вектора / и априорный нормальные, все три вышеуказанных варианта Б-оценок искомого вектора и совпадают и определяются формулой
ЙБ = (Л 川片” + ± К「) т G 川片叮 + 2 К1%о). (9.2)
В частности, если uq = 0, то
аb = (± 47c-14+ 十 ^1)-1a^-1/-(9.3)
Если uq / ит, то Б-оценка смещена. Действительно,
М &е = (± ^^А + ± К>) (十 ATn~1AuT + 十 К【％о)=
=ит + (^ ДТП-1 Д + 勺3 K~1(uq — ит) /
аа / аа
если мо # ит.
Таким образом, смещение Б-оценки дается равенством
Ь(&в，ит) = ± (± ATQ-1 Д + 十 А「)К[1(〃о - 〃т).
Чем лучше «угадан» вектор uq, тем меньше величина смещения.
Подсчитаем ковариационную матрицу Б-оценки (9.2). Имеем
Kg =(马 4丁盘-1 А + Л К”) -4 АТ^-1^~1А х
ххG *3" + 讶 К「[= ± G /片"+ ± k「厂G *3" + 讶 К「[= ± G /片"+ ± k「厂хх
х
х
G *3" + 讶 К「[= ± G /片"+ ± k「厂
G *3" + 讶 К「[= ± G /片"+ ± k「厂
х
х
х 川口-％ G АТ^А + 马 Kji) =
стст4 小厂 A + 当 K> _ 3 К>) х °°a°a丿
ст
ст
х(±*аТ4 + ±к「)： G*a-14 + ±KL)1
A (A *c—% + ± k「) 1 k> (青 аут * + ^ к「
Но симметричная матрица
~2 (~2 4’。-" + —2 K>) K「(4 4丁盘-1 A + 当 К”) положительно определена. Поэтому
K^ < (±/片"+今K丁尸<。2(川口一%尸=к%нк・
Итак, ковариационная матрица Б-оценки меньше ковариационной матрицы взвешенной МНК-оценки, и тем самым статистическая погрешность Б-оценки меньше статистической погрешности взвешенной МНК-оценки. Последнее связано с тем, что Б-оценка, кроме информации, «заложенной» в регрессионной модели (7.2), использует дополнительную информацию об искомом векторе 〃，задаваемую в виде априорного распределения р(〃)，а взвешенная МНК-оценка использует информацию, «заложенную» только в регрессионной модели (7.2).
Б-оценка (9.2) всегда существует, вне зависимости от того, корректна или некорректна задача восстановления (7.2). Действительно, матрица 与 4丁盘-14 + 与 К” положительно определена вне зависимости
от обусловленности матрицы Фишера — ATQ-1 Д за счет слагаемо- а
го 当 К「.
Теоретические основы метода Байеса представлены в работах [26,33].
В настоящее время метод Байеса широко применяется при решении некорректных задач, в том числе некорректных задач обработки экспериментальных данных и задач восстановления |7,22,30,31,47,55,74].
Минимаксный метод учета детерминированной априорной информации
Рассмотрим теперь второй классический метод учета дополнительной априорной информации — минимаксный метод.
Минимаксный метод используют тогда, когда априорная информация об искомом векторе и задается в детерминированной форме.
Пусть априорная информация задана соотношением и € Ra, где Ra — некоторое множество пространства Rm.
Рассмотрим класс {&} линейных оценок искомого вектора & = =S/ + u*, где S — детерминированная (т х п)-матрица, и* — m-мерный вектор, причем S, и* пока произвольны.
Введем функционал
J(&) = max М ||G — и\\2.(9.4)
ueRa
Заметим, что функционал J(〃) определяется, в частности, выбранной нормой; взяв в (9.4) конкретную норму, получаем один из вариантов минимаксного метода. Чаще всего в (9.4) берут евклидову норму.
Согласно минимаксному методу в качестве оценки и, определяемой матрицей S и вектором и*, берут такой вектор, который минимизирует функционал (9.4), т. е. минимаксная оценка (ММ-оценка) определяется равенством
2мм = arg min J(&).(9.5)
uG{u}
Если априорная информация отсутствует, т. е. Ra = Rm, и в (9.4) взята евклидова норма, то ММ-оценка (9.5) совпадает с МНК-оценкой.
Минимаксный метод дает наилучшую оценку при наихудшем возможном расположении искомого вектора и в априорном множестве Ra.
Нахождение ММ-оценки для конкретных множеств Ra ——трудоемкая вычислительная задача. В предположении, что норма в (9.4) евклидова, для двух частных видов множества Ra можно найти явный вид ММ-оценки.
Пусть Ra ——m-мерный эллипсоид с центром в 〃о и «радиуса» р:
Ra = {и： (и - и0)ТВ(и - и0) ^ Р2},(9.6)
где В ——симметричная положительно определенная матрица.
Тогда ММ-оценка дается равенством
&мм = “о Ч—2 (f {Тс-】?！ Ч—^2 В’) ATQ.~^(/ — 4мо),(9.7)
где модифицированная матрица В' такова, что &мм принадлежит границе множества Ra.
В частности, если 〃о = 0, то
_1川С_]/._1川С_]/.(9.8)(9.8)
_1川С_]/.
_1川С_]/.
(9.8)
(9.8)
Пусть теперь R.——m-мерный параллелепипед с центром в 〃о：
Ra = {и - (w - wo?夕к)? W 入工，A: = 1,..., m},(9.9)
где {夕k}——ортонормированный базис пространства Rm, {Л^} — заданные положительные числа,
Обозначим
B = Udiag(l/*,…,1/鳩)
где U =(夕 1,...,屮т)——ортогональная матрица, 6・й столбец которой образован т компонентами вектора 夕к. Матрица В симметрична и положительно определена, причем {1/Л|}, {夕к}, к =—— сово
купность собственных значений и соответствующих им собственных векторов матрицы В.
Для параллелепипеда (9.9) ММ-оценка дается равенством
Gmm = 〃о Н—^■(当 4‘口-14 + В)Л^П-1 (/ — Auq), (9.10)
где В1 - модифицированная матрица В [79].
В частности, если 〃о = 0, то
&мм =(川口』+ ^B^^AT^f.(9.11)
В приложениях априорное множество Ra часто задается в виде совокупности неравенств:
ai ^ щ ^ bi, г = 1,... ,m,(9.12)
где О" А — заданные числа.
Совокупность неравенств (9.12) определяет параллелепипед (9.9), для которого
〃0 ~ 2 (例 + Ь]., • • • , От + Ьт),
(Ьт — От)2(Ьт — От)2В = 4diag •
(Ьт — От)2
(Ьт — От)2
\ (bi — ai)
U = /щ,屮к = 〃 = (0, . . . , 1, . . . , 0)',入卜=д (Ьк — Ок) •
Если множество Ra ограничено и выпукло, то ММ-оценка существует и единственна для любой регрессионной модели (7.2), в том числе, когда задача восстановления некорректна.
ММ-оценки смещены, причем смещение не всегда приближает оценку к точному вектору ит. Чем «уже» априорное множество &, тем ближе ММ-оценка к ит. Например, ММ-оценки (9.7), (9.10) стремятся к 〃т в среднем квадратичном, если радиус эллипсоида р —> 0 (для оценки (9.7)) или max А* т 0 (для оценки (9.10)). Наоборот, если р т оо (для оценки (9.7)) или min А^ т оо (для оценки (9.10)), то ММ-оценки (9.7), (9.10) стремятся в среднем квадратичном к МНК- оценке (7.22).
Если А —— матрица неполного ранга (rank А < т), т. е. задача восстановления (7.2) некорректна, то при а2 —> 0 ММ-оценки сходятся в среднем квадратичном к одному из решений системы Аи = /т.
Поскольку ММ-оценки смещены, точность ММ-оценки можно определить с помощью симметричной неотрицательной (пг х т)-матри- цы D (&мм) = М(&мм - Мт)(&мм 一 〃т)т, в частности, г-й элемент главной диагонали матрицы D (GMM) равен М (&^мм - ^i)2, где u-MM, Ui ——г-е компоненты векторов uMM и ит соответственно. Следовательно, SpD (&мм) = £ М (&£мм — "с)? — среднеквадратическая ошибка г=1
ММ-оценки.
Для ММ-оценок (9.7), (9.10)
D (&мм) = (土 ДТП-1Д + 十 В),
D(@mm)=信*e-% + &厂 соответственно.
Поскольку матрицы В' в обеих ММ-оценках (9.7), (9.10) положительно определены, то справедливо неравенство D (GMM) < К^мнк и для оценки (9.7), и для оценки (9.10), где 长加^ = o'2(ATQ~1A)~1 — ковариационная матрица МНК-оценки (7.22).
Итак, ММ-оценки (9.7), (9.10) эффективней МНК-оценки (7.22). Это и неудивительно, так как ММ-оценки используют дополнительную информацию об искомом векторе ит,
Для фактического нахождения ММ-оценок (9.7), (9.10) необходимо обратить симметричные положительно определенные (пг х т)-матри- цы (｝川С』+十夕｝ 6*『4 +厅) соответственно. Для обращения этих матриц рекомендуется пользоваться методом квадратного корня.
ММ-оценки (9.8), (9.11) эквивалентны смещенным ридж-оценкам, широко используемым, согласно публикациям в иностранной периодике, при решении некорректных задач восстановления. К сожалению, приходится констатировать, что в публикациях по ридж-оцениванию введение стабилизатора (эквивалентного положительно определенным
симметричным матрицам В' в ММ-оценках (9.7), (9.10)) никак не связывается с использованием априорной информации об искомом векторе и, а производится формально с единственной целью ——выйти из класса несмещенных оценок [27].
Заметим также, что если в ММ-оценках (9.8), (9.11) положить С = /п, то формально получаем приближенное решение согласно вариационному методу регуляризации А. Н. Тихонова (с квадратичным стабилизатором) [71].
Минимаксный метод решения некорректно поставленных задач представлен в [79].
Обобщенный метод максимальногоправдоподобия учета априорной стохастическойинформации в рамках линейных моделей
В предыдущем параграфе уже отмечалось, что невозможно получить приемлемые оценки искомого вектора и некорректной задачи восстановления без учета дополнительной априорной информации о векторе и, причем априорная информация может задаваться в двух формах ——статистической или детерминированной.
В настоящем параграфе используется схема учета априорной информации, отличная от традиционных: байесовской — в случае статистического характера априорной информации, и минимаксной ——в случае детерминированного характера априорной информации. Предлагаемая схема базируется на классическом методе максимального правдоподобия (ММП)①ишера.
Рассмотрим сначала классическую схему применения ММП для нахождения ММП-оценки искомого вектора и регрессионной модели (7.2).
Пусть, как и прежде, ре(ж)——плотность вероятностей вектора погрешности £. Введем функцию правдоподобия 厶(a) = Pe(f — Ли), где / — известная реализация из (7.2).
Согласно ММП за оценку искомого вектора и принимается вектор &ммп，максимизирующий функцию правдоподобия:
^ммп = arg max 厶(м). (9.13)
Часто вместо 厶(м) удобно максимизировать логарифмическую функцию правдоподобия In L(u). Ясно, что решения экстремальных задач (9.13) и & = arg тах^ In L(u) совпадают, поскольку функция In V, V > 0, — монотонно возрастающая и выпуклая.
Введем информационную (т х т)-матрицу Фишера М,
-м^-м^г, J = 1,. .. , ш.г, J = 1,. .. , ш.
-м^
-м^
г, J = 1,. .. , ш.
г, J = 1,. .. , ш.
Матрица Фишера представима также в виде
М = М (gradu In L(u))(gradu In L(u))T.
Поскольку M gradu In L(u) = 0, то M — ковариационная матрица случайного вектора grad^ In 厶(u). Таким образом, матрица Фишера симметрична и неотрицательна.
Если информационная матрица Фишера положительно определена, то ММП-оценка существует. Более того, если плотность р£(х) принадлежит к экспоненциальному классу [33], то ММП-оценка единственна и является единственным решением системы уравнений правдоподобия
(9.14)(9.14)gradq In L(u) = 0.
(9.14)
(9.14)
Напомним, что ММП-оценки обладают оптимальными свойствами среди всех асимптотически несмещенных оценок. Оптимальность ММП-оценок означает их асимптотическую эффективность, т. е. приближение при увеличении объема выборки п к нижней границе точности несмещенных оценок, определяемой неравенством Фишера- Крамера-Рао
Ки》М~\(9.15)
где Kg ——ковариационная матрица любой несмещенной оценки искомого вектора 设丁, построенной на основе регрессионной модели (7.2).
Более того, выше было показано, что для нормальных законов распределения погрешностей % когда
р式N)=р式N)=11(2//?尸|C|i/2 呐(2//?尸|C|i/2 呐
р式N)=
р式N)=
1
1
(2//?尸|C|i/2 呐
(2//?尸|C|i/2 呐
МНК-оценка (7.22) совпадает с ММП-оценкой, М =
и ММП-оценка является эффективной, т. е. для оценки (7.22) неравенство Фишера-Крамера-Рао (9.15) обращается в равенство.
Если задача восстановления (7.2) некорректна, то информационная
матрица Фишера плохо обусловлена или вырождена. Последнее означает, что в регрессионной модели (7.2) «заложено» недостаточно ин
формации об искомом векторе ит. Из неравенства Фишера-Крамера- Рао (9.15) следует, что в этом случае нельзя получить приемлемые оценки искомого вектора, используя только информацию, «заложенную» в (7.2).
Итак, в условиях некорректности задачи восстановления (7.2) для получения приемлемых оценок искомого вектора необходима дополнительная априорная информация об искомом векторе, причем «объем» дополнительной информации должен быть таков, что при ее присоединении к информации Фишера, определяемой только по модели (7.2), суммарной информации должно быть достаточно для получения при
емлемой оценки искомого вектора.
Рассмотрим случай статистического характера априорной информации. Пусть задана случайная величина £, независимая от случайной
величины £ из (7.2), плотность вероятностей которой параметры чески зависит от искомого вектора и. Пусть далее известна выборка
%•••»(9.16)
значений случайной величины £. Обозначим p(yi,. .. , д、；设)совместную плотность вероятностей случайных величин Н,... , Y^. В частности, если выборка (9.16) повторная, то
Р(У1, • • • ,Un； 〃)= П 火(Ui； и^i=l
где p(g; и)——плотность вероятностей случайной величины £.
Выборку У = (Н,..., 丫尸 и функцию La(u) = р(У1,..., У/у； 〃) назовем априорной выборкой и априорной функцией правдоподобия соответственно.
Совместная плотность вероятности совокупности случайных величин е, Yi,Yn равна p£(x)p(yi,. .., у^ 〃)• Функцию
厶о(м) = р£(/ - 4z)p(Yi,. •., Yn； м)
назовем обобщенной функцией правдоподобия.
Имеем
厶о(м)=厶(м) La(u),(9.17)
где 厶(м) — функция правдоподобия регрессионной модели (7.2), La(u) — априорная функция правдоподобия.
Из (9.17) следует, что логарифмическая обобщенная функция правдоподобия равна сумме логарифмических функций правдоподобия модели (7.2) и априорной выборки,
In £о(м) = In L(u) + In La(u).(9.18)
Введем априорную и обобщенную информационные (m х т)-мат- рицы Фишера М., Мо,
—м 32 m
丿OuidujduiOUj
г, J = 1,, т.
Из (9.18) следует формула
Мо = М^Ма,(9.19)
где М — информационная матрица Фишера регрессионной модели (7.2).
Обобщенная информационная матрица Фишера Mq суммирует информацию об искомом векторе иТ, «заложенную» в исходной регрессионной модели (7.2), и априорную информацию.
Введем обобщенный метод максимального правдоподобия (ОММП), согласно которому за оценку искомого вектора ит при-
ни мается вектор 2ОММП, максимизирующий обобщенную функцию правдоподобия:
&оммп = arg max L0(u).(9.20)
Очевидно, что решения экстремальных задач (9.20) и и = =arg maxu In 厶о(м) совпадают.
ОММП-оценка является решением системы обобщенных уравнений правдоподобия,
gradu In L{u) +gradu In La(u) = 0.(9.21)
При решении практических задач часто неизвестными являются не только компоненты вектора и, но и некоторые характеристики законов распределения случайных величин £ и £. Тогда согласно ОММП вместо (9.20) необходимо решать экстремальную задачу
(&оммп，&оммп) = arg max Lo(^, а),(9.22)
где а = (он,... , ai)T ——вектор совокупности дополнительных неизвестных параметров, Lq(u, а)= 厶(м, а) + La(u, а), а вместо информационных (т х т)-матриц 恢，М, Ма необходимо рассматривать расширенные информационные ((т + /) х (тп + /))-матрицы Mq, М, Ма, определяемые равенствами
хд2 In L0(u, q) ~92 In L(u,q)
(m))订=-m—5 ] J,(M)行=-М———-,丿ovidvjovidvj
穽 ％ La(u,a) • •1t ,
("a)订=-MQy .Qy •，7• • • ,
u =(设1, • • •, Mm ,ai,...,a,)=®i,..., Um+l) •
Рассмотрим несколько наиболее важных при решении практических задач частных случаев ОММП-оценок.
Пусть е ~ Af(O,。2口)，каждый член 匕 априорной выборки (9.16) распределен по нормальному закону 匕 ~ М(и^ а^Кг)^ Ki ——положительно определенные матрицы. Тогда
(2炉/点产 exp { - * (/ - 4u)уt(/ - A叫，
LaM = n（2"产 2；打kJ exp ｛一点（匕一 мК”（匕一叫,
Ai = ±丸=£ 青 kJ.
Имеем
"о = ± 小口-以 + ^ М К”(9.23)
Из формулы (9.23) видно, что обобщенная информационная матрица равна сумме информационной матрицы исходной регрессионной модели (7.2) и априорных информационных матриц, соответствующих каждому члену априорной выборки.
Даже если исходная задача восстановления (7.2) некорректно поставлена и тем самым информационная матрица М плохо обусловлена или вырождена, обобщенная информационная матрица Л10, суммирующая априорную информацию об искомом векторе ит и информацию, «заложенную» в регрессионной модели (7.2), является обратимой, причем ее обусловленность улучшается либо при уменьшении каждого из о?, либо при увеличении объема априорной выборки N.
Для рассматриваемого случая решение системы обобщенных уравнений правдоподобия (9.21) существует, единственно и дается формулой
= G*C』+ E±K”)- Xг=1*
+匕)•(9.24)
В частности, если 匕 〜^(u, а^Ка)^ то
@0mmП =(十川C-" + 2 k广) (土 4Тe-1/ + ± K「e 匕).
(9.25)
Наконец, если N = 1, т. е. априорная выборка состоит из одной реализации, к。, то
^оммп = (± ДТП-1 Д + ± К；' (± 川口-叮 + 十 K[i〃o).
аа (9.26)
Сравнение ОММП-оценки (9.26) и Б-оценки (9.2) показывает их полную внешнюю идентичность, хотя смысл входящих в них характеристик а^ Kg 〃о различен. Таким образом, для частного случая, когда имеется лишь одна реализация априорной случайной величины, а законы распределения случайных величин £, £ и априорного (в рамках байесовского подхода) нормальны, ОММП-оценка (9.26) формально совпадает с Б-оценкой (9.2). Формальное совпадение ОММП- и Б-оце- нок при одной реализации априорной случайной величины имеет место и для законов распределения, отличных от нормального, если в качестве Б-оценки берется мода апостериорного распределения.
Иногда известна не одна реализация / правой части регрессионной модели (7.2), а несколько ее реализаций /“ • • •, /г・ Пусть, например, 力 ~ М/т，吟jKfj). Тогда
厶®)= ^Л п ^Рл ехр {-蟲(Л -"u产K行Y了 - ди)}
и ОММП-оценка дается равенством
&ОММП = (产 4TA7：4 + 歹 ^К”)X
亍=1 fjI=1 i
4t^^f^i5К”К).(9.27) 7=1 / ii=l '
ОМMП-оценку (9.27) можно записать в эквивалентном виде
йоммп = ^K^A + K-^^Kj1/^ ^Ua),(9.28)
где К, = (^2 当у К?,— ковариационная матрица ММП-оценки
/ вектора / по реализациям 九 …，九
f=(£4;<r £宣к", ка=^к^у j=i戸丿丿»=i
—ковариационная матрица ММП-оценки иа искомого вектора ит по реализации априорной выборки 匕，…，匕у,
NN
Эквивалентность оценок (9.27), (9.28) означает, что процедуру вычисления ОММП-оценки (9.27) можно разбить на два этапа: на первом этапе по реализациям /1,..., /г находится ММП-оценка / и ее ковариационная матрица К, а по реализациям априорной выборки (9.16) находится ММП-оценка иа и ее ковариационная матрица К@; на втором этапе по формуле (9.28) окончательно находится ОММП-оценка искомого вектора и.
В частности, если 力 ~ ЛГ(/Т, сг2П), j = 1,..., г, и Yi ~ ~ Х(ит,竣 KJ то оценка (9.27) принимает вид
&оммп =(夕 ATSl^~1A + £ К；' х
гN
х G л^-1 £ 右 + 今 К> £ 匕)•(9.29)
6=1 a »=1
Все вышеприведенные ОММП-оценки (9.24)-(9.29) несмещены. Заметим, что несмещенность этих оценок предполагает усреднение не только по реализациям /, но и по реализациям априорной случайной величины £• Если, например, усреднение производится только по реализациям / при фиксированном числе реализаций £, то ОММП-оценки, вообще говоря, смещены.
Ковариационные матрицы ОММП-оценок (9.24)-(9.29) даются, соответственно, формулами
%-1
К& = G 川『4 + 工 М К”) 一，
Ка = (2 川口-% + £ к”),
Кй=^АтП~1А + ^К-1у\гN
Кб = ( £ 十 ДтКу/А + £ 靑 К『1) ‘
К& = {^КрА + К[1)т, К& =(夕 4TL4 + £ К-1)'1.
Все вышеприведенные ОММП-оценки состоятельны в среднем квадратичном. Рассмотрим, например, ОММП-оценку (9.29).
Теорема 9.1. Пусть 71T 8. Тогда ОММП-оценка (9.29) сходится в среднем квадратичном к иТ при любом числе г реализаций. /.
Доказательство. Представим ОММП-оценку (9.29) в виде
поммп = иt + %Af + r2△孤，
где
J
=(i、+*[
马川C「
Л2 =
3GL4 + 2 K「[ £ K>,
宀-1 r 1 N
△/ = f_/n △u = u-uT, / = ;^2/力 &=河¥匕・
5=1t=l
2222Имеем
2
2
2
2
Kf=%, Kl^Ks МД/ = 0, MAu = 0.
Из независимости случайных векторов △/, △〃 следует К&оммп = RiKa『R； + R2 K△“ 成=/К/； + R2KqR^ .
Для пары симметричных матриц
十 ATflT*,十 К]* из которых первая неотрицательна, а вторая положительно определена, существует такая невырожденная матрица U, что
UT\ ^^AU = diag(Л】，• • •，Л/, 0, • • •, 0), U* K「U = /т,
где Л1,..., Л/ > 0 — сингулярные числа матрицы 当 АТП~ХА, I — ранг матрицы А, I ^т.
Имеем
[/-1/七研([/7尸=川Т(马 at0-Хa + 4 k-1)-1 x
х 仍尸[/叫 AT^AUU-1^ 川衍％ + 4 K»-i(UT)T = Оааа
=r(rUT^ ^^AU + NUT\K「U)T X00 a
х UT\ ATa~1AU(rUT-^ j^^AU + NU* K「U)T
=r(diag(N + rAi, •••,№ + гЛь N, •. •, N))"1 x
x diag(Ai,..., Л/,0,... ,0) x
x (diag(N + г%,. •., N + r%, N,. •., N))"1
(N +小)2(N +小)2,0,..., О).,0,..., О).
(N +小)2
(N +小)2
,0,..., О).
,0,..., О).
Следовательно, RiKyRf стремится к нулевой матрице при N т оо для любого г.
5*
Аналогично получаем равенство
UF此碣（"尸=diag Q]^，…，，H
Следовательно,兄2长&兄彳 стремится к нулевой матрице при N т оо для любого г. Итак, ^иоммп стремится к нулевой матрице при N т оо для любого г. Теорема доказана.
Теорема 9.2. Пусть г —> оо. Тогда ОММП-оценка (9.29) сходится в среднем квадратичном к одному из решений системы Аи = /т. В частностиесли А — матрица полного ранга, то OMMTl-оценка сходится к иТ.
Доказательство. Если одновременно сг—>ooи^—>оо, то ОММП- оценка (9.29) сходится к ит в силу теоремы 9.1. Поэтому достаточно рассмотреть случай ограниченного N. Не умаляя общности, можно считав ^ фиксированным. Рассмотрим представление К& = = RiKfRf + 兄2长金兄孑 из предыдущей теоремы. Из доказательства теоремы 9.1 следует, что R、K了吗 стремится к нулевой матрице не только йри N т оо, но н при т т оо, а П^Кс% не стремится к нулевой матрице при т т оо. Последнее означает, что случайный вектор /?2 А" не сходится к детерминированному вектору при ограниченном N и т т 8. Обозначим Au = UA〃 где U введена при доказательстве теоремы 9.1. Имеем
U~1R2^u = и」】(夕川尸4 + ~ К>) 2 K^U^v =
=diag (n*‘ N*J 】，…，】)△叽
Следовательно,冗2厶〃 сходится в среднем квадратичном при т т оо к случайному вектору
u* = [/diag(O,...5O^5... Д)^1^^-^.
В частности, если А — матрица полного ранга (/ = тп), то и* = 0. Имеем
UT\ 川口-%"* = UT\川(1-14u出空(0,. • • ,0 J …J)u-1х
(7<7
XX6乎f)6乎f)=diag (Ai,..., А/, 0,..., 0) x=diag (Ai,..., А/, 0,..., 0) x
X
X
6乎f)
6乎f)
=diag (Ai,..., А/, 0,..., 0) x
=diag (Ai,..., А/, 0,..., 0) x
Поэтому АтП~1Аи* = 0. Но из последнего равенства следует Ли* = 0. Действительно, представим С в виде ⑴/?»々 где ⑴几 симметрична и положительно определена. Имеем
О = ^Q^Au^.u^) = {ATOT^^^^Au ,и*)=
=(^^Au^Q-^Au^) = ||CT/2a〃*||2.
Следовательно, Au* = 0. Теорема доказана.
Теоремы 9.1, 9.2 гарантируют состоятельность ОММП-оценки при неограниченном возрастании числа реализаций либо /, либо априорной случайной величины. Неограниченной точности ОММП-оценок можно добиться не только путем неограниченного роста объема выборок, но и при а2 —> 0 либо при 竣 т 0.
Теорема 9.3. Пусть 竣 т 0. Тогда ОММП-ог^енка (9.29) сходится в среднем квадратичном к иТ.
Задача 9.1. Доказать теорему 9.3, используя схему доказательства теоремы 9.1.
Теорема 9.4. Пусть а2 т 0. Тогда ОММП-ог^енка (9.29) сходится в среднем квадратичном к одному из решений системы Аи = =fT. В частности, если А — матрица полного ранга, то ОММП- оценка (9.29) сходится к иТ.
Задача 9.2. Доказать теорему 9.4, используя схему доказательства теоремы 9.2.
Аналогично доказывается состоятельность других вышеприведенных ОММП-оценок.
Вернемся к ОММП-оценке (9.20) для общего случая. Обозначим p(z; u) = J~[ Ре(巧)p®i,…，у%； u) совместную плотность случайных величин Xi = fi — Аи,..., Xr = fr — Аи и случайных величин, образующих априорную выборку (9.16).
Введем обобщенные условия Фишера-Крамера-Рао:
1° и Е R, где R либо все пространство Rm, либо множество, для которого определена p(z; и);
2° 2”а 2 k = 1,..., т, существуют для любого и G Я; OUk
3° ]| 8^z，後)I dz, R = 1,..., m, существуют и конечны для любого
4° все элементы (Mo)ij, г, j = 1,..., m, обобщенной информационной матрицы существуют, конечны, а сама матрица Мо, положительно определена для любого u G Л.
Рассмотрим любую несмещенную оценку и, построенную на основе реализации /1,..., /г правой части регрессионной модели (7.2) и априорной выборки (9.16).
Теорема 9.5. Пусть выполнены обобщенные условия Фишера- Крамера-Рао и интегралы 口&公⑶竺貝")| dz ограничены для любого и Е R и всех i,j = 1,...,т. Тогда для ковариационной матрицы К& оценки и выполнено обобщенное неравенство Фишера-Крамера-Рао
К&》崂1. (9.30)
Обобщенное неравенство Фишера-Крамера-Рао определяет верхнюю границу точности любой несмещенной оценки, построенной на основе реализаций fь . •., /г регрессионной модели (7.2) и априорной выборки (9.16). Заметим, что если информационная матрица М регрессионной модели (7.2) вырождена, то верхняя граница точности для оценок, построенных только на основе реализаций /1, • • •, /г, теряет смысл (не существует). Чтобы в этом случае была возможность получать приемлемые оценки искомого вектора и, необходимо к реализациям /1,..., /г исходной регрессионной модели (7.2) присоединить такую априорную выборку (9.16), чтобы обобщенная информационная матрица Мо стала положительно определенной.
Теорема 9.5 остается в силе, даже если обе информационные матрицы М, Ма вырождены (последнее означает, что и в исходной регрессионной модели (7.2), и в априорной выборке (9.16) в отдельности «заложено» недостаточно информации об искомом векторе и), а их сумма, т. е. обобщенная информационная матрица Мо, положительно определена (последнее означает, что суммарной информации, «заложенной» в регрессионной модели (7.2) плюс в априорной выборке (9.16), уже достаточно для получения оценки с ограниченной ковариационной матрицей).
Из теоремы 9.5 следует, что наилучшими по точности несмещенными оценками вектора и, полученными на основе реализаций /1,..., /г регрессионной модели (7.2) и априорной выборки (9.16), являются те, для которых обобщенное неравенство Фишера-Крамера-Рао (9.30) обращается в равенство. Такие оценки назовем обобщенными совместно эффективными.
Все приведенные выше ОММП-оценки (9.24)-(9.29) — обобщенные совместно эффективные. Действительно, например, в условиях, когда была получена ОММП-оценка (9.27),
гN
" = e斗川K才人 此=e=к7\(9.31)
К 咽i=i s
т. е.
м0 = e 川K,:4 + e 当 k”j = l ° 力г=1 吟
Но для ОММП-оценки (9.27)
и поэтому К& = Mq1.
Напомним, что ОММП-оценки (9.24)-(9.29) были получены, когда законы распределения /1,. • •, fr и членов априорной выборки (9.16) нормальные. Следовательно, в условиях, когда законы распределения реализаций /х,..., /г и членов априорной выборки (9.16) нормальные, ОММП-оценки являются наилучшими по точности оценками среди всех несмещенных оценок вектора и вне зависимости от числа реализаций т и М
Если законы распределений f* …，『「и членов априорной выборки (9.16) отличны от нормального, то можно доказать, что при выполнении условий, аналогичных обобщенным условиям Фишера-Крамера- Рао, ОММП-оценки являются асимптотически обобщенно совместно эффективными.
ОММП, в отличие от байесовского подхода, позволяет довольно просто получать оптимальные оценки не только вектора и, но и неизвестных характеристик законов распределения случайных величин /1,..., /г и членов априорной выборки (9.16).
Например, при решении практических задач часто неизвестны уровни шума сг2 и 吟
Пусть для определенности выполнены условия, при которых получена ОММП-оценка (9.29), но сг2 и сг^ неизвестны. Тогда, согласно ОММП, необходимо решить экстремальную задачу (9.22), где а = =(с?,0^)'。Решение экстремальной задачи (9.22) для рассматриваемого случая единственно и дается формулами
@0mm口 =(諄 4ТС-14 + 尹 ">)(尹 4te-叮 + 尹 Kj&a),
32 = — £ ||4&ОММП -力Ilk，说—£ 11&ОММП —匕睢—1,
ОММП-оценку для и можно записать в эквивалентном виде
@ОММП =(川口』+ 0k厂尸(川力吁+ 金K「&Q),
где
mТn 元 114金0mmn - /j!|q-1
s =号•(9.32)
户ПeН^ОММП —匕11%]1
Параметр а по аналогии с вариационным методом регуляризации А. Н. Тихонова можно назвать параметром регуляризации. Формула (9.32) определяет оптимальное значение параметра регуляризации.
Заметим, что в рамках байесовского подхода при неизвестных параметрах законов распределения эти параметры должны рассматриваться как случайные величины и необходимо задавать априорную плотность вероятности этих случайных величин. В частности, определение подходящего значения параметра регуляризации в рамках байесовского подхода невозможно, если не задавать априорное распределение возможных значений этого параметра.
ОММП-оценки, обладая всеми преимуществами Б-оценок, и, кроме того, имея вышеуказанные дополнительные преимущества, не имеют недостатков байесовского подхода. Действительно, основой байесовского подхода является трактовка искомого вектора и как случайной величины. Конечно, любая оценка искомого вектора а, полученная при применении любого статистического подхода, является случайной величиной, но элемент случайности должен относиться именно к оценкам искомого вектора, а не к самим векторам, являющимся детерминированными величинами. Тот факт, что оценки детерминированных величин оказываются величинами случайными, просто отражает ту объективную реальность, что мы не располагаем достоверной информацией об искомом векторе, а решаем задачу восстановления в условиях наличия случайных погрешностей в задаваемых входных величинах. При применении же байесовского подхода мы всегда относим элемент случайности не только к оценкам искомого детерминированного вектора и, но и к самому вектору и, толкуя его как случайную величину. Искусственно навязанная байесовским подходом трактовка искомых детерминированных величин как величин случайных и является причиной критики в адрес байесовского подхода. ОММП, в отличие от байесовского подхода, позволяет учитывать априорную информацию статистического характера об искомом векторе и, не требуя его трактовки как случайной величины.
Заметим, что в рамках ОММП возможен учет априорной информации экспертного характера об искомом векторе, когда на основе опыта исследователя (опыта решения предыдущих аналогичных задач или иных соображений экспертного характера) задается возможное случайное априорное экспертное расположение искомого вектора. В рамках байесовского подхода экспертное расположение искомого вектора задается априорной плотностью вероятности самого искомого вектора. В рамках же ОММП экспертное расположение искомого вектора за-
дается выборкой значений априорной случайной величины, в которую искомый детерминированный вектор входит как детерминированный параметр, значение которого неизвестно. Возможность учета априорной экспертной вероятностной оценки искомого вектора в рамках ОММП без трактовки искомого детерминированного вектора как вектора случайного позволяет более компактно, ясно и полностью, по сравнению с байесовским подходом, учесть априорные оценки различных экспертов, трактуя априорную оценку каждого эксперта как один член априорной выборки (9.16).
Вернемся к ОММП-оценке (9.25). При решении практических задач матрицы С и Ка часто неизвестны. Тогда вместо оптимальной оценки (9.25) естественно рассмотреть оценку
и=^АтА + ^ В广号川f + £ 叫,(9.33)
где В — симметричная положительно определенная матрица, вообще говоря отличная от К"1.
Оценка (9.33) несмещена. Ясно, что оценка (9.33) не является оптимальной. Сохраняется ли тем не менее состоятельность оценки (9.33)?
Ранее уже отмечалась состоятельность вышеприведенных ОММП- оценок при четырех вариантах предельных переходов: г т оо; ^ т оо; СТ2 —> 0； СГд —> 0.
Оказывается, что при любом выборе положительно определенной матрицы В состоятельность оценки (9.33) сохраняется для любого из четырех вариантов предельного перехода.
Теорема 9.6. Оценка (9.33) сходится в среднем квадратичном: к иТ либо при N т оо, либо при сг^ т 0; к одному из решений системы Аи = /т либо при г —> оо, либо при а2 —^ 0. В частности, если А — матрица полного рангато оценка (9.33) сходится в среднем квадратичном к иТ и при г т оо, и при о? —> 0.
Задача 9.3. Используя схемы доказательств теорем 9.1, 9.2, докажите теорему 9.6.
Обобщенный метод максимальногоправдоподобия учета априорнойдетерминированной информации в рамкахлинейных моделей
Рассмотрим теперь ОММП-оценки, использующие априорную информацию детерминированного характера.
Пусть априорная информация задана в виде и £ Rg где R@ — заданное априорное множество пространства Rm.
Согласно ОММП за оценку искомого вектора и берется вектор &ОММП，максимизирующий функцию правдоподобия L(u) при ограни-
чении и G Ло, т. е.
&ОММП = arg max 厶(〃).(9.34)
ueRa
Если L(u) — сильно выпуклая функция, Е@ — выпуклое множество, то ОММП-оценка (9.34) существует и единственна. Численно ОММП- оценки для общего случая можно находить методами нелинейного программирования, применяя, в частности, градиентные методы или методы штрафных функций.
Рассмотрим важный для практики частный случай, когда можно в явном аналитическом виде найти ОММП-оценку (9.34).
Пусть закон распределений реализаций /1, • • •, /г правой части регрессионной модели (7.2) нормальный —— Д ~ N(fn 吟$К乃),а сами реализации независимы. Тогда ОММП-оценка (9.34) является решением экстремальной задачи
&ОММП = arg mm £ 十(力一 Аи)тК^(fj - 4u).(9.35)
a j=l 方
Пусть Ra — эллипсоид (9.6). Тогда ОММП-оценка (9.35) существует, единственна и дается равенством
&ОММП — ( J2厶丁长才4 + a*B) ( ^2 ~^" A，Kj；力 + ol^Вuq^ ,
j=i 力/=1 力
где множитель Лагранжа а*〉0 находится из равенстваИ^ОММП - 〃о|怡=Р2'где множитель Лагранжа а*〉0 находится из равенстваИ^ОММП - 〃о|怡=Р2'(9.37)(9.37)(9.36)
где множитель Лагранжа а*〉0 находится из равенстваИ^ОММП - 〃о|怡=Р2'
где множитель Лагранжа а*〉0 находится из равенстваИ^ОММП - 〃о|怡=Р2'
(9.37)
(9.37)
Если все реализации 九…，/夕 независимы и одинаково распределены по закону ^(/(Г, cr2Q), то ОММП-оценка (9.36) принимает вид
&ОММП&ОММП(夕 4TQ-M + а^Ву1^ AT^f-VoTBu^(夕 4TQ-M + а^Ву1^ AT^f-VoTBu^(9.38)(9.38)
&ОММП
&ОММП
(夕 4TQ-M + а^Ву1^ AT^f-VoTBu^
(夕 4TQ-M + а^Ву1^ AT^f-VoTBu^
(9.38)
(9.38)
人 1 г
se / = К 力.
亍=1
(9.39)(9.39)В частности, если имеется только одна реализация /, то Йоммп = ^^А + 寸3尸(*片叮 + а*В〃о),
(9.39)
(9.39)
где а* > 0 находится из равенства (9.37).
ОММП-оценки (9.36)-(9.39), вообще говоря, смещены, т. е. М иоммп = ит ~ Au, где смещение Au для оценок (9.36)-(9.39) имеет, соответственно, величину
± 4T К 小 + ^Ву^^ио - “J
△u=a*△u=a*△u=q*△u=q*(-2 4丁口-】4 + а*В)В®。— Uj»),(-2 4ТС-14 + a*з)B(uq - иt).
△u=a*
△u=a*
△u=q*
△u=q*
Рассмотрим, например, семейство оценок (9.39) с а* = а〉0. При а = 0
u = 6мм口 =（『eT 4尸川С一叮.
При а т oo
U ―^ Uq.
Если 金ммп 任 Rs то ОММП-оценка (9.39) вычисляется по формуле (9.39) при условии ||&оммп 一 ио\\в = Р2- Если иммп е 兄叫 то ОММП-оценка (9.39) совпадает с &ммп (в (9.39) а* = 0).
Поэтому для вычисления ОММП-оценки (9.39) целесообразно применить следующий алгоритм.
Если при малых значениях а > 0
^^A + 叫-1(4te-1/ + авио)任
то находим такое значение а*, при котором
(4丁^-14 + а*3)т(4тст/ + а*В〃о) е Яа \ Rai
и полагаем
2ОМмп =(川片” + 优3)-1(4Тe-叮 + а*змо).
Если при а = 0 &ММП существует и принадлежит А@, то полагаем "оммп = пммп-…
Заметим, что для случая йммп € & имеем а* = 0 и поэтому △и = 0, т. е. смещение отсутствует. Итак, если иммп € Ra, то дополнительная априорная информация и Е Ra «не срабатывает», если же &ММП не существует или не удовлетворяет по точности (матрица 4丁口-14 вырождена или плохо обусловлена) или &ммп 任 兄仃 то йоммп «подтягивает» ММП-оценку до границы априорного множества Ra.
ОММП-оценки (9.36)-(9.39) обладают свойством состоятельности. Например, оценка (9.38) сходится в среднем квадратичном к одному из решений системы Au = fT либо при сг? _ о, либо при г —> оо. В частности, если А — матрица полного ранга, то оценка (9.38) сходится к ит. Если р т 0, то ОММП-оценки (9.36)-(9.39) сходятся в среднем квадратичном к ит. Если р —> оо, то ОММП-оценка (9.39) сходится к ММП-оценке (7.22) (вернее, существует такое ро, что иоммп = иммп, если р > ро).
Задача 9.4. Докажите перечисленные выше варианты сходимости ОММП-оценки (9.38).
Задача 9.5. Сходятся ли ОММП-оценки (9.38) при р т оо, если А — матрица неполного ранга?
Заметим, что при izq = 0 и Q = /т ОММП-оценка (9.39) формально совпадает с приближенным решением, полученным с помощью метода регуляризации А. Н. Тихонова или других методов решения некорректно поставленных задач [35,46,49,51-54,58,59,71-74,109].
Обобщенный метод максимального правдоподобия представлен в публикациях [9,59,91].
Регуляризованный метод наименьшихквадратов
До сих пор предполагалось, что в регрессионной модели (7.2) матрица А детерминированная, т. е. задана без случайных погрешностей. В настоящем параграфе рассматривается регрессионная модель (7.2) в условиях наличия погрешностей при задании элементов матрицы А, При решении практических задач такая ситуация возникает часто. Например, если регрессионная модель (7.2) порождена задачей восстановления функциональной зависимости, то наличие случайных погрешностей в задании элементов матрицы 4 эквивалентно наличию случайных погрешностей при фиксации Xi значений независимой переменной X.
Введем расширенную (n х (m 4- 1))-матрицу В = (4т, —/т) и векторы хт = (〃т, 1) размерности m + 1. В пространстве Rm+i векторов V С Rm+工 и? = (〃т,д), у — число, множество векторов х образует гиперплоскость Пт размерности т.
Систему (7.1) запишем в эквивалентном виде
(仇，х) = 0, г = 1,..., п,(9.40)
где Ь： — г-я строка матрицы В.
При фиксированном ж е 口皿 множество векторов Sm = {о: и € € Am+\ (V, ж) = 0} образует подпространство размерности т. Для произвольного V € Rm+i имеет место ортогональное разложение о = =&s + Un，se vs € Sm, on丄Sm・
Имеем
1岡1I岡I
где 夕(小 Sm) — расстояние между v и Sm.
Обозначим 丿丁(〃)сумму квадратов расстояний между bi и Sm, г = 1,..., п.
Имеем
(А"
где \bi(x)\ ——расстояние между bi и Sm вдоль прямой, параллельной оси Оу (на рис. 9.1 показан случай для т = 2).
п
Используя равенство £®〉с)2 = ^Аи — /т||2, получаем
i=i
II小川仔1М2 + 1 *
Пусть теперь вместо точной правой части fT и точной матрицы Ат известны их случайные реализации f и А.
Рис. 9.1
Рассмотрим функционал
人)=粽£卜 回曲)
Напомним, что согласно МНК в рамках классической схемы требуется найти вектор и, минимизирующий функционал невязки м『卅.
Из вышесказанного следует, что нахождение МНК-оценки эквивалентно нахождению вектора х € Пт, который определит такое подпространство Sm (с丄Sm), сумма расстояний до которого вдоль оси Оу от точек bi, i = 1,. .. ,п, будет минимальной.
Введем метод ортогональных проекций (МОП) [41], согласно которому требуется найти вектор и, минимизирующий функционал ортогональных проекций (9.41).
Из вышесказанного следует, что нахождение и согласно МОП эквивалентно нахождению вектора х € П^, который определит такое подпространство Sm (з:丄Sm), сумма расстояний до которого от точек А, г = 1,. .. , п (сумма квадратов длин перпендикуляров, опущенных из точек 力 на Sm), будет минимальной.
Заметим, что подпространства Sm, определяемые МНК и МОП, в общем случае различны (и тем самым будут различны МНК-оценка и МОП-оценка вектора и). Эти подпространства будут совпадать, когда система Аи = / непротиворечива, т. е. существует ее точное решение.
В этом частном случае все точки 几 принадлежат общему подпространству 5皿 определяемому и МНК, и МОП.
Найдем вектор и, минимизирующий функционал ортогональных проекций (9.41). Подсчет градиента функционала (9.41) дает формулу
grad. J⑻=—J— ^Аи - ATf -号患〃) •
Следовательно, МОП-оценка &моп является решением нелинейного уравнения
Ат Аи — а*〃 = Ат/,(9.42)
где а* = minu J(u) = J(uMon).
Нелинейность уравнения (9.42) обусловлена зависимостью параметра а* > О от искомой МОП-оценки.
Можно оценить снизу значение а*. Действительно,
а* = min J(a)=
=min У^ 色丄干？》min色?驾-=min V^(6^, v)2.
正%w I 罔 12 /坯||矶12161 = 1 W 2'丿
Уравнение Эйлера для последней экстремальной задачи с ограничением имеет вид
BTBv = Xv.(9.43)
где А — множитель Лагранжа.
Уравнение (9.43) — задача на собственные значения симметричной неотрицательной (m + 1) х (m + 1)-матрицы ВтВ. Пусть А* 》0 — наименьшее собственное значение, a v* (||v*|| = 1) — соответствующий ему собственный вектор матрицы ВтВ. Поскольку
£®,0)2 = {Вт Bv,v\ г=1
ТО
min V)2 = min (ВтBv.v) = А*.
阿 1=1 占IWII=i
Следовательно, доказано неравенство а* ^ Л*.
Если система Аи = / совместна, то все bi е Sm (оба подпространства Sm, определяемые МНК и МОП, совпадают). Следовательно, а* = X* = 0, уравнения, определяющие МНК-оценку и МОП-оценку, совпадают.
Предположим теперь, что элементы a$j матрицы А и элементы fi вектора / ——независимые нормально распределенные случайные величины %?• ~М(Аг)订”訣力 ~М/тп。», г = 1,... ,n, j = 1,... ,m.
Обозначим /н = ^ 九 〃н =訂％ /тн = ^ 方，区н = (Д,-/н), Втн = (%т, —/тн)・
Все элементы Ьнс/ нормализованной расширенной n х (т + 1)- матрицы Вн ——независимые нормально распределенные случайные величины с одинаковой дисперсией о^. Функция правдоподобия относительно всей совокупности случайных величин Ьн^, г = 1,..., n, J = 二 1,..., m, имеет вид
｛
〔 n m+1
где Ьтн订 ——неизвестные элементы нормализованной расширенной матрицы 8TH.
Согласно ММП для нахождения ММП-оценок элементов b^Hij необходимо максимизировать 厶(Втн), что эквивалентно минимизации функционала
п тп+1п
J(BtH)= £ £ (Ьн订-Ьтн订)2 = £ ||^Нг - ^THi||2,г=1 j = lг=1
где b窑，务на — г-е строки матриц Вн и В^н соответственно.
114aH - /н|『114aH - /н|『版н『 + 1版н『 + 1II&匕卅(9 44)II&匕卅(9 44)Согласно вышесказанному, векторы Ьтш принадлежат подпространству Shw ортогональному искомому нормализованному вектору 力^ = (〃Л，1). Следовательно, функционал J(Bth) является функционалом ортогональных проекций для нормализованной системы 4〃н = =/н. Итак, для нормализованной системы ММП эквивалентен МОП при выполнении вышеуказанных условий относительно случайных погрешностей. Уравнение (9.42) для нормализованной системы относительно ММП-оценки йн искомого нормализованного вектора ин имеет вид
114aH - /н|『
114aH - /н|『
版н『 + 1
版н『 + 1
II&匕卅(9 44)
II&匕卅(9 44)
ЛтЛйн — а*&н =厶丁/н, где a* = min uH^Em
Возвращаясь к исходным векторам, получаем
/Г^@m。П 一a&。П =47九 me "* =说 ^
Из последнего равенства, в частности, следует, что а* т 0 при 说—» —> 0, т. е. МОП-оценка стремится к МНК-оценке при неограниченном уменьшении уровня погрешностей в элементах матрицы А.
МОП позволяет найти не только оценку искомого вектора и, но и переоценить неизвестные значения матрицы Ат и вектора fT. Действительно, МОП-оценки Ьтш неизвестных векторов Ьтне принадлежат одному подпространству 5нт5 ортогональному вектору 隔 =(&g,l), а сами Ьтш равны проекциям векторов 师 на подпространство 5нт-
Следовательно, Ьтш = Ьнс — Shw,金н)金н/ll金н『，£ = 1, • • •, п・ Последние равенства запишем в эквивалентном виде
^i一1^^%西『加,+i^^,®45)
г = 1,..., п,
где。；——г-я строка матрицы А, /нг ——г-й элемент нормализованного вектора /н.
4Mon = 4 +4Mon = 4 +2 Р(®моп)%оп° d||&MOn|『+ О；2 Р(®моп)%оп° d||&MOn|『+ О；/моп — /~/моп — /~Векторно-матричная форма системы равенств (9.45) относительно исходных векторов и, / имеет вид
4Mon = 4 +
4Mon = 4 +
2 Р(®моп)%оп
° d||&MOn|『+ О；
2 Р(®моп)%оп
° d||&MOn|『+ О；
/моп — /~
/моп — /~
2 Р(&МОП)
'。:116Moi1|『+ О；' (9.46)
гще рЗмоп) ~ / ~ ^имоп-
Заметим, что МОП-оценки Ат и fT сходятся в среднем квадратичном к Ат и /мнк = 4г&мнк соответственно при а^ т 0.
Если сГд неизвестна, то, используя ММП, можно получить оценку 3^. Действительно,
f0 -噁Р +衰玄= 。.
2 = 1 3 = 1
Отсюда ||2моп||2а2 = (n(m + 1))-1|И2моп - /『一吟.
Последнее равенство можно записать в виде
М^МОП - /||2 - 〃2||6моп|『=尸，(9.47)
где 〃2 = ?д n(m + 1), В? = а2 n(m + 1).
Пусть теперь задана априорная информация об искомом векторе и вида II“II《 ^, где К ——положительная константа.
Введем регуляризованный метод ортогональных проекций (РМОП), согласно которому за оценку искомого вектора и принимается вектор
й7 = arg min 丄个"三川 2 ・(9.48)
7 IWIIWK 吟13『+ 寸
Вектор й7 является решением нелинейного уравнения Эйлера
АТ Аиу + 7u7 = Ат f,АТ Аиу + 7u7 = Ат f,(9.49)(9.49)
АТ Аиу + 7u7 = Ат f,
АТ Аиу + 7u7 = Ат f,
(9.49)
(9.49)
где
=m07 +。訓*『)_ 吟|4* - f1|2
a〉0 — множитель Лагранжа.
Из (9.49) следует, что при а^ —> 0 параметр регуляризации может принимать как положительные, так и отрицательные значения в зависимости от соотношения между 矿 и о}. Значение параметра 7 определяется согласно равенству (9.47), записанному относительно
\\Auy-f\\2-^\\uy\\2 = 62, . (9.50)
① ормулы (9.46), (9.49), (9.50), определяющие РМОП-оценки искомых Ат, /т, иТ, полностью соответствуют аналогичным формулам регуляризованного метода наименьших квадратов (РМНК) А. Н. Тихонова.
Из формул (9.49), (9.50) следует, что при 竣=0 РМОП-оценка искомого вектора и определяется системой уравнений АтДи + а& = =Ат/, где параметр регуляризации а > 0 определяется из равенства IIAu — /||2 = 62. Таким образом, при отсутствии погрешностей в элементах матрицы А РМОП-оценки искомого вектора и совпадают с приближенным решением, даваемым вариационным методом регуляризации А. Н. Тихонова с выбором значения параметра регуляризации согласно способу невязки.
В заключение параграфа отметим, что МОП аналогичен методу ортогональной регрессии, используемому для восстановления функциональных зависимостей [27,38].
Глава 10
МЕТОД НАИМЕНЬШИХ КВАДРАТОВДЛЯ НЕЛИНЕЙНЫХ МОДЕЛЕЙС НЕОПРЕДЕЛЕННЫМИ ДАННЫМИ
До сих пор рассматривались задачи восстановления, в которых основное уравнение (7.2) является линейным относительно искомого вектора и. Однако для многих прикладных задач основное регрессионное уравнение может быть нелинейным относительно и.
Пусть, например, рассматривается задача восстановления функциональной зависимости, теоретическая модель которой имеет вид у =屮(胃；и), где функция д(%; и) нелинейно зависит от компонент Uj искомого вектора u = (ui,.. ., Um)T. Предполагается, что при ж = ж^, г = 1,... , п, производится экспериментальное измерение 仇 со случайной погрешностью 勺.Тогда справедливы равенства yi = у(%с； и) + £号 которые можно записать в виде
А(и) = / — s.(10.1)
Для рассматриваемой задачи 4(") = (9(%i； и),..., у?(жп; 〃))丁， / = ®i, • • •, Уп)^е = (®1, • ♦ •, £п)т.
Нелинейную вектор-функцию Д(и) можно рассматривать как нелинейный оператор, действующий из пространства Rm в пространство Rn.
К нелинейной задаче восстановления (10.1) сводятся также: многомерные регрессионные задачи, теоретические модели которых имеют вид у = в(д,…，％k； и), где %i,…，弘—регрессоры (независимые переменные), а функция 夕 нелинейно зависит от компонент искомого вектора щ дискретизированные аналоги нелинейных интегральных уравнений, включая нелинейные интегральные уравнения первого рода.
МНК-оценки параметров нелинейныхмоделей и их свойства
Пусть компоненты 片 вектора погрешностей е имеют одинаковую дисперсию о? и попарно не коррелируют.
Определим МНК-оценку искомого вектора и нелинейной регрессионной модели (10.1) равенством
ймнк = arg min \\А(и) - /||2,(10.2)
где Q(〃)= ||4(〃)- /Ц2 = ^(Ai^u)-力)2, 4(u) — компоненты вектор-функции A(u).
Если £ распределен по нормальному закону е ~ “(0,経/九)，т0 МНК-оценка (10.2) является одновременно ММП-оценкой. Действительно, в этом случае функция правдоподобия дается равенством
L(u) = (27гсг2)~п/2 ехр -^^ ,
и поэтому максимизация L(u) эквивалентна минимизации Q(u).
Встречаются прикладные задачи, в которых между компонентами вектора погрешностей е имеются корреляционные связи и известна корреляционная матрица К£ = о2a(。2 может быть неизвестной). Тогда МНК-оценку определим равенством
&мнк = arg min (Л(и) - /)丁口一1(4〃) - /).(10.3)
Если £ распределен по нормальному закону, т. е. е ~ М°，経口)，то МНК-оценка (10.3) является одновременно ММП-оценкой.
Задача 10.1. Докажите последнее утверждение.
В отличие от линейной задачи восстановления, нахождение МНК- оценки для нелинейных задач восстановления является намного более трудоемким процессом, поскольку уравнение gradu Q®) = 0, определяющее МНК-оценку для нелинейных задач восстановления, является нелинейным.
Более того, для нелинейных задач восстановления функционал Q(u) может иметь несколько локальных минимумов или вообще не иметь ни одного. Таким образом, для нелинейных задач восстановления существование и единственность МНК-оценки приобретает существенное и первостепенное значение как с точки зрения качественного анализа, так и с точки зрения вычисления самой МНК-оценки (если она существует).
Рассмотрим последовательность МНК-оценок ип нелинейной регрессионной модели (10.1) при п —> оо.
Теорема 10.1. Пусть:
1° компоненты вектора погрешностей е независг1мы и одинаково распределены]
2° IIД(и1) — A(uq)\\2/п равномерно относительно W2 € R со дится 先 з(〃1, и。), где R — ограниченное множество;
3° з(〃ь ио) = 0 тогда и только тогдакогда 〃i = к。；
4° А(и) непрерывен по и Е R.
Тогда последовательность МИК-оценок йп сходится по вероятности к иТ при п —> оо.
Доказательство. Имеем
^||&м)- /II2 - ； (4〃т - 43), с) + 3间|2 + ；||&〃) 一 4〃т州2.
〃ТЪТЪTL
Далее,
М ^ (4®т) - 4(〃), е) = 0,
М (п(4"т)- 4(〃)，£)) = ^А^ит} ~ 4(〃)1|2 т 0
при п —> оо. Поэтому (А(ит) — Д(и),£)/п сходится в среднем квадратичном к нулю. Так как е?, г = 1,..., п, распределены одинаково, то ||б||2/п сходится по вероятности к а2 при m т 8. Итак, ||Л(и) — f^2/n сходится по вероятности к сг2 + у)(и, ит) равномерно no u W R.
Из определения МНК-оценки имеем
314&n) - /1|2 W 讶14(")一 川2 三^固12.
Переходя в последнем неравенстве к пределу при тг т оо, получаем а2 + ip(u*,uT) W о?, где u* = limn_>oo ип. Из последнего неравенства имеем и* = ит. Теорема доказана.
Условие 2° теоремы 10.1 является аналогом сильной регулярности матриц Ап последовательности линейных регрессионных задач (7.14). Действительно, для линейной задачи
丄 114"1) — 4"о)1|2 =丄 114n("1 — 〃0)||2 = ("1 — 〃0)Т 丄 4^4п(〃1 — 〃о)・ ппп
Таким образом, выполнение условия 2° эквивалентно существованию предела А^Ап/п т L при п —> оо, где 厶—положительно определенная матрица. Отметим, что неограниченность последовательности норм ||4(к) — Д(ио)|| для любых и, ио при m т оо является необходимым условием состоятельности последовательности МНК-оценок &九 при условии независимости и одинаковой распределенности компонент вектора погрешностей е.
Пусть равномерно относительно и Е R существует предел
lim -P^Pn = L,п->оо П
где Pn ——матрица первых производных, элементы которой
(尸n}ij ―1j = Х^ 771,
и 厶(〃т) — положительно определенная матрица. Тогда при выполнении некоторых дополнительных условий к условиям теоремы 10.1 последовательность ип МНК-оценок будет асимптотически нормальной, а именно: закон распределения последовательности у/п (un — ит) будет стремиться к Л/*(0, ^L^^Urp)) при тг т 8.
Следовательно, при достаточно большом п с хорошим приближением можно полагать, что ип ~ ^(uт, сг2(Р^(6П)尸п(&п))т)・
Последнее, в частности, позволяет после нахождения МНК-оценки ймнк строить приближенные доверительные интервалы для компонент UTj, j = 1,..., m, искомого вектора ”丁：
&мнк? - %(Раов)о((рТ(&мнк)Р(&мнк))才)"2 W
W Sj & "MHKj + МРаовАКРТЗмНК^еМНк)) j)"2,
где рдов — доверительная вероятность,。-'?/? js —缪工
v2tt J2
0
Если (72 неизвестна, то в качестве состоятельной оценки можно взять статистику s2 = ||Д(ймнк) — /||2/п.
Заметим, что МНК-оценки нелинейной регрессионной модели (10.1), как правило, смещены. Ясно, что для состоятельных МНК- оценок смещение стремится к нулю при п —> оо.
Численные методы нахождения МНК-оценокпараметров нелинейных моделей
Вычисление МНК-оценки (10.2) можно осуществить, используя общие методы минимизации знакоопределенных функционалов, например градиентные методы или классический метод Ньютона. Однако для решения экстремальной задачи (10.2), учитывая специальный вид минимизируемого функционала Q(u), можно сконструировать специальные эффективные вычислительные алгоритмы. Одним из таких специальных вычислительных методов является метод Ньютона- Гаусса.
Предположим, что функции 4(”)непрерывно дифференцируемы. Пусть задано приближение и^ искомого вектора и. Для нахождения следующего приближения 〃(儿+1)применим следующую схему.
Представим приближенно
А®) = А(и^) + Рк(и - и^),(10.4)
где Рк — (п х т)-матрица первых производных компонент вектор- функции Д(и), вычисленных для значения и = 〃(命),т. е.
(P)j = НА£), г = 1,.. . ,n, j = 1,.. . ,т.
Формула (10.4) определяет линеаризацию вектор-функции Л(и) в окрестности точки и = u^kK Заменяя в (10.1) А(и) согласно (10.4), получаем вместо нелинейной задачи (10.1) линейную задачу восстановления:
Ркби = Sf — е,(10.5)
где Зи = и — и^ — искомый вектор, 6f = f —力侬⑻).
МНК-оценка 8〃мнк линейной регрессионной модели (10.5) дается равенством
8aMHK = (PFPQTpF6f(10.6)
Положим и^к^ = 〃(*)+ 3〃мнк・ Мз (10.6) получаем
小к+1)=设住)+ (笈玖尸孤(/ - &〃(*)))•(10.7)
Формула (10.7) определяет итерационный процесс (ИП) Ньютона- Гаусса. Таким образом, последующее приближение ИП Ньютона- Гаусса является МНК-оценкой искомого вектора м для линеаризованной в окрестности предыдущего приближения исходной нелинейной регрессионной модели.
Задача 10.2. Пусть ковариационная матрица компонент вектора погрешностей £ определяется равенством Ке = а2П, где fl ——положительно определенная матрица. Покажите, что ИП Ньютона-Гаусса для этого случая принимает вид
仆+1)= и^-^ (PfQTPk)7pfaT(f - &/)))・
Для сходимости ИП (10.7) к стационарной точке, обращающей в нуль gradu Q(k), достаточно, чтобы матрицы Р三Рк были хорошо обусловлены, а нелинейная зависимость А(и) «не очень сильной». Конечно, сходимость последовательности и^ к стационарной точке может иметь место и для случаев «сильной» нелинейности А(и).
На каждом шаге ИП (10.7) необходимо обращение симметричной положительно определенной (т х тп)-матрицы Р? Р^. При практической реализации ИП (10.7) матрицу Р三 Рк оставляют «замороженной» для обслуживания нескольких итераций, а только затем производят ее перерасчет. Это позволяет в ряде случаев значительно сократить общее количество вычислений для получения окончательной оценки.
Еще одной упрощенной схемой ИП (10.7) является ИП градиентного метода:
“(k+i)=小七)+ 仪(/ - 4®⑻))，(10.8)
не требующий обращения матрицы Pf Pg
Часто вместо ИП (10.7) и (10.8) используют, соответственно, ИП
MF) = М + ak(P^Pk)~lPl(/- А(и^)),(Ю.9)
〃(Е)= и^ + 餘左(/ 一 4仆)))，(10.10)
где оптимальное значение ускоряющего множителя а* можно выбирать из условия
ak = arg minQ(u(k)+ av^),
M = (&>QT&V - 4(2)))
для (10.9) и v^ =孚(/ — А(и^)) для (10.10).
Для ИП (10.9) и (10.10) в качестве подходящих значений а^ можно брать соответственно
OikOikOikOik(MN (彳Pk)-】P?(/-&M(k))))
Oik
Oik
Oik
Oik
二 ®(? *(/-&№)))
-\\P^f - A(U^))\\2 •
Часто основной вычислительной трудностью для реализации ИП Ньютона-Гаусса (10.7) является плохая обусловленность матрицы Pf Рк при некоторых значениях 〃(')• Левенбергом была предложена модификация ИП (10.7), свободная от этого недостатка. ИП Левенберга определяется равенством
《+1)= 0 + (Р?Рк + akl^Pl(/ - &№)), (10.11) где параметр регуляризации а^ > 0 выбирается так, чтобы (m х т)- матрица Pf Рк + aklm была хорошо обусловлена.
Используется и другая регуляризованная модификация ИП (10.7):
g+D =收 + 闻Рк + а向)-1孤(/ - А(и^)), (10.12)
где Вк — симметричные положительно определенные (т х т)- матрицы. В частности, Марквардт предложил в качестве Вк выбирать диагональные матрицы Вк = diag ((P^Pfc)n,..., (Р^ Рк)тт), где (Р/Pk%j — диагональные элементы матрицы Р}Р^.
Еще одной существенной вычислительной трудностью реализации вышеприведенных ИП является выбор начального вектора 〃(】). Ясно, что если вектор 〃⑴ выбран неудачно, на большом расстоянии от искомой экстремальной точки функционала Q(u), то значительно увеличивается количество итераций, необходимых для получения приемлемого конечного результата. Общих конструктивных рекомендаций выбора и^ не существует. Для некоторых частных видов нелинейного оператора А(и) такие рекомендации можно дать. Пусть, например, существует такой нелинейный оператор В: Rn т 左，что B(A(U))= =Си、где С — (D х тп)-матрица.
Тогда из равенства Д(и) = / следует равенство Си = В/. Если оператор В найден, то в качестве 〃。)можно взять МНК-оценку линейной регрессионной модели Си =夕，涼】)={СТС^^С7^, где 夕=В(/)・
Пример 10.1. Рассмотрим задачу восстановления функциональной зависимости вида
g= n^Ь心),U)⑺
加=1
где。式①)> 0, bk(x) — вектор-функции размерности т. Имеем
In g = X(以3), ")In。М8) = (% ё(%)), 加=i
где исходная регрессионная модель линейна по и. Следовательно, можно взять
"⑴=(070)-9夕，
где Cij = еДжг), г = 1,..., n, J = 1,..., т,弓(勺)—j-я компонента вектора е(д),屮=(In 力，...，In yn)T.
Методы и алгоритмы нелинейного оценивания представлены в работах [11,27,56,101].
Глава 11
МЕТОДЫ ВЫДЕЛЕНИЯДЕТЕРМИНИРОВАННЫХ И ХАОТИЧЕСКИХКОМПОНЕНТ ВРЕМЕННЫХ РЯДОВ
При решении многих практических задач, связанных с математической обработкой неопределенных данных, например задач математической экономики, часто возникает необходимость сглаживания совокупности точек (%, у» А: = 1,…，％ фиксирующих функциональную зависимость у = g⑴.
Операция сглаживания по существу эквивалентна выделению детерминированных и хаотических компонент из экспериментальной функциональной зависимости, задаваемой совокупностью точек (*к, Ук^ £ = 1, • • • , П・
Одним из эффективных методов выделения детерминированной компоненты из экспериментальной функциональной зависимости является представление функциональной зависимости по базисной системе линейно независимых функций {屮/(£)： j = 1,..., т}
У = 2/⑴=£ %夕6⑴ + &(£),(1L1)
где £«) — хаотическая компонента,也，…，um — коэффициенты разложения, подлежащие оценке на основе известной совокупности точек (%k, 2/к)・
В настоящей и следующей главах мы будем трактовать хаотическую компоненту как случайный шум [37,63|. Однако существует другой подход, в рамках которого хаотическая компонента трактуется как детерминированный динамический хаос [60,89].
Метод сглаживающих ортогональныхполиномов
Часто в качестве базисной системы функций в (11.1) берут нормальную систему полиномов. Напомним, что система полиномов {%(t), j = =1,..., т} называется нормальной^ если в ней присутствуют все полиномы степени 0,1,..., m ~ 1. Не умаляя общности, можно считать, что 3j(t) — полином степени J — 1.
Наиболее простой нормальной системой полиномов является система полиномов 夕j⑴=仪т. Однако если m ^ 7, то при %(£) = Р-1 возникают принципиальные трудности вычисления оптимальных оценок коэффициентов Uj по совокупности точек (±k, j/k), А = 1,..., п.
7 А.В. Крянев, Г.В. Лукин
Действительно, МНК-оценка вектора и =(〃匕...,um)T линейной модели
玖=£ Uj屮j(h) + £(块)，A; = 1,...,九， (11.2)
имеет вид (см. § 7.3)
и = (АТсТ/кТсТ 九(11.3)
где / = (у】,...,уп)т, Aij = “-1 — элементы матрицы Д, П — ковариационная матрица случайных величин £(tj, г = 1,. .. , п.
Поэтому элементы матрицы Лт Д имеют вид
(*小=玄产2.
к=1
Предположим, не умаляя общности, что t С [0,1] и 匕及+i — £及=1/тг и С = 02〃 Тогда
(*小=九玄亭(*小=九玄亭г, j = 1,..., m.г, j = 1,..., m.
(*小=九玄亭
(*小=九玄亭
г, j = 1,..., m.
г, j = 1,..., m.
Следовательно, матрица AT А при достаточно большом п близка к известной матрице Гильберта Нт (с точностью до множителя п). Но при увеличении порядка т обусловленность матрицы Гильберта катастрофически ухудшается, что и указывает на неустойчивость МНК- оценки (11.3) параметров линейной модели (11.2).
Одним из наиболее эффективных способов избежать неустойчивости при оценке параметров линейной регрессионной модели, порожденной представлением искомой функциональной зависимости системой полиномов, является использование в качестве базисных полиномов нормальной системы полиномов, ортогональных на множестве точек {块}, k = 1,... ,п.
Если в модели (11.2) С = diag (crj,..., а^) и система базисных функций {(Pj(t)}^ J = 1,..., п, ортонормирована на множестве точек {〃} с весами {1/碇}, k = 1,... , п, то {丁口一弘一единичная матрица и МНК-оценка (11.3) имеет вид
(П.4)(П.4)% = f f 8式坟)以:，j = 1,. . . ,m.
(П.4)
(П.4)
Устойчивость оценок (11.4) очевидна.
Для любого множества точек {tk} и весов {1/<т^}, к = 1,..., п, можно построить нормальную ортонормированную систему полиномов любого порядка т.
Для построения ортонормированной системы полиномов можно использовать устойчивую схему Форсайта [68|, согласно которой полино-
мы системы рассчитываются по рекуррентным формулам
。1喑飘上款区屮广
伙)(£)=伙)(£)=(法(法3式£) = (% - ai)ci,3式£) = (% - ai)ci,
伙)(£)=
伙)(£)=
(法
(法
3式£) = (% - ai)ci,
3式£) = (% - ai)ci,
g% = £坟仍(坟)竺亚也, (U.5) к=1%fc=l%
0计1 ⑴=(£ 一 &+1)例⑴-6i+i^i-i(t),
/ 弋 d+l(±k)、T/2/ 弋 d+l(±k)、T/23 i+i ⑴=6+1例+1(%),3 i+i ⑴=6+1例+1(%),—-1,2,..., тп.—-1,2,..., тп.
/ 弋 d+l(±k)、T/2
/ 弋 d+l(±k)、T/2
3 i+i ⑴=6+1例+1(%),
3 i+i ⑴=6+1例+1(%),
—-1,2,..., тп.
—-1,2,..., тп.
После формирования ортонормированной нормальной системы полиномов по формулам (11.5) рассчитываем МНК-оценки параметров и = (г?1,..., &т)т по формулам (11.4).
Сглаженная детерминированная компонента д〃ет⑴ исходного временного ряда {tk,yk}, к = 1,..., п, определяется равенством
2/дет(£)=〉] UjWj^t).(1L6)
5=1
В частности, значения детерминированной компоненты в точках tk даются равенствами т/дет(^) = £ %%О А: = 1,..., п.
5=1
Степень сглаживания зависит от числа членов разложения т: чем меньше т, тем больше степень сглаживания.
Подходящее значение т можно находить, используя различные критерии, основанные на анализе остатков (хаотическая компонента)
Ухаот(匕к) = У к — Удет(七к),k = 1^ . . . ^ П.(11.7)
Для выбора подходящего значения т можно использовать, например, показатель Херста [76,80]. Известно, что показатель Херста для белого шума (хаотической компоненты) равен 0,5. Поэтому для выделения детерминированной компоненты подбирается такое значение т, при котором показатель Херста хаотического временного ряда (11.7) наиболее близок к 0,5. Существуют другие критерии выбора подходящего значения т.
При решении практических задач, связанных с выделением детерминированных компонент временных случайных рядов, в них часто присутствует компонента, соответствующая большим выбросам. В этом случае применение схем выделения детерминированной компоненты, основанных на представлении
Ук = 3/дет(%к) + Ухаот"к),(11.8)
неправомерно и ведет к значительному искажению г/дет(^).
При наличии больших выбросов вместо (11.8) необходимо использовать представление
У к = 2/дет(±к) + 2/вы6(£к) + 3/хаот(£к),(11.9)
где Увыб(^к) — компонента временного ряда, соответствующая большим выбросам.
Для выделения из временного ряда всех трех компонент представления (11.9) необходимо применять робастные схемы.
Решение практических задач, связанных с нахождением представления (11.9), показало высокую эффективность робастной схемы (8.5) и основанного на ней итерационного процесса (8.15).
Для исследуемой здесь задачи выделения трех компонент в представлении (11.9) схема (8.5) принимает вид
(11.10)(11.10)роб> = £ F 3式〃)汝，j = 1,... ,m,
(11.10)
(11.10)
где
Ук = <Ук = <Ук,£ upo6j(Pj{^k) ~Ь Кок, J=1Ук,£ upo6j(Pj{^k) ~Ь Кок, J=1если k € /о,если k € /о,если 左 € /+,если 左 € /+,(П-П)(П-П)
Ук = <
Ук = <
Ук,
£ upo6j(Pj{^k) ~Ь Кок, J=1
Ук,
£ upo6j(Pj{^k) ~Ь Кок, J=1
если k € /о,
если k € /о,
если 左 € /+,
если 左 € /+,
(П-П)
(П-П)
£ &po6f%(〃)- к唄 если к е /_. d=1
Здесь
Л) = {左：®k — 53 〃po6j3f(*k)l W ^^k У ?5=1
к ： Пк—£ &роб/8式九)> К%卜i=1
左：Ук 一 У^ Upo6ji8j(tk) V3=1
К — параметр Хьюбера.
Следовательно, итерационный процесс (8.15) для численного нахождения оценок (11.10), (11.11) принимает вид
Ук,Ук,S ^(pj(tk) + К%,S ^(pj(tk) + К%,4*%式九）- K外,4*%式九）- K外,если к € *),если fc € /「,если к € *),если fc € /「,(11.12)(11.12)если к € Iq\
Ук,
Ук,
S ^(pj(tk) + К%,
S ^(pj(tk) + К%,
4*%式九）- K外,
4*%式九）- K外,
если к € *),
если fc € /「,
если к € *),
если fc € /「,
(11.12)
(11.12)
w+D =玄4的g成)，j =fc=i °k
где
碎)={左：I探-£ u^(pj(tk)\ ^ К%},
>=1
*)= {生：提-¥ 4‘%式〃)> К%},
疋）={/с ： Ук-g 叫％式九）＜ -К%}・
ввкачестве начальногокачестве начальногоприближения и^, J =приближения и^, J =1,..., тп, итерацион1,..., тп, итерационного процесса (11.12) можно брать неробастные оценки (11.4), т. е.ного процесса (11.12) можно брать неробастные оценки (11.4), т. е.*）=玄当8式块）办，k=l %*）=玄当8式块）办，k=l %j = !,•••, тп.j = !,•••, тп.(11.13)(11.13)
в
в
качестве начального
качестве начального
приближения и^, J =
приближения и^, J =
1,..., тп, итерацион
1,..., тп, итерацион
ного процесса (11.12) можно брать неробастные оценки (11.4), т. е.
ного процесса (11.12) можно брать неробастные оценки (11.4), т. е.
*）=玄当8式块）办，k=l %
*）=玄当8式块）办，k=l %
j = !,•••, тп.
j = !,•••, тп.
(11.13)
(11.13)
Предложенный итерационный процесс настолько прост и эффективен, что его можно реализовать на персональных компьютерах даже для задач с размерностью т, достигающей нескольких сотен (при восстановлении функциональных зависимостей и выделении детерминированных компонент число m редко превышает 20-30).
После нахождения робастных оценок u^j три компоненты представления (11.9) находятся согласно равенствам
m
У дет (t к) = £ upo6j(Pj(^k)i
К
'0,если 左 G /0,
2/вь1б(*к) = < Ук 一 Удет(£к) — K°k, если к С，+, 、如-Удет(£к) + К外，если 左 W /-,
2/хаот(^Аг) = У к — 2/дет(*к) — 2/выб(^Аг) ? к — 1^ П.
На рис. 11.1 представлены результаты использования сглаживающих (сплошная линия) и робастных сглаживающих (пунктирная линия) ортогональных полиномов для m = 7, 15. В качестве временного ряда использованы последние 50 значений индекса РТС за 2002 год.
Рис. 11.1
Пример демонстрирует влияние максимальной степени полиномов т на результат сглаживания. При увеличении т сглаживающий график приближается к исходному.
Метод сглаживающих робастных полиномов можно использовать для конструирования алгоритмов, позволяющих оптимальным образом объединять экспериментальные данные при восстановлении функциональных зависимостей [21].
Метод сглаживающих линейных сплайнов
Проведение операции сглаживания, как правило, априори предполагает, что рассматривается задача восстановления функциональной зависимости у = y(t) с непрерывным изменением аргумента 力 т. е. восстановленная функциональная зависимость должна позволять подсчитывать значения функции д(£)для всех значений аргумента t.
Однако часто при рассмотрении временных рядов только дискретная совокупность «экспериментальных» точек (必办)，£ = 1,..., n, соответствует реально существующей зависимости, а остальные значения аргумента 力 и соответствующие им значения у не имеют никакого смысла в рамках рассматриваемой задачи сглаживания.
При рассмотрении такого рода задач по существу речь идет о сглаживании только совокупности «экспериментальных» точек (坟，例) £ = 1,...,九,и исследователя совершенно не интересуют промежуточные значения аргумента 力 принадлежащие открытым интервалам ]^fc)^fc + l [?倉=1, ... ,72 — 1.
Представленные ниже сглаживающие линейные сплайны дают возможность наиболее экономно и в то же время эффективно произво-
дить операцию сглаживания дискретной совокупности точек (tk^ уь\ 6 = 1,..., тг, по сравнению, например, со сглаживающими кубическими сплайнами. Действительно, линейные сглаживающие сплайны имеют наиболее простую структуру для значений t е ]£左,匕卽+1[, /с = 1,..., п — 1, а именно линейную зависимость от £, что и дает возможность сконструировать более простые и эффективные алгоритмы их численного восстановления, в том числе восстановления робастных линейных сглаживающих сплайнов, по сравнению, например, с кубическими сглаживающими сплайнами (см. § 11.4).
Напомним, что интерполяционным сплайном первой степени (линейным гттерполягщонным сплайном) называется кусочно линейная функция S(£), проходящая через заданные точки (匕及,沙及),/с = 1,..., п, 力 1 V %2 V • • • < yi •
Введем класс функций Wi, заданных на промежутке ~ь 匕几],таких, что:
S⑴ непрерывна на 的，％];
S仇)=办，左=1, •.., п, где 期卜—заданные числа;
С⑴ непрерывно дифференцируема на каждом 网，〃+i[, А: = 1,..., n — 1;
в точках £ =必 А; = 2,... , п — 1, S'⑴ может иметь разрывы первого рода.
Обозначим hk =九+i —力k, k = 1,...,九一1.
Лемма 11.1. Среди всех функций /(t) W Wi линейный интерполяционный сплайн S(£) 〃 только он минимизирует функционал
tn
W)= J (尸⑴)2 必.(11.15)
Доказательство. Пусть /(t)——произвольная функция из класса 讷.Имеем: 7(5 — /) = J(/) — J(S) + Q, где
tn
Q = 2] S\t)(Sf(t)- f(t))dt.
Получаем следующую цепочку равенств:
n-l tk^
Q = 2£ Sf(t)(Sf(t)-f\t))dt =
弘+1 — Ук (^±1211^弘+1 — Ук (^±1211^_ 2 寸[(Uk+1 - Sk)_ 2 寸[(Uk+1 - Sk)22^^^(玖+1 - 睬)]^^^(玖+1 - 睬)]=0.=0.-f⑴)山=
弘+1 — Ук (^±1211^
弘+1 — Ук (^±1211^
_ 2 寸[(Uk+1 - Sk)
_ 2 寸[(Uk+1 - Sk)
2
2
^^^(玖+1 - 睬)]
^^^(玖+1 - 睬)]
=0.
=0.
Следовательно, J(S) = J(/) — J(S — /). Но J(S — f)》0, поэтому линейный интерполяционный сплайн S(£) доставляет минимум функционалу (11.15).
九+1九+1Предположим, что /*(£) — еще одна функция из класса Wi, минимизирующая функционал (11.15). Имеем: J(/* — S) = 0, т.е.
九+1
九+1
](/*(£) - Sz(t))2 山=0, А: = 1,…，n - L
Поскольку У *(t) и S'(£) непрерывны на [块，抉+J из последнего равенства получаем: / *(力)= S^t) на любом промежутке £ € 以，〃+iJ・ Следовательно, /*(t) = S(t) + Ck для t € 跳，九+J Но /*(块)=S(tQ, откуда Ck = 0. Лемма доказана.
Рассмотрим экстремальную задачу
/*(£) = arg 碍п4(〃%))=
где а > 0 — фиксировано.
Лемма 11.2. Минимум функционала Л»(/(£)) достигается на линейном интерполяционном сплайне.
Доказательство. Зафиксировав значения /*(〃)，6 = 1,…，％ проведем через точки (^, f*(tk)) линейный интерполяционный сплайн Sa(£). В силу леммы 11.1 имеем неравенство
卜S：⑴)2么4 卜广⑴)2也
Следовательно, 7а(5а(^))《Ja(/*(^)), поскольку
Лемма доказана.
Пусть Sa(t)——линейный сглаживающий сплайн, минимизирующий функционал Ja(/)・ Обозначим Sk = 5а(^), k = 1у... ,п, S = =(51,..., Sn)T. Имеем
4(Sa(e))=((豆)=玄(如-2. + a妄;(Sk+1 - SQ2
ОтсюдаОтсюда1 dJa /网1 dJa /网Щ訂…=0,Щ訂…=0,1 dJa/丽1 dJa/丽Sk 一 Ук或Sk 一 Ук或++訂(S”Si) + ^(SlSf) = 0,訂(S”Si) + ^(SlSf) = 0,
Отсюда
Отсюда
1 dJa /网
1 dJa /网
Щ訂…=0,
Щ訂…=0,
1 dJa/丽
1 dJa/丽
Sk 一 Ук或
Sk 一 Ук或
+
+
訂(S”Si) + ^(SlSf) = 0,
訂(S”Si) + ^(SlSf) = 0,
/г = 2,..., n — 1,
1 dJa/网1 dJa/网Sn ■- УпSn ■- Уп球球+『-5。.+『-5。.
1 dJa/网
1 dJa/网
Sn ■- Уп
Sn ■- Уп
球
球
+『-5。.
+『-5。.
Следовательно, для определения искомого вектора S получаем систему
4豆=戸，(11.17)
где симметричная трехдиагональная (п х п)-матрица 4 и вектор F задаются равенствами
/ 1丄a 舒+瓦
a
0
0
0
0
0
A =
a
1a a 瑟+瓦+瓦
a
左2
0 ..
0
0
0
0
0
0
0 ..
0
a
4 + 一
Матрица 4 ——положительно определенная с диагональным преобладанием. Следовательно, существует единственное решение S системы (11.17), которое, в частности, можно найти с помощью метода прогонки [36].
Построим теперь линейный сглаживающий сплайн с закреплением крайних точек, т.е. предполагается выполнение условий Sa(ti) = yi, Sa(%n) = Уп, где У1 и уп фиксированы.
Определим линейный сглаживающий сплайн как решение условной экстремальной задачи
min Ja(S(t)), S(h) = gi, S(tn) = yn, (11.18)
где
%(S⑴)=£@匕黄止+ a j(夕⑴产~九k—2%
Обозначим So = (S2,…，Sn-i)' Имеем
Z&?中+。才…)2
1 dJa(SQ)2Э521 dJa(SQ)2Э52Отсюда
1 dJa(SQ)
2Э52
1 dJa(SQ)
2Э52
^^ + 苏S2 f ) + 虾-S3) = O,
1212a%③)oska%③)osk=中+ *宀卄……=中+ *宀卄……
1
2
1
2
a%③)osk
a%③)osk
=中+ *宀卄……
=中+ *宀卄……
к = 3,...,九一2,
1 dJa(SQ)
E as—=
=—пт/卫马二 1 + ^(sn_] - s吁2)+ 7^-(^-! - gn) = 0. an-l几 n — 2九 n — l
Следовательно, для определения вектора So получаем систему
Ло So = Fo,(11.19)
где симметричная трехдиагональная (п — 2) х (п — 2)-матрица А。 и вектор Fq задаются равенствами
(丄+
2十 °2
訂+
а 瓦
а
无2
0
• 0
0
\
Ло =
а
1
°3
九2
а
а
• 0
0
0
0
0
— а
а
\
^n —2
СГп-1无 п-2
hn-\)
戸。：
二(善 ”2
и
а
瓦
2/3
°3
Уп-2
'-2:
°n-2
Уп — 1 » ~2
°п —1
+ 3?п)Т
До — положительно определенная матрица с диагональным преобладанием. Следовательно, существует единственное решение системы (11.19), которое, в частности, можно найти с помощью метода прогонки.
Значение линейного сглаживающего сплайна Sa(t) в этом случае определяется равенствами
Sa(%i) — Ui, Sa (土к) = S к , k = 2,...,Tl — 1, Sa (%n) = Уп •
Робастные линейные сглаживающие сплайны
Для построения линейных робастных сглаживающих сплайнов применим схему получения робастных М-оценок.
Рассмотрим робастный функционал
4(S) =+ а ](夕⑴)2 dt,(11.20)
k=lti
где p(f)——четная дифференцируемая функция, неубывающая для t > > 0, причем р(0) = 0, р⑴ у 产 для малых |".
Аналогично лемме 11.2 доказывается, что функция, доставляющая минимум функционалу (11.20) в классе кусочно непрерывных функций, есть линейный сплайн Sa(t).
Обозначим Sa(%) = 5从，S = (Si,, Sn)T, Ja(S) = Ja(Sa(t)).
Возьмем в качестве p(t) функцию Хьюбера
{2K\t\ - К?, \t\ > К.
Введем три множества индексов:
/о(亍)={£ :風-Sk |а К%},
/+© = {£: ^-S“〉K%},(П.21)
/_(W) = {k : yk~ Sk < -K%}.
Каждый индекс к = 1,... ,m входит в одно и только в одно из множеств /0⑹,/一⑹,/+⑹.
Имеем
丄必⑤=Si一歹1 2^5i—0；
+ 瓦(Si - S2) = о,
1 3(⑤)_Sk-yk
2 dsk -協
+ , Q (Sk — Sk-i) + =(Sk — Sk+i) = 0, Ик-i汝
A; = 2,..., n — 1,
(11.22)
1 dja(s)
2 dsn
Sn — Уп
+ 工尸,(Sn — Sn_i) = 0, Aln-l
где
{如，если к е Io(S),
Sk 4- К%, если к е /+(5), Sk - К%, если k е I-(S).
Следовательно, для определения искомого вектора S получаем систему
AS =元，(11.23)
где матрица А определена равенством (11.17), а
戸=(^i/^L • • ^Уп/^Т•
Система (11.23) нелинейна, поскольку компоненты вектора F зависят от искомого решения S.
Для решения системы (11.23) используем эффективный итерационный процесс
疝(1+D =戸 Q(11.24)
где
例г,если к Е Io(S ),
S£)+ K%, если к е /+(5(0), S「-K%, если к"⑤⑴)， а множества /0⑤⑴),/+(m")),/-6⑴) определены равенствами (11.21).〜
В качестве начального R(°)рекомендуется брать 尸(°)=尸= =(yj*,Пп 储)С
Аналогично строится итерационная процедура нахождения линейного робастного сглаживающего сплайна с фиксацией крайних точек Sa(土 1) — П1, Sa(土九)=уп：
4。就+i)=戸孔(11.25)
где
一 /с(0с(0 \т
/3幺3/3幺3
/3幺3
/3幺3
{Ук, sf) + Ком s£)- К%,{Ук, sf) + Ком s£)- К%,Л; = 2,..., п — 1.Л; = 2,..., п — 1.
{Ук, sf) + Ком s£)- К%,
{Ук, sf) + Ком s£)- К%,
Л; = 2,..., п — 1.
Л; = 2,..., п — 1.
если k € /o(S$)),если к € /+(S$)),если к € /_(S$)),
Отметим, что робастные М-оценки, полученные с помощью функции Хьюбера, предполагают симметрию больших выбросов относительно сглаженной робастной кривой. В условиях нарушения симметрии,
когда, например, количество больших выбросов мало, вместо функции Хьюбера можно использовать функцию Тьюки [81,88]
夕⑴=R S J Л(1L26)
Введем два множества индексов:
/o(S) = {к :欣-S" W R%}, /r(S) = {6 ： \yk - Sk\ > R%}, (11.27)
ством (11.26).ством (11.26).и функционал Ja(5) вида (11.20), где p(t) определена равен-
ством (11.26).
ством (11.26).
Каждый индекс k = 1,..., п принадлежит одному
и только одному из множеств /o(S), /r(S).
ndJa(S) .1
Для производных ―с& ',月=1,..., п, имеем систему ра- OSk
венств (11.22), где
(11.28)(11.28)слиУ咆j
(11.28)
(11.28)
если к е IR(Sl''
Следовательно, для определения вектора S получаем систему (11.23), где компоненты вектора F = (^i,..., уп)Т даются равенствами (11.28).
Для решения системы (11.23), (11.28) используем эффективный итерационный процесс
AS{l^ = F{l\
где
{-(I) У к, если ke Iq(S ), Sm если к € Ir(S{1}),
а множества /o(S ), /&(S ) определены равенствами (11.27).
Аналогично строится итерационная процедура нахождения робастного линейного сглаживающего сплайна с нейтрализацией больших выбросов в условиях нарушения симметрии и с фиксацией крайних точек Sa(h)=力，Sa(力П)= Уп'
4城+D=露)，
где
就)= (S9・・・,S3)T,
МП 2川~2，~2'^п—2 ^n —1МП 2川~2，~2'^п—2 ^n —1тт
МП 2川
~2，~2'
^п—2 ^n —1
МП 2川
~2，~2'
^п—2 ^n —1
т
т
庶=庶=А: = 2,..., п — 1,А: = 2,..., п — 1,teecли к € /о(5(О), ,^keiR(s{l}),
庶=
庶=
А: = 2,..., п — 1,
А: = 2,..., п — 1,
а множества，o(S), /r(S) определены равенствами (11.27).
Рис. 11.2Рис. 11.2
Рис. 11.2
Рис. 11.2
На рис. 11.2 представлены результаты использования методов сглаживания с помощью линейного (сплошная линия) и робастного линейного (пунктирная линия) сплайнов. В качестве временного ряда использованы последние 50 значений индекса РТС за 2002 год. Символами (★, +) отмечены значения с г € /_|_ и г € /_ соответственно. На нижнем графике показаны величины корректировок значений исходного временного ряда в результате применения итерационного процесса (11.24).
Приведем один из примеров использования робастных линейных сглаживающих сплайнов при решении задачи оперативного управления портфелем инвестиций на рынке облигаций.
Пусть на рассматриваемую дату все выпуски облигаций пронумерованы индексом k = 1,…，тг. Обозначим через Р“，к = 1,…，тг, цену А:-го выпуска (в процентах от номинальной стоимости), имеющего на рассматриваемую дату срок до погашения Тк дней. Тогда совокупность точек (以,PQ, к = 1,...,几,описывает состояние рынка облигаций на рассматриваемую дату.
Согласно определению сглаженная совокупность точек (丁凡,&mk), к = 1,. .. , п, образует текущее равновесное состояние рынка облигаций. Здесь РСглк ——сглаженное значение цены А:-го выпуска на текущую Дату.
Выпуски, для которых Pk > Рсглк (& < &глк) называются переоцененными (недооцененными} рынком.
Динамическое управление портфелем выпусков облигаций состоит в перевложении средств из переоцененных выпусков облигаций в недооцененные. Аналогично может решаться задача формирования портфеля акций [44,87].
Метод сглаживающих кубических сплайнов
В настоящем параграфе рассматривается задача восстановления функциональной зависимости, когда независимая переменная не обязательно является временем.
Пусть между двумя величинами хну существует неизвестная исследователю функциональная зависимость у = f (%). Для восстановления этой зависимости производятся экспериментальные измерения yi в точках Xi, г = 1,..., п. Задача осложняется тем, что измерения у^ производятся с ошибками £», имеющими случайный характер, т. е. yi = =Vir + &, где yiT — неизвестное точное значение у = /(ж) в точке
Задача восстановления функциональной зависимости состоит в получении оценки у = /(ж), причем не только в узлах измерения х = ж^, но и между ними. Более того, часто наряду с восстановлением самой функции /(ж) требуется найти оценку ее производной ff(x).
Задача восстановления функциональной зависимости с непрерывным изменением аргумента является одной из основных задач математической обработки и интерпретации результатов экспериментов.
В настоящее время одним из эффективных способов восстановления функциональной зависимости с непрерывным изменением аргумента по экспериментальным данным является применение кубических сплайн-аппроксимаций, в том числе применение кубических сглаживающих сплайнов при наличии ошибок в измерениях у».
Сглаживающие кубические сплайны тесно связаны с интерполяционными кубическими сплайнами. Поэтому предварительно дадим краткое введение в теорию кубических интерполяционных сплайнов.
В дальнейшем, не умаляя общности, предполагаем, что узлы {忆勿,г = 1,. .., п}, упорядочены, т. е.
а = xi < Х2 < < хп = Ь. (11.29)
Функция Sn(%) называется кубическим сплайном с узлами (11.29), если: 1° на каждом интервале [%" %i+i] Sn(x)——кубический полином, т. е.
Sn(z) = % + bi(x - g) + сДж -吃产 + di{x -吃凡 (11.30)
2° Sn(/) — дважды непрерывно дифференцируема на [а, 6].
Кубический сплайн называется интерполяционным, если
Sn(g)—仇， £ = 1,..., тг. (11.31)
Из (11.30) следует, что 仇=%, 〃 = 1,…，?г — 1.
Для построения кубического интерполяционного сплайна необходимо знать 4(п — 1) коэффициентов {а^, 6储 с^, d», г = 1,. .., п — 1}. Из условий непрерывности Sn(z), S：(n), S((n) во всех внутренних узлах Жг, г = 2,. .. , п — 1, получаем 3(п — 2) равенств. Кроме того, имеем п равенств интерполяции (11.31). Итого получаем 4п — 6 равенств с вхождением в них неизвестных коэффициентов. Недостающие два
равенства задают дополнительно в крайних узлах Ж1, хп и называют краевыми условиями. Обычно используют следующие типы краевых условий:
1° S；(6)= mi, S^(xn)=仇2；
2° S((%i) = mi, S^(xn)=仇2；
3° S*(%i) = mi, S*(%2)=仇2；
4° S$)(6)= s¥&n)$ = 0, 1.
Часто используют краевое условие 2° с 7nl =恤=0.
Ниже приводится удобный и компактный алгоритм построения интерполяционного кубического сплайна Sn(x), в котором сначала находится вектор значений вторых производных в узлах (11.29) М = =S((g), г = 1,..., п, а затем восстанавливаются коэффициенты Ь,, Cj, di, г = 1,..., п — 1, по формулам
仇=怨千-自"把萨"' Ci = ^, 4 = ^^, (П.32) где hj —①c+i 冗i, 2 = 1, . . . , 71.
Для нахождения неизвестных значений М», г = 1,..., п, используем условия непрерывности первой производной сплайна во внутренних узлах %с, г = 2,..., п — 1, с учетом условий интерполяции (11.31). Получаем п — 2 равенства:
Л/」1 + 2七上2 Mt + 竺 M+i = /+[二呼一近丁一吧,(11.33) 636hi九 л
г = 2,..., n — 1.
Два недостающих уравнения получаем из краевых условий, которые относительно Л/j, г = 1,..., п, имеют вид
"1М1 + М2M2 = О], ViAfn_i + V2^n = £>2)(11.34)
где 微1,微2,。1,。2, °i, °2 в зависимости от типа краевых условий даются следующими равенствами:
для краевых условий типа 1° ui = /ii/З,価2 =无 1/6, Vi = /in-i/б, 02 = /in-1/З, £>1 =(У2 - yi)/hi - mi, D2 = (gn-i - VnY/hn-! + m2;
для краевых условий типа 2° 微】=1,価2 = 0, о】=0, о? = 1, D^ = =mi, D2 = m2；
для краевых условий типа 3° ui = 1,微2 = — 1, ^i = —1,。2=1, Dj —— 7nl/l], Z)2 ~~ ^^2^n—1 •
Совокупность n равенств (11.33), (11.34) — квадратная система n линейных алгебраических неоднородных уравнений с п неизвестными Mj, г = 1,..., п.
Систему (11.33), (11.34) относительно искомого n-мерного вектора Af = (Mi,..., Мп)т запишем в векторно-матричной форме:
АМ = Ну+ f,(11.35)
где ?/ = (2/1,, уп)т — n-мерный вектор, / = (Л, 0,... ,0, fn)T имеет только две ненулевые компоненты /1 и /п, зависящие от типа краевых
условий. Для краевых условий типа 1° /1 = —mi, fn =—仇2, для остальных краевых условий fi = D±, fn = D2. Матрица А представима в виде
/左1左1 +左2左2n
«а6и …
• 0
4о =
С九2拉2 +九3九3
°636 •
.0
где
О О
q q00аn - 2 аП — 2 + 八九 — 1 hn - 1
\uё зб~/
— ((n — 2) х п)-матрица, Ai = (ui, из, 0,..., 0) — матрица-строка, 4 = (0,0,...,0, oi,。2)— матрица-строка.
Матрица Н представима в виде
где
'『侍+靑）靑 0 00。、
仇=0 靑-（靑+*）青…000
k° 00。…土一（七 + 士）"
—((n — 2) X п)-матрица, Hi, H? — матрицы-строки, элементы которых зависят от типа краевых условий. Для краевых условий типа 1° "1 =(—工，0, •.. ,0), % = (0, • • • ,0, у Для остальных типов краевых условий Ну Н? — нулевые матрицы.
Поскольку матрица А трехдиагональная, система (11.35) эффективно решается методом прогонки, требующим только ~ 16п арифметических операций. Устойчивость метода прогонки обеспечена в силу выполнения неравенства (无》一1 + /it)/3 > /ij-i/б + Дг/6, которое означает, что А — матрица с диагональным преобладанием. В частности, диагональное преобладание обеспечивает невырожденность матрицы Д и тем самым единственность решения системы (11.35). Итак, кубический интерполяционный сплайн единственен.
Для вычисления значений кубического интерполяционного сплайна Sn(%) и его производной S^Q) в точках, не совпадающих с узла-
ми (11.29), наиболее компактной является схема Горнера:
Sn(x) = уг + t(bi -h t(ci 4- tdi)),,.
§；(%) = A + M2q+3£d) gWcWg+i, t-x-Xi. (11.36)
Для подсчета Sn(x) и S：(%) по формулам (11.36) необходимо предварительно подсчитать {6{, с^, di, г = 1,..., п — 1} по формулам (11.32).
Если число вычисляемых значений кубического интерполяционного сплайна меньше l.ln, то целесообразно вместо формул (11.36) использовать формулы
Sn(%)—
Уг + tУг + t%+1 - Vi%+1 - Vi-(g+i - %)-(g+i - %)(g+i — n + hi) Mi +(£ + hj)Mj+i(g+i — n + hi) Mi +(£ + hj)Mj+i
Уг + t
Уг + t
%+1 - Vi
%+1 - Vi
-(g+i - %)
-(g+i - %)
(g+i — n + hi) Mi +(£ + hj)Mj+i
(g+i — n + hi) Mi +(£ + hj)Mj+i
s；3)=
?/г + 1 — yi . / , .X(Жг+l — Ж 4- hi)Mi + t(t 4- hi)Mi^i
—+ (t + N - xi+1)^+
也0
+(11.37)
о
Интерполяционные кубические сплайны обладают следующим свойством сходимости. Обозначим /ах = шах,殳.Пусть /(ж) имеет на отрезке [а, Ь] непрерывные производные до 3-го порядка включительно. Тогда S$)(n) равномерно по % W [а, Ь] стремится к /便)(二)，к = 0,1, 2, при hmax т 0. Более того, имеют место неравенства
sup \fw(x)-s^(x)\^ckh^ k = 0J2, (11.38) х£[а,Ь]
где Ck не зависят от узлов (11.29), а определяются только свойствами /(х) и ее первых трех производных на промежутке [а, 6].
Замечательным качеством интерполяционных кубических сплайнов является их экстремальное свойство. Рассмотрим квадратичный функционал
J®) = ](“(n))2 dx. (11.39)
Поставим задачу на минимум функционала (11.39) на классе дваж> ды непрерывно дифференцируемых на [а, 6] функций, удовлетворяющих условиям интерполяции 夕(％疝)=沙高 Е = 1,..., тп, и одному из краевых условий 1°-4°. Обозначим класс таких интерполяционных функ-
ций через 匕儿(％), к = 1,2, 3,4, в зависимости от выполнения краевых условий К°.
Теорема 11.1. Sn(x) = arg min夕⑺^匕左⑺丿(夕)，где Sn(%) — интерполяционный кубический сплайн^ удовлетворяющий краевым условиям ^o.
В частности, интерполяционный кубический сплайн Sn(%), удовлетворяющий нулевым краевым условиям 2° (mi = m2 = 0), доставляет минимум функционалу J(夕)в классе дважды непрерывно дифференцируемых интерполяционных функций.
Функционал (11.39) определяет меру кривизны функции 夕(％) на [а, 6]. Поэтому экстремальное свойство интерполяционных кубических сплайнов означает, что они имеют минимальное значение меры кривизны среди всех дважды непрерывно дифференцируемых интерполяционных функций.
Рассмотрим механическую задачу об изгибании тонкого упругого стержня, который должен проходить через точки у^ г = 1,.. ., п, с шарнирным закреплением в этих точках.
Тогда функционал (11.39) будет пропорционален упругой энергии стержня, имеющего форму 夕(％), а экстремальное свойство интерполяционного кубического сплайна Sn(%) означает, что стержень примет форму Sn(x) (предполагается, что на краях ж = а, х = b стержень закреплен в соответствии с выбранными краевыми условиями).
Интерполяционные сплайны применяют только в том случае, когда ошибки в измерении % малы, а расстояние между соседними узлами д достаточно большое. В противном случае интерполяционный сплайн, проходя через точку т/j, будет реагировать даже на сравнительно небольшие ошибки в измерении д^ н в нем будут присутствовать высокочастотные колебания, имеющие случайный характер. Присутствие высокочастотных ложных флуктуаций доставляет особые неприятности в случае необходимости дифференцирования сплайна.
Поэтому при наличии ошибок в измерениях yi для восстановления функциональных зависимостей вместо интерполяционных сплайнов применяют сглаживающие сплайны, во многом свободные от вышеуказанных недостатков интерполяционных сплайнов.
Пусть случайные величины ^ (ошибки в измерении т/J, г = 1,..., п, независимы иМ^ = 0, D^ = сг/. Существует несколько приемов введения сглаживающих кубических сплайнов. Один из приемов описан ниже.
Рассмотрим функционал
4®) = £ (/ 二营喇:+ a j(“⑺)2 dx, (11.40) i=l * а
где а > 0 — параметр сглаживания.
Поставим задачу на минимум функционала (11.40) в классе Wk дважды непрерывно дифференцируемых функций, удовлетворяющих условиям ^o. Подчеркнем, что в отличие от экстремальной задачи на
172 Методы ewdeAeHUX компонент ереме九九“я: pwdoe [Ел. 11 минимум функционала (11.39) не требуется выполнения интерполяционных равенств 夕(д) = г = 1,.. ., п.
Теорема 11.2. Решением задачи на минимум функционала (11.40) в классе Wk является кубический сплайн, удовлетворяюглщй краевым условиям ^o.
Доказательство. Пусть функция 夕*(%) € Wk доставляет минимум функционалу (11.40). Обозначим у：=屮*(勺)，г = 1,..., п, и построим интерполяционный кубический сплайн 5*(ж), удовлетворяющий интерполяционным условиям 5*(а：г) = у；, 〃 = 1,…，п, и краевым условиям К。. Из теоремы 11.1 следует, что j(5*(ж))2 dx < j((p^^x^dx. Но ° °
玄马®, _*(修尸)2 = f 3®吁 SNg))2.
Поэтому Ja(S^) < Ja(夕)• Поскольку функционал (11.40) в классе функций Wk сильно выпуклый, то решение задачи на минимум функционала (11.40) единственно. Следовательно, 5*(ж)=夕*(%)• Теорема доказана.
В дальнейшем 5* (ж) будем называть сглаживающим кубическим сплайном и обозначать Sna(%).
На первый взгляд задача нахождения сглаживающего сплайна кажется более сложной, чем для интерполяционного сплайна, поскольку априори отсутствует информация о координатах Sna(xi). Но эта задача решается с использованием экстремального свойства сглаживающих кубических сплайнов, зафиксированного в теореме 11.2.
Решение задачи на минимум функционала (11.40) приводит к следующему замечательному результату относительно искомого сглаживающего сплайна Sna(x) [32].
Теорема 11.3. Кубический сплайн Sna(x) является сглаэюиваю- щим тогда и только тогда ^ когда выполнена система равенств
Sna(“i) + a(7j Zj —仇， 〃 =1, . . . , 71, (11.41) где Zi = S^(a), % = S^Xi + 0) - S北(g - 0), 〃 = 1,2,…，n — 1, Z…SJ(b)・
Система равенств (11.41) дает возможность построить эффективный численный алгоритм нахождения сглаживающего кубического сплайна. Обозначим
Z = (Z], . . . , Zn)', У =(2/1 5 • • • 5 Уп) 5
Sq； = (Sal,・・・，San) ,^^ = (^^1)• • • )•^n),
где Sai = Sna(g), M = S厶(g),公=1,..., n. Введем матрицу К《= =diag (苏启).
Тогда систему уравнений (11.41) можно записать в векторноматричной форме:
Sa + aK^Z = у.(11.42)
Векторы 5仪 0 Z можно выразить через вектор М. Действительно, для кубических сплайнов справедливы равенства
Sn^i + 0)=也千」li, г = 1,... ,n - 1,
s*(g -。)=死]二 1, " 2,…％
«г-1 из которых следует представление
Тогда систему предыдущих равенств можно записать в векторноматричной форме:
Z = //TM(11.43)
где матрица Н определена в формуле (11.35).
Из системы (11.35), справедливой для любого кубического сплайна, для сплайна 5па(ж) следует соотношение
HSa = 4М - f(11.44)
Подействуем на обе части системы (11.42) матрицей Н и выразим Z и HSa через М согласно равенствам (11.43) и (11.44). Получаем систему линейных алгебраических уравнений относительно неизвестного вектора М:
(А + аНК^Нт)М = Ну + f(11.45)
Поскольку матрица А трехдиагональна, а матрица НК^НТ пяти- диагональна, матрица А + аНК^Нт пятидиагональна.
Для всех типов 1°-4° краевых условий матрицы А и НК^НТ положительно определены. Поэтому матрица А + аНК^Н1^ положительно определена для любого a》0.
Итак, система (11.45) для любого a》0 имеет единственное решение.
Поскольку матрица А + аН К^НТ пятидиагональна, система (11.45) эффективно решается методом обобщенной прогонки, требующим для своей реализации ~ ЗОп арифметических операций [36].
После решения системы (11.45) значения сглаживающего кубического сплайна 5Па(к) в узлах Xi можно, подсчитать по формуле
Sa = y-aK^HTM.(11.46)
Если требуется вычислить значения S^a(x) и Sna(x) в произвольных точках ж G [а, 6], то можно воспользоваться формулами Горнера (11.36) с заменой в этих формулах yi на Sna(xJ, г = 1,... , п.
До сих пор предполагалось, что параметр сглаживания фиксирован. Если а —> 0, то сглаживающий сплайн Sna(%) стремится к интерполяционному сплайну Sn(p) с условиями интерполяции S^ag) = у运 г = 1,..., п. Поэтому при малых значениях а > 0 у сглаживающего сплайна могут появиться случайные высокочастотные флуктуации из- за ошибок в измерениях у», г = 1,... , п. Напротив, если а —> +оо, то сглаживающий сплайн стремится к линейной функции, для которой 夕"(％) = 0. Поэтому при больших а происходит слишком большое сглаживание экспериментальных точек (吃，у^, г = 1,.. . , п. Ясно, что подходящее значение параметра сглаживания должно быть согласовано с уровнем ошибок в измерениях %, г = 1,. .., п. В частности, если уровень ошибок стремится к нулю, то а должен также стремиться к нулю согласованно с уровнем ошибок.
1 n1二哈^(~%)2 孑1 n1二哈^(~%)2 孑называемый невязкой. Тогда,называемый невязкой. Тогда,согласно спосогласно споЧаще всего для выбора подходящего значения параметра сглаживания используют способ невязки. Введем функционал /п(а)=
1 n1
二哈^(~%)2 孑
1 n1
二哈^(~%)2 孑
называемый невязкой. Тогда,
называемый невязкой. Тогда,
согласно спо
согласно спо
собу невязки [54], выбирают такое значение а。，для которого
(П.47)(П.47)/п(а()) = В、
(П.47)
(П.47)
где 0 рекомендуется брать из промежутка [0,8; 1].
Фактическое нахождение подходящего значения а。согласно способу невязки сводится к последовательному нахождению 5па(ж) для различных а и выбору из них такого Sna()(%), для которого наиболее точно выполняется равенство (11.47).
В частности, если все измерения равноточны, т. е. а? = сг2, г = =1,.. ., п, то среднеарифметическая
接=^玄("g)j)2,
где f(xi) — значения искомой функции в узлах, является состоятельной оценкой ст? (если бы ст2 была неизвестной) и при достаточно большом п а2 близка к а2. Если предположить, что Snag) достаточно близки к /(ж), ива2 заменить /(g) на Sna(xi), то
32 а ^(Sna(g) — 切产
Приравняв а2 известной а2, получаем равенство для определения подходящего значения а:
丄玄(Sna(g)-%)2 = M(11.48)
(сравните с формулой (11.47)).
Существуют другие методы определения подходящего значения параметра сглаживания, в том числе для случая, когда дисперсия ошибок а2 неизвестна [22].
Пусть ст? неизвестна. Тогда для определения подходящего значения а。используют способ перекрестной значимости, согласно которому
ао = arg ттМ\\у - Sa\\,
где усреднение производится по различным измерениям значений искомой функции в узлах ж^, г = 1,.. ., п.
Поскольку обычно исследователю известна лишь одна реализация измерений у、то функционал М^у — Sa^ заменяют на
"(а) = £ (玖-Sk(xk))2,(11.49)
k—i
где S儿(％) — сглаживающий кубический сплайн, построенный по п — 1 измерению 力,• • • ,Укт,Ук+1)Уп в узлах хг < х2 < • • < 力儿-i < < %儿+1 V ... < %九，к — 1, . . . , ть.
За подходящее значение параметра сглаживания берут то, которое минимизирует функционал перекрестной значимости (11.49). Численная реализация способа перекрестной значимости требует построения семейства сглаживающих кубических сплайнов {5^(%), к = 1,...,九} для различных значений а.
В заключение параграфа приведем схему восстановления функциональной зависимости с помощью робастных сглаживающих кубических сплайнов.
Вместо функционала (11.40) рассмотрим робастный сглаживающий функционал
人。6 = £《竺二若^) +a 卜“3))2矗，(П.50)
где p(s) — функция Хьюбера.
Следующая теорема доказывается аналогично теореме 11.2.
Теорема 11.4. Решением задачи на минимум функционала (11.50) в классе Wk является кубический сплайн 5**(ж), удовлетворяющий краевым условиям ^o.
В дальнейшем S*(x) называется робастным сглаживающем кубическим сплайном и обозначается 5роб(ж).
Обозначим Spo6 = (Spo6(6),…，*5роб(жп))т? М = (Mi,..., Мп)Т, М = %'обЕ)・
Можно показать, что вектор Sp°6 связан с Л/ соотношением
Sp°6 = y‘ -аК^нТМ,(11.51)
а вектор вторых производных находится из системы нелинейных уравнений
(А + аН К#т)М = Ну，+ /,(11.52)
где матрицы Д, Н, К^ и векторы у, / такие же, как и в (11.45), а вектор у' = (т/J,... , Уп)Т определяется равенствами
{
Угуесли г € /0,
Spo6(g) + К。" если i € /+,Spo6(g) - Kq, если i € /_,
Л) = {〃：回-Spo6(g) |W Kai},
/+ = {〃： у г - Sp°6(g) > Kq}, /_ = {〃：切一 Sp°6(g) < -Ky}.
Для решения системы нелинейных уравнений (11.52) можно использовать нижеследующий итерационный процесс:
(А + аНК^Нт)М^ = Н#)+ 九(11.53)
где
{
Ujесли г е /^)
S^ + К%、если г е Z^\S^ - Kq, если г е Z^\
S")= (Sf),・• •，S?))T = #т)- а К/ТМ⑴,
4° = {分：\yi - s，)Y К/},
/? = {5 ： yi - S，)〉Kq}, /「= {0 ： yi - sf) < -Kai}.
В качестве начального приближения S^ можно взять сглаживающий кубический сплайн, задаваемый равенствами (11.45), (11.46).
Итерационный процесс (11.53) сходится за конечное число шагов к решению системы (11.51), (11.52).
Заметим, что итерационный процесс (11.53) обладает высокой вычислительной эффективностью, в частности из-за того, что на каждом шаге процесса решается система (11.53) с одной и той же пятидиагональной матрицей А + аНК屮(//)丁, что дает возможность, обратив ее однажды, «обслуживать» все дальнейшие итерации.
На рис. 11.3 представлены результаты использования кубического сглаживающего (сплошная линия) и робастного кубического сглаживающего (пунктирная линия) сплайнов. Символами (★, +) отмечены значения с г G /^ и г G /_. На нижнем графике показаны величины корректировок значений исходного временного ряда в результате применения итерационного процесса минимизации робастного сглаживающего функционала (11.50).
О 1020304050Рис. 11.3О 1020304050Рис. 11.3
О 1020304050
Рис. 11.3
О 1020304050
Рис. 11.3
Робастные сглаживающие кубические сплайны были успешно использованы для решения ряда некорректных задач при обработке данных физических экспериментов [7,8].
Метод вейвлетов
В последние годы для исследования неопределенных данных был разработан новый инструмент ——вейвлет-преобразование.
Ниже дано краткое введение в теорию вейвлет-преобразования и его применения при обработке неопределенных данных.
Термин «wavelet» был впервые введен в 1909 г. Альфредом Хааром (Alfred Haar). В дальнейшем, особенно в последние 15 лет, вейвлет-анализ развивался в нескольких направлениях усилиями многих ученых (Jean Morlet, Y. Meyer, Stephane Mallat, Ingrid Daubechies) [95,99,102104,107].
В определенной степени вейвлет-преобразование является обобщением преобразования Фурье.
Напомним, что любая функция /(%) из класса £2(—开,乃)может быть представлена в виде ряда Фурье:
/w= e以叫/w= e以叫(11.54)(11.54)
/w= e以叫
/w= e以叫
(11.54)
(11.54)
где cfc = ^ j f(t)e~ikt dt.
Функции 以⑴=e“kt образуют ортогональный базис пространства 厶2 (—万，万)и построены с помощью масштабного преобразования базисной функции @(£) =
Для всех /⑴ е 乙2(—8, оо) верно ] |/(/)|2 d/ < оо и справедливо —оо
разложение в интеграл Фурье:
оооо
/⑴=]0(3)6川也，e®) = ^ j /(t)e-lwf dt.
—8—ОО
В то же время, поскольку elkt # 0 при 匕 т оо, е%‘ не может быть счетным базисом в пространстве 上2(—8, оо).
Поставим задачу о сохранении представления типа (11.54) для /(%) е L2(-oo, оо):
/⑴=e 以以(力),/⑴=e 以以(力),=^ j 八t)5k⑴ dt,— оо=^ j 八t)5k⑴ dt,— оо(11.55)(11.55)
/⑴=e 以以(力),
/⑴=e 以以(力),
=^ j 八t)5k⑴ dt,— оо
=^ j 八t)5k⑴ dt,— оо
(11.55)
(11.55)
где 叽⑴ образуют ортогональный базис пространства 殳一8, оо).
Оказывается, можно построить ортогональный базис в 厶2(—8, 8) на основе одной базисной функции “(％), которая и называется (базисным) вейвлетом, но с помощью двух операций: масштабного преобразования и параллельного сдвига, например ^пл：(%) = 2n/2也(2П% — 6).
Для того чтобы ^(^) G 厶2(—8, оо) была базисным вейвлетом, необходимо выполнение двух условий:
1° @(土) = 0 за пределами некоторого конечного промежутка либо 叭力)т 0 при 匕 т оо;
ОО
2° j ^(t) dt = 0.
Кроме того, поскольку 山(匕)G 厶2(—8, сю), то должно выполняться
ОО
неравенство ] \^W\2 dt < 00.
Иногда требуют равенства нулю всех моментов до определенного
порядка, т. е. j 井山(£)山=0, А: = 1,m.
Ниже даны примеры базисных вейвлетов, используемых в вейвлет- анализе.
Пример 11.1 (Вейвлет Хаара).
工 0 ^ t ^ 0,5,
山⑴= -1, 0,5 < ^ 1,(11.56)
1о,t任[0,".
Базисный вейвлет Хаара имеет конечный носитель t € [0,1].
Функции ^nk(t) = 2n/2也(2气一6), n, A: = 0, ±1, ±2,. .образуют ортонормированный базис пространства 厶2(—8,8)・
Определим семейство функций
阪⑴=f 2n/2以2飞t+亍)-6),
片-8(11.57)
n = 0,l,2,..., k = 0,1,…，2九一1.
Можно показать, что 也пл：(力)——периодические функции с периодом Т = 1. Их называют периодическими вейвлетами Хаара.
Периодические вейвлеты (11.57) образуют ортогональный базис пространства 厶2(0」)・
Пример 11.2 (Французская шляпа — FHAT-wavelet).
У/2, 傾)=<)2, 、0,У/2, 傾)=<)2, 、0,t € [-1, —1/3), t с [-1/3,1/3], t е (1/3,1],t € [-1, —1/3), t с [-1/3,1/3], t е (1/3,1],(11.58)(11.58)
У/2, 傾)=<)2, 、0,
У/2, 傾)=<)2, 、0,
t € [-1, —1/3), t с [-1/3,1/3], t е (1/3,1],
t € [-1, —1/3), t с [-1/3,1/3], t е (1/3,1],
(11.58)
(11.58)
Этот базисный вейвлет имеет конечный носитель t € [—1,1].
Нижеследующие базисные вейвлеты, в отличие от предыдущих, непрерывны на всей числовой оси.
Пример 11.3. Семейство базисных вейвлетов 山(％; т) определяется равенством
叭 t; m) = (一1严% с-*” m = 1,2,.(11.59)
at
Вейвлет ^(t; 1) называют волновым вейвлетом (wave-wavelet), вейвлет ㈠也 2) — мексиканской шляпой.
Базисные вейвлеты семейства 屮也 m) имеют бесконечный носитель t G (—оо, оо), но очень быстро стремятся к нулю при ^ —> оо.
Пример 11.4 (Вейвлеты Добеши ——Daubechies wavelets). Базисные вейвлеты @(£) вейвлетов Добеши непрерывно дифференцируемы, но, в отличие от базисных вейвлетов семейства 呐(韜 m), имеют конечный носитель.
Семейство базисных вейвлетов Добеши принято снабжать символом DaubN, N = 2, 3,... Наиболее часто используется вейвлет Daub4 четвертого порядка. Для @Daub4 Справедливо равенство j 匕呐Daub4(t) dt =
=0 и его носитель t е [О, 3].
Базисные вейвлеты 呐Daub/v (力)могут быть получены из равенства
WaubN⑴=V^ J； (-Dka — MN)埶 N,2t-k),(11.60)
где Ci(^)——коэффициенты, зависящие от порядка ^ базисного вейвлета Добеши; для каждого N число Cw(N), отличных от нуля, конечно. Например, для базисного вейвлета 呐Daub4(%)
G)=G)=1 +с _ 3 +v^1 +с _ 3 +v^3-4「1-v^^7Г，а = ^-,3-4「1-v^^7Г，а = ^-,
G)=
G)=
1 +с _ 3 +v^
1 +с _ 3 +v^
3-4「1-v^
^7Г，а = ^-,
3-4「1-v^
^7Г，а = ^-,
а остальные G равны нулю.
Функция Ф(^, t) называется сканирующей для базисного вейвлета 也Daub4 и определяется как предел
①(NJ) 丁必①n(N"),①(NJ) 丁必①n(N"),(11.61)(11.61)
①(NJ) 丁必①n(N"),
①(NJ) 丁必①n(N"),
(11.61)
(11.61)
где ①o(N") = т/(ж) — t/(n — 1), т](х) — функция Хевисайда,①n(M t)=
=V2 £ &(N)①n-i(M2i)・
k=~oo
Все функции ①(TV, t), УУ = 2,3,..., непрерывны и имеют носитель % € [0, 3]. Из равенства (11.60) следует, что базисные вейвлеты 吵Daub/v также непрерывны и имеют носитель t W [0,3].
Аналогично (11.57) определим семейство функций
〜00
2nMMt)= £ 2n/2加aubN(2Yt+j)-A：),/口 人叫
j=-oo
n = 0,1,2,..., Л; = 0,1,, 2吁1.
Можно показать, что 吵„式乂 t) — периодические функции с периодом Т = 1. Периодические вейвлеты Добеши (11.62) образуют орто- нормированный базис пространства Ь2(0,1). Для любой /(%) С 厶2(0】) справедливо разложение
8 2п-1〜
f(t) = co+£ £ 仪九厶％)也пММ%),(11.63)
n=0 k—Q
где
ii
Co = j fW dt, ank(N) = J f(t)^nk(N, t) dt.
оо
С вейвлетами Добеши тесно связаны еще два класса вейвлетов: кофлетпы (coiflets) и симлеты (symlets), которые так же, как и вейвлеты Добеши, имеют конечный носитель. Например, базисные кофлеты порядка N, сконструированные Добеши и Кофманом (R. Coifman), имеют 2п моментов, равных нулю, и носитель t € \—N、2N — 1]. Так же как и вейвлеты Добеши, базисные вейвлеты семейства кофлетов могут быть представлены в виде разложения (11.60) через сканирующую функцию (разную для разных кофлетов) с конечным числом отличных от нуля коэффициентов
Пусть базисный вейвлет 吵(£) удовлетворяет условию нормировки ОО
j I叭t)|2 dt = 1. Покажем, что все вейвлеты семейства
— ОО
^nk(t) = 2r^2 吵(2 气-к),九№ = 0, ±1,...,
также нормированы. Действительно,
]必虱t)dt = 2n J p2&t- k)dt= j 吵2(，)山' = 1, — ОО—ОО—ОО
где，= 2nt — к, dt = 21nd，. Таким образом, для всех вышеперечисленных семейств вейвлетов 吵nk(t), п^к = 0, ±1,..., выполнено условие ортонормированности
]吵nk(£)吵п，и(*) d£ = бп^бк^ >
где 6ппг — символ Кронекера.
Одной из наиболее значительных прикладных областей вейвлетов является сжатие информации, содержащейся в сигналах. Дело в том, что полезный сигнал, подлежащий сжатию, представляет, как правило, суперпозицию локальных образований солитонного типа, а образования такого рода с высокой точностью (в отличие от разложений по синусам и косинусам) могут быть представлены в виде разложения по ортонормированной системе вейвлетов с небольшим числом отличных от нуля коэффициентов.
Другое направление применения вейвлетов связано со сглаживанием хаотических временных процессов, т. е. выделением детерминированных и хаотических компонент.
Более подробную информацию о свойствах вейвлетов, вейвлет-ана- лизе и его применении можно найти в [102,104].
Глава 12
МЕТОДЫ ПРОГНОЗИРОВАНИЯХАОТИЧЕСКИХ ВРЕМЕННЫХ РЯДОВ
Прогнозирование временных процессов — одно из основных направлений исследований во многих прикладных областях и в науке в целом. Особую значимость прогнозирование имеет при исследовании экономических процессов, в частности процессов в финансовой области. Уметь прогнозировать с приемлемой точностью развитие исследуемого временного экономического процесса ——базовая предпосылка для успешного управления процессом и реализации максимальной эффективности работы управляемой экономической системы.
К настоящему времени разработано много методов и основанных на них алгоритмов прогнозирования временных процессов [1,4,5,37, 50,60,61,75,98]. Ниже рассмотрены сравнительно новые методы прогнозирования, два из которых используют априорную информацию экспертного характера, а третий основан на выделении так называемых главных компонент исследуемого временного ряда.
Методы прогнозирования с использованиемаприорной информации и ортогональных
полиномов
При прогнозировании временных рядов часто в распоряжении исследователей имеется априорная информация о значениях временного ряда в будущие моменты времени, для которых и производится прогноз. Ясно, что при решении практических задач априорная информация в абсолютном большинстве случаев носит неопределенный характер. В таких ситуациях задача прогнозирования состоит в оптимальном учете априорной информации при ее «объединении» в процессе прогнозирования с информацией, содержащейся в уже реализованной части временного ряда.
Ниже предполагается, что априорная информация задана в виде априорных экспертных оценок значений временного ряда
У1^ - • • чУь(12.1)
для будущих временных дат
*1,•••,力厶
и задаются уровни погрешности этих оценок в виде числовых значений дисперсий:
с；, • • •,城・(12.2)
Предполагается также, что в распоряжении исследователя имеется реализованная часть исследуемого временного ряда для прошедших временных дат 力_/v, t_N+i,и настоящей даты ^о-
Для осуществления прогноза значений временного ряда на будущие даты h,力2,£厶，объединяющего информацию в реализованной части временного ряда и экспертную информацию】в этом параграфе мы используем схему выделенной детерминированной компоненты с помощью разложения временного ряда по базисной системе полиномов, ортогональных на множестве значений аргумента 力—n、力—n+1 , • • •, %o, %i, • • •, tl (12.2) с весами
Wk = 1/^? E = —N, —TV + 1,…，0,1,L. (12.3)
Согласно результатам, представленным в § 11.1, детерминированная компонента временного ряда дается равенством
(12.4)(12.5)(12.4)(12.5)2/дет(力/г)二 £ Uj 屮式八),к = — N, — N + 1
(12.4)
(12.5)
(12.4)
(12.5)
Uj — У^ ^к ^j ^к^Ук,к= — N
y_N、U-N+i, • • •, go ——значения реализованной части исследуемого временного ряда, Ум ^l ~~ экспертные оценки (12.1).
Окончательно прогнозные оценки т/прог(^) значений временного ряда на будущие даты % 力2,…，£厶 даются равенствами
Unpor(力к) = Удет(力к),к = 1,...,厶，(12.6)
где дДет(力к) определяются из равенств (12.4).
Замечание 12.1. Точность прогноза (12.6) во многом определяется точностью экспертных оценок (12.1), задаваемой дисперсиями (12.2). В частности, при 城 т 0, Упрог(坟)Т Ук, б = 1,…，厶 и информация в реализованной части временного ряда становится ненужной.
Замечание 12.2. Если экспертные оценки (12.1) отсутствуют, то по умолчанию будем полагать
У» = У1、…，期 l = 2/о・(12・7)
В этом случае достаточно надежный прогноз можно получить лишь для небольшого числа временных шагов вперед (в предположении выполнения равенства hk = tk+i —力儿 = const).
Замечание 12.3. Если дисперсии <t±n，c±n+i，…，说 априори неизвестны, то положим a±N = a±N+1 =...=。力= с , где <т предварительно определяется из равенства
10
m=三 e (探一旅)2,(12.8)
k=—N
(12.9)(12.9)где ук = £%夕；・(执)，k = -^,-^^-l,...,0, о
(12.9)
(12.9)
к= — N
а ｛夕；(£)｝ — система полиномов, ортогональных на множестве значений аргумента £_%, £-n+i,…，％о с весом, равным единице.
Замечание 12.4. При отсутствии экспертных оценок и использовании равенств (12.7) можно положить а^ =说(1 + 06), А: = 1,..., L, 0》О・
Замечание 12.5. Все используемые в представленной выше схеме прогнозирования параметры (m, N, L) следует определять на этапе обучения схемы прогнозирования с использованием реализованной части исследуемого временного ряда. Критерием отбора подходящих значений параметров в процессе обучения прогнозируемой схемы должно являться качество прогноза, например сумма квадратов невязок между прогнозируемыми и реализованными значениями исследуемого временного ряда.
Если в реализованной части у_ n、…,По временного ряда имеются большие выбросы, то вместо предложенной выше схемы выделения детерминированной компоненты должна применяться робастная схема.
В этом случае, согласно 11.1, детерминированная компонента временного ряда дается равенством
g〃eT(*k) = ｝ : Мробб 3/(土k),卽=—N, —N + 1,..., 0,1,..., L、(12.10)
Mpo6ji = 52 3卜屮 j(tk)yk,J = 1, . . . , Ш,(12.11)
k=-N
гдегде(Ук,(Ук,если k e Iq,если k e Iq,
где
где
(Ук,
(Ук,
если k e Iq,
если k e Iq,
Ук = <Ук = <если A: £ /+,если к W I_,если A: £ /+,если к W I_,£ Mpo6j3ji (土k) + К Ok、 i=i
Ук = <
Ук = <
если A: £ /+,
если к W I_,
если A: £ /+,
если к W I_,
£ "роб/% (土k) — ^^k ?
、•/=1
/о = ｛卽：I” — 52 мроб/%・(块)1 < к%｝,
，+ = ｛生：Ук ~ 53 Mpo6/3f(£k) > К外｝,
/- = ｛« : Пк — 53 ^P°6j ^j (^fc) V —"。及｝・
Нелинейная робастная оценка (12.11) может быть найдена с помощью итерационной процедуры (11.12), (11.13).
Окончательные прогнозные оценки 2/npor(^fc) значений временного ряда даются равенствами (12.6), где ддет(土к) определяются из равенства (12.10).
Методы прогнозирования с использованиемаприорной информации и линейных сплайнов
Так же как и в предыдущем параграфе, предполагается, что априорная информация задана в виде экспертных оценок (12.1) и погрешностей этих оценок (12.2).
В этом параграфе для выделения детерминированной компоненты мы используем разложение по системе линейных сплайнов, основанной на минимизации сглаживающего функционала
£ 叫(” 一 2/(£к))2 + а £ ^~ ®(九+i)-沙(九))2, (12.12) k=-N k=-N k
где Wk определяются равенством (12.3), hk = £k+i — ^, a > 0 — параметр сглаживания.
Тем самым, согласно § 11.2, вектор детерминированной компоненты Уцет =(2/дет(亡一N),У〃ет(土乙))丁 определяется из системы линейных алгебраических уравнений
4 Хцет —尸,
(12.13)
где симметричная трехдиагональная матрица равенствами
А и вектор
F даются
/丄 a
a
0
a
0
0
'^—N 十 L
九一N+l a
八-g+i
仅一N+l + ,+
九—N+l
a
А =
八-N+l
h—N
h-N+i
〔0
0
0
0
.0
0
\
.0
0
.0
a hb-i
WL
+
府L-l /
F = (y_N叱-N、n^评•
Поскольку А ——матрица с диагональным преобладанием, то для любых наборов исходных неопределенных данных (11.1)-(11.3) существует единственное решение Уцет системы (12.13).
8 А.В. Крянев, Г.В. Лукин
Окончательно прогнозные значения даются последними L компонентами вектора %ет・
Для предлагаемой в этом параграфе схемы остаются справедливыми все замечания предыдущего параграфа с заменой в замечании 12.5 параметров (m, N,厶)на параметры (a, N, L).
Если в реализованной части У—n,…，Уо временного ряда присутствуют большие выбросы, то для выделения детерминированной компоненты временного ряда y~N y—Nz,…、Уи、П\、…、期厶 вместо сглаживающих линейных сплайнов должны использоваться робастные линейные сглаживающие сплайны.
Согласно § 11.3 в этом случае вместо сглаживающего функционала (12.12) используем робастный сглаживающий функционал
LL — 1
Е р(г/^(ш：-Z/G)) + a £ *(2/(块+1)-у(九))2,(12.14)
k= — Nk= — N 卜
где p(s) — четная дифференцируемая функция, p(0) = 0, p(s) ~ s2 для малых |s|, p(s)/s2 T 0 при s T oo.
Если в качестве p(s) взять функцию Хьюбера, то детерминированная компонента 匕ет =(Удет(^-^^ • • • ? Упет(力厶))т временного ряда У-n, ..., yL, определяемая как вектор, минимизирующий робастный сглаживающий функционал (12.14), является решением системы нелинейных уравнений
4 匕 ет =(12.15)
где
‘УМесли k € /о,
F =(仅一N?/—/у，•…,^ lUl)'，У к = < Удет + К%, если к W，+,
Лдет - к%, если k е 1_,
Л) — {^: \Ук — Удет(力 k)| W ^^к},，+ ~ {«： У к — 2/дет(土 к) > ^ ^к\ч /- ^ ={к： У к?/〃ет(土 к) < —К%}.
Для фактического нахождения Уцет можно использовать итерационную процедуру, изложенную в § 11.3.
Если в качестве p(s) взять функцию Тьюки
то Уцет как решение задачи на минимум функционала (12.14) является решением системы нелинейных уравнений (12.15), где
(12.16)(12.16),_ (Ук, если к € /о,
(12.16)
(12.16)
Ук - 1?/дет(^), если к € /衣,
Л) — {^ : \yk — Удет(块)| W Ab/г},IR = {卽• \Ук — Z/дет(块)| > &%}•
Для фактического нахождения Уцет как решения нелинейной системы (12.16) можно использовать описанную в § 11.3 итерационную процедуру, сходящуюся к искомому решению за конечное число шагов.
Как и прежде, прогнозные значения для дат 土匕...，土厶 определяются равенствами
gnpor(tk) = ?/〃5(九)， k = 1,...,L.
Методы прогнозирования с использованиемсингулярно-спектрального анализа
Методы исследования временных рядов, основанные на сингулярноспектральном анализе (Singular-Spectrum Analysis ——SSA), были развиты в основном на протяжении последних 16 лет [24,92-94,97,98, 100,110], хотя основы этого метода были заложены в более ранних работах [12,39]. В настоящее время SSA успешно используется для выявления скрытых периодичностей и выделения детерминированных компонент, включая сглаживание исследуемых временных рядов. В последние годы разрабатываются алгоритмы прогнозирования временных рядов, использующих SSA [24,98].
Пусть задан исходный временной ряд
П1> Уп •(12.17)
Зададим два целых числа М и L, называемых шириной окна и числом шагов соответственно, и сформируем (L х Л1)-матрицу пошагового движения:
2/2•
Ум \
Уз • 1
Ум+i I
(12.18)
\Уь
Уь+1 •
• • Уь+М-I/
Рассмотрим задачу на собственные значения симметричной неотрицательной {М х Л1)-матрицы У’ У:
У”咱=(12.19)
Собственные значения матрицы УТУ называются сингулярными числами матрицы У (что и дало название SSA).
Произведем ранжирование сингулярных чисел в порядке убывания:
〃1》〃2》• ♦ •》Р>м》0，(12.20)
обозначив через 也=(耽 ьj = 1, • • • , M, соответствую
щую им ортонормированную систему собственных векторов.
Сформируем ортогональную матрицу С =(耽，…，^M) и определим (L х Л1)-матрицу главных компонент V равенством
U = YQ = (%,../“)，(12.21)
где 匕,j = 1,... , М, суть L-мерные векторы, называемые главными компонентами.
Из равенств (12.21) следует соотношение
У = VQT = £匕石，(12.22)
представляющее собой разложение исходного временного ряда по главным компонентам Vj, j =, М.
Числовые значения сингулярных чисел 从亍 определяют уровень «информационного вклада» компоненты Vj во временной ряд, причем компонентам с большим индексом j соответствуют изменения временного ряда большей частоты.
Поэтому для осуществления операции сглаживания необходимо отбросить несколько последних по индексу главных компонент, соответствующих шумовой хаотической компоненте, оставив первые т из них, Vi,...,匕л, и вместо (12.22) использовать равенство
玄匕君.(12.23)
3=1
Сглаженные детерминированные значения 沙庶丁映)исходного временного ряда получаются путем усреднения значений элементов на побочных диагоналях матрицы У7 = {у^}, г = 1,..., L, j = ~ 1, • • • , М： 2/дет(^1) = 2/11，Удет(»2)= (2/12 + У$1)/2, Удет(£з)= =(?/13 + 弘2 + 弘1)/3, • • •
Одна из возможных схем прогнозирования с помощью SSA основана на рассмотрении системы линейных алгебраических уравнений
£= Уп-М+2^
i=l
(12.24)
£ xi ^M — l,i — Ут г=1
где ^jt — г-я компонента вектора 吵亍,у； — члены исходного или сглаженного рядов (12.17).
В системе (12.24) т неизвестных Xi,..., хт и М — 1 уравнение.
Если система (12.24) совместна, то прогнозируемое значение уп+1 может быть представлено в виде
Уп+1 — 52 g吵М£,(12.25)
t=i
где xi,..., Хт — решение системы (12.24).
Пусть исходный временной ряд (12.17) порожден однородным конечно-разностным уравнением порядка т с постоянными коэффици-
ентами:
Ут-j-i + а^Ут+Л + • ♦ • + QmUt =0,〃 = 1,2, .(12.26)
Тогда при М ^ т + 1 система (12.24) совместна и имеет единственное решение.
В этом случае можно продолжить прогноз на последующие временные даты, используя систему
£ 勺 耽i = Уп-М+2+М i=l
(12.27)
t=l и прогноз
Уп+k+i = £ 工；2Mt、 上=12 • • •(12.28)
t=i
Для 6 = 0 система (12.27) и прогноз (12.28) соответствуют (12.24) и (12.25).
Системы (12.27) совместны или несовместны одновременно для всех А: = 0,1, 2,...
Системы (12.27) несовместны (при М > т) тогда и только тогда, когда исходный ряд не порожден уравнением типа (12.26).
Систему (12.24) запишем в векторно-матричном виде:
АХ = R-%(12.29)
где R = (gn_“+2,…,Уп)Т ——вектор правых частей уравнений системы (12.24), £ — вектор «погрешностей» по отношению к неизвестному вектору 尸*, для которого система А X = F* совместна.】)
В условиях несовместности системы (12.24) определим вектор X* как МНК-оценку вектора X линейной регрессионной модели (12.29).
Имеем
X* =，4尸4T 尸，(12.30)
где X = (к], ♦ • • , Ст)'
Прогнозируемое значение уп^1 определяется равенством
m
У*+1 =〉[工河Mi・(12.31)
t=i
Определим вектор У* =(弘_”+2, • • •, 2/3 诡+1)'，где 2/*+1 дается равенством (12.31),(成一”十?，•••，需)丁 =工 X*.
i) Если система (12.24) совместна, то £ = 0.
Вместо рекуррентных систем (12.27) рассмотрим рекуррентные системы
£ “К吵= Уп-М+2+k^
(12.32)
£ %!=成+k，А? = 0, 1, 2, . . • 1=1
Все системы (12.32) совместны и каждая из них имеет единственное решение Х(к)* =(①，)* 一 ,大^)*)t.
Определим прогноз для последующих временных дат равенством
Уп+k+i = £ “!)吵мм к = 1,2,(12.33)
При реализации схем прогнозирования, определяемых формулами (12.25), (12.28), (12.31), (12.33), требуется задание ширины окна М, числа шагов L и числа выделяемых главных компонент т. Число т определяется размерностью (рангом) исследуемого временного ряда и может быть определено из анализа соотношений между числовыми значениями сингулярных чисел 〃/. Ширина окна М должна быть несколько больше числа т. И, наконец, число L должно быть больше М (иногда в несколько раз).
Оптимальные значения параметров (т, Л/, L) могут быть найдены, например, исходя из минимизации длины вектора невязок реализованных и прогнозных значений исследуемого временного ряда на отрезке временного ряда, соответствующего этапу обучения прогнозной модели.
В другой возможной схеме прогнозирования с помощью SSA рассматривается совместная система (12.24), где 仇=дДеЮ
Заметим, что конечно-разностное уравнение (12.26) можно записать в виде
H = 〃o + f(12.34)
где 匕=Ут+i/Ут+i — h X/j = J/m+i+j-1/Ут+г — Хч 〃0 ~ 一°1，uj = ~~aj + l- Если рассматривается хаотический временной ряд, детерминированная компонента которого удовлетворяет уравнению (12.26), то для исходного временного ряда можно рассмотреть линейную регрессионную модель
Ут+i + ^iym+i — 1 + • • • +。皿亚 Ч- £{ — 0, которая в обозначениях уравнения (12.34) запишется в виде
匕=〃о + £ %'Х方 + 勺， ” 12 …(12.35)
>=i
Система равенств (12.35) полностью соответствует многофакторной линейной регрессионной модели (7.30) и тем самым между SSA и линейным регрессионным анализом существует очевидная взаимосвязь.
Рис. 12.1
Рисунок (12.1) демонстрирует применение метода сингулярно-спектрального анализа для прогнозирования ряда. Для примера использован полином 4-й степени (сплошная линия). Символом (★) обозначены значения, использованные при обучении, а символом (О)——спрогнозированные значения.
Глава 13
ПЛАНИРОВАНИЕ ОПТИМАЛЬНЫХИЗМЕРЕНИЙ ПРИ ВОССТАНОВЛЕНИИФУНКЦИОНАЛЬНЫХ ЗАВИСИМОСТЕЙ
В предыдущих главах оценка искомого вектора и проводилась на основе уже полученных измерений («исторических» данных). Но, как показали вышеприведенные исследования, точность оценки во многом зависит не только от количества измерений, но и от их расположения.
Пусть, например, рассматривается задача восстановления функциональной зависимости
g = £叫死⑺，j=i
где(Pj(x), j = 1,..., rn, — заданная система функций, и пусть выполнены предположения классической схемы МНК, но с наличием корреляций между компонентами вектора случайных погрешностей, так что Ке = а2И. Тогда, как мы знаем, оптимальной в классе всех несмещенных линейных оценок является взвешенная МНК-оценка (7.22), где (п х ??г)-матрица А определяется равенством
4T = WQi), 3侬2), • • •, зЗп)),
3(g) =(3i(g),…，3m(g))T — вектор размерности m, а качество оценки определяется ее ковариационной матрицей, даваемой равенством К& = а2(АтП_1Д)-1. Поскольку матрица А зависит от координат Xi, г = 1,..., п, фиксации независимой переменной ж, то К& также зависит от g, £ = 1,..., п. Таким образом, в зависимости от того, при каких значениях ж», г = 1,..., п, проведены измерения, будем получать различные по точности МНК-оценки. Из вышесказанного естественным образом возникает следующая задача. Пусть исследователь имеет возможность разместить ж», г = 1,..., п, по своему усмотрению. Спрашивается, как разместить д, чтобы получить наилучшую по точности (в том или ином смысле, который уточняется ниже) МНК- оценку? Сформулированная здесь задача и составляет основу теории планирования оптимальных экспериментов. Аналогичные задачи оптимизации экспериментов можно поставить при восстановлении линейной регрессии
£ изхзч 5=1
где Ж1,..., хт — регрессоры, и для других линейных и нелинейных задач восстановления.
Постановка задач планирования оптимальныхизмерений
В главе 13 мы ограничимся решением задач планирования оптимальных экспериментов при восстановлении функциональных зависимостей вида
У = £ %%3)三 ^^и.
i=i
Пусть 兄=diag (aj,..., а^). Обозначим Wi = 1/吟 г = 1,..., n. Тогда К厂=diag(%,…，Wn). Числа Wi называют весами. Для рассматриваемого случая МНК-оценку (7.22) можно представить в виде
&мнк — M~XY,
где
м = АТК~1А = Е И^г^(Жг)^Т(Жг) = £ М" t=lt=l
Y = ATK~1f = £ Wiynp^Xi)
—вектор размерности 7n. В принятых обозначениях ковариационная матрица МНК-оценки определяется равенством К& =
Напомним, что наилучшей линейной несмещенной оценкой функции у =犷丁⑺ и является МНК-оценка 行мнк = <^Т(ж)ймнк с наименьшей дисперсией а2(^мнк) = ^『(①)"-%(%) = d(%). Функцию，d(/) называют коридором ошибок.
Часто в одной точке х = Xi проводится несколько независимых измерений уп> yiri функции у, каждое с дисперсией с?. Тогда всю совокупность измерений 仇左，/с = 1,.. ., п, можно заменить одним
仇=X Utk
с весом Wi = ri/aj.
В большинстве прикладных задач дисперсия ст? измерения yi зависит от местоположения фиксации ①=/「Поскольку при решении задач планирования оптимальных экспериментов при восстановлении функциональных зависимостей значения д априори неизвестны, а выбираются в процессе решения самой задачи оптимизации, необходимо знать значения дисперсии 。？(比)погрешностей измерений функции для любых значений независимой переменной ж из промежутка его доступного измерения. Функцию Х(%) = 1/<т2(ж) назовем функцией эффективности измерений. Если。2(力)задана с точностью до неизвестной константы 唸 т.е.(т2(ж)=说/⑺，то функцию А(/) = 1/а2(ж) назовем функцией относительной эффективности измерений.
Очевидно, что &мнк = М-1 У, где
м = £ Т(д)е(з)зТ(д), Y = £ Т(д)%з(д)・ г=1г=1
Статистика
s^ =三^ 玄又(g)(仇-дТ(д)&мнк)2
является несмещенной и состоятельной оценкой неизвестной с* Пусть измерения проводятся при значениях 比i,...,化九,причем те
перь в точке Xi проводится ri измерений. Тогда £> = N — общее г=1
количество измерений.
Совокупность величин {xi,..., жп; ri,..., гп} называют планом (эксперимента} и обозначают символом ^(^) или 8.
Совокупность величин {xi,.. ., хп; Pi,…，рп}, где pi =片/N, £ Pi = 1, называют нормированным планом (эксперимента) и обозна- г = 1 чают символом e(N).
Совокупность точек a：i,. .. , жп называется спектром плана эксперимента.
Поскольку информационная матрица М зависит от плана эксперимента £ (или с), в дальнейшем часто будем использовать явную запись этой зависимости М = Л1(£) (или Л/(е)).
Имеем: Л1(е) = ^ ^ Pi^^^^P^i)1^{xi)- В дальнейшем матрицу
М-1, обратную информационной, будем обозначать 0(2) (или 0(e)). Два плана
& = {№；••/?；
% =…，碌)；
называют одинаковыми тогда и только тогда, когда п^ = П2 = п и
Т⑴ _ ①(2)„(1) - 「(2)- 1
где 需| < ж(2)< . . - < *))и ^(1)< 吟| < •. . < N,爲—ранжированные совокупности %；),..., Хп \ %” . •.，比£' соответственно. В противном случае планы 51 и £2 называют различными.
В дальнейшем, как правило, будут рассматриваться различные планы, для которых выполнены равенства
п1=п2 = п, £ т「= £ т『)=N.
г=1г=1
Аналогично вводится понятие различия двух нормированных планов.
Различные планы можно сравнивать друг с другом с точки зрения качества МНК-оценок искомого вектора и, получаемых на основе каждого из этих планов. Поскольку в основу определения качества (точности) оценок могут быть положены различные критерии (в зависимости от поставленных приоритетных целей), то на практике используют различные критерии сравнения планов экспериментов.
Перечислим наиболее часто используемые критерии сравнения планов экспериментов.
Говорят, что план & предпочтительней (лучше) по выбранному критерию сравнения плана &, и записывают этот факт & А &, если:
|°(£1)| < |°(£2)| ——первый критерий сравнения;
Sp力(£i) < Sp0(£2)——второй критерий сравнения;
тах5=1,...)тР^(51) < maxjui,…，m°f6(£2)— третий критерий сравнения;
max^wx d(/； £1) < тахжеХ d(x; £2)——четвертый критерий сравнения;
j d(x\ Si) dx < j d(N； £2) dx ——пятый критерий сравнения.
XX
Здесь d(N； £) — дисперсия(т2(^мнк(ж)), вычисленная при реализации плана 8.
В четвертом и пятом критериях сравнения множество X задается априори и может быть частью всей области изменениям при выборе фиксаций %j или вообще не совпадать с этой областью. В последнем случае говорят, что рассматривается задача экстраполяции.
В общем случае план £\ может быть предпочтительней плана £2 в смысле одного или нескольких критериев, а по остальным критериям £2 предпочтительней &.
Пример 13.1. Пусть восстанавливается функциональная зависимость g = 〃1 + “2% + из%? и имеются два плана эксперимента & = ={—1,0; 4, 4,4}, % = {—1,0； 3,6,3}. Имеем
0-3\/ 20 -2\
3/20, 0(&) =020 ,
09/2/\-2 04 /
|0(&)| = 6,75 • 12-3, |0(&)| = 8 • 12-3, SpO(&) = 3/4, SpP(52) = 2/3.
Следовательно, £\ А £2 по первому критерию, но £2 А £1 по второму критерию.
При реализации плана эксперимента 8 производятся затраты 丁 (£) на его проведение. Положительный функционал затрат т(£) может иметь различный физический смысл в зависимости от условий проведения эксперимента. Например, если необходимо провести эксперимент в короткие сроки, не считаясь с материальными затратами на его проведение, в качестве 丁 (£) необходимо взять суммарное время 丁月(£) на проведение всех измерений, соответствующих плану эксперимента £.
Наоборот, если более важны материальные затраты, а время проведения эксперимента не играет существенной роли, то в качестве 丁(£) необходимо взять суммарные материальные затраты тм (5) на проведение всех измерений, соответствующих плану £. Часто необходимо найти компромисс между временем проведения эксперимента и материальными затратами на его проведение. Тогда в качестве 丁(£) берут сумму «вТв(£) + 6”丁"(£), где постоянные множители 6区,kM > О определяют степень этого компромисса.
Одной из основных задач планирования оптимальных экспериментов является задача выбора компромисса между затратами на проведение эксперимента и погрешностью получаемой МНК-оценки искомого вектора и.
Погрешность оценки будем определять положительным функционалом L[P(f)]. В соответствии с вышеприведенными критериями сравнения планов обычно используют один из нижеследующих пяти видов функционала погрешности оценки:
"0(£)] = 10(2)1,"0(2)] = SpO(2),
L[P(f)] = . max 力式£),
厶①(£)] = m^d(x; 5) = m^ ^{x)"Dip{xY
"0(£)] = J d(ar; £) dx.x
Поставим две основные задачи планирования оптимальных экспериментов.
Задача А. Пусть затраты лимитированы. Требуется при выполнении условия лимита затрат найти план эксперимента, минимизирующий функционал погрешности МНК-оценки искомого вектора и.
Математически задача А эквивалентна нахождению оптимального плана £*, являющегося решением экстремальной задачи с ограничением
5* = arg 咼* "。(£)],(13.1)
где Т задано.
Задача Б. Пусть задана необходимая точность МНК-оценки искомого вектора и. Требуется при выполнении условия достижения необходимой точности оценки найти план эксперимента, минимизирующий затраты на проведение эксперимента.
Математически задача Б эквивалентна нахождению плана 5*, являющегося решением экстремальной задачи с ограничением
£* = arg£* = argminm(£)标l0minm(£)标l0丁 (£),丁 (£),(13.2)(13.2)
£* = arg
£* = arg
minm(£)标l0
minm(£)标l0
丁 (£),
丁 (£),
(13.2)
(13.2)
где & задано.
Функционал затрат часто представим в виде т(£) = ^ Ciri^ где г=1
Cj > 0 — стоимость одного измерения в точке д. В частности, если стоимость измерений не зависит от д, то q = с, г = 1,..., п, и т⑹= =cN.
Экстремальные задачи с ограничением (13.1), (13.2) эквивалентны экстремальной задаче без ограничения
£* = arg min R(£),(13.3)
где R(£) = 丁(£) + 6厶厶[0(£)] называется функционалом потерь^ 及厶〉0 — множитель Лагранжа.
Для задачи А величина kL находится из равенства 丁(£*) = Т. Для задачи Б величина kL находится из равенства L[D(£)] = Lq.
Если ^ фиксировано и т(£) = c^, то 丁(£) не зависит от 8. Поэтому для данного случая задача (13.1) эквивалентна задаче без ограничения
£* = arg min L[D(£)].(13.4)
План £* из (13.4) называется Р-оптимальным, если L[P(5)]= =|7?(5)|; А-оптимальным, если 厶[。(£)] = SpO(£); минимаксным в пространстве параметров^ если £[力(£)] = maxy…,m。力(£)； минимаксным на множестве X, если 厶[0(£)] = тахжеХ d(N； £); Q-оптимальным на множестве X, если L[7?(£)] = j d(x; £) dx.
x
Заметим, что поскольку \М{8}\ = 1/|Р(5)|, то 7?* — оптимальный план 5* — можно определить равенством £* = arg max |М(£)|.
Пример 13.2. Пусть у = 〃i + “2比，％ W [―1; 1], N = 3,入(/) = const, ①1 W /2 W /3・ Имеем
\М(£)\ = N； + 岩 + £ - ^(6 + 啰2 + %3)2.
Существует два Р-оптимальных плана £；, £% максимизирующих |М(5)| при ограничениях —1 W & W 1, £ = 1, 2,3, £； = { — 1,1; 2,1} 0%={-1,1； 1,2}.
Если априори задана приемлемая погрешность оценки Lo, a N не фиксируется, то решение задачи (13.4) состоит в нахождении такого N*
и оптимальных планов £*(N*), £*(N* + 1), при которых выполнены неравенства 厶[0(£*(N*))] > Lo ^ L[P(f*(7V* + 1))]. Тогда эксперимент проводится по плану 5*(7V* + 1).
Наиболее полные результаты по оптимальному планированию экспериментов удается получить в том случае, когда N настолько велико, что можно считать функционал потерь функцией непрерывного параметра N.
Непрерывным нормированным планом с называется совокупность величин {%]_,... , хпJ pi,..., Рп},「Де。《Pi W 1,〉: Pi = L i=l
Если N》п, то e(N) = e, поэтому
M® = N £ PiX(g)3(g)gT(g)NM(£).
i=i
Следовательно,
0(£) = ”-】(£)” 靑次)•
Имеем:
1。10吁黯0£)l；
2° SpD(£)、靑 Sp0£);
3° maxji=i 1n 0"(£) a 耳 maxj=i,...,m 0j?(£)；
4。maxx€X d(N； £) ^ ^ maxxGX d(%; c);
5° j d(x; £)dx ^ — ^ d(N； e) dx. XX
Таким образом, для случая 丁(£) = cN, N》n функционал потерь R(£) имеет вид
R⑹ ^Nc+^L[D(£义(13.5)
где 0 = т для критерия L[D(e)] = |。(£)| и 0 = 1 для остальных четырех критериев.
Поскольку L[0(e)] не зависит от ^, решение экстремальной задачи (13.3), когда R(£) дается равенством (13.5), можно разбить на два этапа: на первом этапе находится оптимальный непрерывный нормированный план с* = arg mine L[D(e)] = {a?J,..., a?* ;「3p^}； на
втором этапе при фиксированном с = е* находится N*, при котором достигается минимум Nc + kLN~^L[D(£*)], из соответствующего условия находится kL и полагается £* = {а?；,..., ж*; т；,.. ., г* }, где г* = [pl ^*]——округление до ближайшего целого.
Очевидно, N* = \{^kLc~xL[D{e"}\)xf^^} — округление до ближайшего целого.
Методы решения задач планированияоптимальных измерений
В дальнейшем рассматриваются только непрерывные нормированные планы £. Заметим, что информационная матрица М(е) вырождена, если спектр плана £ содержит менее т точек. Поэтому количество точек п спектра любого разумного плана £ должно состоять не менее чем из т точек.
Естественно конструировать планы с наименьшим числом точек спектра.
Теорема 13.1 (Де Ла Гарза). Для любого плана е с числом точек спектра п ^ т всегда найдется такой план ? с числом точек спектра m + 1, что М{е) = Л/(е).
Из теоремы 13.1 следует, в частности, что оптимальные планы е* можно искать в классе планов £ с числом точек спектра, равным m + 1. Ниже будет показано, что для определенного класса задач число точек спектра планов, среди которых существуют оптимальные, можно понизить до m — минимально возможного.
Непрерывный нормированный план с называется невырожденным, если матрица плана М(е) невырожденная.
Теорема 13.2. Пусть £ = {比1,.. ., жп; pi,. .., рп} — невырожденный план. Тогда 1° £启入(吃)6/(吃；е) = т; 2° maxxGX X(x)d(x] е)》 г = 1
》т, где X — вся область изменения независимой переменной х, где фиксируется спектр планов.
Наиболее широко используют Р-оптимальность. Р-оптимальные непрерывные планы обладают рядом замечательных свойств.
Теорема 13.3 (Вольфовиц-Кифер). Следующие утверждения эквивалентны: е* — Р - оптимальный плащ е* минимизирует тах^ех 入(a?)d(a?; е); maxxEXX(x)d(x] е) = т.
Теорему 13.3 принято называть теоремой эквивалентности. Из теоремы эквивалентности, в частности, следует, что при Л(а?) = const ^-оптимальный непрерывный план одновременно является минимаксным непрерывным планом, и наоборот.
Теорема 13.4. Пусть z = Z(a?) — взаимно однозначное преобразование и £： = {zi,. . ., Zn； pi,... ,рп} — Т>-оптимальный непрерывный план восстановления функциональной зависимости у У = fT(z)Uj где f(z) = g(ZT(z)). Тогда непрерывный план 磋 = ={a?i,. .. , хп] 01,... , Рп}, где Xi = Z-1^), г = 1,. . ., п, V-оптимален при восстановлении функциональной зависимости у =夕『(а?) и.
Теорема 13.4 часто дает возможность с помощью замены независимой переменной переходить от сложных вектор-функций д(:с) к более простым /(а?) и искать 7?-оптимальные планы относительно новой независимой переменной z.
Пример 13.3. Пусть у = q + и2е~ах, %》0, А(ж) = е~а®, а〉0. Найдем Р-оптимальный план е*. Сделаем замену переменной z = е~ах. Имеем: у = щ -{- “2%,入⑶=г, 0 ^ z ^ 1. Рассмотрим класс планов вида — = {1, z(); 1 - р, р}, где 0 < z0 ^ 1, 0 < р < 1. Имеем
((1 - р) + zop (1 - Р)+ z帥、 [(1 -+ zip (1 ~ p) + 若p丿，
|M(G)| = p(l - p)(z^ - 2z^ + Zo).
Следовательно, максимум \M(ez)\ достигается при p = 1/2, No = 1/3. Положим £； = {1,1/3; 1/2,1/2}. Имеем: maxX(z)d(z; с；) = 2. Из теоремы эквивалентности следует, что £啜 ——Р-оптимальный непрерывный план для g = 〃1 + 〃2之，入(z) = z, 0 V z W L Тогда из теоремы 13.4 следует, что £： = {0, ^ In 3; 1/2,1/2} — Р-оптимальный непрерывный план для восстановления функциональной зависимости g = щ + uie~ax, Л(а?) = е~ах, /》0. Таким образом, если половину измерений делать при а? = 0, а вторую половину —— при ж = ~ In 3, то план £ будет а
19-оптимальным.
Поиск 7?-оптимального непрерывного плана состоит в максимиза- ции определителя \М(е)\ = | ^ Pi^^i)^^^^(xi)\ 口о переменным г=1
Ж1, • • • , Хп)Р1)• • •)Рп, ^2 Pi = 1，1》热》0. t=l
Можно показать, что при п = т справедливо равенство |М(е)| =
= 口 PiA(g)|4『，где а = (<^(Ж1),...,(р(хт)) — (т х ??г)-матрица. i=i
Из последнего равенства следует, что максимальное значение |Л1(е)| по pi,.. . , рт достигается при 热 =1/m, i = 1,. .., m, независимо от 6,…，хт. Таким образом, если спектр Р-оптимального плана состоит из т точек, то количество измерений должно быть размещено равномерно по точкам спектра, а задача поиска Р-оптимального плана сводится к максимизации по Ж1,..., хт функционала \А\2 口 入(д). i=i
Пусть (Pj(x) = /т, j = 1,..., m, т. е. рассматривается задача восстановления полиномиальной функциональной зависимости
У = Е UjX$T.
Чтобы для полиномиальной зависимости существовал P-оптимальный план с минимально возможным количеством точек спектра n = т, необходимо наложить некоторые условия на функцию относительной эффективности измерений Л(ж).
Система непрерывных функций /Дж), г = 1,..., т, определенная на промежутке X, называется чебышевской^ если любая линейная ком- mm
бинация этих функций £ Cifi(x) (с» действительные, £ Ci〉0) имеет г=1г=1
не более т — 1 корней на промежутке X.
Очевидно, что система 九(纪)=ж1-1, г = 1,..., т, — чебышевская.
Теорема 13.5. Пусть 1, А(ж),..., А(ж)ж2^т-1^ — чебышевская система на промежутке X. Тогда при восстановлении полиномиальной зависимости у = £ 〃亍2：亍-1 существует Р - оптимальный план с числом точек спектра п — т.
Теорема 13.6. Пусть рассматривается задача восстановленияполиномиальной зависимости у = ^ UjX^1 для следующих четырех5=1Теорема 13.6. Пусть рассматривается задача восстановленияполиномиальной зависимости у = ^ UjX^1 для следующих четырех5=1Рассмотрим в качестве промежутка X один из трех стандартных промежутков [—1,1], [0, оо), (—оо, оо). С помощью линейной замены независимой переменной любой промежуток можно свести к одному из этих трех, а при линейной замене полиномиальная зависимость остается полиномиальной (с сохранением степени полинома).
Теорема 13.6. Пусть рассматривается задача восстановленияполиномиальной зависимости у = ^ UjX^1 для следующих четырех5=1
Теорема 13.6. Пусть рассматривается задача восстановленияполиномиальной зависимости у = ^ UjX^1 для следующих четырех5=1
случаев:
1° AQ) = const, n е [—1,1];
2° А(ж) = (1- n尸(1 + n", а, 0〉一1, n G [-1,1];
3О A(n)=①a+16-°, a > -1,①》0;
4° A(n) = 6一工\ n e (—oo; oo).
Тогда для каждого из этих четырех случаев существует Т)-оптимальный непрерывный план е* = {a；i,..., Nm； 1/т,..., 1/т}, един
для случаев: 1. (1 —峭辔曰 dxдля случаев: 1. (1 —峭辔曰 dxственный в классе планов с п = т. Точки спектра V-оптимальных
для случаев: 1. (1 —峭辔曰 dx
для случаев: 1. (1 —峭辔曰 dx
планов являются корнями полиномов
где Pm-i — полином Лежандра степени m — 1; 2. Рт^\х) — полином Якоби степени т с параметрами а,0; 3. L^)(n) — полином
Чебышева-Лагерра с параметром а; 4. "m(N)— полином Чебышева- Эрмита.
Доказательство всех четырех случаев теоремы 13.6 аналогично. Рассмотрим, например, первый случай.
m
Имеем: \М(е)\ = — С|Л|2, где |Л|2 =J~[(必—ж/)2, In |Л|2 =
т®i,*M=i
=£ In (xk — 3)2. Поэтому задача максимизации \М(е)\ эквива-
к#/, к,1 = 1
лентна задаче максимизации £ In (ж^ — ж/)2. Для нахождения к" к,1=1
точек спектра имеем систему уравнении ——^~~—, к = 1,…，тп, кото- OXk
рую запишем в виде
1111
h • • • Н1h • • • 4= 0, ® fc — ® 1^k — ®fc — lХк — k/e+1况 k — «тп
A: = 1,..., m.
Обозначим /(z) = (x - Xi) • ... • (ж - xm). Имеем
纪 m) + • • •纪 m) + • • •„ = (ж - ж2)(ж - жз) • ... • (ж -
纪 m) + • • •
纪 m) + • • •
...+(37 -①。(①一纪2)•♦•••(①一①m —1),
，，①)=(%k — %1)纪k — Xк — 1}^к —纪k + 1) • • • • •(纪k —纪m).
— %3)—纪m) + • • • + (纪—纪 1) • . . . •(Ж ——2),
ax
~2~~—①2)' • • • * ^к ——1)(纪k —纪k + 1) • • • • * (纪k —纪m) +
ах
+ (/k - %1)(%自一*^3), • • • • (/k一①k —1)(①k 一①k + 1)
• . . •(①九 ％m) ++ (纪A;纪 1)(纪A;纪2)* • • ♦
. • • •(①k-%k —1)(①к一/ь+1) • . . . • ^Xk - 2*m —1)•
Поэтому
d2 f(xk) / df (xk) _1 I 1 j I 1 I
dx / dxЖ jt X1 Ж кЖ 2® kк—1
Нh Ч— 0-
d2f3)d2f3)(1 - ж2) = a/Q), где а(1 - ж2) = a/Q), где а® fc — Ж A:4-1^k — «m
d2f3)
d2f3)
(1 - ж2) = a/Q), где а
(1 - ж2) = a/Q), где а
dx2dx2Из последнего равенства следует, что
dx2
dx2
постоянная. Приравнивая в обеих частях последнего равенства коэффициенты при хт, получаем а = —т(тп + 1)/2. Следовательно,
(一 2)虫寧+吗U=odx2
Но решением последнего уравнения является функция
",)=(1一吊笠尸.
Теорема 13.6 для рассматриваемого случая доказана.
При решении практических задач часто возникает необходимость восстановления тригонометрической функциональной зависимости
У = 〃1 + £ (必+1 COS kx + 〃m+l + k sin kx),
где Uj, 7 = 1,..., 2m + 1, неизвестны.
Пусть X = [0; 2тг], А(ж) = const. Тогда любой непрерывный план сп» 2m + 1, с равномерным спектром и равными весами р^ = 1/几,0 = =1,...,几,является О-оптимальным. Более того, любой непрерывный план, Р-оптимальный для тригонометрической зависимости с m = то, будет Р-оптимальным для тригонометрической зависимости ст < 7no.
Выше уже отмечалось, что при А(ж) = const Р-оптимальный план совпадает с минимаксным планом. Ниже приведены условия для совпадения планов, оптимальных по разным критериям.
Теорема 13.7. План £* является одновременно Q- и А-оптимальным если 3i(%), г = 1,..., m, — ортонормированная система на промежутке X,т. е. j g(二)9T(纪)dx = Im.
x〜
Для полиномиальной зависимости с А(ж) = const доказано, что спектры Q- и Q-оптимальных планов совпадают (n = т), т. е. измерения необходимо проводить в нулях полинома (1 — ж2)^—но веса ах
для Q-оптимальных планов определяются равенствами
Pi = |Лп(д)|т/ £ 1^7п(ж>)|-1, j = 1,. .. ,т,5=1
Рщ(%) — полином Лежандра.
Для тригонометрической зависимости Q- и А-оптимальные планы совпадают.
Из вышесказанного следует, что нахождение точного P-оптимального непрерывного плана аналитическими методами возможно только для специальных систем функций 夕/(%), J = 1,..., m, A(z).
В общем случае, когда найти точный Р-оптимальный непрерывный план аналитическими методами не удается, его можно найти численными методами. Ниже приводится итерационный процесс, сходящийся к 1?-оптимальному плану. Основой ИП является теорема эквивалентности (см. выше).
Зададим невырожденный план е()= {a：i,. .. , жп; pi,. .. , рп}^ 几 2 》т. На каждом шаге ИП осуществляются следующие три этапа.
Подсчитываются информационная матрица
М(£о) = £р j(g)3(g)gT(g)
i=i
и матрица Т>(£о) = М-1^^).
Находится точка
жо = arg тахЛ(ж) d(x; во)?хЕХ
где dQ; Q)= ^т(ж)Р(£0)^(ж);
Формируется новый план
^1 = (1 - а。)。+ а0^(ж0),
где
£(①0)= {%0； 1},
£1 = {жх,..., хп,纪о； (1 — a())pi,..., (1 ■—仪0)卩九，а。},
а «шаг» а。выбирается так, чтобы увеличение |Л/(81)| было максимальным.
Для такого а。справедливо равенство а。= 3о/((3о + тп — 1)т), где Во = A(%o)d(a：o； Ео) — m > 0. После осуществления третьего этапа а。 заменяют на s и возвращаются к первому этапу.
Доказано, что последовательность планов £九 сходится к P-оптимальному плану £*.
Правилом останова ИП может быть выполнение неравенства о^ < 〃，где 〃 > 0 — заданное малое число.
После осуществления «о шагов ИП к первоначальным 几 точкам спектра добавляются «о новых точек. Чтобы количество точек спектра не возрастало, используют два правила: 1° точки спектра с малыми весами, изолированные от других точек спектра, отбрасываются (с равномерным распределением веса отбрасываемых точек по множеству
оставшихся, так чтобы выполнялось равенство ^ Pi = 1，где Пк — i=i
количество остающихся точек спектра); 2° точки спектра жл,..., ж/г, близкие друг к другу, объединяются в одну точку по правилу
Гг
①/ = £纪㈢型，Pi = £ Рh-
Более подробные сведения о решении задач планирования оптимальных экспериментов можно найти в [29,78].
Список литературы
Айвазян С.А. Основы эконометрики. — М.: ЮНИТИ, 2001.
Айвазян С.А.^ Енюков И.С.、Мешалкин Л.Д. Прикладная статистика: исследование зависимостей. Справочное издание под ред. С.А. Айвазяна. — М.: Финансы и статистика, 1985.
Айвазян С.А.^ Енюков И.С.、Мешалкин Л.Д. Прикладная статистика: основы моделирования и первичная обработка данных.— М.: Финансы и статистика, 1983.
Айвазян С.А.^ Мхитарян В.С. Прикладная статистика в задачах и упражнениях.——М.: ЮНИТИ, 2001.
Айвазян С.А.^ Мхитарян В.С. Теория вероятностей и математическая статистика, 2-е изд. — М.: ЮНИТИ-ДАНА, 2001.
Алгоритмы и программы восстановления зависимостей. Под ред. В.Н. Вапника. — М.: Наука, 1984.
Арсенин В.Я.、Крянев А.В. Применение статистических методов решения некорректных задач для обработки результатов физических экспериментов. В кн.: Автоматизация научных исследований в экспериментальной физике. — М.: Энергоатом из дат, 1987, С. 19-30.
Арсенин В.Я, Крянев А.В., Цупко-Ситников М.В. Применение робастных методов при решении некорректных задач // ЖВММФ. 1989. Т. 29. № 5. С. 653-661.
Арсенин В.Я., Крянев А.В. Обобщенный метод максимального правдоподобия решения конечномерных некорректных задач // ЖВММФ. 1991. Т. 31. № 5. С. 643-653.
Баласанов Ю.Г.^ Дойников А.Н., Королев М.Ф., Юровский А.Ю. Прикладной анализ временных рядов с программой ЭВРИСТА.— М.: Центр СП «Диалог» МГУ, 1991.
Бард Я. Нелинейное оценивание параметров. — М.: Статистика, 1979.
Белонин М.Д.^ Татаринов И.В., Калинин О.М.^ Шиманский В.К.、 Бескровная О.В., Гранский В.В.)Похитонова Т.Е. Факторный анализ в нефтяной геологии. — М.: ВИЭМС, 1971.
Богданов Ю.И. Основная задача статистического анализа данных: корневой подход. — М.: Изд-во МИЭТ, 2002.
Большее 〃.“., Смирнов Н.В. Таблицы математической статистики. —М.: Наука, 1983.
Вапник В.Н. Восстановление зависимостей по эмпирическим данным. —М.: Наука, 1979.
Вапник В.Н.、Стефанюк А.Р. Непараметрические методы восстановления плотности вероятностей.—— АиТ. 1978. Т. 8. С. 38-52.
Васильев Ф.П. Методы оптимизации. — М.: Факториал Пресс, 2002.
Васильев Ф.П. Методы решения экстремальных задач. — М.: Наука, 1981.
Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю.В. Прохоров. ——М.: Изд-во Большая Российская Энциклопедия, 1999.
Воеводин В.В. Вычислительные основы линейной алгебры.——М.: Наука, 1977.
Волков H.F.)Дорогое В.И., Коньшин В.А.^ Крянев А.В. Комплексная программа восстановления регрессии и проведение оценки о/, aty а и Uf для [/235. — Минск, Препринт ИЯЭ АН БССР, 1986.
Воскобойников Ю . Е., Преображенский Я.Л, Седельников А.И. Математическая обработка эксперимента в молекулярной газодинамике. —Новосибирск: Наука, 1984.
Гантмахер Ф.Р. Теория матриц. — М.: Наука, 1967.
Главные компоненты временных рядов: метод «Гусеница». В сб. под ред. Д. Данилова и А.А. Жиглявского. — СПб.: СПбГУ, 1997.
Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. Li-подход. — М.: Мир, 1988.
Де Гроот М. Оптимальные статистические решения. — М.: Мир, 1974.
Демиденко Е.З. Линейная и нелинейная регрессии.——М.: Финансы и статистика, 1981.
Джонсон Я., Лион @. Статистика и планирование эксперимента в технике и науке. — М.: Мир, 1980, Т. 1; 1981, Т. 2.
Ермаков С.М.、Жиглявский А.А. Математическая теория оптимального эксперимента. — М.: Наука, 1987.
Жуковский Е.Л.)Мелешко В. И. О помехоустойчивых решениях в линейной условной алгебре // ДАН СССР. 1978. Т. 241. №5・ С. 1009-1012.
Жуковский Е.Л., Морозов В.А. О последовательной байесовской регуляризации алгебраических систем уравнений // ЖВММФ. 1972. Т. 12. № 2. С. 464-465.
Завьялов Ю.С.、Квасов Б.И.^ Мирошниченко В.Л. Методы сплайн- функций. — М.: Наука, 1980.
Закс Ш. Теория статистических выводов. — М.: Мир, 1975.
Зрелое П.В., Иванов В. В. Интегральные непараметрические статистики з^ =九亍 J |Sn(%) — P(x)\k и их основные свойства. Алгебраический вид, функции распределения и критерии согласия. —Сообщения ОИЯТ, Р10-92-461, Дубна, 1992.
Иванов ВК、Васин В.В.、Танана В.П. Теория нелинейных некорректных задая и ее приложения.——М.: Наука, 1978.
Калиткин Н.Н. Численные методы. — М.: Наука, 1978.
Кендалл М. Временные ряды. — М.: Финансы и статистика, 1981.
Кендалл М. Дж., Стюарт А. Статистические выводы и связи.— М.: Наука, 1973.
Кислицын М.М. Многомерная статистика временных рядов наблюдений в авиационной эргономике.——Вопросы кибернетики, 1978, т. 51.
Крамер Г Математические методы статистики. — М.: Мир, 1975.
Крянев А.В. Статистическая форма регуляризованного метода наименьших квадратов А.Н. Тихонова. — Докл. АН СССР. 1986. Т. 291. № 4. С. 780-785.
Крянев А.В. Применение современных методов параметрической и непараметрической статистики при обработке данных экспериментов на ЭВМ. — М.: МИФИ, 1987.
Крянев А.В. Применение современных методов математической статистики при восстановлении регрессионных зависимостей на ЭВМ. 一 М.: МИФИ, 1988.
Крянев А.В., Лукин Г.В. О постановке и решении задач оптимизации инвестиционных портфелей. Препринт 006-2001.——М.: МИ①К, 2001.
Крянев А.В.У Черный А.И. Робастные линейные сглаживающие сплайны и их применения. Препринт 006-97. — М.: МИФИ, 1997.
Лаврентьев М.М., Романов В.Л, Шишатский С.П. Некорректные задачи математической физики и анализа. — М.: Наука, 1980.
Лаврентьев М.М., Федотов А.М. О постановке некоторых некорректных задач математической физики со случайными исходными данными // ЖВММФ. 1982. Т. 22. № 1. С. 133-143.
Леман 3. Теория точечного оценивания. — М.: Наука, 1991.
Лисковец Д.А. Вариационные методы решения неустойчивых задач. —Минск: Наука и техника, 1981.
Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования. —М.: Статистика, 1979.
Марчук Г.И. Методы вычислительной математики. — М.: Наука, 1989.,
Марчук С%., Анатбаев С.А. Некоторые вопросы глобальной регуляризации // ДАН СССР. 1970. Т. 190. № 3.
Марчук Г%., Васильев В.Г, О приближенном решении операторных уравнений первого рода // ДАН СССР. 1970. Т. 199. №4.
Морозов В.А. Регулярные методы решения некорректных задач.— М.: Наука, 1987.
Муравьева М.В. Об оптимальных и предельных свойствах Байесовского решения системы линейных алгебраических уравнений // ЖВММ①.1973. Т.13. № 7. С. 819-828.
Мэйндоналд Дж. Вычислительные алгоритмы в прикладной статистике. —М.: Финансы и статистика, 1988.
Надарая Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии.——Тбилиси: ТГУ, 1983.
Пергамент А.Х. Регуляризованные алгоритмы статистического оценивания функций при наличии корреляционной помехи / Препринт ИПМ им. М.В. Келдыша АН СССР, № 21, 1986.
Пергамент А.Х., Тельковская О.В. Метод регуляризации и метод максимального правдоподобия при решении интегральных уравнений 1-го рода / Препринт ИПМ им. М.В. Келдыша АН СССР, № 111, 1979.
Пределы предсказуемости. Под ред. Ю.А. Кравцова.——М.: Цен- трКом, 1997.
Пригожин И.Р. Конец определенности: Время, хаос и новые законы природы. — Ижевск: ИРТ, 1999.
Пугачев В. С. Теория вероятностей и математическая статистика. —М.: Физматлит, 2002.
Пугачев В. С, Синицын И.Н. Теория стохастических систем.——М.: Логос, 2000.
Пытьев Ю.П. Математические методы интерпретации эксперимента. —М.: Высшая школа, 1989.
Рао С.Р. Линейные стохастические методы и их применения.— М.: Наука, 1968.
Рунион Р. Справочник по непараметрической статистике. Современный подход. — М.: Финансы и статистика, 1982.
Савелова Т.И. Примеры решения некорректно поставленных задач. -М.： МИФИ, 1999.
Себер Дж. Линейный регрессионный анализ.——М.: Мир, 1980.
Смоляк С.А.^ Титаренко Б.П. Устойчивые методы оценивания.—— М.: Статистика, 1980.
Соболь И.М. Численные методы Монте-Карло. — М.: Наука, 1973.
Тихонов А.Н.^ Арсенин В.Я. Методы решения некорректных задач. —М.: Наука, 1979.
Тихонов А.Н., Гончарский 4 А, Степанов А А, Ягола А.Г. Регуляризующие алгоритмы и априорная информация. — М.: Наука, 1985.
Тихонов А.Н.^ Леонов 4С, Ягола А.Г. Нелинейные некорректно поставленные задачи. — М.: Наука, 1995.
Турчин В.①.,Козлов В.П.、Малкевич М.С. Использование методов математической статистики при решении некорректных задач // Успехи физ. наук. 1970. Т. 102. № 3. С. 345-386.
Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере / Под. ред. Фигурнова В.Э. — М.: 14H①РА・М, 1998.
Федер Е. Фракталы. — М.: Мир, 1991.
Федоренко Р.П. Введение в вычислительную физику. — М.: Изд-во (физтеха, 1994.
Федоров В.В. Теория оптимального эксперимента. — М: Наука, 1971.
Федотов А.М. Линейные некорректные задачи со случайными ошибками в данных. — Новосибирск: Наука, 1982.
Фракталы в физике. — М.: Мир, 1989.
Хампель Ф., Рончетти Э., Рауссеу 〃., Штаэль В. Робастность в статистике. Подход на основе функций влияния.——М.: Мир, 1989.
Холдендер М., Вулф Д. Непараметрические методы статистики,— М.: Финансы и статистика, 1983.
Хьюбер П. Робастность в статистике. — М.: Мир, 1984.
Цыпкин Я.З. Основы информационной теории идентификации.—— М., 1984.
Ченцов Н.Н. Почему Li-подход и что за горизонтом? Дополнение 1 к книге Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. — М.: Мир, 1988.
Ченцов Н.Н. Статистические решающие правила и оптимальные выводы. — М.: Наука, 1972.
Шарп УФ., Александер Г.Дж., Бейли Д.В. Инвестиции. — М.: Инфра-М, 2000.
Шурыгин А.М. Прикладная стохастика: робастность, оценивание, прогноз. — М.: Финансы и статистика, 2000.
Шустер Г. Детерминированный хаос. — М.: Мир, 1988.
Abarbanel Н. D. I. Analysis of Observed Chaotic Data. — N. Y.: Springer, 1996.
Arsenin V. Уа., Krianev A. V. Generalized maximum likelihood method and its application for solving ill-posed problems. Некорректно-поставленные задачи в естественных науках. — М.: ТВП, 1992.
Broomhead D. £, Jones 足,King G.尸,Pike E. R. Singular system analysis with application to dynamical systems. — In: Chaos, Noise and Fractals, ed. by E. R. Pike and L. A. Lugaito. — Bristol: IOP Publishing, 1987.
Broomhead D. S「King G. P. On the qualitative analysis of experimental dynamical systems. — In: Nonlinear Phenomena and Chaos, ed. by S. Sarkar. — Bristol: Adam Hilder, 1986, p. 113-144.
Broomhead D. S., King G. P. Extracting qualitative dynamics from experimental data // Physica D. 1986. V. 20. P. 217-236.
Daubechies /. Ten lectures on wavelets. — SIAM, 1992.
Draper R. N., Smith H. Applied Regression Analysis. — N. Y.: Wiley, 1998.
Elsner J. B., Tsonis A. A. Singular Spectrum Analysis. New Tool in Time Series Analysis. — N. Y.: Plenum Press, 1996.
Golyandina N., Nekrutkin K, Zhigljavsky A. Analysis of Time Series Structure. SSA and Related Techniques. — Chapman & Hall / CRS, 2001.
Hernander £, Weiss G. A First Course of Wavelets. — CRS Press, 1996.
Jolliffe /. T. Principal Component Analysis. Springer Series in Statistics. —N. Y.: Springer-Verlag, 1986.
Kantz Я., Schreiber T. Nonlinear Time Series Analysis. — Cambridge: Cambridge University Press, 1997.
Keizer G. A Friendly Guide to Wavelets. — Birk, 1995.
Lokenath Debnath. Wavelet Transforms and Their Applications.— Hardcover Edition, 2002.
Misiti Л1., Misiti K, Oppenheim G., Родду J.-M. Wavelet Toolbox for Use with MATLAB, 1988.
Mosteller F., Tukey J. W. Data Analysis and Regression: Second Course in Statistics. Reading. — MA: Addison-Wesley, 1977.
Parzen E. On estimation of a probabilities for sums of bounded random variables // Annals of Mathematical Statistics. 1962. V. 33. P. 10651076.
Persival DA, Walden A. T. Wavelet Methods for Time Series.— Hardcover Edition, 2002.
Rosenblatt M. Remarks on some nonparametric estimates of a density function // Annals of Mathematical Statistics. 1956. V. 27. P. 832835.
Tikhonov 4.N., Leonov 4.S., Yagola A.G. Nonlinear Ill-Posed Problems. V. 1, 2. — London: Chapman Hall, 1998.
Vautard Я., Yiou 尸.,Ghil M. Singular-spectrum analysis: A toolkit for short noisy chaotic signals // Physica D. 1992. V. 58. P. 95-126.
Предметный указатель
Вейвлет 177
—FHAT 179
—базисный 178
—Добеши 179
—Хаара 178
Выборка априорная 44, 126
Выбросы большие 48, 57, 112
Гипотеза о законе распределения 74, 76
совпадении законов распределения 77
Дисперсия эмпирическая 19
Доля засорения 54, 56
Задача минимаксная 51
—некорректно поставленная 69
—экстремальная 29, 36, 51
Задачи восстановления некорректно поставленные 117
——линейного регрессионного анализа 90
—прогнозирования 109
—экономические 109
Информация априорная 35, 37, 40, 41, 43, 46, 48, 117
детерминированная 137
—Фишера 26, 51
Итерационный процесс Левенбер- га 151
Ньютона-Гаусса 150
Компонента детерминированная
153
一 хаотическая 153
Коридор ошибок 193
Кофлеты 180
Критерий J 74
—Колмогорова 74
—Пирсона 75
—хи-квадрат 75
Матрица Гильберта 154
—информационная обобщенная 128
Фишера 27, 30, 34, 45, 46
——плохо обусловленная 108
—сопряженности 98
—точности 39
Медиана выборки 54
Мера точности 37
Метод Байеса 35, 38, 40, 118
—вариационно-взвешенных квадратических приближений 59, 115
——выделения главной части 87
—вычетов Лемера 81
—гистограмм 62, 70
—квадратного корня 43, 108
——корневой оценки плотности 71
—максимального правдоподобия 29, 44, 72
обобщенный 35, 42, 45, 126
—минимаксный 40, 118, 121
Хьюбера 54
—моментов 20
—Монте-Карло 79
—наименьших квадратов 90
итеративный 58, 114
—Неймана 81
—Ньютона-Гаусса 149
—ортогональных проекций 141
регуляризованный 144
—оценивания устойчивый 49
—регуляризации Тихонова 124
—Розенблатта-Парзена 63
—сглаживающих линейных сплайнов 158
ортогональных полиномов 153
робастных 158
—сопряженных градиентов 42, 70
—Форсайта 154
—Холецкого 43
—Ченцова 71
Методы восстановления робастные 111
—непараметрические 16, 60
—оценивания робастные 111
—проекционные 66
—статистического моделирования 79
Минимаксный подход 49
Множество априорное 40-42, 44, 47, 121
Моделирование случайных величин 79
Модель регрессионная 118
многофакторная 109
—смеси 113
Неравенство Фишера-Крамера- Рао 26, 28
обобщенное 134
Нижняя граница Фишера- Крамера-Рао 30, 33
Оценка Lp 58
—Андрюса 58
—асимтотически нормальная 34
—Байеса 36-40, 118
—взвешенная МНК Гаусса- Маркова 104
—Винзора 56
—Грама-Шарлье 67
—метода максимального правдоподобия 29-33, 41, 44, 45, 49
наименьших квадратов 93, 112,154
ортогональных проекций 141
регулиризованная 144
—минимаксная 40, 41, 43, 121
Хьюбера 56
—обобщенного метода максимального правдоподобия 42, 44—46
—плотности ОММП 70
—Рамсея 58
—робастная 17, 49, 53, 57, 58, 112
—устойчивая 55
—Хьюбера 54-56, 112
робастная 113
—Ченцова 69
—эффективная 17, 26, 28, 48
Оценки совместно эффективные 28, 134
Параметр регуляризации 63, 67
—сдвига 49, 51, 56
—Хьюбера 52, 112
План эксперимента 194
непрерывный нормирован
ный 198
нормированный 194
непрерывный оптималь
ный 198
Планирование оптимальных экспериментов 192
Плотность вероятностей 15
апостериорная 36
гипотетическая 48
реперная 52, 66
робастная 51
устойчивая 51, 52, 54
относительно класса 49
Показатель Херста 155
Полином Чебышева-Лагерра 68
—Чебышева-Эрмита 67
Последовательность асимптоти
чески нормальная 33
Прогнозирование временных процессов 182
Распределение апостериорное 37
совместное 38, 39
—априорное 38
совместное 38, 39
—реперное 67
—условное 39
Риск апостериорный 36
Симлеты 180
Сингулярно-спектральный анализ 187
Система уравнений правдоподобия 29
Сопряженное семейство 37
Сплайн кубический интерполяционный 167
сглаживающий 167
робастный 175
——линейный интерполяционный 159
сглаживающий 158
робастный 163
Способ невязки 71
Статистическое моделирование 79
Теорема Гаусса-Маркова 94
— Гливенко-Кантелли 60
—Де Ла Гарза 199
—Неймана 81
—Пирсона 76
—Фишера 76
—Фишера-Крамера-Рао 24
—Хьюбера 52
—Эйкера 97
Уравнение интегральное 1-го рода 69, 91
——линейного регрессионного анализа 93
—правдоподобия 53
Уравнения обобщенные правдоподобия 45
Уровень доверия 23
—риска 22
Формула Байеса 36, 118
Функционал затрат 197
—потерь 197
Функция Андрюса 112
——относительной эффективности измерений 193
—потерь 36, 37
—правдоподобия 24, 29, 42, 44
априорная 126
логарифмическая 24, 44, 54
совместная 45
обобщенная 45, 126
совместная 45
—Рамсея 112
—Тьюки 165
—Хьюбера 57, 112, 163
—эффективности измерений 193
Нисла псевдослучайные 81
Научное издание
КРЯНЕВ Александр ВитальевичЛУКИН Глеб Владимирович
МАТЕМАТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИНЕОПРЕДЕЛЕННЫХ ДАННЫХ
Редактор Н.Б. Бартошевич-ЖагельОригинал-макет: В. В. ХудяковОформление переплета: А.А. Логунов
ЛР №071930 от 06.07.99. Подписано в печать 16.04.03.
Формат 60x90/16. Бумага офсетная. Печать офсетная.
Усл. печ. л. 13,5. Уч.-изд. л. 14,5. Заказ №3866
Издательская фирма «Физико-математическая литература»МАИК «Наука/Интерпериодика»
117997 Москва, ул. Профсоюзная, 90
E-mail: fizmat@maik.ru
Отпечатано с готовых диапозитивов в ПФ «Полиграфист»160001, г. Вологда, ул. Челюскинцев, 3Тел.: (8172) 72-55-31, 72-61-75, факс: (8172) 72-60-72E-mail: form.pfp@votel.ru http://www.Vologda/~pfpv
ISBN 5-9221-0412-8
Издательская фирма
« Физико-математическая литература»МАИК «Наука/Интерпериодика»117997 Москва, Профсоюзная ул., 90
В издательстве «ФИЗМАТ Л ИТ» вышли из печати(2000-2003 гг.)
Для поступающих в вузы
Белолипецкий С.Н., Еркович О.С., Казаковцева В.А., Цвецинская Т.С. Задачник по физике.
Бендриков Л А., Буховцев Б. Б., Керженцев В.В., Мякише в Г. Я. Задачи по физике для поступающих в вузы.
Будак А.Б., Щедрин Б.М. Элементарная математика: Руководство для поступающих в вузы.
Бутиков Е.И., Кондратьев А.С. Физика.
Бутиков Е.И., Кондратьев А.С., Уз дин В.М. Физика.
Буховцев Б.Б., Кривченков В.Д., Мякишев Г.Я., Сараева И.М. Сборник задач по элементарной физике.
Лурье М.В. Геометрия. Техника решения задач.
Математика. Задачи вступительных экзаменов в МГУ им. М.В. Ломоносова с ответами и решениями (1999-2002 гг.).
Назаретов А.П., Пигарев Б.П., Садовничая И.В., Симонов А.А. Математика. Задачи и варианты их решения на вступительных экзаменах в московских вузах (экономические специальности).
Назаретов А.П., Садовничая И.В., Симонов А. А. Математика. Задачи и варианты их решения на вступительных экзаменах в московские вузы (технические специальности).
Памяти Г.А. Аскарьяна.
Пинский А.А. Задачи по физике.
Потапов Михаил Константинович^ Олехник Слав Николаевич^ Нестеренко Юрий Васильевич Конкурсные задачи по математике.
Седракян Н.М., Авоян А.М. Неравенства. Методы доказательства.
Чепурнова Н.Е., Соколова Н.А. Биология. Руководство для поступающих в вузы.
Шклярский Д.О., Ченцов Н.Н., Яглом 〃.М. Избранные задачи и теоремы элементарной математики. Арифметика и алгебра.
Шклярский Д.О., Ченцов Н.Н., Яглом И.М. Избранные задачи и теоремы элементарной математики. Геометрия (планиметрия).
Шклярский Д.О., Ченцов Н.Н., Яглом И.М. Избранные задачи и теоремы элементарной математики. Геометрия (стереометрия).
Яворский Б.М., Пинский А.А. Основы физики.
Яворский Б.М., Селезнев Ю.А. Физика. Справочное пособие для поступающих в вузы.
Научно-популярная литература
Афанасьева О.В., Резвецова М.Д., Самохина Т.С. Сравнительная типология английского и русского языков (практикум).
Баврин И.И. Сельский учитель С.А. Рачинский и его задачи для умственного счета.
Базелян 9 M., Райзер Ю.П. Физика молнии и молниезащиты.
Бессараб М.Я. Так говорил Ландау.
Богданкевич О.В. Лекции по экологии.
Бродянский В.М. Вечный двигатель ——прежде и теперь. От утопии ——к науке, от науки — к утопии.
Воспоминания об академике А.Б. Мигдале.
Делоне Н.Б, Атом в сильном поле лазерного излучения.
Киселев А.П. Арифметика.
Кляцкин В.И. Стохастические уравнения глазами физика (Основные положения, точные результаты и асимптотические приближения).
Колмогоров А.Н. Звуков сердца тихое эхо.
Колмогоров 4Н. Истина — благо.
Колмогоров А.Н. Этих строк бегущая тесьма ...
Любимов 4, Киш Д. Введение в экспериментальную физику частиц.
Сергей Алексеевич Лебедев. К 100-летию со дня рождения основоположника отечественной электронной вычислительной техники.
Стечкин Б. С. Избранные труды: Научные, педагогические, публицистические материалы.
Стечкин Б. С. Избранные труды: Теория тепловых двигателей.
И другие книги
По вопросам приобретения книг обращаться:Издательская фирма« Физико-математическая литература»117997 Москва, Профсоюзная ул., 90тел./факс (095) 334-7421, e-mail: fizmat@maik.ru
A.B. КРЯНЕВ, Г.В. ЛУКИН
МАТЕМАТИЧЕСКИЕ МЕТОДЫОБРАБОТКИНЕОПРЕДЕЛЕННЫХДАННЫХ
Допущено Министерством образования Российской Федерациив качестве учебного пособия для студентов высших учебныхзаведений, обучающихся по направлению и специальности“Прикладная математика и информатика'
МОСКВАФИЗМАГЛИТ2003
УДК 519.2+6
ББК 22.17, 22.19
К 85
К р я н е в А. В , Лукин Г. В. Математические методы обработки неопределенных данных. — М.: ФИЗМАТЛИТ, 2003. — 216 с. — ISBN 5-9221-0412-8.
В первых главах монографии изложены основные понятия параметрической и непараметрической статистики, включая понятия оценки, а также требования, предъявляемые к свойствам оценок с точки зрения их вычисления при обработке данных на компьютере. В 7-13 главах монографии изложены методы и алгоритмы восстановления регрессионных зависимостей, включая методы прогнозирования и решения задач планирования оптимальных экспериментов.
Предполагается, что читатель предварительно освоил курс теории вероятностей и математической статистики на базе, например, книги В.С Пугачева «Теория вероятностей и математическая статистика».
В монографии представлены некоторые новые методы робастного оценивания и учета априорной информации, включая алгоритмы их численной реализации.
Основная цель монографии ——ознакомить читателя с наиболее эффективными и апробированными классическими и новыми статистическими методами оценки и восстановления, научить использовать эти методы при решении конкретных задач обработки неопределенных данных
Монография предназначена научным работникам, аспирантам, студентам старших курсов различных специальностей.
© ФИЗМАТЛИТ, 2003© ФИЗМАТЛИТ, 2003ISBN 5-9221-0412-8
© ФИЗМАТЛИТ, 2003
© ФИЗМАТЛИТ, 2003