Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ОГЛАВЛЕНИЕ
Предисловие 8
Глава I. Задача восстановления зависимостей по эмпирическим данным 12
Проблема минимизации среднего риска по эмпирическим данным 12
Задачаобучения распознаванию образов 16
Задачавосстановления регрессии 18
Задача интерпретации результатов косвенных экспериментов 21
Некорректно поставленные задачи 23
О точности и надежности минимизации риска по эмпирическим данным 26
О точности восстановления зависимостей по эмпирическим данным 28
Особенности задач восстановления зависимостей . . . .32
Основные утверждения главы I 34
Приложение к главе I. Методы решения некорректно поставленных задач 36
. Задача решения операторного уравнения 36
Задачи, корректные по Тихонову 39
Метод регуляризации 40
Метод квазирешений 44
Глава II. Методы минимизации среднего риска 47
Два пути минимизации среднего риска. 47
Проблема больших выбросов'. . -49
Априорная информация в задачах восстановления зависимостей по эмпирическим данным . . . -. 53
Два механизма минимизации среднего риска 56
Задача восстановления плотности распределения вероятностей 59-
Равномерная близость эмпирических средних к математическим ожиданиям 62
Обобщение теоремы Гливенко —Кантелли и задача распознавания образов 65
Замечания о двух механизмах минимизации среднего риска по эмпирическим данным 66
Основные утверждения главы II 69
Глава III. Методы параметрической статистики в задаче обучения распознаванию образов 71
Параметрические методы в задаче распознавания образов71
Задача дискриминантного анализа 73
Решающие правила в задаче распознавания образов . .76
Об оценке качества алгоритмов восстановления плотности вероятностей 77
Байесов алгоритм восстановления плотности 79
Байесова оценка распределения вероятностей дискретных независимых признаков 82
Байесовы приближения плотности нормального закона 84
Несмещенные оценки 92
Достаточные статистики 94
Вычисление наилучшей несмещенной оценки96
Задача оценивания параметров плотности 100
Метод максимума правдоподобия 104
Оценивание параметров плотности вероятностей методом максимума правдоподобия 107
Замечания о различных методах приближения плотности НО
Основные утверждения главыIII 113
Глава IV. Методы параметрической статистики в задаче восстановления регрессии 115
Схема интерпретации результатов прямых экспериментов 115
Замечание о постановке задачи интерпретации результатов прямых экспериментов 117
Ошибки измерений 118
Экстремальные свойства законов Гаусса и Лапласа..122
Об устойчивых методах оценивания параметрасдвига128
Устойчивое оценивание параметров регрессии134
Устойчивость законов Гаусса и Лапласа 137
Класс плотностей, образованных смесью плотностей..139
Плотности, сосредоточенные на отрезке 142
Устойчивые методы восстановления регрессии145
Основные утверждения главы IV 148
Глава V. Оценивание параметров регрессии 150
Задача оценивания параметров регрессии 150
Теория нормальной регрессии 152
Методы восстановления нормальной регрессии, равномерно лучшие метода наименьших квадратов157
Теорема об оценивании вектора средних многомерного нормального закона 164
Теорема Гаусса— Маркова 168
Наилучшие линейные оценки 171
Критерии качества оценок 172
Вычисление наилучших линейных оценок 174
Использование априорной информации 180
Основные утверждения главы V 184
Г лава VI. Метод минимизации эмпирического риска в задаче обучения распознаванию образов 186
Метод минимизации эмпирическогориска 186
Равномерная сходимость частот появления событий к их вероятностям 188
Частный случай 190
Детерминистская постановказадачи 192
Верхние оценки вероятностиошибок 194
g-сеть множества 198
Необходимые и достаточные условия равномерной сходимости частот к вероятностям 201
Свойства функции роста 203
Оценка уклонения эмпирически оптимального решающего правила 205
Замечания об оценке скорости равномерной сходимости частот к вероятностям 208
Основные утверждения главы VI 210
Приложение к главе VI. Теория равномерной сходимости частот к вероятностям 212
Достаточные условия равномерной сходимости частот к вероятностям 212
Функция роста 213
Основная лемма 219
Вывод достаточных условий 221
Оценка величины Г 225
Оценка вероятностиравномерного относительного уклонения 228
Глава VII. Метод минимизации эмпирического риска в задаче восстановления регрессии 234
О равномерной сходимости средних к математическим ожиданиям 234
Частный случай* 236
Обобщение на класс с бесконечным числом элементов .240
Емкость множества произвольных функций 242
Равномерная ограниченность отношения моментов . . .245
Две теоремы о равномерной сходимости 246
Теорема о равномерном относительном уклонении . . .249
Замечания о теории равномерной сходимости 257
Основные утверждения главы VII 260
Глава VIII. Метод упорядоченной минимизации риска в задачах восстановления зависимостей 261
Идея метода упорядоченной минимизации риска . . . .261
Оценка «скользящий контроль» 266
Оценка «скользящий контроль» в задаче восстановления регрессии 268
Восстановление характеристической функции в классе линейных решающих правил 271
Восстановление регрессии в классе полиномов274
Восстановление регрессии в классе линейных по параметрам функций 280
Восстановление регрессии в классе линейных по параметрам функций (продолжение) 284
Селекция обучающей последовательности 286
Несколько общих замечаний 288
Основные утверждения главы VIII 289
Г лава IX. Решение некорректных задач интерпретации измерений методом упорядоченной минимизации риска 291
Некорректные задачи интерпретации результатов косвенных экспериментов 291
Определение понятия сходимость 292
Теоремы об интерпретации результатов косвенных экспериментов 296
Доказательство теорем 301
Методы полиномиального и кусочно-полиномиального
приближений 312
Методы решения некорректных задач измерения . . .315
Проблема восстановления плотности распределения вероятностей 321
Восстановление плотности методомПарзена 323
Восстановление плотности методом упорядоченной минимизации риска 325
Основные утверждения главы IX 330
Приложение к главе IX. Статистическаятеориярегуляризации 332
Глава X. Восстановление значений функции в заданных точках 337
Схема минимизации суммарного риска 337
Метод упорядоченной минимизации суммарного риска 340
Оценка равномерного относительного уклонения частот в двух подвыборках 342
Оценка равномерного относительного уклонения средних в двух подвыборках 345
Восстановление значений характеристической функции в классе линейных решающих правил 348
Селекция выборки для восстановления значений характеристической функции 354
Восстановление значений произвольной функции в классе линейных по параметрам функций 358
Селекция выборки для восстановления значений произвольной функции 361
Восстановление значений характеристической функции в классе кусочно-линейных решающих правил . . . .363
Восстановление значений произвольной функции в классе кусочно-линейных функций 365
Локальные алгоритмы восстановления значений характеристической функции 365
Локальные алгоритмы восстановления значений произвольной функции 368
Замечания о восстановлении значений функции . . ,370
Основные утверждения главы X , . , . 372
Приложение к главе X. Задача таксономии 373
. Задача классификации объектов 373
. Алгоритмы таксономии 375
Глава XL Алгоритмы обучения распознаванию образов....378
Замечания об алгоритмах 378
Построение разделяющих гиперплоскостей 380
Алгоритмы максимизации квадратичной формы....385
Методы построения оптимальной разделяющей гиперплоскости 388
Алгоритм экстремального разбиения значений признака на градации 391
Алгоритмы построения разделяющей гиперплоскости . .394
Построение разделяющей гиперплоскости в экстремальном пространстве признаков 398
Построение кусочно-линейной разделяющей поверхности 400
Алгоритмы восстановления значений функции в классе линейных решающих правил 403
Алгоритмы восстановления значений функции в классе кусочно-линейных решающих правил 406
Глава XII. Алгоритмы восстановления нехарактеристических функций 409
Замечания об алгоритмах 409
Алгоритмы восстановления регрессии в классе полиномов 410
Фундаментальные сплайны 412
Алгоритмы восстановления функции в классе сплайнов419
Алгоритмы решения некорректных задач интерпретации измерений 420
Алгоритмы восстановлениямногомерной регрессии
в классе линейных функций 422
Алгоритмы восстановлениязначений произвольной
функции в классе линейных по параметрам функций 424
Алгоритмы восстановления регрессии в классе кусочно-линейныхфункций 429
Алгоритмы восстановления значений произвольной функции вклассекусочно-линейных функций430
Послесловие 435
Комментарии 436
Литература 442
ПРЕДИСЛОВИЕ
Задача восстановления зависимостей по эмпирическим данным была и, вероятно, всегда будет центральной в прикладном анализе. Эта задача является математической интерпретацией одной из основных проблем естествознания: как найти существующую закономерность по разрозненным фактам.
В наиболее простой постановке, той, которой и посвящена книга, проблема состоит в восстановлении функции по ее значениям в некоторых точках. Необходимо сформулировать общие принципы восстановления функциональных зависимостей, а затем в соответствии с ними построить алгоритмы восстановления.
Обычно, когда ищется общий принцип, предназначенный для решения широкого класса задач, выделяется наиболее простая, базовая задача. Эта задача подвергается тщательному теоретическому анализу, а полученная для нее схема решения распространяется на все задачи класса.
При изучении проблемы восстановления функциональных зависимостей по существу принята следующая базовая задача — восстановить функцию, принимающую лишь одно значение (восстановить константу). Считается, что константа измеряется с ошибками. Требуется, имея ряд измерений, определить ее.
Существуют различные варианты конкретизации постановки этой задачи. Они основаны на разных моделях «измерения с ошибками». Однако каковы бы ни были эти модели, изучение базовой задачи приводит к утверждению следующего классического принципа восстановления функциональных зависимостей по эмпирическим данным:
— Следует из допустимого множества функций выбирать такую функцию, которая наилучшим образом приближается к совокупности имеющихся эмпирических данных.
Этот принцип является достаточно общим. Он оставляет свободу в толковании того, что является мерой качества приближения функции к совокупности эмпирических данных. Возможны различные определения меры, такие, например, как величина среднеквадратичного уклонения значений функции, величина среднего уклонения, величина наибольшего уклонения и т. д. Каждое определение меры порождает свой метод восстановления зависимостей (метод наименьших квадратов, наименьших модулей и т. д.). Однако во всех случаях принцип отыскания решения — поиск функции, наилучшим образом приближающейся к эмпирическим данным, — остается неизменным.
Основное содержание книги связано с исследованием другого, неклассического принципа восстановления зависимостей:
— Следует из допустимого множества функций выбирать такую, которая удовлетворяет определенному соотношению между величиной, характеризующей качество приближения функции к заданной совокупности эмпирических данных, и величиной, характеризующей «сложность» приближающей функции.
Этот принцип нуждается в пояснении. Дело в том, что с увеличением «сложности» приближающей функции удастся получать все лучшие и лучшие приближения к имеющимся эмпирическим данным и даже, может быть, построить функцию, проходящую через заданные точки.
Сформулированный принцип, в отличие от классического, утверждает, что не следует добиваться приближения к эмпирическим данным любыми средствами (т. с. за счет выбора чрезмерно «сложной» приближающей функции). Для каждого объема эмпирических данных существует свое соотношение между «сложностью» приближающей функции и достигнутым качеством приближения, при соблюдении которого восстановленная зависимость наиболее точно характеризует истинную. Дальнейшее приближение к эмпирическим данным за счет «усложнения» приближающей функции может привести к тому, что восстановленная функция будет лучше приближать эти конкретные эмпирические данные, но хуже — искомую функцию.
Неклассический принцип восстановления отражает попытку учесть то обстоятельство, что зависимость вое-
станавливается в условиях ограниченного объема эмпирических данных.
Мысль о том, что в условиях ограниченного объема эмпирических данных выбранная функция должна не просто приближать эмпирические данные, но и обладать некоторыми экстремальными свойствами, существовала давно. Однако впервые она получила теоретическое обоснование при исследовании задачи обучения распознаванию образов. Дело в том, что математическая постановка задачи обучения распознаванию образов приводит к необходимости восстанавливать функцию, которая принимает нс одно, как в базовой задаче, а два значения. Такое усложнение по сравнению с базовой задачей неожиданно оказалось принципиальным. Множество функций, принимающих два значения, намного «разнообразнее» множества констант (т. с. функций, принимающих лишь одно значение).
Важным здесь оказалось то, что «структура» функций- констант «простая и однородная», в то время как «структура» множества функций, принимающих два значения, достаточно богатая и допускает упорядочение по степени «сложности». Учет упорядоченности функций и оказался существенным при восстановлении зависимостей в условиях ограниченного объема эмпирических данных.
Таким образом, исследование задачи обучения распознаванию образов показало, что классическая базовая задача нс содержит всех проблем восстановления зависимостей — класс функций, в котором ведется восстановление константы, настолько беден, что вопрос о его расслоении просто нс возникает.
В книге в качестве базовой принята задача обучения распознаванию образов. Для ее решения используются разные методы: как те, которые основаны на классических идеях статистического анализа, так и те, которые связаны с неклассическим принципом восстановления.
Все эти методы перенесены на две другие задачи восстановления: задачу восстановления регрессии и задачу интерпретации результатов косвенных экспериментов.
Для новой базовой задачи оказалось возможным различать две постановки: восстановление функции и восстановление значений функции в заданных точках. (При восстановлении констант эти постановки совпадают.)
Различать эти две постановки целесообразно потому, что в условиях ограниченного объема эмпирических данных имеющейся информации может не хватить, чтобы удовлетворительно восстановить функцию в целом, но в то же время оказаться достаточно, чтобы восстановить к чисел — значений функции в заданных точках.
Итак, книга посвящена проблемам восстановления зависимостей в условиях ограниченного объема эмпирических данных. Основная ее мысль состоит в следующем: попытка учесть ограниченность объема эмпирических данных приводит к утверждению неклассического принципа восстановления зависимостей. Использование же этого принципа позволяет решать «тонкие» задачи восстановления, такие, как определение экстремального набора признаков при распознавании образов, определение структуры приближающей функции при восстановлении регрессии, построение регуляризующего функционала при решении некорректных задач интерпретации косвенных экспериментов, т. е. задачи, которые возникают вследствие ограниченности объема эмпирических данных и которые не могут быть решены в рамках классических схем.
Книга содержит двенадцать глав. Первые две главы носят вводный характер. В них разные задачи восстановления зависимостей рассматриваются с единых позиций минимизации среднего риска по эмпирическим данным и обсуждаются различные возможные пути минимизации риска.
Следующие три главы (III, IV, V) посвящены исследованию классических идей минимизации риска: восстановлению функции плотности распределения вероятностей с помощью параметрических методов и использованию восстановленной плотности для минимизации риска. В главе III эти идеи реализованы на задаче обучения распознаванию образов, а в главах IV и V —на задаче восстановления регрессии.
Начиная с главы VI, в книге исследуются неклассические пути минимизации риска. В главах VI и VII устанавливаются условия применимости метода минимизации эмпирического риска для решения задачи минимизации среднего риска на выборках ограниченного объема, а в главах VIII — X на базе полученных условий конструируется новый метод минимизации риска —метод упо-
рядоченной минимизации, который существенно учитывает ограниченность объема эмпирических данных. Этот метод и реализует неклассический принцип восстановления зависимостей. В главе VIII рассмотрено применение метода упорядоченной минимизации риска к задачам распознавания образов и восстановления регрессии, а в главе IX —к решению некорректных задач интерпретации результатов косвенных экспериментов. В главе X на основе метода упорядоченной минимизации исследована задача восстановления значений функции в заданных точках.
Наконец, в главах XI и XII приведено описание алгоритмов упорядоченной минимизации риска.
Книга рассчитана на широкий круг читателей: студентов старших курсов, аспирантов, инженеров, научных работников. В ней изложение ведется так, чтобы доказательства не заслоняли основного хода рассуждений и вместе с тем, чтобы все принципиальные утверждения были доказаны полностью.
Автор старался избегать возможно и важных, но малосодержательных с точки зрения развития основных идей книги обобщений. Поэтому всюду рассматриваются наиболее простые случаи: квадратичная функция потерь, равноточность измерений, независимость помех и т. д. Как правило, соответствующие обобщения осуществимы и могут быть получены по стандартным схемам.
Чтение основной части книги не требует знания специальных разделов математики. Однако при разборе доказательств от читателя потребуется определенный навык в обращении с математическими понятиями.
Книга не является обзором принятой теории, она во многом тенденциозна. Тем не менее автор надеется, что она будет интересна и полезна читателю.
Москва, 1978Москва, 1978В. Вапник
Москва, 1978
Москва, 1978
ГЛАВА I
ЗАДАЧА ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ
ПО ЭМПИРИЧЕСКИМ ДАННЫМ
1. Проблема минимизации среднего рискапо эмпирическим данным
Всякий раз, когда возникает проблема выбора функциональной зависимости, рассматривается одна и та же схема: среди множества возможных зависимостей необходимо найти такую, которая наилучшим образом удовлетворяет заданному критерию качества.
Формально это означает, что на векторном пространстве Z задан класс функций {g(z)}, zeZ (класс возможных зависимостей) и определен функционал — критерий качества выбираемой зависимости
Ц£) = $ф(г, g-(z))dz. (1.1)
Требуется среди функций {^(г)} найти такую g* (г), которая доставляет минимум функционалу (1.1) (будем полагать, что наилучшему качеству соответствует минимум функционала и что минимум (1.1) в {g(z)} существует).
В том случае, когда класс функций |g(z)} и функционал / (g) заданы явно, отыскание функции g* (г), минимизирующей / (g), является предметом исследования вариационного исчисления.
В этой книге рассмотрен иной случай, когда на Z определена плотность распределения вероятностей Р (г), а функционал задан как математическое ожидание
/(§) = МФ(г, е(г)) = $Ф(г, g (г)) Р (г) Аг. (1.2)
Проблема же состоит в том, чтобы минимизировать функционал (1.2), если плотность Р (г) неизвестна, но зато дана выборка
21 ..., 2/, (1.3)
Полученная в результате случайных независимых испытаний согласно Р (г). -
Ниже в §§ 2, 3, 4 мы убедимся в том, что к минимизации функционала (1.2) по эмпирическим данным (1.3) сводятся все основные задачи восстановления функциональных зависимостей, а пока заметим, что проблемы, возникающие при минимизации функционала (1.1) и минимизации функционала (1.2) по эмпирическим данным (1.3), существенно различаются.
При минимизации функционала (1.1) проблема состоит в организации поиска в классе {^(г)} функции g* (г), минимизирующей (1.1). При минимизации же функционала (1.2) по эмпирическим данным (1.3) основная проблема заключается не в организации поиска функции в {g(z)b а в формулировке конструктивного критерия, согласно которому должен проводиться выбор функции. (Сам функционал (1.2) не может служить критерием выбора, так как в нем плотность Р (г) неизвестна.)
Таким образом, в первом случае ищется ответ на вопрос: «Как найти минимум функционала в заданном классе функций?», в то время как во втором: «Что следует минимизировать для того, чтобы выбрать в {^(г)} функцию, гарантирующую «малую» величину функционала (1.2)?»
Минимизация функционала (1.2) по эмпирическим данным (1.3) является задачей математической статистики. Назовем ее задачей минимизации среднего риска по эмпирическим данным.
При постановке задачи минимизации среднего риска будем класс функций ^(г)} задавать в параметрическом виде {§(г, а)Р). Здесь а —параметр, принадлежащий множеству Л, конкретное значение которого а = а* определяет конкретную функцию g(z, а*) класса g^z, а). Найти нужную функцию в этом случае, значит установить нужное значение параметра а. Изучение лишь параметрического класса функций не является сколько-нибудь серьезным ограничением в постановке задачи, так как множество Л, которому принадлежит параметр а, произвольно: оно может быть множеством скалярных величин, множеством векторов или множеством абстрактных элементов.
) В дальнейшем всюду при записи класса функций будем опускать фигурные скобки. Функцию и класс функций будем различать в зависимости от того, зафиксирован ли параметр а. *
В новых обозначениях функционал (1.2) переписывается в виде
I(a) = ^Q(zt ot)P(z)dz, кеА,(1.4)
где обозначено
Q(z, а) = Ф(г, g(z, а)).
функция Q(z, а) двух групп переменных г и а носит название функции потерь.
Задача минимизации среднего риска имеет простую интерпретацию: считается, что каждая функция Q (z, а*), а*еЛ (переменного z при фиксированном а = а*), определяет величину потери при появлении вектора г. Средняя по z величина потерь для функции Q(z, а*) определяется интегралом
/ (а*) = Q (z, a*)P(z)dz.
Суть задачи состоит в том, чтобы для неизвестного закона появления z по наблюдениям за случайными независимыми реализациями zn ..., zt выбрать в Q (z, а) такую функцию Q(z, а*), которая минимизирует среднюю величину потерь.
Задача минимизации среднего риска по эмпирическим данным является достаточно общей. Будем выделять в ней частную постановку. Особенность этой постановки заключается в том, что вектор г состоит из п + 1 координаты — координаты у и п координат х1, ..., хп, образующих вектор х. Функция потерь Q(z, а) задана в виде
Q(z, а) = Ф (у - F (х, а)), где F (х, а) —параметрический класс функций. Необхо- димо минимизировать функционал
I (а) = J Ф (у — F (х, а)) Р (х, y)dxdy, (1.5) если плотность Р (х, у) неизвестна, но зато дана случайная независимая выборка пар
уг; ...; xz, у!(1.6)
(обучающая последовательность).
Задачу минимизации функционала (1.5) по эмпирическим данным (1.6) будем называть задачей восстановления
функциональной зависимости. Исследованию этой задачи и посвящена книга1). В ней будут рассмотрены три основные задачи восстановления функциональных зависимостей:
задача обучения распознаванию образов,
задача восстановления регрессии,
задача интерпретации результатов косвенных экспериментов.
В следующих параграфах мы убедимся, что все они сводятся к минимизации функционала (1.5) по эмпирическим данным (1.6).
§ 2. Задача обучения распознаванию образов
Задача обучения распознаванию образов была сформулирована в конце 50-х годов.
Содержательная ее постановка состоит в следующем. Некто (часто говорят — учитель) наблюдает возникающие ситуации и определяет, к какому из к классов каждая из них относится. Требуется построить такое устройство, которое после наблюдения за работой учителя проводило бы классификацию примерно так же, как и учитель.
Такая постановка на формальном языке имеет простое выражение. В некоторой среде, которая характеризуется плотностью распределения вероятностей Р (х), случайно и независимо появляются ситуации х. Учитель относит эти ситуации к одному из к классов. (В дальнейшем для простоты будем считать, что к = 2. Такое предположение не снижает общности постановки, так как последовательным разделением ситуаций на два класса можно получить разделение и на к классов.) Предположим, что учитель осуществляет эту классификацию с помощью функции условного распределения вероятностей Р^№\х\ где со = = {0; 1} (со = 0 означает, что учитель отнес ситуацию х к первому классу, а со = 1 означает, что ситуация х отнесена ко второму классу).
Ни свойства среды Р (х), ни решающее правило Р (со |х) не известны. Однако известно, что обе функции сущест-
х) В книге мы ограничимся рассмотрением задачи восстановления зависимости для квадратичной функции потерь Ф (у — F (х, ос)) = = (у — F (х, а))2. Однако полученные результаты могут быть перенесены и на общий случай. '
вуют. Пусть теперь задано параметрическое множество функциональных зависимостей F (х, а) (класс решающих правил). Все функции класса F(х, ^ — характеристические, т. е. они могут принимать только два значения — нуль и единица.
ф Требуется, наблюдая I пар
хь сох; ...; X/, g)z
(ситуация —х, реакция на нее учителя —со), выбрать в классе характеристических функций F (х, а) такую функцию, для которой вероятность классификации, отличной от классификации учителя, была бы минимальной. Иначе говоря, достигался бы минимум функционала
/ (а) = ^ \(ю — F (х, а))2 Р (со | х) Р (х) dx.
G> = од
Функционал / (а) будем записывать в виде
/ (а) = (со — F (х, а))2 Р (х, со) dx dm,
X, со
а функцию Р (х, со) = Р (со | х) Р (х) будем называть совместной плотностью пар х, со, заданной на пространстве Хо).
Задача обучения распознаванию образов свелась, таким образом, к задаче минимизации среднего риска по эмпирическим данным. Особенность ее заключается в том, что класс функций Q (г, а) не обладает таким произволом, как в общей постановке. На него наложены ограничения:
Вектор г состоит из д + 1 координаты: координаты со, которая может принимать только два значения (нуль и единица), и п координат х1, ..., хп, образующих вектор х.
Класс функций Q (г, а) задан в виде
Q (г, а) = (со — F (х, а))2,
где F (х, а) принимают также только два значения — нуль и единица.
Таким образом, в задаче обучения распознаванию образов значение функции потерь равно либо нулю, либо единице. Эта особенность задачи минимизации риска и определяет специфику обучения распознаванию образов х).
Э При постановке задачи можно учесть различные цены ошибок первого и второго рода. Однако это принципиально не меняет существа дела: важно, что функция потерь будет принимать лишь коечное число (три) значений.
Задача восстановления регрессии
Два множества элементов X и Y связаны функциональной зависимостью, если каждому элементу хе X может быть поставлен в однозначное соответствие элемент у е Y. Эта зависимость называется функцией, если множество X —векторы, а множество У —скаляры. Однако существуют и такие зависимости, где каждому вектору х ставится в соответствие число у, полученное с помощью случайного испытания, согласно условной плотности Р (у |х). Иначе говоря, каждому х ставится в соответствие закон Р (у | х), согласно которому в случайном испытании реализуется выбор у.
Существование такого рода зависимостей отражает наличие стохастических связей между вектором х и скаляром у. Полное знание стохастических связей требует восстановления условной плотности Р(у\х\ Задача же восстановления условной плотности чрезвычайно трудна. Однако часто на практике (например, в задачах обработки результатов измерения) нужно знать не плотность Р^у\х\ а лишь одну из ее характеристик: функцию условного математического ожидания, т. е. функцию, которая каждому х ставит в соответствие число у^х\ равное математическому ожиданию скаляра у
У W = $ уР (у I *) dy-
Функция у(х) называется регрессией, а задача восстановления функции условного математического ожидания — задачей восстановления регрессии.
Рассмотрим постановку этой задачи. В некоторой среде, которая характеризуется плотностью распределения вероятностей Р (х), случайно и независимо появляются ситуации х. В этой среде работает преобразователь, который каждому вектору х ставит в соответствие число у, полученное в результате реализации случайного испытания согласно закону Р^у\х\ Ни свойства среды Р (х), ни закон Р {у | х), вообще говоря, неизвестны. Однако известно, что существует регрессия
У = У^.
Требуется по случайной независимой выборке пар
•Ь Уй • • • 1 xh yi
восстановить регрессию, т. е. в классе функций F (х, а) отыскать функцию F (х, а*), наиболее близкую к регрессии ytx\
Задача восстановления регрессии является одной из основных задач прикладной статистики. К ней приводится проблема интерпретации результатов прямых экспериментов. Пусть интересующая нас закономерность связывает функциональной зависимостью величину у с вектором х
д=у(х\
Пусть нашей целью является определение функциональной зависимости у = у (х) в ситуации, когда в любой точке х* может быть проведен прямой экперимент по определению этой зависимости, т. е. проведены прямые измерения величины у* = у (х*). Однако вследствие несовершенства эксперимента результат измерения определит истинную величину с некоторой случайной ошибкой. Иначе говоря, в каждой точке х удается определить не величину у (х), а величину у = ух, где у . — у (х) = £ — ошибка эксперимента, /И£2<сх).
Считается (эта гипотеза и определяет возможность интерпретации экспериментов), что ни в одной точке х условия эксперимента не допускают систематической ошибки, т. е. математическое ожидание измерения ух функции в каждой фиксированной точке х равно значению функции у (х) в этой точке
Мух = у<х\ (1.7)
Кроме того, будем считать, что случайные величины ух. и ухД1^^ независимы. В этих условиях необходимо по конечному числу прямых экспериментов восстановить функцию z/ = z/(x). Таким образом, интересующая нас зависимость есть регрессия (1.7), а суть проблемы состоит в отыскании регрессии по последовательности пар
хп уг; ...; X/, уь
В задачах интерпретации результатов прямых экспериментов принято различать два типа экспериментов: закрытый и открытый. Закрытый эксперимент предполагает, что закон Р (х), по которому определяется выбор экспериментальных точек, исследователю не известен. Откры-
тым экспериментом считается такой эксперимент, в котором закон Р (х) выбора точек измерения х известен исследователю (его часто задает сам исследователь). Итак, задача восстановления регрессии содержит проблему интерпретации результатов прямых экспериментов.
В свою очередь задача восстановления регрессии сводится к задаче восстановления зависимостей.
В самом деле, рассмотрим функционал
I (а) = (у — F (х, а))2 Р (х, у) dx dy, (1.8)
где обозначено Р (х, у) = Р (у | х) Р (х).
Покажем, что если регрессия у=у(х) принадлежит классу F (х, а) (у (х) = F (х, а0)), то она минимизирует функционал (1.8), если же регрессия не принадлежит F ^х, а), то минимум достигается на ближайшей к регрессии функции F^ а*). Близость функций ^ (х) и f2 (х) понимается в следующем смысле (в метрике Lp):
Pl (fi W. к W = (J (Д (x) - f2 (x))2 P (x) dx)1/2.
Действительно, обозначим
^F ^x, a) = F(x, a^ — y^xy(1.9)
Тогда функционал (1.8) может быть записан в виде
/ (а) = ^у — у (х))2 Р (х, у) dxdy+\ (&F (х, а))2 Р (х) dx —
— 2 ^F (х, а) (у — у (х)) Р (х, у) dx dy.
В этом выражении третье слагаемое равно нулю, так как в силу (1.7)
^F^x, а) (у - у (х)) Р (х, y)dxdy =
= $ ^F (х, а) Р (х) [Цу - у (х)) Р {у | х) dy^ dx = 0.
Таким образом, мы установили, что
I (а) = Цу - у (х))2 Р (х, у) dx dy +
+ J(F(x, а)-у(х))2 Д(х)сД.
Так как первое слагаемое не зависит от а, то точка минимума / (а) совпадает с точкой минимума второго слагаемого, и, следовательно, минимум I (а) достигается на регрессии,
если t/(x)ef(x, а), или на ближайшей к ней функции, если y^^F^x, а).
Итак, задача восстановления регрессии также сводится к схеме минимизации среднего риска. Особенность ее состоит в том, что на класс функций Q (г, се) наложены следующие ограничения:
Вектор г состоит из п + 1 координат: координаты у и п координат х1, ..., х\ образующих вектор х. Однако, в отличие от задачи обучения распознаванию образов, здесь и координата у и функции F (х, се) могут принимать любые значения из интервала (—оо, оо).
Класс функций Q(z, а) задан в виде
Q(z, a) = (y-F(x, а))2.
Функции Q (z, а) принимают любые значения из интервала (0, оо).
Задача интерпретации результатовкосвенных экспериментов
В предыдущем параграфе мы рассмотрели задачу восстановления регрессии. Было показано, что к этой задаче сводится проблема интерпретации результатов прямых экспериментов, т. е. таких экспериментов, с помощью которых в фиксированных точках измеряется интересующая нас зависимость. Однако часто бывает так, что искомую функцию / (Z) нельзя измерить ни в одной точке t. В то же время может оказаться доступной измерению другая функция F ^х\ которая связана с /(/) операторным уравнением
Д/Д)=-т(1.Ю)
Требуется по результатам измерений у^ ..., yt функции F (х) в точках хь ..., xz найти в классе /(/, се) решение уравнения (1.10). Такую задачу будем называть задачей интерпретации результатов косвенных экспериментов.
Постановка задачи состоит в следующем: задан непрерывный оператор Л, взаимно однозначно отображающий элементы /(/, се) метрического пространства Ег в элементы F (х, а) метрического пространства Е^. Требуется найти решение операторного уравнения (1.10) в классе функций f (/, а), если функция F (х) неизвестна, но зато даны измерения уи ..., yL функции F(x) в точках хь ..., xz.
Так же, как и при интерпретации прямых измерений, здесь эксперимент по измерению функции F (%) не содержит систематических погрешностей, т. е. Myt = F (xz), а случайные величины у( и yj (f Ф j) независимы. Кроме того, для простоты будем считать, что области задания функций ЦГ) и F (%) — отрезки [0, 1]. Эксперимент является открытым: точки х, в которых проводятся измерения функции F ^х\ задаются на отрезке [0, 1] случайно и независимо, согласно равномерной плотности распределения вероятностей *).
Задача интерпретации результатов косвенных экспериментов также сводится к проблеме минимизации среднего риска по эмпирическим данным.
В самом деле, рассмотрим функционал
Ц«) = $ (у - М кР °0)2 (у I ^ ^у ^х =
= \^у — F U, а))2 Р ку\х^ dy dx.
Совершенно аналогично преобразованиям, проведенным в § 3, получаем
I (а) = $ (у - F (х, а))2 Р кУ \х^ dy dx =
= кУ — F (х))2 Р кУ \ х) dy dx-\-^ к^Р к' а))2^х—
— 2 § AF (х, а) ^ (у — F (х)) Р (у | х) dy^ dx, где обозначено
AF (х, a) = F^x, а) —F(x).
Здесь, так же как и в аналогичном случае предыдущего параграфа, третье слагаемое суммы равно нулю, откуда заключаем, что минимум функционала
I (“) = $ ку — М к^ а))2 р <у\х^ dy dx (1.11) достигается на решении f (f) операторного уравнения (1.10).
Таким образом, мы опять пришли к схеме минимизации среднего риска (1.4) по эмпирическим данным. В этой задаче функция потерь Q(z, а) такова, что:
вектор г состоит из двух координат у и х, каждая из которых может принимать значения из интервала (— оо, оо);
функция потерь задана в виде
<Ж «) = (# —Л/(/, а))2.
Особенность же интерпретации результатов косвенных экспериментов состоит в том, что ищется функция /(/, а*), минимизирующая функционал (1.11) в условиях, когда задача решения операторного уравнения
может быть некорректно поставленной.
Некорректно поставленные задачи
Говорят, что решение операторного уравнения Af^-F^
устойчиво, если малая вариация правой части F(x)e ^F^x, а) приводит к малому изменению решения, т. е. если окажется, что для всякого 8 найдется такое 6(e), что, как только выполнится неравенство
P£2(F(x, cq), F(x))^6(e), окажется выполненным и неравенство
РеЖ*. cq), /(0)^е.
Здесь индексы £2 и Ег означают, что расстояние определяется соответственно в метриках пространства Е^ и Ev (операторное уравнение (1.10) осуществляет отображение из пространства Ег в пространство Е^).
Говорят также, что задача решения операторного уравнения поставлена корректно по Адамару, если решение уравнения:
существует, 2) единственно, 3) устойчиво.
Задача решения операторного уравнения считается поставленной некорректно, если решение уравнения не удовлетворяет хотя бы одному из перечисленных требований.
Ниже, в основном тексте книги, мы ограничимся решением некорректных задач интерпретации результатов косвенных экспериментов, заданных интегральными уравнениями Фредгольма I рода
ь
J К (/, x^f^t) dt =F (х).
Однако все полученные результаты будут справедливы и для уравнений, заданных любыми другими линейными непрерывными операторами.
Необходимые факты теории решения некорректно поставленных задач приведены в приложении к главе.
Итак, рассмотрим интегральное уравнение Фредгольма
I рода
1
^(х, 1Я^(И = Р^,(1.12)
О
заданное непрерывным почти всюду на 0 t ^ 1, 0 х 1 ядром К (х, /) и отображающее множество непрерывных на отрезке [О, 1] функций /(/) на множество непрерывных на отрезке [0, 1] функций F (х).
Покажем, что задача решения уравнения (1.12) является некорректно поставленной.
Для этого заметим, что непрерывная функция Gv (х), образованная с помощью ядра К (х, /),
1
Gv (х) = $/С (х, ^sinv/d/,о
обладает свойством:
sup Gv
Рассмотрим интегральное уравнение
1
^(х, f)Hf)dt = F<xH<Mx). (1-13) О
В силу линейности уравнения Фредгольма решение уравнения (1.13) имеет вид
fV) =/№ + sin
где /(/) есть решение уравнения (1.12).
При достаточно больших v правые части уравнений (1.12) и (1.13) различаются мало (на Gv(x)), в то время как их решения разнятся на величину sinv/.
Интегральное уравнение Фредгольма I рода является одним из основных уравнений в задаче интерпретации результатов косвенных экспериментов. Вот примеры задач, которые связаны с решением этого уравнения.
Обратная задача спектроскопии. Пусть с помощью некоторого реального спектроскопа наблюдается спектр F (х). Так как прибор реальный, т. е. имеет конечную разрешающую способность, то наблюдаемый спектр, вообще говоря, отличается от того, который зафиксировал бы идеальный спектроскоп (т. е. спектроскоп с бесконечно высокой разрешающей способностью).
Требуется редуцировать спектр, полученный на приборе с конечным разрешением, к истинному спектру.
Часто такая задача может быть решена. Известно, например, что характеристика «сглаживания» (аппаратная функция) некоторых реальных спектроскопов имеет вид
К (х, I) = ■ J- ехр /.
/2л а I 2а2 J
Наблюдаемый спектр F (х) связан с истинным спектром / (/) соотношением оо
—— С ехр Г— 1 / (О dt = F (х).
^2ла J L ^ J
Чем лучше прибор (меньше о), тем менее искажается спектральная картина.
При а -> 0 характеристика прибора стремится к идеальной:
— ехр / -— > —> о и — х).
У 2л а I 2а2 /
И, следовательно,
F(x)-^f (х).
Однако, как бы ни был плох реальный спектроскоп, в принципе по полученному спектру можно найти истинный, но для этого надо решить обратную задачу спектроскопии, т. е. решить интегральное уравнение
ОО
-— 1 ехр JI f (t) dt= F (x),
/2л a J (2a2 J
используя вместо функции F (x) эмпирические данные yt ... , y^
Задача идентификации линейных объектов. Известно, что Динамические свойства линейных однородных объектов с одним выходом полностью описываются импульсной переходной (весовой) функцией / (т). Функция / (т) представляет собой реакцию объекта на единичный импульс, подаваемый на систему в момент т = 0.
Зная эту функцию, можно вычислить реакцию объекта на любое возмущение x(t) по формуле
t
У(^ = \ х(1 — т)Ц^ dT.о
Таким образом, определение динамических характеристик объекта сводится к отысканию весовой функции / (т).
Известно, что для линейного однородного объекта справедливо уравнение Винера — Хопфа
^Rxx(t-^^W = Ryx(t).(1.14)
Уравнение (1.14) связывает автокорреляционную функцию Rxx^ стационарного случайного процесса на входе объекта, весовую функцию объекта / (т) и взаимную корреляционную функцию входного и выходного сигналов R^x^V
Задача идентификации линейного объекта, таким образом, заключается в определении весовой функции объекта по известной автокорреляционной функции входного сигнала и измеренной взаимной корреляционной функции входного и выходного сигналов, т. е. в решении интегрального уравнения (1.14) по эмпирическим данным.
Задача восстановления производных. Пусть даны измерения функции F (х) в I точках отрезка [0, 1]. Точки, на которых проведены измерения, заданы случайно и независимо согласно равномерному закону распределения вероятностей.
Требуется восстановить на [0, 1] производную f (х) функции F (х). Легко видеть, что задача сводится к решению интегрального уравнения Вольтер pa I рода
pm dt = F(x)-F^
при условии, что известно / замеров yv ..., yt функции F (х), произведенных в точках х1$ ... , X/, или, что то же самое, к решению при тех же условиях уравнения Фредгольма I рода
1 ^(x-t)f(t)dt^F(x)-F (0), б
где
_ ( 1, если z ^ 0,( 0, если z < 0.
В более общем случае, когда надо восстановить ^-ю производную, необходимо решить интегральное уравнение"
^-1
0/=0
используя вместо функции F (х) эмпирические данные уъ ... , у^ Здесь F{F (0) — значение /-й производной в точке нуль.
О точности и надежности минимизации риска по эмпирическим данным
Итак, мы рассмотрели три основные задачи восстановления зависимостей по эмпирическим данным: задачу распознавания образов, восстановления регрессии, интерпре-
тации результатов косвенных экспериментов. В основе каждой из них лежала одна и та же общая схема —схема минимизации среднего риска по эмпирическим данным: необходимо найти а*, минимизирующее функционал
/ (а) = $ Q (z, а) Р (z) dz,
если плотность распределения вероятностей Р (z) неизвестна, но зато дана случайная независимая выборка 2V . Zz ДЛИНЫ I.
Более того, для всех трех задач была выбрана идентичная структура функции потерь
Q(z, а) = (у —F(x, а))2.
Таким образом, во всех случаях надо было найти функцию F (х, а*), доставляющую минимум функционалу
/(а) = ^ (z/ — F(x, а))2 Р (х, y)dxdy, (1-15)
если плотность Р (х, у) неизвестна, но зато дана выборка хъ ух\ ...; хь уь полученная в результате случайных независимых испытаний согласно этой плотности. Правда, мы различали два варианта постановки задачи восстановления регрессии: когда плотность Р (х) неизвестна (случай закрытого эксперимента) и когда плотность Р (х) известна (случай открытого эксперимента). Но эти варианты постановок отличаются не принципиально, важно, что в обоих случаях совместная плотность Р (х, у) неизвестна.
Мы установили, что разные задачи восстановления зависимостей различаются так, как различаются функции потерь при минимизации риска, и что в каждой задаче параметр а, доставляющий точный минимум соответствующему функционалу, определяет искомую функциональную зависимость.
Однако найти точный минимум функционала (1.15) по выборке фиксированного объема — задача, вообще говоря, невозможная — ведь любая выборка является только реализацией закона распределения вероятностей и никак не эквивалентна ему. Поэтому может стоять задача отыскания по выборке фиксированного объема не функции, доставляющей точный минимум функционалу (1.15), а функции, доставляющей функционалу величину, «близкую» к минимальной.
Более того, получение величины, «близкой» к минимальной, можно гарантировать не безусловно, а лишь с некоторой вероятностью (ведь при любой плотности не исключена вероятность того, что обучающая последовательность, полученная в случайных испытаниях, будет состоять из одной и той же пары элементов х, у, повторенной I раз).
Таким образом, заданная точность минимизации среднего риска (1.15) по выборке фиксированного объема может быть достигнута лишь с некоторой надежностью.
Будем говорить, что значение функционала / (сх*) х-близко к минимальному (min / (а)), если выполняется неравенство
/(a*) —min/(а) ^х.а
Пусть теперь зафиксирован некоторый алгоритм Л, который по выборке объема I определяет значение параметра сх*. Так как выборка случайная, то этот алгоритм будет определять случайную величину параметра а*, которой соответствует случайное число I Va*Y
Будем говорить, что алгоритм А с надежностью 1— г) доставляет функционалу / (сх) значение х-близкое к минимальному, если для заданного числа 0<т]<1 справедливо неравенство
Р j/ (а*) — min / (а) > х| < т).
При решении задачи минимизации среднего риска нашей целью является нахождение алгоритмов, которые на выборках фиксированного объема с заданной надежностью отыскивали бы функцию, доставляющую функционалу / (сх) значение, наиболее близкое к минимальному.
О точности восстановления зависимостейпо эмпирическим данным
В конце предыдущего параграфа была сформулирована цель исследования: найти алгоритмы, которые гарантировали бы достижение риска, близкого к минимальному. Построению и обоснованию таких алгоритмов посвящена эта книга. Однако при формулировке цели исследования была по существу подменена задача. В самом деле, нашей
исходной целью было восстановление функциональных зависимостей. В §§ 2, 3, 4 было показано, что функция, доставляющая точный минимум соответствующему функционалу среднего риска, определяет искомую зависимость. С другой стороны, найти точный минимум по выборке фиксированного объема — задача малореальная. Поэтому- то и предлагалось искать функцию, доставляющую среднему риску значение, близкое к минимальному.
Однако ниоткуда не следует, что близким значениям функционала будут соответствовать близкие функции. Отыскание значения функционала, близкого к минимальному, и функции, близкой к искомой, вообще говоря, — задачи разные. Поэтому, прежде чем решать задачу восстановления функциональной зависимости по эмпирическим данным методом минимизации среднего риска, необходимо выяснить, приведет ли такая подмена задач к успеху, т. е. гарантирует ли близость функционалов близость функций.
Для того чтобы начать исследование в этом направлении, надо прежде всего договориться о том, как мы будем понимать близость функций. В отличие от близости функционалов, которая определяется естественным образом как расстояние между двумя точками числовой оси (значениями этих функционалов), близость функций должна быть определена как расстояние между двумя элементами функционального пространства.
В функциональном анализе приняты различные способы метризации (введения понятия расстояния). Мы же будем использовать два таких понятия (две метрики): среднеквадратичное уклонение с весом и равномерное уклонение. Расстояние между двумя функциями ft (х) и f2 (х) в смысле среднеквадратичного уклонения с весом Р (х) (метрика Lp) определяется функционалом
PL (А (х), A W) = ($ (А (х) - А (х))3 р (х) dx)'/2,
где Р (х) — неотрицательная функция, такая, что $ Р (х) dx= = 1. Расстояние же в смысле равномерного уклонения (метрика С) определяется функционалом
Pc V1 (я), А И) = sup IА (X) - А (х) |.
Таким образом, две функции близки в метрике DP, если
GaiW-fH^pw^y^^x, (Мб)
и близки в метрике С, если
,sup|/1(x)-/2(x)|^x.(1.17)
Заметим, что требование равномерной близости (1.17) является более сильным, чем среднеквадратичной. Из выполнения неравенства (1.17) следует выполнение неравенства (1.16). Обратное утверждение, вообще говоря, неверно.
Итак, будем использовать понятия близости в следующих смыслах:
близость качества функций (значений функционалов),
близость функций в метрике Lp,
близость функций в метрике С.
Выбор понятия близости определяется не формальной, а содержательной постановкой задачи.
Как же задается близость в различных задачах восстановления зависимостей?
В задаче распознавания образов требуется в заданном классе характеристических функций найти такую, которая минимизирует вероятность ошибочной классификации (т. е. по постановке требуется минимизировать функционал). Поэтому здесь естественно считать две функции близкими, если их качества близки; здесь близость определяется близостью функционалов.
При восстановлении регрессии проблема состоит не в том, чтобы минимизировать функционал, а в том, чтобы найти функцию, близкую к регрессии. В этой задаче близость определяется с помощью метрики DP или метрики С в зависимости от того, как в дальнейшем предполагается использовать восстановленную функцию.
Пусть, например, решается задача восстановления регрессии 5 = у(х) в схеме интерпретации прямых экспериментов. Восстановленную зависимость y = F(x, а*) при этом предполагается использовать для целей прогноза величины у в зависимости от ситуации х. Точность прогноза для всякой фиксированной ситуации х естественно измерять величиной
Точность прогноза в целом с помощью восстановленной функции часто измеряют как среднюю точность по мере множества х, т. е. величиной
pL(yM, F^x, а)) = Ц (у (х) - F (х, а))2 Р (х) dx^
или, иначе говоря, в этом случае близость определяется метрикой Ер.
Однако существуют задачи, где близость в метрике Ер недостаточна. Пусть, например, некоторое количество д
связано с технологическими параметрами х функциональной зависимостью. Требуется найти такой вектор параметров х*, который обеспечит максимум количества у. Эту задачу решают по следующей схеме: восстанавливают функциональную зависимость у = у (х), а затем ищут значение х*, доставляющее максимум восстановленной функции. Однако если в этом случае в качестве восстановленной функции взять функцию F (х, а*), близкую к истинной в метрике Ер, то возможна такая ситуация, которая изображена на рис. 1. Восстановленная функция достаточно хорошо приближает истинную почти всюду, за исключением множества х малой меры, где имеется большой выброс. Максимум же восстановленной функции отражает не точку, доставляющую максимум количеству у, а точку «выброса» восстановленной функции.
Для того чтобы исключить такую ситуацию, необходимо чтобы восстановленная функция приближалась
к истинной равномерно во всей области задания функции, т. е. в метрике С
Рс(</(Д F^X, а) = sup I у (х) - F (х, а)|.X
Таким образом, в задаче восстановления регрессии используется понятие близость как в метрике Lp, так и в метрике С.
В задаче интерпретации данных косвенного эксперимента также используются два понятия близости: близость в метрике L2 (в Lp с весом Р(х) = 1):
РьШ «1). Ж а2)) = ($М ^ЖЖ a^T^’
и близость в метрике С:
Рс(Ж “1). Ж “2)) = sup I / (/, a^-f^t, а2)|.
Как и при восстановлении регрессии, здесь выбор метрики определяется тем, как в дальнейшем предполагается использовать восстановленную функцию.
§ 8. Особенности задач восстановления зависимостей
Итак, выше мы установили, что все три задачи восстановления зависимостей сводятся к одной и той же схеме — схеме минимизации среднего риска, и что возможно лишь приближенное решение задачи минимизации среднего риска по эмпирическим данным. Спрашивается, обеспечит ли приближенное решение задачи нужную близость найденной зависимости к истинной?
Ответ на этот вопрос различен для разных задач восстановления зависимостей. Для задачи обучения распознавания образов ответ безусловный — да, обеспечит просто по определению (ведь согласно постановке требуется найти функцию, доставляющую функционалу величину, близкую к минимальной).
В задаче восстановления регрессии ответ не столь определенный. Легко можно показать, что если близость функций понимать в смысле метрики Lp, то из близости функционала к минимальному следует близость найденной функции к регрессии.
Доказательство этого утверждения немедленно вытекает из тождества
^y — F (^ а))2 Р (я, у) dx dy =
= $ (У - У И)2 р (*, у) dx dy + 5 (у (х) - F (х, а))2 Р (х) dx,
где у = у (х) — регрессия, F (х, а) —любая функция из заданного класса.
Однако из того, что значение функционала близко к минимальному, никак не следует близость в смысле метрики С соответствующей функции к регрессии. Чтобы гарантировать такую близость, просто минимизации функционала уже недостаточно. Необходимо, кроме того, удовлетворить еще и некоторым специальным требованиям.
Наконец, в задаче интерпретации результатов косвенных экспериментов близость функционала к минимальному не гарантирует близость восстанавливаемой функции к истинной ни в метрике Lp, ни в метрике С. Основная трудность при решении этой задачи как раз и состоит в том, что решение соответствующего операторного уравнения есть, возможно, задача некорректно поставленная, а в этом случае функции, доставляющие функционалу значения, близкие к минимальному, могут сколь угодно сильно отличаться от искомого решения. Поэтому главная проблема здесь состоит в том, чтобы установить, каким дополнительным условиям должно удовлетворять выбираемое решение, чтобы из того, что оно доставляет функционалу значение, близкое к минимальному, следовала бы близость решения к искомой функции.
Таким образом, несмотря на то, что для всех задач восстановления зависимостей функции, доставляющие точный минимум функционалу, определяют решение, приближенная минимизация не всегда приводит к цели. Поэтому прежде, чем применить конкретный метод минимизации среднего риска по эмпирическим данным, необходимо убедиться, что этот метод минимизации обеспечит приближение к искомому решению.
В последующих главах будут рассмотрены различные методы минимизации среднего риска по эмпирическим данным. Все они будут изучены применительно к каждой конкретной задаче восстановления зависимостей.
В. Н. Вапник
Основные утверждения главы 1
Одной из центральных задач прикладной статистика является задача минимизации среднего риска по эмпирическим данным*, требуется минимизировать функционал
/ (ос) = ^ Q (2, ос) Р (z) dz,
если плотность распределения вероятностей Р (z) неизвестна, но задана функция потерь Q^z, сс) и случайная независимая выборка
?ь ..., zb
полученная согласно плотности Р (z).
Постановка задач обучения распознаванию образов, восстановления регрессии, интерпретации результатов косвенных экспериментов сводится к схеме минимизации среднего риска по эмпирическим данным*, требуется минимизировать функционал*
I (“) = $ (У - F (г, а))2 Р (х, у) dx dy,
используя выборку
хь УГ, • • •; ХЬ уь
В задаче обучения распознаванию образов у— to — число, которое может принимать только два значения —нуль и единица, F (х, ос) — некоторое параметрическое множество характеристических функций.
‘ В задаче восстановления регрессии у — действительное число, F (х, сс) — некоторое параметрическое множество интегрируемых с квадратом функций.
В задаче интерпретации результатов косвенных экспериментов у — число, F (х, ос) — некоторое параметрическое множество непрерывных функций, которые связаны со своими прообразами f(t, ос) соотношением
А} (/, а) = F (х, а).
Задача решения операторного уравнения
в f (t, а) может быть некорректно поставленной.
Отыскать точный минимум функционала I (а) по эмпирическим данным, вообще говоря, невозможно. Можно лишь найти функцию, доставляющую функционалу I (а) значение, близкое к минимальному. Такое решение может быть найдено не наверное, а лишь с определенной вероятностью.
В соответствии с содержательными постановками задач рассматриваются различные понятия близости функций.
— В задаче обучения распознаванию образов две функции считаются близкими, если близки соответствующие величины функционалов.
— В задачах восстановления регрессии и интерпретации результатов косвенных экспериментов приняты два определения близости функций: близость в метрике Up и в метрике С.
Приближенные методы минимизации функционала обеспечивают отыскание решений, близких к искомому, в задаче обучения распознаванию образов. В задаче восстановления регрессии близость к минимальному значению функционала гарантирует близость функции к искомой лишь в смысле метрики Up. В метрике С функции могут не быть близкими. Наконец, в задачах интерпретации результатов косвенных экспериментов прообраз f(t, а*) функции F (х, а*), доставляющей функционалу I (а) значение, близкое к минимальному, вообще говоря, не является близким к решению операторного уравнения ни в метрике Up, ни в метрике С.
Предлагается решать задачу восстановления зависимостей методом минимизации функционала I (а), а в тех случаях, когда близость функционала к минимуму не гаран- пшрует близости функции к искомой, найти дополнительные условия, при которых возможна такая гарантия.
2*
ПРИЛОЖЕНИЕ К ГЛАВЕ I
МЕТОДЫ РЕШЕНИЯ НЕКОРРЕКТНОПОСТАВЛЕННЫХ ЗАДАЧ
§ П1. Задача решения операторного уравнения
Говорят, что два множества элементов, множество ^Z и множество ^, связаны функциональной зависимостью, если каждому элементу / е ^ может быть поставлен в однозначное соответствие элемент F е J^.
Эта функциональная зависимость называется функцией, если о^/ и ^ — множества чисел, функционалом, если
— множество Функций, а Ж — множество чисел и оператором, если ^—множество функций и ^ — также множество функций.
Каждый оператор Л однозначно отображает элементы множества о^ в элементы множества ^. Этот факт будем записывать равенством
Среди множества операторов выделим такие, которые осуществляют взаимно однозначное отображение о^ в Jr. Для них можно рассматривать задачу решения операторного уравнения
Af^-F^(ПЛ)
как задачу отыскания в М такого элемента f (/), которому в JJ соответствует элемент F ^xY
Для операторов, осуществляющих взаимно однозначное отображение элементов o^Z в JSP, и функции F^^JV существует единственное решение операторного уравнения (ПЛ).
Однако найти способ решения операторного уравнения столь общей природы — задача безнадежная, Поэтому иссле-
дование операторных уравнений будем проводить лишь для случая непрерывных операторов.
Пусть элементы / е <М принадлежат метрическому пространству Ех с метрикой Pi (•), а элементы F ^ Ж — принадлежат, вообще говоря, другому метрическому пространству Е^ с метрикой р2(-). Оператор Л называется непрерывным, если близкие (в метрике pj элементы в Ех он отображает в близкие (в метрике р2) элементы в Е2- Формально это означает, что для всякого 8 найдется такое 6(б), что если только в Ех выполнится неравенство
рДЛ,
то в Е^ окажется выполненным и неравенство
P2W1, ^f2)^e.
Будем рассматривать операторное уравнение, заданное непрерывным оператором, осуществляющим взаимно однозначное отображение из <М в JV\ Решение такого операторного уравнения существует и единственно, т. е. существует обратный оператор Л 1 из Ж в о/Ил
Принципиальным оказывается вопрос, является ли обратный оператор непрерывным?
Если оператор Л 1 непрерывный, то близким функциям из «ЛА соответствуют близкие их прообразы, т. е. решение операторного уравнения устойчиво. Если же обратный оператор не является непрерывным, то решение операторного уравнения, вообще говоря, не является устойчивым.
В последнем случае, согласно определению Адамара (см. § 5 гл. I), задача решения операторного уравнения считается некорректно поставленной.
Оказывается, что во многих важных случаях, например для вполне непрерывных операторов Л, обратный оператор Л-1 не является непрерывным, и, следовательно, задача решения соответствующего операторного уравнения является некорректно поставленной.
Определение. Говорят, что линейный оператор Л, определенный в линейном нормированном пространстве Ех с областью значений в линейном нормированном пространстве Е2, является вполне непрерывным, если он отображает всякое ограниченное множество пространства Ех в компакт-
ное множество пространства Е^ т. е. если он всякую ограниченную бесконечную в Ег последовательность
(П.2)
(II b II ”“ норма в Е^ отображает в Е^ в такую последовательность-
Ah, Ah,(П.3)
из которой может быть извлечена сходящаяся подпоследовательность
Ah.Afikt ...Ah.Afikt ...(П.4)(П.4)
Ah.Afikt ...
Ah.Afikt ...
(П.4)
(П.4)
Покажем, что если пространство Ev содержит ограниченные некомпактные множества, то оператор А1, обратный вполне непрерывному оператору А, не может быть непрерывным.
В самом деле, рассмотрим в Ег некоторое ограниченное некомпактное множество. В этом множестве выделим бесконечную последовательность (П.2), никакая подпоследовательность которой не сходится. В Е^ ей соответствует бесконечная последовательность (П.З), из которой может быть извлечена сходящаяся подпоследовательность (П.4). Если бы оператор Л 1 был непрерывным, то последовательности (П.4) в Ех соответствовала бы сходящаяся последовательность
кк-.(П.5)
которая является подпоследовательностью (П.2) в противоречии с тем, как была выбрана последовательность.
Итак, задача решения операторного уравнения, заданного вполне непрерывным оператором, является некорректно поставленной. В основном тексте книги мы ограничимся рассмотрением линейных интегральных операторов ь
Af=yjt,x)f(t)dt(П.6)
а
с непрерывными ядрами К (t, х) в области a^t^b, a^x^b.
Операторы (П.6) являются вполне непрерывными при отображении непрерывных на [а, Ь^ функций. Доказательство этого факта содержится во всех руководствах по функциональному анализу (см., например, [28]).
§ П2. Задачи, корректные по Тихонову
Задачу решения операторного уравнения
Af^F
называют корректной по Тихонову на множестве о^' cz с^, а само множество ^г — ее множеством (классом) корректности, если:
точное решение задачи существует и принадлежит o^Z';
поинадлежащее решение единственно для любого F gee A^V =\
принадлежащие множеству <М* решения устойчивы относительно F е <АР*.
При М'=М и Ж^Л^ понятие корректности по Тихонову совпадает с понятием корректности по Адамару. Смысл определения корректности по Тихонову заключается в том, что корректность может быть достигнута за счет сужения рассматриваемого множества решений е^ до класса корректности .
“ Следующая лемма устанавливает, что если множество решений ^ сужено до компакта то оно образует класс корректности.
' Лемма. Если на компакте sAV a oAt задан непрерывный взаимно однозначный оператор А, то обратный оператор А-1 непрерывен на множестве Jf'—AM'.
Доказательство. Выберем произвольный элемент P^^J^' и произвольную сходящуюся к нему последовательность
F„—F,.
Требуется доказать сходимость
'fn = AAFn-~A^F6 = t0.
Так как {^1 cz о/^', а Мг — компакт, то последовательность {/п} имеет предельные точки, принадлежащие М1. Пусть f0 —такая предельная точка. Поскольку f0 — предельная точка, существует сходящаяся к ней последовательность {f^}, которой соответствует последовательность {Т7^}, сходящаяся к Fo. Поэтому, переходя к пределу в равенстве
Afn^ = F^
и пользуясь непрерывностью оператора А, получим
Af0 = F0.
В силу однозначности оператора А-1 имеем A-1F0 = f0, откуда следует единственность предельной точки последовательности 1^}- Остается проверить, что к /0 сходится вся последовательность ^ПкУ Действительно, если бы к /0 сходилась не вся последовательность, то нашлась бы окрестность точки f0, вне которой имеется бесконечное число членов последовательности {f^}- Ввиду компактности множества Q^Z' у этой последовательности есть предельная точка %, которая по доказанному выше обязана совпадать с /0, а это противоречит допущению о том, что выбранная последовательность лежит вне окрестности точки f0. Лемма доказана.
Таким образом, корректность по Тихонову на компакте сЖ' вытекает из одних условий существования и единственности решения операторного уравнения: третье условие — устойчивость решения операторного уравнения — выполняется автоматически.
Этот факт, по существу, и лежит в основе всех конструктивных идей решения некорректных операторных уравнений. Рассмотрим некоторые из них.
§ ПЗ. Метод регуляризации
Метод регуляризации был предложен А. Н. Тихоновым в 1963 г.
Пусть необходимо решить операторное уравнение
Af^F,(П.7)
заданное непрерывным взаимно однозначным из еЖ в <# оператором А. И пусть решение (П.7) существует.
Введем в рассмотрение непрерывный функционал Q (f), который назовем стабилизатором и который обладает следующими тремя свойствами:
решение операторного уравнения принадлежит области определения D (Q) функционала Q (f);
на области определения функционал Q (f) принимает вещественные неотрицательные значения;
все множества
являются компактами.
Идея метода регуляризации состоит в том, чтобы найти решение (П.7) как элемент, минимизирующий некоторый функционал, но не функционал
р = р2ИА О
(такая задача была бы эквивалентна решению уравнения (П.7) и потому тоже некорректна), а «исправленный» функционал
R^ (f, F) ^pl (ДД F) +yQ (f\ f eD(Q) (П.8) с параметром регуляризации у>0. Задача минимизации функционала (П.8) устойчива, т. е. близким функциям F и ^6 (Р2 (Л ^б) ^ 6) соответствуют близкие элементы Д’ и ^, минимизирующие функционалы Ry (f, F) и Ry (f, F^). Проблема состоит в том, чтобы установить, в каком соотношении должны находиться величины 6 и у, чтобы последовательность решений f^ регуляризованных задач Ry (f; F6) сходилась при 6-^0 к решению операторного уравнения (П.7). Эти соотношения устанавливает следующая теорема.
Теорема ПЛ. Пусть Е^ и Е2 — метрические пространства, и пусть для F ^ еЛ^ существует решение уравнения (П.7) feD^T). Тогда, если вместо точной правой части F уравнения (П.7) известны приближения1) F^^E2 такие, что p2{F, F^^6, а значения параметра у выбираются так, что
у(6)->-0 при 5-^0, Нт ^ г < со, (П.9)
то элементы ^\ минимизирующие функционалы Rv^ (f, F6) на D^\ сходятся к точному решению f при 6-^0.
Доказательство теоремы использует следующий факт: для всякого фиксированного у > 0 и любого F е существует элемент р eeD (Q), минимизирующий на D (Q) функционал Ry F).
9 Элементы F§ могут не принадлежать множеству ^
Пусть у и б удовлетворяют соотношению (П.9). Рассмотрим последовательность элементов f^6\ минимизирующих R^Vf, F^, и покажем, что имеет место сходимость
По определению имеем
^(6)^(6), F6^R^(f, F^ = p»(Af, F6) + y(6W)^
б2 + V (б) Й (f) = v (6) (й (f) + ^у). Учитывая, что
^(6) ^(в),^) = р* W\ Fe) + T (б) Й (f^, заключаем
£1(/Г)<0(Г)+^'r,)«=T(6)(Q(f) + ^).
Так как выполнены условия (П.9), то все элементы ряда f£(6) для достаточно малых 6>0 принадлежат компакту Мг> где с* = Q (f) + г + е; е>0, а их образы F^(6) = Af§(6) сходятся:
рД^(6), F)^p4(Fr6\ F6H6^
Отсюда на основании леммы заключаем, что сходятся и прообразы
f^-H при 6-^0,
что и требовалось доказать.
В гильбертовом пространстве для линейного оператора А функционал Q (f) может быть взят равным Ц/^2. И хотя множества ^с при этом оказываются слабо компактными, сходимость регуляризованных решений в силу свойств гильбертова пространства, как будет показано ниже, оказывается сильной. Такой выбор регуляризующего функционала удобен еще и тем, что область его определения D (Q) совпадает со всем пространством Ev Однако в этом случае условия на параметр у более жесткие, чем в теореме ПЛ: у должно стремиться к нулю медленнее, чем б2.
Итак, справедлива теорема.
Теорема П.2. Пусть Е1 —гильбертово пространство и q ^) = || f |(2. Тогда при у (6), удовлетворяющем соотношениям (П.9) с г = 0, регуляризованные элементы f)^ сходятся при 6-> О к точному решению f в метрике пространства Ev
Доказательство. Из геометрии гильбертовых про* странств известно, что сфера ||/||2^с является слабым компактом и что из свойств слабой сходимости элементов h к элементу / и сходимости норм Ц^Ц к Ц/Ц вытекает сильная сходимость
Кроме того, из слабой сходимости fi-^f вытекает
НИ^Ш!-(п.Ю)
Используя эти свойства гильбертова пространства, докажем теорему. Для этого заметим, что для слабой сходимости в пространстве Ег справедлива предыдущая теорема: fV6) слабо сходятся к f при б->0.
Поэтому, согласно (П.10), справедливо неравенство
№^.Пт||^(б) ^д-*о
С другой стороны, учитывая то, что Q (/) = ||f||2, и то, что г = 0, получаем
Следовательно, имеет место сходимость норм
№1611G а
а это вместе с фактом существования слабой сходимости влечет в силу свойств гильбертова пространства сильную сходимость
И'”-/|,—о,
что и требовалось доказать.
Приведенные теоремы являются центральными в теории регуляризации. С их помощью устанавливается прин-
ципиальная возможность решения некорректных задач. Однако при решении практических задач вопросы сходимости последовательности регуляризованных решений не являются наиболее актуальными. Обычно правая часть операторного уравнения задана с конечной точностью 6, и проблема заключается в том, чтобы определить величину константы регуляризации у (6), при которой будет обеспечено наилучшее приближение к искомому решению. Для этой ситуации утверждения теорем П.1, П.2, где величина у определяется с точностью до константы г (да и то при достаточно малых 6), являются явно недостаточными.
В настоящее время нет сколько-нибудь надежных методов выбора константы регуляризации. Однако имеются многочисленные примеры того, что при надлежащем выборе константы у могут быть получены достаточно хорошие приближения к решению некорректных задач.
§ П4. Метод квазирешений
Определение. Говорят, что уравнение (П.7) имеет на множестве М' а М квазирешение f' е е^', если для элемента f справедливо равенство
РгМГ, 0 = inf р2(Л/, F).
Иными словами, квазирешение /' —это такая точка множества М’, образ которой Af является ближайшим к F элементом на множестве А^'.
Понятие квазирешения было введено В. К. Ивановым. Оно обобщает понятие решения: для существования квазирешения не требуется, чтобы решение операторного уравнения принадлежало области о^'.
Справедлива
Теорема П.З. Пусть Ех и Е2 —банаховы пространства, причем пространство Е^ строго выпукло, А --взаимно однозначный непрерывный линейный оператор. Тогда задача отыскания квазирешения операторного уравнения (П.7) на выпуклом компакте <М’ поставлена корректно по Адамару.
Доказательство этой теоремы аналогично доказательству теоремы П.1.
Пусть f' — квазирешение уравнения (П.7) и F’ =Af. Очевидно, F’ есть проекция элемента F на множество
А^Ж’. Так как проекция определяется однозначно, то в силу взаимной однозначности отображения множества е^ на множество ^ следует единственность квазирешения f.
Очевидно, что f' = A-1F' = THPrF (Рг — оператор проектирования в АЖ’\ Согласно лемме о непрерывности обратного отображения на компакт, оператор Л-1 непрерывен на Ж'. Оператор проектирования непрерывен на «/Р. Поэтому Д-1Рг — непрерывный на «ЛА оператор, и, следовательно, квазирешение f непрерывно зависит от F. Теорема доказана.
Рассмотрим теперь расширяющуюся систему выпуклых компактов в пространстве Ех:
Жх CZ о^2 CZ . . . CZ Жп CZ 0^0,(П. 11)
и рассмотрим для них последовательность квазирешений р =операторного уравнения
Af-F.
Справедлива
Теорема П.4. Если в условиях теоремы П.З выбрать систему выпуклых компактов такую, что
(черта означает замыкание множества), то квазирешения 1^=ЦР, Ж^ будут сходиться к квазирешению f — = f(F, Ж^ при n-vco.
Доказательство теоремы основано на том факте, что из непрерывности оператора А и плотности множества U Жп в следует, что множество J АЖ{ также плотно
П ^ 1
в ЫЦ. Поэтому точки Fn (Fn е АЖ^. реализующие расстояние р (F, АЖ^ при п->оэ, стремятся к точке FeAA^ реализующей расстояние р^, До^о). Остальное доказывается ссылкой на лемму о непрерывности оператора А 1 на множестве АЖ^.
Применим метод квазирешений для отыскания решения операторного уравнения
Af^F.
Пусть
Ф1 (0. • • •. фп (0. • • •
— полная в L2 ортонормированная система функций. Будем искать решение на компакте е^:
^=f:/W=2a^^’ I^I^T- (ПЛ2)
где с —константа. Наряду с компактом <М рассмотрим компакт WHn\
f f (0 = 2
Согласно теореме П.З квазирешение f(F, qM^ при больших п аппроксимирует решение f (F, с^) и потому может быть принято за решение исходного уравнения.
На практике при решении некорректно поставленных задач с неточно заданной правой частью проблема состоит в том, чтобы определить компакт (размерность подпространства), в котором следует искать квазирешение.
Выбор такого компакта (определение числа членов разложения) — проблема, эквивалентная определению константы регуляризации в методе регуляризации.
В основной части книги будут рассмотрены методы определения подходящего числа членов разложения для отыскания решения некорректных задач измерений.
Подробно теория некорректных задач рассмотрена в монографии [56J.
ГЛАВА II
МЕТОДЫ МИНИМИЗАЦИИ СРЕДНЕГО РИСКА
Два пути минимизации среднего риска
Существуют два пути решения задачи минимизации среднего риска
I^ = \Q^z, a^P^dz (2.1)
по эмпирическим данным
гь ..., zb (2.2)
Первый путь связан с идеей конструирования по выборке (2.2) и функции Q (г, а) эмпирического функционала
/3(а)=Ф(5(г1( а), ..., Q(zh а); гь ..., zt\ (2.3) т. е. такого функционала, который не зависит от неизвестной плотности распределения вероятностей Р^- В отличие от (2.1), функционал (2.3) можно минимизировать. Точку минимума функционала (2.3) примем за точку минимума исходного функционала (2.1). Такой метод минимизации среднего риска называется методом минимизации эмпирического функционала.
Основная проблема, которая возникает при изучении метода минимизации эмпирического функционала — определить для каждого типа аппроксимации (2.3) величину ошибки и указать такую аппроксимацию функционала (2.1) эмпирическим функционалом (2.3), при которой гарантируется отыскание функции, доставляющей функционалу (2.1) значение, близкое к минимальному.
Второй путь связывает нахождение минимума функционала (2.1) с использованием итеративной процедуры:
a(i) = a(i-l) + y(i)S(i, zt\ (2.4) Согласно процедуре (2.4) уточнение вектора параметров а на t-м шаге определяется величиной f-ro шага y(t) и направлением S (г, 2/).
Оказывается, что если направление движения S (t, zz) выбирать так, чтобы на каждом шаге выполнялось неравенство х)
(V«/(a(t-l)))TMS(i, z)^6>0,(2.5)
где Va/М — градиент по а функционала (2.1), MS (I, г) — математическое ожидание направления Z-ro шага, то при некоторых дополнительных условиях, ограничивающих рост вектора S (i, г) (например, функцией |г|) и величину шага y(i) (требуется, чтобы S т2(0< 03 и в то \1 = 1
же время 2 'V^^^b процедура (2.4) и случайная выборка zb ..., гь ... индуцируют последовательность a (t), сходящуюся к вектору параметров а0, доставляющему минимум функционалу (2.1) [45].
Итеративная процедура (2.4) является развитием градиентных методов поиска минимума. В самом деле, если бы плотность распределения вероятностей Р (г) была известна, то при определенных условиях можно было бы вычислить градиент
Vai (a) = j VaQ (г, a) P (?) dz.(2.6)
Тогда процедура спуска представляла бы собой следующее правило: a № = a (i- 1)-V W v«/ (^ (t ” 1))-(2.7)
Процедура (2.4) отличается от (2.7) тем, что на каждом шаге в качестве направления движения выбирается не направление градиента, а такое направление, движение по которому происходит «в среднем примерно в ту же сторону, что и по градиенту». Слова «в среднем примерно в ту же сторону» формализуются неравенством (2.5).
Таким образом, основной результат теории итеративных методов состоит в том, что даже при достаточно общих условиях, определяющих выбор направления движения и величину шага, итеративные процедуры (2.4) приводят к цели. Однако именно в силу универсальности итеративной процедуры, отыскание значения функционала, близкого к минимальному, можно гарантировать лишь асимптотически. Для решения задач минимизации среднего риска по выборке фиксированного объема итератив
!) Здесь и далее вектор определен как вектор-столбец, т — знак транспонирования.
ные методы оказываются малоприспособленными. Поэтому в дальнейшем мы не будем их рассматривать. Решение задачи минимизации функционала (2.1) по эмпирическим данным (2.2) будем связывать с конструированием эмпирического функционала (2.3) и последующей его минимизацией.
Проблема больших выбросов
Нашей целью является построение метода, гарантирующего с заданной вероятностью отыскание функции, доставляющей функционалу
/ (cz) = Q (г, а) Р (г) dz
значение, близкое к минимальному, если плотность Р (г) неизвестна, но дана выборка zx. ..., гь
Однако решить эту задачу без привлечения априорной информации невозможно. В самом деле, рассмотрим одну из самых простых задач восстановления зависимостей по эмпирическим данным. Требуется минимизировать функционал
r^^^t-afP^dt,(2.8)
если плотность Р (I) неизвестна, но дана случайная независимая выборка 1Ъ ..., tb
Минимум функционала (2.8) достигается при
a = \tP^dt-(2.9)
Таким образом, проблема состоит в том, чтобы для неизвестной плотности Р (t) найти способ, гарантирующий с заданной вероятностью достаточно точную оценку среднего по выборке фиксированного объема I.
Оказывается, что, не имея априорных сведений о плотности Р (/), получить гарантированную оценку среднего нельзя.
Действительно, пусть случайная величина t принимает Два значения — нуль и К, причем значение нуль она принимает с вероятностью 1—8 и К — с вероятностью 8 (Р (/ = 0) = 1 — е; Р (t = К) = е). Пусть теперь 8 — настолько малая величина, что с большой вероятностью (1 —6) случайная независимая выборка ^, ..., tt состоит из одних
нулей, и, следовательно, величина эмпирического среднего i
i = l
равна нулю. (Вероятность этого события (1—8/= 1—6.) С другой стороны, математическое ожидание случайной величины t равно
М/-0(1 -8) + /<8 = /<8, и в зависимости от величины К может принимать любые значения, в том числе и достаточно большие (например, когда /С=1/82).
Итак, в нашем примере, несмотря на ю, что почти любая величина эмпирического среднего, образованная по выборке длины /, равнялась нулю, никаких надежных заключений о величине математического ожидания сделать было нельзя.
Это произошло потому, что даже при малом 8 произведение Кг могло быть большой величиной. Иначе говоря, распределение случайной величины t было таким, что на «малой мере» е оказалась сосредоточена большая величина К. О таких ситуациях в статистике говорят, что случайная величина допускает «большой выброс».
В каких же случаях по величине эмпирического среднего можно надежно судить о математическом ожидании?
Ответ на этот вопрос следует из неравенства Чебышева. Согласно этому неравенству вероятность уклонения случайной величины t от своего математического ожидания Mt может быть оценена так:
Р^-МЦ:>аи^1
где о2— дисперсия случайной величины t. Рассмотрим теперь случайную величину
где t^ ..., tt — случайная независимая выборка длины I, Заметим, что
MX-Mt,MX-Mt,
MX-Mt,
MX-Mt,
Неравенство Чебышева для этой величины имеет вид
(2.10)(2.10)
(2.10)
(2.10)
Запишем неравенство (2.10) в иной форме. Для этого приравняем правую часть неравенства (2.10) величине тр
1
и разрешим равенство относительно х: х = 1/)А].
Теперь утверждение, что с вероятностью 1 — т] имеют место неравенства
1 У tt-4=<Mt<V У ti + -7=.(2.11)
полностью эквивалентно утверждению (2.10).
Если бы быаа известна дисперсия о2 случайной величины /, то неравенства (2.11) определяли бы величину доверительного интервала для математического ожидания Mt и, тем самым, гарантированную оценку среднего, т. е. такую оценку, которая выполняется с заданной вероятностью. Поэтому, для того чтобы получить гарантированную оценку среднего по величине эмпирического среднего, достаточно знать либо абсолютную оценку Табс дисперсии 'а2^т!бс,(2.12)
либо при условии, что искомое среднее есть величина положительная, оценку относительной величины дисперсии
^ ^тн.(2.13)
Действительно, из (2.11) и (2.12) следует, что знание абсолютной оценки дисперсии немедленно приводит к построению гарантированной оценки вида
А из (2.11) и (2.13) следует, что знание оценки относительной величины дисперсии приводит к построению
гарантированной оценки вида
1+^1+^^отнИп7^отнИп7<Mt<<Mt<11(2.15)(2.15)
1+^
1+^
^отн
Ип7
^отн
Ип7
<Mt<
<Mt<
1
1
(2.15)
(2.15)
Пусть теперь случайная величина t неотрицательна (именно этот случай и рассматривается в книге, ведь ^a = Q(^ ^) = (у —F(x, ос))2). Тогда заведомо Л1/>0, и, следовательно, можно воспользоваться информацией об оценке относительной дисперсии.
При получении доверительных интервалов (2.14) и (2.15) мы использовали неравенство Чебышева. Это неравенство справедливо для любых распределений и потому для некоторых типов распределений может оказаться грубым. В частности, если распределение таково, что величина t положительна и не превосходит т (в этом случае о<;т/2), то, как будет показано в главе VII, имеет место более сильная, чем в неравенстве Чебышева, оценка
X2/X2/(2.16)(2.16)
X2/
X2/
(2.16)
(2.16)
С помощью (2.16) можно получить более точную гарантированную оценку величины математического ожидания.
Чтобы иметь возможность использовать неравенство (2.16), будем требовать вместо априорного знания абсолютной оценки дисперсии положительной случайной величины знания абсолютной оценки т самой случайной величины t (конечно, в том случае, когда эта оценка существует).
Итак, для того чтобы иметь возможность оценить среднее по величине эмпирического среднего, достаточно знать либо абсолютную оценку т случайной величины /, либо оценку т0ТН относительной величины дисперсии случайной величины 1.
В этой книге мы будем изучать распределение не одной случайной величины /, а целого множества случайных величин
Za = Q(z, a) = (y-F(x, a))2,
зависящих от параметра а. Для получения равномерных гарантированных оценок средних этих величин нам понадобятся равномерные для этих величин характеристики больших выбросов.
Возможный выброс на множестве /а = Q (г, а) будем характеризовать абсолютной оценкой величины потерь
Ta6c = supQ(2, а)(2.17)
а, г
или оценкой относительной величины дисперсии
(2.18)(2.18)т - =„п Р ^<г’ а)И‘/2 - чип 1/JWl^L _ 1 Toth — ^(MQ (2, а))2 J "^^Г(^Q (2> а))2
(2.18)
(2.18)
Ниже будет показано, что если известна хотя бы одна из характеристик выброса (абсолютная или относительная оценка), то по случайной выборке фиксированного объема I может быть дана гарантированная оценка величины среднего риска, а при некоторых дополнительных ограничениях решена задача минимизации среднего риска.
Априорная информация в задачах восстановлениязависимостей по эмпирическим данным
Итак, для того чтобы получить гарантированное решение задачи минимизации среднего риска по ограниченному объему эмпирических данных, необходимо использовать априорную информацию о возможных выбросах случайных величин t^^Q^z, ос). Величины возможных выбросов могут быть охарактеризованы либо абсолютной оценкой величины потерь (2.17), либо оценкой относительной величины дисперсии (2.18).
Насколько же обременительно получение априорной информации об абсолютной или относительной оценках для рассматриваемых в этой книге задач восстановления зависимостей: обучения распознаванию образов, восстановления регрессии, интерпретации результатов косвенных экспериментов?
Замечательная особенность задачи обучения распознаванию образов состоит в том, что для нее абсолютная величина потерь всегда не превосходит единицу. Действительно, согласно постановке задачи распознавания,
функция потерь
Q (г, а) = (со — F (х, а))2
равна либо нулю, либо единице.
Таким образом, существование априорной абсолютной оценки величины потерь в задаче обучения распознаванию образов является тривиальным фактом.
В отличие от задачи распознавания образов, в задачах восстановления регрессии или интерпретации результатов косвенных экспериментов существование абсолютной оценки величины потерь —факт далеко не тривиальный. Чаще оказывается, что абсолютной оценки нс существует. Такая ситуация возникает уже при восстановлении линейной регрессии. В самом деле, функция потерь в этом случае равна
Q(z, a) = (y — F(x, а))2,
и если на значения параметров а не наложено никаких специальных ограничений, то в классе линейных функций F (х, а) найдется такая функция, что величина потерь может стать достаточно большой, даже если величины у и х ограничены.
Поэтому при решении задач восстановления регрессии и интерпретации результатов косвенных экспериментов будем использовать информацию не об абсолютной оценке возможных потерь, а об оценке относительной величины дисперсии потерь.
В каком же соотношении находится эта априорная информация с обычно используемой априорной информацией в задаче восстановления зависимостей?
Зафискируем в Q(2, а) = (у — F (%, а))2 функцию F (х, а*). Тогда плотность распределения вероятностей Р (х, у) индуцирует случайную величину
&* = У — F (х, а*),
и, следовательно, оценка относительной величины дисперсии есть априорная информация о плотности распределения вероятностей случайных величин (/а*)2.
Если бы величина ^* для любого а* была распределена по нормальному закону, то оценка относительной
величины дисперсии потерь была бы равнавеличины дисперсии потерь была бы равна
величины дисперсии потерь была бы равна
величины дисперсии потерь была бы равна
независимо от параметров закона.
Если бы величина ^* для любого а* была распределена по равномерному закону, то оценка равнялась бы
Наконец, если бы величина ta* для любого а была распределена по закону Лапласа, то оценка равнялась бы
Эти оценки также нс зависят от параметров закона.
Априорная информация о распределении в терминах оценки относительной величины дисперсии потерь является минимальной априорной информацией, которая будет использоваться в книге.
Другим видом априорной информации, которая обычно используется при восстановлении функциональной зависимости (см. гл. IV и V), является тип плотности распределения вероятностей случайной величины t'^ = y — ^^(х, ос*) (например, задается нормальный закон, или ?Дкон Лапласа). Необходимость задания такой априорной
информации является значительно более сильным требованием, чем задание оценки относительной величины дисперсии потерь.
В самом деле, гипотеза о том, что т0ТН«<2,5, допускает возможность нормального закона, равномерного закона, закона Лапласа и многих других, в то время как гипотеза о конкретном виде распределения позволяет получать гарантированные результаты только при этом фиксированном типе распределения.
Два механизма минимизации среднего риска
В этом параграфе мы будем полагать, что нам известна абсолютная оценка величины возможных потерь
sup Q(2, ос) = табс.
z, а
Наша цель состоит в том, чтобы по случайной независимой выборке
21, ..., 2/(2.19)
сконструировать такой эмпирический функционал
7Э (а) = Ф (Q (г^ а), Q(zz, а); гъ ..., zz), точка минимума которого а = а* с заданной вероятностью 1—т] доставляет функционалу среднего риска
7(a) = $Q(z, a^P^dz(2.20)
значение, близкое к минимальному.
Существует «естественный» способ построения такого эмпирического функционала. Надо восстановить по выборке (2.19) плотность распределения вероятностей Р (2), а затем подставить в (2.20) восстановленную плотность Р (2 вместо Р (2).
Полученный таким образом функционал нс зависит от неизвестной плотности и принципиально может быть минимизирован.
Казалось бы, проблема минимизации среднего риска по эмпирическим данным сводится к восстановлению плотности распределения вероятностей. Задача же восстановления по случайной независимой выборке плотности распределения вероятностей является центральной в матема-
тической статистике, и, таким образом, решение одной из частных проблем статистики— минимизация среднего риска по эмпирическим данным — ставится в зависимость от решения ее центральной проблемы.
В следующем параграфе мы подробно рассмотрим постановку задачи о восстановлении плотности распределения вероятностей, цель же этого параграфа — установить, что существуют два различных механизма, позволяющих решать задачу минимизации среднего риска по эмпирическим данным. Один из этих механизмов действительно опирается на то, что восстанавливаемая плотность Р (2) приближается к истинной, в то время как другой механизм имеет совершенно иную теоретическую основу.
Итак, пусть 0 ^ Q (г, а) ^ т. Рассмотрим два типа эмпирических функционалов: эмпирический функционал типа
Ща^СЦг, a^P^dz,(2.21)
где Р (2) — эмпирическая плотность, восстановленная по выборке 2Ь ..., 2Z, и эмпирический функционал
i
/,(«)= 7 ^ а).(2.22)
1=1
Эмпирический функционал (2.22) принято называть функционалом эмпирического риска.
Формально функционал эмпирического риска является частным видом эмпирического функционала (2.21). В самом деле, если в качестве аппроксимирующей плотности в (2.21) использовать плотность
(2.23)
1 = 1 где
(л — размерность вектора 2), то при е->0 окажется, что /э(а)"^/э(а)‘ ^Здесь использован факт Пш л8 (2) = 6 (2)у
Однако имеет смысл выделять функционал (2.22), так как успех в минимизации среднего риска путем миними-
зации функционалов (2.21) и (2.22) может определяться разными причинами. В первом случае успех может быть обеспечен за счет близости восстановленной плотности
к истинной, тогда как во втором случае плотность Ре (г) при малых е нс приближается к Р (г), и тем нс менее возможны условия, когда точка минимума функционала эмпирического риска доставляет функционалу (2.20) значение, близкое к минимальному.
Действительно, пусть плотность Р (г) близка к Р (г), т. е.
J | Р (г) — Р (г) | dz е,
и пусть минимум эмпирического функционала достигается при а = аэ, а минимум среднего риска при а = а0. Тогда справедлива цепочка неравенств
Ца9) — 1 M^I (аэ)-/э(аэ) + 7э(“о)-/(“о)^.
^ ^ Q (г, a,) J Р (z) - Р (z) | dz + $ Q (г, а0) | Р (г) - Р (z) | dz^
^ 2те,
откуда следует близость минимумов функционалов (2.20) и (2.21).
Покажем теперь, что аппроксимирующая плотность (2.23) при 8->0 не приближается к истинной. Пусть Р (г) — ограниченная функция. Разобьем множество Z на два подмножества: множество Z малой меры, содержащее все элементы выборки, и множество Z/Z.
Нетрудно проверить, что для достаточно малого е может быть выбрано такое множество Z, что
^\P<z-)-Pe(.z)\dz^ 5 P^dz + 5A(z)dz^2.
zZ/Zz
Таким образом, успех минимизации среднего риска (2.20) методом минимизации функционала эмпирического риска (2.22) определяется не близостью плотностей, как в первом случае, а иным механизмом. Ниже в § 6 мы покажем, что этот механизм опирается на свойство равномерной сходимости эмпирических средних к математическим ожиданиям по некоторому множеству событий.
Задача восстановления плотностираспределения вероятностей
Задачи, которые решают теория вероятностей и математическая статистика соотносятся между собой как прямые и обратные.
Задачи теории вероятностей можно было бы описать следующей схемой: известен состав генеральной совокупности и закон распределения вероятностей. Требуется для заданной схемы эксперимента оценить вероятность исходов эксперимента.
Математическая статистика решает обратные задачи: по результату эксперимента определяет свойства закона распределения. Исчерпывающей характеристикой закона распределения является плотность распределения вероятностей.
Таким образом, задача восстановления плотности распределения вероятностей по выборке является центральной проблемой математической статистики. В этом параграфе мы убедимся, что задача восстановления плотности является, вообще говоря, некорректно поставленной.
, Пусть задана выборка ^, ..., tL и достаточно широко определен класс функций, которому принадлежит плотность распределения вероятностей P(t) (например, известно лишь, что Р (/) принадлежит непрерывным функциям). Требуется восстановить плотность распределения вероятностей.
Рассмотрим сначала одномерный случай. Согласно определению плотность распределения вероятностей Р (/) связана с функцией распределения вероятностей F (z) = ~P{t^z} интегральным соотношением
5 P^dt = F<zY
. — ОО
Или, что то же самое, соотношением
^В^-^Р^) dt = F^,—ОО^В^-^Р^) dt = F^,—ОО(2.24)(2.24)
^В^-^Р^) dt = F^,
—ОО
^В^-^Р^) dt = F^,
—ОО
(2.24)
(2.24)
где обозначено
^W =^W =1, если ХЭгО,1, если ХЭгО,О, если х <; 0.О, если х <; 0.
^W =
^W =
1, если ХЭгО,
1, если ХЭгО,
О, если х <; 0.
О, если х <; 0.
Для непрерывных плотностей существует единственное решение уравнения (2.24).
Определим теперь эмпирическую функцию распределения вероятностей: Fi^^k/l, если величина z превосходит к элементов выборки zb ...» zL.
Центральная теорема математической статистики — теорема Гливенко — Кантелли — утверждает, что с ростом объема выборки I эмпирическая функция распределения равномерно приближается к истинной.
Теорема (Гливенко — Кантелли). Пусть F(z) —функция распределения случайной величины г, Ft (?) — эмпирическая функция распределения. Тогда при l-^оо справедливо
Р {sup IF (г) - F^ I ^OJ = 1.
Мы не будем приводить здесь доказательство этой теоремы. В главе VI будет доказана теорема о равномерной сходимости частот появления событий к их вероятностям, из которой теорема Гливенко — Кантелли следует как частный случай.
Вернемся к интегральному уравнению (2.24), решение которого определяет плотность распределения вероятностей. Будем искать приближенное решение этого уравнения в ситуации, когда вместо функции распределения случайной величины F (z) известна эмпирическая функция Fi(z\ найденная по конечной выборке. В главе IX, используя оценку скорости равномерной сходимости Ft (z) к F(z), мы покажем, что существует такая процедура получения приближенных решений уравнения (2.24), при которой с ростом / последовательность решений стремится к искомой плотности вероятностей.
Таким образом, существует принципиальная возможность восстанавливать непрерывную плотность распределения вероятностей. Однако восстановление плотности связано с решением некорректно поставленной задачи численного дифференцирования (2.24) в условиях, когда правая часть уравнения задана неточно.
Правда, при восстановлении плотности распределения вероятностей заранее известно, что решением интегрального уравнения (2.24) окажется не любая непрерывная функция, а функция Р (/), принимающая лишь
неотрицательные значения и удовлетворяющая условию
ОО
5 P^dt = \.
Однако этой априорной информации недостаточно, чтобы задача решения интегрального уравнения (2.24) перестала быть некорректно поставленной.
Подобно одномерному случаю может быть поставлена задача восстановления многомерной плотности распределения вероятностей. Для этого также выпишем интегральное уравнение, связывающее многомерную плотность с многомерной функцией распределения вероятностей:
21 гп
$... $ Р (^, tnW> ..., dt^^p (Р^гЧ ...; f^^z^V (2.25) и определим многомерную эмпирическую функцию распределения
F^, (2.26)
где к — число элементов выборки zx, ..., Z/, попадающих в область Z^z1, , ^^z".
Оказывается, что справедлив многомерный аналог теоремы Гли- венко — Кантелли: с ростом обьема выборки эмпирическая функция распределения равномерно сходится к функции распределения вероятностей. Справедливость обобщенной теоремы Гливенко — Кантелли также будет следовать из общей теории равномерной сходимости частот к вероятностям, рассмотренной в главе VI.
С помощью этой теоремы аналогично одномерному случаю устанавливается принципиальная возможность восстановления многомерных плотностей по эмпирическим данным.
Таким образом, задача восстановления плотности распределения вероятностей в классе непрерывных функций сводится к некорректной задаче численного дифференцирования функции распределения вероятностей1).
Заметим, что приведенная здесь постановка задачи численного дифференцирования отличается от задачи численного дифференцирования, рассмотренной в примере 3
уществуют непараметрические методы восстановления плотности (например, метод Парзена), которые, казалось бы, позволяют избежать необходимости решать некорректно поставленные задачи.
Однако, как будет показано в главе IX, проблемы, которые возникают при реализации этих методов, оказываются эквивалентными проблемам решения некорректной задачи численного дифференци-
главы I. В главе I рассматривались некорректные задачи измерения, т. е. такие постановки некорректных задач, у которых ошибки являлись результатом измерения — значения правой части интегрального уравнения (2.24) определялись в / точках статистически независимо. В нашем же случае разность между точным значением правой части и функцией, полученной в результате измерения, является случайной функцией.
Таким образом, задача восстановления плотности распределения вероятностей является задачей более общей, чем интерпретация результатов косвенных экспериментов. И, следовательно, решать задачу минимизации среднего риска по эмпирическим данным путем восстановления плотности распределения вероятностей, вообще говоря, нерационально. (Наоборот, в главе IX мы рассмотрим задачу восстановления плотности как проблему минимизации среднего риска по эмпирическим данным).
Однако возможны вырожденные случаи, когда имеется настолько большая априорная информация об искомой плотности распределения вероятностей, что задача перестает быть некорректно поставленной.
Так, задача восстановления плотности может оказаться корректно поставленной, если плотность известна с точностью до конечного числа параметров (здесь важно, что число параметров конечно и заранее известно).
Методы восстановления плотности распределения вероятностей, заданной с точностью до конечного числа параметров, получили название методов параметрической статистики. Они образуют специальный класс методов восстановления плотности, который существенно отличается от общих методов восстановления плотности распределения вероятностей (иногда их называют методами непараметрической статистики).
Равномерная близость эмпирических среднихк математическим ожиданиям
Выше мы установили, что существуют два механизма минимизации среднего риска по эмпирическим данным.
Первый из них связан с минимизацией эмпирического функционала, построенного по восстановленной плотности. Однако промежуточная задача — восстановление плот-
йости — является, вообще говоря, более сложной, чем задача минимизации риска по эмпирическим данным.
Поэтому решать задачу минимизации среднего риска путем восстановления плотности, вообще говоря, нерационально.
В этом параграфе мы рассмотрим второй механизм минимизации среднего риска по эмпирическим данным. Будем решать задачу минимизации среднего риска
7 (а) = $ Q (z, а) Р (z) dz
по эмпирическим данным
2Ь ..., 2Z
путем минимизации функционала эмпирического риска
i1Л^ = л ^Q^b а).
1 = 1
Для каждого фиксированного а = а* функционал 7 (а*) определяет математическое ожидание случайной величины /a^ = Q(z, а*), в то время как функционал /э (а*) —эмпирическое среднее этой случайной величины.
Согласно классическим теоремам теории вероятностей в достаточно общих случаях эмпирическое среднее случайной величины /а* с ростом I сходится к математическому ожиданию этой случайной величины.
Однако из этих теорем никак не следует, что значение параметра аэ, доставляющего минимум эмпирическому риску /э (а), будет доставлять среднему риску 7 (а) величину, близкую к минимальной. Это утверждение является важным, и потому разберем его подробнее.
Предположим для наглядности, что параметр а есть скалярная величина, лежащая в интервале [0, 1]. Каждому а ставится в соответствие величина I (а). Рассмотрим функцию 7(a). Наряду с этой функцией рассмотрим функцию /э(а), которая для каждого а определяет эмпирическое среднее, найденное по выборке длины I (рис. 2).
Метод минимизации эмпирического риска предлагает по минимуму функции /9 (а) судить о минимуме функции 7(a). Для того же, чтобы по точке минимума и минимальному значению функции /8 (а) можно было судить о мини-
мальном значении функции /(а), достаточно, чтобы кривая /э (а) целиком находилась внутри х-трубки кривой /(а). Выброс хотя бы в одной точке (как на рис. 2) может привести к тому, что в качестве точки, минимизирующей /(а), будет выбрана точка выброса /э(а). В этом случае минимум /э (а) никак нс характеризует минимум /(а). Если же функция /э (а) приближает 1 (а) равномерно по а с точностью х, то минимум /э (а) отстоит от минимума / (а) на величину, не превосходящую 2х.
(2.27)(2.27)Формально это означает, что нас интересуют нс классические условия, когда для любого а и х справедливо
(2.27)
(2.27)
Р {| / (а) —/э (а) | > х} ^0,
а более сильные условия, когда для любого х справед
ливо
PJsup|Z(a)-7,(a)|>x|^0.(2.28)
В случае, когда выполняется (2.28), будем говорить, что имеет место равномерная по параметру а сходимость эмпирических средних к их математическим ожиданиям.
Итак, второй механизм минимизации риска связан с равномерной по параметру а сходимостью эмпирических средних к математическим ожиданиям. Однако для наших целей— минимизации среднего риска на выборках фиксированного объема — просто факта равномерной сходимости недостаточно. Для того чтобы с заданной вероятно-
стью можно было гарантировать отыскание решения, доставляющего функционалу значение, близкое к минимальному, надо, чтобы была известна оценка скорости равномерной сходимости. Действительно, выполнение неравенства
Pjsup I / (а) - /9 (а) I 2s х} < Т) (/, х),lim г) (Z, х) =0I—* оо
эквивалентно утверждению: с вероятностью 1 — т| (Z, х) одновременно для всех а справедлива оценка
/э (а) — х / (а) ^ /э (а) + х.(2.29)
И если т](/, х) — убывающая по Z и х функция, то для заданного уровня надежности 1—л>
4(1»(2.30)
величина доверительного интервала x = x(Z, т]), полученная как решение уравнения (2.30), уменьшается с ростом Z. Следовательно, для больших Z точка аэ минимума эмпирического риска доставит величине среднего риска значение, близкое к минимальному. При любом же фиксированном Z можно утверждать, что с вероятностью 1—г) точка аэ доставит величине среднего риска значение из интервала
к («э) - х ^ / (а9) ^ 19 (а9) + х.
Обобщение теоремы Гливенко — Кантеллии задача распознавания образов
В этом параграфе мы рассмотрим частный случай: функция потерь Q (г, а) функционала
(2.31)(2.31)Z(a) = ^ Q (г, a) Р (z) йг
(2.31)
(2.31)
принимает лишь два значения —нуль и единица. Как уже отмечалось, к этому случаю приводится задача обучения распознаванию образов.
Обозначим через S (а*) множество векторов г, для которых данная функция потерь Q (z, а*) принимает значение единица. Иными словами, S (а*) есть событие S (a*) = {z: Q (г, а*)=1}. Для фиксированного а = а* функционал (2.31) определяет вероятность того, что вектор г принадлежит множеству S (а*), т. е. вероятность собы-
3 В. Н. Вапник
Соответственно для каждого фиксированного а = а* функционал эмпирического риска
м«*)=4 2 № а#) (2,з2)
Z=1
определяет частоту события S (а*), найденную по выборке zj, ..., Z/ длины I. Для того чтобы выделить этот важный частный случай, будем обозначать функционал (2.31) через Р (а), а функционал (2.32) —через v(a). В этих обозначениях условие (2.28) перепишется в виде
Р fsup |P(a)-v(a) |>х| ,^0.
I a j
Оно означает равномерную сходимость частот появления событий к их вероятностям по классу событий S (а). В этих терминах утверждение теоремы Гливенко —Кантелли о том, что эмпирическая функция распределения вероятностей равномерно сходится к истинной функции, есть утверждение о существовании равномерной сходимости частот появления событий к их вероятностям для одной специальной системы событий.
В самом деле, рассмотрим прямую z и множество лучей z ^ а. Это множество лучей задает систему событий S1 (а) (событие S1 (а*) заключается в том, что точка г принадлежит лучу z^a*). В этих терминах утверждение теоремы Гливенко — Кантелли состоит в следующем: «имеет место равномерная сходимость частот появления событий к их вероятностям по классу событий S1 (а)».
Рассмотрим теперь следующий класс событий Sn (cz): вектор z = = (z1, ... , znV принадлежит событию Sn (а*) (здесь a* = (a*, ... , a*)7^ если одновременно для всех п координат выполнятся неравенства zx^a*, ..., zn Множество всех событий Sn (а*) и есть Sn (a). В этих терминах многомерным аналогом теоремы Гливенко — Кантелли является утверждение о существовании равномерной сходимости частот появления событий к их вероятностям по классу событий Sc™ (a).
Таким образом, требование равномерной сходимости частот появления событий к их вероятностям для различных систем событий, которое возникает при исследовании задачи обучения распознаванию образов, приводит к необходимости обобщения теоремы Гливенко — Кантелли.
Замечания о двух механизмах минимизациисреднего риска по эмпирическим данным
Итак, существуют два механизма минимизации среднего риска по эмпирическим данным. Один из них связан с возможностью восстановить плотность распределения вероятностей, другой — с возможностью обеспечить равномерную сходимость эмпирических средних к математическим ожиданиям.
Восстанавливать плотность распределения вероятностей рационально лишь в вырожденных случаях, а именно тогда, когда о плотности имеется достаточно большая априорная информация. Если же априорная информация ограничена, решение промежуточной задачи — восстановление плотности оказывается никак не проще проблемы минимизации среднего риска. В этом случае возможность восстановления плотности распределения вероятностей опирается на теорему Гливенко —Кантелли, т. е. на существование равномерной сходимости частот появления событий к их вероятностям для специального класса событий.
Второй механизм минимизации риска непосредственно опирается на существование равномерной сходимости эмпирических средних к их математическим ожиданиям.
Таким образом, вопрос о равномерной сходимости эмпирических средних к математическим ожиданиям оказался центральным в теории минимизации среднего риска.
Ниже в главах VI —VII будет показано, что достаточные условия существования равномерной сходимости средних к математическим ожиданиям определяются особенностью функций потерь. Для задач восстановления зависимостей эта особенность выразится в том, что класс функции, в котором ведется восстановление, должен быть достаточно узким.
Существование двух механизмов минимизации среднего риска отражает наличие условий двух типов, при которых в принципе возможна минимизация среднего риска по эмпирическим данным.
Условия первого типа связывают возможность минимизации риска с информацией о классе плотностей, которому принадлежит восстанавливаемая плотность распределения вероятностей. В том случае, когда удается ее восстановить, оказывается, что независимо от того, какова функция потерь (лишь бы она не допускала больших выбросов), можно добиться успеха в минимизации среднего риска.
Условия второго типа накладывают определенные ограничения на свойства функций потерь, и тогда независимо от того, какова плотность Р (г), можно добиться успеха в минимизации среднего риска.
При решении задачи восстановления зависимостей по эмпирическим данным в условиях, когда функция потерь 3*
не допускает больших выбросов, разница в этих двух подходах скажется на схемах возможных утверждений.
Схема утверждений первого типа. Если природа задач угадана хорошо (найден «узкий» класс плотностей {^(г)}, которому принадлежит искомая плотность), то независимо от особенностей класса функций, в котором ведется восстановление, минимум эмпирического функционала будет близок к минимуму среднего риска.
Схема утверждений второго типа. Если восстановление ведется в достаточно «узком» классе функций F (х, а), то независимо от того, какова природа задач (какова плотность Р (2)), минимум эмпирического риска будет близок к минимуму среднего риска.
Следует заметить, что с формальной точки зрения существует определенное предпочтение в использовании алгоритмов, относительно которых возможны утверждения второго типа. В самом деле, в утверждении первого типа содержится два требования. Надо, чтобы:
класс плотностей, в котором ведется восстановление, был достаточно узким;
искомая плотность принадлежала этому классу.
Во втором утверждении содержится лишь одно требование. Надо, чтобы класс функций, в котором ведется восстановление, был достаточно узким. На практике широту класса плотностей, так же, как и широту класса функций, в котором ведется восстановление, нетрудно регулировать.
Вопрос о том, принадлежит ли восстанавливаемая плотность заданному классу, всегда остается открытым.
Основное содержание этой книги составляет отыскание условий равномерной сходимости и использование их для восстановления зависимостей по выборкам ограниченного объема. Используя оценки скорости равномерной сходимости средних к математическим ожиданиям, удается не только обосновать метод минимизации эмпирического риска, но и построить новый метод минимизации риска (метод упорядоченной минимизации), позволяющий в условиях ограниченного объема эмпирических данных находить решение, которое доставляет среднему риску наименьшее гарантированное значение*
Рассмотрению методов минимизации риска, основанных на использовании механизма равномерной сходимости, посвящены главы VI —X. Однако, прежде чем перейти к систематическому изучению этого механизма, мы рассмотрим классические методы минимизации риска, основанные на идее минимизации функционала, построенного с помощью восстановленной плотности. Как уже указывалось выше, в том исключительном случае, когда плотность известна с точностью до параметров, задача восстановления может оказаться устойчивой, и ее решение, а вместе с ней и решение задачи восстановления зависимостей по эмпирическим данным, может быть успешно проведено методами параметрической статистики. В главе III мы рассмотрим применение методов параметрической статистики к решению задачи обучения распознаванию образов, а в главах IV и V — к задаче восстановления регрессии.
Основные утверждения главы II
Решение задачи минимизации среднего риска
I ^) = \Q (^ ос) Р (2) dz
по ограниченному множеству эмпирических данных
Zi
связано с аппроксимацией функционала I (ос) эмпирическим функционалом
/э (ос) = Ф (Q (21, а), ..., Q^zb а); zv ..., zz)
и последующей его минимизацией.
Однако получение гарантий того, что функция, минимизирующая 1Э (а), будет доставлять величине среднего риска I (а) значение, близкое к минимальному, возможно лишь при наличии определенной априорной информации.
В качестве такой априорной информации может быть использована либо абсолютная оценка величины потерь sup Q (2, а)^табс, а, г
либо оценка относительной величины дисперсии потерь
SUp V (MQ(z, a)2 0TH'
В задаче распознавания образов табс = 1. В задачах же восстановления регрессии и интерпретации результатов косвенных экспериментов используются сведения об относительной оценке тотн. Эта информация значительно меньше, чем обычно принятая (о виде распределения случайных величин ta = Q^z, а), индуцированных плотностью распределения вероятностей Р (z)).
Конструирование эмпирического функционала 1Э (а) основано на аппроксимации плотности Р (z), входящей в функционал среднего риска I (а) эмпирической плотностью Р (z) и использовании Р (z) вместо Р (z):
/э (а) = $ Q (z, а) Р (z) dz.
Существуют две различные причины, в силу которых минимум Гэ^ оказывается близким к минимуму /(а).
Первая причина состоит в том, что плотность Р (z) близка к Р (z). Вторая ~ в том, что имеет место равномерная сходимость эмпирических средних к математическим ожиданиям:
Р (sup | / (а) — /; (а) I > xl 0.
Восстановление плотности распределения вероятностей, вообще говоря, является некорректно поставленной задачей. Поэтому гарантировать успех восстановления плотности по выборке можно лишь, когда имеется достаточно большая априорная информация об искомой плотности. Например, когда плотность распределения, вероятностей известна с точностью до параметров. Тогда можно, восстановив плотность, использовать функционал Гэ (а) для отыскания минимума среднего риска. В иных случаях задача минимизации среднего риска связана с проблемой равномерной сходимости эмпирических средних к математическим ожиданиям.
ГЛАВА HI
МЕТОДЫ ПАРАМЕТРИЧЕСКОЙ СТАТИСТИКИ
В ЗАДАЧЕ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ
Параметрические методы в задаче распознавания образов
Пусть требуется минимизировать функционал
Цо^Ц^-Р^х, а))2Р(х, y)dxdy (3.1) в условиях, когда плотность распределения вероятностей Р (х, у) неизвестна, но зато дана выборка
xv ур, ...; xb yb(3.2)
полученная в случайных независимых испытаниях согласно Р^х, у).
Будем решать эту задачу по следующей схеме:
восстановим по выборке (3.2) плотность Р (%, у);
сконструируем с помощью восстановленной плотности функционал
и (а) = 5 (у - F (^- а))2^(*. y)dxdy, (3.3)
найдем минимум этого функционала и объявим функцию F (х, аэ), доставляющую минимум (3.3), решением исходной задачи минимизации (3.1).
Как указывалось в главе II, реализация этой схемы может привести к успеху лишь тогда, когда имеется значительная априорная информация о плотности Р (х, у), а именно, когда плотность распределения вероятностей известна с точностью до параметров.
Иначе говоря, успех возможен тогда, когда заранее известна «модель» восстанавливаемой плотности. «Модель» же искомых плотностей оказывается существенно разной для различных задач восстановления зависимостей.
В этой главе мы рассмотрим задачу обучения распознаванию образов. Для нее характерно, что неизвестная
плотность распределения вероятностей Р (х, со)г) может быть представлена как объединение двух плотностей Р (х | со = 0) и Р (х | со = 1), заданных на разных подпространствах X, 0 и X, 1:
Р (х, со) = Р (х | со = 0) Р (со = 0) (1 -со) +
+ Р(х|со=1)Р(со = 1)со.(3.4)
Множество пар х, со состоит из двух непересекающихся подпространств размерности п, а именно:
ХаЕт со = 0 и ХсЕт со = 1.
Формула (3.4) утверждает, что на первом подпространстве плотность равна Р (х | со = 0) • Р (со = 0), а на втором — Р (х | со = 1) Р (со = 1). В формуле Р(х|со=0) и Р (х | со = 1) — состав объединения; Р(со = 0), Р(со = 1) = = 1 — Р (со = 0) — пропорция объединения.
Пусть плотность Р (х, со) известна с точностью до конечного числа m1 + m2+l параметров:
Р^х, со) = Рр(х|со = 0)Р(со = 0)(1-со) +
+ ^(х|со = 1)Р(со= 1)со,(3.5)
где Р — неизвестный т^мерный вектор параметров плотности Р^ (х | со = 0); у — неизвестный т2-мерный вектор параметров плотности PY(x|co = l); Р (со = 0) — скалярный параметр.
Теперь, для того чтобы реализовать нашу схему, необходимо уметь решать две задачи:
находить для заданной плотности распределения вероятностей Р (х, со) минимум функционала (3.3);
восстанавливать по выборке (3.2) плотность распределения вероятностей Р (х, со).
Первая задача называется в статистике задачей дискриминантного анализа, вторая задача — задачей восстановления плотности распределения вероятностей в параметрическом классе функции. Рассмотрим обе эти задачи.
х) Чтобы подчеркнуть, что у принимает только два значения — нуль и единица, здесь используется обозначение у = ю.
§ 2. Задача дискриминантного анализа
Итак, пусть требуется найти минимум функционала (3.3) для заданной плотности распределения вероятностей (заданных состава объединения Р (х | оз = 0), Р (х | со = 1) и пропорции объединения Р(со = 0), Р(со = 1) = 1 — Р(со=0)).
Рассмотрим сначала простой случай: класс возможных решающих правил F (х, а) никак не ограничен. В этой ситуации легко может быть построено решающее правило, минимизирующее функционал (3.3).
В самом деле, согласно формуле Байеса вероятность того, что вектор х принадлежит первому (второму) классу, определяется так:
р _ о । v\ _р (х I ^—Q)р (ю=0) гI — р (х | ю = ()) Р (С0 = 0)4-Р (х( С0= 1) Р (С0= 1) ’ m
V' } P (x | (o = O) P (gd = O) + P (x( (0=1) P ((0=1)/'
Минимальные потери (минимум вероятности ошибки) будут получены при такой классификации, при которой вектор х относят к первому классу, если более вероятной оказывается его принадлежность к первому классу, чем ко второму, т. е. если
Р(со = О|х)>Р(со = 1 |х).
В противном случае вектор х относят ко второму классу.
Иначе говоря, учитывая (3.6), вектор х должен быть отнесен к первому классу, если выполнится неравенство
Р (х | (о=1) р (и = 0)
Р (х | со = 0)1 — р (со = о) ’
или, что то же самое, оптимальная классификация векторов осуществляется с помощью характеристической функции
F(x) = e[lnP(x|<o=l)-lnP(x|® = O) + ta^ (3.7) где
6(г) =6(г) =1, если г 0,
6(г) =
6(г) =
0, если г с 0.
Таким образом, знание плотности распределения вероятностей (состава и пропорции объединения (3.5)) позво-
ляет немедленно построить оптимальное решающее правило.
Однако задача отыскания оптимального решающего правила значительно усложняется, если класс возможных решающих правил F (х, а) ограничен. В частности, трудной оказывается задача отыскания оптимального линейного решающего правила, т. е. правила вида
F (х, а) = 6 [атх + а0].(3.8)
Вектор а = (аь ..., ссп)т определяет направление линейной дискриминантной функции, а параметр а0 — пороговое значение. Задача отыскания минимума (3.3) в классе (3.8) получила название задачи линейного дискриминантного анализа.
В 30-х годах Р. Фишер предложил в качестве направления линейной дискриминантной функции выбирать направление, на котором достигается максимум величины относительного расстояния между математическими ожиданиями проекций векторов различных классов, т. е. направление а, на котором достигается максимум величины
(т1(а)-т2(а))2n qx
/()а! (а) + о1 (а) ’(3-9)
где
mi ФО = $ атхРр (х | со = 0) dx,
= aFxP^ (х | со = 1) dx,
о? (а) = ^ (атх — тг (а))2 Р^ (х | со = 0) dx,
о| (а) = ^ (атх —т2 (а))2 Р^ (х | со = 1) dx, ата = 1.
Отыскание максимума (3.9) для произвольных плотностей — задача чрезвычайно трудная. Поэтому основные исследования в области линейного дискриминантного анализа были направлены на то, чтобы установить для определенных типов плотностей, что, во-первых, линейная дискриминантная функция Фишера действительно определяет решение задачи линейного дискриминантного анализа, а во-вторых, найти алгоритмы вычисления дискриминантной функции. Основной результат здесь заключается в том, что для объединения двух нормальных законов
р (X 10 = 0) = ^(H1, Д1),Р(х|со=1) = ^(ц2, Д2)
(^ — вектор средних, At —матрица ковариации для первого многомерного нормального закона; ц2, Д2 — аналогичные элементы для второго закона), взятых в пропорции Р(со = 0) и (1—Р(со = 0)), оптимальная линейная дискриминантная функция задается вектором
направления.
«,. = (^-^(^+0 -^Ма)"1,(З-Ю)
где 0^/*^1. Значение t* определяется из условия обращения в нуль так называемой резольвентной функции
f ^=(«а+(1 - о oi н - ш (^“^' $а") •(3-1 ‘>
При Р((о = О) = 1/2 направление (3.10) линейной дискриминантной функции максимизирует функционал
(mt (g) —m2 (д))2w <*аНа) + (1-<*)аНа) ‘
Вычисление нулей резольвентного уравнения (3.8) —задача достаточно трудная. Поэтому на практике при построении линейной дискриминантной функции полагают/* = 1/2. Тем самым в качестве решения задачи принимается линейная дискриминантная функция Фишера. (Подробнее смотри [71].)
Таким образом, проблемы, которые возникают в дискриминантном анализе, связаны с тем, что класс возможных решающих правил, на котором ищется минимум функционала (3.3), ограничен. Поэтому может показаться, что задача дискриминантного анализа надумана. В самом деле, если уж удается восстановить плотность распределения вероятностей, то для чего отыскивать решающее правило, доставляющее функционалу условный минимум, когда легко можно найти решающее правило (см. (3.7)), доставляющее функционалу (3.3) абсолютный минимум?
Суть, однако, заключается в том, что если плотность восстанавливается неточно, то величина гарантированного уклонения минимума эмпирического функционала от минимума функционала среднего риска будет большей для функции, выбранной из более широкого класса. Поэтому может оказаться, что меньшее гарантированное значение среднего риска будет достигнуто не на функции, доставляющей абсолютный минимум эмпирическому функционалу, а на функции, принадлежащей более узкому классу и доставляющей условный минимум.
Такой результат связан с эффектом второго механизма минимизации среднего риска (см. § 4 гл. II). Идеи сужения класса решающих правил для получения меньшей гарантированной величины среднего риска будут«реализованы ниже в главах VIII —IX. В этой же главе мы рассмотрим параметрические методы восстановления плот-
ностей. Согласно (3.7) знание плотности распределения вероятностей немедленно приводит к построению решающего правила, доставляющего абсолютный минимум (3.3).
§ 3. Решающие правила в задачераспознавания образов
Алгоритмы обучения распознаванию образов, основанные на восстановлении плотности распределения вероятностей (состава объединения Р(х|со = 0), Р(х|со = 1) и его пропорции Р(со = О)), традиционно связаны с двумя классами распределений.
Первый класс распределений. Распределение вероятностей Pto (х) = Р (х | со) таково, что координаты вектора х = (х\ ..., хпУ статистически независимы, т. е.
Pto (х) = Pto (х1) ... Р^ (х"), со = О,1, (3.12)
и, кроме того, каждая координата xz вектора х может принимать лишь фиксированное число значений. Будем считать, что каждая координата xz принимает tz значений
Таким образом, рассматривается случай, когда законы распределения случайных величин Р^о^х) и Pto-i(x) заданы выражением (3.12), где функция Pto(xz) может быть записана так:
р<й (V) =р<й (V) =р„(1), если х‘=с‘^\\р„(1), если х‘=с‘^\\если х* = с* (т()(если х* = с* (т()((3.13)(3.13)
р<й (V) =
р<й (V) =
р„(1), если х‘=с‘^\\
р„(1), если х‘=с‘^\\
если х* = с* (т()(
если х* = с* (т()(
(3.13)
(3.13)
Здесь р^ (/) — вероятность того, что для вектора из класса со = {0, 1} значение координаты х1 будет равно с1 (j). Восстановить распределение вероятностей для такого объединения — значит найти значения
' = 2 £ т/ + 1
i = 1
параметров (2 Tz параметров для восстановления каж- Z = 1
дого закона Pto(x) и один параметр — пропорцию объединения).
Согласно (3.7) оптимальным решающим правилом для объединений, образованных двумя законами (3.12), будет следующая линейная дискриминантная функция:
V = 1/
где р., (1 — р) — пропорция объединения.
Второй класс распределений. Здесь в каждом классе со = {О, 1} векторы х распределены согласно многомерному нормальному закону
Pto (х) = (9 ХП/2 I А 11/2 еХР~’
где po — вектор средних, Ato—ковариационная матрица.
Из (3.7) следует, что оптимальным решающим правилом в этом случае оказывается квадратичная дискриминантная функция
F (х) = 8 [у (х - НоУДо1 (х - Цо) - у (х - Hi)^?1 (х - Hi) + + 1п{^~1птМ'(3.14)
где р0, Ао; ръ Ax —параметры нормальных законов, образующих объединение (3.5); р, (1 — р) — пропорция объединения.
В частном случае, когда Ао = Ах = А — квадратичная дискриминантная функция (3.14) вырождается в линейную F (х) = 6 [(р, - Но)т№ + 4 (иоА-1Но - НГД-'Н1) - 1П7~]-
§ 4. Об оценке качества алгоритмоввосстановления плотности вероятностей
Итак, построение дискриминантной функции по эмпирическим данным сводится к восстановлению законов распределения Р(х|со = 0) и Р(х|(о —1) и оценке параметра р.
Параметр р определяет долю пар х, со с со = 0 и может быть оценен величиной р — т/Ц где т — число пар в выборке с со = 0, / —объем выборки1).
Какие же алгоритмы следует использовать для восстановления плотности распределения вероятностей Р (х | со = -0), Р(х|со = 1)?
Для того чтобы ответить на этот вопрос, надо, прежде всего, договориться о том, как следует оценивать качество алгоритмов восстановления плотности на выборках ограниченного объема.
Качество фиксированного алгоритма Д, восстанавливающего по выборке хь ..., Xi плотность Р (х, а0), естественно определить как расстояние от этой плотности до восстановленной функции Рд^х\хх, ..., xt\ т. е. величиной
р(Р(х, а0), РА(х\х1, х^) = ра„ A (хп ..., х,).
Будем определять близость плотностей метрикой /Д т. е.
Ра0, А СЧ> • • • > Х^ "
= (^(Р<х, а0) — Рд (х I %1xz))2d%y/2.(3.15)
Поскольку выбор ПЛОТНОСТИ Рд(х|хь ..., X/) зависит от состава выборки хь ..., хь величина рао. а (хь ..., х^ является случайной. Будем характеризовать качество алгоритма А математическим ожиданием величины Рао, А (^п . . . , XZ):
R (а0, Д) = $ рао, А (xD х^Р (хх) ... Р (xz) dxb ..., dxb
Для восстановления плотности Р (х, а0) на выборках длины / тот алгоритм лучше, для которого величина R (а0, Д) меньше.
Итак, определено, как должно измеряться качество алгоритма Д, предназначенного для восстановления фиксированной плотности Р (х, а0). Теперь следует договориться о том, как измерять качество алгоритма, предназначенного для восстановления любой плотности, принадлежащей заданному классу Р (х, сс) (в нашем слу-
!) В § 6 будет показано, что более точной оценкой является m +1
чае класс плотностей задан с точностью до значения вектора параметров а).
В теории статистических решений в таких ситуациях используются два принципа:
— принцип Байеса,
— принцип минимакса.
Принцип Байеса состоит в том, чтобы оценивать качество алгоритма как среднее качество по множеству восстанавливаемых плотностей. Для того чтобы оценить среднее качество алгоритма, надо знать, как часто придется восстанавливать тот или иной закон из Р (х, а), т. е., в нашем случае, знать плотность распределения вероятностей Р (сх) вектора параметров а. Тогда качество алгоритма определится так:
/?б(Л)-^(<х, A^P^da.(3.16)
Тот алгоритм А считается лучшим, для которого величина /?б (Л) меньше.
Принцип минимакса состоит в том, чтобы оценивать качество алгоритма по наиболее неблагоприятному для данного алгоритма распределению Р (х, а*).
Здесь, напротив, совершенно не принимается во внимание то, какие плотности придется восстанавливать на практике. Поэтому может оказаться, что качество алгоритма определяет случай, который никогда не встретится.
Качество алгоритма, согласно принципу минимакса, определяется так:
RM (А) = sup R(ot, Л).(3.17)
а
Тот алгоритм считается лучшим, для которого величина /?М(Л) меньше.
Байесов алгоритм восстановления плотности
Определим структуру алгоритмов, обеспечивающих решение байесовой задачи восстановления плотности, т. е. минимизирующих функционал
/?б (Л) = R (сх, Л) Р (ex) dot.
Пусть по выборке хг, ..., xz восстанавливается плотность, принадлежащая классу Р (х, сх), и пусть дана априорная плотность вероятностей P^oi)."
Найдем с помощью формулы Байеса
Р (а | хь ..., xz) =Р (а | хь ..., xz) =Р (Xj, ..., х/1 а) Р (а)Р (*i^/)Р (Xj, ..., х/1 а) Р (а)Р (*i^/)
Р (а | хь ..., xz) =
Р (а | хь ..., xz) =
Р (Xj, ..., х/1 а) Р (а)
Р (*i^/)
Р (Xj, ..., х/1 а) Р (а)
Р (*i^/)
плотность распределения апостериорных вероятностей Р(а|хь .х^ характеризующую возможность реализации значений параметров а после того, как к априорной информации Р (а) добавлена информация о выборке хъ ..., xz. Здесь Р (^ .... xt | сх) —условная, а Р (хъ ... ..., х^ — безусловная плотность вероятностей появления выборки хь ..., Xf.
Р (хъ ..., xz) = $ Р (хь ..., xt | а) Р (а) da.
Ниже мы покажем, что решением байесовой задачи является апостериорное среднее, т. е. функция
Рб (я | Xi, ..., Xi) = § Р (х, а) Р (а | хь ..., х^ da. (3.18)
Вообще говоря, полученная в результате усреднения функций Р (х, а) по мере Р (a\xlt ..., xz) плотность Рб (х I xlt ..., xz) вовсе не обязана принадлежать рассматриваемому параметрическому семейству Р (х, а). Поэтому, строго говоря, метод построения апостериорного среднего (3.18) нельзя называть восстановлением функции в классе Р (х, а).
Итак, найдем функцию л (х; хь ..., xz), которая минимизирует функционал
Рв (л) = $ (Р (х | а) — л (х; хъ ..., х,))2 х
хР(хь ..., X; | а) Р (а) da dx dxly ..., dxt. (3.19)
Обозначим
г (х; хь ..., xz) =
= $ (Р (х | а) — л (х; хх, ..., хг))2 Р (х^ ..., xz | а) Р (а) da.
Изменим порядок интегрирования в (3.19), после чего окажется
Рб (л) = ^ г (х; хп ..., х^ dx dxx ... dxt. (3.20)
Преобразуем теперь функцию
г (х; хь ..., xz) = ^ ^2 (х | а) Р (х15 ..., xz | а) Р (а) da —
— 2л (х; хх, ..., Xi) $ Р (х | а) Р (хх, ..., xz | а) Р (а) da +
+ л2(х; хх, .xz)$P(xxxz|a) Р (a) da. (3.21)
Обозначим
аV Р (х | а) Р (хг, ..., Xt | а) Р (a) da
р (XI Х1(..., xz) = -р^;:-^’
где
Р (хх, ..., xz) = ^ Р (хь ..., xt | а) Р (a) da,
и перепишем равенство (3.21) в виде
г (х; хъ ..., х^ = ^2 (я [ а) Р (*ь • • •» xz | а) Р (a) da — - Р^ (X | Хъ . . . , Х^ Р (Хь . . ., Х^ +
+ [Р(х|хг, ..., xz) — л(х; хь ..., xz)]2P(xb ..., х^.
Подставим выражение г(х; хп ..., х^ в (3.20). В результате получим функционал, который может быть представлен в виде двух слагаемых:
Рв (л) = Р1 + Р2 (л),
где
Pi = $ [Р2 (х | a) Р (хь ..., Xi | а) Р (a) da —
— Р (х1# ..., х^Рй (х | хь ..., xz)] dx dxt ... dxb
R^ (л) =
= ^ [P (x | Xi, ..., xz) — л (x; хъ ..., xz)]2 dx dxt ... dxz.
Первое слагаемое не зависит от л (х; хх, ..., xz). Поэтому минимизация Рб (я) эквивалентна минимизации второго слагаемого /?2(я)-
Минимум этого слагаемого равен нулю и достигается тогда, когда
л (х; хъ ..., х^ = Р (х | хь ..., xz) = РБ (х | хъ ..., xz).
В следующих параграфах для некоторых априорных законов Р (а) будут найдены байесовы приближения
плотностей. Построение байесова приближения для фиксированного априорного закона Р (а) зависит от того, удается ли провести аналитическое интегрирование выражения (3.18).
Байесова оценка распределения вероятностейдискретных независимых признаков
В § 3 была введена функция распределения вероятностей дискретных независимых признаков (3.12), (3.13).
Здесь мы покажем, что при минимальных априорных сведениях относительно значений параметров pl (j): для каждого I параметры //(1), ...» рЦт^ равномерно распределены на симплексе
Ci=\P-. ^ рЧП = 1, рЧП^М
байесова оценка распределения вероятностей дискретных независимых признаков равна
/WHllW),
где
Рв ^ -
т/(/) —число векторов выборки, у которых t-я координата принимает /-е значение, Tf — число значений, которые принимает i-я координата, / — объем выборки.
В нашем случаеВ нашем случаеПолучим байесову оценку распределения вероятностей дискретных независимых признаков. Для этого вычислим функцию
В нашем случае
В нашем случае
( р{ (1), если xi — c1^,
I p^h (T/), если х1 = с* (тр.
Вычислим сначала знаменатель (3.22). Учитывая, что выборка Хр ... ... X/ —случайная и независимая, получаем
$ Д^р х^| p)P(p)dp =
= 7 J ИVpi ^^ dpi (1)dpi (3'23)
где V — объем симплекса С/.
Известно [52], что определенный интеграл (3.23) может быть вычислен аналитически:
Р (х<А = 1 Г(т;(1)+1)-...-Г(т; (rz)+l)., _
l1’"’ о V Г (mz(l) + ... + mz(TZ)+TZ)’)
где Г (п) — гамма-функция. Для целых п она вычисляется так: Г (я) = (я—1)!.
Найдем теперь числитель выражения (3.22) для случая х1 — сЦку.
4=^ Р(х{=с{ (k)\p) P(x‘vx^|p)P(p)dp =
= 7^ p' ^ П [pl С)Г<0> dp1 (1), ... , dpi (Tz).
47=1
Определенный интеграл /^ равен [52]
* vr(mz(l) + ... + /72Z(TZ)+^^^*}
Разделив (3.25) на (3.24), получим
с ги № + 1)Г(/ + т.+ 1) - / + т..
Таким образом,
^Б (xZ) ““ '^Б (xZ) ““ 'Pf (1) = —£гг-^—, если Xz = cf(l),
^Б (xZ) ““ '
^Б (xZ) ““ '
pi (т.) =если = с1 (tz) .
В силу независимости признаков PB(x) = JJ ^б^А
1 = 1
§ 7, Байесовы приближения плотностинормального закона
Найдем байесовы приближения плотности нормального закона для некоторых специальных случаев априорного распределения параметров. Сначала мы найдем байесово приближение для одномерного нормального закона, построенное в предположении, что параметры нормального закона N (р, о) распределены равномерно в прямоугольнике О^о^П, —
Окажется, что если величины П и Т достаточно большие, то байесово приближение равно
W Р1) <т2 j’(3.26)
где
/(/ + 1).лГ(у-1)
II
=т 2Xi’ =т 2 to -х^-
1 — 11 — 1
Затем мы найдем байесово приближение ^-мерного нормального закона для специального априорного закона распределения параметров р и Д (р —^-мерный вектор средних и Д —матрица ковариации пхп\
Окажется, что в этом случае байесово приближение равно „I п
Рб (х) =Г1 + («э)^-1^-^)!—Г",(3 27)
где
Ё (/) =^ 2 /
w ((/+1)л)"/2Г(//2)’
вектор хэ —оценка вектора средних:
S — эмпирическая матрица ковариаций:
S = у 2 (Х«- - *э) № ~ Хэ)Т-
= 1
Заметим, что оба приближения нормальных законов (3.26) и (3.27) не принадлежат классу нормальных. Однако легко можно убедиться, что в обоих случаях при 1->оо
Рв^^-М^, А).
И еще одно замечание. Для того чтобы вычислить байесово приближение многомерного нормального закона (см. ниже п. 2) пришлось рассмотреть специальный закон априорного распределения параметров, отличный от равновероятного, принятого при выводе одномерного случая (см. п. 1) Однако байесово приближение для одномерного закона, полученное из (3.27) при п = 1, оказалось близким к байесову приближению, полученному в предположении равномерного распределения параметров (3.26).
Байесово приближение одномерного нормального закона. Пусть величина х распределена по нормальному закону
ч( (х-Р)2)
Р (х; р, о) = exp J.
/2л а I 2а2 /
Кроме того, пусть априорное распределение параметров р и о подчи* няется равномерному закону в прямоугольнике 0 ^ о s< П; — 7 s< ^р-^Т. Так как выборка хх, ..., х^ случайная и независимая, то
2 <*<—иг
1 = 1
2о2
Байесова оценка плотности распределения вероятностей, согласно (3.18), равна
рБм=
Будем считать, что интервалы [— Т, Т] и [О, П] столь велики, что пределы интегрирования в (3.28) могут быть расширены до (— со, оо) и (0, оо). Во всяком случае, это можно сделать, если 1^2. В этом случае интегралы в (3.28) сходятся. Вычислим числитель выражения (3.28):
/м =/м =Для этого обозначимДля этого обозначим
/м =
/м =
Для этого обозначим
Для этого обозначим
Тогда интеграл (3.29) перепишется в виде
1 С С(1 )
/(х)=—— \ \ expJу2} dy d^ =
оооо/2л _^ J Т^ (И) Ч 2 / Р
оо
оо
Обозначим
с(0= j У'-1 exp {-^}^У,О
где с^ не зависит ни от ц, ни от о. Интеграл (3.29) может быть переписан в виде
/ (X)/ (X)_ с ^ С dp /2л J^T"2^)’_ с ^ С dp /2л J^T"2^)’
/ (X)
/ (X)
_ с ^ С dp /2л J^T"2^)’
_ с ^ С dp /2л J^T"2^)’
Преобразуем теперь выражение Т (р). Для этого заметим, что
2 (х,—р.)2 = /а|+/(ц—х )2,
1 = 1
где обозначено
^э = у ^ хрхэ)2*
1 = 11 = 1
Соответственно преобразуется и выражение
Т(р) = /о| + /(р-хэ)2 + (х-р)2
Положим теперь
и перепишем Т (р):
Т(и) = го| + ^(х-хэ)2 + (х-И)2(г+1).
Запишем теперь интеграл / (х) в виде
4-со
/(х) = Ж ( ^^ =
С2л _iro [za|+^ (х-хэ)= + (< - ц)2 (Z + 1) J/2
I— 1 ОО
_*э)2\2 С d2
/2л (Л-1) \ э (Z + l) /^(i+z^W
Заметим, что подынтегральное выражение не зависит от параметров.
Таким образом, оказывается, что
Z-1
IW=c4L <^V^=^ 2 .(3.30)
Для получения байесовой оценки нам остается нормировать к единице выражение (3.30):
р (Х)=
Ь V /QQ
Известно [52], что интеграл в знаменателе равен следующему выражению:
Таким образом,
Б ' ' аэ \ г(/+1)а|
/-1
2
Байесово приближение п-мер и о г о нормального закона. При получении байесова приближения п-мерного нормального закона используются следующие два факта теории многомерных нормальных законов.
Свертка двух многомерных нормальных законов ^ (О, А) и ^(g, уА), где у — положительное число, есть нормальный закон ^ (ц, (1+у)А). Иначе говоря, справедливо равенство [4]
S ковариационной мат-S ковариационной мат-j N(^-t, ^)-N(t, ^di = N^, (1+у)Д).
S ковариационной мат-
S ковариационной мат-
Распределение эмпирических оценок рицы А, вычисляемых по формуле
iI
S =-j ^^ (х{ хэ) (х^ хэ)т, "1^1i=i
задается законом Уишарта [5]:
Wbn№ А) =
= ) СЛ)/|А|^ |5|2 exp^---Sp[A^S]k если | S | > О,
I 0,если | S | ^ О
где предполагается, что />«+1, Sp||a/y|| = 2 аН* Величина Спд есть константа, равная
При получении байесова приближения будет использован факт нор- мированности к единице распределения Уишарта:
-Z —м—2I | S |2 ехрis |>о-Z —м—2I | S |2 ехрis |>о( I)1-:
-Z —м—2
I | S |2 ехр
is |>о
-Z —м—2
I | S |2 ехр
is |>о
^-TSp[A-iS]Us=r— |А[ 2 • (3.32)
Обозначим матрицу А1 = ^. Очевидно, | А | = 1/| ^ |. Пусть априорное распределение параметров п и А n-мерного нормального закона /V (|Л, А) задано в виде
ра>А^, ^) = рв^\^).рдт
где вектор параметров р распределен по нормальному закону:
Ра (Н | ^) = Ci I ^ |1/2 ехр {- у (р-а)т ^ (ц_а)}.
здесь ^ — константа, со > 0—число, а— вектор, ^" — матрица, распределенная по закону Уишарта:
рА^ =
= (c„,v|^ |~|^|“exp^-^SplA^]), если | ^ j > О,
1десли | ^ | ^ 0.
Здесь v > п + 2 — константа, А — матрица. Заметим, что
Sp [^ххт] = Sp [xxW] = х^ 2? х,(3.33)
где ^ — симметричная матрица, х —вектор-столбец. Выпишем совместную плотность Р (хь ..., xz | р, ^) для случайной независимой выборки xlf ..., xz:
, l.
Р (XiXi I p, 2?^ = c21 2? ^ exp j “Ju (Х<-^Т(^/ — ю1 =
I 2 J
= c2 ^ |z/2 exp{— 1 Sp [Z^S + 12? (хэ - p) (x, - p)T] }.
Здесь и далее c0, c1# c2, c3 —константы, которые определяются условиями нормировки. Согласно формуле Байеса апостериорная плотность Р (р,| хь ..., xz) равна
Р(р, ^|х, .... х^=с0Р (Ххх;|р, 2?^ Ра(р| 2?)РА(^У (3.34)
Вычислим правую часть выражения (3.34)
Р(р, ^\ХЪ .... х^ =
= Со ! 2? |z/2 exp (— ^ Sp [Z^S + Z^(x3 —р) (хэ — р)т] ) XXct\2? |Z/2exp (— у Sp[S?"co (р —а) (р — а)т]| X
X с2 • Сп, v I| а>А | — exp (-1 Sp [v^Aco] )=
= c3\2?\2 exp(—-gSp[Z^"S + /^r(xe — p)(xe — p)T +
+ v>2? (p — a) (p — a)T + v«i2?A]}-(3.35)
Преобразуя выражение в показателе экспоненты (3.35), получим
^(IS + I (а:э —р) (хэ — р)т + со (р — а) (р —я)т + vgM) =
= ^ [(< + о>) (И - 6) (В - 6)т + (Z + v) В],
где обозначено
, /хэ + ала b =—р-р,
/ + (0’
В этих обозначениях перепишем (3.35):
^(Н, ^l^i, ... , xz) =
Z+v —/г — 1.
= с3|^|2exp-{-ySp[^((/ + to)(p-6)(p-5)T +
+ ^ + v)B)]|.(3.37)
Теперь из условия нормировки можно восстановить константу С3 рZ+V—И—2.р
c-l=l|^r|2 ехр^-Ц-^SplW] d^ \ l^r^X
х exp |— ^i^ Sp [^ (р — 6) (ц — 6)т]} dp- =
^^J^„./+v:(<+v)B| 2 j .
При вычислении внешнего интеграла было использовано равенство (3.32). Наконец, найдем байесову оценку
РБ (х) = ^ Р (х ! ц, ^ Р (ц, ^ | хь ..., xz) dp, d^ =
= I y,u\-nR I 25 |1/2exp< —у (x— р)т 25 kx — P)|с3 | 25 |2 X
X exp {— ^-y^ (p — 6)T ^ (p — 6)^ exp |— -^y^- Sp [S7B] J dp. d.25 =
= (т^)П/2 J c311 ^"2 exp T±^ Sp [^B] | d^ X
X j (2л)-л^21 25 |1/2 (2л)—n^21 (/ + <o) 25 |,/2 X
X exp {— у (x — p)T 25 (x—p)| exp {— ^^- (p — 6)T 25 (p — 6) )dp.
Заметим, что внутренний интеграл по ц есть свертка двух нормальных законов, поэтому получим
Z -|-у — л— 1
РБ (X) = С3 5 (/ + to + I)-"/212512 X
X exp {- 1 Sp [^ (fl (/ + v) + Г^±^1 (х-6) (х-6)т )]j d^.
(3.38)
Согласно (3.32) получаем
P6(,)==-l- + .+ .r-"l„ + v)B +
Ln, z+v+l |
C n, Z+vCn, Z+v+iC n, Z+vCn, Z+v+i
C n, Z+vCn, Z+v+i
C n, Z+vCn, Z+v+i
Преобразуем выражение (3.39):
p / н f 1 Z + M V/2 рбИ-^л Z + to+U
(3.40)(3.40)I (Z + v). В r'/2
(3.40)
(3.40)
|' + n++-T+v<’-ti('-i>T«“| ’
В знаменателе выражения (3.40) / — единичная матрица. Заметим, что матрица ^х — Ь^х — Ь^\ а следовательно, и матрица (х — b) X Х(х — ЬУ В-1 имеют ранг, равный единице. Поэтому только одно ее собственное число отлично от нуля, откуда следует, что знаменатель выражения (3.40) равен
//*"/ 4- со 4-1 / 4- v*"/ 4- со 4-1 / 4- v(х-ЬШ-ЬУВ-Ц 2 =(х-ЬШ-ЬУВ-Ц 2 =
/
/
*"/ 4- со 4-1 / 4- v
*"/ 4- со 4-1 / 4- v
(х-ЬШ-ЬУВ-Ц 2 =
(х-ЬШ-ЬУВ-Ц 2 =
Таким образом, окончательно получим
„ , ,/ 1 t + to W \2
РЬ^-\п Z + to + 1 )/Z + v-n\ Х
\2)
vин-х+_вг^
(1 + +^-г+*-6>Т8"1'*-,’> +
Зададим теперь конкретные величины v и со для того, чтобы в условиях рассматриваемой схемы получить наиболее неопределенные априорные условия:
у = п4-е (е > 0) —условие, необходимое для интегрирования распределения Уишарта;
(о->О, е-> 0 —условие, обеспечивающее стремление каждого элемента матрицы Л к нулю.
Тогда, согласно (3.36), получим д->хэ, (/ + v) В -> IS, откуда заключаем, что
г (^ + ^ \
/1\«/2 12 УIS Г1/2
+^+2<x_Xays-4x_x^-2-
Наконец, для одномерного случая (полагая п=1) получаем
Несмещенные оценки
В предыдущих параграфах были получены байесовы оценки плотности распределения вероятностей для специальных априорных законов распределения параметров.
Однако при решении практических задач априорный закон распределения параметров, как правило, неизвестен. Минимаксная же схема восстановления плотности может привести к слишком грубым результатам. Поэтому хотелось бы найти достаточно хороший метод восстановления плотности распределения вероятностей, который не был бы связан с решением байесовой задачи. Как это можно сделать?
Предположим, что существует такой метод восстановления плотности, который является лучшим не только в среднем (что соответствует байесовому критерию), но и при восстановлении каждой конкретной плотности. Если бы такой равномерно лучший метод восстановления плотности существовал, то он не зависел бы от априорного закона задания плотностей.
К сожалению, равномерно лучшего метода оценивания в классе всех возможных методов оценивания нет. Действительно, существует тривиальный алгоритм восстановления плотности, который независимо от особенностей выборки восстанавливает плотность с одними и теми же фиксированными значениями параметров. Такой алгоритм восстанавливает идеально одну-единственную плотность и плохо — другие. Он и будет лучшим для своей плотности.
Но если нет равномерно наилучшего метода в классе всех возможных методов оценивания, то может быть существует такой метод в более узком классе методов? Поэтому возникает идея ограничить класс возможных методов восстановления плотности и попытаться найти в нем равномерно лучший. Оказывается, что если ограничить класс оценок так называемыми несмещенными оценками плотности распределения вероятностей, то задача отыскания равномерно лучшей в этом классе оценки имеет решение.
Определение. Говорят, что функция л (я; хг> ..., xt) является несмещенной оценкой плотности Р (х, а*) из класса Р (х, а), построенной по выборке хь ..., xt длины I, полученной согласно Р ^х, а*), если математическое ожидание оценки л (х; хъ ..., х^ равно плотности Р (хэ а*), т. е. если для любого Р (х, а*) из Р (х, а) справедливо
А4а*л (х; х1? ..., х^^Р^х, а*).
Заметим, что само по себе свойство несмещенности оценки не имеет никакой самостоятельной ценности и вводится исключительно для того, чтобы сузить класс возможных оценок. И если в статистике широко используется класс несмещенных оценок, то только потому, что он доступен для анализа.
В чем же заключается эта доступность? Выпишем еще раз определение несмещенной оценки:
$ л (х; хь ..., х^ Р (хъ ..., xt; a) dxT ... dxt — P (х, а).
(3.41)
Выражение (3.41) не только определяет несмещенные оценки плотности, но и указывает способ их построения: множество несмещенных оценок есть множество решений уравнения Фредгольма I рода. Однако нахождение решения уравнения (3.41) является, вообще говоря, трудной задачей. В главе I было показано, что даже в том случае, когда решение уравнения Фредгольма единственно, численное его решение является некорректно поставленной задачей. Поэтому получение несмещенных оценок плотности Р (х, а) возможно лишь тогда, когда удается решить уравнение (3.41) аналитически.
В § 10 мы найдем наилучшую несмещенную оценку плотности многомерного нормального закона. Но прежде чем приступить к построению такой оценки, заметим, что в гл. II более общая задача — восстановление плотности в классе непрерывных функций — была также сведена к решению уравнения Фредгольма I рода. Здесь же к решению уравнения Фредгольма сводится частная постановка задачи —■ получение несмещенной оценки плотности, известной с точностью до параметров.
Существенная разница, однако, состоит в том, что в общем случае, рассмотренном в главе II, правая часть уравнения Фредгольма I рода была известна с точностью до помех, здесь же она задана точно.
Достаточные статистики
Построение наилучшей несмещенной оценки оказывается возможным в терминах так называемых достаточных статистик. До сих пор при исследовании оценок мы исходили из того, что оценка плотности имеет вид л(х; хь ..., х^ т. с. оценка есть функция от (/+1)-го вектора, а именно: вектора х и I векторных переменных хь ..., хь Фиксируя последние I переменных, мы получали конкретный вид восстанавливаемой плотности.
Однако такой способ задания оценки плотности является не совсем удобным. Так, очевидно, что л (х; хь ... ..., xz) не должна зависеть от порядка следования векторов выборки хь ..., хь Кроме того, для другого объема выборки, например Z+1, приходится задавать свою функцию (размерности Z + 2).
Поэтому хотелось бы найти такие к характеристик выборки
ti = fi(xYl ..., xz), Z = l, ..., к, чтобы, во-первых, вся информация о плотности, находящаяся в выборке хь ..., X/, содержалась и в этих к числах, а во-вторых, количество необходимых характеристик к зависело бы не от объема выборки, а от особенности класса восстанавливаемых плотностей. В терминах этих характеристик выборки и хотелось бы получить несмещенную оценку л* (х; tlt ..., /Д Такими характеристиками выборки и являются достаточные статистики (см, [58]).
Определение. Говорят, что функции t^fiix^ .... х^ являются достаточными статистиками для плотности Р (х, а), если совместная плотность Р (хь .... хр а) выборки хг. ..., х1 может быть представлена в виде
Р (хп ... .хр. а) = Рх ^ъ .... tk; а) Р2 (хъ .... х^.
Иначе говоря, совместная плотность Р (хь ..., хр а) распадается на произведение двух сомножителей, один из которых Р2 (•) не зависит от параметра а плотности распределения вероятностей Р (х, а), а другой сомножитель, содержащий а, зависит лишь от значений tx. ..., tk (а не от самой выборки хх. .... xz).
Легко проверить, что для n-мерного нормального закона доста- -п(п + 3)
точными статистиками будут следующие' величины:
1
/=у 2 */’ ^ = (^1,*п)т (всего п величин);
Ц^/|| = 2 ^хг~^кхг~ ty ^всего ^ величин^
В самом деле, для n-мерного нормального закона справедливо
Р (xv ..., xz; р, Д) =
= ^Нш7Г2ехрГ=
= (2л) п1р | Д | w exp J- ~ Sp Д-1 ^ to-(0 to — И)
= (2n)-"z/2 I Д rz/2 exp j - -g- Sp Д-11 2 (xi - o <xi — 01+
I L V=i4-/(<-p) (Z-p)T)]} =
= (2л)-"//2 | Д |-z/2 exp {- 1 Sp [Д-i (|| Zz/1|+1 (/ - p) (t - p)T)j]..
При выводе использовалось равенство гтВг = 8р [ггтВ].
Итак, будем искать оценку плотности как функцию достаточных статистик.
Замечательная особенность несмещенных оценок л* (х; tx. ..., tk) заключается в том, что они, во всяком
случае, «не хуже» оценок л(х; хь ..., Xi). И вот в каком смысле [35, 58].
Теорема. Для всякой оценки л ^х; хъ ..., хг) найдется такая оценка л* (х; /^ ..., 4), что для любой плотности из Р (х, а) математическое ожидание оценок совпадает*.
Л4л* (х; /1? ..., tk^ = Mu^x\ хъ ..., xz) = n(x),
а дисперсия оценки л* (х; tu ..., tk) не больше дисперсии оценки л* (х; хъ ..., Xi\ т. е.
М (л (х) — л* (х; 1Ъ ..., У)2 М (л (х) — л (х; хъ ..., xz))2. Из этой теоремы следует, что несмещенные оценки, выраженные через достаточные статистики, содержат наилучшую.
Вычисление наилучшей несмещенной оценки
Построим наилучшую несмещенную оценку плотности многомерного нормального закона. При построении оценки существенно будет использован тот факт, что для распределения экспоненциального типа существует единственная несмещенная оценка, выраженная через достаточные статистики [26, 35]. Иначе говоря, существует единственное решение уравнения Фредгольма I рода
$л*(х; ^, ..., t^P^i, ..., tk\ o^dt^ ..., dtk = P(x, a),
(3.42)
где P (x, a) — нормальный закон, а P (t-^ ...» tb\ a) — плотность распределения вероятностей его достаточных статистик.
Согласно теореме, приведенной в предыдущем параграфе, решением уравнения (3.42) в силу единственности является наилучшая несмещенная оценка плотности многомерного нормального закона.
Покажем, что несмещенная оценка плотности п-мер- ного нормального закона распределения вероятностей равна
Г A—Aл—з
=\ 2 УГ! _ (х-хэ)т8~1(х-хэ) 1—~
[(/-1)л]ч/Л^^Г) Sjl/2 LJ+ '
/Z
Здесь -^э = у ^ Xi~ вектоР сРеДних, *5 = у ^ (^ — хэ)хi=1i—l
X (xt—хэ)т—эмпирическая оценка ковариационной матрицы А, выражение [z]+ означает
( z, если z^O,2 + | 0, если z < 0.
При выводе наилучшей несмещенной оценки плотности и-мерного нормального закона воспользуемся формулой Байеса
,(3.43)
где t = yv ^)т, *z = (xj, ^)T, плотность q (х^ t; а) задает распределение статистик х/, /, а плотность Р (С а) —распределение статистики t, ф (х/1 ^ — условная плотность. Покажем, что условная плотность (3.43) есть несмещенная оценка плотности Р (х, а). В самом деле,
j ф (х/11) Р (^; a) dt = ^ q (х, t; a?) dt — P (х, а).
А так как несмещенная оценка, выраженная через достаточные статистики, единственна, то ф (х 11) и есть наилучшая несмещенная оценка. Вычислим ф (х 1t). Найдем сначала q (х, /; а). Для нормального закона появления вектора х
q (х, t; a) = q (х, хэ, S; р, А),
где I1
Х=Х^ х3 — ~ ^^ X/, S=-p ^^ (X/ Хэ) (X/ — хэ)т,1=11=1
Пусть векторы хх, ... , X/, из которых образуются тройки х, хэ, S, появляются случайно и независимо согласно плотности N (р, А).
Рассмотрим векторы уъ ..., у^, полученные из Xi —р, ..., х/ —р, ортогональным преобразованием
Си ... Ci /_£0
С/_21• • • cZ-2 Z-1 0
О ... О 1
Векторы уь ..., yL распределены независимо по закону ^ (0, А), Справедливо
= + *е = ^У-У<-1+г+М-
Н. Вапник
Выразим матрицу S через векторы ylt ...» Уь Для этого воспользуемся представлением
s=y 2 (^-н)(^-н)т+
1 = 1
VI X; -VI X; -*< — ИVT-Г*< — ИVT-Г
VI X; -
VI X; -
*< — И
VT-Г
*< — И
VT-Г
I—1II—1I■у ^-ц,^,^-1■у ^-ц,^,^-1(xz-p)T —(xz-p)T —Li = 1 JLi = 1 J
I—1I
I—1I
■у ^-ц,^,^-1
■у ^-ц,^,^-1
(xz-p)T —
(xz-p)T —
Li = 1 J
Li = 1 J
и тем, что для преобразования =5? справедливо
1=11 = 11=11 = 1В результате получимВ результате получим'yi-1—Vi—v HiV'yi-1—Vi—v HiV/-2/-2/-1/-1
1=11 = 1
1=11 = 1
В результате получим
В результате получим
'yi-1—Vi—v HiV
'yi-1—Vi—v HiV
/-2
/-2
Обозначим
^=т 2
Заметим, что векторы уъ ... , yi распределены по нормальному закону N (О, А). Кроме того, элементы yt_v Уь 29 независимы. Так как У1-1» У1 распределены по нормальному закону, а 29 — по закону Уишарта, то совместное распределение Р (у^ у г» 29'; О, А) равно
Р кУг-ъ Уь ^\ О, ^ = Р (у^у, О, А) Р <уь О, A) Ww ^29\ А), (3.44) где Wx_y^29» А) —распределение Уишарта: ^i-i^» А) =
'1-—П — 3
I I 5 ехр {- у Sp [Л-1^]}
= 1 C„,Z_1 ^’ если 1^1>о.
|Д-
О,если | 25 | ^ О,
Сп, I — константа, определенная в (3.31).
Выразим теперь Р (Ут-^ уь ^\ 0, А) через элементы хь хй1 S. Для этого заметим, что
y^xt-^ yU1 = ^-Ау (*э ~ Р) - j^y >(ЗЛ5)
2? = IS ^ (X/ х9) (X/ хэ)т.
м(« + 3)
Учитывая, что якобиан преобразования (3.45) равен —»
(/ 1)
и подставляя (3.45) в (3.44), получим
q(xb х9, S; р, А) =
п(п4-3)
= -—^-p'-tL^-^-О, Д^ X
(/-1)"/2 ^Z-l r /Z-l )
ХР(х( — ц; 0, ^Wt_i(lS — j^y^i —хэ) (х£ —х9)т; д).
откуда находим q(xb х9, S; р, Д) = м(м + 3)1 — п — З/
Z 2 crtli-i |zs-^^y^=^ 2 |^|2 n(Z-l) "Т ",
_ (2л)” (/—1)2|Д|2 ехр|-2-5р[Д-1($ + (хэ —^(Хд —ц)т)]|
если | S| > 0>
0,если^-^Т^Ж-^^о.
(3.46) Найдем теперь знаменатель выражения (3.43).
Для нормального распределения векторов х статистики хэ и IS распределены независимо:
Р(х9, S; р, А) = Р(хэ; р, А) Р (S; А),(3.47)
где х9 распределено по нормальному закону N ^р,, ~ А^, a IS — по закону Уишарта W^ (S; А), откуда следует, что Р (х9, S; р,, А) = / —rt~2
= сп,1 Zn/2 I S I 2, (3.48)
(2л)"/21Д |,/2 exp { ~ Sp [Д-1 (S 4- (ха - р) (х3 - И)тщ
если | S |^0 и равно нулю в противном случае, Сп, / — константа, определенная в (3.31).
Подставляя (3.46) и (3.48) в (3.43), получаем
/ —л-З
S — |ZA_— 5= 0. Заметим, что
I (x-x^Hx-Xaf I
I1_Л (х-хэ)т$"1(х-хэ)\
1$| V z-i Г
Откуда окончательно получаем
ф(х|хэ, S) = г ( ^тААI—п—з
=\ 2 /Г (х-х,Г $~1(х-хэ) |—7~ где обозначено
§11. Задача оценивания параметров плотности
Итак, казалось бы, нам удалось достичь своей цели — построить байесову оценку плотности, вычислить наилучшую несмещенную оценку. Однако методы, с помощью которых были получены эти оценки, существенно используют особые свойства восстанавливаемой плотности. Поэтому рассмотренные методы не являются регулярными для восстановления плотностей различных типов.
Вот почему представляют интерес методы, которые быть может не позволяют получать столь точные приближения, как рассмотренные, но зато являются регулярными, т. е. могут быть применены для восстановления плотностей из различных параметрических классов.
Чтобы получить такие методы, подменим задачу. Будем считать, что нашей целью является не восстановление плотности, а оценка параметров плотности.
При этом мы полагаем, что если удастся решить промежуточную задачу — найти хорошие оценки параметров плотности, то мы сможем удовлетворительно восстановить и саму плотность, приняв в качестве приближения плотности функцию Р (х, а*), где а* —значения восстановленных параметров.
Заметим, что при восстановлении нормального закона ни байесово приближение, ни несмещенная оценка плотности не принадлежали классу нормальных законов. В случае же восстановления плотности путем оценивания ее параметров полученное приближение будет принадлежать классу нормальных. (Сам по себе этот факт не имеет никакого значения. Он лишь косвенно указывает, насколько далеким может оказаться полученное решение, например, от байесова.)
Итак, будем оценивать параметры а0 плотности Р (х, а0). Определим качество оценки а = а (хь ..., х^ вектора параметров а = а0 по выборке хъ ..., Х[ величиной
d(a0, а; хь ..., xz) = (а0 — а (хь ..., xz))2,
качество оценки вектора параметров a = a0 на выборках длины / — математическим ожиданием величины d (a0, a; хь ..., xz), т. е.
d (осо, a, /) =
= §d(a0, а; хь ..., x^ P (xD ..., xb a0) dx± ... dxb
где P (xb ..., xb a0) — плотность распределения вероятностей выборки хь ..., xb
Наконец, качество оценки, предназначенной для восстановления параметра а при априорном распределении Р (а), — величиной
Rb (&, r) = ^d(oc, а, 1) Р (a) doc. (3.49)
Оценка а, доставляющая минимум функционалу (3.49), называется байесовой оценкой параметров.
Так же как и при восстановлении плотности, априорное распределение Р (а) параметров а обычно неизвестно, поэтому, как и раньше, имеет смысл минимаксный критерий
R^a, /)=supd(a, a, /),
Вектор а, доставляющий минимум 7?м (а, /), образует минимаксную оценку параметров. Однако построение регулярного способа оценки параметров плотности связано не с байесовым и не с минимаксным приближением, а с идеей наилучшего несмещенного оценивания.
Определение. Будем говорить, что оценка а^а^, ... ..., xz) является несмещенной оценкой вектора параметров а0, если
Ja^, ..., х^Р^ ..., хр a^dxx ... dxi = aQ.
Рассмотрим сначала случай, когда плотность распределения вероятностей Р (я, а0) зависит лишь от скалярного параметра а0. Тогда для класса несмещенных оценок справедливо замечательное неравенство Рао — Крамера: J(a0 —а(хь х^Р^ ..., хр a0)dxt ... dx^
(3-5°)
1 ф
где
/ф —
= - j^^ILL^i^llj^р(хъ ..., х{; а0)dxt ... dxt.
Величина /ф получила название информационного количества Фишера. Для независимой выборки хь ..., xt она равна
/ф / j jcc2 ^ ^' ао) dx.
Вывод неравенства Рао — Крамера есть во всех современных учебниках по статистике [35, 49, 58].
Смысл этого неравенства заключается в том, что дисперсия несмещенной оценки параметра (а для несмещенных оценок величина дисперсии определяет точность оценивания) не может быть меньше обратной величины информационного количества Фишера.
Таким образом, правая часть неравенства (3.50) определяет предельную точность несмещенного оценивания параметра. Оценка, при которой неравенство (3.50) переходит в равенство, называется эффективной. Проблема же состоит в том, чтобы найти регулярный способ пост-
роения эффективных оценок параметров для различных параметрических классов плотностей.
Неравенство, аналогичное (3.50), может быть получено и для одновременного несмещенного оценивания нескольких параметров. В этом случае аналогом информационного количества служит информационная матрица Фишера /, элементы которой 1М есть величины hj =
=. jг ... , л/, ах1 ... ал/,
Z, / = 1, 2, ..., п.
Для независимой выборки хг> ..., xt элементы Itj равны
li ”daid^j
Пусть информационная матрица Фишера / не особенная, и пусть несмещенными оценками параметров а?, ..., а„ будут оценки ах(хг, ..., xt\ ..., осп(хь ..., xzy Рассмотрим для этих оценок ковариационную матрицу В, т. е. матрицу с элементами
by = М (а? — а; (хь ..., xz)) (а? — ау (хь ..., xz)).
Тогда аналогом неравенства Рао — Крамера в многомерном случае будет утверждение: для любого вектора z и любых несмещенных оценок о^ (хъ ..., xt\ ... , a„ (хь ..., xz) справедливо неравенство
z'Bz^I^z.(3.51)
Смысл этого неравенства заключается в следующем: пусть качество совместной оценки п параметров а?, ..., а„ определяется квадратом взвешенной (с весами z = (zb ... ..., zn)T, zz ^ 0) суммы уклонений по всем оцениваемым параметрам:
/ п\ 2
Т<хх, xz)= 5 zz (a? —а, (%!, .... xz)) .
Тогда математическое ожидание Т (хь ..., х^ ограничено снизу величиной zTi”1z. Иначе говоря, в каком бы смысле (при каких конкретных весах z^ не измерялось качество
совместного несмещенного оценивания п параметров, имеет место оценка
MT(^ ..., х^хЧ'Ч.
В частности, из неравенства (3.51) следует, что дисперсия оценки по каждому параметру в отдельности удовлетворяет неравенству (3.50). Действительно, неравенство (3.50) получается из (3.51) при конкретном векторе х = = (0, ..., 0, 1,0, ..., 0)т. Методы оценивания, для которых при всех х неравенство (3.51) переходит в равенство, называются совместно эффективными.
При несмещенном оценивании нескольких параметров наша цель состоит в получении совместно эффективных оценок.
Метод максимума правдоподобия
К сожалению, нет регулярного метода получения эффективных оценок параметров плотности по выборкам фиксированного объема.
Существует лишь метод, позволяющий строить асимптотически эффективные оценки. Этим методом является разработанный Р. Фишером метод максимума правдоподобия [58]. Однако, прежде чем рассмотреть метод максимума правдоподобия, введем некоторые понятия, необходимые для классификации оценок, получаемых по выборкам большого объема.
В предыдущем параграфе для характеристики оценок параметров распределения, найденных по выборкам фиксированного объема, была введена классификация, представленная на рис. 3.
На рисунке, кроме того, показана мера эффективности несмещенной оценки параметров а0, которая в случае оценки одного параметра определяется величиной eh равной
е( =.(3.52)
х„))2/фv 7
В случае же одновременного оценивания нескольких параметров мера эффективности определяется величиной
«--"Т^(3-53>
равной отношению объема у (6, /) эллипсоида гтВг = I
к объему у (/, /) эллипсоида
Для выборок большого объема предлагается несколько иная классификация, в которую введены понятия асимптотически несмещенных, состоятельных и асимптотически эффективных оценок.
Рис. 3.
Асимптотически несмещенными называются оценки, для которых
Состоятельными называются оценки, для которых
^a,{|«(Xi, .... ^)-«о|>4мЗ° для всех е>0.
Асимптотически эффективными называются такие асимптотически несмещенные оценки, у которых величина где et в случае оценки одного параметра а определяется величиной (3.52), а при совместной оценке нескольких параметров — величиной (3.53). Такая классификация представлена на рис. 4,1‘
Метод максимума правдоподобия связан с исследованием функции правдоподобия Р (хь ..., xz; а). В нашем случае, когда выборка xD ..., хг получена в результате случайных независимых испытаний согласно плотности
Рис. 4.
Р (х, а), функция правдоподобия может быть представлена так:
i
Р(хъ ..., xt; а) = П Р^ь а).(3.54)
1 = 1
Метод максимума правдоподобия состоит в том, чтобы в качестве оценки выбрать такое а, которое доставляет максимум функции (3.54). Наряду с функцией правдоподобия (3.54) принято рассматривать функцию
i
InP^, ..., xt\ а) = ^ In Р (%/, а).(3.55)
Максимумы функций (3.54) и (3.55) совпадают, и, следовательно, поиск оценок параметров плотности распределения вероятностей оказывается связанным с решениями системы уравнений
дР (Xi, , ХГ, а) Q, , = 1, 2, ... , п, (3.56)
или системы уравнений
/ = 1 2п. (3.67) да/’>>>у /
Теория метода максимума правдоподобия призвана определить, насколько оправдан предлагаемый метод оценивания параметров. Эта теория достаточно хорошо развита.
Основное ее содержание заключается в том, что для определенных классов Р (%, ос) (которым принадлежат все классы плотностей, рассматриваемые в этой книге) метод максимума правдоподобия обеспечивает асимптотическую эффективность оценки [24, 58].
Прежде чем приступить к оценке параметров плотности методом максимума правдоподобия, заметим, что получение оценок здесь свелось к более простой задаче, чем многократное интегрирование (как при реализации байесова метода) или решение уравнения Фредгольма I рода (при построении несмещенной оценки).
При реализации метода максимума правдоподобия необходимо решить систему уравнений (3.56) или (3.57). Хотя система не всегда линейная, численное ее решение обычно не составляет трудностей, тем более, что для широкого класса функций существует единственное решение.
Оценивание параметров плотности вероятностейметодом максимума правдоподобия
В этом параграфе, используя метод максимума правдоподобия, мы найдем оценки параметров распределения вероятностей для закона
’ pz(l), если xz = c(l),
Р^ =Р^ =я,я, 1= 1, 2, ...
Р^ =
Р^ =
я,
я,
pz (tz), если %z = с (т/),
М(щ А) =
(2^2 | А I1/’2
При этом окажется, что для закона Р (х*) параметры равны
(3.58)(3.58)если х1 = с1 (1),
(3.58)
(3.58)
р1 (т/) = ^^, если х1 = с1 (т;),
где т/(/) —число векторов выборки, у которых f-я координата принимает значение х1 = с1Ц\
Оценки параметров нормального закона, вычисленные методом максимума правдоподобия, равны
^^ хь
i =1
I
5 = 4 2 (^-хэ)(х;-хэ)т.
i = 1
Таким образом, получаем оценку нормального закона
^(x)=-£^i^exp{”T(x^^(3,59)
1°. Оценим параметры закона Р (х1), Для этого составим функцию правдоподобия:
Р<Ах6 Р)=П И Р(хр Р*У / = 11 = 1
где Ху — значение l-й координаты /-го вектора выборки.
Изменив порядок сомножителей, получим
Р (xi, .... хр, Р) = П П ₽(4 Р^-
I = 1 / = 1
Перейдем теперь к функции
In Р(Х1. хр р) = 2 У 1пР(4 р').
1 = 1 / = 1
Рассмотрим величину
. 2 1п р (4 р‘У/=1
Она может быть представлена в виде
2 In р (х1р р‘)= 2 т1 (г) 1п Р1 (Г},
/ = 1Г = к
где т/(г) — число векторов выборки, у которых координата х1 принимает значение х^аЦт).
Таким образом,
п т/
In р (Xjxz; Р)= 2 S mi (r)ln P1 (r)-<3-60)
i = 1 r = 1
Найдем теперь максимум по р* (г) функции (3.60) при ограничениях
2 р‘ (г) = 1, i = 1, 2, п.
Г — 1
Для этого воспользуемся методом множителей Лагранжа. Составим функцию Лагранжа:
п
L (р, X) = 2 2 (m, (г) In pi (г) - Xipi (г)),(3.61)
1 = 1 г = 1
где Xt — множители Лагранжа.
Вектор р1, доставляющий максимум функции L (р, X), определяется из системы уравнений
п.п.(3.62)(3.62)dL(pi,l} т{(г)
п.
п.
(3.62)
(3.62)
—й—; / \—' — ? z \ *"—* и»1 —* 1
Эр* (Г) р* (Г)
Из (3.62), учитывая условия нормировки
Tz
5 Р!(г)=1.
получимполучимг= 1
получим
получим
Заметим, что здесь оценка максимума правдоподобия оказалась несмещенной.
2®. Оценим теперь параметры pi, А нормального закона:
р(*; и’ А)=72^^^ехр{~^
Составим функцию правдоподобия:
I lZ/2 (1 VI
р (Х1(2n)W2 ехр j— Т Li ^Xi —~•
где обозначено А-1 = с^г.
Найдем ее логарифм:
In Р (xb ..., xt\ с, ^) =
1
= - П^- In 2л + ^ In I I — Т ^ (xz-p)T ®5 (XZ -р).
( = 1
Запишем
= ^г(-^=°>(3-63)
^V-1/
дР(Х1’ "д’^Н) ^-ют = 0- (3.64)
i = 1
Здесь использовано соотношение
rflnl Д I
ал '
Из уравнений (3.63) и (3.64) находим
хэ = у ^^ X/, s=^y У~Т 2 ^* ^э^ ^* Хэ)Т-1=11 = 1
Оценка параметров ковариационной матрицы является смещенной.
Замечания о различных методахприближения плотности
В этой главе мы рассмотрели три типа приближения плотностей, заданных с точностью до параметров: байесовы приближения, наилучшие несмещенные приближения и приближения, задаваемые параметрами, найденными методом максимума правдоподобия. Для наших частных задач восстановления плотностей двух конкретных классов (3.58) и (3.59) удалось получить все эти приближения. Какое же из приближений лучше использовать на практике, какое из них следует подставить в выражение (3.7) для получения решающих правил в задаче обучения распознаванию образов?
С теоретической точки зрения, безусловно, байесово. Это приближение экстремизирует функционал, который разумно определяет качество, предъявляемое к приближению. Однако для того, чтобы получить байесово приближение, необходимо знать априорное распределение параметров плотности, т. е. знать закон, определяющий, как часто на практике придется восстанавливать ту или иную конкретную плотность. Обычно этот закон неизвестен.
В §§ 6, 7 были получены байесовы приближения для таких априорных законов, которые, с одной стороны, содержат достаточно неопределенную информацию, а с дру-
гой стороны, способствуют максимальному упрощению вычислений. Насколько же можно доверять байесовому приближению, полученному по одному априорному закону, если на практике будет реализован другой закон? На этот вопрос существует лишь качественный ответ. С ростом объема выборки влияние априорной информации на байесово приближение падает (теорема Бернштейна).
Таким образом, выбор байесова приближения определяется верой в то, что на практике несоответствие в задании априорного закона скажется мало.
При конструировании наилучшей несмещенной оценки плотности нет необходимости учитывать априорную информацию. В этом классе оценок существует наилучшая оценка, которая не зависит от того, какие плотности из заданного класса придется восстанавливать. Казалось бы, в такой ситуации выбор наилучшей несмещенной оценки не связан ни с каким риском. На самом деле это не так. Ни откуда не следует, что в классе несмещенных оценок плотности имеются достаточно хорошие оценки. Ведь, как уже отмечалось, само свойство несмещенности оценки не имеет никакой самостоятельной ценности и вводится исключительно в целях ограничения класса оценок. Класс же несмещенных оценок узок (так, несмещенная оценка нормального закона, выраженная через достаточные статистики, единственна).
Не исключено, что сравнительно узкий класс несмещенных оценок состоит лишь из достаточно «плохих» оценок, и тогда выбор в нем наилучшей не гарантирует того,, что оценка будет хорошей.
Подтверждением того, что такая ситуация вполне реальна, служит пример, приведенный Стейном: при оценке вектора р средних n-мерного (п > 2) нормального закона с единичной ковариационной матрицей / равномерно лучшей оценкой, чем среднее арифметическое (наилучшая несмещенная оценка)
i
= 1 является смещенная оценка
А Л п — 2\
X» I 1 ТЧ / ^э*
1 v )
(Подробнее оценки стейновского типа будут рассмотрены в главе V.)
Пример Стейна замечателен тем, что он построен для самых простых задач оценивания параметров, и уже здесь существуют равномерно лучшие смещенные оценки.
Таким образом, выбор наилучшей несмещенной оценки определяется верой в то, что класс несмещенных оценок содержит достаточно хорошую.
Наконец, теория оценок максимального правдоподобия не дает никакого ответа на вопрос о том, каковы свойства оценок на конечных выборках. Теория лишь гарантирует приближение к эффективным оценкам с ростом объема выборки, т. е. что качество оценки максимального правдоподобия с ростом объема выборки приблизится к качеству наилучшей несмещенной оценки параметров.
Получилось так, что благодаря счастливому стечению обстоятельств, в этой главе нам удалось найти байесовы оценки — провести аналитическое интегрирование многократного интеграла (численное интегрирование в силу высокой кратности интеграла затруднительно), получить наилучшую несмещенную оценку плотности — найти аналитическое решение уравнения Фредгольма I рода (численное решение является некорректно поставленной задачей).
Однако такой результат связан с особенностью рассмотренного параметрического класса плотностей.
В общем случае вряд ли можно рассчитывать на получение подобных приближений. В этом отношении метод максимума правдоподобия имеет преимущество — он может быть применен для различных классов плотностей. Регулярность метода максимума правдоподобия связана с тем, что он сводится к решению алгебраических уравнений, т. е. к задаче, которая может эффективно решаться на вычислительных машинах.
И еще одно замечание. Рассмотренные в этой главе методы восстановления плотностей имеют смысл лишь при условии, что искомая плотность принадлежит заданному параметрическому семейству плотностей.
На практике же мы никогда не располагаем такой априорной информацией, которая позволяет выделить параметрическое семейство функций, заведомо содержащее искомую. Таким образом, оказывается, что не только вы-
бор того или иного метода приближения плотности, но и выбор самой постановки задачи восстановления зависимости по эмпирическим данным как параметрической во многом является вопросом веры.
Основные утверждения главы III
Решение задачи обучения распознаванию образов методами параметрической статистики связано с двумя проблемами:
— восстановлением по выборке
хь со^ ...; хь (oz
плотности Р (х, со), известной с точностью до конечного числа параметров;
— отысканием затем в классе решающих правь.л F (х, а) правила, минимизирующего функционал
K^^^to — Ftpc, а))2Р(х, to^dxdto.
Найти правило F (х, а0), минимизирующее функционал /э (а), легко, когда класс решающих правил F (х, а) достаточно широк. Трудности возникают тогда, когда необходимо отыскать лучшее правило в узком классе решающих правил (например, линейном). Необходимость выбора правила из узкого (а не из широкого) класса возникает, когда плотность Р (х, со) восстанавливается недостаточно точно.
Существуют различные понимания наилучшего алгоритма восстановления плотности: наилучший в среднем (байесов), наилучший для наиболее неблагоприятных условий (минимаксный), наилучший алгоритм из заданного множества (например, обеспечивающего несмещенность восстанавливаемых плотностей).
Каждое из этих определений порождает свай оптимальный алгоритм восстановления плотности. Практическая реализация этих алгоритмов часто оказывается сложной задачей,
Поэтому задачу восстановления плотности подменяют задачей оценивания параметров плотности. Оценивание параметров плотности проводится с помощью метода максимума правдоподобия. Экстремальные свойства этого метода проявляются лишь при больших объемах выборки.
Для плотностей Р (х | со), заданных нормальными законами и законами распределения вектора х с независимыми дискретными координатами, принимающими ограниченное число значений, могут быть найдены байесовы и наилучшие несмещенные приближения.
Для этих же законов методом максимума правдоподобия могут быть найдены оценки параметров плотностей.
ГЛАВА IV
МЕТОДЫ ПАРАМЕТРИЧЕСКОЙ СТАТИСТИКИВ ЗАДАЧЕ ВОССТАНОВЛЕНИЯ РЕГРЕССИИ
Схема интерпретации результатовпрямых экспериментов
В предыдущей главе методы параметрической статистики были применены для решения задачи обучения распознаванию образов: для минимизации функционала
I (а) = $ {у - F (х, а))2 Р (х, у) dx dy (4.1) с неизвестной плотностью распределения вероятностей Р (%, у) по эмпирическим данным
хъ Уь • •; xb yt(4.2)
сначала в параметрическом классе плотностей ^Р (х, у)} восстанавливалась плотность Р (х, у\ затем с помощью плотности Р (х, у) строился эмпирический функционал кИ-^У"17 ^ ^VP^ y)dxdy, (4.3) и наконец отыскивалось такое аэ, которое доставляло минимум (4.3).
Для реализации этой схемы существенным было то, что координата у принимала лишь два значения — нуль и единица, множество F (х, а) было множеством характеристических функций, а плотность Р (х, у) была объединением двух плотностей. Все эти особенности определяют задачу обучения распознаванию образов.
В этой главе мы реализуем ту же самую схему минимизации риска, но применительно к задаче восстановления регрессии.
При решении этой задачи методами параметрической статистики принята своя модель плотности, отличная от той, которая рассматривалась в главе III. Считается, что случайная величина у и случайный вектор х связаны соотношением
y = F^x, а0) + ^
где F (х, ес0)— функция, принадлежащая классу F (х, а), а 5 — случайная не зависящая от х помеха, распределенная согласно плотности Р ®:
Л1^0,Л4£2<оо.
Таким образом, для всякого фиксированного х закон Р (g) индуцирует плотность условного распределения вероятностей величины у
P<y\x) = P(y-F^x, а0)).(4.4)
Совместная же плотность Р (х, у) определяется законом
Р(х, у) = Р (у\х) Р (х) = Р (у-F (х, а0))Р(х), (4.5)
где Р (х) — плотность распределения вероятностей вектора х.
Задачу восстановления регрессии F (х, сх0) ^F(x, а) по случайной независимой выборке пар хь у^ ...; хь yt можно интерпретировать как восстановление функциональной зависимости F (х, а0) в классе F (х, а) по ее прямым измерениям, проводимым с аддитивной помехой в I случайно выбранных точках. В главе I такая задача была названа интерпретацией результатов прямых экспериментов.
Будем решать эту задачу методами параметрической статистики: восстановим плотность
Р(.У\х) = Р(у-Р(х, а*)), а затем найдем точку минимума эмпирического функционала
/э (®) = $ {у - F кх, а))2 Р ку - F (х, а*)) Р (х) dx dy. (4.6)
Прежде всего покажем, что минимум функционала (4.6) достигается при а = а*.
В самом деле, воспользуемся тождеством
/э (а) = $ (у — F (х, а))2 Р (у — F (х, а*)) Р (х) dxdy =
= ^(У —Г(х, а*))2 Р(у — F (х, а*)) Р (х) dx dy +
+ $(F (х, a) — F (x, а*))2 P (x) dx. (4.7)
Так как первое слагаемое правой части не зависит от а, то минимум 7Э (а) достигается тогда, когда обращается в нуль неотрицательное второе слагаемое, т. е. при а = а*.
Таким образом, значение вектора а = а*, задающего условную плотность Р {у\х')=Р {у — F (х, а*)), немедленно определяет регрессию. Она равна F (х, а*).
Замечание о постановке задачи интерпретациирезультатов прямых экспериментов
В приведенной постановке задачи интерпретации результатов прямых экспериментов требуется, чтобы искомая функция F (х, а0) принадлежала заданному параметрическому семейству F (х, а).
Это требование связано с тем, что плотность Р (у —F (х, а)) предполагается восстанавливать методами параметрической статистики (при восстановлении плотности параметрическими методами необходимо, чтобы искомая плотность принадлежала заданному семейству плотностей). Однако возможна и другая постановка, согласно которой неизвестная плотность Р (х, у) принадлежит заданному параметрическому множеству плотностей Р (х, у; а), а искомая зависимость F (х, а0) не принадлежит заданному множеству зависимостей / (х, Р). Иначе говоря, в схеме интерпретации результатов прямых экспериментов может быть поставлена задача: найти минимум функционала
ЦУ)Ц (У-f^ ^P(y-F^ a^P^dydx (4.8) по выборке
Хъ Уъ ...; хь уь
если совместная плотность Р (х, у) = Р (у—F (х, а0)) Р (х) неизвестна,, F (х, а0) е F (х, а), а множество функций f (х, Р) не обязательно» совпадает с F (х, а). Если F (х, а0) й f (х, Р), то минимум функционала (4.8) достигается на ближайшей к F (х, а0) функции из / (х, Р). Близость здесь понимается в смысле Lp*.
Pl (F’ ПЦ $ (^ (x, P»2 P W
Если же F (x, a0) e f (x, P), то минимум совпадает с регрессией. (Этот факт также немедленно следует из тождества (4.7).)
Таким образом, регрессия доставляет абсолютный минимум функционалу (4.8).
Для известной плотности Р (х) решение задачи минимизации функционала (4.8) также может быть проведено методами параметрической статистики: по выборке (4.2) восстанавливается плотность Р (У~ F (х, а)), азатем минимизируется эмпирический функционал
A(P) = j(W(*. р) )2 Р (y-F (х, а*)) Р (х) dx dy.
Заметим, что для задачи обучения распознаванию образов отыскание условного (в классе f (х, Р)) минимума функционала (а не безусловного) составляло предмет исследования дискриминантного анализа.
Как указывалось в § 2 главы III, целесообразность такой постановки определялась ограниченностью объема выборки: по ограниченной выборке плотность восстанавливается неточно, и поэтому гарантированный минимум величины среднего риска может быть достигнут на функции, принадлежащей более узкому классу.
Совершенно аналогичная ситуация возникает и при интерпретации результатов прямых экспериментов по выборкам ограниченного объема: вследствие неточного определения плотности, гарантированная близость к регрессии может достигаться на функции, принадлежащей более узкому классу f (х, |3).
Методы сужения классов искомых зависимостей для получения меньшей гарантированной величины среднего риска будут рассмотрены в главе VIII.
Ошибки измерений
Итак, для того чтобы восстановить регрессию в условиях схемы интерпретации результатов прямых экспериментов, достаточно восстановить плотность P(y — F(x, а0)), заданную с точностью до значения параметров а. Согласно же принятой модели параметрическое семейство плотностей P^y — F^x, а)), содержащее искомую, определяется, во-первых, заданным параметрическим семейством функций F (х, а), содержащим регрессию F (х, а0), а во-вторых, известной плотностью распределения вероятностей помехи Р (£).
Задание класса функций F (х, а), содержащего регрессию, является неформальным моментом в постановке задачи. Класс функций должен быть задан априори.
Что же касается плотности распределения вероятностей помехи, то с формальной точки зрения возможна любая плотность. Однако на практике при проведении прямых экспериментов возникают типичные ситуации, связанные с одинаковыми механизмами возникновения помехи при измерениях. Эти механизмы могут быть изучены.
При интерпретации результатов прямых экспериментов важную роль играют следующие три закона плотности распределения вероятностей помехи: равномерный закон, нормальный закон, закон Лапласа.
Равномерным законом плотности распределения вероятностей
если
I 0 , если | $ | > А,
принято описывать ошибки округления. Пусть, например, значение некоторой большой величины х определяется с точностью до целых чисел. Тогда ошибка g, которая возникает вследствие округления до ближайшего целого числа, часто считается распределенной по закону
n/»s ( С если IB 1^0,5,l5j | 0, если III>0,5.
Нормальным законом плотности распределения вероятностей (законом Гаусса)
/2л а Р12а» j
принято описывать ошибки, которые возникают при физических измерениях, проводимых в одних и тех же условиях. Условия измерения определяют величину дисперсии а3. Так, например, ошибки при измерениях расстояния с помощью теодолита, проводимых в одних и тех же условиях (одинаковая освещенность, влажность, температура воздуха, степень запыленности атмосферы и т- п.) принято описывать нормальным законом.
Законом Лапласа
Р 6) - =хр {-Ш)
принято описывать ошибки, которые возникают при физических экспериментах, проводимых в меняющихся условиях. Например, если измерение расстояния происходит при различной степени облачности, в различное время суток, при различной запыленности атмосферы и т. п., то ошибки измерения принято описывать законом Лапласа.
Каждый из этих законов Р (£) порождает свое параметрическое множество плотностей P(y — F{x, а)).
В этой главе для восстановления плотностей в различных параметрических множествах мы используем один и тот же регулярный метод —метод максимума правдоподобия. Выбор этого метода определяется тем, что его реализация не связана с техническими трудностями. Метод максимума правдоподобия может быть успешно реализован для всех интересующих нас параметрических множеств плотностей.
Итак, используем метод максимума правдоподобия для восстановления параметров условной плотности
Р (д\х^ = Р (д - F (х, а0))
по случайной независимой выборке
*ь ух\ ...; хь уь
распределенной согласно закону
Р (х, g^P^-F (х, а0)) Р (х).
Для этого выпишем функцию правдоподобия
Р (^i, дь .... хь дь «) = П Р (gt - F (х» а)) Р (х{). (4.9)
1 = 1
Эта функция распадается на сомножители: сомножитель
Pi (“) = П Р (gt - Р (Хь а)),(4.10)
= 1
который является функцией правдоподобия для условной плотности, и сомножитель
^ = [Р(4
= 1
Так как сомножитель Р^ не зависит от параметров а, то точки максимума (4.9) и (4.10) совпадают.
В дальнейшем максимизацию функции (4.10) будем также называть методом максимума правдоподобия.
Рассмотрим функцию правдоподобия Рх (а) для различных законов распределения помехи и найдем для них точку максимума.
Функция правдоподобия (4.10) для равномерного закона распределения помехи В имеет вид
1=11 = 1
где
если | yt — F (хь а) | ^ Д,если | yt — F ^хи а) | > Д.
Максимум функции правдоподобия определится такими а и А, для которых достигается минимум выражения
(4.11)(4.11)А (а) = max | yz — F (xh а) |,
(4.11)
(4.11)
т. е. а выбирается из условия минимизации наибольшего уклонения F (xh а) от у/.
Для нормального закона плотности распределения вероятностей функция правдоподобия равна
-"^^yl-F^xh а))2р
а метод максимального правдоподобия эквивалентен минимизации функционала
(4.12)(4.12)U (“) = 5 <У1 ~ F <хь а))2.
(4.12)
(4.12)
i = 1
Метод отыскания а путем минимизации функционала (4.12) называется методом наименьших квадратов.
Наконец, если считать, что помеха распределена по закону Лапласа, то функция правдоподобия равна
(
/'
1 = 1-
и максимум правдоподобия достигается при таком векторе параметров а, при котором функционал
(4.13)(4.13)U W = 2 I yi - Р ^i а) It = l
(4.13)
(4.13)
минимален. Метод минимизации функционала (4.13) получил название метода минимальных модулей.
- Как указывалось в главе III, метод максимума правдоподобия является асимптотически эффективным методом оценивания параметров, поэтому все три алгоритма являются в определенном смысле оптимальными. Плохо лишь то, что каждый из них оптимален в своих условиях (в условиях равномерного, нормального или лапласовского распределения помехи), и решения, полученные с помощью этих алгоритмов, могут значительно различаться*
В самом деле, рассмотрим наиболее простую задачу восстановления зависимости — определение среднего значения случайной величины у по выборке объема I. Эта задача сводится к минимизации функционала
I (а) = ^ (у — а)2 Р (у) dy(4.14)
по выборке уъ ...,yi. Для нее метод минимизации наибольшего уклонения (4.11) приведет к следующему решению:
* ^min+^max
« =(4Л5)
где ут-т — нзименьшее значение у в выборке, z/max— наибольшее значение, т. е. за оценку принимается величина, равная половине размаха выборки.
Метод наименьших квадратов (4.12) приведет к такой оценке параметра:
=4 иь<4Л6)
= 1
т. е. в качестве оценки среднего берется среднее арифметическое выборки.
Наконец, метод минимальных модулей (4.13) приводит к следующему решению: надо образовать вариационный ряд
iJiv > У ip
т. е. расположить элементы выборки в порядке неубывания, и затем найти значение среднего по формуле
| У^н , если Z = 2^ + l,
§ 4е Экстремальные свойства законовГаусса и Лапласа
В предыдущем параграфе было показано, что алгоритмы восстановления регрессии, полученные методами параметрической статистики зависят от принятой модели помехи. Поэтому необходимо уметь описывать ситуации, в которых следует применять ту или иную модель. Указывалось, что равномерной плотностью распределения вероятностей следует описывать помехи, которые возникают при округлении величин, нормальным законом плотности распределения вероятностей (законом Гаусса) — помехи, возникающие при измерениях, проводимых в одних и тех же условиях, законом Лапласа описываются помехи, возникающие
при измерениях в меняющихся условиях. Хотелось бы придать этим рекомендациям точный смысл.
В этом параграфе мы установим некоторые замечательные свойства нормального закона и закона Лапласа. Мы увидим, что нормальный закон обладает определенными экстремальными свойствами при абсолютной стабильности условий измерения, в то время как закон Лапласа обладает аналогичными экстремальными свойствами при «максимальной нестабильности» условий измерения.
Итак, покажем, что из всех непрерывных законов плотности распределения вероятностей, имеющих заданную величину дисперсии, нормальный закон обладает наибольшей энтропией. Иначе говоря, нормальный закон —это такой закон появления помехи, при котором величина замера будет зафиксирована в наибольшей степени неопределенно.
Будем оценивать степень неопределенности измерений в случае, когда ошибки определяются плотностью распределения вероятностей Р (£), величиной энтропии Шеннона:
со
Н(Р) = — 5 Р^ХпР^)^. (4.17)
Найдем функцию Р (£), удовлетворяющую
$ Р£Ш = \,
— ОО
ограничениям: (4-18)
(4.19)
(4.20)
(4.21)
на которой достигается максимум энтропии (4.17). Здесь ограничения (4.18), (4.19) следуют из определения плотности, ограничение (4.20) отражает требование несмещенности помехи, а ограничение (4.21) фиксирует класс плотностей с заданной дисперсией.
Эта задача решается стандартным приемом — составляется функция Лагранжа, учитывающая ограничения
.19)—(4.21):
L = - (Р © In Р © + КР ® + UP © + U'P ©)•
Выписывается уравнение Эйлера
^ = -(1пР® + 1+^ + ^ + М2) = 0.(4.22)
Решение уравнения (4.22)
Р© = ехр {-© + 1+^2 + Ш} удовлетворяет ограничению (4.18) и, следовательно, определяет искомую плотность.
Для определения констант Хь Х2, Х3 используются условия (4.19) — (4.21), из которых легко устанавливается, что
<4-23>
т. е. из всех непрерывных законов плотности распределения вероятностей, имеющих заданную величину дисперсии, нормальный закон обладает наибольшей энтропией (случайная величина распределена наиболее неопределенно).
Рассмотрим теперь более сложную модель образования помехи £. Каждый раз случайная величина £ является реализацией нормального закона Ду© о2), имеющего нулевое среднее и некоторую дисперсию о2. Однако каждый раз реализуется нормальный закон, имеющий свою величину дисперсии. Эта величина назначается случайно и независимо согласно плотности Р (ст2). Таким образом, образуется закон
Ра W = $ РN (В | ст2) р (ст2) da1.(4.24)
Такая схема хорошо отражает часто встречающиеся в практике случаи, когда при фиксированных условиях измерения реализуется нормальный закон. Однако условия измерения меняются случайно и независимо, и, таким образом, закон плотности распределения вероятностей задается композицией двух законов. В примере с измерением расстояния множитель Ду(х|сг2) в (4.24) отражает ошибки, которые возникали бы при работе в одних и тех же атмосферных условиях. Сомножитель Р (ст2) отражает случайный характер состояния атмосферы. Если
условия измерений не меняются (крайний случай, когда р (а2) § (а2_а2^ где § (2)-дельта-функция), то композиция (4.24) определяет нормальный закон. Мы же рассмотрим другой крайний случай, когда условия эксперимента меняются относительно среднего в «наибольшей степени неопределенно», т. е. когда функция Р (о2) такова, что доставляет максимум энтропии
н^= — f Р (ст2) In Р (о2) do2, (4.25) о
и при этом удовлетворяет ограничениям:
Р(ст2)^0,(4.26)
$Р(ст2)Жт2=1,(4.27)
f ст2Р (о2) do2 = 2А2.(4.28)
О
Ограничения (4.26)и (4.27) вытекают из определения
плотности распределения вероятностей. Ограничение же (4.28) задает средние условия проведения эксперимента.
Итак, найдем максимум энтропии (4.25) при условиях (4.26) — (4.28). Для этого выпишем функцию Лагранжа, учитывающую ограничения (4.27) и (4.28),
L = — (Р (о2) In Р (о2) + к? (о2) + ^#Р (о2))-
Получим уравнение Эйлера
|| = -(1пР(ст2) + 1+Х1 + М2) = 0-(4.29)
Решение уравнения (4.29)
Р (ст2) = ехр {— (^ +1 + Х2ст2)}
удовлетворяет ограничению (4.26) и, следовательно, определяет искомую плотность. Для определения констант Хх и Х2 решение (4.29) подставим в (4.27) и (4.28), откуда получим + 1 = — In 2Д2 и Х2 = -^-.
Таким образом, «наиболее неопределенные» условия проведения эксперимента задаются плотностью
^И = ^ехр^.(4.30)
Покажем теперь, что плотность распределения вероятностей Рл®» заданная композицией плотностей (4.23) и (4.30), есть закон Лапласа, т. е.
^л®/2л 2 А2^л®/2л 2 А2Р 1( t2 X/q2 х
^л®/2л 2 А2
^л®/2л 2 А2
\ — ехр < — —} ехр <\do2 =
J a r I 2а2 j н I 2 A J о
Для того чтобы вычислить интеграл (4.31), воспользуемся следующим фактом, справедливым для интегрируемой на (—оо, оо) функции
VV^~^T\dx=aVWyооVV^~^T\dx=aVWyоо(а, 6>0). (4.32)(а, 6>0). (4.32)
VV^~^T\dx=aVWy
оо
VV^~^T\dx=aVWy
оо
(а, 6>0). (4.32)
(а, 6>0). (4.32)
С0 с Г( XЬ \2~1 / 1 г Ь \ «\\ Л—9 ]dx =7 у J 1\ ^х) J \ а 1 х2 /С0 с Г( XЬ \2~1 / 1 г Ь \ «\\ Л—9 ]dx =7 у J 1\ ^х) J \ а 1 х2 /подстановкой х = — ab[t привоподстановкой х = — ab[t приво
С0 с Г( XЬ \2~1 / 1 г Ь \ «
\\ Л—9 ]dx =
7 у J 1\ ^х) J \ а 1 х2 /
С0 с Г( XЬ \2~1 / 1 г Ь \ «
\\ Л—9 ]dx =
7 у J 1\ ^х) J \ а 1 х2 /
подстановкой х = — ab[t приво
подстановкой х = — ab[t приво
Для доказательства тождества (4.32) положим У = ^; — "^ • Тогда
оооо
Но последний интеграл
дится к виду
Таким образом, оооо
Отсюда (в силу четности подынтегральной функции) и получаем тождество (4.32).
Преобразуем теперь левую часть выражения (4.31)
ОО
" 2К2л А2 3 о еХр \2Д22а2)}~
=—ехр(—1-ЩСехр[—V-——(4.33)
К2лА2 I A J J (2 \Д а/Jv
Из (4.33) в силу тождества (4.32) находим
Рл © = | ехр {- Ш-} j pL-exp {- f} d8 -
-2аМ~т}' <434>
То есть композиция (4.31) нормального закона и закона (4.30) задает закон плотности распределения вероятностей Лапласа (4.34).
Итак, мы установили, что при фиксированных условиях проведения эксперимента наиболее неопределенный результат измерения будет получен, если помеха распределена по нормальному закону, если же условия эксперимента меняются относительно некоторого среднего наиболее неблагоприятно, то самый неопределенный результат измерений будет получен, когда помеха возникает в соответствии с законом Лапласа.
Таким образом, выбор закона Гаусса или закона Лапласа зависит от того, являются ли условия эксперимента абсолютно стабильными или наиболее нестабильными.
На практике же редко реализуются крайние случаи. Поэтому ни закон Гаусса, ни закон Лапласа, как правило, не выполняются. Принято считать, что имеют место «промежуточные» случаи.
Таким образом, возникает ситуация, когда мы оцениваем регрессию в предположении, что справедлив некоторый гипотетический закон распределения помехи, например, Гаусса или Лапласа, в то время как на самом деле реализуется другой закон («промежуточный»). В какой мере окажутся полезными в этой ситуации рассмотренные алгоритмы (4.11) —(4.13)? Иначе говоря, вопрос заключается в том, в какой мере устойчивыми к изменению закона распределения помехи являются рассмотренные
алгоритмы восстановления зависимостей и как следует конструировать устойчивые алгоритмы? Ответ на этот вопрос составляет содержание следующих параграфов главы.
Об устойчивых методах оцениванияпараметра сдвига
Пусть плотность распределения вероятностей помехи неизвестна. Известно только, что она принадлежит некоторому заданному множеству плотностей {Р (g)}. Ниже мы уточним характер этих множеств, а пока примем, что множества выпуклы и что функции плотности распределения вероятностей имеют две непрерывные производные и являются симметричными относительно нуля. (Требование симметричности плотности является принципиальным для всей рассматриваемой ниже теории.) Изучению подлежит следующий вопрос: как в заданном классе {Р (£)} следует выбирать гипотетическую плотность распределения вероятностей помехи, чтобы возможная ошибка как можно меньше сказалась на оценке параметров регрессии, если известно, что истинная плотность принадлежит \Р (g)}.
Рассмотрим сначала простой случай: требуется оценить математическое ожидание т случайной величины х па выборке хь ...Хь
Такая задача эквивалентна задаче оценивания параметра сдвига т плотности Р^х — пг^ (здесь использован факт, что помеха £ связана с замером х равенством £ = = х — т\ При известной плотности Р^ оценку т параметра сдвига т будем проводить методом максимума правдоподобия, т. е. максимизируя выражение
R(m) = 5 ^Р(х1 — т\ (4.35) г = 1
В этом случае оценка т является состоятельной и асимптотически эффективной.
Однако если функция Р(-) в выражении (4.35) не совпадает с функцией плотности вероятностей помехи Р (£), оценка т, доставляющая максимум выражению (4.35), вообще говоря, не является ни состоятельной, ни асимптотически эффективной.
Обозначим значение т, максимизирующее (4.35) в предположении, что Р ® = Рр®, через т = т(хъ ..., xz; Рр^)). Условимся, как будем измерять точность оценивания параметра, если мы считаем, что помеха распределена по закону Рг© ^ ^Р ©}, в то время как на самом деле имеет место закон Ро© е ^Р ©}.
Естественно за точность оценки параметра т, найденной по выборке хъ ..., xt в предположении, что помеха распределена по закону Рр®, принять величину
d(Pr®; ху, .... х^ = ^пЦххxt\ PT^-mf, равную квадрату уклонения найденного значения параметра сдвига от истинного значения. Точность оценивания параметра сдвига на выборках длины I естественно характеризовать математическим ожиданием величины d(Pr©; хх, xtY
D^P0, Рг) = Ш^Рг^у, .... х^ =
= Цт(Х1, xf, Рг(^) — т)2Р0(хх-т)...
... P0(xt — т) • dxx... dxb (4.36)
Величина D (Р^ Рр) зависит от двух законов плотности распределения вероятностей, принадлежащих одному и тому же классу плотностей ^Р ©}: от гипотетического закона Рр© (согласно этому закону строилась оценка параметра сдвига т) и истинного закона Ро© (согласно
квадрата функцииквадрата функцииэтому закону вычислялась средняя величина уклонения).
квадрата функции
квадрата функции
В дальнейшем мы используем представление D(PO1 Рр) в виде
D(PO1D(PO1
D(PO1
D(PO1
(4-37)(4-37)J/ Рр (?) \2
(4-37)
(4-37)
it pt®?;® л ■
U мэ Ч
б В. Н. Банник
Получим это представление, проведя, возможно, недостаточно строгие, но зато наглядные рассуждения. Строгая теория устойчивого оценивания изложена в [88].
Не ограничивая общности, будем считать, что искомое значение параметра сдвига т равно нулю. Обозначим f№)=-^- = (lnPr№ (?)
Тогда, согласно методу максимума правдоподобия, оценка т параметра т = 0 находится из условия
/ iл у /
( S In^r(^-m) = 2 f^Xi — m) = 0.
v = i/ i = i
Воспользуемся приближением, справедливым для больших I и рассматриваемых симметричных плотностей:
2 tkxi-пг)^ 2 f^-m Л f4xi)=0, (4.38) (= 1< = 1/-1
откуда получим
S fto)1=1
У Г to)
i = 1
Пусть I настолько велико, что
4 2? и1=1
j Г М Р» to dx'
(При выводе этого соотношения мы допустили, что интеграл в знаменателе существует. Для этого достаточно, чтобы функции f (х) были ограничены. В дальнейшем будем рассматривать только такие плотности, для которых [ (In Р (е))" j << const.)
Вычислим теперь D(P0, Ру) = Мт2:
D(P0, Рг) = \пРРй <хх\ P^XiWv ...,dx£ =
= - ГС'5 ( У f М f (хЛ PQ to) ...
I» [j Г (х)Р0 (x)dxj2 J ^ ' V 1,1 V " 0 V 17
... Po (Xi) dx^.. dx£.
Так как плотности P0(x), Рг (x) — функции симметричные, то
$f(Xi)f(xj)po(xi) ••• Po(xl')dx1...dxl = 0, i^j.
Таким образом, получаем для больших I
D(P. и™
Наконец, возвращаясь к старым обозначениям, получаем представление (4.37).
Итак, мы определили критерий качества оценивания параметра сдвига в условиях, когда истинная плотность равна Ро®, а гипотетическая —Рг®. Наша цель состоит в том, чтобы выбрать такую плотность Ру^, которая минимизирует D (Р0) Ру). Если бы плотность Ро® была известна, то, как легко показывается (см. ниже), минимум О(Р0, Ру) достигался бы при РГ^) = РО^).
Проблема заключается в том, чтобы выбрать функцию Рг®, если известно лишь, что Ро® принадлежит классу {^)}.
Как обычно в подобных ситуациях, принимается одна из двух постановок: байесова или минимаксная.
В первом случае считается, что априори известна вероятность того, что истинной плотностью будет та или иная плотность из {Р ®}, качество же оценки параметра сдвига определяется как среднее (по мере ^(Р)) качество, т. е.
ОБ(Рг) = $О(Р0, Pr)W
Минимаксная постановка предлагает принять за оценку качества величину D (Ро, Рг), вычисленную для наиболее
б*
неблагоприятной плотности Ро(^ е {Р (£)}, т. е. вычислять качество из условия
DM (Рг) = max D(PQi Ргу
Р0
Конструирование оптимального по Байесу решения наталкивается здесь на значительные трудности, поэтому ниже мы будем изучать минимаксные решения.
Итак, будем определять качество оценки параметра сдвига, полученного с помощью гипотетической плотности Рг®, величиной
Dm (Рг) = max D (Ро, Рг) = шах,
РоРо 1 С Рг© Ро©
(4.39)
и попытаемся найти такую гипотетическую плотность Рг (£), которая минимизирует (4.39).
Такая постановка задачи имеет игровую интерпретацию. Существуют два игрока — природа и статистик, имеющие один и тот же набор стратегий (функций {Р®}) и противоположные цели. Первый игрок (природа) стремится выбрать такую стратегию (назначить истинную плотность Ро (I)), чтобы максимизировать потери второго игрока, второй игрок выбирает такую стратегию (гипотетическую плотность Рг©), чтобы минимизировать свои потери. Величина же потерь определяется функционалом (4.39).
Требуется найти оптимальную стратегию второго игрока, т. е. уметь для заданного класса плотностей выбирать такую гипотетическую плотность, использование которой гарантирует минимальные потери при самой неблагоприятной истинной плотности. Найденную плотность будем называть устойчивой в классе {Р®}, а метод оценивания параметра сдвига, полученный применением метода максимума правдоподобия к найденной плотности, — методом устойчивого оценивания параметра сдвига.
Важным фактом теории устойчивого оценивания параметра сдвига является то, что на выпуклом множестве {Р®} игра с функцией потерь (4.39) имеет седловую
точку, т. е.
max min D (PQ, Рг) = min max D (Po, PY\ рог^р^п рге<р^пpy{p&} poe{p®)
Используя этот факт, можно найти оптимальную стратегию статистика против природы.
Для этого воспользуемся неравенством Шварца
^ а (х) b (%) d^ (х))$ ^ (х) ^ W $ ^2 W ^ W- (4.40)
Преобразуем с помощью этого неравенства знаменатель (4.37):
D(JV Р^ =
Устойчивое оценивание параметров регрессии
Пусть теперь надо восстановить регрессию. Будем полагать, что класс функций, в котором ведется восстановление и которому принадлежит регрессия, представим в виде
п
F (х, а) = У, агфг (х),
Г —1
где фг (%) — система линейно независимых функций.
Как и раньше, истинная и гипотетическая плотности помехи Ро® и ^г© принадлежат классу {Р(£)}.
Для восстановления параметров регрессии используем метод максимума правдоподобия, т. е. найдем вектор а, доставляющий максимум выражению
1пРг(хь ур, ...; хи Уь а) = 2 1п Ру^-^ «^(хЛ.i = l\г=1/
(4.43)
Пусть этот вектор есть а = а*. Рассмотрим вектор уклонений найденных значений параметров регрессии а* от истинных а0:
а = (а0 — а*).
Образуем ковариационную матрицу В:
В = Ala • aT,
которая определяет качество оценивания вектора параметров а (см. § 11 гл. III).
iiНиже, совершенно аналогично (4.37), мы получим, что для достаточно больших / справедливо равенство
i
i
где
kij = 4 2Wм р° wdx •
(=1
Таким образом, элементы матрицы В пропорциональны величине
В представлении (4.44) важно, что от плотностей Ро (£), Рг (£) зависит лишь коэффициент пропорциональности D(Pm Рг) (а не матрица ||^; ||).
Поэтому двум различным гипотетическим плотностям Рг (g) и Рг (?) соответствуют две квадратичные формы z^B^z и z^^z с равными матрицами || Ау ||, но различными величинами D (Ро, Рг). Эти формы находятся в одном из отношений: в отношении
zTBYz^zTB^z для любого z
или отношении
zTBvz <_zTB^z для любого z, в зависимости от того, какой из коэффициентов больше: П(Р0, Рг) или D(P0, Рг). В § 11 гл. III было показано, что минимум формы 2тВг определяет совместно эффективные оценки параметров.
Таким образом, величина коэффициента D (Ро, Рг) определяет качество оценивания параметров линейной регрессии: чем меньше D (Ро, Рг), тем выше качество.
Это означает, что и в случае оценивания параметров регрессии задача выбора устойчивой плотности приводится к рассмотренной игре природы и статистика. В предыдущем параграфе было показано, что в этой игре оптимальная стратегия статистика состоит в том, чтобы в классе плотностей {Р(£)} выбрать плотность, доставляющую минимум величине информационного количества Фишера /ф(Р) = ^(т^-)2^Ж(4.45)
Таким образом, для того чтобы найти наилучшую гипотетическую модель помехи в классе {Р (g)}, надо в этом классе найти функцию, доставляющую минимум (4.45). Эту плотность и будем использовать для определения
параметров регрессии с помощью метода максимума правдоподобия.
Нам осталось получить соотношение (4.44). Получим
Pv его аналогично выводу (4.37). Обозначим
Тогда максимум функции правдоподобия (4.43) достигается на тех значениях а, которые удовлетворяют уравнениям I/ п\
У, / ^1— У агфг(х/))ф»(х,) = о, ^=1, 2п.
= 1 \Г=1/
Воспользуемся приближением (4.38):
iiп
i
i
У f МУ <м>г (М фН*/) 1=1 \г = 1/
I гп
У t ^ — Г (&) У Mr (Х/) Ф» (х,) = 0.
Отсюда для достаточно больших / в силу независимости и Xi получаем i i=l I / п\
-y®WS У ^r^w^=o, к=\д,.... п. t=\ v=i/
Или в векторной форме
II ku 1| аА -,(4.46)
’1 \ Г © Р» © dl’1’
где Н — вектор-столбец с координатами hr = ^ фг(Х;)/(^).
1 = 1
Из (4.46) получим
Найдем теперь ковариационную матрицу:
В = МаатВ = Маатим-1.им-1.1 У2 (^) р» © ^
В = Маат
В = Маат
им-1.
им-1.
1 G Г © Ро © d^2
Здесь мы полагаем, что матрица Ц^Ц не вырождена. Возвращаясь к исходным обозначениям, получим (4.44).
Устойчивость законов Гаусса и Лапласа
Покажем, что законы Гаусса и Лапласа являются, каждый в своем классе, устойчивыми. Как указывалось в предыдущем параграфе, для этого достаточно показать, что в соответствующих классах плотностей {P(g)} законы Гаусса и Лапласа доставляют минимум величине информационного количества Фишера (4.45).
Для тех конкретных классов {Р (g)}, которые будут рассмотрены ниже, эта задача оказывается задачей неклассического вариационного исчисления (класс {Р ®} задается ограничениями типа неравенств). Поэтому здесь мы не будем получать гипотетические плотности регулярным способом, т. е. решать неклассические вариационные задачи, а укажем решения и затем установим, что они действительно определят седловую точку функции
Иначе говоря, надо будет проверить, что для указанной плотности Рг(Ю выполняются неравенства
D(P, Pr)<D(Pr, Pr)^D(Pr, Р).
Заметим, что, согласно (4.41), всегда имеет место одно из неравенств, а именно:
ЩРг, РГ)^О(РГ, Р).
Таким образом, для доказательства оптимальности выбранной стратегии достаточно установить справедливость неравенства
D(P, P^D^, Рг).D(P, P^D^, Рг).(4-47)(4-47)
D(P, P^D^, Рг).
D(P, P^D^, Рг).
(4-47)
(4-47)
Рассмотрим следующие классы плотностей.
Класс плотностей с ограниченной дисперсией. Соответствующая вариационная задача состоит 8 том, чтобы минимизировать функционал (4.45) в классе
1)4)1)4)Рг©Рг©
1)
4)
1)
4)
Рг©
Рг©
функций, удовлетворяющих условиям:
Р(^>0,
(4.48)(4.48)^Р©^ = 0,
(4.48)
(4.48)
Условия 1), 2), 3) определяют плотность помехи, условие 4) — ограниченность дисперсии. Решением этой неклассической (вследствие 1) и 4)) вариационной задачи будет плотность
1
}^2ла
Действительно, подставим
J^© d^o\J^© d^o\в неравенство (4.47). Получим
J^© d^o\
J^© d^o\
(4.49)
Неравенство (4.49) справедливо для любой плотности из (4.48), так как класс (4.48) состоит из плотностей, для которых величина дисперсии не превосходит о2. Таким образом, нормальный закон плотности распределения вероятностей с нулевым средним и дисперсией о2 является устойчивым законом в классе всех плотностей с дисперсией, ограниченной величиной о2.
Рассмотрим теперь класс невырожденных плотностей. Этому классу принадлежат такие плотности, для которых Р(0)^1/2Д. Покажем, что устойчивым законом в этом классе плотностей будет закон Лапласа.
Для этого подставим Дг© ^-^ехр {——-} в (4.47).
Получим
и^у^р®^ 12 — А 2
44Р2*
у2- р1 (0)w
или, что то же самое,
А так как в класс {Р (g)} входят плотности, у которых Р(0)^1/2А, то неравенство (4.47) выполнится для любых функций класса.
Таким образом, закон Лапласа, является устойчивым законом в классе плотностей, для которых Р(0)^~.
Устойчивость законов Гаусса и Лапласа (каждого в своем классе) является фактом не менее замечательным, чем экстремальные свойства этих законов, установленные в § 4.
Итак, законы Гаусса и Лапласа устойчивы. Однако классы плотностей, в которых они устойчивы, часто оказываются слишком широкими. И тогда более содержательная статистическая модель должна быть построена на основе других более узких классов плотностей.
Ниже в §§ 8, 9 мы рассмотрим некоторые конкретные классы плотностей и получим для них устойчивые плотности.
Класс плотностей, образованныхсмесью плотностей
Рассмотрим класс Н плотностей, образованных смесью
p®=s^mwp®=s^mw(4.50)(4.50)
p®=s^mw
p®=s^mw
(4.50)
(4.50)
некоторой фиксированной симметричной относительно начала координат плотности g® и любой симметричной относительно начала координат плотности h®. Смесь составляется в пропорции 1—8 и е. Для таких классов плотностей справедлива следующая теорема.
Теорема 4.1 (Хубер). Пусть —In g (g) — дважды непрерывно дифференцируемая выпуклая функция. Тогда в классе Н существует устойчивая плотность
(1 -^^(Uexpife^-U},
Рг^ =Рг^ =(1-е) g®,
Рг^ =
Рг^ =
если *^ ^у, если ^0^^<^> если 1^^,(4.51)если *^ ^у, если ^0^^<^> если 1^^,(4.51)(1 -^g^ exp {-£(£-&)},
если *^ ^у, если ^0^^<^> если 1^^,
(4.51)
если *^ ^у, если ^0^^<^> если 1^^,
(4.51)
гдг £о> 11 ~ концы интервала [g0, ^], на котором монотонная (вследствие выпуклости — In g (£)) функция —^ ограничена по модулю константой к, определяемой из условия нормировки плотности
1 = (1 - 6) ^ g © ^ + ^±8 ^ (1-е).
Доказательство. Для доказательства этой теоремы, так же как и при установлении устойчивости законов Гаусса и Лапласа, надо показать, что для функций класса (4.50) справедливо
D(P, Pr^D(Pr, Pr^D(Pr, Р).
Справедливость оценки
D(Pr, Pr^D(Pv, Р\
как уже указывалось, следует из неравенства Шварца (4.40). Поэтому для доказательства теоремы достаточно показать справедливость оценки
D(P, Pr)^D(Pr, Рг)
для любой функции Р (2) е Н.
Представим плотность Ру^ в виде смеси фиксирован- нои плотности g(fe) и плотности п(у =.
Выпишем плотность Я®, учитывая (4.51):
МУ =
[-^(gQo)exp ^(g-y}-g(^)), если £<£„, = 0,если <£ь
| ^ (g (Ы ехр {— к (£ - ^)} - g (£)), если g ^ ^.
(4.52)
Нетрудно убедиться, что h ® есть плотность. Действительно, ^h(^ d^ = V а й(^)^0, так как по условию теоремы —In g (£) — выпуклая функция и, следовательно, целиком лежит над касательной
-1п§(^-\пё(^-(-\у^^1-0, к (4.53)
Неравенство же (4.53) эквивалентно утверждению
£©<£&)ехр{(-1)^ i = 0, 1.
Рассмотрим неравенство
\ рЧЙ [(1-8)5® + ^©!^
J V р \ь/
! С* ( Pr (u)V
\ J v г ^//7
(4.54)(4.54)(1—е) \ /тп e^Vr^(1-е)2 \ /тп gM
(4.54)
(4.54)
Убедимся, что правая часть этого неравенства есть точная верхняя грань выражения, стоящего слева, для произвольных симметричных плотностей h ®. Для этого за.рт^
мстим, что функция равна
Ру ®_ Ру ®Ру ®_ Ру ®к, если £ < 1о,^, еслиg®
Ру ®_ Ру ®
Ру ®_ Ру ®
функцияфункция— к, если 5 ^ £ь
функция
функция
(РГ^ V \РГШ(РГ^ V \РГШравнаравна0,если, если0,если0,если, если0,еслигде, согласно условию теоремы
(РГ^ V \РГШ
(РГ^ V \РГШ
равна
равна
0,если
, если
0,если
0,если
, если
0,если
Таким образом, для того чтобы максимизировать левую часть неравенства, необходимо выбрать такую плотность к^, которая сосредоточена на отрезках (—со, £0) и (^, со). Такая плотность одновременно обеспечивает максимум числителю и минимум знаменателю выражения, стоящего в левой части неравенства. Значение же выражения, стоящего слева, при этом будет в точности равно значению правой части неравенства. Плотность (4.52) как
раз и принадлежит плотностям, сосредоточенным на отрезках (—сю, £0), (^, оо). Теорема доказана.
Эта теорема замечательна тем, что позволяет конструировать различные устойчивые плотности. В частности, если выбрать в качестве g (Е) плотность нормального закона
f 1
а (?) = -т=— ехр < — ~>, ®w К2л a I 2°2J
и рассмотреть класс плотностей
р®-Ыехр{-£}+'л®.
то, согласно теореме, устойчивой в классе будет плот
ность
( (1 — е)к । с.l
-^^ехр^ — — Е >, если Е ^Ао,
11где величина к определяется из условия нормировкигде величина к определяется из условия нормировки(1-8)(1-8)У 2л аУ 2л а
1
1
где величина к определяется из условия нормировки
где величина к определяется из условия нормировки
(1-8)
(1-8)
У 2л а
У 2л а
Этот закон является «промежуточным» между законом Гаусса и законом Лапласа. На отрезке | ^ | <йо он с точностью до нормировочного множителя совпадает с законом Гаусса, а на отрезках | £ | ^ко — с законом Лапласа.
Плотности, сосредоточенные на отрезке
Рассмотрим еще один важный класс плотностей и найдем устойчивую в нем плотность распределения вероятностей.
Рассмотрим класс Кр плотностей, сосредоточенных в основном на отрезке [—А, Л], т. е. класс плотностей Р (£), для элементов которого выполняется условие
$ p©d^p,
—Агде р —известный параметр, задающий класс Кр.
Покажем, что устойчивой в этом классе будет плотность
Рг© =
I cos2?)- если ИН1,
=1 / 6» \( о, /I Е 1,\) IEL ,
t(t+fcos а)ехРу~2/Ц|т|-1д’если 77’
(4.55) где параметры а, b связаны с константой р, задающей класс Кр, соотношениями
К 1 + 6 ’(4.56)
6 = а - tgб?,0<я<~.
Не ограничивая общности, будем полагать А = 1 (случай А=#1 приводится к случаю А = 1 подстановкой г = Л£). Таким образом, задача состоит в том, чтобы показать, что в классе плотностей, удовлетворяющих условию
—1
устойчивой будет плотность
' 7т cos2 ^а,если | £ | < 1,
= 7(4.57)
Р^ cos2 аехр {—26 (| g | — 1)}, если |?|^1.
Для того чтобы показать устойчивость в Кр плотности (4.57), достаточно показать, что Рг® минимизирует в Кр функционал Фишера
(4.58)(4.58)
(4.58)
(4.58)
Однако мы не будем непосредственно минимизировать функционал (4.58), а воспользуемся тем, что необходимым и достаточным условием того, что Рр (£) есть точка мини*
мума (4.58) является неотрицательность в Кр функционала
= / $ (2 (-In Рг(Ю)"-[(1п Рг (х))']2) (Р ®-Рг ®) db (4.59) Функционал R (Ру, Р) есть производная по параметру 8 выражения
/ф ((1-е)Рг® + еР ©),
вычисленная в точке 8 = 0, т. е.
d&d&= R(Pr, о= R(Pr, оPYPY(4.60)(4.60)
d&
d&
= R(Pr, о
= R(Pr, о
PY
PY
(4.60)
(4.60)
Неотрицательность производной в точке 8 = 0 для плотностей (1 — s) Ру (g) + гР (g) (по любому направлению в Кр) означает, что на Ру® достигается минимум /ф.
Итак, проверим неотрицательность выражения R(Py, Р). В силу четности функции 7? (Рг, Р) достаточно проверить положительность ее на луче 0^£<оо. Для этого най
дем, что
(4.61)(4.61)( 2а tg а^ если | £ | < 1,
(4.61)
(4.61)
( 2b sign g, если | £ | ^ 1.
Подставим (4.61) в (4.59) и произведем вычисления
Р(Рг, Р) =
1ОО
= Ш 5 (Р © - Рг ®) d^ - W 5 (Р ® - Рг ©) ^. (4.62)
б1
Преобразуем выражение (4.62):
R(Pr, Р) =
= 4а2/ J (Р © - Рг Q)) ^ - №1 f (Р @ - Рт ©) d^ =
01 1
= 4(а2 + 62)/5(Р©-Рг©)^.
о
Таким образом, выражение R (Ру, Р) неотрицательно для всех Р ®, для которых
\p<^d^ \Pr^d^ = \-^\Pr^d^ = p, — 1—11
т. е. для всех функций из Кр.
§ 10. Устойчивые методы восстановления регрессии
В предыдущих параграфах мы рассмотрели некоторые классы плотностей и нашли для них устойчивые плотности.
Теперь в нашей схеме интерпретации результатов прямых экспериментов можно ослабить требования к априорной информации о статистических свойствах помехи. Достаточно знать класс плотностей, которому она принадлежит. В этом случае для восстановления параметров регрессии методами параметрической статистики можно использовать устойчивую в классе плотность вместо истинной. Конечно при такой подмене ухудшается асимптотическая скорость сходимости параметров регрессии. Она становится пропорциональной не предельно достижимой для несмещенного оценивания параметра сдвига величине (см. § 11 гл. III)
(Ро (g) — истинная плотность помехи), а величине /, лежащей в интервале
I minI II minI Imax»max»
I minI I
I minI I
max»
max»
где
/max —*SlipР(£)е{Р(Ш I/max —*SlipР(£)е{Р(Ш I1J \Р©)1J \Р©)
/max —*Slip
Р(£)е{Р(Ш I
/max —*Slip
Р(£)е{Р(Ш I
1
J \Р©)
1
J \Р©)
Однако если класс ^Р (£)} не очень широкий, такая i ^з- можная потеря в скорости может быть не слишком большой.
Основным конструктивным результатом рассмотренной здесь теории устойчивого оценивания является выделение четырех классов плотностей с указанием в них устойчивой плотности1).
Выпишем эти классы и плотности.
Класс плотностей с дисперсией, ограниченной величиной о2. Устойчивой плотностью
х) Известны и другие классы плотностей, для которых найдены устойчивые плотности [46].
в этом классе является плотность нормального закона
Рг®Рг®1|/2л (У1|/2л (Уехр{-ехр{-
Рг®
Рг®
1
|/2л (У
1
|/2л (У
ехр{-
ехр{-
Класс невырожденных плотностей (для которых Р (0) > 1/2Д). Устойчивой в этом классе является плотность
Класс плотностей, образованный смесью известной плотности, например нормальной
^дг (£) = -r—~e w. с любой возможной плотностью, взя- V 2л а
тыми в пропорции 1-е и е. Устойчивой в этом классе является плотность
^г® =^г® =если 111 < ко.если 111 < ко.если | £ | ^ ко.если | £ | ^ ко.
^г® =
^г® =
если 111 < ко.
если 111 < ко.
если | £ | ^ ко.
если | £ | ^ ко.
где с. к — определяемые через ено константы.
Класс плотностей, сосредоточенных / л\
в основном на отрезке [—А. Л] I ^ P®d^^>pY л/
Устойчивой в этом классе является плотность
Рг&)=Рг&)=с cos2^,с cos2^,с cos2 а ехр /— 26 fl ^ I — 1с cos2 а ехр /— 26 fl ^ I — 1еслиеслиеслиесли
Рг&)=
Рг&)=
с cos2^,
с cos2^,
с cos2 а ехр /— 26 fl ^ I — 1
с cos2 а ехр /— 26 fl ^ I — 1
если
если
если
если
где с. а, 6 — определяемые через Аир константы.
Теперь, если вместо истинной плотности помехи Ро (£) взять устойчивую в классе Pr(^Y определить с ее помощью плотность условного распределения вероятностей
f
n
У - 5 а,<Рг (х)
\'=1
и, наконец, воспользоваться для оценки параметров методом максимума правдоподобия, то получим следующий
алгоритм восстановления регрессии по выборке:
хъ Уъ ...; xb yt.
Надо минимизировать функционал
I / пк («) = S d\У1 - S (Xl)i = 1 \г = 1
где d (г) = г2, если истинная плотность помехи принадлежит классу плотностей с ограниченной дисперсией;
d (г) = | 2 |,
если истинная плотность помехи принадлежит классу невырожденных плотностей;
,если | г | < ко,
№ к
у + — |г|, если |г|^^о,
если истинная плотность есть смесь нормального закона с любым возможным;
' —2 In cos — 2,если |г|<Л,
d(2) =... А
ЧНгI — 1) — 2 In cos ^г, если |г|^Л,
если истинная плотность сосредоточена в основном на отрезке [—Л, Л].
Среди этих методов метод наименьших квадратов (d (г) = г2) и метод минимальных модулей (d (г) = | г |) не содержат свободных параметров. Метод наименьших модулей является более универсальным— он определяется устойчивой плотностью в более широком классе плотностей.
Два других метода оценивания содержат параметры, которые вычисляются в зависимости от величин, задающих классы плотностей. Эти методы следует применять, когда удается достаточно точно определить классы плотностей, содержащие искомую плотность.
Итак, при восстановлении регрессии нам удалось снять требование точного знания модели помехи. Достаточно знать класс функций, содержащий регрессию и класс плотностей, которому принадлежит плотность помехи. Однако вся построенная выше теория является принципиально асимптотической (при выводе основного соотношения (4.37) существенно использовался закон больших чисел). Поэтому гарантией того, что найденные алгоритмы окажутся работоспособными на выборках ограниченного объема, может служить лишь вера в то, что асимптотика наступает рано.
Основные утверждения главы IV
Восстановление регрессии методами параметрической статистики проводится для схемы интерпретации измерений, согласно которой измеряемая величина у связана с вектором х соотношением
y = F(x, а0) + ^
где F (х, ^ — искомая функция, принадлежащая заданному параметрическому семейству F (х, а), g — случайная независимая ошибка измерения, возникающая, согласно плотности Ро®, с нулевым математическим ожиданием.
Методы параметрической статистики при восстановлении регрессии направлены на оценку параметров плотности условного распределения вероятностей
р <y\x^=PAti-F<x) а)),
Применение метода максимума правдоподобия для оценивания параметров условной плотности по выборке xv Ух, .. .; хь уi приводит к минимизации функционала
fi(“) = S ^P^yt-F^XH а)),
1 = 1
зависящего от плотности помехи Ро®« Таким образом, различным статистическим моделям Ро (g) помехи соответствуют разные алгоритмы восстановления регрессии.
На практике закон образования помехи PQ^Y как правило, неизвестен. Считается, что может быть установлен лишь класс плотностей, которому принадлежит плотность Р^®.
В этом случае в качестве статистической модели помехи следует выбирать устойчивую плотность, т. е. такую, которая при самом неблагоприятном стечении обстоятельств обеспечит максимальную асимптотическую скорость оценивания параметров регрессии.
Устойчивые методы восстановления регрессии могут быть получены для разных классов плотностей. Они возможны лишь при использовании выборок большого объема.
ГЛАВА V
ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИИ
Задача оценивания параметров регрессии
В предыдущей главе были рассмотрены методы восстановления регрессии в условиях, когда объем выборки стремился к бесконечности.
Однако, строго говоря, полученные результаты относились не к задаче восстановления регрессии, а к другой задаче — оценивания параметров регрессии. Такая подмена задач (вместо приближения функции — оценивание ее параметров) правомерна для достаточно больших объемов выборки. С ростом объема выборки оцениваемые параметры стремятся к истинным и, следовательно, построенная с помощью найденных параметров функция стремится к регрессии. Однако для выборки ограниченного объема задача восстановления регрессии не всегда эквивалентна задаче оценивания ее параметров.
Действительно, качество оценки а параметров а0 регрессии y(x) = F(x, а0) определяется близостью векторов а0 и а:
р(а0, а) = || а —а01|.(5.1)
Качество же приближения функций F^x, а) к регрессии F (%, а0) —близостью функций.
В гл. I мы условились рассматривать среднеквадратичную меру близости
ргС/7^, а0); F(x, а)) =
= ($ (К (х, a) — F (х, а0))2 Р (х) dx^. (5.2)
Критерии (5.1) и (5.2) не идентичны, и поэтому решение, лучшее по одному из них, может быть худшим по другому.
Пример. Пусть в классе функций
F (х, а) = а°+а1х + а2х2на отрезке [1,2] восстанавливается регрессияУ = х*.
Рассмотрим два решения (рис. 5): первое —полином
F (х, а) —0,5ха и второе — полином
F (х, а) = 3х — 2.
С точки зрения критерия оценки параметров первое решение лучше второго (как бы ни понималась норма (5.1), вектор а = = (О, О, О, 5)т ближе к ао = (О, О, 1)т, чем вектор а = (—2, 3, 0)т).
Однако с точки зрения критерия (5.2) лучшим будет второе решение F (х, а). При любой мере Р (х) справедливо неравенство р; (Зх —2, х2) < р£ (0,5х2, х2).
Когда же задача оценивания параметров регрессии по выборкам ограниченного объема эквивалентна задаче восстановления регрессии?
Допустим, что класс функций, которому принадлежит регрессия, линеен по параметрам
F (х, а) = 5 а,ф, (х),(5.3)
^1
и пусть (pj (х), ..., фл (х) — система ортонормальных с весом Р (х) функций, т. е. таких функций, для которых
£М, если p =
( Фр (х) ф^ (х) Р (х) dx = { п(5.4)
з \\\о, если р Ф q. х 7
В этом случае величины, характеризующие близость функций в метрике Lp и близость параметров в евклидовой метрике, совпадают, и задача приближения на [а, &] функции к регрессии становится эквивалентной задаче оценивания параметров. Действительно,
a), F (х, а)) =
= $ (2 ^ м- 2 а^^ w 1 р м ^ = S (^—(5-5)
a i = li=l1i = 1
Условия (5.3), (5.4) достаточны для того, чтобы заменить задачу восстановления регрессии задачей оценивания ее параметров. Однако, для того чтобы построить ортогональную систему функций, надо знать плотность Р (х). В этой главе мы будем полагать, что плотность Р (х) нам известна.
Теория нормальной регрессии
Теория оценивания параметров регрессии по выборкам ограниченного объема разработана для случая, когда, во-первых, класс функций, которому принадлежит регрессия, линеен по параметрам
F (х, а) = 2 (Д(5.6)
а, во-вторых, структура измерений подчиняется схеме Гаусса — Маркова.
Считается, что измерения функциональной зависимости
У М W
= 1
производятся в I фиксированных точках
Xi, ..., xL.
(Эти точки нс являются случайными.)
Измерения производятся с аддитивной помехой |, которая возникает случайно согласно плотности Р (|), имеет нулевое среднее значение (т. е. ^Р (g) d£ = 0) и конечную дисперсию (^2^©^<ооу Помехи в точках X/ и Xj (i^j) некоррелированы.
Результатом измерений функции у = у (х) в точках хь X/ является случайный вектор У = (у1, ..., у^, координаты которого равны
п
У/ = 2 а^(^) + ^ = ^ + ^> /=1.2I.
= 1
Или в векторной форме
У = Фа0 + ^(5.7)
где Ф —матрица 1хп с элементами <р,-(ху) (/ = 1, 2, ... ./; i=l, 2, .... п\ а0 —вектор параметров, | —вектор помех.
Таким образом, схему Гаусса—Маркова определяют равенства
МУ = Фсс0, М {(У - МУ) (У -МУГ] = о2/, (5.8) где / — единичная матрица.
При построении теории оценивания параметров регрессии в схеме Гаусса — Маркова выделяется случай, когда помеха £ задается нормальным законом распределения вероятностей.
Для нормального закона распределения помехи справедлива так называемая теория нормальной регрессии, в основе которой лежит следующий факт: экстремальным методом оценивания параметров нормальной регрессии является метод наименьших квадратов, согласно которому в качестве оценки параметров а следует выбирать такой вектор а9, который доставляет минимум функционалу
I / п\2
U (а) = у 2 (^ ~ 2 а'ф< ^) '/=1\»=1/
Справедлива
Теорема 5.1. Оценки метода наименьших квадратов параметров нормальной регрессии являются совместно эффективными.
Ниже мы докажем эту теорему, а затем построим метод восстановления нормальной регрессии лучший, чем тот, который основан на методе наименьших квадратов.
Доказательство. Запишем плотность распределения вероятностей помехи в виде
1У^л о1У^л оп\2'п\2'ехр |" "^ U - 2 “?Ф< (*/)) р (5.9)ехр |" "^ U - 2 “?Ф< (*/)) р (5.9)
1
У^л о
1
У^л о
п\2'
п\2'
ехр |" "^ U - 2 “?Ф< (*/)) р (5.9)
ехр |" "^ U - 2 “?Ф< (*/)) р (5.9)
Здесь задача оценивания параметров регрессии эквивалентна оцениванию параметров распределения (5.9) по результатам измерения функции у==у(х) в точках xb ...
хь
Выпишем функцию правдоподобия г):
Р(У1, .... Уь а) = Р(а) =Р(У1, .... Уь а) = Р(а) =(2n//2oz еХр I(2n//2oz еХр IL/=lL/=l' п\ 2«J - 2 “«фд^))' п\ 2«J - 2 “«фд^))(5.10)(5.10)
Р(У1, .... Уь а) = Р(а) =
Р(У1, .... Уь а) = Р(а) =
(2n//2oz еХр I
(2n//2oz еХр I
L/=l
L/=l
' п\ 2
«J - 2 “«фд^))
' п\ 2
«J - 2 “«фд^))
(5.10)
(5.10)
Согласно неравенству Рао —Крамера (см. §11 гл. III)
информационная матрицаинформационная матрицаФишера \\fuW (матрица с элемен-
информационная матрица
информационная матрица
тамитами1н=-м1н=-мd2 In Р (а)\ да/ дау /d2 In Р (а)\ да/ дау /определяет предельную точностьопределяет предельную точностьсовместных оценок вектора параметров а в классе несмещенных методов оценивания. А именно, для любого вексовместных оценок вектора параметров а в классе несмещенных методов оценивания. А именно, для любого век
тами
тами
1н=-м
1н=-м
d2 In Р (а)\ да/ дау /
d2 In Р (а)\ да/ дау /
определяет предельную точность
определяет предельную точность
совместных оценок вектора параметров а в классе несмещенных методов оценивания. А именно, для любого век
совместных оценок вектора параметров а в классе несмещенных методов оценивания. А именно, для любого век
тора 2 справедливо неравенство
ztVijVz^Bz,
где В— ковариационная матрица несмещенных оценок вектора параметров. Таким образом, предельная точность в классе несмещенных оценок достигается при таком спо*- собе оценивания, при котором
(5.11)(5.11)b=VuV.
(5.11)
(5.11)
Покажем, что для нормальной помехи равенство (5.11) достигается при оценивании параметров регрессии методом наименьших квадратов. Действительно, вычислим
!) Далее для сокращения записи функция правдоподобия Р (Ух, ••> Уь а) обозначена Р (а).
элементы fy матрицы Фишера. Учитывая (5.10), получим
Г=1
Или в матричной форме
ИМ = ^МФтФ,(5.12)
где Ф — матрица I х п с элементами q); (хХ 1 = 1, ..., п
/=i. -.a.l
Вычислим теперь элементы by ковариационной матрицы В оценок метода наименьших квадратов. Для этого найдем оценку параметров регрессии по методу наименьших квадратов, т. е. вектор аэ, минимизирующий функционал
I /п\2
и («)=т 2 (^ ~ 2 ^ ^1 •(5ЛЗ)
/=1\1 = 1/
Минимизация по а функционала (5.13) эквивалентна решению следующего уравнения:
ФтФа = ФтУ.(5.14)
Уравнение (5.14) называется нормальным уравнением. Решение нормального уравнения относительно вектора параметров а равно1)
а = (ФтФ)-1ФтУ.
Заметим, что оценка метода наименьших квадратов принадлежит классу несмещенных
Ma = М [(ФТФ)-Х ФТУ] = а0.
Выпишем вектор (а — а0) уклонений оценки параметров регрессии от истинных значений параметров
(а - а0) = (ФТФ)"1 Фт|,где | —вектор помех измерений.
!) Здесь принято, что матрица (ФТФ) не вырождена. Для вырожденных матриц вместо обратной матрицы (Ф'Ф)1 используется псевдо- обратная матрица (ФТФ)+.
Найдем теперь ковариационную матрицу:
В = М (а - а0) (а - а0)т = (С^Ф)"1 ФТЛ1|ГФ (Ф^Ф)1.
Учитывая, что Л4Цт = сг2/, получим
В = о2 (ФТФ)-1.
Таким образом, для нормального закона распределения помех ковариационная матрица вектора оценок равна обратной информационной матрице Фишера. Тем самым доказана эффективность метода наименьших квадратов в задаче восстановления параметров регрессии при структуре измерений, определяемой схемой Гаусса— Маркова.
Следует заметить, что метод наименьших квадратов является эффективным средством оценивания параметров лишь в схеме Гаусса — Маркова. В схемах с нефиксированными точками измерений Xi даже при нормальном законе появления помех метод наименьших квадратов оказывается лишь асимптотически эффективным.
Так, уже в случае оценивания одного параметра i/ = ax
при измерениях, проводимых с аддитивной нормальной помехой
у^ах-АЛ
в точках хъ ..., хь заданных случайно и независимо согласно Р (л), оценка параметра а не будет эффективной.
Действительно, точно так же, как и выше, можно найти величину информационного количества Фишера:
/
2
7Ф = —£^1—,
и вычислить дисперсию оценки параметра а*.
D(a) = M—^—.
2
i= 1
Заметим, что в силу выпуклости функции 1/%2 имеет место неравенство
,(5.15)
х1 м 2 Х1.
l‘ = l1 = 1
откуда следует, что в рассмотренном примере
П^а^Гф1.
Единственный случай, когда неравенство (5.15) переходит в равенство— фиксированность точек измерений. Этот случай и реализует схема Гаусса— Маркова.
§ 3. Методы восстановления нормальной регрессии, равномерно лучшие метода наименьших квадратов
Итак, в схеме Гаусса— Маркова метод наименьших квадратов является эффективным средством оценивания параметров нормальной регрессии. Однако в этом утверждении есть две оговорки:
Измерения проводятся в условиях нормальной помехи.
Метод наименьших квадратов является наилучшим не безусловно, а лишь среди несмещенных методов оценивания.
Возникает вопрос, существенны ли эти оговорки? Оказывается, что обе оговорки существенны. Метод наименьших квадратов сохраняет свои экстремальные свойства лишь при нормально распределенных помехах g. При числе измерений Z^2/i + l (п — размерность базиса) из эффективности метода наименьших квадратов следует, что помеха распределена по нормальному закону [23].
Не менее существенна и вторая оговорка: даже в условиях нормально распределенной помехи в классе смещенных методов оценивания существуют оценки равномерно лучшие, чем оценки метода наименьших квадратов.
Определение. Будем говорить, что для функции потерь
II - а01|2 = (а - а0)т (а - а0)
метод оценивания аА (уь ..., у^ вектора параметров oto равномерно лучше метода оценивания ав(уъ ..., у^, если для любого а0 выполняются неравенства
М\\аА(уъ ..., у^ - а01|2 ^ М || ав (уъ ..., У/)-а0||2.
В этом параграфе мы построим алгоритмы приближения к регрессии равномерно лучшие (лучшие для любого сх0), чем те, которые вытекают из процедуры метода наименьших квадратов.
Основой этих алгоритмов служат методы оценивания вектора средних многомерного нормального закона и, в частности, следующая
Теорема 5.2 (Джеймс —Стейн). Пусть х-п-мерный (п^З) случайный вектор, распределенный по нормальному закону N (ос, ст2/) с вектором средних а и ковариационной матрицей <зЧ. Пусть S — случайная величина, независимая от х, распределенная согласно центральному о212-распределению с q степенями свободы. Тогда оценка среднего п—2 S \
а^х' —ТхУД^
Г г, если z^O,(5.16)
(О, если ?<0 равномерно лучше оценки а^^х.
Иначе говоря, теорема 5.2 утверждает, что в качестве оценки вектора а следует брать не реализацию х, а вектор а (х, S), коллинеарный вектору реализации, но отличающийся от х величиной модуля. Эта теорема является частным случаем более общего утверждения, доказанного в следующем параграфе.
Используя теорему 5.2, построим алгоритм приближения к регрессии равномерно лучший, чем тот, который вытекает из метода наименьших квадратов.
Итак, пусть в точках хх, ..., xt проведены измерения ух, ..., уь и пусть нашей целью является построение метода приближения нормальной регрессии лучшего, чем метод наименьших квадратов.
По-прежнему близость функций определяется метри- кои LP:
Pl(J4x, cz), F (х, a))==^(F(x, a) — F (x, a))2 P (x) dxy/2.
Перейдем к новому дважды ортогональному базису Ф1(Д ..., Ш(5.17)
т. е. базису, для которого выполняются равенства с zs z чесли i =
,.(5-18)
। / \ I / х I 1» если i —
r=i(0, если 1^1,
и будем искать регрессию в разложении по базису (5.17)х):
F (х, а) = 2(х).
i=i
В новом базисе близость функции F (х, а) к регрессии F (х, а0) определяется величиной
plt^x, a), F^x, a0)) = pl(a, а0) =
= ^ 2 И - а<) ^ (^У Р ^ dx—^Xi (а? - az)2.
V=1/t = i
Таким образом, нашей целью является отыскание такого алгоритма й^ ..., у/) оценивания параметра а0, для которого величина
Л4р1 (а (уъ ..., yh, а0) = М У Xz(az (уъ ...,у^- а?)8 (5.19)
1=1
меньше
Alpt (амнк, а0) = М JJ X, (а^як — а?)1,е = 1
где «мнк = (а*нк, а"нк)т — оценка метода наименьших квадратов.
Рассмотрим оценку параметров регрессии, которую определяет метод наименьших квадратов. В базисе (5.17) эта оценка равна
аМнк = Фт^
где Ф — матрица 1хп с элементами ^(х,), /= 1, 2, ..., Z, f = l, 2, ..., п, У —вектор измерений.
Вектор амнк является случайным вектором, распределенным по нормальному закону с вектором средних а0
Мамнк = Л1ФтУ = а0 и матрицей ковариации о2/
М (аннк - а„) (амнк - а„)т = МФТ||ТФ = а2/.
т) Согласно теореме о приведении двух квадратичных форм к диагональному виду с помощью линейного преобразования, такой базис существует, он может быть построен методами линейной алгебры.
Таким образом, проблема оценивания параметра а0 регрессии сводится к оцениванию вектора среднего а0 нормального закона N (а0, а2/) по его реализации амнк.
Если бы в (5.19) оказалось, что ^ = А,2 = .. . = ^, то можно было бы, воспользовавшись теоремой 5.2, сконструировать алгоритм восстановления регрессии лучший, чем метод наименьших квадратов.
Действительно, как будет показано ниже, статистика
S = KTK-aTMHKaS = KTK-aTMHKa(5.20)(5.20)
S = KTK-aTMHKa
S = KTK-aTMHKa
(5.20)
(5.20)
не зависит от амнк и распределена согласно центральному а2Х2-распределению с I — п степенями свободы.
Поэтому, согласно теореме 5.2, оценка
п — 2/ — п -j- 2п — 2/ — п -j- 2тI ^мнкамнк^мнк/ +тI ^мнкамнк^мнк/ +(5.21)(5.21)
п — 2
/ — п -j- 2
п — 2
/ — п -j- 2
тI ^мнк
амнк^мнк/ +
тI ^мнк
амнк^мнк/ +
(5.21)
(5.21)
равномерно лучше, чем амнк, т. е. доставляет критерию (5.19) (при Хг =.. .^Хп) меньшее значение, чем амнк.
Однако в построенной дважды ортогональной системе (5.17) обычно не все величины Xt равны между собой. Таким образом, получение лучшего приближения к регрессии в случае несовпадающих Xt связано с отысканием способа оценивания параметров, доставляющего меньшую величину критерию (5.19), чем метод наименьших квадратов.
Конструирование такого алгоритма оценивания также опирается на результаты теоремы 5.2. Будем считать, что функции ф/ перенумерованы в порядке невозрастания величин ^^^2^...^Хл^0. Введем обозначения: пусть а0 (р) - вектор размерности р, составленный из первых р координат вектора oto = (cxj, ..., а^; схмнк (р) — вектор составленный из первых р координат вектора оценок метода наименьших квадратов амнк.
Определим п чисел fD ..., fn;
аТмнк(Р)ам11К(Р) ^-Р + 2
С помощью чисел fv ..., fn образуем п чисел hp по правилу
5 ^i-Wh
hp = -^—,, где %л+1 = 0, р = 1, 2, ..., п.
Справедлива
Теорема 5.3 (Бхаттачария). Для риска (5.19) оценка
(//1>-•//z) = (^мнк^1> ^мнк^п) , а ^ 3, (5.22)
равномерно лучше оценки амнк = (амнк, • • *, амнк) •
Доказательство. Доказательство теоремы 5.3 опирается на теорему 5.2, согласно которой для любого р справедливо неравенство
М || амнк (р) fp - «о (р) II2 < МII амнк (р) - а0 (р) ||2. (5.23)
(5.24)(5.24)Рассмотрим рандомизированную оценку
(5.24)
(5.24)
§"амнк — l^MHK^l, . . • , aMHKgTj,
где g-/; — случайные, не зависящие от S и у величины, имеющие распределение
Р {(^-^-J^iL, ^=b 2, п; i = k, п,
Величина риска (5.19) при такой оценке равна
Р1 (^амнк> ао) — ^ 2 ^^ ^gk^MHK ^k) —
fe = l
6 В. Н. Ваиник
Воспользуемся неравенством (5.23):
рь (Сосмик, ао) =
= S ^ ^^ ~~ ^/+1) ^ (амнк// — ОС®) = fe=li=k
=S (амнкЛ-аП3 =
/ = 1к = 1
= 2 (X/ - Х/+1) М II амнк (/) /7 - а0 (/) II2 /=1
^ 2 (^7^/+1) II амнк (/) ао (/)Ц2 ^
/= 1
/=1
Таким образом, величина риска для рандомизированной оценки значений параметров меньше величины риска для оценки, полученной методом наименьших квадратов. С другой стороны, из свойств выпуклости функции потерь (5.19) следует, что нерандомизированная оценка (5.22) не хуже рандомизированной оценки (5.24).
Следовательно, приближение к регрессии, определяемое параметрами (5.22), равномерно лучше приближения, полученного методом наименьших квадратов. Теорема доказана.
Нам осталось показать, что статистика S = YTY — — ^мнкосмнк не зависит от амнк и распределена согласно центральному о2%2-распределению с I — п степенями свободы.
Для этого дополним ортонормальную на хъ ..., xt систему из п векторов фх, ..., фп:
^-ОР/М^/(^Ж
Л=10Л=10если t = /, если i =^ I,если t = /, если i =^ I,I, j = 1, 2п,I, j = 1, 2п,
Л=10
Л=10
если t = /, если i =^ I,
если t = /, если i =^ I,
I, j = 1, 2п,
I, j = 1, 2п,
до полной системы, состоящей из / ортонормальных векторов
^Рь ^ ^+1, .... ^z,
т ( 1,т ( 1,если i = /, если i т^ /,если i = /, если i т^ /,ц /=1, 2, ..., I.ц /=1, 2, ..., I.
т ( 1,
т ( 1,
если i = /, если i т^ /,
если i = /, если i т^ /,
ц /=1, 2, ..., I.
ц /=1, 2, ..., I.
Разложим Y по этой системе:
Y = 2 v<4>z + 2 7/^>
Z=1/ = п 4-1
(5.25)
где
у, = Ит-ф/ = а'мнк, t = 1, 2, .. •, п,
уу = Гт1|)у,j = n + \1.
Подставляя (5.25) в (5.20), получаем
(5.26)(5.26)5= 2
(5.26)
(5.26)
i=n-v 1
и, следовательно, S не зависит от aj^ (а зависит лишь от V/» !=n-W • 1\ Так как по условию У=У04-|, а вектор Yo разложим по неполной системе (5.17)
^0=2 ^ь
1 = 1
то имеет место равенство
7/ = Г%-
Подставляя в (5.26) значение у7, получим
5= 2 v/= 2 [s^/(x4= 2
/ = п^- 1i = п + 1 V = 1/ / = п+ 1
и, следовательно, статистика S распределена согласно центральному о2%2-распределению с I — п степенями свободы.
6*
§ 4. Теорема об оценивании вектора среднихмногомерного нормального закона
В этом параграфе мы получим семейство оценок вектора средних, равномерно лучших, чем а(х, S) = x. Этому семейству принадлежит оценка (5.21).
Итак, пусть х — случайный вектор, распределенный согласно N (а0, о2/), S —случайная величина, распределенная согласно центральному о2х2-распределению с q степенями свободы. Обозначим F = -^-.
Справедлива
Теорема 5.4 (Баранчик). Оценка п-мерного (/г^З) вектора средних
а(х, S^ = ^1 —-Цр-^ х,
где г (F) — монотонная неубывающая функция, лежащая в пределах
(5.27)
равномерно лучше оценки а(х, S) = x.
Замечание. Теорема 5.2 является частным случаем теоремы 5.4, если положить
г, если F <——.
<7+2
Доказательство. При доказательстве теоремы 5.4 используется следующий факт: математическое ожидание случайной величины / (х2 (/г, Ь^, взятое по мере р (х2 (п, 6)), гдех2(^, Ь)— случайная величина, распределенная согласно нецентральному х2-распределению с п степенями свободы и параметром Ь, представимо в виде
Х^+гй—случайная величина, распределенная согласно центральному х2-РаспРеДелению с ^ + 2й степенями свободы, k — случайная величина, распределенная согласно закону Пуассона с параметром Ь\
Ик
Р(£)=ехр{-&}-^-
(математическое ожидание в правой части равенства вычисляется как по х, так и по А).
Таким образом,
W(«- b^ = Mf(xn+^ = expV—b\ ^^-Mf(xU2t\
(5.28)
Перейдем непосредственно к доказательству теоремы. Нашей целью является доказательство того, что разность
/7 = Л4||а(х, S) — а01|2 —Л4 || х — а01|2(5.29)
— величина неположительная. Обозначим
и преобразуем (5.29)
Н = М [xTxg2 (F)] - 2ajAlg (F) х +|| а0||2 - п^. (5. зо)
Следующие выражения с (5.31) по (5.34) мы получим в предположении, что величина S фиксирована. Согласно (5.28) имеем
м Iхх6 =
=.=хр{-ед 2["’х^^^)]- (5.31)
Преобразуем теперь выражение
(О х =(^)х-
Для этого произведем ортогональное преобразование векторов х в векторы г так, чтобы в новой системе координат вектор средних был равен (||а0||, 0, ..., 0) (отлична от нуля лишь первая координата, которая равна норме вектора средних). При таком преобразовании величина S не меняется.
Получим
(^) X = II а0 II Mg гъ
где гх — первая координата вектора г = (zb ..., г^.
Заметим теперь, чтоЗаметим теперь, чтоdzY ... dz„dzY ... dz„Таким образом, получимТаким образом, получим
Заметим теперь, что
Заметим теперь, что
dzY ... dz„
dzY ... dz„
Таким образом, получим
Таким образом, получим
где к — случайная величина, распределенная по закону Пуассона со средним || а0 ||2/(2о2). Окончательно получим
Оп2 рур f II a0 II2 1 V у/II ®0 II2 V Mg (a2/n + 2Z I З) .~
— zor exp I № ц 2(у2 ) п . (o.oz)
Наконец, учитывая, что || а0 ||2/(2о2) есть среднее случайной величины к, распределенной по закону Пуассона, выразим третье слагаемое в сумме (5.30) в виде
оо ( II ао II2 у
||a0||2 = 2a2exp{- ^Д}•(5.33)
Н = о2 ехрН = о2 ехрПредставим выражение (5.30) в виде
Н = о2 ехр
Н = о2 ехр
2a2 /t\ [/wXn + 2/g5
-4tMg f[p^^-n + 2t
Пусть теперь S = a2y^ есть случайная величина, распределенная согласно центральному о2х2-распределению с q степенями свободы. Тогда теорема будет доказана, если мы установим, что выражение
й = М [x^g2 ^Л - 4^ (^-) - я + 2/1 (5.35)
неположительно ни при каком I.
Обозначим 2^±^_ = ^ и заметим, что
и (1 — g (и)) = г (и).(5.36)
Поэтому из условия теоремы (5.27) следует
g(w)> 1 - 2g(w)> 1 - 2п—29 + 2п—29 + 2U-1.U-1.(5.37)(5.37)
g(w)> 1 - 2
g(w)> 1 - 2
п—2
9 + 2
п—2
9 + 2
U-1.
U-1.
(5.37)
(5.37)
Преобразуем выражение (5.35), используя обозначения (5.36) и тот факт, что Мх^+г/ = п + 2/:
h = М [ - 2г («) х? + г (ы) (1 - ё (и)) х? + 4/ ^-] =
= М r^^k-X-gWA= М r^^k-X-gWA
= М r^^k-X-gWA
= М r^^k-X-gWA
Учитывая (5.37), получим, что величина К не превосходит
й = А4(г(НК) = м[м И2^-)^}}
где обозначено
С = х|[“2+(4/ + 2С = х|[“2+(4/ + 2п— 2с + 2п— 2с + 2Xl)Xl)1Х^+2/1Х^+2/
С = х|[“2+(4/ + 2
С = х|[“2+(4/ + 2
п— 2
с + 2
п— 2
с + 2
Xl)
Xl)
1
Х^+2/
1
Х^+2/
Для всякого фиксированного х? определим такую кон
станту а, для которой
-2+(4i+2^«H-°--2+(4i+2^«H-°-(5.38)(5.38)
-2+(4i+2^«H-°-
-2+(4i+2^«H-°-
(5.38)
(5.38)
Заметим, что для всякого Хп+2<>а справедливо С<0. Поэтому, учитывая, что, согласно условию теоремы,
функция г (и) не убывает, оценим величинуфункция г (и) не убывает, оценим величину
функция г (и) не убывает, оценим величину
функция г (и) не убывает, оценим величину
(Здесь мы воспользовались равенством М -^ =(ш^З). j
\Хт tn — 2/
Подставим теперь в (5.39) значение а, удовлетворяющее (5.38), и вычислим математическое ожидание (5.39)
2м г — +ha — i +
n + 2t — 2v \Xq +q-V-2.
Учитывая, что г (и) — неубывающая функция, получим оценку
( / 2/ п — 2 \ Гу 2
АЛ J г1Y2 I, М
/n-U2t—2\ Г Гу2 1ч
^4+H"M-1+^+rN<:,?+2' +
/п + 2£ —2\ ( /у2 \)
= 0.= 0./ п -j- 2/ — 2 \Г1 9 + 27/ п -j- 2/ — 2 \Г1 9 + 27+< Ч+Н м Н -1 + 7W1 ^ >q+2/ =
= 0.
= 0.
/ п -j- 2/ — 2 \
Г1 9 + 27
/ п -j- 2/ — 2 \
Г1 9 + 27
(Для центрального ^-распределения справедливо M^q = q, MtoY = qkq-v^
Таким образом, величина (5.35) не превосходит нуля.
Теорема доказана.
§ 5. Теорема Гаусса — Маркова
До сих пор при восстановлении регрессии мы считали, что помехи измерения подчиняются нормальному закону. Теперь мы откажемся от этого предположения. Будем
считать, что закон, согласно которому распределены помехи, нам неизвестен. Известно лишь, что он имеет ограниченную дисперсию. Требуется в этих условиях построить наилучший алгоритм восстановления регрессии.
Выше при построении теории нормальной регрессии мы сначала установили, что в классе алгоритмов, приводящих к несмещенным оценкам параметров, метод наименьших квадратов является наилучшим, а затем в более широком классе алгоритмов нашли алгоритмы лучшие, чем метод наименьших квадратов. Сейчас мы поступим аналогичным образом. Сначала покажем, что в некотором узком классе алгоритмов оценивания параметров метод наименьших квадратов является наилучшим, а затем укажем в более широком классе алгоритмов способы оценивания лучшие, чем метод наименьших квадратов.
В условиях нормальной помехи метод наименьших квадратов является наилучшим в классе несмещенных методов оценивания. В этом параграфе мы покажем, что в более узком классе оценок, являющихся одновременно и линейными и несмещенными, метод наименьших квадратов реализует наилучший алгоритм оценивания независимо от того, по какому закону распределена помеха.
Определение. Говорят, что оценка параметра а является линейной по измерениям Y =Цу, ..., yty, если она представима в виде
a = LY (5.40) \ 1 — 1 /
где L — матрица с элементами р/у- (i = 1, ..., /; / = 1, ..., nV Справедлива
Теорема 5.5 (Гаусс —Марков). Среди всех линейных несмещенных оценок оценка наименьших квадратов обладает минимальными дисперсиями координат.
Мы проведем доказательство теоремы Гаусса— Маркова в более общей формулировке— для случая линейных смещенных оценок. Обозначим через а0 вектор параметров линейной регрессии
МУ=Фа0 (У=фа0 + |). (5.41)
Определим оценку ос (В) как решение уравнения
(ФТФ + В) а (В) = ФТУ, (5.42)
где В — симметричная неотрицательно определенная матрица пхщ которая задает вектор р смещения оценки. Покажем, что оценка а (В) обладает экстремальными свойствами. А именно, справедлива теорема.
Теорема. Среди всех линейных оценок вектора параметров ос с векторами смещения, равными р, оценка а (В) обладает минимальными дисперсиями координат.
Доказательство. Из (5.42) получим
Ма (6) = М (ФТФ + В)-1 ФТУ - (ФТФ + В)-1 ФтФосо. (5.43)
Пусть a^LY — произвольная линейная оценка такая, что Д4а = Ма (В) = р.(5.44)
Тогда из (5.42) получим
MLY = ВФа0 - (ФТФ + В)-1 ФтФа0. (5.45)
Так как равенство (5.45) справедливо для любых сс0, то ЛФ = (ф^ф + В) -^Ф.(5.46)
Выпишем теперь дисперсию t-й координаты оценки 6с:
М (а; — pz)2 = М (а^ — ocz (В) + а/ (В) — pz)2
> М (а/ (В) - pz)2 + 2М (^ -(В)) (а/ (В) - pz), (5.47)
где pz — i-я координата вектора смещения р.
Покажем, что второе слагаемое в правой части (5.47) равно нулю. Действительно, используя (5.44), (5.46) получим
М (6cz - ос/ (6)) (а/ (В) — pz) = М (ос,- - ocz (В)) ос,- (В) =
= су2 || (L - (ФТФ + B)-W) Ф (ФТФ + В) 11|// =
= су2 || (ТФ - (ФГФ + 6)-1ФтФ)(Ф'Ф + В)-11|// = 0,
где || Л ||// означает элемент Л// матрицы || Л ||.
Таким образом,
М (ос/ — р/)2 М (az (В) — р/)2.
Теорема доказана.
Теорема Гаусса — Маркова следует из доказанной, если в (5.42) положить В=0. В этом случае р = 0.
§ 6. Наилучшие линейные оценки
Итак, среди линейных несмещенных оценок оценки метода наименьших квадратов лучшие независимо от того, каков закон распределения помехи.
В следующих параграфах мы рассмотрим более широкий класс оценок — линейные оценки, и найдем в них наилучшие. Эти оценки будут отличаться от оценок метода наименьших квадратов при наличии нетривиальной априорной информации об оцениваемых параметрах. В тех же случаях, когда нетривиальной априорной информации нет, наилучшей линейной оценкой остается оценка метода наименьших квадратов.
Пусть в схеме Гаусса — Маркова оцениваются параметры регрессии
9 = У (я) = 5 “"^ ^(5-48)
по эмпирическим данным хъ ух\ ...; хи у^ Пусть ^ (%), ... ..., фл (х) — дважды ортогональный базис
с а а . „ . , f если I =ф/ (^) ф/ (*) Р W dx = {. .
J т(0, если
(5.49)
Л А а( ^ еСЛИ 1 = А
Рассмотрим класс линейных оценок:
ар = о;У + ₽?,(5.50)
где
9Р = (9?,^\ Y = (yt, у^.
Введем систему ортогональных векторов:
( I, если i = j,/г ris
Хр Xz; XIX/ = { п...(5.51)
( 0, если i^i,
у которой первые п векторов есть
X/ = (ipi (xi). • • •. ^/ (^))Т>1’ = !. • • •. п-
Представим теперь вектор 6Р в разложении по (5.51):
6Р=2№.(5.52)
Тогда равенство (5.50) перепишется в виде
^=2Р^ + Р?.(5.53)
Выразим величину уклонения Л4(ар — а")2 через параметры р. Для этого воспользуемся тождеством
М (ар - ау2 - (М (ар - ар))2 + М(ар- Мар)\ (5.54) Первое слагаемое правой части равно
/ п\ 2
(М (а„ - а» ))*= [ / 2 рМ + Р? - «Л •
Второе слагаемое равно
м<а.р-м^ру = № 2 (р?)4.
i = 1
Таким образом,
М<ар-а«ру =
tin\2
^^P^ + ^Spf^ + P^-^l = ^Р(РК ")■ (5.55).
1 = 1\1 = 1
Наилучшей линейной оценкой является такая оценка, которая минимизирует (5.55).
Критерии качества оценок
Найти наилучшую линейную оценку можно, непосредственно минимизируя по рь ..., pz правую часть равенства (5.55). Минимум выражения (5.55) достигается при р? = Й = • ■ • = Р? = 0 и Ро = а" и равен нулю.
Таким образом, для каждой конкретной задачи (конкретных а0 и о) может быть указана тривиальная оценка, доставляющая минимум квадрату уклонения. Проблема же состоит в том, чтобы построить линейную оценку, предназначенную для решения не одной задачи, а класса задач.
Зададим множество задач R (а, о), на которые рассчитан алгоритм, неравенствами
(5.56)(5.56)tip ^^-оСр ^i b р,d^o^e.
(5.56)
(5.56)
Определим качество алгоритма оценивания параметра ар из множества R (а, о).
Как обычно в такой ситуации рассмотрим две идеи: байесову и минимаксную. В соответствии с этими идеями введем разные понятия качества линейной оценки.
Согласно принципу Байеса наилучшим методом оценивания считается тот, для которого среднее значение критерия по множеству задач из R (а, о) минимально (мера на этом множестве задается распределением Р (а, о)).
Определение. Оценка
называется линейной наилучшей в среднем, если она среди всех линейных оценок доставляет минимум функционалу
(Р)' а» а) (а> а) ^а1 * * ’ ^п ^О* (5-57)
Ниже мы вычислим байесову оценку для случая, когда параметры а и о распределены независимо согласно равномерному закону на соответствующих интервалах, т. е.
—-,, если aD ^ aD ^ bD, d^o^e, е — ар р - р»1
в противном случае.
(5.58)
Таким образом, качество оценки определяется функцио
налом
®. (Р) - у ®- №;«,„) П ^^ ^ (5.59)
В соответствии с принципом минимакса наилучшим методом оценивания считается такой метод, который доставляет минимум ^р(Р|а, а) для самой неблагоприятной задачи (пары а, а).
Определение. Оценка
называется наилучшей линейной минимаксной оценкой для класса R (а, о), если она в классе линейных оценок доставляет минимум функционалу
^^ (Р) = sup (Р | а, о).(5.60)
а, о
Вообще говоря, в классе R (а, о) могут существовать задачи, для которых введенные оценки а^ и о^2) будут хуже оценок метода наименьших квадратов р^нк = (0, ..., 1//, .. .0)г, рр = 0 (отлична от нуля лишь p-я координата вектора р^нк). Поэтому определим третью оптимальную оценку так, чтобы она была равномерно лучше оценки метода наименьших квадратов. Для этого введем функцию потерь
^'(Р) = sup (S^ (Р | ос, ст) — (РМ1|К ।, а, ст)) (5.61) а, о
и потребуем, чтобы оптимальная оценка доставляла минимум выражению (5.61).
Определение. Оценка
a<p3, = Sp?x^+pp
называется линейной равномерно лучшей, чем оценка наименьших квадратов, если она доставляет в классе линейных оценок минимум функционалу (5.61).
Вычисление наилучших линейных оценок
Основное содержание теории наилучшего линейного оценивания заключено в следующих теоремах.
Теорема 5.6 (Кощеев). Наилучшие линейные оценки параметра оср для класса R (а, о) имеют вид
ОР
а<0 = г" t = 1, 2, 3,(5.62)
где ср = —2—' амнк “ °Ченка метода наименьших квадратов, aW — наилучшая в среднем оценка.
(5.63)(5.63)0<п _ 4 42 + de+<?2
(5.63)
(5.63)
Р" 4 (ар-Ьрр 1
а(р2) — наилучшая минимаксная оценка,
0® = ^ —-(5.64)
ррkap-bpY’v ’
а® — равномерно лучшая оценка,
р(з) = 4 - —.(5.65)
Vp ^p-bp^v 7
Таким образом, оказывается, что наилучшие линейные оценки будут смещенными. Структура оценок задается выражением (5.62), где р^} определяется по формулам (5.63)—(5.65) в зависимости от конкретного содержания понятия качества оценки. Существует простое соотношение, которое показывает, во сколько раз байесова или минимаксная оценка лучше оценок метода наименьших квадратов.
Теорема 5.7 (Кощеев). Справедливо равенство
^И1)-!®? «.), 1-1,2.(5.66)
Согласно теореме 5.7 величина (1+уРр^ определяет, во сколько раз оптимальные оценки а^ лучше оценки метода наименьших квадратов. Преимущество оценок а<й тем больше, чем меньше объем выборки L -
Ниже приведено доказательство теоремы 5.6. Справедливость же теоремы 5.7 будет следовать из более общей теоремы, рассмотренной в следующем параграфе.
Доказательство теоремы 5.6.
Вывод наилучшей в среднем линейной оценки. Выпишем функционал, минимум которого определяет в наших
условиях наилучшую оценку в среднем:
&i № (Р) = $ ai&i № (Р) = $ aito2 S $уЦ1 S Pf«,+Sop
&i № (Р) = $ ai
&i № (Р) = $ ai
da^ dobi — ai e — d*da^ dobi — ai e — d*(5.67)(5.67)Этот интеграл легко может бытьЭтот интеграл легко может бытьвычисленвычисленai+biai~bxОбозначим —L = ср, —~! мену переменныхИ.«МХША $/ = 1— .М^ai+biai~bxОбозначим —L = ср, —~! мену переменныхИ.«МХША $/ = 1— .М^чМр ti — oci—Q и произведем за-чМр ti — oci—Q и произведем за-^-А+АГЧ - dtn.^-А+АГЧ - dtn.(5.68)(5.68)1 = 1\ I = 1
da^ do
bi — ai e — d*
da^ do
bi — ai e — d*
(5.67)
(5.67)
Этот интеграл легко может быть
Этот интеграл легко может быть
вычислен
вычислен
ai+biai~bx
Обозначим —L = ср, —~! мену переменных
И.«МХ
ША $
/ = 1— .М^
ai+biai~bx
Обозначим —L = ср, —~! мену переменных
И.«МХ
ША $
/ = 1— .М^
чМр ti — oci—Q и произведем за-
чМр ti — oci—Q и произведем за-
^-А+АГЧ - dtn.
^-А+АГЧ - dtn.
(5.68)
(5.68)
Так как интегрирование идет по симметричным интервалам [— с//, е^/], то линейные по t члены обращаются в нуль. Получаем
I(П\2
W) = 4 (^ + ^ + ^) 2 (Р?)2 + к+ 2 «"МА +
1 = 1\t = l/
п^1 ^п п
+ И 2^7 J * У 5 (^?"”^'р) ^ ^1^П- (5-69)
I —— |*™ е/^ j— ^Л/t ^ t "-—• 1
В выражении (5.69) использовано обозначениеЛ _ 11, если I — р,^"-(0, если i^p.
Окончательно получаем
^^--^A-edA-d^(Pf)2 +
i = 1
+№ + 2 4? - м ф + 2 ^ № - 6Ф- (5-7°)
Для того чтобы найти наилучшую в среднем линейную оценку, нам осталось минимизировать по параметрам [3 выражение (5.70).
Приравнивая нулю частные производные выражения (5.70), получим, что
рР = О, если i Ф р,
ФИ р
e^ed-H2
Подставим найденные значения (5.71) в (5.53):
ФИ р
..£2 -]- ed + d2с»
=Z—Тут к ,р_
Р . ^Z'U 'Р . , ^pl
+ e^A-edA-d?+ e^edA-d*
е^ 4_ ed 4- d2
Введем теперь обозначения р'1’»———^-—. В этих обозначениях
_ Т^^Т^р
Заметим, что величина ~^У есть оценка параметра а^, полученная методом наименьших квадратов. Таким образом,
“мнк + уРр'ар'=j•
1 + 7Рр’
Первая часть теоремы доказана.
Вывод наилучшей минимаксной оценки. Функционал, минимум которого определяет наилучшую минимаксную
оценку, равен
^ (Р) = su р
о, а
(5.72)
Используем обозначения
bt + at ,, bi — ai,
Q = ——,^i = —2—1^ = ^1 — ^
и произведем замену переменных в (5.72):
^ (P)= I
= e2/2(Pf)2+ SUP i = i; 4! <
2(^-Ш+<)+Рор
12
= 8=1 2 (₽02+ sup
1=1 I1 i
+ S OPf-6Zp) ^H-PS1
l = 1
П
2I
=еЧ 2 (pf)2 +
+ ^'Ф-^рИл 1Ж -мci+Ро 1 = 11=1
Л2
Таким образом, ^?(Р)=^ ^ (РГ)2+ i = 1 ~ п
+ S ^-\рФч 2 Орг
J = 11 = 1
;р
-Мс/+р?
I2
. (5.73)
Найдем минимум (5.73). Выбором р^ второй член суммы ных скобках можно обратить в нуль:
i = 1
Поэтому достаточно минимизировать
^^=е»1 2 (pf)2 + ( f l^-^pHzV
1 = 1= 1/
Минимум же (5.74) достигается при
Pf = O для (ч^р, откуда при pf = O (/ Ф р) функционал (5.74) равен
^ (Р) Vp=0<i*Prи" ср»)2+оРр - о2 <•
в
квадрат-
(5.74)
(5.75)
(5.76)
(5.77)(5.77)Минимум выражения (5.76) достигается при
(5.77)
(5.77)
Рр е^^р1
Подставляя (5.75), (5.77) в (5.53), найдем наилучшую минимаксную оценку
„,2> _ ^Р -Ту |^Р Л с ^^“мНк+У
е
Введя обозначение р(2) =-, получаем
е^/ р
пр С_Р л(2>
амнк • Рр
Вывод равномерно лучшей линейной оценки. Для вычисления равномерно лучшей оценки надо минимизировать функционал
^p(P) = sup^p (PIа, а) — ^р(Рмнк|а. о)).
или в явном виде
^ф)= supd <о <е^ф)= supd <о <еsupsup2Ж-6<Р)«< + ^ .(5.78)2Ж-6<Р)«< + ^ .(5.78)
^ф)= sup
d <о <е
^ф)= sup
d <о <е
sup
sup
2Ж-6<Р)«< + ^ .(5.78)
2Ж-6<Р)«< + ^ .(5.78)
Нетрудно видеть, что все вычисления в этом случае совпадают с только что проделанными, за исключением того, что если I
2Р?-К0,(5.79)
= 1
то вместо е = sup о следует брать ^Z = infa.
Следовательно,
Но при значениях (5.80) выражение (5.79) отрицательно
«Л/р _ , _ S2
$2 -}- «Л/ рS2 J- «Л/ р
Следовательно, s = infa = d. Таким образом, равномерно лучшая линейная оценка равна
CD
амнк + т Р'р
ар1-
> + ГР^
где на этот раз
«л/»р •
Использование априорной информации
Итак, согласно теореме 5.6, знание априорной информации:
интервала [я/Д], которому принадлежит оцениваемый параметр ар,
интервала ^d, е], которому принадлежит дисперсия помехи о, позволяют строить наилучшие линейные оценки. Согласно же теореме 5.7 функционал, определяющий ка-
Р(/)
чество наилучшей линейной оценки, в1^1+ раз меньше функционала для оценки, полученной методом наименьших квадратов.
Обычно получение априорной информации при решении практических задач в схеме Гаусса— Маркова не вызывает серьезных трудностей. Как правило, заранее известны интервалы, в которых лежат измеряемые значения у.
ti^yi^Ti.(5.81)
Сведения об этих интервалах отражают либо длительный опыт, либо знание законов природы. Например, при построении регрессии для прогноза температуры в заданном пункте Земли в 166-й день года заранее известно, что прогнозируемая величина t лежит в заданных пределах 4-10° ^/^ 4-35°. Знание оценок (5.81) позволяет найти
интервалы оцениваемых параметров. Из равенства Яр = = МуХрУ следует
bp = sup т х; ¥ < т I 2 Т/Хрр (х,) + 5" Мр (.xh .
Здесь в первую сумму S' включены положительные координаты вектора %р = № Сч), .. •, % (xz))T, во вторую сумму S" — отрицательные координаты. Аналогично находятся оценки
11 /1 Г А1 „ Л\
ар = inf т ^р¥ т 2' т^р (лД + 2" Тzipp (%,) .
Y\ i = i/ = i'
Для оценки интервала дисперсии также могут быть привлечены опыт и знание законов образования помех. Однако если полученный интервал дисперсии окажется слишком широким, может быть применен вероятностный подход, который заключается в том, чтобы выбирать интервал, который с большой вероятностью содержит истинное значение дисперсии.
Известно, что величина
Iп
S5 «к)2
_ i = 1 Р= 1
является несмещенной оценкой дисперсии помехи. Воспользуемся неравенством Чебышева
откуда следует, что с вероятностью 1 — т]
о2^о^].(5.82)
Оценка (5.82) может быть уточнена, если известен характер распределения помехи.
По интервалу дисперсии d^o^e и интервалу принадлежности параметра оср находятся параметры р^, с^\ с помощью которых строятся оптимальные линейные оценки.
Заметим, что чем более неопределенна априорная информация (шире интервал принадлежности оценок), тем меньше величина р^ и тем ближе наилучшая линейная оценка к оценке метода наименьших квадратов. Можно показать, что при тривиальной априорной информации (—оо<ар< <оо; 0<о<оо) наилучшая линейная оценка совпадает с оценкой метода наименьших квадратов.
Для завершения теории наилучшего линейного оценивания нам остается выяснить, насколько чувствительны к точности априорной информации методы линейного оценивания. Ответ на этот вопрос дает теорема 5.8.
Теорема 5.8 (Кощеев). Пусть ар = ар(р(р, Ср) — наилучшая линейная оценка, вычисленная по приближенным значениям параметров рр\ ср, о^р, в то время как истинные значения параметров равны р{р\ ср, <Мр. Тогда качество полученной оценки будет равно
^(«р^, ср)) = -т—-Ж-Ж (^„к) (i = l, 2), (5.83) V + Рр )
где
Заметим, что теорема 5.7 является частным случаем теоремы 5.8 при ср = ср и р^ =рр1).
Из равенства (5.83) следует, что если значение параметра рр1) связано с рр\ V/ соотношением
Рр°Рр°РрЧ2+Р*,0’РрЧ2+Р*,0’(5.85)(5.85)
Рр°
Рр°
РрЧ
2+Р*,0’
РрЧ
2+Р*,0’
(5.85)
(5.85)
то полученная с помощью рр , ср оценка будет лучше оценки метода наименьших квадратов. Следовательно, выбирать рр° приходится, исходя из двух противоречивых соображений. Для того чтобы получить оценку не хуже оценки метода наименьших квадратов, необходимо занижать р^р (чтобы выполнилось (5.85)). Однако при этом падает выигрыш, приближенно равный —
Доказательство теоремы 5.8. Прежде всего вычислим значение критерия (5.55) на оценке ар(р(1)ср).*
Оба соотношения теоремы подтверждаются элементарными выкладками
ср + мр ^«к)=)с —ср + мр ^«к)=)с —da С a2 do _e24-ed+d2 2^р J I e — d~ 3/da С a2 do _e24-ed+d2 2^р J I e — d~ 3/откуда следуетоткуда следует^f (а)^Г(«мнк)^f (а)^Г(«мнк)'с —с \2Vi = ‘+3'\T^)'с —с \2Vi = ‘+3'\T^)
ср + мр ^«к)=)
с —
ср + мр ^«к)=)
с —
da С a2 do _e24-ed+d2 2^р J I e — d~ 3/
da С a2 do _e24-ed+d2 2^р J I e — d~ 3/
откуда следует
откуда следует
^f (а)
^Г(«мнк)
^f (а)
^Г(«мнк)
'с —с \2
Vi = ‘+3'\T^)
'с —с \2
Vi = ‘+3'\T^)
Вычислим ^Р(а) =
С другой стороны,
(j2g2
Ж (“мнк) = S“P "Т = Т •
откуда следует
, jJpHV
W«mhk) ^Ц-рР^ ’ 2 \ '
Теорема доказана
Итак, мы рассмотрели теорию оценивания параметров регрессии. В основе теории лежит факт экстремальности метода наименьших квадратов в некотором узком классе методов (в классе несмещенных методов оценивания в теории нормальной регрессии и в классе линейьых несмещенных методов в общей теории регрессии).
Затем оказалось, что в классе смещенных методов оценивания можно строить оценки лучшие, чем те, которые следуют из метода наименьших квадратов.
Такие нелинейные смещенные методы оценивания были найдены для оценивания параметров нормальной регрессии и линейные смещенные методы в общей схеме восстановления регрессии.
Приведенные методы оценивания удается использовать для восстановления регрессии, если известна плотность Р (х), а регрессия действительно является линейной по параметрам функцией.
Основные утверждения главы V
Существуют два пути решения задачи восстановления регрессии: оценивание параметров регрессии и приближение функции регрессии.
Эти пути равнозначны, если восстановление линейной по параметрам регрессии проводится в классе функций, заданных разложением по ортонормальной свесом Р (х) фундаментальной системе функций.
Восстановление параметров регрессии исследуется в схеме Гаусса — Маркова. В этой схеме для нормальной
регрессии применение метода наименьших квадратов гарантирует получение совместно эффективных оценок.
Использование нелинейных смещенных оценок вектора средних нормального закона позволяет получать приближения к нормальной регрессии лучшие, чем те, которые следуют из метода наименьших квадратов.
В классе оценок, являющихся одновременно линейными и несмещенными, метод наименьших квадратов оказывается наилучшим методом оценивания независимо от закона распределения помехи.
Более точные методы оценивания в этом случае могут быть реализованы в классе линейных смещенных оце- нох при наличии нетривиальной априорной информации о задаче. Такая априорная информация на практике может быть получена, и на ее основе могут быть построены оптимальные (в разных смыслах) линейные методы оценивания параметров.
ГЛАВА VI
МЕТОД МИНИМИЗАЦИИ ЭМПИРИЧЕСКОГО РИСКАВ ЗАДАЧЕ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ
Метод минимизации эмпирического риска
В предыдущих трех главах восстановление зависимостей мы связывали с методами восстановления плотности вероятностей. Отыскание функции, минимизирующей средний риск
/ (а) = (t/ — F (х, oi))2 Р (xt y)dxdy (6.1) по эмпирическим данным
хь уг; ...; хь уь(6.2)
мы сводили к восстановлению плотности Р^х, у) по выборке (6.2) и минимизации функционала '
U (а) = $ (У — F (х, ос))2 Р (х, у) dx dy.
Как отмечалось в главе II, этот путь минимизации риска (6.1), вообще говоря, не является рациональным — задача восстановления плотности более трудная, чем минимизация среднего риска. И лишь когда об искомой плотности Р (х, у) имеется настолько большая априорная информация, что функция Р (х, у) может быть задана с точностью до параметров, такой путь оказывается приемлемым. Разработанные для этого случая методы параметрическор! статистики и были использованы в предыдущих главах.
Однако при решении конкретных задач структура плотности Р (х, у) неизвестна. Таким образом, успех применения методов параметрической статистики оказывается основанным на вере в то, что используемая гипотетическая структура плотности соответствует истинной.
Начиная с этой главы, мы будем изучать методы восстановления зависимостей, для реализации которых не нужно восстанавливать плотность. В основе этих методов лежит принцип минимизации эмпирического риска, согласно
которому за точку минимума функционала (6.1) принимается точка минимума эмпирического функционала
/
= 1 2«))2-(6-3)
I = 1
построенного по случайной независимой выборке (6.2). Пусть минимум функционала (6.3) достигается на функции F (х, осэ). Проблема состоит в том, чтобы установить, в каких случаях найденная функция F (х, аэ) близка к функции F (х, а0), минимизирующей (6.1) в F (х, а).
Ранее (§ 6 гл. II) мы связали эту проблему с проблемой существования равномерной сходимости средних к математическим ожиданиям, т. е. с ситуацией, когда для любой заданной величины уклонения х может быть указано неравенство
Р {sup | / (а) — /9 (а) | > х} < т].(6.4)
а
Пусть выполнено (6.4). Тогда справедливо неравенство
Р {/ (аэ) - I (ао) > 2х} < т].(6.5)
Иначе говоря, в ситуации (6.4) с вероятностью 1 — т] уклонение наилучшего в классе F (х, а) решения F (х, а0) от решения, доставляющего минимум эмпирическому риску F (х, а9), составит величину, не превышающую 2х.
Действительно, из условия (6.4) следует, что с вероятностью 1 — т] одновременно выполнятся два неравенства
1 (аэ) ~ /9 (аэ) < х, U (ао) - / (а0) < х. (6.6)
Кроме того, поскольку аэ и а0 — точки минимума /э (сс) и / (а), то справедливо неравенство
/9(а9)^/,(а0).(6.7)
Из неравенств (6.6), (6.7) вытекает, что
/ (ссэ) — / (а0) < 2х.(6.8)
А так как оба неравенства (6.6) одновременно выполняются с вероятностью 1— г], то и неравенство (6.8) выполнится с вероятностью 1 — тр Следовательно,
Р V (а.) - / («о) > 2х| < ч.(6.9)
В этой главе мы рассмотрим теорию равномерной сходимости средних к математическим ожиданиям применительно к задаче обучения распознаванию образов, т. е. для случая, когда функция потерь в функционале среднего риска принимает только два значения — нуль и единица. В гл. VII для задачи восстановления регрессии мы распространим полученные здесь результаты на общий случай, когда функция потерь принимает произвольные значения из интервала (0, оо).
Равномерная сходимость частотпоявления событий к их вероятностям
Рассмотрим функционал, минимизация которого составляет суть задачи обучения распознаванию образов:
/ (а) = Р (ос) = J (to F Iх' а))2 Р Iх' 03) dx dw.(6.10)
Как уже указывалось, этот функционал для каждого решающего правила определяет вероятность ошибочной классификации. Эмпирический функционал
i
Л («) = v (а) = у ^^--^ь °0)2>(6-11)
вычисленный по обучающей последовательности
хь (of, ...; xh wh(6.12)
для каждого решающего правила определяет частоту неправильной классификации.
Согласно классическим теоремам теории вероятностей частота появления любого события сходится к вероятности этого события при неограниченном увеличении числа испытаний. Формально это означает, что для любых фиксированных а и х имеет место соотношение
lim Р {| Р (а) — v (а) | > х} = 0.(6.13)
I ОО
Однако (см. гл. II, § 6) из условия (6.13) не следует, что правило, минимизирующее (6.11), будет доставлять функционалу (6.10) значение, близкое к минимальному. Для
достаточно больших I близость найденного решения к наилучшему следует из более сильного условия, когда для любого х выполняется равенство
lim Р {sup | Р (а) — v (а) | > х} =0. (6.14) / -* оо а
В этом случае говорят, что имеет место равномерная сходимость частот появления событий к их вероятностям по классу событий S (ос). Каждое событие S (ос*) в классе S (ос) задается решающим правилом F (х, ос*) как множество пар х, со, на которых выполняется равенство (со — F (х, а*))2 = 1.
Ниже мы приведем условия, обеспечивающие равномерную сходимость частот появления событий к их вероятностям, и тем самым укажем область применимости метода минимизации эмпирического риска.
Однако прежде заметим, что применение метода минимизации эмпирического риска само по себе не гарантирует успеха при решении задачи восстановления зависимостей.
Вот пример алгоритма обучения распознаванию образов, который минимизирует эмпирический риск и вместе с тем не способен обучаться (т. е. для которого нельзя гарантировать, что построенное решающее правило близко к наилучшему в классе). Алгоритм заключается в следующем. Запоминаются элементы обучающей последовательности, и каждая ситуация, предъявленная для распознавания, сравнивается с примерами, хранящимися в памяти. Если предъявленная ситуация совпадает с одним из примеров, то она будет отнесена к тому классу, к которому принадлежит пример. Если же в памяти нет аналогичного примера, то ситуацию относят к первому классу. Понятно, что подобное устройство ничему научиться не может, так как обучающую последовательность обычно составляет лишь ничтожная доля ситуаций, которые могут возникнуть при контроле. А вместе с тем такое устройство классифицирует элементы обучающей последовательности безошибочно, т. е. его алгоритм минимизирует (вплоть до нуля) эмпирический риск.
В дальнейшем мы убедимся, что этот алгоритм использует множество решающих правил, образующих систему событий, по которой нет равномерной сходимости.
Частный случай
Когда же имеет место равномерная сходимость частот к вероятностям? Рассмотрим простой случай: множество решающих правил F (х, а) конечно и состоит из N правил:
F (х, о^), ..., F (х, aN\
В соответствие каждому решающему правилу F (х, az) может быть поставлено событие Л/, состоящее из тех пар х, со, на которых (со — F (х, cxz))2 = l. Таким образом, определено конечное число N событий Лъ ..., Л^.
Для каждого фиксированного события справедлив закон больших чисел (частота сходится к вероятности при неограниченном увеличении числа испытаний). Одним из конкретных выражений этого закона является оценка (неравенство Бернштейна)
Р {| Р (az) — v (az) | >> х} < exp {— х2/}.(6.15)
Нас, однако, интересует равномерная сходимость, т. е. вероятность одновременного выполнения неравенств
I Р (ocz) — v (az) | х, i = 1, 2, ..., N.
Такая вероятность легко может быть оценена, коль скоро оценивается вероятность выполнения отдельно каждого неравенства (6.15), а именно:
N
Р |sup I Р (а,) - v (а,) | > x| 5 Р 11Р (а<) “ v (а/) I > и}-
Учитывая неравенство (6.15), получаем
Р |sup | Р^^ — v (ocz) | > х\ < ^ ехр {— х2/}. (6.16)
Из неравенства (6.16) вытекает, что для конечного числа событий всегда имеет место равномерная сходимость частот появления событий к их вероятностям, т. е. справедливо
lim Р (sup | Р (az) — v (ocz) | > xl = 0.
I—>СО 1 if
Потребуем теперь, чтобы вероятность выполнения события
|sup I Р (bi) - V (ot,) I > X
не превосходила величину т], т. е. выполнялось неравенство
Р |sup | Р (aj — v (а/) | > х| ^т).(6.17)
Как следует из оценки (6.16), неравенство (6.17), во всяком случае, выполнится, если величины N, I, х, т] будут связаны соотношением
Nехр {— х2/} =т).(6.18)
Если разрешить равенство (6.18) относительно х, то для данных N, I, л получится оценка максимального уклонения частоты от соответствующей вероятности в рассматриваемом классе событий
^^/-т^шг),(619)
Если же разрешить равенство (6.18) относительно /, то будет найдено, какова должна быть длина обучающей последовательности, чтобы с вероятностью не меньшей 1 — т], можно было утверждать, что наибольшее уклонение частоты от вероятности по этому классу не превосходит х:
, = 1пЛГ-1пт)(620)
Итак, доказана теорема.
Теорема 6.1. Пусть множество решающих правил состоит из N элементов, и пусть для решающих правил F (х, az) частоты ошибок на обучающей последовательности длины I равны v (az). Тогда с вероятностью 1—т| можно утверждать, что одновременно для всех решающих правил выполнятся неравенства
- М< р ы „ (с.а + |/™й
Замечание. Так как неравенства справедливы для всех N правил, то теорема 6.1 устанавливает доверительный интервал для качества решающего правила F (х, ag), минимизирующего среди N правил эмпирический риск. Он равен
v(a8)-|/ ' <^ Р (as) < v (а,) + у р—L
В дальнейшем для нас важна будет верхняя грань: с вероятностью 1 — т] одновременно для всех решающих правил (в том числе и того, которое минимизирует эмпирический риск) справедлива оценка
§ 4. Детерминистская постановка задачи
Величина доверительного интервала, вычисленная со* гласно теореме 6.1, может оказаться завышенной. В самом деле, рассмотрим случай, когда множество, состоящее из N решающих правил, содержит правило, которое идеально решает задачу распознавания образов, т. е. правило, для которого вероятность ошибочной классификации равна нулю. Такую постановку задачи иногда называют детерминистской *). Это правило (или близкое к нему) и надо найти, используя выборку хь coj; ...; хи coz.
Искать такое решающее правило будем, используя метод минимизации эмпирического риска. Так как среди функций F (х, czz) (z = 1, 2, ... N) есть та, которая идеально решает задачу, то заведомо ясно, что на любой выборке хъ w^ ...; X/, (oz значение минимума эмпирического риска будет равно нулю. Этот минимум, однако, может достигаться на многих функциях. Поэтому возникает необходимость оценить вероятность того, что качество любой функции, доставляющей нуль величине эмпирического риска, будет не хуже заданного х.
Введем функцию
п / х Г 1 > если 2 = 0,I 0, если 2>0.
Тогда оценка скорости равномерной сходимости частот к вероятностям по множеству событий, для которых частота ошибок равна нулю, состоит в оценке вероятности события
Jsup | Р (az) — v (az) | 6 (v (az)) > xl,
J) Термин выбран неудачно, так как задача по-прежнему остается статистической. Однако этот термин широко распространен и потому будем его придерживаться.
(а не события pup | Р (а^ — v (czz) | > х j, как в . теореме 6.1).
Так как число функций, на которых достигается нуль величины эмпирического риска, не превосходит N (числа всех функций в классе), то справедливо неравенство
Р {sup | Р (az) — v (az) | 0 (v (az)) > x{ NPX, (6.21) где PH — вероятность того, что решающее правило, для которого вероятность совершить ошибку больше х, правильно классифицирует все элементы обучающей последовательности. Эту вероятность легко оценить:
Рх^(1-ху.(6.22)
Подставляя оценку Рк в (6.21), получаем
Р {sup | Р (az) — v (az) | 6 (v (az)) > x{ N (1 — x)z. (6.23) Для того чтобы вероятность
Р /sup | Р (az) — v (az) | 6 (v (az)) > xl
не превосходила величину г), достаточно выполнения равенства
Af(l — х/ = т].(6.24)
Разрешим относительно / это равенство
Так как для малых х справедливо — In (1 — х) ^х,
то формула (6.25) может быть представлена в виде
IIn N — In г)~ X
В отличие от оценки (6.20), здесь знаменатель равен х, а не х2, т. е. в детерминистской постановке достаточная длина обучающей последовательности оказывается меньшей, чем в общем случае. Разрешая (6.24) относительно х,
7 В. Н. Вапник
In N — In т]In N — In т]получим
In N — In т]
In N — In т]
Таким образом, справедлива теорема.
Теорема 6.2. Если из множества решающих правил, состоящего из N элементов, выбирается такое решающее правило, которое на обучающей последовательности не совершает ни одной ошибки, то с вероятностью 1 — т] можно утверждать, что вероятность ошибочной классификации с помощью выбранного правила заключена в пределах где
In N — In т]
Верхние оценки вероятности ошибок
Несмотря на кажущуюся простоту, теоремы 6.1, 6.2 являются чрезвычайно глубокими. По существу, дальнейшее развитие теории минимизации эмпирического риска состоит в обобщении этих теорем на случай бесконечного числа решающих правил. Основные же моменты всей будущей теории здесь уже присутствуют. Остановимся на них подробнее.
Теоремы 6.1 и 6.2 немедленно получаются из оценки скорости равномерной сходимости частот к вероятностям по классу событий. Теорема 6.1 основана на оценке (6.16) скорости равномерной сходимости частот к вероятностям по классу событий SN; Ах, ..., AN. Теорема 6.2 —на оценке скорости равномерной сходимости по более узкому классу {| Р (а/) — v (а^) | 6 (v (aj) > х}. Обозначим этот класс через Sjv.
В обоих случаях скорость равномерной сходимости определялась произведением двух величин; числа событий в классе и оценки вероятности того, что частота любого фиксированного события в классе уклонится больше чем на х от вероятности этого события. Для событий, рассмотренных в теореме 6.1, эта вероятность не превосходит ехр {—х2/}, для событий же, рассмотренных в тео-
реме 6.2, аналогичная вероятность не превосходит (1 — x)z^ ^ехр {—х/}.
Таким образом, оценка скорости равномерной сходимости частот к вероятностям по классу событий получается из оценки скорости обычной сходимости, вытекающей из закона больших чисел, умножением на число событий в классе.
При построении теории равномерной сходимости по классу событий, состоящему из бесконечного числа элементов, такая структура оценки скорости равномерной сходимости сохранится. Однако вместо числа событий в этом случае будут использованы другие емкостные характеристики класса событий.
В теореме 6.1 были получены двусторонние оценки вероятности ошибочной классификации с помощью решающего правила, минимизирующего эмпирический риск.
Однако во всей дальнейшей теории роль оценки снизу незначительна. Поэтому представляет интерес получение оценки равномерного одностороннего уклонения, т. е. получение оценки величины
Р {sup (Р (а<) — V (а,)) > х{,
а не величины
Р {sup | Р (az) — v (az) | > х
Вероятность события {sup (Р (az) — v (czz)) > x{ не превосходит вероятности события {sup | Р (az) — v (az) | > х}. Следовательно, возможна более тонкая оценка вероятности равномерного одностороннего уклонения Р {sup (Р (az) — — v (о^)) > х}, чем оценка вероятности двустороннего равномерного уклонения Р {sup | Р (az) — v(az)|>xj. Более тонкая оценка вероятности одностороннего равномерного уклонения позволит получить лучшую оценку сверху вероятности ошибочной классификации, чем та, которая следует из теоремы 6.1.
Оценки скорости равномерной сходимости (6.16) и (6.23) существенно зависят от оценки вероятности уклонения частоты от вероятности для события из рассматри-
ваемого класса (S^ или 5дг). Для класса Sy наиболее неблагоприятное событие Л — то, для которого Р (Л) = 1/2. Поэтому возможна лишь оценка (6.16). Для класса событий S'N наиболее неблагоприятное событие —то, для которого Р(Л) = х. Для оценки вероятности уклонения частоты от вероятности этого события возможна более тонкая оценка (6.22). Таким образом, оценки, полученные для событий SN и S^ различаются так, как различаются оценки вероятности уклонения события Л, для которого Р(Л) = 1/2, и события Л', для которого Р(Л') = х. Это обстоятельство заставляет внимательнее отнестись к тем требованиям, которые предъявляются к величинам уклонения частот от вероятностей для различных событий в классе. Для наших целей — получения равномерной оценки риска разумно требовать не равномерного уклонения частот от вероятностей для всей событий в классе, а разрешить большее уклонение для тех событий, для которых Р (Л) = 1/2, и меньшее —для событий с вероятностью Р(Л') = х. Например, разумно оценивать равномерную относительную величину уклонения
( Р (a/) —v (а/) _ )jsup —v Д ->xL
где or (az) = V P (az) (1 — P (огД), для малых P (qz) справедливо: or (az) V P (ai). Найдем оценку вероятности одностороннего относительного уклонения
РРsupsupP(gz) —v(gz)ГОP(gz) —v(gz)ГО(6.26)(6.26)
Р
Р
sup
sup
P(gz) —v(gz)
ГО
P(gz) —v(gz)
ГО
(6.26)
(6.26)
и построим с ее помощью верхнюю оценку вероятности ошибочной классификации. Для получения оценки вероятности (6.26) воспользуемся следующим фактом (неравенство Бернштейна):
р (Р («/)—у (а/)I /Р(а,)р (Р («/)—у (а/)I /Р(а,)Р(а()—у(а,)а (az)Р(а()—у(а,)а (az)<ехр{—х2/}.(6.27)<ехр{—х2/}.(6.27)
р (Р («/)—у (а/)
I /Р(а,)
р (Р («/)—у (а/)
I /Р(а,)
Р(а()—у(а,)а (az)
Р(а()—у(а,)а (az)
<ехр{—х2/}.(6.27)
<ехр{—х2/}.(6.27)
Из справедливости (6.27) следует, что для класса, состоящего из N событий, имеет место следующая оценка
скорости равномерной сходимости:
VWbVWb< N exp {—x2/}.< N exp {—x2/}.(6.28)(6.28)
VWb
VWb
< N exp {—x2/}.
< N exp {—x2/}.
(6.28)
(6.28)
Потребуем, чтобы вероятность равномерного одностороннего относительного уклонения (6.28) не превосходила тр
N exp {— х2/} = тр
Это, во всяком случае, произойдет, если
(6.29)(6.29)вероятностью выполняются(6.30)вероятностью выполняются(6.30)/In N — In т) I
(6.29)
(6.29)
вероятностью выполняются
(6.30)
вероятностью выполняются
(6.30)
Пусть условие (6.29) выполнено. Тогда с 1—т] одновременно для всех событий At неравенства
P(g/) —v(gz)
Разрешая неравенства (6.30) относительно Р ^t\ получим, что с вероятностью 1—г| одновременно для всех событий класса справедливо
” P(<zi)<’|(l+|/"l+4^)+v(aJ. (6.31)
Подставляя (6.29) в (6.31), получим, что с вероятностью 1—т] одновременно выполняются N неравенств
- п/ \—। 4v (gz) I \ .. .
Таким образом, мы доказали теорему.
Теорема 6.3. Пусть множество решающих правил состоит из N элементов, и пусть для каждого правила F (х, az) частота ошибок на обучающей последовательности равна v (а;). Тогда с вероятностью 1 — т) можно утверждать, что одновременно для всех решающих правил класса выполнятся оценки
^(«a^-^^^^+Zi+i^^(6.32)
Замечание. Так как с вероятностью 1—ц оценка (6.32) справедлива одновременно для всех правил класса, то
она выполняется и для правила F (х, аэ), минимизирующего эмпирический риск.
Теорема 6.3 позволяет оценить качество правила, минимизирующего эмпирический риск. При этом оценка (6.32) совпадает с оценкой теоремы 6.2, полученной для крайнего случая, когда v(cz)=0, и близка к оценке теоремы 6.1 для другого крайнего случая, когда Р^а*)^ ^1/2. Точно такая же структура оценки будет иметь место и для бесконечного класса решающих правил.
е-сеть множества
В предыдущих параграфах было показано существование равномерной сходимости частот появления событий к их вероятностям по классу событий, состоящему из конечного числа элементов; была оценена скорость этой сходимости, и с ее помощью получена оценка качества решающего правила, минимизирующего эмпирический риск. Теперь нам предстоит обобщить полученные результаты на случай бесконечного числа событий.
Однако, вообще говоря, при бесконечном числе событий равномерной сходимости частот к вероятностям может и не существовать, например, если множество событий задается всеми открытыми подмножествами множества X, со. В этом случае возникает ситуация, когда (см. пример в § 2) алгоритм минимизации эмпирического риска доставляет нуль величине эмпирического риска, но не способен обучаться. Поэтому проблема состоит в том, чтобы определить условия, при которых имеет место равномерная сходимость для бесконечного числа событий, оценить ее скорость и, наконец, получить верхнюю оценку вероятности ошибочной классификации для правила, минимизирующего эмпирический риск.
В математике часто возникает необходимость перенести результаты, справедливые для конечного множества элементов на случай бесконечного множества. Обычно такое обобщение оказывается возможным, если бесконечное множество, допускает покрытие конечной в-сетью.
Определение. Множество В элементов метрического пространства R называется в-сетью множества G, если любая точка с из G находится на расстоянии, не превышающем е, от некоторой точки ЬеВ, т. в. Р (6, С) 8.
Говорят также, что множество G допускает покрытие конечной в-сетью, если для любого 8 найдется в-сеть В, состоящая из конечного числа элементов.
В этом параграфе для бесконечного множества решающих правил, допускающих покрытие конечной е-сетью, мы получим утверждения, аналогичные утверждениям теорем 6.1 и 6.3.
Итак, пусть задано бесконечное множество решающих правил F (х, а), на котором определена метрика р («ь a2) = p(F(x, ax), F (х, a2)) и выделена конечная е-сеть. Пусть эта конечная е-сеть состоит из N (е) элементов. Пусть, кроме того, известно, что если два решающих правила F (xt ах) и F (х, а2) отстоят друг от друга на
расстоянии, не превышающем е: р (о^, а2) ^ 8, то качества этих правил различаются не более чем на величину 6 (е), т. е.
|^(со — F (х, ах))2 Р (х, со) dx da — $ (cd — F (x, а2))2 P (x, cd) dx dto | ^ 6 (8).
Иначе говоря, малая вариация решающего правила приводит к малому изменению качества классификации.
В этих условиях теоремы 6.1, 6.3 допускают следующие обобщения.
Теорема 6.4. Пусть множество решающих правил F (х, а) может быть покрыто конечной г-сетью. Тогда с вероятностью \—^качество решающего правила F (х, аэ), минимизирующего величину эмпирического риска, оценится неравенствами
/
In N (е) — In т) о , хо х
^'-6 (е)Р (аэ)
_ , / wi/"1п Л/(е) —In п . с/.
v (а/ (аэ)) +i + 6 (8),
где F (х, а/(аэ))—ближайший к F (х, аэ) элемент г-сети.
Теорема 6.5. Пусть множество решающих правил F (х, а) может быть покрыто конечной ь-сетью. Тогда с вероятностью 1—г) качество решающего правила F (х, аэ), минимизирующего величину эмпирического риска, оценится неравенством
Р («э) <
// ЛА , 1п N (е)—In 7) Л 1 Г 4v (az (а,)) / \
<v(ai(a9))+2/Т + У 1+ПП^Н1^^6(8)-
где F (х, az- (аэ)) — ближайший к F (х, аэ) элемент ъ-сети.
Замечание. Теоремы 6.4 и 6.5 справедливы для любой е-сети, заданной априорно (до появления обучающей последовательности). В частности, величина е, задающая 8-сеть, может быть выбрана в теореме 6.4 из условия минимума выражения
У 1.^)-1пт) + 6(8),
а в теореме 6.5 —из условия минимума выражения
In Л/ (е) —In т) /, /~4с/\
2/\ + К +lп^(E) — 1пт)/ + °<
где O^c^l—константа (например, с = 0,5).
Доказательство теорем 6.4 и 6.5 проводится по одной и той же схеме.
1®. На множестве решающих правил F (х, а) задается конечная е-сеть, состоящая из N (е) элементов
F (я. «i). ..., Г (х. aV(81).(6.33)
Согласно теореме 6.1 (6.3) с вероятностью 1—т] одновременно для всех N (е) элементов (6.33) выполнятся неравенства
, х /"In N (8) — In n/"In N (е) — In 11
v («а - у —^! < р («а < v («а + у —^!
(6.34)
/п, , In N (е) — In 1] Л . т Г. , 4v(aaz \ ,, Л
Р (а;) <1 1 + I/ 1 +1—., / х +— + v (а/) .
\ v *'2Z \ г n N (е)— п т]/ 1 к и
2®. Для всякого решающего правила F (х, а *) (в том числе и того, которое минимизирует в F (х, а) величину эмпирического риска) найдется ближайший элемент 8-сети F (х, а/(а*)), и для него
(6.35)(6.35)| Р (а*) — Р (а/ (а*)) | ^ 6 (е).
(6.35)
(6.35)
Из неравенств (6.34) и (6.35) следует, что для решающего правила F (х, а/(аэ)) с вероятностью 1—т] справедливо
/ / л /"In N (е) — In Ti с / х
V (а, («,)) - у 1 - 6 (е) <
_ n / х , , хх , 1 /"in W (8) —In Т1 . с z х<P(a3)<v(a<(a9)) + y ^!+6(е),
_ In (е) —In тч, Af х , 4у(а/(а,)Щ ,V (а,) <V + Г + N(e)-b+ +
+ 6(e) + v(az(ag))).
Теоремы доказаны.
Итак, если множество решающих правил F (х, а) допускает покрытие конечной е-сетью, а распределение Р (х, со) таково, что близким решающим правилам соответствуют близкие значения вероятности ошибочной классификации, то принципиально с ростом объема выборки метод минимизации эмпирического риска приводит к успеху + При этом для каждого фиксированного 8 вероятность ошибочной классификации с помощью правила, минимизирующего эмпирический риск, оценивается с помощью неравенств (6.34).
Однако, для того чтобы воспользоваться этими оценками, надо знать величину 6 (8) наибольшего уклонения качества двух решающих правил, отстоящих друг от друга на расстоянии е. При вычислении же этой величины используется плотность Р (х), которая, согласно постановке задачи распознавания образов, считается неизвестной. В следующей главе при решении задачи восстановления регрессии мы найдем величину 6 (е) и получим возможность использовать оценки качества функции, выраженные через величины эмпирического риска 6 (е) и N (е). Здесь же для получения скорости равномерной сходимости частот появления событий к их вероятностям по бесконечному классу событий мы реализуем иную идею, которая в конце концов приведет к построению необходимых и
х) Формально это утверждение не следует из теоремы 6.4, но доказывается совершенно аналогично.
достаточных условий равномерной сходимости, получению на базе этих условий оценки скорости равномерной сходимости и, наконец, к конструктивной оценке качества решающего правила, найденного методом минимизации эмпирического риска.
Необходимые и достаточные условияравномерной сходимости частот к вероятностям
До сих пор для получения оценок скорости равномерной сходимости, мы использовали достаточно грубые емкостные характеристики множества решающих правил (число элементов множества).
В этом параграфе мы введем более тонкую емкостную характеристику — энтропию системы событий на выборках длины I. С помощью этой характеристики могут быть установлены исчерпывающие, необходимые и достаточные условия равномерной сходимости частот появления событий к их вероятностям, т. е. необходимые и достаточные условия того, что для любого х выполнится равенство
lim Р (sup | Р (ос) — v (ос) | > х! = 0. /-►со( а)
Итак, пусть задано множество 5 решающих правил F(х, ос) и дана выборка xb ..., xt. Эта выборка, вообще говоря, может быть разделена на два класса 2Z способами. Однако нас будут интересовать только те способы разделения выборки, которые могут быть реализованы с помощью правил F (х, ос). (С помощью правила F (х, а*) множество xv ..., xz делится на два подмножества — подмножество, на котором F (х, ос*) = 1, и подмножество, на котором F (х, ос*)==0.)
Число таких способов разделения зависит как от класса решающих правил F (х, ос), так и от состава выборки. Будем обозначать это число через
Рассмотрим систему событий
S(oc) = {x, со: (со — F(x, а))2=1},образованную множеством решающих правил F (х, а).Пусть дана случайная независимая выборка
^i> ^ii . * •; xb wz.^i> ^ii . * •; xb wz.(6.36)(6.36)
^i> ^ii . * •; xb wz.
^i> ^ii . * •; xb wz.
(6.36)
(6.36)
На выборке (6.36) система событий S (ос) индуцирует A(S(oc); хп cof, ...; xb coz) различных подвыборок. Очевидно, что число этих подвыборок равно А5^, ..., х^.
Так как хр ..., xt — случайная независимая выборка, то число разделений А5(х1? ..., х^ — величина случайная.
Определение. Назовем величину
Hs(l) = М In A (S (ос); х15 со^ ...; xzcoz) — Л1 In А5^, ..., х^
энтропией системы событий S (ос) на выборках длины L Оказывается, что для существования равномерной сходимости частот v (ос) к их вероятностям Р (ос) по множеству событий S (ос) необходимо и достаточно, чтобы с ростом объема выборки доля энтропии, приходящаяся на один элемент выборки, стремилась к нулю, т. е. чтобы последовательность
Hs (1) Hs (2) Hs ^1’2'’ I
стремилась к нулю с ростом /. Иначе говоря, выполнялось условие
Нт^-^О.(6.37)
1-*со
Доказательство этого утверждения приведено в монографии [12].
Как и всякие исчерпывающие условия, сформулированные необходимые и достаточные условия равномерной сходимости частот появления событий к их вероятностям используют тонкие понятия. В нашем случае таким понятием является энтропия Hs (Г) системы событий S (ос) на выборках длины I, которая конструируется с помощью плотности Р (х). Согласно же постановке задачи распознавания образов плотность Р (х) неизвестна. Поэтому, для того чтобы установить возможность минимизации среднего риска путем нахождения минимума эмпирического риска, нельзя использовать необходимые и достаточные условия (6.37).
Вот почему важно получить более грубые достаточные условия, которые, во-первых, не зависели бы от свойств меры Р (х), а во-вторых, допускали бы оценку скорости равномерной сходимости. Такие условия могут быть найдены на основе емкостной характеристики системы
событий S (а), которая получается из энтропии Н8^ абстрагированием от свойств меры.
Определение. Назовем функцию
т8 (Z) = max As (xn ..., xz),
Хр ...»xt
где максимум берется по всем возможным выборкам длины I, функцией роста системы событий, образованной решающими правилами F (х, ос).
Функция роста построена так, что не зависит от свойств меры Р (х) и для нее всегда выполняется неравенство
lnms (l)^Hs (Z).(6.38)
Теперь, если окажется, что величина
In ms (I)
I
с ростом Z стремится к нулю, то отношение Hs (1^/1 в силу (6.38) и подавно устремится к нулю. Поэтому условие
.. In ms (I) п11Ш —12 = 0
/—►со
является достаточным условием равномерной сходимости частот к вероятностям. Ниже мы покажем, что функция роста легко может быть найдена для событий, заданных различными классами решающих правил F^x, а) и, следовательно, может быть установлен факт равномерной сходимости. Более того, как будет показано ниже, с помощью функции роста т8 (/) может быть оценена и скорость равномерной сходимости.
Свойства функции роста
Функция роста имеет простой смысл: она вычисляет максимальное число способов разделения / точек на два класса с помощью решающих правил F (х, а). Для функции роста справедлива замечательная теорема, которая позволяет легко ее оценить.
Теорема 6.6. Функция роста либо тождественно равна 21, либо при l>h мажорируется функцией
ih
где h +1 — минимальный объем выборки, при котором нарушается условие ms (/) = 2*.
Иначе говоря,
либо = 2\ms (Г)i л
v либо <1,5^ (/>/г).
Доказательство теоремы 6.6 приведено в приложении к главе.
Для того чтобы оценить функцию роста, надо показать, что либо для любого / найдутся точки хъ ..., xt такие, что с помощью решающих правил F (х, а) их можно разбить на два класса всеми 2Z возможными способами, либо существует число h такое, что h точек можно, но никакие /г+1 точек нельзя разбить на два класса всеми возможными способами. В первом случае функция роста — показательная, во втором случае — степенная. Число h может служить мерой разнообразия класса решающих правил.
Определение. Будем говорить, что класс характеристических функций имеет емкость h, если справедливо неравенство
/А
т5(/)< 1,5^(/>/г).(6.39)
В случае выполнения равенства ms^ = 2l
будем говорить, что емкость класса характеристических функций F (х, а) бесконечна.
Нетрудно убедиться, что если емкость класса характеристических функций конечна, то всегда имеет место равномерная сходимость частот к вероятностям. В самом деле, в этом случае справедливо
п
h In I — 2 In *
'0 ==г lim -m. (/) lim^— = 0
/ —* ooZ—>oo
и достаточное условие выполнено.
Важную роль в дальнейшей теории играет класс линейныхпо параметрурешающихправил:
/Л\(1»еслиz^O,
F ^х, а)=0 Уа/фДх) ;6(z)=<(6.40)
\-тх](0,еслиz<0.v7
Нетрудно найти функцию роста для класса событий, заданных линейными решающими правилами (6.40). Для этого достаточно определить максимальное число точек h в пространстве размерности п, которые можно с помощью гиперплоскости разбить на два класса всеми 2Л способами. Известно, что это число равно п. Поэтому, согласно теореме 6.6, для класса линейных решающих правил (6.40) функция роста оценивается
ms(/)< 1,5-^ (1>п\
И, следовательно, для класса линейных решающих правил выполнены достаточные условия равномерной сходимости.
В главе II было показано, что факт равномерной сходимости частот появления событий к их вероятностям по классу событий, заданному одномерными линейными решающими правилами F (%, ос) = 6 (х + ос), составляет содержание теоремы Гливенко — Кантелли, утверждающей равномерную сходимость эмпирической функции распределения к истинной.
§ 9. Оценка уклонения эмпирически оптимальногорешающего правила
В приложении к главе получена оценка скорости равномерной сходимости частот к вероятностям по классу событий S (ос). Показано, что имеет место неравенство
Р I sup ) Р (а) — v (ос) |I аР I sup ) Р (а) — v (ос) |I а> х| < 6ms (2/) exp j— ^|.> х| < 6ms (2/) exp j— ^|.(6.41)(6.41)
Р I sup ) Р (а) — v (ос) |
I а
Р I sup ) Р (а) — v (ос) |
I а
> х| < 6ms (2/) exp j— ^|.
> х| < 6ms (2/) exp j— ^|.
(6.41)
(6.41)
Оценка (6.41) имеет тот же вид, что и раньше,—она образуется произведением емкостной характеристики системы событий (6ms(2/)) и оценкой вероятности того, что уклонение частоты от вероятности превзойдет /[ кЧЛ
* ^ехР
Если емкость класса решающих правил бесконечна (ms(Z) = 2z), то оценка (6.41) травиальна, так как при всех х правая часть неравенства больше единицы. Оценка (6.41) становится содержательной, когда емкость класса
решающих правил конечна:
m4l)<l,5£v
В этом случае она принимает вид
Р (sup I Р (сх) - v (а) I > xl < 9 ^ ехр (- ^}. (6.42)
С ростом I правая часть неравенства (6.42) стремится к нулю и притом тем быстрее, чем меньше емкость класса h. Потребуем, чтобы вероятность
Р jsup | Р (а) — v (се) | > х|
не превышала т]. Это во всяком случае произойдет, если выполняется равенство
п (2/)Л Г X2/)/плох
9кй! ехР^-Т} = т].(6.43)
Равенство (6.43) можно разрешить относительно х (используя формулу Стирлинга):
х = 2 V ~~~(6.44)
И тогда из (6.42) — (6.44) следует справедливость следующей теоремы.
Теорема 6.7. Пусть F (х, а) — класс решающих правил ограниченной емкости h, и пусть v (а) — частота ошибок, вычисленная по обучающей последовательности для правила F (х, а). Тогда с вероятностью 1—т] можно утверждать, что при I >h одновременно для всех правил F (х, а) вероятность ошибочной классификации заключена в пределах
Замечание. Из теоремы 6.7 следует, что для правила F (х, аэ), минимизирующего эмпирический риск, с
вероятностью 1 — г] справедлива оценка сверху
^(oQ<v(aa) + 2^(oQ<v(aa) + 2In Т]In Т]С Ж).С Ж).
^(oQ<v(aa) + 2
^(oQ<v(aa) + 2
In Т]
In Т]
С Ж).
С Ж).
В приложении к главе показано, что наряду с (6.41) справедлива и оценка
P^supI аP^supI аР (а) — v (а)Р (а) — v (а)> xj < 8т$ (21) е 4 ,> xj < 8т$ (21) е 4 ,
P^supI а
P^supI а
Р (а) — v (а)
Р (а) — v (а)
> xj < 8т$ (21) е 4 ,
> xj < 8т$ (21) е 4 ,
которая для класса решающих правил ограниченной емкости является нетривиальной:
р /сцп*> х\ с 12 ^^ е 4(6 45)
Г«р> ^ to е • <ьл^
Потребуем, чтобы правая часть неравенства равнялась гр
12^е12 № е12^е12 № епЧ4 = грпЧ4 = грЭто произойдет, еслиЭто произойдет, если(6.46)(6.46)
12^е
12 № е
12^е
12 № е
пЧ
4 = гр
пЧ
4 = гр
Это произойдет, если
Это произойдет, если
(6.46)
(6.46)
С другой стороны, неравенство (6.45) можно переписать в виде утверждения: с вероятностью т] одновременно для всех ос справедливо неравенство
Р (а) <(1 + ]/1 +^ ) + v (а).(6.47)
Из (6.46) и (6.47) следует справедливость следующей теоремы.
Теорема 6.8. Пусть Р(х, ос) — класс решающих правил ограниченной емкости h, и пусть для каждого правила F (х, а) частота ошибок, вычисленная на обучающей последовательности, равна v(oc). Тогда с вероятностью 1—т] можно утверждать, что при l>h одновременно для всех
правил класса имеет место оценка
hР (аэ) < 2 -hР (аэ) < 2 -InInIn Т|IFIn Т|IF(6.48)(6.48)
h
Р (аэ) < 2 -
h
Р (аэ) < 2 -
In
In
In Т|
IF
In Т|
IF
(6.48)
(6.48)
Замечание. Из теоремы 6.8 следует, что для правила F (х, а9), минимизирующего эмпирический риск, справедлива оценка
Р(«э) <2Р(«э) <2In Т| 1FIn Т| 1F
Р(«э) <2
Р(«э) <2
In Т| 1F
In Т| 1F
§ 10. Замечания об оценке скорости равномернойсходимости частот к вероятностям
Итак, в этой главе мы получили оценки скорости равномерной сходимости частот к вероятностям
~[ Ne^1,
Р (sup | Р (ct) — v (а) | > xl < ]_ -им
1 аI ( 6ms (21) е 4
Р(а)-у(а) ГР (а)Р(а)-у(а) ГР (а)8ms (21) е 48ms (21) е 4Ne-^1,Ne-^1,и оценки равномерного одностороннего относительного уклонения частот от вероятностей
Р(а)-у(а) ГР (а)
Р(а)-у(а) ГР (а)
8ms (21) е 4
8ms (21) е 4
Ne-^1,
Ne-^1,
Р jsupч а
С помощью этих оценок были получены теоремы 6.1, 6.3 и 6.7, 6.8, которые позволили оценить качество решающего правила, минимизирующего величину эмпирического риска.
Все полученные оценки имеют одну и ту же структуру—они состоят из двух сомножителей, один из которых оценивает вероятность соответствующего уклонения для каждого (в отдельности) события в классе, другой
характеризует разнообразие класса решающих правил. В оценке используются различные характеристики разнообразия класса решающих правил. Наиболее примитивная — число решающих правил в классе. Примитивность такой характеристики заключается в том, что она, например, никак не учитывает, состоит ли класс решающих правил из «существенно различных» правил, или же все правила в классе «эквивалентны».
Адекватная мера разнообразия класса решающих правил, с помощью которой и удается построить необходимые и достаточные условия равномерной сходимости частот к вероятностям, — энтропия системы событий, заданной решающими правилами. Однако вычислить энтропию системы событий на выборках длины I можно, лишь зная плотность Р (%), которая, согласно постановке задачи обучения распознаванию образов, считается неизвестной. Поэтому была введена новая мера разнообразия, которая получается из энтропии выбором наиболее неблагоприятного распределения. Эта мера разнообразия выражается через емкость класса решающих правил и легко может быть вычислена.
Различные определения меры разнообразия класса ‘ решающих правил порождают разные теоремы о качестве алгоритмов, минимизирующих эмпирический риск.
Однако во всех этих теоремах утверждается один и тот же факт: если мера разнообразия класса решающих правил мала по сравнению с объемом выборки, то метод минимизации эмпирического риска позволяет выбрать правило, близкое к наилучшему в классе.
Характерной особенностью изложенной теории минимизации эмпирического риска является полное отсутствие каких бы то ни было указаний на конструктивную возможность построения алгоритмов. Такая особенность имеет как отрицательные, так и положительные стороны.
С одной стороны, построенная теория не указывает на регулярные процедуры минимизации эмпирического риска, которые должна реализовать соответствующая программа.
С другой стороны, теория минимизации эмпирического риска весьма обща. Метод минимизации эмпирического риска может быть применен для самых различных классов решающих правил: линейных дискриминантных функций, кусочно-линейных дискриминантных функций, логи-
ческих функций определенного вида и др. Это связано с тем, что теория метода минимизации эмпирического риска отвечает на вопрос, «что надо делать», оставляя в стороне вопрос «как это сделать». Поэтому для минимизации эмпирического риска могут быть применены различные методы, в том числе и эвристические.
Применение эвристических методов в этом случае имеет теоретическое оправдание: если в классе решающих правил, емкость которого невелика по сравнению с объемом выборки, выбрать правило, которое хотя и не минимизирует эмпирический риск, но доставляет ему достаточно малую величину, то в силу доказанных теорем выбранное решающее правило будет иметь достаточно высокое качество.
Конструктивные идеи таких алгоритмов имеют наглядную геометрическую интерпретацию: в пространстве X надо построить гиперповерхность, принадлежащую заданному классу гиперповерхностей, которая, по возможности, с меньшим количеством ошибок отделит векторы обучающей последовательности одного класса от векторов обучающей последовательности другого класса.
Отнесение векторов (в том числе и не входящих в обучающую последовательность) к тому или иному классу производится в зависимости от того, по какую сторону от разделяющей гиперповерхности он находится.
Методы построения разделяющих гиперповерхностей составляют конструктивную часть теории обучения распознаванию образов. Эти методы будут изложены в главе XI.
Основные утверждения главы VI
Успешное решение задачи обучения распознаванию образов с помощью метода минимизации эмпирического риска может быть гарантировано в условиях существования равномерной сходимости частот к вероятностям по классу событий
S (сх) = {a;, со: (со — F (х, а))2 = 1}.
В этом случае равномерная yi-близость частот к вероятностям
sup ; Р (а) — v (ос) | < и
aeS (а)
обеспечивает ^-близость качеств найденного решающего правила и наилучшего в классе.
Равномерная сходимость частот к вероятностям по классу событий S (а) имеет место всегда, когда класс состоит из конечного числа событий.
Проблема получения условий равномерной сходимости частот к вероятностям по классу событий, состоящему из бесконечного числа элементов, связана с введением емкостных характеристик бесконечного множества событий S (а), образованного бесконечным множеством решающих правил F ^х, а).
Адекватной емкостной характеристикой класса событий S (а), с помощью которой удается сформулировать необходимые и достаточные условия равномерной сходимости частот к вероятностям, является энтропия класса событий на выборках длины I. Однако эта характеристика строится с учетом вероятностной меры Р (х).
Оценка энтропии класса событий для самой неблагоприятной вероятностной меры может быть получена с помощью величины h, определяющей емкость класса решающих правил.
Емкость класса решающих правил F^x, а) легко вычислить — она равна максимальному числу точек хг, ... ..., xh, которые правилами из F (х, а) делятся на два класса всеми возможными способами.
Равномерная сходимость частот к вероятностям имеет место, когда величина h ограничена.
Алгоритмы обучения распознаванию образов способны обучаться, если:
емкость класса решающих правил мала по отношению к объему обучающей выборки;
выбирается правило, которое доставляет величине эмпирического риска малое значение.
ТЕОРИЯ РАВНОМЕРНОЙ СХОДИМОСТИ ЧАСТОТК ВЕРОЯТНОСТЯМ1)
§ ПЛ. Достаточные условия равномерной сходимостичастот к вероятностям
Согласно классической теореме Бернулли частота появления некоторого события А сходится (по вероятности) в последовательности независимых испытаний к вероятности этого события. Часто, однако, возникает необходимость судить одновременно о вероятностях целого класса событий S по одной и той же выборке. При этом требуется, чтобы частоты сходились к вероятностям равномерно по всем событиям класса S. Точнее, требуется, чтобы вероятность того, что максимальное по классу уклонение частоты от вероятности превзойдет заданную сколь угодно малую положительную константу, стремилась к нулю при неограниченном увеличении числа испытаний.
Оказывается, что даже в простейших примерах равномерная сходимость может не иметь места. Поэтому нужен критерий, позволяющий судить, есть ли такая сходимость.
Пусть X — множество элементарных событий, на котором задана вероятностная мера Р (х). Пусть S —некоторая совокупность случайных событий, т. с. подмножеств пространства, измеримых относительно меры Р (%) (S включается в о-алгебру случайных событий, но нс обязательно совпадает с ней). Обозначим через X (/) пространство случайных независимых выборок из X длины /.
!) Здесь изложены лишь достаточные условия равномерной сходимости частот появления событий к их вероятностям. Необходимые и достаточные условия изложены в монографии [12].
Для каждой выборки Xl=xv .xt и события AeS определена частота выпадания события Л, равная отношению числа п (Л) элементов выборки, принадлежащих Л, к общей длине выборки /
vzH)=v(x1; =
Теорема Бернулли утверждает, что при фиксированном событии Л уклонение частоты от вероятности стремится к нулю (по вероятности) с ростом объема выборки, т. е. для любого х■
Р{|Р(Д)-^(Л)|>х}^0.
Нас же будет интересовать максимальное по классу S уклонение частоты от вероятности:
л (/) = sup | vz (Л) — Р (Л) |.
Величина л (/) является функцией точки в пространстве X (/). Будем предполагать, что эта функция измерима относительно меры в X Ц\ т. с. что л (/) есть случайная величина. Дальнейшие теоремы посвящены оценкам вероятности события л (/).
§ П.2. Функция роста
Пусть X —множество, S —некоторая система его подмножеств, X1 = хъ ..., X/ — последовательность элементов х длины L Каждое множество Л gS определяет подпослст довательность ХА этой последовательности, состоящую из тех элементов, которые принадлежат Л. Будем говорить, что Л индуцирует подпоследовательность ХА на последовательности X1.
Обозначим через
Д5 (хъ ..., х^
число различных подпоследовательностей ХА, индуцированных множествами Л е S. Очевидно, что
Д5(хр х^Т.
Число А5 (%!, ..., х^ будем называть индексом системы S относительно выборки xv ..., хь
Определение индекса системы можно сформулировать и иначе. Будем считать, что Л1е5 эквивалентно Л2 е S относительно выборки xD ..., хь если Хд^Хд^ Тогда индекс As (хъ ..., х^ есть число классов эквивалентности, на которые система S разбивается этим отношением эквивалентности.
Очевидно, эти два определения равносильны. Функцию ms(/) = max А5^, ..., xt\(П.1)
xixi
где максимум берется по всем последовательностям длины Z, назовем функцией роста системы S. Здесь максимум всегда достигается, так как индекс As (хп ..., х^ принимает конечное число значений.
Функция роста класса событий S обладает следующим замечательным свойством.
Теорема П.1. Функция роста либо тождественно равна п—\.
2Z, либо, если это не так, мажорируется функцией 2 Сь
1 = 0
где п — минимальное значение I, при котором
ms (Z) 4= Y.
Иначе говоря,Иначе говоря,ms (/) =ms (/) =либо = 2Z,п — 1либо<. 2 С/./ = олибо = 2Z,п — 1либо<. 2 С/./ = о(П.2)(П.2)
Иначе говоря,
Иначе говоря,
ms (/) =
ms (/) =
либо = 2Z,
п — 1
либо<. 2 С/.
/ = о
либо = 2Z,
п — 1
либо<. 2 С/.
/ = о
(П.2)
(П.2)
Для доказательства этого утверждения нам понадобится следующая
Лемма П.1. Если для некоторой последовательности xv ..., xt и некоторого п
^^ха> s'ck
i= 0
то существует подпоследовательность Хп длины п такая, что
As (Х”) = 2".
Доказательство. Обозначим
^‘с^Ф^, /)
i = О
(здесь и дальше считаем, что при i>/, С/ = 0). Для этой функции, как легко убедиться, выполняются соотношения
Ф(1, 0 = L
Ф(я, /) = 2Z, если Z^n + l,
Ф (п, /) =Ф (п, / — 1) + Ф (n — 1, / — 1), если п 2, / ^ 1.
(П.З)
Эти соотношения в свою очередь однозначно определяют функцию Ф(п, /) при />0 и /г>0.
Будем доказывать лемму индукцией по / и п. Для лг = 1 и любого I ^ 1 утверждение леммы очевидно. Действительно, в этом случае из
А5 (Хц ..., xz) > 1
следует, что существует элемент последовательности X/ такой, что для некоторого Л*е$ выполнится Х/еД*, а для некоторого другого Л** gS окажется х;^ Л** и, следовательно,
As (ха=2.
Для I< п утверждение леммы верно ввиду ложности посылки. Действительно, в этом случае посылка есть
А5(хь xz)>2z,
что невозможно, так как
As (*i,As (*i,., х^ ^1.., х^ ^1.
As (*i,
As (*i,
., х^ ^1.
., х^ ^1.
Наконец, допустим, что лемма верна для п ^п^ (/г0^1) при всех /. Рассмотрим теперь случай /г = /г0+1. Покажем, что лемма верна и в этом случае для всех /.
Зафиксируем п = п0 +1 и проведем индукцию по L Для /</0+1, как указывалось, лемма верна. Предположим, что она верна для / ^ /0, и покажем, что она справедлива для / = /0+1. Действительно, пусть для некоторой последовательности хп ..., xZo, xZo _|_i справедливо условие леммы
А5^ хи, х/„+ 0 >Ф (/г0+1, /0+1).
Лемма будет доказана, если мы найдем подпоследовательность длины n0+l: Xn“ + I = x1, ..., xn„ + i такую, что
As(^хя, + 1) = 2'” + 1.
Рассмотрим подпоследовательность Xz° = л^, ..., xZo. Возможны два случая:
As(x1#х/о)>Ф(ло+1, /о),
А5^!»х/о)^Ф(/го+1, /0).
В случае а), в силу предположения индукции, существует подпоследовательность длины п0 + 1 такая, что А5 (Хп° + !)~ = 2П°+1, что и требуется.
Для случая б) разделим подпоследовательности последовательности Xz°, индуцируемые множествами из S, на два типа. К первому типу отнесем такие подпоследовательности Хг, что на полной последовательности Х/о +1 событиями из S индуцируется как Хг, так и (Хг, xZo + 1). Ко второму — такие Хг, что на последовательности Х^1 индуцируется либо Хг, либо (Xr, xZo + i). Обозначим число подпоследовательностей первого типа Kv а второго типа Х2. Легко видеть, что
А5^, х^-КзАК^
As(xp хи, xZo + 0 = 2Хх + Х2;
и, следовательно,
As(^, xZo, xZo + i) = As(x1, ..., ^J + Xp (П.4)
Обозначим через S' систему всех подмножеств Д е S таких, что на последовательности Х/о они индуцируют подпоследовательности первого типа. Тогда, если
б')Xi = As' (хь ..., х/о)>Ф(^о, /0),
то в силу предположения индукции существует подпоследовательность Хп° = Х1и ..., xino такая, что
A5, (xZ1, ..., xin^ - 2^о (Х^ с Х^.
Но тогда для последовательности xtt, ..., xin<? xZo+i имеем As'(x1, .... xinii, xz„ + i) = 2"o + i,
так как для каждой подпоследовательности Хг, индуцированной на последовательности Хп\ найдутся две подпоследовательности, индуцированные, на Xr, xZo+i, а именно Хг и (Xr, xZo+i). Таким образом, в случае б) искомая подпоследовательность найдена.
Если же
б")Ki = ^s4^ ...» ^/о)^Ф(^о, М,
то получим в силу (П.4) и б)
А5^,х/о+1)^Ф(п0 + 1, /0)+Ф(и0, /0),
откуда в силу свойств (П.З) функции Ф (п, I) As (л^,х/о+1)^Ф(/го + 1, /0 + 1),
что противоречит условию леммы (т. е. б") невозможно). Лемма доказана.
Теперь докажем теорему. Как уже отмечалось, ms (Z)^ ^2Z. Пусть ms (Z) не равно тождественно 2Z, и пусть п — первое значение Z, при котором ms (/) ^ 2Z.
Тогда для любой выборки длины Z, большей и, справедливо
As (хь х,)^Ф(п, /).
Действительно, в противном случае на основании утверждения леммы нашлась бы такая подвыборка х^ ..., хП) что
As (х^ ..., хп) = 2Л.(П.5)
Равенство же (П.5) невозможно, так как по допущению ms (п) =# 2Л.
Таким образом, функция ms (Z) либо тождественно равна 2Z, либо мажорируется Ф(п, Z).
Теорема доказана.
Замечание. Функция Ф(п, Z) может быть оценена сверху при /г^1 и Z>n следующим образом:
Ф(«, /)<1,5^__.(П.6)
Поскольку для функции Ф(п, /) выполняются соотношения (П.З), для доказательства (П.6) достаточно убедиться, что при /г^1 и Z>n справедливо неравенство
(м—1)!п\
и проверить (П.6) на границе, т. е. при п=Л 1=п-\-\. Неравенство (П.7), очевидно, равносильно неравенству /^(Z+^-G + O^o,
справедливость которого следует из формулы бинома Ньютона.
Остается проверить соотношение (П.6) на границе. При п — 1 оно проверяется непосредственно. Далее проверим оценку при малых п и I.
l = n-YV
2
3
4
5
6
Ф(п, 0
1
4
11
26
57
/л-1
L5 (п-1)!
1,5
4,5
12
31 4'
81
Теперь, чтобы проверить (П.6) при п ^6, воспользуемся формулой Стирлинга для оценки сверху П
откуда при I = п + 1
in-1 (Z_1)ZI/-1>/_1z-^
(«-1)1 - п
и далее при 1^6
С другой стороны, всегда Ф(п, Z)^2Z. Поэтому достаточно проверить, что при I 6
2Z ^ 1,22Z ^ 1,21К 2л/1К 2л/
2Z ^ 1,2
2Z ^ 1,2
1
К 2л/
1
К 2л/
С ростом I (при I > 2) это неравенство усиливается, и поэтому достаточно его проверить при I = 6, в чем и убеждаемся непосредственно.
Итак, оказывается, что функция роста либо тождественно равна 2Z, либо при некотором п впервые нарушается равенство, т. е. ms (/) 7^ 2Z, и тогда функция роста мажорируется степенной функцией
/л-1
Таким образом, для того чтобы оценить поведение функции роста, достаточно выяснить, каково минимальное число п такое, что ни на одной последовательности длины I система 3 не индуцирует все возможные подпоследовательности.
§ П.З. Основная лемма
Пусть взята выборка длины 21;
X^l=xv хь хт, ..., х^
и подсчитаны частоты выпадания события Л eS на первой полувыборке %!, ..., Xi и второй полувыборке х№ ... .х^. Обозначим соответственно частоты через V (Л) и v"(A) и рассмотрим отклонение этих величин
Ра (*ix2Z) = | V (Л) - v" (Л) |.
Нас будет интересовать максимальное отклонение частот по всем событиям класса 3:
Ps(*lX2Z) = sup Рд (Хъ ..., X2Z).
Aes
Введем обозначение:
ns (Xix2Z) = sup IV (Л) — P (Л) |.
A G S
Далее будем полагать, что как л5 (хь ...» х^, так и ps (Xj, ..., x2z) —* измеримые функции.
Основная лемма. Распределения величин л5 (jq, ..., х^ и ps (хъ ..., х2/) связаны следующим соотношением;
Р {л5 (хь ..., х;) > х} <2Р |ps (хъ ..., ,х2/) > у|,
если только / > 2/х.
Доказательство. По определению p{ps(X2i)>^}= J еГрз (x=')-^ldP (x«), X(2Z) L
где
А х ч (1, если 2>0, 6 (г) = { лл
(О, если г^О.
Учитывая, что пространство X (2/) выборок длины 2/ есть прямое произведение Ху^ и Х2 (0 полувыборок длины /, согласно теореме Фубини [28], для любой измеримой функции ф(хь ..., x2z) справедливо
$ ф (^1, X(2Z)$ ф (^1, X(2Z).... X^dX^ =.... X^dX^ =
$ ф (^1, X(2Z)
$ ф (^1, X(2Z)
.... X^dX^ =
.... X^dX^ =
Поэтому имеем
7{р* (№')>-}} = j dP^ J 0[p^(№')~^]dP(Xp ■хл/)x^h
(во внутреннем интеграле первая полувыборка фиксируется). Обозначим через Q событие пространства Ху (/)
{л5 (хп х,)>х}
ограничивая область интегрирования, получим
P{ps (Х2')>|}^
^^dPTO 5 б[р5(Х2,)-|рР№).(П.8)
Qх2(/) "
Оценим внутренний интеграл правой части неравенства, обозначив его через /. Здесь выборка xlt ..., xt фиксирована и такова, что л5^, .... xz)D>x. Следовательно, существует Л*^5 такое, что
| Р (Л*) — v (Л*; Ху, ...х^Ж.
Тогда
/= t 6 Г sup рл(№О-|рР(Х0^
X,(Z) Ac=s
^ ( б[рл.(х2')-|1^№).
х2(/)
Пусть, например,.
' v'(Л*; хъ ..., xz)<P^*) —х
(совершенно аналогично рассматривается случай V (Л*)^ ^=Р(Л*) + х). Тогда для выполнения условия
|у'(Д*; хгXt)-V'(A*; хм, ..., xti^\>^
достаточно потребовать, чтобы выполнялось соотношение у"(Д*)>Р(Д*)-у, откуда получаем
\ ек"(Л*)-Р(Л*)+у]^Р(Х') = x.w
=5СЦР(Д*)]6[1 -Р(Д*)р.
Как известно, последняя сумма превосходит 1/2, если
только />2/х. Возвращаясь к (П.8), получим для />2/х
Р {pS (Х^ >^L^dP (X') = | Р {л5 (X') > х}, Q
что и требовалось доказать.
§ П.4. Вывод достаточных условий
Справедлива
Теорема П.2. Вероятность того, что хотя бы для одного события из класса S частота уклонится от соответствующей вероятности в эксперименте длины I более чем на х, удовлетворяет неравенству
Р {л5 Сч, ..., X/) > х} < 6ms (2Z) е 4 . (П.9)
Следствие. Для того чтобы частоты событий класса S сходились (по вероятности) к соответствующим вероятностям равномерно по классу S, достаточно существование такого конечного п, что при 1^п
Доказательство. В силу основной леммы достаточно оценить величину
p{ps(Xa9>|}= С e[pS(x2')-ydP(X2Z).
Х(2/)
Рассмотрим отображение пространства X (2/) на себя, получаемое;.некоторой перестановкой Tt элементов после-
довательности X2Z. В силу симметрии определения меры имеет место следующее равенство:
$ f ОТ dP (X2Z) = $ f (ТОТ dP ОТ
Х^X (2Z)
для любой интегрируемой функции /(X).
Поэтому
(2Z)!
2 е[р5(т,х2')-^] p{pS(x8')>|}= J —w.dP(X4
X (2Z)
(П.10)
где сумма берется по всем (2/)! перестановкам.
Заметим прежде всего, что
6 [ps ^ -1] = 9 [sup | v' (Л) - v" (Л) | -1] =
= sup9[|v' H)-v"H) |-У.
A L2 J
Очевидно, что если два множества Аг и Д2 индуцируют на выборке хь ..., хь хт. ..., х^ одну и ту же подвыборку, то
v'Mi; TOT = V(A,; ТОТ»
^(Av тот^^да^ тот»
и, следовательно, РА (ТОТ = раДТОТ
для любой перестановки Tt.
Иными словами, если два события эквивалентны относительно выборки хь ..., х2/, то уклонения частот для этих событий одинаковы при всех перестановках Tt. Поэтому, если из каждого класса эквивалентности взять по одному множеству и образовать конечную систему S', то
sup рлС^Х^^ sup Ра^Т^1).
AeSAeS'
Число событий в системе S' конечно и было обозначено через А5’ (^x4i). Поэтому, заменяя операцию sup
суммированием, получаем
sup 91рд(ТЛ2')-41= SUP б[рА№;)-|и
4gS Lz J AsS' L2 J
2 e [pa
4eS'
Эти соотношения позволяют оценить подынтегральное выражение в (П.10)
(2/)-
д”№2'1"№,|-т] =
г = 1
(2/)1
2 ;и,6Нг'х,'>-У-=
г (2/)1-]
29[pa№Z)-t]
2 . 5(20!. •
Выражение в квадратных скобках означает отношение числа порядков в выборке (при фиксированном составе), для которых
|v' H)-v"H)|>^,
к общему числу перестановок. Легко видеть, что оно равно
ph pl — к
Г= У6С2/
где т равно числу элементов выборки хь ..., х^ь принадлежащих Л.
В § П.5 мы оценим величину
Г<3ехр |- -у}.
Таким образом,
(2Z)!
2 <и>! S6--г] <
AczS' 1 = 1
< 2 3ехР {— ^} = 3 AS(^i* •••> ^exp)-^}^
<3ms (2/) exp {-v}'
Подставляя эту оценку в интеграл (П.10), получим
Р{р^(№')>|}<3^ (2/)ехр{-^},
откуда в силу основной леммы
Р {л (Х9 > х} <6m5 (2/) exp {- ^}•
Теорема доказана.
Доказательство следствия. Пусть существует такое п. что при l^n
Тогда, очевидно,
lim Р {л5 (Xz) > х} < 9 Ит -^г^ехр {- ^} = О,
т. е. имеет место равномерная сходимость по вероятности, Полученное достаточное условие не зависит от свойств распределения (единственное требование — измеримость функций л5 и ps), а зависит от внутренних свойств системы S.
Замечание. Как было доказано в § П.2, если только функция ms (/) не равна тождественно 2Z, то существует п такое, что при 1>п
Поэтому достаточное условие выполняется всегда, когдаms кА ^ 2^
§ П.5. Оценка величины Г
Оценим величину __ рк pl — k
Г — Ук’
где к — пробегает значения, удовлетворяющие неравенствам
["7—~Т^|>х’ тах № ш —/)^fe^min(m, /), или, что то же самое, неравенствам
(^“yl^T’ max№ т —/)^&^min(m, /),а / и т ^ 2/— произвольные положительные целые числа.Разложим Г на два слагаемых Г^Г^Гг:
рк pl — к,^L-?—* где к>^^>к C2Z
Г2=2~^—’ где &<т-т-
Введем обозначения рк pl— к-
^№ = _^,(П.11)
где
max (0, т — /) ^ k ^ min (/и, /).
Далее обозначим s = min(m, /), 7 = max (0, т —/);
i=k
Очевидно, что имеет место соотношение
d(^+l)= 2 Р^ = £ P(i + l) = S P^Q^- (ПЛЗ) f=fe+li=ki=k
8 В. Н. Вапник
Далее из (П.12) непосредственно следует, что при I < / q (О < q (/), т- е- q (О монотонно убывает. Поэтому из (ПЛЗ) следует неравенство
d (k + 1) = 2 р (i) q (i) < ^ W 2 p (t).i=ki = k
Далее, по определению d^ имеем d (£+!)< q UW^Y
Применяя последовательно это соотношение, получим для произвольных к и /, удовлетворяющих условию Т j <. <k^s,
к — 1
Далее, поскольку d (/)1, то
к-1
d№<Ib(0,(П.14)
где / — любое целое число, меньшее, чем к.
Положим
Тогда
При этом, очевидно, пока Т <Ck<Ls, справедливо
Для аппроксимации q(k) исследуем функцию
F (Л = -~- • Ь—~г V) a+t b+t>
считая, что а и b больше нуля.
При |/| <пйп(я, Ь)
In F (/) = In (я — 0 — In (а + 0 + In (b — f) — In (6 + 0- Далее имеем
lnf(0)-0, 4(lnFW)--[^ + -^].
Отсюда следует, что при | /1 < min (а, 6)
4(1П^ЮХ-2[4+т]-
Соответственно при | /1 < min (а, 6) и / ^ 0 выполнится неравенство
Возвращаясь к q$, получаем, что при t^O
In 9 (/) ^ — 2[ m + 1 + 2/-m + l ] ^ = —8 (m + l)(^-m + l)t- Оценим теперь
in ГП 9(0L
считая, что —$— $5 / =с /г — 1:
1п(П (0^ = 2 !п<?(0^
к — 1
— 8(/+1) у /т—1\
"(т+1)(2/-т+1) L \“2 J1
<=/ Возвращаясь к (П.14), получим
In а (Щ —8(Z + D у1 / . т-Л\ .
здесь j — любое число, меньшее к. Поэтому для А>-^=1
можно положить / = —2™ Для т нечетного и ^ml^ для т четного, получив более сильную оценку. Суммируя 8»
далее арифметическую прогрессию, получим
In d (&) С
4(Z + 1)/, т . « \2
-~ т +1) для четного т’
<{4(Z + 1)/, m —11 \ /т—\\
(m+1) (2Z —m+1) \2 Д 2/
для нечетного т.
Наконец, Д есть d(k) при к первом целом таком, что откуда
In Г1 < -—г-TV иЧЧ
(^ + 1) (2Z — m + 1)
Точно так же оценивается величина Г2, так как распределение (П.11) симметрично относительно точки k = m/2.
Таким образом,
Г<2ехр|— (т+1)(2/—т + 1)Г(П.15)
Правая часть (П.15) достигает максимума при т = 1, и, следовательно,
r<2expj—^у| <3ехр{— х2/}.(П.16)
При х2/< 1 оценка (П.16) тривиальна, поскольку левая часть неравенства не превосходит единицу, а правая всегда больше единицы.
Таким образом, оценка (П.16) справедлива при любых целых / и х в пределах 0 х 1.
§ П.6, Оценка вероятностиравномерного относительного уклонения
В этом параграфе мы докажем теорему.
Теорема П.З. При ^-^ справедлива оценка
р/ sup Р^ —^.^ > х\ < 8т& (21) е 4 .
Ues /Р(А)у
Доказательство. Рассмотрим два события, построенные по случайной и независимой выборке длины 2Z, событие Qx:
Qi = j supQi = j supPW-Y (A)■Vp (Л)" .PW-Y (A)■Vp (Л)" .
Qi = j sup
Qi = j sup
PW-Y (A)■
Vp (Л)" .
PW-Y (A)■
Vp (Л)" .
— и событие Q2:
O, = /sup IVW--WI>K
где v'(Л) — частота события Л, вычисленная на первой полувыборке длины I; v" (Л) — частота события Л, вычисленная на второй полувыборке, v (Л) —частота события, вычисленная на выборке длины 2Z.
Доказывать теорему мы будем по следующей схеме. Сначала покажем, что справедливо неравенство
РШ<4Р^
а затем оценим вероятность события Q2. Итак, докажем лемму.
Лемма П.2. При l^-^r справедливо неравенство
РШ<^Ш-РШ<^Ш-(П.17)(П.17)
РШ<^Ш-
РШ<^Ш-
(П.17)
(П.17)
Доказательство. Допустим, что событие Qx произошло. Это значит, что существует такое Л*, что на первой полувыборке выполнится неравенство
р (Л *) - v (л *) > х ур"(А*у
Поскольку V (Л) ^ 0, это значит, что
Р (Л*) > х2.
Допустим, что на второй полу выборке частота выпадания события Л* превзошла вероятность Р (Л*):
V'(A^>P(A*Y
Вспомним еще, что Z > -^. При этих условиях обязательно выполнится событие Q^.
Действительно, оценим величину
при условиипри условииjA^+j- ]А(Л*)+2ТjA^+j- ]А(Л*)+2Т(П.18)(П.18)V' (Д*)<Р(Д*) —х)/Р И*), v"(4*)> Р(Д*), Р (Д*) >> х2.V' (Д*)<Р(Д*) —х)/Р И*), v"(4*)> Р(Д*), Р (Д*) >> х2.Для этого найдем минимум функцииДля этого найдем минимум функциих—уУх + у+сх—уУх + у+св области 0<а^х^1, 0<Ly^b, с>0.в области 0<а^х^1, 0<Ly^b, с>0.ИмеемИмеемдТ дх ЭТ дудТ дх ЭТ ду1 х-|-Зг/ + 2с 2 А + «/ + с)3/21 х-|-Зг/ + 2с 2 А + «/ + с)3/2>0,>0,1 Зх + t/ + 2с2 (х + у + с)3/2<0-1 Зх + t/ + 2с2 (х + у + с)3/2<0-Следовательно, Т достигает минимума в допустимой области при х = а, у = Ь.Поэтому величина ц будет оценена снизу, если в (П.18) V (Д*) заменить на Р (Д*) — х V Р И*), a v"^*) —на Р (Д*). Таким образом,У2Р(А*)-кУР (Л*) + ДСледовательно, Т достигает минимума в допустимой области при х = а, у = Ь.Поэтому величина ц будет оценена снизу, если в (П.18) V (Д*) заменить на Р (Д*) — х V Р И*), a v"^*) —на Р (Д*). Таким образом,У2Р(А*)-кУР (Л*) + ДДалее, поскольку Р(Д*)>х, 2/>-^-, имеемДалее, поскольку Р(Д*)>х, 2/>-^-, имеемН>Н>х/2Р (Л*)/2Р(Л*) —х2+х3х/2Р (Л*)/2Р(Л*) —х2+х3
при условии
при условии
jA^+j- ]А(Л*)+2Т
jA^+j- ]А(Л*)+2Т
(П.18)
(П.18)
V' (Д*)<Р(Д*) —х)/Р И*), v"(4*)> Р(Д*), Р (Д*) >> х2.
V' (Д*)<Р(Д*) —х)/Р И*), v"(4*)> Р(Д*), Р (Д*) >> х2.
Для этого найдем минимум функции
Для этого найдем минимум функции
х—у
Ух + у+с
х—у
Ух + у+с
в области 0<а^х^1, 0<Ly^b, с>0.
в области 0<а^х^1, 0<Ly^b, с>0.
Имеем
Имеем
дТ дх ЭТ ду
дТ дх ЭТ ду
1 х-|-Зг/ + 2с 2 А + «/ + с)3/2
1 х-|-Зг/ + 2с 2 А + «/ + с)3/2
>0,
>0,
1 Зх + t/ + 2с
2 (х + у + с)3/2<0-
1 Зх + t/ + 2с
2 (х + у + с)3/2<0-
Следовательно, Т достигает минимума в допустимой области при х = а, у = Ь.
Поэтому величина ц будет оценена снизу, если в (П.18) V (Д*) заменить на Р (Д*) — х V Р И*), a v"^*) —на Р (Д*). Таким образом,
У2Р(А*)-кУР (Л*) + Д
Следовательно, Т достигает минимума в допустимой области при х = а, у = Ь.
Поэтому величина ц будет оценена снизу, если в (П.18) V (Д*) заменить на Р (Д*) — х V Р И*), a v"^*) —на Р (Д*). Таким образом,
У2Р(А*)-кУР (Л*) + Д
Далее, поскольку Р(Д*)>х, 2/>-^-, имеем
Далее, поскольку Р(Д*)>х, 2/>-^-, имеем
Н>
Н>
х/2Р (Л*)/2Р(Л*) —х2+х3
х/2Р (Л*)/2Р(Л*) —х2+х3
, _ 1< >2р ^ частота, _ 1< >2р ^ частота
, _ 1
< >2р ^ частота
, _ 1
< >2р ^ частота
Таким образом, при выполнении QD а также условий Р(Д*)^у"(Д*) и ^>-^2, выполняется и Q2.
выбирается незави-выбирается незави-Заметим, что вторая полувыборка Сймо от первой и, как известно, при
выбирается незави-
выбирается незави-
выпадания события Д* с вероятностью 1/4 превышает Р (Д*). Поэтому событие
выполняется при условии выполнения Qi с вероятностью, большей 1/4, если только
Таким образом, при ^>"2^г
Лемма доказана.
Лемма П.З. Справедлива оценка
P{Q2)<2ms {21) е~^.
Доказательство. Обозначим через Рд{Х2г) величину
RA {X21) = |V^1™ML.
У V (Я)+|
Тогда оцениваемая вероятность равна
P{Q,)= 5 e[sup^(X2')-xldP(X«).
X (2Z) UeSJ
Здесь интегрирование ведется в пространстве всех возможных выборок длины 2/.
Рассмотрим теперь все возможные перестановки Tt (i=l, 2, ..., (2/)!) последовательности хь ..., х^.
Для каждой такой перестановки Т\ справедливо равенство
t 6 [sup RA(X^-xAdPm =
Х(20 ^GS-I
= < 6 Г sup RA <TiX^ - xl dP (X^y
X (21) M^Sj
Поэтому справедливо равенство
( 0[ supRA<X^-xAdP(X^ =
(2Z)!(2Z)!X&o t^GS-I
(2Z)!
(2Z)!
Olsup^^t^O-xl dP (X20. esJ
Рассмотрим теперь подынтегральное выражение. Так как в нем выборка х1? ..., х2/ фиксирована, то вместо системы событий S можно рассматривать конечную систему событий S', куда входит по одному представителю из каждого класса эквивалентности.
Таким образом, справедливо равенство (2Z)!
(2/)!
Далее справедливо
(2Z)I
^29^upR,(7-,X)«-x]<
(2/)!
<w2 2 q^a №')-«]=
i = 1 A G S'
(2Z)I\
= 2 ш2е^№-4 (n-19) A e S'Z — 1)
Выражение в фигурных скобках есть вероятность уклонения частот в двух полувыборках для фиксированного события А и для данного состава полной выборки.
Эта вероятность равна
рк pl—kр V — m
к
где т — число выпаданий событий А в полной выборке, к — число выпаданий событий в первой полувыборке, к пробегает значения
max (0, т — /)^&^min(m, /),
1 кт — к I
-X.
ЛГ ^ + 1
V 21
Обозначим через х' величину
В этих обозначениях ограничения примут вид шах (0, т — I) ^ k^ min (m, /),
В § П.5 была найдена оценка величины Г при ограничениях (П.20)
Г С 2 exo 1(z + ^ ^У'ЛI /pj 21) 1<2ехр|(m+1) (2/-~m+l) J *
Выражая (П.19) через х, получим
Г<Г<2ехр2ехрх2 (/+!)/2 (2/ — т+\ух2 (/+!)/2 (2/ — т+\у
Г<
Г<
2ехр
2ехр
х2 (/+!)/
2 (2/ — т+\у
х2 (/+!)/
2 (2/ — т+\у
Правая часть неравенства достигает максимума при т = 0. Таким образом,
Г<2ехр{--^}.(П.22)
Подставим (П.22) в правую часть (П.19) и проведем интегрирование
Р (Q2) < 2/ns (2/) exp {- ^-} •(П.23)
Лемма доказана.
Из неравенств (П.17) и (П.23) следует справедливость теоремы.
ГЛАВА VII
МЕТОД МИНИМИЗАЦИИ ЭМПИРИЧЕСКОГО РИСКАВ ЗАДАЧЕ ВОССТАНОВЛЕНИЯ РЕГРЕССИИ
О равномерной сходимости среднихк математическим ожиданиям
В этой книге задача обучения распознаванию образов сформулирована как наиболее простая задача восстановления зависимостей по эмпирическим данным. Элементарность ее определяется тем, что задача сводится к минимизации функционала
I (а) = $ (z/ — F (х, а))2 Р (х, y)dxdy (7.1) с неизвестной плотностью Р (х, у), по выборке
Х1, уг, ...; хь уь(7.2)
в ситуации, когда у принимает лишь два значения — нуль и единица, a F (х, а) — класс характеристических функций.
Задача восстановления регрессии считается более сложной. Она также сводится к минимизации функционала с неизвестной плотностью Р (х, у) по выборке (7.2), но здесь значение у может быть любым числом, а класс F ^х а) принадлежит интегрируемым с квадратом функциям.
Поэтому построение теории минимизации риска (7.1) в классе не обязательно характеристических функций F (х, а) путем минимизации эмпирического функционала
i
W^^<til-F<xb < (7.3) i = 1
может рассматриваться как обобщение результатов теории, полученной в предыдущей главе, на более широкий класс функций.
В этой главе мы построим теорию восстановления регрессии методом минимизации эмпирического риска (7.2) как естественное обобщение решения задачи обучения распознаванию образов.
Возможность провести такую точку зрения представляется нам впервые. Использование параметрических методов в задачах распознавания образов (гл. III) и восстановления регрессии (гл. IV, V) не позволяло это сделать. Решение задач проводилось в условиях существенно различных моделей плотностей Р(х, у): в задаче обучения распознаванию образов структура плотности определялась объединением двух плотностей, а в задаче восстановления регрессии— схемой измерения с аддитивной помехой. Здесь же принцип решения задач один и тот же: поиск функции, минимизирующей (7.1), проводится путем минимизации эмпирического функционала (7.3).
В предыдущей главе были получены условия, при которых этот путь приводит к успеху для класса характеристических функций F (х, а). Теперь мы найдем условия, гарантирующие успех применения метода минимизации эмпирического риска, если F (х, а) — класс функций более общей природы.
В задаче распознавания образов функционал (7.1) для каждого фиксированного а определяет вероятность некоторого события (неправильной классификации вектора, поступающего для распознавания), а эмпирический функционал (7.3) — частоту этого события, вычисленную по обучающей последовательности. Условия применимости метода минимизации эмпирического риска здесь связаны с существованием равномерной сходимости частот появления событий к их вероятностям по классу событий.
В задаче восстановления регрессии функционал (7.1) определяет для каждого фиксированного а математическое ожидание случайной величины
Ua) = (y~F(x, а))2,
а эмпирический функционал (7.3) — эмпирическое среднее этой случайной величины, найденное по выборке (7.2).
Выше (§ 1 гл. VI) было показано, что успех применения метода минимизации эмпирического риска может быть связан с существованием равномерной сходимости средних к математическим ожиданиям:
Р (sup | 7 (а) - 7, (ос) | > xl < ц (/, х),
1 “(7.4)
lim т] (/, х) —0.' '
/—*00
Было показано, что при выполнении условия (7.4) с вероятностью 1—т] значение функционала (7.1) в точке эмпирического минимума F (%, а9) уклонится от минимального в классе F ^х, а) значения / (а0) не более чем на 2х:
Р {I (аэ) -1 (а0) > 2х} < Т].
Таким образом, проблема сводится к отысканию условий существования равномерной сходимости средних к математическим ожиданиям и оценке скорости сходимости.
Частный случай
Как и раньше, начнем с простого случая: множество функций F (х, а) состоит из конечного числа N элементов
F (X) aj, ..., F (х, адг).
Для этого случая справедливо неравенство
Р {sup 11 (а<) -I9 (a,) I > х} < 2 р И I («<) - U {pi) I > х} ^^.supP{|/(az)-/3(a,)|>x}.(7.5)
В главе VI в аналогичной ситуации при оценке скорости равномерной сходимости частот появления событий к их вероятностям использовалась нетривиальная оценка второго сомножителя. Здесь же нетривиальная оценка сомножителя
sup Р {| I (а<) — /э (az) I > х},
вообще говоря, невозможна— случайная величина /9 (az) может иметь «большие выбросы», и поэтому ее отклонение от среднего 7(az) может быть любым. В главе II мы уже сталкивались с ситуацией, в которой для получения гарантированной оценки математического ожидания по величине эмпирического среднего необходимо было учесть меру «возможного выброса». В частности, было показано (см. гл. II, § 2), что для этого достаточно знать либо оценку величины возможных потерь
sup (у — F (х, а))2^т,
а, х, и
либо оценку относительной величины дисперсии потерь
1 -Т.1 -Т.) (у — F^x, а))4 Р (х, у) dx dy(\ (y — F (х, а))2 Р (х, у) dx dy^
1 -Т.
1 -Т.
Таким образом, для получения оценок скорости равномерной сходимости средних к математическим ожиданиям должна быть использована априорная информация о величине возможных выбросов. Заметим, что при решении задачи обучения распознаванию образов такая проблема не возникала — согласно постановке в этой задаче величина функции потерь (у — F (х, а))2 не превышает единицу, т. е. априорная информация о выбросах содержится в самой постановке.
В этой главе мы используем оба типа априорной информации о выбросах и для каждого из них получим оценку скорости равномерной сходимости.
Наиболее простым условием, при котором возможно получение оценки скорости равномерной сходимости средних к математическим ожиданиям, является условие равномерной ограниченности потерь
(y-F(x, а))2^т (7.6)
для всех а, х^Х, y^Y.
Пусть имеет место неравенство (7.6). Покажем, что в этом случае справедлива оценка
Р (sup 11 (az) - и (az) I > хт| < 18Nle 4.
Для получения этой оценки запишем функционалы Z(az) и Z9(az) с помощью интегралов Лебега:
/ (a,.) = jirn р \<У - F (х, а,))2 > У/ (a,.) = jirn р \<У - F (х, а,))2 > УпЛЫ = lim У ^vhy-F (х,/ = 1пЛЫ = lim У ^vhy-F (х,/ = 1«,))2>«,))2>М п J 'М п J '(7.7)(7.7)
/ (a,.) = jirn р \<У - F (х, а,))2 > У
/ (a,.) = jirn р \<У - F (х, а,))2 > У
п
ЛЫ = lim У ^vhy-F (х,
/ = 1
п
ЛЫ = lim У ^vhy-F (х,
/ = 1
«,))2>
«,))2>
М п J '
М п J '
(7.7)
(7.7)
где через v {(у — F (х, а,))2 > У- обозначена частота события j(z/ —f(x, а,))2>У, вычисленная по обучающей
последовательности (7.2). Обозначим событие
{(У{(У-F^x, а,))2-F^x, а,))2АпАп
{(У
{(У
-F^x, а,))2
-F^x, а,))2
Ап
Ап
через Ла/ . Тогда, согласно (7.7),
11 («/) - /, Н I ^ Ит У I Р (Ла ,) - V (Ла ;) I
<т8ир|Р(Лар/)-у(Лаг/)[.
Таким образом,
Р {11 («<) - к («,) | > тх} < Р {sup | Р (Аа? ,)—v (Аа.,,) | > х}.
Рассмотрим теперь класс событий Ла/> р:
^y-F^ «а)2>Р},
где Р — неотрицательная величина.
Очевидно, этот класс содержит события {Ла., /}, откуда следует
Р {sup IР (АК{>,) - V (Aai, | > х{ <
Р {sup Р I (Ла., р) - V (Л„;. р) I > х|.
И задача свелась к оценке равномерной сходимости частот к вероятностям по классу Sp событий Ла/>р (с фиксированными значениями <xz).
Используя результаты предыдущей главы, оценим скорость равномерной сходимости частот к вероятностям по классу событий
Sp = {*. у; (y-F(x, ^))2>Р}.
Для этого оценим функцию роста т8^ (/). Так как с помощью правил
0 [(Г/ —F(x, az))2-p]
(^ — фиксировано) всеми возможными способами можно делить лишь одну точку х, у, то, согласно теореме 6.6, справедливо
т8» (/) <1,5/.
Следовательно, используя теорему П.2 Приложения к гл. VI, получим
Р{| / (а,)-/э (а,)|>та}<
Р {sup IР (Да<> р) - v (Дар р) I > xj. <
С^тЧ^е 4 <18/^ 4.(7.8)
Правая часть неравенства не зависит от параметра а. Поэтому наряду с (7.8) справедливо и более сильное утверждение
sup Р {| I (а) — /э (а) | > тх} < 18/^ 4 . а
Теперь, возвращаясь к оценке (7.5), получаем
Р (sup | / (а) - /э (а) I > тх| < 18Ме 4 .
Потребуем, чтобы эта вероятность равнялась тр
\8Nle 4 =л-
Для этого уклонение х должно быть не меньше
х== 2 у^п^ + Ь/ —In i|/18
Полученный результат может быть сформулирован в виде следующей теоремы.
Теорема 7.1. Пусть класс F (х, az) состоит из N функций, для которых величины потерь ^y — F^x, а))2 в области х е X и у е У равномерно ограничены константой т. Тогда с вероятностью 1 — т] можно утверждать, что одновременно для всех N функций F (х, az) имеет место неравенство
(«а - 2т j/’W+KTEEW < / н <
</,(=,) 4- 2т у ьгалэза.
Замечание. Теорема справедлива одновременно для всех N функций, в том числе и для той F (х а9), кото-
рая доставляет минимум величине эмпирического риска. Таким образом, имеет место неравенство
х ।1 /"In A^ + ln I — In n/18
I (“9) < Л (“э) + 2т |/ .
Итак, если функция потерь равномерно ограничена, а число функций F (х, <xz) в классе конечно, то имеет место равномерная сходимость средних к их математическим ожиданиям. Теорема 7.1 является прямым обобщением теоремы 6.1.
Обобщение на класс с бесконечным числом элементов
Пусть теперь класс F (х, а) состоит из бесконечного числа элементов и в то же время допускает покрытие конечной е-сетью в метрике С или метрике Lp. По-прежнему справедливо ограничение (7.6). Покажем, что в этом случае справедлива оценка качества правила, минимизирующего эмпирический риск, аналогичная той, которая следует из теоремы 7.1.
Теорема 7.2. Пусть множество функций F (х, а) покрыто конечной г-сетью F (х, <хх), ..., F (х, aNW\ Тогда с вероятностью 1 — т] качество функции F (х, аэ), минимизирующей эмпирический риск, оценивается величиной
I (аэ) < /э (а, (аэ)) + 2т ]/+ 2е Ух,
где F (х, az (аэ)) — ближайшая к F (х, аэ) функция г-сети.
Доказательство теоремы 7.2 проводится по той же схеме, что и доказательство теоремы 6.4.
1°. На множестве функций F (х, а) выделим конечную е-сеть, состоящую из N (е) элементов
F (х, ах), ..., F (х, а,^).
Согласно теореме 7.1 с вероятностью 1—т] одновременно для всех элементов 8-сети справедливы неравенства
/ («а < /э («а+2т -j/tn^^+^-^n/is,(7 9)
2°. Оценим величину уклонения функционалов /(аа и / (а2) для функций F (х, ах), F (х, а2), отстоящих друг
от друга не более чем на е, т. е. найдем наименьшее 6(e), при котором выполнится неравенство
1/Ы-/Ы 1^6(8),
если только окажутся выполненными условия
Pl («1, «г) = ($ У7 (х, aj — F (х, а2))2 Р (х) dx)1/2е, ^
(pc(“i, а2) = sup | F (ххах) - F (хь a2)|^s
Для этого проведем преобразования:
\На1)-1 <аг)\ = \\<У-17^х> а1)Ур^ y)dxdy —
— ^(y — F(x, а^уР^х, y)dxdy\ —
= | § (F (х, cq) — F (х, а2)) X
X (2у — F (х, ах) — F (х, а3)) Р (х, у^ dx dy | $5
^ е Е^^ (2у — F (х, ах) — F (х, а2))2 Р (х, у') dx dy.
Здесь мы воспользовались неравенством Коши и оценкой (7.10). Далее воспользуемся выпуклостью функции (y-F(x, а))2:
^(2y — F {х, ах) — F (х, а2))2 Р (х, у') dx dy $5
^2$(y-F(x, «ууР^х, y)dxdy +
+ 2 $ (у — F (х, а2))2 Р (х, у) dx dy.
Таким образом, получаем
11 («1) - / (а,) | ^ 8 Г2 (/ («1) + / (а2)).(7.11)
Но, согласно условию, /(а)^т. Окончательно получаем |/(а1)-/(а2)|^28Кт.(7.11а)
3°. Пусть теперь F ^х, аэ)— функция, доставляющая минимум эмпирическому риску. Выберем ближайшую к F (х, аэ) функцию F (%, az (аэ)) s-сети: F (%, а^, ... • • F^x, oln^Y
Для этой функции с вероятностью 1—Т] ВЫПОЛНИТСЯ неравенство (7.9). Усилим его, воспользовавшись оценкой
(7.11а). В результате получим
I («э) < Л («z («э)) + 28 Гт + 2т 1/ v-^-t1—.
(7.12)
Теорема доказана.
Замечания. Теорема справедлива для любой величины 8 (заданной до момента появления выборки). Поэтому величину е можно выбрать из условия минимума выражения
г(8)=8Гт+т]/П1^М±!"^^
Заметим также, что для любого множества F (х, а) и любого 8 минимальное число элементов 8-сети, построенной в метрике Ер нс больше минимального числа элементов 8-сети в метрике С. Поэтому оценка (7.12) будет более точной, если 8-сеть строится в метрике Ер. Однако, для того чтобы задать эту метрику, надо знать плотность Р (%).
§ 4. Емкость множества произвольных функций
В главе VI мы ввели понятие «емкость» для множества характеристических функций. Емкость определялась максимальным числом точек хг, ..., xh, которые всеми возможными способами могли быть разделены на два класса с помощью заданного множества характеристических функций.
Распространим теперь понятие «емкость» на множества функций F (х, а) произвольной природы. Для этого введем параметрическое множество характеристических функций
Fix, у; а, ^ = Щу-Р(х, <ЧР)
(по параметрам а, Р; Р — действительное число).
Определение. Назовем емкостью множества F (%, а) — емкость множества характеристических функций F (х, у; а, 0).
Таким образом, емкость множества F (х, а) определяет наибольшее число h пар хь yh которые всеми возможными способами можно разбить на два класса с помощью правил Fix, у; а, Р).
Емкость множества линейных по параметрам функций
F (^. «) = 5 “^i (х) равна /г +1.
При таком определении емкости функция роста системы событий
Sa.p = k, у: <y-F<x, a))2>P}при l>h оценивается величинойт8^ ₽(/)< 1,511
Итак, пусть емкость множества функций F (%, а) равна h и по-прежнему функция потерь ограничена величиной т. В этих условиях справедлива
Теорема 7.3. При l>h с вероятностью 1—т) одновременно для всего класса функций F (х, а) выполняются неравенства
/э(а)-2тГ-</(«)<
1/41пТ + 1)-1п1 < и (а) + 2т V -Г•
Доказательство. Выразим функционалы /(а) и /э(а) через интегралы Лебега:
/(a) = Ит У - P^y-Flx, a))2>-k
/,(«)= Ит У^^^-Р^х, a))2>^k n->00 ■\)
Здесь Р j(y — F (%, a))2 > —J означает вероятность события ^(у — F (%, а))2 > ^ , а v ^(у — F (х, а))2 > ^ — частоту этого события, вычисленную на обучающей последовательности.
Обозначим через Ла>|з^Зар событие
U»-F^ а))2>Р}.
Тогда
\Ha)-w\^ нт У ^-iр(ла,а-v(ла,а|.п-*оо
= 1
И следовательно,
|/(а)-7э (a)|^TSup | Д (Ла,р) - v (Ла, р) |.
р
Далее следует
Р {sup | / (а) — /э (а) | > тх{ <5
^ Р /sup I Р (Аа, р) - V (Ла, р) I > х|. la, РJ
Так как при l>h функция роста системы событий Sa,p ограничена величиной 1,5^, то, используя теорему П.2 Приложения к гл. VI, получим
Р (sup | / (a) — /э (а) | > тх| <
laf
x2/(<)i\h^< 6ms (2/)< 9^-.(7.13)
Приравняв правую часть неравенства величине ц и разрешив это равенство относительно х, получим
Таким образом, из (7.13) и (7.14) следует, что при l>h с вероятностью 1 — т] одновременно для всех функций множества F (х, а) выполняются неравенства
-1Г Л On ^- + 1) — 1пц/9
/э (а) - 2т V У J </(“)<
< /э(а) + 2т< /э(а) + 2т
< /э(а) + 2т
< /э(а) + 2т
Теорема доказана.
§ 5. Равномерная ограниченность отношения моментов
Пусть теперь выполнены условия
V( (у — F (х, ос)рр Р (х, у) dx dySUp a ) (У — F (x, a))2 P (%, y) dx dyV( (у — F (х, ос)рр Р (х, у) dx dySUp a ) (У — F (x, a))2 P (%, y) dx dyT,T,P3=2,P3=2,(7.15)(7.15)
V( (у — F (х, ос)рр Р (х, у) dx dy
SUp a ) (У — F (x, a))2 P (%, y) dx dy
V( (у — F (х, ос)рр Р (х, у) dx dy
SUp a ) (У — F (x, a))2 P (%, y) dx dy
T,
T,
P3=2,
P3=2,
(7.15)
(7.15)
т. e. для всякого фиксированного a = отношение среднего р-го порядка случайной величины т)
Е (се*) — (у — F (%, а*))2
к среднему первого порядка нс превосходит т.
Выполнение условия (7.15) явится тем основным требованием, которое мы будем предъявлять при решении задач восстановления зависимостей и решении некорректных задач.
Для р = 2 это требование эквивалентно требованию равномерной ограниченности относительной величины дисперсии, рассмотренной в § 2 гл. II, причем число та, ограничивающее относительную величину дисперсии, связано с числом т, ограничивающим относительную величину среднего второго порядка, соотношением
Т = ]/То+1.
Условие (7.15) является достаточно слабым. Так все параметрические схемы восстановления регрессии, рассмотренные в главах IV и V, удовлетворяют условию (7.15), причем т заключено в узких пределах 1,35 <т <2,45 (см. § 3 гл. II).
Ниже мы покажем, что если наряду с (7.15) выполнится одно из следующих трех условий:
множество F (х, а) состоит из конечного числа элементов,
множество F (х, а) может быть покрыто конечной е-сетью,
множество функций F (х, а) имеет конечную емкость, то метод минимизации эмпирического риска позволяет решать задачи восстановления зависимостей.
х) Средним р-го порядка случайной величины £ называется величина уМу»
Итак, оценим скорость равномерной сходимости средних к математическим ожиданиям в условиях, когда выполняется (7.15), а класс функций имеет ограниченную емкостную характеристику в любом из рассмотренных определений.
§ 6. Две теоремы о равномерной сходимости
В этом параграфе мы докажем две из трех основных теорем, оценивающих скорость равномерной сходимости средних к математическим ожиданиям. Мы рассмотрим случай, когда множество функций F (х, а) состоит из конечного числа элементов, и случай, когда множество функций может быть покрыто конечной 8-сетью в метрике С или Lp.
При доказательстве обеих теорем будет существенно использован следующий факт: пусть некоторая функция F (х, а*) такова, что для нее выполняется условие
VVy—F^x.a^PP^y'idxdg
—^т, р ^ 2.(7.16)
) (у — F (х, а*))2 Р (х, у) dx dy
Тогда, если ограничение (7.16) задастся для моментов р> >2, то справедливо неравенство
п (I (а*) — /э (а*) _, х 1л
Р—->та(р)х> <24/^ 4 ,(7.17)
(/ (а*)।\/
где
a^=V <7-18)
Если ограничение (7.16) задается для р = 2, то справедливо неравенство
Р>™ 1/1-1 In х)< 241е""^. (7.19)
(/ (а*)V 2 Jv 7
Заметим, что при р^З значение а^ в (7.17) близко к единице. Большое значение величина а^ принимает лишь, когда р близко к 2.
Эти оценки будут получены как следствие из теоремы 7.6, приведенной в § 7.
Теорема 7.4. Пусть выполнено условие (7.15), а класс функций F (х, а) состоит из конечного числа N элементов.
Тогда, если в ограничении (7.15) р>>2, то с вероятностью 1 — г] одновременно для всех функций из класса F (%, а) выполнятся неравенства
(7.20)(7.20)U (а)
(7.20)
(7.20)
если же р = 2, то с вероятностью 1— т] одновременно для всех функций F ^х, а) выполнятся неравенства
1 2т лГ^n ^ + ^n —^n ^^Z i|n^/ln^ + lnZ—1пД/24\\ ’
(7.21)
где
г л Г z, если z^O,Исю = 1л
( оо, если z «< 0.
Доказательство. Пусть в условии (7.15) р>2. Воспользуемся неравенством
Р {S?p ' ^"Г^^ > wa (Р)} <
< N sup Р {^т^у-^ > хт« (р)}. (7.22)
Оценим второй сомножитель правой части неравенства (7.22) с помощью (7.17). Получаем оценку
р {sup ‘"^тй^" > тха ^)} < ^Nle~•
которая может быть записана в виде следующего эквивалентного утверждения: с вероятностью 1— т] одновременно для всех az справедливы неравенства
1 («/) <1 («/) </э (а.)/э (а.)1 — 2та1 — 2таIn N 4- In I — In д/24 Z.In N 4- In I — In д/24 Z.
1 («/) <
1 («/) <
/э (а.)
/э (а.)
1 — 2та
1 — 2та
In N 4- In I — In д/24 Z.
In N 4- In I — In д/24 Z.
Первое утверждение теоремы доказано.
Аналогично для случая о = 2 следует воспользоваться оценкой (7.19), используя которую в правой части пера-
венства (7.22) получим оценку скорости равномерной сходимости, которая в эквивалентной форме и является утверждением теоремы.
Теорема 7.5. Пусть выполнено условие (7.15), и пусть множество F (х, а) может быть покрыто конечной г-сетью. Тогда с вероятностью 1 — т) можно утверждать, что качество функции F (%, аэ), доставляющей минимум эмпирическому риску, оценивается величиной
1-7(8)1-7(8)1 («э) < (8
1-7(8)
1-7(8)
где обозначено: F (х, а; (аэ)) — ближайший к F (х, аэ) элемент е-сети,
/
In N (e) + ln I — In ri/24. о
—, если р > 2;
Т^ =
= 2т]/"iL^W + lr^lnjT^(1 _ 1 1п4^1пЛЧеШп£-^^
если р = 2.
Замечание. Теорема 7.5 справедлива для любого 8, задающего s-сеть, выбранного априорно, т. с. до того, как реализовалась случайная выборка.
В частности, 8 может быть выбрано из условия минимума выражения
где с —некоторая константа. Разумно в качестве с выбирать величину, близкую к минимуму функционала / (а0). Априорная информация о величине / (а0) используется, таким образом, для выбора подходящей величины 8.
Доказательство этой теоремы, по существу, повторяет доказательство теоремы 7.2.
1°. Выберем произвольную 8-сеть. При р>2, согласно теореме 7.4, с вероятностью 1 — т] одновременно для всех элементов 8-сети выполнятся неравенства
/Ы
П («/)
1 Q / \^ (е) + 1П
1-2та(р) у k у
I — In т)/24
-OQ
(7.23)
2°. Согласно оценке (7.11), полученной при доказательстве теоремы 7.2, значения функционалов / (а) для функций F (%, аэ) и F (х, cq (аэ)), отстоящих друг от друга в метрике С или Ер на величину, меньшую 8, уклонятся на величину, не превосходящую
| / (аэ) — / ^ (аэ)) | < 28(7.24)
Будем различать два случая: случай, когда / (аэ)> >H^i^^V и случай, когда I (аэ) ^ I ^i (аэ)).
В первом случае из (7.23) и (7.24) следует, что с вероятностью 1—т] справедлива оценка
Дп W (е) + In Z — In r)/24
(7.25)
Во втором случае с вероятностью 1 — т] оценка
/ (“Э) </ (“Э) </э (а/ (аэ))/э (а/ (аэ))1 —- 2та (р)1 —- 2та (р)j/"ln ^ (s) + ln Z —In т|/24j/"ln ^ (s) + ln Z —In т|/24-4“ 2е ^ / (аг(аэ))*(7.25a)-4“ 2е ^ / (аг(аэ))*(7.25a)
/ (“Э) <
/ (“Э) <
/э (а/ (аэ))
/э (а/ (аэ))
1 —- 2та (р)
1 —- 2та (р)
j/"ln ^ (s) + ln Z —In т|/24
j/"ln ^ (s) + ln Z —In т|/24
-4“ 2е ^ / (аг(аэ))*
(7.25a)
-4“ 2е ^ / (аг(аэ))*
(7.25a)
4°. Разрешим неравенство (7.25) относительно / (аэ):
7 (аэ) <7 (аэ) <1 _2то (р) у^пАЧеЩп^п^1 _2то (р) у^пАЧеЩп^п^(7.26)(7.26)
7 (аэ) <
7 (аэ) <
1 _2то (р) у^пАЧеЩп^п^
1 _2то (р) у^пАЧеЩп^п^
(7.26)
(7.26)
Учитывая (7.23), убеждаемся, что оценка (7.26) справедлива и в случае (7.25а).
Аналогично доказывается теорема и для р = 2.
Замечание. Так же как и в теореме 7.2, оценка (7.26) будет меньше (меньше величина N (е)), если s-сеть строится в метрике Ер, т. с. в случае, когда используется информация о плотности Р (х).
Теорема о равномерном относительном уклонении
Докажем третью основную теорему.
Теорема 7.6. Пусть выполнено условие (7.15), а множество функций F (%, а) имеет конечную емкость h<l; тогда, если р>2, то с вероятностью 1 — т] одновременно
для всех функций F (%, а) окажутся выполненными неравенства
если же р — ^ то с вероятностью 1 — т) одновременно для всех функций F (%, а) выполнятся неравенства
где
In ^+ iVln(А I, ^ = ^АJ.
Доказывать теорему мы будем сначала для случая, когда ограничение (7.15) задано с помощью константы р>2, и затем для случая, когда константа р — ^.
Для доказательства выразим функционал /(а) через интеграл Лебега
/(a) = f P{(y-F(x, а))2 >/}<#.(7.27)
о
Заметим, что для всякого фиксированного а и любого t вероятность события {(# — F (х, а))2>/} выражается через функцию распределения вероятностей положительной случайной величины £ (а) = (у — F (%, а))2, а именно, функция распределения вероятностей случайной величины £ (а):
Ф(^М = Фа (0
связана с вероятностью появления события {(^у — F^x, a))2>/} соотношением
Рa))2>/} = 1 -Ф„(0-
Поэтому запишем функционал (7.27) в виде
/(а) = $(1-Фа(0)^.
Введем в рассмотрение новый функционал Я(а) = $/1-фа ^dt.
Легко видеть, что он больше, чем / (а), так как
Справедлива следующая
Лемма. Если для каждой функции множества F (х, а) существует функционал R (а), а множество функций F (х, а) имеет конечную емкость h<Zh то справедливо неравенство
/ (а) — /э (а))
fV“P R(«)>•*}<
х2/, ^
<8ms(2l)e"^4 . (7.28)
Доказательство. Обозначим через Ла,/ событие ^(у — F (х, °0)2>~}- Рассмотрим выражение
/(а) —/э(а)RW/(а) —/э(а)RWНт 5 V Р <Ла-')- У ^Oa-l) l-* ОО'*'Нт 5 V Р <Ла-')- У ^Oa-l) l-* ОО'*'R^R^-. (7.29)-. (7.29)
/(а) —/э(а)
RW
/(а) —/э(а)
RW
Нт 5 V Р <Ла-')- У ^Oa-l) l-* ОО'*'
Нт 5 V Р <Ла-')- У ^Oa-l) l-* ОО'*'
R^
R^
-. (7.29)
-. (7.29)
(7.30)(7.30)Покажем, что если выполняется неравенство
(7.30)
(7.30)
a-i yP(Aa,i)
то выполнится и неравенство
supsup/ (а) —/9 (а)/ (а) —/9 (а)Действительно, из (7.29)Действительно, из (7.29)R (а)' ~‘и (7.30) следуетR (а)' ~‘и (7.30) следуетlimlim/(а) —/э(а) suap/(а) —/э(а) suapX 2 ^P Oa.i)X 2 ^P Oa.i)RWRW= sup а= sup а«R (а)«R (а)
sup
sup
/ (а) —/9 (а)
/ (а) —/9 (а)
Действительно, из (7.29)
Действительно, из (7.29)
R (а)' ~‘
и (7.30) следует
R (а)' ~‘
и (7.30) следует
lim
lim
/(а) —/э(а) suap
/(а) —/э(а) suap
X 2 ^P Oa.i)
X 2 ^P Oa.i)
RW
RW
= sup а
= sup а
«R (а)
«R (а)
Таким образом, вероятность выполнения неравенстваsun 1
S“P ^(a) >Z
не превышает вероятность выполнения неравенства
supa, isupa, i
supa, i
supa, i
В свою очередь, согласно теореме П.З приложения к главе VI, справедлива оценка
р {sup -^--!—W VP (Аа,рр {sup -^--!—W VP (Аа,р_ x2^ 8ms (2/)e” “_ x2^ 8ms (2/)e” “
р {sup -^--!—
W VP (Аа,р
р {sup -^--!—
W VP (Аа,р
_ x2^ 8ms (2/)e” “
_ x2^ 8ms (2/)e” “
откуда следует, что
P (sup Д^Д™2 > х| < 8ms (2/) e r.(7.31)
p
Учитывая, что zns (/)<!, 5, получим оценку (7.28). Лемма
доказана.
Доказательство теоремы. В формулировке леммы содержалось требование: для любой функции F (х, сх) существует функционал R (а). Покажем теперь, что функционал R (а) существует, если существует момент порядка выше второго (хотя бы и не целого) для случайной величины
^^-(y-F(x, a))2.
Более того, для р 2> 2 справедливо соотношение
Р (“) < VМ^ (а) ■ а (р), а (р) = ]/^Р^р-! •
В самом деле, справедливо преобразование
Л1^р (а) =Д (у — F (%, а))2р Р (х, у) dx dy =
= \tP dOa (0 = P f IP-' (1 - Фа (0) di.
00
С другой стороны, согласно определению,
R(o^/1-Фа (Z)dtо
Пусть теперь р-й момент равен величине mp(a):
р $ ^ 1 (1 — Фа (0) dt = тр (а), о
Найдем такое распределение Фа(0, при котором максимизируется R (ос).
Для этого составим функцию Лагранжа
L (а) = R (а) - ХМ^р (а) = [/1-<М) dt - о
-Хр\ГЧ1-Фа^^. (7.32)
О
Определим такую функцию распределения вероятностей Фа(/), на которой достигается максимум выражения L (ос). Обозначим 22 — 1 — Фа (Z), b = кр и перепишем (7.32) в этих обозначениях:
L(a)=f 2(1 -bztP-^dt.ОL(a)=f 2(1 -bztP-^dt.О(7.33)(7.33)
L(a)=f 2(1 -bztP-^dt.
О
L(a)=f 2(1 -bztP-^dt.
О
(7.33)
(7.33)
Функция 2, на которой достигается максимум функционала (7.33), задается условием
i—^bztP^ — O,
откуда вытекает, что
где обозначено /0 = р
Учитывая, что при изменении t в пределах от нуля до бесконечности функция 2(/) должна меняться от единицы до нуля, оптимальной будет функция
?(0 =?(0 =1,1,еслиеслиеслиеслиt<t0)t<t0)t 5> /0.t 5> /0.
?(0 =
?(0 =
1,
1,
если
если
если
если
t<t0)
t<t0)
t 5> /0.
t 5> /0.
Вычислим теперь величину шах/? (а), учитывая, что р>2:а
оооо
max R (а) = j z dt = ta+\ ^\Р^ dt =(7-34)
аоо
С другой стороны, выразим через /0 константу тр:
тр = р^ z2(t)tP1dt = о
/оОО
в (7.34),в (7.34),= Р $ tP-1 dt + p^ ^Р^ dt = 2^ (^Lj. (7.35) О/о
в (7.34),
в (7.34),
Подставляя значение Zo, найденное из (7.35), получим
supаsupаV ^p (а)V ^p (а)
supа
supа
V ^p (а)
V ^p (а)
откуда следует, что если р > 2, то
R (а) < VМУ (а) а <р\R (а) < VМУ (а) а <р\(7.36)(7.36)
R (а) < VМУ (а) а <р\
R (а) < VМУ (а) а <р\
(7.36)
(7.36)
Используя лемму и оценку (7.36), докажем первую часть теоремы. Для этого заметим, что в условиях теоремы справедливо неравенство
R (а) <та (р) / (а).R (а) <та (р) / (а).(7.37)(7.37)
R (а) <та (р) / (а).
R (а) <та (р) / (а).
(7.37)
(7.37)
Воспользуемся оценкой (7.37) для того, чтобы усилить неравенство (7.28)
Р {SUP ^ЧтЙ^> ха (р)х) <
<РНР W4 * (7‘38)
Первое утверждение теоремы и есть эквивалентная запись этого неравенства.
Докажем теперь вторую часть теоремы. Для этого опять рассмотрим разность
/(«)-/,(«)= Нт У^Р^НМ (7.39) и,—* со
Допустим, что для всех событий Да>/ выполняется условие
Р (Да, а - V (Да, a < X /Р (Ла, z)•(7.40)
Кроме того, всегда справедливо
р(да,а-у(ла,а^р(Да.а. (7.41)
При вычислении суммы (7.39) воспользуемся оценкой (7.40) для тех слагаемых, для которых события Аад имеют вероятность, большую х2, т. е. Р(Ла>,)>х2. Для слагаемых, соответствующих событиям Aai с вероятностью Р (Ла> /) ^ х2, будем пользоваться тривиальной оценкой (7.41). В результате получим
/ (а) - /9 (а) =С
(7.42) правей прини-(7.42) правей прини-^Х $ ]/1-Фа(0^+ $ (1-Фа(0)Л. 1-Фа(0>х2 1-Фа(0<х2
(7.42) правей прини-
(7.42) правей прини-
Найдем теперь максимальное значение (по Фа(0) части неравенства при условии, что второй момент мает некоторое фиксированное значение т^ т. е.
2 ^(1 ^Фа^й1 = т^ о
Для этого воспользуемся методом множителей Лагранжа, обозначив
г2 —1—Фа(/).
Таким образом, будем искать максимум выражения
L (сс) = xz dt +22 dt — X k2 dt.
z >хг^х0
Представим L (а) в виде
L (а) = (xz — Xtz^ dt-V § (г2 — Xtz2) dt,2 >Х2^Х
в котором первое слагаемое определяет функцию z (t) в области, где z>x, а второе слагаемое — в области, где г<х.
Первое слагаемое достигает абсолютного максимума, когда
X
Однако, учитывая, что z — монотонно убывающая от 1 до х функция, получаем
f 1, если 0 t <
х (/) =.
v 7 XX _ , _ 1
( 2Х/ , если 2Г^^< 2Г*
Второе слагаемое достигает максимума в области г^'к на функции
х, еслиО, еслих, еслиО, если
х, если
О, если
х, если
О, если
Таким образом, окончательно получаем
1,
если
0 ^/<
х
2Х 1
2(0 = -
X
W ’
если
2Х
1
2Х '
X,
если
1
X ’
о,
если
-^t<
^ оо.
Выразим теперь величину т2 второго момента через множитель Лагранжа X. Для этого вычислим величину второго момента
т2 = 2 У /г2 dt = ^- (1 — ~ In х).(7.43)
о
Аналогично вычислим величину
1/2Хоо
/(«) —/,(а) = х J zdt + j* z^dt = ^ (1 - 1 Inх). (7.43а) О1/2Л
Из (7.43) и (7.43а) заключаем, что
sup< х дГ 1 _ -L 1п х(7.44)
а К/Ла (а)Г2V )
Таким образом, мы показали, что условие (7.40) влечет за собой неравенство (7.44). Поэтому вероятность события
sup ' <“>=У“>< а Г ^2 («)sup ' <“>=У“>< а Г ^2 («)l^-linx}l^-linx}
sup ' <“>=У“>
< а Г ^2 («)
sup ' <“>=У“>
< а Г ^2 («)
l^-linx}
l^-linx}
ГР (Лм)ГР (Лм)
ГР (Лм)
ГР (Лм)
не превосходит вероятности события
sup
I a,i
Согласно утверждению теоремы П.З приложения к главе VI вероятность этого события при / >/i оценивается неравенством (6.45), откуда следует
Hsup-^=М > х 1/ 1-|1пх}<
I а У /н2 (а)"2}
<8ms(2/)e 4 <124.
С другой стороны, по условию теоремы
Vт^ (а) = VМ^2 (а)т/ (а).
Учитывая это, получаем
1 («) —/9 (а)I (а)1 («) —/9 (а)I (а)*> XT*> XT
1 («) —/9 (а)
I (а)
1 («) —/9 (а)
I (а)
*> XT
*> XT
Таким образом, окончательно получаем, что при l>h справедливо
р {sup 7 ^vj? (а) > тх 1/" 1-у1пх}<
<8ms (21\е 4 <12-^-е 4 .(7.45)
Эквивалентная запись неравенства (7.45) и является утверждением второй части теоремы.
Замечание. При доказательстве теорем 7.4 и 7.5 мы пользовались оценками относительных уклонений (7.17) и (7.19). Эти оценки легко могут быть получены из неравенств (7.38), (7.45), если учесть, что емкость класса решающих правил F (%, а), образованного фиксированной функцией F (%, а*), равна единице.
Замечания о теории равномерной сходимости
Итак, мы построили теорию равномерной сходимости средних к их математическим ожиданиям. Формально теория строилась для квадратичной функции потерь.
Однако полученные результаты справедливы и для функций потерь общей природы.
Н. Вапник
Ниже мы сформулируем основные утверждения теории равномерного уклонения эмпирических оценок от средних в общей постановке.
Доказательство этих утверждений тождественно доказательствам аналогичных теорем, рассмотренных выше:
Пусть Q (z, а) > 0 — параметрическое семейство положительных функций, удовлетворяющих следующим условиям:
при любом фиксированном значении параметра а* еЛ функции Q(z, а) измеримы по z;
множество функций Q (z, а) имеет конечную емкость h (характеристические функции 9 (Q(z, а) + Р) имеют емкость Ку
Тогда справедливы следующие утверждения о скорости равномерной сходимости эмпирических средних:
i
I»k^ = \ ^QkZb а),
1 = 1
построенных по выборке гъ ..., zt к их математическим ожиданиям:
7 (а) = $ Q (z, а) Р (z) dz.
Утверждение 1. Если для функций Q^z, а) существует функционал
7? (а) = $ yi-P^Q(z, а) ^ /} dt, то при l>h справедливо неравенство
Утверждение 2. Если для функций Q^z, а) существует второй момент
т^ (а) = $ Q2 (z, а) Р (z) dz, то справедливо неравенство
Р {sup и«^\ > х<12^7
/т2(а) V Ч ) h\
Утверждение 3. Если для функций Q (z, а) существует р-й момент (р > 2)
mp(a) = ^Qp ^z, a)P(z)dz,
то при l>h справедливо неравенство
/ (а) —/э (а), х
Pjsup- -—• >а(р) xl < 12-^—4 ,(аV тр (а))^
где
Утверждение 4. Если окажется выполненным условие
pv тр (а)pv тр (а)(Р>2),(Р>2),
pv тр (а)
pv тр (а)
(Р>2),
(Р>2),
то при l">h с вероятностью 1 — т) одновременно для всех а будет выполнено неравенство
/(«)</(«)<U (а)U (а)(7.47)(7.47)0000
/(«)<
/(«)<
U (а)
U (а)
(7.47)
(7.47)
00
00
Если же выполнится условие
supGtsupGtКПЧ (а)КПЧ (а)/ (а)/ (а)
sup
Gt
sup
Gt
КПЧ (а)
КПЧ (а)
/ (а)
/ (а)
то при l>h с вероятностью 1 — т) одновременно для всех а будет выполнено неравенство
В главах VIII и IX мы используем построенную теорию равномерной сходимости для конструирования экстремальных алгоритмов восстановления зависимостей в условиях ограниченной выборки, а пока лишь отметим, что если только выполнено условие (7.15) и емкость класса функций F (х, а) ограничена, то в соответствии с построенной теорией метод минимизации эмпирического риска при достаточном объеме выборки приводит к отысканию
9*
функции, близкой к наилучшей в классе. Действительно, в этом случае знаменатель в оценках (7.47), (7.48) близок к единице, и величину среднего риска определяет величина эмпирического риска.
Основные утверждения главы VII
Успешное решение задачи восстановления регрессии методом минимизации эмпирического риска может быть гарантировано в случае равномерного (или равномерного относительного') уклонения средних от их математических ожиданий.
Равномерное (или равномерное относительное) уклонение может иметь место, если существует ограничение на возможные величины потерь. Такими ограничениями являются*.
ограничение на величину потерь
sup (у — F (х, а))2^т,
г, у, а
ограничение на отношение моментов
V М (y—F(x, а^р _
SU/ M(y—F(x, а))2
При выполнении соответствующих ограничений и достаточном объеме выборки метод минимизации эмпирического риска приводит к успеху, если емкостная характеристика класса функций ограничена в одном из следующих смыслов*.
множество функций состоит из конечного числа элементов,
множество функций может быть покрыто конечной г-сетью,
множество функций F (х, а) имеет конечную емкость.
ГЛАВА VIII
МЕТОД УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКАВ ЗАДАЧАХ ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ
Идея метода упорядоченной минимизации риска
До сих пор при исследовании методов восстановления зависимостей по эмпирическим данным количество данных играло второстепенную роль: принципы, которые определяли выбор искомой зависимости из заданного множества возможных зависимостей, непосредственно не учитывали объема имеющейся информации.
Начиная с этой главы, мы будем рассматривать методы восстановления, позволяющие для фиксированного объема эмпирических данных получать наилучший в определенном смысле результат. Здесь учет объема имеющейся информации, особенно в случае малой обучающей выборки
^1, Уъ ХЬ уь (8.1)
окажется существенным. Однако, прежде чем приступить к изложению методов восстановления зависимостей, рассчитанных на использование малой выборки, договоримся о том, какую выборку мы будем называть малой.
Определение. Будем говорить, что для восстановления функции из заданного класса F (х, а) выборка объема I является малой, если отношение 1/Н мало ^например, 1/Н<<Зй\ г^е h —емкость класса функций.
Величина l/h определяет относительный объем выборки (объем выборки на единицу емкости класса).
Заметим, что оценки величины среднего риска, полученные в главах VI и VII, зависели не от абсолютной величины объема выборки, а от относительной величины.
Основной результат главы VI состоял в том, что с вероятностью 1—т] одновременно для всех характеристических функций F (х, а) выполняются неравенства
а основной результат главы VII —в том, что с вероятностью 1—т] одновременно для всего множества произвольных функций F (х, а) выполняются неравенства
/(а)</э(а)й2(1/(а)</э(а)й2(1— In ц \А /'— In ц \А /'(8.3)(8.3)
/(а)</э(а)й2(1
/(а)</э(а)й2(1
— In ц \
А /'
— In ц \
А /'
(8.3)
(8.3)
Сейчас для нас не важны ни конкретный вид слагаемого ^i(y,—иГг ни конкРетныи ВИД сомножителя ^2^, ~Т~^)’ Важно другое — полученные оценки были таковы, что с ростом величина —Ч стремилась к нулю, а величина ^2^> —1Г^)”К еДиниДе-
Это обстоятельство и позволило обосновать метод минимизации эмпирического риска для больших выборок. Для всякого 6 найдется такая величина Т, что как только ^>Т, с вероятностью 1 — ц одновременно для всего множества F ^х, а) выполнятся неравенства
Р (a) < v (а) + 6,
если F (х, а) — характеристические функции, и неравенства /(а)</э(а)(1+6),
если F (х, а) — произвольные функции.
Поэтому малая величина эмпирического риска гарантирует (с вероятностью 1 — т]) малую величину среднего риска.
Однако если объем обучающей выборки мал, слагае- ( I — In п \
моед—Ч может значительно отличаться от нуля,
а сомножитель Q2(y, "" ^ ™) ■”от единицы. В этом случае функция, доставляющая малую величину эмпирическому риску, может не обеспечить малую величину среднему риску.
Для того чтобы на малых выборках можно было достичь глубокого гарантированного минимума, необходимо учитывать не только величину эмпирического риска v (a9) (или /э(а9)), но и величину слагаемого ^i^p — /гл / I In П \\
(сомножителя ьч*
В этой главе мы рассмотрим метод минимизации риска, который, в отличие от метода минимизации эмпирического риска, минимизирует верхнюю оценку риска (8.2) или (8.3)) не по одному слагаемому v (а) (сомножителю /э (а)), а сразу по обоим:
у(а) + йДТ(у (а) q Д ZZ*£2LД
Реализует эту идею метод, который мы будем называть методом упорядоченной минимизации риска.
Пусть на множестве функций F (х, а) задана структура, т. е. выделено минимальное подмножество элементов Sp затем подмножество S2, содержащее S15 и, наконец, подмножество Sq, совпадающее со всем множеством:
S^S^cl aSq.(8.4)
Упорядочение (8.4) на множестве F (х, а) задано априорно (до появления обучающей последовательности).
Пусть структура задана так, что емкость hi подмножества функций 5^ меньше емкости hi+1 подмножества S<+1, т. е.
ht<h2< ... <hQ.
Для каждого подмножества Si с вероятностью 1 — т] справедлива оценка
Р (а‘) < v (а0 +^, 5^),(8.5)
если упорядочению подлежало множество характеристических функций, и с вероятностью 1— т) справедлива оценка
(8.6)
если упорядочивалось множество произвольных функций; F(x, а0 — элемент, доставляющий минимум эмпирическому риску в Sb
В выражении (8.5) ((8.6)) величина первого слагаемого (сомножителя) правой части падает с ростом i, а величина второго слагаемого (сомножителя) растет.
Метод упорядоченной минимизации риска состоите том, чтобы найти подмножество S*, в котором функция F(x, а*), минимизирующая эмпирический риск, доставит минималь-
ную оценку среднему риску, и принять эту функцию за решение.
Заметим, что так как для каждого элемента 5/ справедлива оценка (8.5) (оценка (8.6)), а всего в структуре q элементов, то с вероятностью 1 — qx\ оценки справедливы одновременно для всех q функций, минимизирующих эмпирический риск (каждая в своем 8^. Поэтому найденное с помощью метода упорядоченной минимизации риска решение F (х, а?) доставит гарантированную с вероятностью 1 — q^ минимальную оценку риску. Иначе говоря, неравенство
Р (а?) < v (а?) + Q, (^,(8.7)
^неравенство
/ (а*) < /э (а?) Q2 (Д, - -^))(8.8)
будет справедливо с вероятностью 1 — q-x\.
При реализации метода упорядоченной минимизации нам будет важно, чтобы гарантия полученной оценки риска была велика (равнялась 1— т]). Поэтому, положив т]* = т]/^ в (8.7) (и в (8.8)) вместо т), получим, что с вероятностью 1 — т] имеет место неравенство
Р(аГ)<^а$Н£Ц-^, -1П^+1П-)(8.9)
^неравенство
/ («9 < и (а?9 Q2 (Д, ^1У±1М^.(8.10)
Для структуры, состоящей из небольшого числа элементов (^<20— 100), вообще говоря, полученное увеличение верхней сценки для F (х, а*) (по отношению к (8.5) и (8.6)) незначительно. (Число q элементов структуры находится под знаком логарифма). Это означает, что при самом неблагоприятном стечении обстоятельств гарантированная величина риска для решения, полученного методом упорядоченной минимизации, может оказаться лишь на малую величину хуже гарантированной величины риска для решения, полученного методом минимизации эмпирического риска, в то время как в обычных
ситуациях, как мы увидим ниже, выигрыш от применения метода упорядоченной минимизации риска может оказаться значительным.
В дальнейшем нам удобно будет считать, что метод упорядоченной минимизации риска реализует двухуровневую процедуру минимизации: сначала на каждом элементе S/ структуры (8.4) выбирается функция F (х, а*), минимизирующая величину эмпирического риска, а затем из q отобранных функций выбирается такая, которая доставляет величине риска гарантированный минимум.
Таким образом, при реализации метода упорядоченной минимизации риска возникают две проблемы:
Как задать структуру на исходном множестве функций F(x, а)?
Каким должен быть алгоритм выбора второго уровня?
Задание структуры на множестве функций F (%, а) является неформальным моментом в реализации метода. В структуре должна быть отражена априорная информация о задачах, которая имеется у исследователя. Те функции, которые, по мнению исследователя, более вероятно приближают искомую, следует относить к классу Sz с меньшим номером. При этом чем больше имеется априорной информации, тем более узкими следует задавать классы с малыми номерами.
Задание алгоритма выбора второго уровня отражает умение оценивать качество каждого из отобранных на первом уровне решающих правил.
Ниже при построении алгоритмов выбора второго уровня мы используем оценку среднего риска (6.48)
P(a)<v(a) +
если выбор осуществляется среди характеристических функций (решается задача распознавания образов), и оценку (7.27)
266 гл. VIII. МЕТОД УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКА если выбор осуществляется среди функций произвольной природы (решается задача восстановления регрессии).
Использование этих оценок позволит получить наилучшее для заданной структуры гарантированное решение. Другая идея построения алгоритмов второго уровня связана с использованием процедуры «скользящий контроль».
Оценка «скользящий контроль»
Оценим качество решающего правила F (х, аэ), минимизирующего на заданной последовательности
xv #1; ...; xb yh эмпирический риск
i
и (“) = Т 2 ^ ~ F ^Хь а^2(8-11)
1 = 1
с помощью следующего приема. Исключим из обучающей последовательности первую пару хъ ^ и найдем функцию, минимизирующую эмпирический риск на оставшихся I — 1 элементах обучающей последовательности. Пусть эта функция есть F (х; а(х1? уг; ...; хь у^.
Здесь знак х1? yv указывает на то, что из обучающей последовательности была исключена пара хъ yv Вычислим величину уклонения на исключенной паре хъ у^
(yi-^to; ato. yv •••; xb y^f.
Затем из обучающей последовательности исключим вторую пару (первая пара остается в последовательности) и вычислим уклонение
(y2-F(x2; “(^1, У1! х2, у2; ...; xb yt^;
Так вычислим уклонение для всех / пар. Образуем величину Т уг\ ...; хь у^ =
= 4 2 ^~F&; а^1’ ^ ’ • • ‘ XFtib •••'Xb yiW (8.12)
К-1
и примем ее за оценку качества функции F (х, а9), минимизирующей эмпирический риск (8.11):
/(а9Сч, yt; ...; хь у^ =
= Vy-F(x, а»»гр<х« y)dxdy~T(xi, уг, ...; хь у^.
Такую процедуру оценивания назовем «скользящий контроль».
Справедлива
Теорема 8.1. Оценка «скользящий контроль» является несмещенной, т. е.
МЦа^Хх, ух\ ...; Хи, уы)) = МТ ^хъ уг, ...; xb yt).
Доказательство. Доказательством этой теоремы служит следующая цепочка преобразований:
М ( ... у у ^(yt-F^Xb сЦхх, Ух, ...; хСуь ...; хь уЖх
1 = 1
X р (Хх, Ух) ...Р (Xb yt) dxx dyx... dx, dyi =
= M j ■ ■ ■ f 7 2 W-F(xi’ aУ^^yd • • •
1 = 1
xb уЖ?^, y^dXidy^P (Хх, Ух) ...
... P(Xi-x, yi-x)P(Xux, yt+x) ... P(xb yi)dXxdyx ...
... dxt-i dybx dxui dyi+1 dxtdyi =
= M T^i1^ (X1) yd • • • ■’ xi’ yd •••■’ xb yi)) = 1=1
= MI (ae (Xx, yv, ...; xt-x, yi-x)).
Теорема доказана.
Замечание. При доказательстве теоремы мы нигде не использовали свойства функции F (х, а). Поэтому процедура «скользящий контроль» определяет несмещенные оценки качества как при восстановлении характеристической функции, так и при восстановлении произвольной функциональной зависимости.
Свойство несмещенности, однако, недостаточно характеризует оценку. Необходимо знать еще и дисперсию D
оценки. Если бы дисперсия оценки Т была известна, то можно было бы оценить качество решающего правила, минимизирующего эмпирический риск на выборках длины /. А именно: с вероятностью 1 — т] справедливо неравенство
Ml(a9(xv ул ...; х^, уи))^_
ул xh у,) + ^.(8.13)
где 1 — т] — надежность, с которой требуется выполнение неравенства (8.13). (Оценка (8.13) следует из теоремы 8.1 и неравенства Чебышева Р {| МТ — Т |} >* УО/ц} С г.)
Однако вычислить дисперсию оценки «скользящий контроль» в достаточно общей постановке не удается. Поэтому применение процедуры «скользящий контроль» для оценки качества алгоритмов, минимизирующих эмпирический риск, связано с гипотезой о том, что при объеме выборки, в несколько раз превосходящем величину емкости класса функции, дисперсия оценки мала (имеет порядок 1/Z, а не Zi/Z) г).
Оценка «скользящий контроль»в задаче восстановления регрессии
Покажем, что для восстановления регрессии в классе линейных по параметру функций
F^x, а) = 2azcp((x)
1
п
х) Для частного случая, когда F (х, а)= 2 а/^’ вектор х —
i = 1
= (х1, ... , хп)т распределен по нормальному закону, y~F (х, а0) + ^ где § нормально распределенная помеха, существует доказательство этого утверждения.
Гипотеза состоит в том, что такой же порядок величины дисперсии сохраняется и в общем случае: для задачи распознавания образов, когда класс F (х, а) имеет ограниченную емкость, а для задачи восстановления регрессии, когда класс F (х, а) имеет ограниченную емкость и выполняется неравенство
supаsupаJ/ М^у-Р^х, аЩМ(у-Р(х, а))2
supа
supа
оценка «скользящий контроль» допускает следующее экви
валентное представление:
Т (х^ у<.Т (х^ у<.(8.14)(8.14). ч 1 V ^i-H^W^yY ’ Хь У‘ 1 А O-tf^Wfz)2
Т (х^ у<.
Т (х^ у<.
(8.14)
(8.14)
где обозначено
Ф =Ф =Ф1 to), ... , ф„ (Xj)
Ф =
Ф =
Ф1 И, фп (X,)
ft — i-я строка матрицы Ф, Y — /-мерный вектор-столбец
значений у Y = ^ ViY-
Выражение (Ф^)1 ФТУ в числителе (8.14) есть оценка вектора параметров а, полученная методом наименьших квадратов по всей обучающей последовательности. Числитель в (8.14) определяет квадрат уклонения в точке хь а знаменатель определяет ту мультипликативную поправку, которая возникает, если оценку параметров а получать не по всей обучающей выборке, а по выборке, из которой исключена i-я пара xb уь
Представление (8.14) замечательно тем, что в нем используется лишь одно обращение матрицы, а не /, как в общей процедуре, описанной в предыдущем параграфе. Это обстоятельство делает процедуру «скользящий контроль» в вычислительном отношении не более сложной, чем вычисление невязки в методе наименьших квадратов.
Ниже при построении алгоритмов восстановления зависимостей мы будем искать решение, доставляющее не только безусловный минимум (8.11), но и условный минимум при ограничении на решение
а" <с.а" <с.
а" <с.
а" <с.
Отыскание такого условного минимума — задача, эквивалентная поиску минимума функционала
к^-?) = т 2 (yi-F(xb а))2 + у||а||2,(8.15)
1 = 1
где у — положительная константа, зависящая от с (множитель Лагранжа).
Оценку качества решения a = aY, минимизирующего функционал (8.15), будем проводить также с помощью процедуры «скользящий контроль».
Найдем решения aY (хх, yv, ...; xb yt; .. •; хь у^, минимизирующие функционал (8.15), заданный на I — 1 паре (пара хь yt исключена, у фиксировано), и образуем величину
TY(xi, yv, хь у^
= Т 2 ^~р1хь аДх1’ Уь х^уг, ...\хь уЖ- (8.16) / = 1
Величина 7\ и будет оценкой качества функции F ^х, aY), минимизирующей функционал (8.15).
Эквивалентное представление (8.16) мы получим
1010110101(8.17)(8.17)с помощью матрицы
10
1
01
10
1
01
(8.17)
(8.17)
ЛY = (ФтФ + v/),
А именно,
При 7 = 0 выражение (8.18) совпадает с (8.14).
Получим представление оценки «скользящий контроль» (8.16) в виде (8.18). Обозначим
(^-IIAINIMD-^B.(8.19)
И//1| —матрица, все строки которой, кроме i-й, равны нулю. В ьй строке матрицы записан вектор /Т,
Тогда минимум (8.15) на обучающей последовательности без х^ yt достигается на векторе
aY(xb уу; ...; xfyt; ...; хь уй = В (Фт —Ц/^ ||т) У. (8.20)
Выразим матрицу В через XY. Для этого перепишем (8.19) в виде
/ = My-5||/z||t||M(8.21)
В свою очередь из равенства (8.21) получим
В = XYx + B\\h\Hfi\№(8.22)
Умножим левую и правую части равенства (8.22) на ||//Цт:
в || // 1Г = Лv 1II h ЦТ + В IIЛ ЦТ Ц /, || 4^ Ц fl ЦТ. (8.23)
Из (8.23) получаем
ВШ1Т=Л7ШГ (/-НАМИНАВ7)"1.
Подставим выражение B||f/||T в (8.22):
В = ЛV1 + Лу1 II h ||т (/ -IIГ1II AV II fi II7)-111 fi II AV- (8.24)
Вычислим теперь а^ = а^(Х!, у it ...; X/, у^; ...; х/, у^. Согласно (8.24) имеем
ау = В(Фт-ШП^ =
= AV®TY + Л^' || h ||т (/ -|| h || AV || h и7)-11| h || л7ф7г-
- AV II h Г Y - AV || ft f (/ -1| h || Лу1 || h И7)’11| h || Лу11| h ||7 Y.
Вычислим квадрат уклонения, используя равенство ПА^ ^-ПА^ПУь
Получим
Wl—F^b «у))2 =
У1У1=(У1-ПА^ФЛ¥-ПА-1 ШГ и-Mi II AV \\h II7)-1 пл II л^Ф^д.+/?^7Va+/М71 и и Г (/ - II h И711| h ^ПА^Пу^2=
У1
У1
Таким образом, окончательно получаем
Т (Xi, у-х;Т (Xi, у-х;^-ПАу'Ф'У?. ^-ПА^П )
Т (Xi, у-х;
Т (Xi, у-х;
Восстановление характеристической функциив классе линейных решающих правил
Итак, для метода упорядоченной минимизации риска мы определили критерии выбора второго уровня. Ими будут либо минимальные гарантированные оценки риска, либо минимальные оценки, полученные с помощью процедуры «скользящий контроль».
Теперь, для того чтобы задать алгоритмы упорядоченной минимизации риска, надо определить структуру на множестве функций F (х, а).
В этой главе мы рассмотрим некоторые способы задания структуры на множестве линейных решающих правил (в задаче распознавания образов) и на множестве линейных по параметру функций (в задаче восстановления регрессии) и построим соответствующие алгоритмы восстановления зависимостей.
Рассмотрим сначала задачу распознавания образов.
Пусть задан класс линейных решающих правил
/ п'
F (х, а) = 6 (2 °Wz W
V = 1‘
Выстроим признаки cpz (х) в порядке уменьшения априорной вероятности того, что этот признак будет «полезен» при классификации, и определим следующую структуру линейных решающих правил:
8} с: 82 (=...(= Sk.8} с: 82 (=...(= Sk.(8.25)(8.25)
8} с: 82 (=...(= Sk.
8} с: 82 (=...(= Sk.
(8.25)
(8.25)
Класс SJ состоит из тех правил, у которых может отличаться от нуля лишь параметр осР Класс 82 состоит из правил, у которых могут отличаться от нуля два параметра ^ и а2 и т. д. Такое упорядочение имеет следующий смысл. В первый класс попадают те правила, которые при распознавании используют лишь первый признак, во второй класс попадают правила, которые используют первые два признака, и т. д. Показатель емкости каждого из этих классов, как было установлено в главе VI, равен t, где I — число используемых признаков.
Для такой структуры метод упорядоченной минимизации риска состоит в том, чтобы найти решающее правило F (х, ос*), которое минимизирует по i и F (х, ос) е 85- функционал
+v(a).(8.26)+v(a).(8.26)
+v(a).(8.26)
+v(a).(8.26)
С достоверностью 1 — пл\ вероятность ошибочной классификации с помощью найденного решающего‘правила не
превосходит достигнутого минимума (8.26), т. е.
Р {Р (а?) < Pi (a*, Si)} > 1 - пЧ кп< О-
Рассмотренный способ задания структуры на классе линейных релающих правил требует априорной ранжировки признаков. Это не всегда просто сделать.
Поэтому мы определим еще одну структуру, для задания которой априорная ранжировка признаков не нужна. Будем включать в класс St те решающие правила, которые для классификации используют не более i признаков, т. е. рассмотрим структуру
Slcz...czS2n.(8.27)
Структура (8.32) построена так, что Sp cz Sp. Очевидно, что функция роста mSp (I) оценивается через функцию роста msp (/)
msp (/) ^ Cpnms'p (/) < 1,5С^. (8.28)
Таким образом, метод упорядоченной минимизации риска на структуре (8.27) приведет к выбору функции F (х, а*), минимизирующей по i и F (х, ос) е S/ функционал
T?2(a, i) = 2-T?2(a, i) = 2-(lny+1) + ^^-^1^(lny+1) + ^^-^1^
T?2(a, i) = 2-
T?2(a, i) = 2-
(lny+1) + ^^-^1^
(lny+1) + ^^-^1^
хй+i/^+v^- (8-29) ( У ^in^ + lj + lnC"-!.!^
Для найденного решения F (х, ос?) справедливо
Р {^ (a?) < R2 (a?, S^)} > 1 - пч (п < /).
Для обоих типов структур в качестве алгоритма выбора второго уровня может быть также использована процедура «скользящий контроль».
Таким образом, при решении задачи обучения распознаванию образов в классе линейных решающих правил рекомендации метода упорядоченной минимизации риска состоят в том, чтобы выбрать экстремальное подпространство признаков (которое может быть разным как по составу, так и по числу признаков в зависимости от того, ранжирована ли система признаков или нет) и построить
в нем решающее правило, минимизирующее эмпирический риск.
Выбор экстремального пространства признаков в условиях малых выборок позволяет существенно увеличить вероятность правильной классификации экзаменационной (не участвовавшей в обучении) выборки. Возможный выигрыш иллюстрирует табл. 1, полученная при решении задач медицинской дифференциальной диагностики.
Таблица 1
№ задачи
Объем выборки
Исходная размерность пространства признаков
Размерность экстремального пространства
Вероятность ошибки
в исходном пространстве
в экстремальном пространстве
1
114
84
56
0,21
0,14
2
108
92
47
0,18
0,11
3
131
112
51
0,22
0,10
4
240
134
65
0,13
0,07
5
360
196
82
0,15
0,07
В столбцах таблицы указаны номер задачи, объем выборки, исходная размерность бинарного пространства признаков, размерность экстремального пространства признаков, вероятность ошибочной классификации в исходном и экстремальном пространствах. Задачи решались с помощью алгоритмов, приведенных в главе XI.
Восстановление регрессии в классе полиномов
Задача определения числа членов разложения по ранжированной системе функций является одной из центральных в теории регрессии.
Частная ее постановка составляет задачу восстановления полиномиальной регрессии. Суть задачи заключается в следующем: пусть статистическая модель, связывающая величину у с переменной х, есть
y = R(xH^ (8.30)
где R (х) — полином неизвестной степени, a g — помеха, не зависящая от х, математическое ожидание которой равно нулю, а дисперсия ограничена.
Требуется, наблюдая пары
^ъ ^; ... ; xh уь восстановить полином R* (х), близкий к R (х). Близость понимается в смысле метрики Ц,;
Pi (R (X), R* (х)) = Q (7? (х) - 7?* (х)) Р (х) йх^ где Р(х) —та же самая плотность, согласно которой выбирались значения х.
Существует традиционный путь решения этой задачи: сначала определить степень п искомого полинома R (х), а затем в классе функций, разложимых по системе п ортонормальных с весом Р (х) полиномов, восстановить регрессию. Таким образом, основное содержание проблемы здесь сводится к определению степени полиномиальной регрессии.
Определение степени полиномиальной регрессии осуществляется с помощью стандартных приемов математической статистики. Наиболее просто реализуются эти приемы в схеме Гаусса— Маркова, т. е. в условиях, когда величины х фиксированы (см. § 2 гл. V). Пусть они равны Xi, ..., X/. В этом случае, не ограничивая общности, будем считать, что функция R(x) разложима по системе ортонормальных на Xi, ... , X/ полиномов R^ (х):
I
V х n / х ( L если p = q,[ р ч \( 0, если p^q-
Система ортонормальных полиномов замечательна тем, что с ее помощью регрессия R (х) может быть представлена в виде
a»pRp(x),
Р=1 где
принять (или опровергнуть) гипотезу о том, что с^ = 0 (/=1, 2, ...
Заметим, что если помеха £ в (8.30) распределена по нормальному закону N (0, о2) с нулевым средним и дисперсией о2, то случайная величина ар оказывается распределенной тоже по нормальному закону со средним сл°р и дисперсией of = o2//. В этом случае для а° = О величина
распределена согласно о^-расп ределению с одной степенью свободы. Если бы дисперсия помехи была бы нам известна, то для проверки гипотезы М ар = 0 можно было бы воспользоваться распределением
В том случае, когда величина (ap/oj2 больше х (т)) (величина х (т)) определяется из условия Р {xf > х (и)} = т])> Для заданного уровня значимости т] гипотеза Л4ар = ар = 0 отвергается, в противном случае эта гипотеза принимается.
Однако на практике дисперсия о2 помехи ^ неизвестна. Поэтому наряду с (8.32) рассматривается статистика
л== 2 </i- S («/Л(8-33)
t = 1i = i
Если, начиная с i = r+l, коэффициенты а9=0 (i = r+l, ..., /), то статистика (8.33) распределена согласно о^-распределению с v = / — — г — 1 степенями свободы.
Образуем статистику ^ = vap/n2. Эта статистика подчинена рас* пределению Фишера (^^-распределение)
(8'34)
^^-распределение табулировано. Таблицы ^^-распределения даны во всех практических руководствах по статистике. Таким образом, используя статистику vap/n можно для заданного уровня значимости т] определить, приемлема ли гипотеза а£ = 0: для этого достаточно проверить выполнение неравенства
С > х(п)-
При решении практических задач нет необходимости строить ортонормальную на хъ ... , xt систему полиномов. Нетрудно убедиться, что статистика
где Rr — невязка (величина минимума эмпирического риска), вычио ленная для полиномов степени г, также распределена согласно Ft, /-^-распределению Фишера.
Таким образом, в случае нормально распределенной помехи £, используя невязки Ri, ..., Ri„i, вычисленные для полиномов степени 1, г, ..., Z —1, можно с помощью F-критерия Фишера (8.34) установить степень полиномиальной регрессии.
Однако классическая схема восстановления полиномиальной регрессии — выяснение истинной степени регрессии и приближение к регрессии в классе полиномов этой степени приводит к успеху лишь при использовании больших выборок. Только для достаточно больших объемов выборки можно утверждать, что наилучшее приближение будет достигнуто на функции, минимизирующей эмпирический риск в классе полиномов, степень которых равна истинной степени регрессии. Для малых выборок вопрос о том, какова наиболее подходящая степень приближения, остается открытым 1).
Ниже мы применим метод упорядоченной минимизации для решения этой задачи, но прежде, чем приступить к построению соответствующих алгоритмов, обратим внимание читателя на то, что по существу задача будет решаться в более общей постановке, чем классическая. Мы не будем полагать, что регрессия есть полином — она1 может быть любой интегрируемой с квадратом функцией^ но приближать регрессию будем полиномом. Требуется в этих условиях отыскать подходящее приближение.
Итак, будем решать задачу методом упорядоченной минимизации риска. Для этого зададим структуру Hai множестве полиномов. Заметим, что уже в самой постановке задачи содержится указание на особенность задания структуры
Sx <=...<=£„. (8,35)
Множество Sp состоит из полиномов, степень которых не превосходит р. Такое упорядочение полиномов является «естественным» (но не единственным). Оно соответствует упорядочению по числу членов разложения ряда,
х) На малых выборках реализация классической схемы может приводить к парадоксальным ситуациям: чем более мощный критерий используется для установления степени регрессии, тем хуже может оказаться окончательный результат.
составленного из элементов
1, х, х2, ..., хп ... .(8.36)
расположенных в порядке возрастания степени п. Однако возможен другой порядок расположения элементов ряда, например следующий:
х5, 1, х4, х2, х7, ...(8.37)
Упорядочение полиномов в соответствии с разложением по первым р членам ряда (8.37) приведет к иному заданию структуры на множестве полиномиальных зависимостей.
Итак, рассмотрим структуру (8.35), заданную разложением по первым членам ряда, ранжированного согласно (8.36).
Пусть, кроме того, известно, что выполнено ограничение 4)
V М (у —F (х, а))2Р m
Тогда, согласно теореме 7.6, с вероятностью 1 — т) одновременно для всех полиномов степени г—1 (всех полиномов F (х, а), принадлежащих Sr) выполнится неравенство
Неравенство (8.38) выполняется и для полинома F^x, aQ, минимизирующего на Sr эмпирический риск.
Выберем в качестве приближения к регрессии функцию, минимизирующую эмпирический риск на таком элементе структуры S*, для которого достигается минимум правой части оценки (8.38).
!) Как уже отмечалось, знание оценки т —требование существенно более слабое, чем знание типа плотности помехи, необходимое для восстановления полинома регрессии классическими методами (см. выше текст, набранный петитом).
Пусть минимум достигается на функции F (х, а*) и равен R (а*> S*). Тогда справедливо утверждение
Р U (сс?) < R (a*, SJ} > 1 — НТ].
Использование метода упорядоченной минимизации риска для восстановления полиномиальной регрессии в условиях малой выборки весьма эффективно на практике.
Рис. 6.
На рис. 6 показан результат восстановления регрессии, заданной полиномом пятой степени на отрезке [—2, 2]. Восстановление проводилось по измерениям функции, осуществленным в 20 случайно взятых точках интервала [—2, 2]. Измерение осуществлялось с помехой, распределенной равномерно на интервале [—a, + ^L где а — максимальное значение регрессии на интервале [—2, 2]. На рисунке показаны эмпирические данные (крестики) и регрессия (жирная кривая). Наилучшее приближение в классе полиномов пятой степени — белые точки, кривая /, приближение, полученное методом упорядоченной минимизации риска — полином четвертой степени, черные точки, кривая 2. Видно, что кривая 2 лучше приближает регрессию,
чем кривая 1. На рис. 7 приведен пример восстановления неполиномиальной регрессии (жирная линия) в классе полиномов (тонкая линия) по 20 измерениям (крестики).
Функции восстанавливались с помощью алгоритма 12-1, приведенного в главе XII.
6. Восстановление регрессии в классе линейныхпо параметрам функций
Рассмотрим класс линейных по параметрам функций
п
(8.39)(8.39)F (х, а) = 2 ЗД W-
(8.39)
(8.39)
I = 1
Существуют две идеи задания структуры на этом классе: 1) упорядочение функций по числу членов разложения; 2) упорядочение функций по норме вектора параметров а (норме функций в Lp для ортонормальной по мере Р (х) системы ф! (х), ... > фд (х)).
Построим на этих структурах алгоритмы упорядоченной минимизации риска, использующие в качестве критерия выбора второго уровня оценку «скользящий контроль».
Упорядочение по числу членов разложения. Пусть дана априорно ранжированная система функций
TiW, Ф^М-(8.40)
Зададим на множестве функций F (х, а) структуру
S^.-.c Зл,(8.41)
где элемент структуры Si содержит лишь такие функции, которые могут быть разложены по первым i членам ряда (8.40).
В этом случае метод упорядоченной минимизации состоит в определении такого подпространства ф^х), ... ..., фг(х), 0, ..., 0 исходного пространства фДх), ..., Ф„(х), на котором достигается минимум величины
"1‘(1 -ОТ(ф;ф,- (
Функция F^x, а*), минимизирующая эмпирический риск в Sr (вектор параметров at = (Ф^ФГ)^ФгУ), считается наилучшим приближением к регрессии.
В формуле (8.42) обозначено: (/Q — вектор (фДх/), ... ..., фгМ, 0, ... , 0)т, Фг —матрица, строки которой равны
Ш = <4>ikXtY фг(хг), О, .... 0).
. Упорядочение по величинам нормы вектора параметров. Рассмотрим систему упорядоченных множеств
(8.43) таких, что подмножества St содержат лишь функции F (х, а), для которых выполняются условия
(8.44)
I = 1
Величины Ct растут с увеличением номера I
0 < Ci < с^ <... < cq < оо.
В соответствие величинам с^ может быть поставлен монотонно убывающий ряд положительных величин ^ (множителей Лагранжа)
Vi>V2>..->V9 = 0,
такой, что задача минимизации эмпирического риска на множестве Sr оказывается эквивалентной минимизации функционала
I ( п\2п
чд^=т 2 V1 “ 2 +vr 2 “/• <8л5> i = 1 \/ = 1// = 1
В этом случае двухуровневая схема метода упорядоченной минимизации риска состоит в том, чтобы на первом уровне отобрать q функций F (х, аэ (уг)), минимизирующих для различных величин ул функционал (8.45), а на втором уровне среди q отобранных функций определить такую, которая доставляет минимум оценке «скользящий контроль». Иначе говоря, при таком способе задания структуры метод упорядоченной минимизации состоит в том, чтобы определить уг, на котором достигается минимум выражения
Т.Дхь ух;_; хь у^ Хт ^(8.46)
где
ЛУг = (фтф + уг/),
и найти функцию F (х, а*), минимизирующую при этом уг функционал (8.45). Эту функцию задает вектор параметров a* = y4“^TK
Наконец, рассмотрим комбинированную структуру на множестве линейных по параметрам функций F(x, а). Сначала упорядочим функции по числу членов разложения (8.40), а затем каждое подмножество Sp, состоящее из функций, разложимых по р членам, упорядочим по величинам нормы вектора параметров (8.44).
Таким образом, рассмотрим систему множеств
SioоS20 cz... czSq0
иии
SnczS21 а.. .czSql
ууУ(8.47)
иии
clS2n2 cz• • *czSq, п^.
Элемент Spr есть подмножество, состоящее из функций, разложенных по р членам ряда таких, что выполнено неравенство
Метод упорядоченной минимизации здесь состоит в определении такой пары р, уг, для которой оценка качества алгоритма, минимизирующего эмпирический функционал
I (р\2р
>=i\/=1//=1
полученная с помощью процедуры «скользящий контроль», будет минимальной.
В вычислительном отношении это означает, что необходимо найти такую пару р, уг, на которой будет достигаться минимум выражения
TVP(X1, У1; .... х„ у^-^ <\-^А^\р^ - (8Л8) ^г.Р=(ФТрФр + 7г7), и определить функцию F (х, а*) (вектор параметров а* = = Д-,1 рФрУ).
Итак, мы рассмотрели алгоритмы упорядоченной минимизации риска, использующие в качестве критерия выбора второго уровня процедуру «скользящий контроль».
Реализация этих алгоритмов восстановления регрессии в классе линейных по параметру функций оказалась не многим сложнее, чем реализация метода наименьших квад-
ратов. Однако, вообще говоря, рассмотренные алгоритмы являются эвристическими — они основаны на гипотезе о том, что дисперсия оценки «скользящий контроль» мала. На практике при восстановлении регрессии эти алгоритмы дают хорошие и устойчивые результаты, если объем выборки в несколько раз (3—4 раза) больше размерности пространства. Создание же алгоритмов упорядоченной минимизации риска для объемов выборки, соизмеримых (или меньших) размерности вектора параметров а связано с оценками вероятности равномерного относительного уклонения средних от их математических ожиданий.
Восстановление регрессии в классе линейныхпо параметрам функций (продолжение)
Как и в предыдущем параграфе, рассмотрим три типа структур на классе линейных по параметрам функций
п
F (х, а) = 2 aFVt (х):
I — 1
структуру, образованную по числу членов разложения;
структуру, образованную по величине нормы вектора параметров а (нормы F (х, а) в метрике Lp для ортогональной по мере Р (х) системы фх (х) ..., фл (х);
комбинированную структуру, образованную и по числу членов разложения и по величине нормы функции F (х, а).
Ниже для этих структур мы построим метод упорядоченной минимизации риска, основанный на оценках вероятности равномерного относительного уклонения средних от математических ожиданий.
Пусть задана структура а). Тогда, согласно теореме 7.6, с вероятностью 1—ц одновременно для всех функций элемента Sr структуры (множество Sr содержит функции F (х, а), разложимые по первым г членам) выполняется неравенство
Так как неравенство с вероятностью 1 — ц справедливо одновременно для всех функций из Sr, то оно с вероятностью 1 — г) выполнится и для функции F (х, аэ), минимизирующей на Sr эмпирический риск. Выберем теперь такой элемент структуры S* и в нем функцию, минимизирующую эмпирический риск, для которых достигается минимальная величина оценки (8.49). Найденная функция F (х, а*) для структуры а) определяет минимальную гарантированную (с вероятностью 1 — т] • п, п << I — число элементов структуры) величину риска.
Рассмотрим теперь структуру б):
(8.50)(8.50)Sj cz ... CZ Sn.
(8.50)
(8.50)
Здесь Sr — множество функций
F (х, а) = 2 а,-ф; (х),
для которых выполняется соотношение
Выделим на множестве Sr конечную е-сеть Se = ^F (х, аД... ..., F (х, а.N (е))}, состоящую из N (е) элементов. Согласно теореме 7.5 с вероятностью 1—т] для функции F (х, аэ), минимизирующей на обучающей последовательности величину эмпирического риска, справедлива оценка
/(аэ)<(е + "|/' е2 + [/(аэ)<(е + "|/' е2 + [МШ)1 У1-Г(8) ]оо/ ’МШ)1 У1-Г(8) ]оо/ ’(8.51)(8.51)
/(аэ)<(е + "|/' е2 + [
/(аэ)<(е + "|/' е2 + [
МШ)1 У1-Г(8) ]оо/ ’
МШ)1 У1-Г(8) ]оо/ ’
(8.51)
(8.51)
где
Т (в) = 2%а (р) У in^W + lnZ-lnn^
В оценке (8.51) F(x, а/ (аэ)) —- ближайший к F (х, аэ) элемент е-сети. Таким образом, для функции, минимизирующей на элементе Sr структуры (8.50) эмпирический риск, может быть вычислена гарантированная оценка величины среднего риска. Выберем такую функцию (такой элемент структуры), для которой эта оценка минимальная.
Рассмотрим структуру в), каждый элемент которой 8д<г определяется как числом членов разложения
<7
F (х, а) = 2 ^t М»
= 1
так и нормой функций
I = 1
Построим метод упорядоченной минимизации риска на этой структуре. Для оценки качества функции, минимизирующей в Sqir эмпирический риск, также используем оценку (8.51). В результате выберем такой элемент SQtr структуры и такую в нем функцию, для которых оценка минимальна.
Для того чтобы строить алгоритмы упорядоченной минимизации риска на структурах б) и в), надо уметь вычислять емкость е-сети.
Селекция обучающей последовательности
В этом параграфе мы рассмотрим идею селекции обучающей последовательности', исключение из обучающей последовательности нескольких элементов с тем, чтобы с помощью оставшегося множества найти функцию, доставляющую меньшую гарантированную величину среднему риску.
Заметим, что для задачи распознавания образов селекция обучающей последовательности не имеет смысла: решения, получаемые минимизацией эмпирического риска по всей обучающей выборке и по обучающей подвыборке, полученной исключением минимального числа элементов с тем, чтобы подвыборка могла быть разделена безошибочно, достигаются на одном и том же решающем правиле. Это обстоятельство является следствием того, что функция потерь ^ — F^x, а))2 в задаче распознавания образов принимает только два значения — нуль и единица.
В задаче восстановления регрессии функция потерь может принимать любые положительные значения, и поэтому исключение некоторых элементов х^ у может суше-
ственно изменить как само решение, так и оценку качества полученного решения.
Итак, пусть задана обучающая последовательность
^ь л; ••; xbyt.^ь л; ••; xbyt.(8.52)(8.52)
^ь л; ••; xbyt.
^ь л; ••; xbyt.
(8.52)
(8.52)
t
Рассмотрим одновременно Н\= ^ СТ различных задач восстановления функциональной зависимости по эмпирическим данным
Хь Ух\ •••; хь уь ...; xh у/, ...; хь уь
Выражение xb yt означает, что из обучающей последовательности (8.52) исключен элемент хь уь Задачи различаются лишь тем, что в каждой из них функциональная зависимость восстанавливается по своей обучающей выборке, полученной из (8.52) исключением не более t элементов. (Из (8.52) может быть образовано СТ различных подвыборок, состоящих из I — т элементов. Всего, таким образом, возможно Н\ = ^ СТ различных задач.)
т = 0
Согласно теореме 7.6 для каждой из /7/ задач с вероятностью 1—т] справедливо неравенство
Ц^<Ц^<7Э(«)
Ц^<
Ц^<
1 -2га (р) VInm^y-^-lnryS
где ti^t — число исключенных векторов в i-й задаче. Следовательно, одновременно для всех Н\ задач с вероятностью 1—т] справедливы неравенства
/W<
Будем теперь искать минимум правой части (8.53) не только по элементам Sr структуры и функции F (х, а) а <^8п но и по всем Н^ задачам.
Иначе говоря, будем минимизировать функционал ^э(а> ^^ Уг^ •••*, Хг^ Уг^”
1 v
7^2 ^)~р^ь^
= ™^=====^ , (8.54)
1-2™ (р). /
— ОО
по элементам F (х, а) е Sr и хг? уг^ ...; xrt? yrt\ здесь знак 2j указывает на то, что ц ^ t элементов не суммируются.
Перебором по t (обычно /=1, 2, 3, 4) найдем наименьшую величину (8.54). Она определяет гарантированную (с вероятностью 1 — т]/) величину среднего риска.
Таким образом, при поиске наилучшего гарантированного решения, кроме оптимизации по структуре и функциям, принадлежащим элементу структуры, возможна дополнительная оптимизация по выбору обучающего подмножества из заданного обучающего множества (8.52). В условиях малой выборки подбор обучающего подмножества из заданного множества весьма часто оказывается полезным на практике.
Несколько общих замечаний
В этой главе был сформулирован новый принцип минимизации риска в условиях малых выборок.
Оказалось, что если на допустимом множестве решений задать структуру, то появляется возможность дополнительной оптимизации по элементам структуры. Нужно лишь, чтобы структура была задана априорно.
Другая дополнительная возможность минимизации риска по эмпирическим данным появляется за счет селекции обучающей выборки.
В этой главе мы применили метод упорядоченной минимизации риска для решения задач распознавания образов и восстановления регрессии, а идею селекции
выборки для задачи восстановления регрессии (вследствие примитивности функции потерь в задаче распознавания образов селекция выборки не приводит к уменьшению гарантированной оценки риска).
Возникает вопрос, сколь общими являются метод упорядоченной минимизации риска и метод селекции выборки.
Очевидно, что метод упорядоченной минимизации риска применим для решения любой задачи минимизации риска, для которой может быть получена оценка равномерного или равномерного относительного уклонения эмпирических средних от математических ожиданий (см. гл. VII, § 8). В этом случае при минимизации функционала
/ (а) = ^ Q (2, а) Р (2) dz
по эмпирическим данным 2П ...» 2Z на множестве Л значений параметров а задается структура
Лг cz Л2 а ... cz Xq.
На каждом элементе этой структуры Az находится значение параметра а* е А/, минимизирующее эмпирический риск
а затем с помощью оценок, приведенных в § 8 гл. VII, из q найденных параметров выбирается такой а*, который доставляет гарантированный минимум величине среднего риска.
Селекция выборки также может быть проведена, когда существует равномерная оценка среднего риска.
Основные утверждения главы VIII
В условиях малой выборки минимизацию риска целесообразно проводить методом упорядоченной минимизации.
Для этого на множестве функций надо задать струк- туру, а затем найти такой элемент структуры и в нем такую функцию, которые доставляют наименьшую гарантированную оценку риску.
10 В. Н. Вапник
Для оценки величины риска могут быть использованы равномерные оценки среднего риска по величине эмпирического риска и оценка процедуры «скользящий контроль».
В классической теории регрессии уже рассматривалась задача определения подходящего элемента структуры — задача восстановления полиномиальной регрессии. Однако основной принцип решения этой задачи — определение модели искомой функции (степени полинома регрессии) и восстановление регрессии в рамках этой модели, оправдан лишь для больших выборок и в ситуации, когда заданное множество функций содержит регрессию.
Возможны различные алгоритмы упорядоченной минимизации риска. Они определяются разными способами задания структуры на множестве функций.
При восстановлении регрессии на малых выборках отыскание решения с меньшей гарантированной оценкой риска может быть получено за счет селекции выборки.
ГЛАВА IX
РЕШЕНИЕ НЕКОРРЕКТНЫХ ЗАДАЧИНТЕРПРЕТАЦИИ ИЗМЕРЕНИЙМЕТОДОМ УПОРЯДОЧЕННОЙ МИНИМИЗАЦИИ РИСКА
Некорректные задачи интерпретациирезультатов косвенных экспериментов
Пусть в классе Ц1, a) (a^t^F) надо восстановить функциональную зависимость f^t, а0) =f(t) (здесь f(t) принадлежит множеству f(t, а)). И пусть ситуация такова, что нельзя непосредственно измерять значения функции f^t), но можно измерять значения другой функции F (х) (а^х^Ь), связанной с искомой операторным уравнением
Af^=F(x\(9.1)
Оператор А осуществляет непрерывное взаимно однозначное отображение элементов / (/, а) пространства Ег в элементы F (х, а) пространства Е^.
Пусть проведены измерения функции F (х):
хи уг, ХЬ уь(9.2)
Пара xb yi означает, что в точке Xi измеренное значение функции F (xz) оказалось равным уь
Требуется, зная оператор А и измерения (9.2), восстановить в /(х, а) функцию f(t)=f(x, а0). При этом допускается, что задача решения операторного уравнения (9.1) может быть некорректно поставленной.
Восстанавливать функцию f(t) будем в ситуации, когда:
значения функции F (х) измеряются с аддитивной помехой
yl = F(xlH^> М5-0, Л1^ = а2<оо, не зависящей от х;
точки X/, в которых проводятся измерения, определяются случайно и независимо согласно некоторой не обращающейся в нуль на [а, 6] плотности. Ниже будем считать, что плотность равномерная.
В главе I было показано, что функция /(/, а0), которая является прообразом в Ех регрессии F (х, а0) из про- 10*
странства £2, т- е. прообразом точки минимума функционала
(а) = $ (у — F (х, rz))2 Р (у | х) dy dx, (9.3) совпадает с решением уравнения (9.1)
Однако найти регрессию по выборке фиксированного объема — задача нереальная. Можно надеяться лишь на то, что удастся найти функцию F (х, а), близкую (в метрике пространства Е2) к регрессии, и тогда за решение уравнения (9.1) можно будет принять прообраз f(t, а) этой функции в пространстве Ev Такая идея, вообще говоря, не всегда приводит к успеху: несостоятельность ее заключается в том, что в случае, когда уравнение (9.1) определяет некорректно поставленную задачу, близким образам в Е^ могут (но не обязательно должны) соответствовать далекие в Ег прообразы.
В нашем случае это означает, что не все методы минимизации риска в пространстве образов могут быть использованы для решения задачи интерпретации результатов косвенных экспериментов и что, возможно, существуют такие способы минимизации риска, которые указывают лишь на элементы F (х, а) пространства Е2, являющиеся образами функций, близких к искомому решению. Эти способы минимизации риска и следует применять для решения некорректных задач интерпретации измерений (конечно, если указанные способы минимизации риска вообще существуют).
Ниже мы покажем, что при определенных условиях алгоритмы упорядоченной минимизации риска могут быть использованы для решения некорректных задач измерений. Мы покажем, что с увеличением числа измерений последовательность решений, получаемых согласно методу упорядоченной минимизации риска, сходится к искомой функции /(/).
§ 2, Определение понятия сходимость
(9.4)(9.4)^ь yv ...; хь Уь^ь yv ...; хь УьПусть в Ег выбрана мера близости функции р^ (f^t, aj, f(t a2)) = p£t (aD a2) и зафиксирован алгоритм восстановления зависимости f(t) = f(t, a0) по косвенным экспериментам
(9.4)
(9.4)
^ь yv ...; хь Уь
^ь yv ...; хь Уь
Тогда для каждой конкретной реализации (9.4) может быть найдена функция f^t, az) (вектор параметров az = = а (*ъ У\\ • • • i хь у^ и, таким образом, получена последовательность
аь ..., &ь ...(9.5)
Эта последовательность определяет последовательность чисел
рЕх^ь а0), ряДа,» а0), ...,(9.6)
задающих расстояния от параметров az до а0. Как (9.5), так и (9.6) являются случайными последовательностями, которые порождаются алгоритмом Л восстановления зависимости /(0 и реализацией (9.4). Исследование алгоритмов восстановления зависимостей сводится, таким образом, к исследованию сходимости последовательности (9.6).
Существуют различные понятия сходимости случайных последовательностей. В этой главе мы используем два понятия: сходимость по вероятности и сходимость с вероятностью единица (почти наверное).
Определение 1. Последовательность случайных величин £i, ..., ^z... сходится к величине £0 по вероятности, если, каково бы ни было е>0, вероятность выполнения неравенства
при l-^oo стремится к единице, т. е.
Нт —§0]<е} = 1.
1-*со
Факт сходимости по вероятности записывается так:
Определение 2. Последовательность случайных величин £1, • • •, ^ь • • • сходится к величине |0 с вероятностью единица, если, каково бы ни было е>0, вероятность выполнения неравенства
8ир|^-|0|<8
-iI
стремится к единице при l^-оо, т. е.
'lim Р Isup | ^ — ^0| <el = 1.
<-*ОО V^lJ
Сходимость с вероятностью единица (почти наверное) принято обозначать так:
Приведенные определения отражают различные требования к понятию сходимости.
В первом случае событие {] ^z — So I <8} выделяет множество последовательностей, для которых выполняется условие | ^/ — ^о I < 8 Для заданного фиксированного I. При этом каждая последовательность с ростом / может то удовлетворять этому условию, то не удовлетворять ему. Сходимость по вероятности есть в некотором смысле «слабая» сходимость — она не дает никаких гарантий того, что каждая конкретная реализация ^, ..., ^ сходится в обычном смысле.
Напротив, сходимость с вероятностью единица есть понятие «сильной» сходимости. Оно означает, что почти все реализации сходятся в обычном смысле. Сходимость почти наверное может быть определена еще и так.
Определение 2а. Последовательность случайных величин Bi, ..., gz, ... сходится с вероятностью единица к g0, если мера множества реализаций, для которых существует предел
Нт ^ = U /-*00
равна единице, т. е.
Легко проверить, что из сходимости с вероятностью единица следует сходимость по вероятности. В самом деле, так как для любого I справедливо неравенство
Р {| Ъ - Io I < 8} PjSUp ||, - ^ | < б|, то из условия
1ЙП Р |SUJJ I ^ - |0 I < 8| = 1 следует
НтРЦ^-^Ке}-!.
/-*00
Обратное утверждение, вообще говоря, неверно. Дополнительные условия, при которых из сходимости по вероятности вытекает сходимость с вероятностью единица, определяет следующая лемма.
Лемма (Борель — Кантелли). Если для случайной последовательности £п ..., £/, ... найдется такое £0, что для любого е>0 окажется выполненным неравенство
Sm-Eol^e}1 = 1Sm-Eol^e}1 = 1< ОО,< ОО,(9.7)(9.7)
Sm-Eol^e}
1 = 1
Sm-Eol^e}
1 = 1
< ОО,
< ОО,
(9.7)
(9.7)
то последовательность ^, ..., £z, ... сходится к ^ с вероятностью единица.
Доказательство. Обозначим через £/ событие, состоящее в том, что выполняется неравенство
|^-?о1>у (г-целое число).
Рассмотрим событие S^ состоящее в том, что выполнится хотя бы одно из событий Егь Е^х, ..., Е^и ...
s; = J е^.
i = 0
Оценим вероятность этого события
/>{$;} <2^ {#+<} =1 = о/>{$;} <2^ {#+<} =1 = о1 = Z+11 = Z+1
/>{$;} <2^ {#+<} =
1 = о
/>{$;} <2^ {#+<} =
1 = о
1 = Z+1
1 = Z+1
Так как в силу условий леммы ряд (9.7) сходится, то limP{Szr}=0.(9.8)
Z->co
Рассмотрим теперь событие Sr:
со
Из того, что событие Sr влечет за собой любое из событий S,, в силу (9.8) получаем
(9-9)(9-9)Р {S'} = 0.
(9-9)
(9-9)
Наконец, положим S = [J Sr. Как нетрудно установить, Г = 1
это событие означает, что найдется такое г, что для каждого / (/ = 1, 2, ...) хотя бы при одном i (i = i (/))
будут выполняться неравенства
Так как
Р{5}^5Р{5Д,г = 1
то в силу (9.9) P{S}=0, что и требовалось доказать.
Теоремы об интерпретации результатовкосвенных экспериментов
Пусть А — линейный вполне непрерывный оператор, действующий из пространства Л2 в пространство С, Л* —оператор, сопряженный к А. Тогда оператор А*А будет также вполне непрерывным оператором. Пусть
Х^ Х| ^ . . . ^ Х^.
полная система его собственных чисел, а
<Pi(0> ...» Ф™(0...(9.10)
— полная ортонормированная система его собственных элементов.
Рассмотрим также оператор АА*. Он имеет ту же самую систему собственных чисел, которой соответствует полная ортонормированная система собственных элементов
•фгМ, ipm(x), ...(9.11)
Для элементов (9.10) и (9.11) выполняются равенства
Np (/) = ХРЦ)Р (х\
Д*^(х) = ХрФр(0. Р
Решение операторного уравнения (9.1) разложимо в ряд по системе функций (9.10)
f^= 2 а^фДО-(9.12)
V = 1
Будем рассматривать в качестве приближения к решению (9.12) функцию
п (Z)
UL О =(9.13)
р = 1
где /г (/) —подходящее число членов разложения (оно будет определено ниже), аэ = (<%э, ..., Зэ (/))т — вектор параметров, доставляющий минимум функционалу
I ,п (/).2
22•(9,14)
/ = 1 \р = 1/
Оказывается, что при определенных предположениях относительно решения (9.12) существует такой закон л (Z), что с ростом объема выборки получаемые приближения стремятся по вероятности к решению операторного уравнения (9.1)
Справедливы следующие две теоремы.
Теорема 9.1. Пусть существует единственное решение операторного уравнения (9.1), Тогда, если только функция п (/) удовлетворяет условиям:
1)1)п ^ Т^ °°,п ^ Т^ °°,2)2)) дГ п(/)1п/ ^ г I) дГ п(/)1п/ ^ г IО,О,(9.15)(9.16)(9.15)(9.16)
1)
1)
п ^ Т^ °°,
п ^ Т^ °°,
2)
2)
) дГ п(/)1п/ ^ г I
) дГ п(/)1п/ ^ г I
О,
О,
(9.15)
(9.16)
(9.15)
(9.16)
то последовательность приближений f^t, аэ) с ростом I сходится по вероятности к f (t) в метрике L^.
Потребуем дополнительно, чтобы оператор А* действовал из L^ в С.
Теорема 9.2. Пусть решение операторного уравнения
таково, что выполняются условия
supsup= Т(т\= Т(т\оо
sup
sup
= Т(т\
= Т(т\
У, «ХО
р= т
(9.17)(9.17)W — 0.
(9.17)
(9.17)
Тогда выполнение условий (9.15), (9.16) обеспечивает сходимость по вероятности функций hit* аэ) к f(t) в метрике С.
Таким образом, теоремы 9.1 и 9.2 утверждают, что если приближать решение операторного уравнения (9.1) разложением по конечному числу собственных функций самосопряженного оператора А* А, то при правильном (удовлетворяющем условиям (9.16)) выборе числа членов разложения метод минимизации эмпирического риска
обеспечит с ростом объема выборки сходимость по вероятности получаемых решений к искомому.
Ниже мы покажем, что при определенных условиях выбор п (/) может быть осуществлен минимизацией правой части (8.49). Тем самым будет показано, что стандартная процедура метода упорядоченной минимизации риска, рассмотренная в главе VIII, приводит к построению последовательности функций, сходящейся к решению операторного уравнения (9.1).
Будем полагать, что помеха ^ при измерении функции в правой части операторного уравнения (9.1) определяется симметричной функцией плотности вероятностей Р (£) и подчиняется условию
ттУм^м^Ум^м^(9.18)(9.18)
т
т
Ум^м^
Ум^м^
(9.18)
(9.18)
Пусть выполнено неравенство
(9.19)(9.19)Неравенство (9.19) следует из (9.18), если к У]^? (хь ао) + £/ = 2 ^^рФр Cty) + £/• р = 1В этом случаеНеравенство (9.19) следует из (9.18), если к У]^? (хь ао) + £/ = 2 ^^рФр Cty) + £/• р = 1В этом случае
(9.19)
(9.19)
Неравенство (9.19) следует из (9.18), если к У]^? (хь ао) + £/ = 2 ^^рФр Cty) + £/• р = 1
В этом случае
Неравенство (9.19) следует из (9.18), если к У]^? (хь ао) + £/ = 2 ^^рФр Cty) + £/• р = 1
В этом случае
/ к\2/к\2
\У) S ^Л^р (*/) j ( 6/ S ^pPp^p (xy) ] ,(9.20)
\р=1/\р=1/
где
Рр5=5 ^р ^р*
Из (9.19) и (9.20) следует
3/*~'кV6
у 2 Мр%«1
г» = supт—>—^^у- .(9.21)
М Ц 2 ^'рРр’Рр (*) )
■X Р=1/
Оценим теперь отдельно знаменатель и числитель правой части равенства (9.21)
/ к\2к
М 6-2 W?W = а2 + S ^рРр = ®2 + В. (9.22)
\ р =1/р = 1
где обозначено
к
в= 2 %рР₽;
Р = 1,
(
к\6к\з
6 - s МЛ W = ^’ + 15 му М 2 Хррр^р (х) +
Р = 1/\р = 1/
(к\4/ к\б
+ 15 МУ М 2 Xpppifp (х) + М 2 МЛ W • <9-23)
\р = 1/\р=1/
Справедлива оценка
/ к\9£
(9.24)(9.24)sup ( 2 ^pMpW s: const-tj.x \p = i/k
(9.24)
(9.24)
Подставляя (9.24) в (9.23) и учитывая, что из условияПодставляя (9.24) в (9.23) и учитывая, что из условия< const< constследуетследует/муму/муму< const, получим< const, получим
Подставляя (9.24) в (9.23) и учитывая, что из условия
Подставляя (9.24) в (9.23) и учитывая, что из условия
< const
< const
следует
следует
/муму
/муму
< const, получим
< const, получим
мк- 2 Mp%Wj <
\ р= 1/
< const [06 + 15 о* (ВХ^ + 15 о2 (ВХ^ + (ВХ^2)3] <
< const [о2 + ВХ^2]3. (9.25)
Подставляя (9.22) и (9.25) в (9.21), окончательно получим
Т^ ^ constТ^ ^ const^А-вхзОй + В^А-вхзОй + Вconst"хГ*const"хГ*
Т^ ^ const
Т^ ^ const
^А-вхзОй + В
^А-вхзОй + В
const
"хГ*
const
"хГ*
Итак, будем полагать, что выполнено неравенство (9.19). Согласно же теореме 7.6 в этом случае с вероятностью 1 — т] одновременно для всех функций, разложимых по п(п</), собственным векторам системы (9.11)
/(«)</(«)<(9.26)(9.26)/э (а)/э (а)выполнится неравенство
/(«)<
/(«)<
(9.26)
(9.26)
/э (а)
/э (а)
Для каждого объема выборки / будем использовать такое число членов разложения п (/), чтобы, во-первых, выпол-
нилось ограничение
«(/)</1-в,(9.27)
где 6— любая малая величина, а, во-вторых, правая часть неравенства (9.26) достигала минимума. (Здесь появилось дополнительное условие, согласно которому число членов разложения с ростом объема выборки / растет не быстрее Z1 Л)
При таком модифицированном способе определения числа членов разложения оказывается выполненным требование (9.16) теорем 9.1 и 9.2.
Иначе говоря, справедлива
Теорема 9.3. Пусть решение операторного уравнения (9.1) удовлетворяет условию
2аХ(0 <°°(9.28)
и выполнены условия (9.19) и (9.27). Тогда с помощью, упорядоченной минимизации оценки (9.26) определяется такое число членов разложения, что с вероятностью единица оказываются выполненными условия:
«(/),-—
9\ 1 1 Лмо|n iа
V/ Ми
fL
Итак, теоремы 9.1 и 9.2 указывают на класс алгоритмов, который обеспечивает сходимость последовательности получаемых функций к решению операторного уравнения, а теорема 9.3 утверждает, что метод упорядоченной минимизации риска, заданный с помощью оценки (9.26) на структуре, образованной системой собственных функций, принадлежит этому классу.
В § 6 будут приведены примеры, показывающие эффективность применения метода упорядоченной минимизации риска при интерпретации результатов косвенных экспериментов. Однако хотелось бы здесь отметить, что успехи применения метода при решении некорректных задач интерпретации измерений, вероятно, определяются не тем, что последовательность получаемых решений сходится к искомому решению операторного уравнения (9.1),
а тем, что для каждого конечного I он определяет решение, обладающее экстремальным свойством: образ решения в £2 доставляет гарантированный минимум величине среднего риска.
Доказательство теорем
Докажем сформулированные теоремы.
Доказательство теоремы 9.1. Итак, пусть выполнены условия теоремы 9.1. Обозначим через
fAt, а9) = 2 аэфр(0
Р = 1
прообраз функции
nth
F^x, а3) = 2 ^“э^рСО,
р = 1
минимизирующей величину эмпирического риска
I /п (I)\2
4(а) = у 2 Н7 2•(9.29)
/=1'р=1'
Нашей целью является доказательство того, что fz (/, а9) сходится по вероятности к f(t) в метрике L2, или, что то же самое, последовательность случайных величин
/ П(1)со\ 2
V (/) = $ 2 «эфр (0 - 5 ^Р (0 М (9-30) V=1Р = 1'
стремится по вероятности к нулю с ростом L Заметим, что
п (/)оо
v(0=2₽p+ 2 да = ТДп^А-ТАпк^.
Р = 1p = rt(/)+l
где Pp = af-a®.
Так как решение принадлежит Ly то с ростом п (/) последовательность 7,3(п(/)) стремится к нулю. Поэтому Для доказательства теоремы 9.1 достаточно показать, что
Оценим величину
м(/)
Л(п(0)=ЕРр-(9.31)
Р = 1
Для этого определим вектор р = (Рь ..., рл (Z))T, на котором достигается минимум эмпирического риска.
Перепишем (9.29) в виде
Iп (/)
/ = 1р = 1
п (/)I
+ 2 wa 2^^. <9-32>
Р, q = l/=1
где обозначено
/со
^Р = У 2 У^Р to)’ ^ = ^' + 2 ^Pa^P ^ХЙ*
/ = 1р=п-Н
Обозначим через ||/С|| ковариационную матрицу, элементы которой KPq равны
^pq^^ ^ Фр to) Ф? to)’
а через G — n-мерный вектор с координатами G1? ..., Gn. Тогда вектор у = (Р1Х1, ..., рлХл)т, доставляющий минимум (9.32), находится так:
vHl^pG.
Поэтому справедлива оценка
|?М№°М№^^(9.зз)
С другой стороны, справедливо
«(/)п(П
Ы2 = £ (W2>^(oS ^ = ^-№(,1^. (9.34)
Р=1Р=1
Из неравенств (9.33) и (9.34) получаем
Ti№<^\\\KU?\G\\(9.35)
ЛП(/)
Таким образом, для доказательства теоремы достаточно оценить сверху норму матрицы Ц/СЦ"1 и норму вектора G.
Оценим 11| ^ || 11. Для этого заметим, что норма матрицы |^|| не превосходит цтах, где цтах — наибольшее собственное число матрицы, а норма матрицы H^H"1 не превосходит l/p,mim где pmin — наименьшее собственное число матрицы |^||.'
Оценим снизу величину pmjn. Для этого рассмотрим положительно определенную квадратичную форму
(
п
S Мр(х)
Р=1
п
которую будем исследовать в области 2 Тр^*- Так как p=i
5 ъфр(0 p=i5 ъфр(0 p=iвполне непрерывный оператор Л из £2 в С ограничен, || Л || < L, то справедливо неравенство
5 ъфр(0 p=i
5 ъфр(0 p=i
sup 2 ^рТрФр W х |р=1
п
откуда вытекает, что в области 2 Vp ^ 1 выполняется р=1
неравенство
и, следовательно, sup^^, v)<4r.(9.36)
X
Рассмотрим теперь выражение
/I ! пь2
^^F^xu ?) = у 2 ( 2 ^^(х,)) *
1 = 11 = 1 \р=1/
Заметим, что
MFn(x, Т) = £ ?‘,(9.37)
Р = 14
Iп
7 2 V) = 2t = lр, ^=-1
С помощью преобразования поворота перейдем к новой дважды ортогональной системе функций ф? (х), ..., ф« (х) такой, что
MF^x, у')=£ №(9.38)
Р = 1
Iп
т 2 рп ?') = 2 (v^2’
где Ц!, ..., цл — собственные числа матрицы |^||.
Для оценки собственных чисел воспользуемся теоремой о равномерной сходимости средних к их математическим ожиданиям для класса ограниченных функций (теорема 7.3).
Так как функции F (х, у') при ||у'[|^1 ограничены величиной L?!^ то справедлива оценка (см. § 3 гл. VII)
(2[\п ~ —
9^ -
или, учитывая (9.38), получаемили, учитывая (9.38), получаем
или, учитывая (9.38), получаем
или, учитывая (9.38), получаем
Потребуем, чтобы вероятность не превосходила 9/1п/. Для этого достаточно, чтобы х было не меньше величины
Г /9/\
9/2 1/ п 1п + 1 + In In Ix У.(9.40)
g
Из (9.39) и (9.40) следует, что с вероятностью 1 — все собственные числа ц^ ..., цл находятся в интервале 1 —х* ц, 1 +х*,(9.41)
откуда заключаем, что с вероятностью I — у^" выполняется неравенство
|i> 1 — х*.
Подставляя (9.42) в (9.35), получим, что с вероятностью 19"
1 — yj справедливо
тм<тм<(9.43)(9.43)
тм<
тм<
(9.43)
(9.43)
Нам осталось оценить величину | G |2:
пп / Iу2
ioi’=2c;=21
р = 10 = 1 \г = 1)
Для этого найдем математическое ожидание
п,
М|6|2 = м 2 G»^°2±Wl3^1n = R- ~,0 = 1
где Т и R — константы, не зависящие от I и п. Для оценки величины | G | используем неравенство Чебышева для первого момента положительной величины |:
Р(£>8}<у
где потребуем е = ^' ”1п * . А так как /И|О|2<-^-, то получаем
r V ' I J ' In Z •
Таким образом, с вероятностью 1—уу
|G|a^-^y.(9.44)
Подставляя (9.44) в (9.43), получаем что для достаточно больших I с вероятностью 1—уу выполняется неравен
ство
(9.45)
где с —некоторая константа.
Из неравенства (9.45) следует, что Т^п^У) стремится по вероятности к нулю при
1 Af n^Xnl0
Ч-.m V 1 1^
Теорема доказана.
Доказательство теоремы 9.2. Пусть теперь решение операторного уравнения (9.1) подчинено дополнительному условию
Покажем,Покажем,supsup2 арфр (0р = п2 арфр (0р = п(9.46)(9.46)что в этом случае условиячто в этом случае условияМО^оо.МО^оо.1 -] / л (/) In /Ча) V i I—1 -] / л (/) In /Ча) V i I—00(9.47)(9.47)являются достаточными условиями того, что последовательность решений fz (/, а9) сходится по вероятности к решению операторного уравнения (9.1) в метрике С. Обозначимявляются достаточными условиями того, что последовательность решений fz (/, а9) сходится по вероятности к решению операторного уравнения (9.1) в метрике С. Обозначимчерезчерезv (Z) = sup tv (Z) = sup tооп^Ц2 “рфр (0 - 5 а£ф„ (0Р=1Р=1ооп^Ц2 “рфр (0 - 5 а£ф„ (0Р=1Р=1где аэ = (аэ, ..., а"(/))т —вектор, доставляющий минимум (9.29). Нашей целью является доказательство того, чтогде аэ = (аэ, ..., а"(/))т —вектор, доставляющий минимум (9.29). Нашей целью является доказательство того, чтоvWt^o.vWt^o.Заметим, чтоЗаметим, чтоv (Z) ^ supv (Z) ^ supУ, РрФр(0 + sup p=i*У, РрФр(0 + sup p=i*ООР=П(/) + 1ООР=П(/) + 1«рфр(0«рфр(0(9.48)(9.48)где обозначено рр = ар — а?.Так как по условию теоремы (9.46) второе слагаемое суммы (9.48) стремится к нулю с ростом I, то достаточно погде обозначено рр = ар — а?.Так как по условию теоремы (9.46) второе слагаемое суммы (9.48) стремится к нулю с ростом I, то достаточно показать, чтоТ8 («(/)) = supказать, чтоТ8 («(/)) = supр (ОР=1р (ОР=1/,-♦00/,-♦000.0.(9.49)(9.49)
Покажем,
Покажем,
sup
sup
2 арфр (0
р = п
2 арфр (0
р = п
(9.46)
(9.46)
что в этом случае условия
что в этом случае условия
МО^оо.
МО^оо.
1 -] / л (/) In /
Ча) V i I—
1 -] / л (/) In /
Ча) V i I—
0
0
(9.47)
(9.47)
являются достаточными условиями того, что последовательность решений fz (/, а9) сходится по вероятности к решению операторного уравнения (9.1) в метрике С. Обозначим
являются достаточными условиями того, что последовательность решений fz (/, а9) сходится по вероятности к решению операторного уравнения (9.1) в метрике С. Обозначим
через
через
v (Z) = sup t
v (Z) = sup t
ооп^Ц
2 “рфр (0 - 5 а£ф„ (0
Р=1Р=1
ооп^Ц
2 “рфр (0 - 5 а£ф„ (0
Р=1Р=1
где аэ = (аэ, ..., а"(/))т —вектор, доставляющий минимум (9.29). Нашей целью является доказательство того, что
где аэ = (аэ, ..., а"(/))т —вектор, доставляющий минимум (9.29). Нашей целью является доказательство того, что
vWt^o.
vWt^o.
Заметим, что
Заметим, что
v (Z) ^ sup
v (Z) ^ sup
У, РрФр(0 + sup p=i*
У, РрФр(0 + sup p=i*
ОО
Р=П(/) + 1
ОО
Р=П(/) + 1
«рфр(0
«рфр(0
(9.48)
(9.48)
где обозначено рр = ар — а?.
Так как по условию теоремы (9.46) второе слагаемое суммы (9.48) стремится к нулю с ростом I, то достаточно по
где обозначено рр = ар — а?.
Так как по условию теоремы (9.46) второе слагаемое суммы (9.48) стремится к нулю с ростом I, то достаточно по
казать, что
Т8 («(/)) = sup
казать, что
Т8 («(/)) = sup
р (О
Р=1
р (О
Р=1
/,-♦00
/,-♦00
0.
0.
(9.49)
(9.49)
Для доказательства этого факта воспользуемся оценкой
п
(9.50)
справедливость которой вытекает из ограниченности оператора Л*.
При доказательстве теоремы 9.1 было показано, что
с вероятностью 1 — —справедлива оценка
11const n In Z const п In I \2' vZП*/const n In Z const п In I \2' vZП*/
1
1
const n In Z const п In I \2
' vZ
П*/
const n In Z const п In I \2
' vZ
П*/
Подставляя ее в (9.50), получим, что с вероятностью 1 — -j^j справедлива оценка
const п In I
П (П (/)) < ,^-7^=П2 •(9-51)
/ . const т / n In I г
\ V т/
Из оценки (9.51) следует, что 71 (п) стремится по вероятности к нулю, если
11 /" п (/) In /4W V i11 /" п (/) In /4W V i0.0.
11 /" п (/) In /
4W V i
11 /" п (/) In /
4W V i
0.
0.
Теорема 9.2 доказана.
Доказательство теоремы 9.3. Пусть число п(/) членов разложения решения операторного уравнения определяется минимальным значением оценки (9.26). Покажем, что если решение операторного уравнения /(/) удовлетворяет условию
§ аМ№ <°°>(9.52)
р = Iь,
то рассмотренный алгоритм задания числа членов разложения удовлетворяет условиям:
/г(/)^-^со,(9.53)
(9.54)
Покажем справедливость условия (9.53). Предположим противное. Пусть а^^О, г^п, а вместе с тем для любого />/0 выполняется неравенство
Согласно теореме 7.6 для достаточно больших / с вероятностью 1 — т] справедливо
Представим величину I (аэ, г) в виде
/ (а„, г) = М U - 5 V^p W^ =
= М ^ + А (х, г) - 5 Pp^pipp (х)^
\Р=1/
где
ОО
Л(х. И — s 4“ptpW» Рр = “?—а“,
P = r-\-1
и оценим ее:
/(аэ, г)>7(а0, г) = а2 + МА2(х, /Osaa^ 2 (а^р)2. р=г-Ц
Таким образом, с вероятностью 1—л должна быть спра
ведлива оценкаведлива оценка(9.56)(9.56)
ведлива оценка
ведлива оценка
(9.56)
(9.56)
Преобразуем и оценим выражение в числителе правой части (9.56):
I ,пх 2
«)=42 (^ - 2=
i=l\ Р=1/
/ /пх 2
=т 2 г'+л^ь2 млм| <
i = l\р = 1/
I
^42 ^+А^’ <=
i = \
III
=42^+42А2^'0+42^nV
1 = 11 = 11 = 1
Заметим, что, согласно закону больших чисел,
1 = 11 = 1
/ОО
42A2(^)t^ 2
i = \p = n-pi
Поэтому для достаточно больших I с вероятностью 1—л должно выполниться неравенство
О2+ S (W<<72+ 2 (W.(9.57)
Р = гА-\Р = п4-1
Однако для г<п неравенство (9.57) неверно с вероятностью единица. Полученное противоречие доказывает справедливость условия (9.53).
Покажем теперь, что справедливо и условие (9.54), Для этого заметим, что всегда выполняются неравенства
у 2 №/ + A(xh n))2>min/9(a, п)>
1 = 1a
I /ПX
>min4 У Bi- У ^Рар%(х,)-уА(xh п)]2. (9.58)
Найдем математическое ожидание левой части неравенства (9.58)
(
I1ОО
4 2 &+А (^. nw = °2 + 2 (*)2=°2+Ti w-
i = 1'р = г Н- 1
Заметим, что при фиксированном числе п справедливо
2 У I 1^'
Поэтому выполняется неравенствоПоэтому выполняется неравенство(9.59)(9.59)
Поэтому выполняется неравенство
Поэтому выполняется неравенство
(9.59)
(9.59)
Так как неравенство (9.59) справедливо для любого г, выполнено условие Т^/^-д^О и условие ^(Ofz^oo, то имеет место неравенство
lim min
Z—>oor<Z1 ^ 1 const 1/ rlnZ
4 V i
С другой стороны, воспользуемся оценками среднего и дисперсии:
i / i
М/э (&э, уэ, г) = М -р ^ (^ ^ ^рарфр(^) Ys^to» ^))2== i=i \Р=1
= o2(1-z4^-)> (9-6°)
О[/Э(а9, у„ г)] = М Ца (а9, V», г)-ЛГ/э(а9, у9, г))2 <
<^il+^(r+l) = ^£+L> (9.61)
а9, у9 —значения параметров, доставляющих минимум rY
Справедливость этих оценок мы покажем ниже. Используем неравенство Чебышева
р{|/э(а9, TV. n(0)-a2(l-^^)|>e}<^(n(W
Согласно же условию теоремы п (/) < Z1*6. Поэтому
2 Р{|о2(1--^±^) - /э(аэ, уэ, n(0)|>eJ<
/=1
и, следовательно, согласно лемме Бореля — Кантелли (см. § 2), с вероятностью единица имеет место сходимость
Пт /в(а„ уэ, п(0) = а2.
Таким образом, с вероятностью единица выполняются неравенство
lim min
/ —оо nU) . const П (Z) In Z V I
и равенство lim /9(а9, у9, /г(/)) =о2,
/ — ОО
откуда следует, что с вероятностью единица
const -|/"n(0TnT А/АСАХ
Выражение (9.62) и составляет содержание теоремы 9.3. При доказательстве теоремы мы использовали равенство (9.60) и неравенство (9.61). Получим их:
I / г\2
М/в(а9, Т». г) = ^7 2 7i- 2 ^“рЯ’р^-тЛ^. dj •
t = 1 'р = 1/
С помощью преобразования поворота перейдем к системе координат ф^ (х), ..., ф'(х)> ipr + iW такой, что
V X X, / XеСЛИ Р = Я'
I WP X U wq X Uесли p^q.
В этой системе координат
А(“э> V»» г)=т 2 ^“ 2 77’
где обозначено
Таким образом, получим
М/9(аэ, у9, г) =
= (У2_ у 4M^4J^^
р=1 I,/=1
Теорема доказана.
Методы полиномиальногои кусочно-полиномиального приближений
Итак, с помощью метода упорядоченной минимизации риска может быть получена последовательность приближений, сходящаяся с ростом числа измерений к искомому решению операторного уравнения.
Однако сходимость гарантируется лишь при условии, что приближения ищутся в виде разложений по собственным функциям оператора Д*Л. Отыскание же собственных функций оператора А* А — задача нс всегда простая. Поэтому хотелось бы заменить разложение решения по собственным функциям оператора разложением по другой системе функций.
В этом параграфе мы рассмотрим два типа приближений — полиномиальные и кусочно-полиномиальные.
Основное свойство полиномиальных приближений, сформулированное в теореме Вейерштрасса, состоит в том, что любая непрерывная на отрезке [я, Ь] функция может быть сколь угодно точно приближена в равномерной метрике полиномом. В этой книге в качестве приближения к функции у(^ выбирается функция, минимизирующая в F (х, а) функционалч
Ц0^ — ^ (У (х) “ F (х> а))2 ^х.(9.63)
Возникает вопрос: для всякой ли непрерывной функции у(х) последовательность
F (х, a?), ..^F^ а?г\ ...(9.64)
полиномов степени r = 0, 1, 2, ..., каждый из которых доставляет минимум (9.63) в классе полиномов соответствующей степени, сходится к у(х) в равномерной метрике?
Оказывается, нет, нс для всякой. Известна теорема Лозинского —Харшиладзс [30], согласно которой существует такая непрерывная функция у (х), к которой последовательность (9.64) равномерно нс сходится.
Таким образом, идея минимизации среднеквадратичного уклонения для получения равномерного полиномиального приближения непрерывной функции оказывается неприемлемой. Из этого факта немедленно вытекает, что получение равномерного приближения к регрессии путем минимизации среднего риска невозможно, если приближение ведется в классе полиномов.
Возможность построения равномерного приближения к регрессии в схеме минимизации среднего риска связана с кусочно-полиномиальными приближениями или, как их еще называют, сплайн-приближениями.
Рассмотрим кусочно-полиномиальные приближения функции на отрезке [о, Ь]. Разобьем отрезок [а, Ь] на N частей точками а = а^ аъ ..., aNA1 = b. На каждом интервале [az, я/+1] будем приближать функцию у (х) полиномом фиксированной степени т. Таким образом, функция приближается с помощью N +1 кусков полиномов (каждый для своего интервала). Полиномы выбираются так, чтобы в точках аъ ..., aN полученное приближение было непрерывно вместе со своей т — 1 производной. Назовем такое
кусочно-полиномиальное приближение сплайнами степени т, сопряженными на сетке (ах, ..., UnY Будем считать, что точки сопряжения фиксированы и заданы равномерно на г л। а • а Ь — а \
[а, 6] ^ = а0 + Д1, Д = ——
Обозначим через V™ (х, а) класс сплайнов степени т с N сопряжениями, заданный на равномерной сетке, а через Vn (х, аэ) сплайн, доставляющий минимум величине эмпирического функционала
i
/.(«Hy^O/i-V^a))9.(9.65)
Пусть теперь определено условие, связывающее число сопряжений N с объемом выборки Z, а именно N = N(T).
Рассмотрим последовательность сплайнов
VnoA^ аэ), •••» VnuAx> аэ) ...(9.66)
степени т, имеющих ^(l), ..., N (Z), ... сопряжений и минимизирующих эмпирический риск на выборке Z = 1,2,... ... I ... (выборка образована случайно и независимо согласно плотности Р (х, у) = Р (у\х) Р (х)).
Справедлива
Теорема 9.4 (Михальский). Пусть регрессия определяется непрерывной функцией у(х). Тогда последовательность (9.66) с вероятностью единица сходится в равномерной метрике к регрессии у(х\ если только плотность Р^ абсолютно непрерывна относительно равномерной и выполнены условия
Если же, кроме того, будут выполнены более сильные условия
а регрессия у(х) непрерывна вместе со своими р производными, то последовательность
[^(1>(х, а9)](р>, ..., [^(0(х, а9)](р)...,
составленная из р-х производных сплайнов (9.66), сходится с вероятностью единица в равномерной метрике к функции у^рЦх\ являющейся р-й производной регрессии.
Замечание. Из теоремы следует, что выполнение условия (9.67) гарантирует восстановление в классе сплайнов р-й непрерывной производной функции ^(х) по значениям этой функции, измеренным в I случайно выбранных точках (/ — достаточно большое число), т. е. отыскание приближенного решения интегральногс уравнения
bр — 1
ak = 0
по измерениям yt = F (x^ + ^t (/=1, 2, ..., Z).
Ниже при интерпретации результатов экспериментов мы будем искать решение в разложении по сплайнам.
Методы решения некорректных задач измерения
В этом параграфе мы приведем примеры использования метода упорядоченной минимизации риска для восстановления решения линейного операторного уравнения
Af^=F(x)(9.68)
по эмпирическим данным xv уг; ...; xb yt (yi — F (Х/) + ^, х — случайная величина, распределенная по равномерному закону на [б?, Ь]). Восстановление проводится в классе сплайнов.
В главе XII будет показано, что любой сплайн V™ (Z, а) порядка т с N сопряжениями представим как линейная комбинация системы N + m+l фундаментальных сплайнов степени т с N сопряжениями
лНО, Ядг+тнСО.(9.69)
Иначе говоря, справедливо
A + ^+l
«) = 2
где а = (а1У ..., адг+т+1) — коэффициенты, задающие конкретные кусочно-полиномиальные приближения в классе сплайнов степени т с N сопряжениями.
При построении сплайн-приближения решения уравнения (9.68) проблема состоит в том, чтобы определить, во-первых, подходящее число N точек сопряжения сплайна, а во-вторых, коэффициенты разложения oiv ... t oln^^.
Рассмотрим образы фундаментальной системы (9.69) в Е3
Н1 (^) == -^*^1 (О» • • • » Цлг+т! 1 (^) ” ^^TV+yzz+i (О
и примем в качестве решения операторного уравнения (9.68) такой сплайн Vn (/, а*), образ которого F (х, а*) гарантирует малую величину риску:
(*, а))2 р (У \^ dy dx.
Согласно теореме 7.6 с вероятностью 1—т] одновременно для всех сплайнов с N сопряжениями выполнится неравенство
В качестве решения операторного уравнения выберем такую сплайн-функцию (т. е. такое число сопряжений N и такое а), для которой достигается минимум правой части этого неравенства. Несмотря на то, что сходимость приближений, найденных методом упорядоченной минимизации риска, к решению операторного уравнения доказана лишь для разложения по собственным функциям, примеры успешного решения практических задач интерпретации результатов косвенных экспериментов в классе сплайнов позволяют рекомендовать и это разложение для решения интегральных уравнений Фредгольма I рода.
Задача ядерной спектроскопии. На вход измерительного прибора поступает энергия, распределенная по частоте /(/) (/ — частота). На выходе прибора наблюдается экспериментальный спектр F (я). Связь между входом и выходом задается уравнением
ь
где а, b— границы излучаемого спектра
и+={и+={г, если z О,г, если z О,О, если z < 0.О, если z < 0.
и+={
и+={
г, если z О,
г, если z О,
О, если z < 0.
О, если z < 0.
Требуется по наблюдениям восстановить /(/).
На рис. 8 показаны измерения функции F (х) (каждый второй замер). Всего было проведено 40 измерений. Измерения осуществля
лись с равномерно распределенной помехой, заданной на интервале [—с, с]. Величина с бралась равной 2% от максимума F (х).
На рис. 9 показан истинный спектр (жирная линия) и сплайн- приближение, полученное методом упорядоченной минимизации риска.
Обратная задача гравиметрии. Интегральное уравнение ь
2 с нт
(Р1-р2)л Jw
а
описывает аномалию силы тяжести на поверхности Земли, созданную массой плотности рь отделенную от окружающей среды с плотностью р2, границей / (/), Я —глубина залегания Массы, вызывающей аномалию. Требуется по измерениям аномалий F (/) восстановить границу / (0
На рис. 10 показано истинное (жирная линия) и полученное методом упорядоченной минимизации риска сплайн-приближение (тон-
кая линия). Решение получено по 40 измерениям, проводимым с равномерной помехой, амплитуда которой составила 12% от максимума F (х).
Рис. 10.
Задача восстановления производных. Задача восстановления п-й производной в классе непрерывных функций сводится к решению следующего интегрального уравнения:
Ь гп~х
aj = 0
Ниже приведены решения этой задачи для п = 1, 2, 3 в случае, когда функция F (х) измерена в 40 точках.
На рис. 11 показана функция F (I) (жирная линия) и ее измерения (показан каждый второй замер функции). Измерения функции
проводились с помехой, распределенной согласно равномерному закону с амплитудой 5% от максимума F (х).
На рис. 12, 13, 14 показаны первая, вторая и третья производные функции F (х) (жирные линии) и соответствующие сплайн-при- ближения, найденные методом упорядоченной минимизации риска
Примеры решались с помощью алгоритма 12-3, приведенного в главе XII.
Проблема восстановления плотности распределениявероятностей
В главе II проблема восстановления плотности распределения вероятностей в классе непрерывных на \а, 6] функций была связана с решением некорректной задачи численного дифференцирования. Согласно определению плотность распределения вероятностей /(/) есть производная от функции распределения вероятностей/7^) = Р (t^x), т. е. является решением уравнения
ь
^(x-t)f(t)dt = F(x).(9.70)
Поэтому задачу восстановления плотности /(/) по эмпирическим данным tv ..., tt следует рассматривать как задачу приближенного решения интегрального уравнения (9.70), правая часть которого задана неточно: вместо функции распределения F (х) дана ее оценка
i
/=1
Будем решать эту задачу методом регуляризации (см. приложение к гл. I). Выпишем функционал
R^Q’ FiW^ FtW^^ (9.71)
где Л —оператор уравнения (9.70), yz — константа регуляризации yz->0 при 1-^оо.
Рассмотрим последовательность элементов
ГЛ^(9.72) минимизирующих (9.71) при /->оо.
Эта последовательность является случайной, так как она образована с помощью случайных функций Ft (х).
В приложении к главе доказана теорема, утверждающая, что если искомое решение операторного уравнения принадлежит некоторому компакту Q (/)^с, то для любых v и |1 существует такое п (|л, v), что, начиная с I > п (|л, v) для всех элементов (9.72) выполнится неравенство
^{р^. №> t>A^Pk^Fb F)>^.(9.73)
11 В. Н. Вапник
Воспользуемся этим неравенством для определения условий, обеспечивающих сходимость последовательности (9.72) к искомой плотности.
Рассмотрим асимптотическую оценку скорости сходимости эмпирической функции распределения к истинной (оценка Колмогорова — Смирнова)
Р (sup | Ft (х) — F (х) | > el < 2е~2е2/. (9.74)
Пусть теперь ря2 (Fb F) = sup | Ft (х) — F (х) |. Тогда из (9.73) и (9.74) получим
Р{ре, ^' ^>^<2е-^и
(9.75)(9.75)Из этого неравенства следует, что для того, чтобы последовательность (9.72) сходилась по вероятности в метрике пространства Ех к истинной плотности, достаточно, чтобы
(9.75)
(9.75)
/у > оо,
• z Z-*oo ’
а для того, чтобы последовательность сходилась с вероятностью единица, согласно лемме Бореля — Кантелли достаточно, чтобы хотя бы для одного р выполнилось неравенство
(9.76)(9.76)2 е-^<оо.
(9.76)
(9.76)
Z = 1
Используя в (9.71) различные стабилизирующие функционалы Q(/), можно получать оценки ^, сходящиеся к искомой плотности в различных метриках.
Итак, мы установили, что если плотность принадлежит компакту Q (/) ^ с, то можно подобрать такие ^ь чтобы последовательность (9.72) сходилась к искомой плотности.
Требование о принадлежности искомой плотности компакту можно снять.
В приложении к главе показано, что можно получать последовательность решений, сходящуюся к непрерывной плотности,— достаточно в качестве стабилизирующего функционала взять Q (/) = Ц/|]2> где Ц/Ц — норма гильбер-
това пространства. Но теперь условие (9.75) должно быть выполненным для любого положительного р, а последовательность сходится к решению в метрике L2.
Таким образом, методы восстановления плотности связаны с решением некорректных задач численного дифференцирования 1).
Ниже мы используем метод упорядоченной минимизации риска для решения задачи восстановления плотности. Однако прежде чем приступить к изложению соответствующих результатов, следует заметить, что существуют классические непараметрические методы восстановления плотности (например, метод Парзена), которые, казалось бы, позволяют обойти решение некорректной задачи. Однако при более внимательном анализе оказывается, что все они содержат константу, определение которой — проблема, полностью эквивалентная определению константы регуляризации у; при решении некорректных задач.
Восстановление плотности методом Парзена
Идея метода Парзена восстановления плотности состоит в следующем. Справедливо тождество
Р(х) = $6(х-0^(0 dt.
Рассмотрим некоторую параметрическую последовательность функций, сходящуюся к 6(х):
hi \hj’ ’ ht ХИН* hi \hj ’
Такая последовательность существует. Например, она может быть следующей:
- —
Иш ■ „_— е 2,12 = 6 (х).
h-oV^h
Для всякой непрерывной плотности Р ^х) существует такая величина h, что замена в подынтегральном выражении 6(х) на функцию ^К^Л мало повлияет на результат, т. е.
Р (х) = j 6 (х- О Р (О dt^^K (^-) Р (0 dt.
Заменим теперь математическое ожидание величиной среднего по выборке. При достаточно большом объеме выборки это также мало повлияет на результат
1 = 1
Выражение в правой части и используется как формула для оценки плотности:
W "7(9'77)
1 = 1
Проблема же состоит в том, чтобы установить:
Каким должен быть закон образования величины h, чтобы с ростом объема выборки оценка стремилась к истинной плотности вероятностей?
Как выбирать константу h, если объем выборки ограничен?
Ответа на второй вопрос нет. Что же касается асимптотических свойств метода, то в 1962 г. Парзен, а в 1965 г. Надарая получили условия, обеспечивающие сходимость оценки (9.77) к искомой равномерно непрерывной плотности. Оказывается, для сходимости в метрике С последовательности (9.77) по вероятности к искомой плотности достаточно, чтобы
№та~(9.78)
(результат Парзена), а для сходимости с вероятностью единица достаточно, чтобы при любом положительном р сходился ряд
ОО
2е~ц^<оо(9.79)
Z = 1
(результат Надарая).
Заметим, что требования (9.78), (9.79) к выбору констант hi оказались тождественными требованиям (9.75), (9.76) к выбору констант регуляризации при решении некорректной задачи (9.70). А это означает, что, обойдя постановку некорректной задачи, по-существу, не удается избежать трудностей, связанных с ее решением1).
§ 9. Восстановление плотности методомупорядоченной минимизации риска
Итак, будем решать уравнение (9.70), где вместо F(^ используется эмпирическая оценка Ft (х). Заметим, что Ft (х) является случайной функцией, значения которой в разных точках х* и х* коррелированы.
Коэффициент ковариации Ку случайных величин yt = — F^xf) и y^Fi^) равен
КуКу(9.80)(9.80)у Fi (1 — F^ если х* х*, у F] (1 — F^ если х*<х*.
Ку
Ку
(9.80)
(9.80)
Здесь обозначено Fl = F(xt)) Ff = F^x*\
Рассмотрим N величин уи ..., yN) образованных с помощью функции Ft (х) и N случайных чисел х*, ..., х^, полученных согласно равномерной на [я, 6] плотности вероятностей: у.^Р^х*^ /=1, 2, ..., N.
Так как случайные величины yt и у, коррелированы, то применять непосредственно метод упорядоченной минимизации для восстановления плотности вероятностей нельзя.
Поэтому применим к случайному вектору Y = (уъ ... ..., VnY следующее линейное преобразование:
Z = BY, В'В = КЛ
где К — матрица ковариаций с элементами (9.80).
Известно, что с помощью этого преобразования обра-^ зуется случайный вектор 2, компоненты которого некор-
я) Известные оценки скорости сходимости для метода Парзена [ЮО] имеют порядок (In ly)2^*
Эта скорость меньше чем та, которая получена при восстановлении достаточно гладкой плотности методом численного дифференцирования (см. сноску к стр. 323).
релированы и имеют единичную дисперсию (можно показать, что в нашем случае компоненты независимы).
Поэтому можно рассматривать каждую компоненту 2/ вектора 2 как реализацию случайной величины при условии х* в независимой выборке объема N.
Обозначим через Fa вектор с координатами F (х*, а), ... .F (xn, а). Преобразование В переводит вектор Fa в вектор W=BFa, компоненты которого будем рассматривать как значения некоторой функции W (х, а) в точках х*, ..., Xn.
Будем теперь решать задачу минимизации функционала
7(a) = $ (2 — W (х, а))2 Р (2 | х) dz dx.
Для решения этой задачи применим метод упорядоченной минимизации риска.
Таким образом, имеем
/(«)</(«)<-L 2а))2
/(«)<
/(«)<
ОООО/In ms (2М)--1п-й VL
ОО
ОО
Числитель правой части может быть представлен в виде
N
i 2 ^~W И, а))2 = ^ (У - Ра)тВТВ (У -F») = i = l
= -^Y-FayK-4Y-Fa\
Выпишем теперь окончательно функционал, минимизация которого по классам функций S1a ... czSN и по всевозможным функциям F(x, а) в каждом из классов определит оценку плотности распределения вероятностей:
ЭД =
-^(Y-Fay K-4Y-Fa)
1-23/2т
In mSP (2^)—ln-3.
N
99
(9.81)
где
Fo = V4xL а)F<x*n, а))т,
F^x*, а) = $ f<t, a)dt,
— СО
f(t, а) —функции, принадлежащие Sp.
Для того чтобы воспользоваться соотношением (9.81), надо знать обратную ковариационную матрицу. Эта матрица может быть найдена аналитически х). Непосредственной проверкой соотношения КК1 = I читатель может убедиться, что следующая матрица является обратной к К*. к1-
L_оо
F1(F2-F1)F2-Ft
IZ(F3-FaI
F2-Ft(F3-F2)(F2-Fi)F3-F2
——I^(^N~^N—2)
°FN— 1“F^—2FN~FN-\ XfN~ fN — 1
X^n-x-Fn-sY"1
о0l-
fN~fN-\ ^~Fn)(fN-f^-\)
(9.82)
Однако матрица (9.82) выражается через неизвестную нам функцию распределения случайной величины F (х), производную от которой и требуется найти.
Итак, оказалось, что для того, чтобы по выборке восстановить плотность вероятностей, необходимо иметь априорную информацию о плотности (знать ковариационную матрицу (9.82)). В этом и сказывается принципиальная трудность проблемы восстановления плотности вероятностей в широком классе функций.
Вместо матрицы (9.82), однако, в (9.81) можно использовать ее оценку, где значения матрицы определяются по предварительно восстановленной непрерывной функции Рэ(ху Заметим, что задача восстановления функции F (х) проще задачи восстановления плотности (согласно теореме Гливенко — Кантелли эмпирическая функция распределе-
г) Будем полагать, что искомая плотность на (а, Ь) не обращается в нуль.
ния сходится к истинной в равномерной метрике). Таким образом, алгоритм восстановления плотности вероятностей состоит из двух этапов: предварительного оценивания матрицы (9.82) и нахождения плотности х).
Такой двухэтапный метод восстановления плотности, видимо, является принципиально необходимым при восстановлении плотности на практике.
На рис. 15 и 16 показано применение метода Парзена
для восстановления одно- и двумодальной плотности
Показано, что при тех значениях параметра к, при которых удовлетворительно восстанавливается одномодальная плотность, плохо восстанавливается двумодальная плотность и наоборот: значения параметра, подобранные
9 Можно указать такое соотношение между объемом выборки I и числом N точек, в которых определяется значение функции Рэ (х), при котором в двухэтапном методе восстанавливаемая функция стремится к искомой плотности с ростом объема выборки.
для восстановления двумодальной плотности не дают удовлетворительного результата при восстановлении одномодальной плотности.
Применение рассмотренного двухэтапного метода упорядоченной минимизации (в классе сплайнов) в тех же
условиях позволяет получить удовлетворительные решения (рис. 17). При вычислении использовались значения поли-
гона Рэ (х) в N = 50 случайно выбранных точках. Изменение N в достаточно широких пределах (vV = 30, ^ = 100) несущественно влияет на результат (рис. 18). Плотности восстанавливались с помощью модифицированного алгоритма 12-3 (см. гл. XII).
Основные утверждения главы IX
Интерпретация результатов косвенных экспериментов в условиях, когда искомая функция связана с измеряемой операторным уравнением
Af = F, образующим некорректно поставленную задачу, возможна лишь при проведении достаточно большого числа измерений.
С помощью метода упорядоченной минимизации риска может быть получена последовательность решений, сходящаяся с ростом числа измерений к искомой функции, если структура на множестве возможных решений задана разложением функций по собственным элементам самосопряженного оператора А* А, упорядоченным в порядке убывания собственных чисел.
Задание другой структуры на множестве функций (например, связанной с разложением по полиномам), вообще говоря, не обеспечивает сходимости получаемой последовательности решений к искомому. Однако для задачи восстановления регрессии и ее производных сходимость в равномерной метрике последовательности получаемых решений к искомому возможна, если структура образована кусочно-полиномиальными зависимостями (сплайн-функциями), упорядоченными по числу точек сопряжения.
К задаче численного дифференцирования функции, заданной измерениями в N случайно выбранных точках приводится задача восстановления плотности вероятностей в классе гладких функций.
Особенность ее состоит в том, что ошибки измерения коррелированы. Конструктивные алгоритмы восстановления плотности методом упорядоченной минимизации риска связаны с возможностью учета ковариационной матрицы ошибок измерения. Эти алгоритмы восстановления плотности на практике более точны, чем алгоритмы Парзена.
ПРИЛОЖЕНИЕ К ГЛАВЕ IX
СТАТИСТИЧЕСКАЯ ТЕОРИЯ РЕГУЛЯРИЗАЦИИ
(ПЛ)(ПЛ)Пусть дано операторное уравнение Af = F,
(ПЛ)
(ПЛ)
заданное непрерывным оператором Л, осуществляющим взаимно однозначное отображение элементов метрического пространства Ег в элементы метрического пространства Е^. Пусть й (/) —функционал такой, что:
решение уравнения (П. 1) принадлежит D(Q) —области определения функционала й (/);
функционал й (/) принимает в D (й) вещественные неотрицательные значения;
множества Мс = {х ; й (f) <с} О О являются компактами.
Рассмотрим Ft — случайные функции и fp — элементы, минимизирующие функционал
К.ДЬ F^^Af, F^ + ъ^^(П.2)
Пусть у/ 0 при I оо.
В этих условиях справедливы следующие две теоремы, которые являются стохастическим аналогом теорем А. Н. Тихонова (см. приложение к гл. I, теоремы П.1, П.2).
Теорема ПЛ. Для любых положительных v и р найдется такое число п (р, v), что для всех 1>>п^» v) выполнятся неравенства
f)>^p{9EsFl’ F>>^-
Теорема П.2. Пусть Ех —гильбертово пространство, А —линейный оператор, й (/) = |1Л2> тогда для всякого е найдется такой номер п^г\ что при всех l^n^) будут
выполнены неравенства
Р I Iff'-
Доказательство теоремы П.1. По определению для любого I справедлива цепочка неравенствг)
Yzq^)^;(/p, f^R^L f^ =
= Pl (Л/, F^ + Y/Q (/) = pl (F, Ft) 4- Tz^ Л - (П.З)
Иначе говоря, справедливо
Q(^^Q№+P1(M.(П.За)
Кроме того, очевидно,
р’«- Р^МП1’ F^<П-4)
Используя (П.З) и (П.4), получим неравенства
(П.5)
Далее, для любых v>0 и с*>й^ справедливо равенство
р {Р1 №• г^ Ч = р {р. W* f) ^ v I q (/) + М с| х X Р {й Л ч-51^ <4 + Р {pi(f?, /)
^\й(ГНР-Ц^>с^^^+РА^1>сУ (П.6)
Пусть теперь выполнится условие
Тогда из (П.За) следует, что справедливо неравенство й^^^с, т. е. f^1 принадлежит компакту. Согласно же лемме о непрерывности обратного оператора А на компакте (приложение к гл. I) получаем, что найдется та-
J) Здесь и далее для упрощения записи положим р^ = р^
кое 6, что как только выполнится неравенство р2 (Л^, F)^ ^6, окажется выполненным неравенство
Отсюда следует, что для достаточно больших /
р {pi № л) VIQ (/) +
^р{р2(л^, Е^\ЩП^-^^су (П.7)
Заметим теперь, что, согласно (П.5), в области
выполняется неравенство
Р8 (Л^, F) Гт, (с - й ^ + Г?, (с — й (/)) + ?,й (/) =
-Г^Г^Щ/Т+Г^).
Так как yz->0 при 1->со, то, каково бы ни было 6, начиная с некоторого п, для всех / > п выполнится равенство
Р {р2 (л^, f) ^ 61Й (f)+р1^1 ^ с} = I.
А так как справедливо (П.7), то для 1>п выполнится равенство
pVi№’ z)^vin(/)+^-^c}=L
Таким образом, из (П.6) получим, что для любого v>0 найдется такое п, что при / > п выполнится неравенство
а следовательно, и неравенство
PWtl« Г)>^^р\йФ+Р1^—1>су (П.8)
Учитывая, что оЩ/), и вводя обозначения р, = с — Q (/), из (П.8) получим утверждение теоремы
р {pi №• f) > 4 р н <fi> о > ^}-(п.9)
Теорема доказана.
Доказательство теоремы П.2.
Любой замкнутый ограниченный шар гильбертова пространства^. е. множество векторов вида: {Д* II/ —/о||^ ^d^ является слабо компактным.
Поэтому относительно слабой компактности в пространстве Ех мы находимся в условиях теоремы 1. Следовательно, для любых положительных v и р найдется такой номер п = п (р, v), что при I > п (р, v)
р {I Ф №) - Ф (f) I > v} ^ р {р, (Fp F) > тгр,}.
где Ф (•) — произвольный непрерывный линейный функционал, например проекция / на элемент q:
Ф (Л = ^ (Л / (Л dt = (q • f\
Согласно определению нормы в гильбертовом пространстве имеем
\\ni-^=№-f. г?-^=
Ц\ГЯ-ШН2^, f-^). (П.10)
Воспользовавшись неравенством
Р{а+6>е}^р{а>|}+р {&>!},
из (П. 10) получаем
/>№-Л2>е}^
Р {IIП1 Г - II f II2 > у} + Р {2 (A f - п^ > 1}.
Для оценки первого слагаемого правой части воспользуемся неравенством (П.За), где учтем, что Q (/) =[|Л2- Получаем
11^Г<и«211^Г<и«2Pi (Fb F)Pi (Fb F)TzTz
11^Г<и«2
11^Г<и«2
Pi (Fb F)
Pi (Fb F)
Tz
Tz
Таким образом, Р^-т>^Р^^>^.(П.П)
Второе слагаемое оценим с помощью (П.9), положив р = = е/2
^{(А Г-П[>^^р\рЧР1’ П>^^\- (ПЛ2>
Объединяя оценки (П.П) и (П.12), получим утверждение теоремы:
р {IIП1 -ft >6^ 2Р {р°2 (Fp Г) > | ?z|.
ГЛАВА X
ВОССТАНОВЛЕНИЕ ЗНАЧЕНИЙ ФУНКЦИИВ ЗАДАННЫХ ТОЧКАХ
§ 1. Схема минимизации суммарного риска
В условиях малых выборок
(10.1)(10.1)^i, yr, ; хь yt
(10.1)
(10.1)
целесообразно различать две задачи восстановления:
Восстановление в классе F (х, а) функциональной зависимости у = / (х).
(10.2)(10.2)Восстановление в F (х, а) значений функции y=f(x) в заданных точках
(10.2)
(10.2)
^Z+l, • • • » ^Z+/?-
Казалось бы, в задаче восстановления значений функции y — f^x) в заданных точках (10.2) нет глубокого содержания. Существует «естественный» путь ее решения — восстановить по имеющимся эмпирическим данным (10.1) функциональную зависимость y = F(x, а*) и с ее помощью определить значения функции в точках (10.2)
yi = F(xh a*) (z = Z + l, ..., /+^),
т. е. получить решение второй задачи, используя решение первой.
Однако такой путь восстановления значений функции часто не является лучшим, ведь здесь решение сравнительно простой задачи — восстановление к чисел (значений функции) ставится в зависимость от решения значительно более сложной задачи — восстановления функции (континуума чисел, содержащих эти к чисел).
Проблема как раз и заключается в том, чтобы в условиях дефицита информации использовать информацию для решения нужной нам, а не более общей задачи. Не исключено, что имеющегося объема информации может оказаться достаточно, чтобы удовлетворительно восстановить к чисел, но может не хватить для того, чтобы восстановить Функцию во всей области ее определения.
Следует заметить, что на практике большей частью возникает потребность в определении значений функции в заданных точках, а не самой функциональной зависимости. Как правило, (а в задаче распознавания образов всегда) функциональная зависимость используется лишь для того, чтобы определить значение функции в некоторых нужных нам точках.
Итак, будем различать две постановки задачи восстановления: восстановление функции и восстановление значений функции в заданных точках.
В главе I мы формализовали постановку задачи восстановления функциональной зависимости с помощью схемы минимизации среднего риска. В этом параграфе мы формализуем постановку задачи восстановления значений функции в заданных точках с помощью схемы, которую будем называть схемой минимизации суммарного риска.
Считается, что задано множество
^, ..., хь хт, ... , х^(10.3)
состоящее из / + & векторов ^полная выборка векторов). Существует функция y = f(x\ которая ставит в соответствие каждому вектору х множества (10.3) число у.
Таким образом, для / + ^ векторов (10.3) определено / + & значений
Уь . . , Уь Ум, • . , Ум-(Ю.4)
Из множества (10.3) случайно отбираются / векторов хь для которых указываются соответствующие реализации уь Образованное множество пар
УЛ ; xb yt(10.5)
по аналогии с задачей восстановления функции будем называть обучающей выборкой.
Множество векторов
*z+i, ... , х^(10.6)
будем называть рабочей выборкой.
Требуется по элементам обучающей и рабочей выборок среди заданного множества функций F (х, а) (этому множеству вовсе не обязана принадлежать / (%)) найти такую функцию F (%, а*), которая с заданной вероятностью 1 — т) минимизирует суммарный риск прогноза значений
функции yi==f(Xi) на элементах рабочей выборки, т. е. с заданной вероятностью 1 — т] доставляет функционалу
l-Vk
2 <yi-F<xb а))2(10.7)
i = Z -f-1
значение, близкое к минимальному.
Назовем такую постановку задачи восстановления значений функции в заданных точках постановкой I и рассмотрим еще одну постановку этой задачи —постановку 11.
Пусть на множестве пар XY задано распределение вероятностей Р (х, у). Из этого множества в соответствии с Р (х, у) случайно и независимо выбирается / пар
Xv Уъ •••; хь уь
образующих обучающую последовательность. Затем точно так же выбираются еще k пар
х^ь у1+1; ...; xl+k, yi+k.
Требуется найти алгоритм Л, который по обучающей последовательности хъ ур, ...; X/, yi и рабочей выборке X/.f, ., Хии выбирал бы в Z7 (х, а) такую функцию
4х' ал(хг у,; хр у^ хмх^, которая доставляет функционалу
M^Jt 2 &-р(хь Мхг «v -
i = z i
xb yp, xMxz+6)P P (x1( y^ ...
Р(хмг. yi+k)dXtdyi ... dxl+kdyl+k значение, близкое к минимальному.
Справедлива следующая теорема о взаимосвязи этих постановок.
Теорема 10. Если для некоторого алгоритма А доказано, что в постановке I с вероятностью 1—т) уклонение между риском на обучающей и рабочей выборках не зависит от состава полной выборки и не превосходит х, то с той же вероятностью в постановке II уклонение между аналогичными величинами рисков не превосходит х.
Доказательство. Обозначим
Сд(яг Ур •••» xuh’ Ум) =
= T 2 &~F &’ “a))2—^ 2•
‘■=1<=/+>
Рассмотрим вторую постановку задачи и вычислим вероятность уклониться от нуля более чем на х величине Сл (xp у^ ...; хик, У^;
Р= 5 6[Сл(хг ^ ...; xz+ft> yz+ft)-x]P(xr ^) ...
XY
... P ^иь Ум) dxT dy1... dx[+k dy[+k, где
( 1, 2^0,®(2) l 0, z<0.
Пусть Tp (p=l, 2, ... (/ + &)!) —оператор перестановки выборки хъ ут; ...; х^, Уик- Тогда справедливо равенство
Р= $ 6[Сл(хг У1; ...; х№ yM)-n\P[xv yj ...
XY
... Р (х^^, уi^k) dx^ dy^ ... dx 1+^ dyi+^ =■
Г(Z + ^)i1
= И(Г+&)Г 2 ®[Сл(Тр(ХГ yV Xl*k' ^+ft))~Z]| x
XYVp=l'
X Р(ХЬ yi) ... P(xM, yi+k)dxldyi ... dxuk dyufe.
Выражение, заключенное в фигурные скобки, есть величина, оцениваемая в постановке I. Пусть она не превосходит 1—ту Тогда получим Р^ $ (I — Т]) Р (Xi, 1/1) -. р (XZ+A, У1*^Лх1йу1...йхикйуик=\—х\. XY
Теорема доказана.
В дальнейшем мы будем рассматривать задачу восстановления значений функции в заданных точках в постановке I. Однако с помощью теоремы 9.1 все полученные результаты могут быть перенесены и на случай постановки II.
В этой главе используется терминология, связанная с восстановлением значений функции. Однако все полученные результаты верны и для более общего случая, когда реализации (10.4) определяются не функцией у-=Цх\ а условной плотностью Р(у\хУ и требуется по случайным реализациям в одних точках (10.5) прогнозировать с помощью функции из F (%, а) реализации в других (10.6).
Метод упорядоченной минимизациисуммарного риска
Решать задачу восстановления значений функции в заданных точках будем с помощью метода упорядоченной минимизации риска.
В следующих двух параграфах мы получим оценки скорости равномерного относительного уклонения средних в двух подвыборках.
С помощью этих оценок построим равномерные по классу F (х, сх) оценки суммарного риска по величинам эмпирического риска, аналогичные тем, которые использовались в предыдущих главах при построении упорядоченной минимизации среднего риска.
Мы установим, что для множества характеристических функций емкости h (в задаче распознавания образов) с вероятностью 1 — rj имеет место оценка вида
Vs (сх) <v (а) + й* (/, к, h, —In?]) (10.8)
(для этой задачи приняты обозначения /2 (а) = v2 (сх), /э (а) = v (сх)), а для множества функций емкости А произвольной природы с вероятностью 1 — ?] имеет место оценка вида
Ь (сх) </э (а) й* (^ к, А, — In?]). (Ю.9)
Теперь, если на классе функций F (х, сх) задать структуру
SYcL...czSq>
то можно, минимизируя правую часть неравенства (10.8) (неравенства (10.9)), отыскать такой элемент S* и такую функцию F (%, а*), на которых достигается гарантированный минимум оценки суммарного риска. С помощью функции F (%, ос*) вычисляются значения yt = F{xh сх*) в точках рабочей выборки. Внешне эта схема ничем не отличается от рассмотренной в главе VIII.
Однако в схеме упорядоченной минимизации суммарного риска есть особенность, которая и определяет разницу в решениях задач восстановления функции и восстановления значений функции в заданных точках.
Дело в том, что упорядочение функций класса F (х, сх) должно быть проведено априорно. Это требование имеет разный смысл для восстановления функции и восстановления значений функции.
Для задачи восстановления функции оно означает, что необходимо, зная класс функций F(x, ос) и область определения функции, задать структуру на F (%, сх).
Для задачи восстановления значений функции это требование означает, что необходимо задать структуру на F (х, сх), зная класс функций F (х, ос) и полную выборку
хъ ... , хь хШ) ..., х^. (10.10)
Разница заключается в том, что для полной выборки (10.10) множество функций F (х, ос) распадается на множество классов эквивалентности. Это множество может быть изучено, и структура на F (х, ос) может быть задана на классах эквивалентности, образуя более содержательный принцип упорядочения, чем при восстановлении функции.
Например, множество характеристических функций на полной выборке (10.10) распадается на конечное число классов эквивалентности. Две характеристические функции эквивалентны на полной выборке, если они одинаково делят эту выборку на две подвыборки (принимают на (10.10) одни и те же значения). В этом случае имеет смысл задавать структуру не на исходном множестве функции, а на конечном числе классов эквивалентности.
Ниже при восстановлении значений функции в заданных точках мы рассмотрим три разные идеи определения и упорядочения классов эквивалентности и каждую из них реализуем как для восстановления значений характеристической функции, так и для восстановления значения функции произвольной природы.
Однако прежде получим оценки, которые составят основу метода упорядоченной минимизации суммарного риска.
Оценка равномерного относительного уклонениячастот в двух подвыборках
В этом параграфе мы докажем теорему о равномерном относительном уклонении частот в двух подвыборках. В задаче минимизации суммарного риска в классе характеристических функций эта теорема играет ту же роль, которую в задаче минимизации среднего риска играет теорема о равномерном относительном уклонении частот от вероятностей. Для того чтобы сформулировать теорему, введем функцию Г/>А,(х).
Пусть дано множество
Xi) ... , х^^
состоящее из элементов двух типов: т элементов типа а и l-Vk — m элементов типа Ь.
343343§ з. оценка равномерного уклонения
343
343
Выберем из этого множества наудачу / элементов. Вероятность того, что среди выбранных элементов окажется г элементов типа а, равна величине
P(r, l + k, I, т) = С'пС1[+к-,п. (10.11)
Таким образом, с вероятностью (10.11) частота элементов типа а в отобранной группе составит г// и, следовательно, в оставшейся группе (m — r)/k.
Вероятность того, что частота элементов а в первой группе уклонится от частоты элементов а во второй группе на величину, большую х, равна
l| / к |>х| “ Ll| / к |>х| “ L'Г г>1 — гт^1-Ук — т'Г г>1 — гт^1-Ук — т.// + /?.// + /?= Г,.Цх, m),= Г,.Цх, m),
l| / к |>х| “ L
l| / к |>х| “ L
'Г г>1 — г
т^1-Ук — т
'Г г>1 — г
т^1-Ук — т
./
/ + /?
./
/ + /?
= Г,.Цх, m),
= Г,.Цх, m),
г7г7где суммирование ведется по тем значениям г, для которых
г
7
г
7
—т— >х, тах(0, т — к)^г ^min(m, /).
Определим функцию
Г, к (х) = max Гл к (У 7^7 и, т).
Функция Г/ к(и) легко может быть табулирована на ЦВМ.’
Обозначим теперь через v0(cx) частоту ошибок классификации множества xv ..., х^ с помощью решающего правила F(x, а). Очевидно, что
+(Ю.12)
Справедлива теорема о равномерном относительном уклонении частот в двух подвыборках.
Теорема 10.2. Пусть класс решающих правил F (х,ос) имеет емкость h<;l + k. Тогда вероятность того, что относительная величина уклонения хотя бы для одного правила из F (х, а) превзойдет к, оценивается величиной
|v(a)-v2 («)|
Здесь принято: = 0, если v (а) = у2 (а) =
V Vo (а)
= у0 (а) = 0.
Доказательство. Заметим, что число классов эквивалентности на полной выборке не превосходит N = ms (l-V-k). Поэтому справедливо
P<supP<supM«)—VstoК Vo (а)M«)—VstoК Vo (а)N sup Р аN sup Р аV (а)—У2(а)|КУо (а)V (а)—У2(а)|КУо (а)> х> х
P<sup
P<sup
M«)—VstoК Vo (а)
M«)—VstoК Vo (а)
N sup Р а
N sup Р а
V (а)—У2(а)|КУо (а)
V (а)—У2(а)|КУо (а)
> х
> х
При h<.l-Vh первый сомножитель правой части оцени- - 1 е VA-kV1
р J|y(«)-v2(«)|t КVo (а)р J|y(«)-v2(«)|t КVo (а)вается величиной 1,5 м , второй сомножитель оценивается функцией Г/яь(х). Действительно,
р J|y(«)-v2(«)|t КVo (а)
р J|y(«)-v2(«)|t КVo (а)
>х> —Р{ | v (а) — v2(a) | >х Vvg (а)} =
= p{|v(a)-vs (а)|>х"|/ z-^} = rz,»(x"j/"j^, т
и, согласно определению,
Г'.Ц/^j х* mj^Ti.feM-
Теорема доказана.
В дальнейшем нам понадобится равномерная по F (%, а) оценка частоты ошибок на рабочей выборке. Выведем ее, используя теорему 10.2. Ограничим правую часть (10.13) величиной гр Получим неравенство
/ifln^ + lHlnr, Лх)^^-^,
наименьшее решение которого обозначим х*.
Учитывая (10.12), из (10.13) заключаем, что с вероятностью 1— т] для всех а справедливо неравенство
V2 +279») + -. /“Й + УО- (10'14)
Этим неравенством мы и будем пользоваться при построении алгоритмов упорядоченной минимизации риска в классе характеристических функций.
§ 4. Оценка равномерного относительного уклонениясредних в двух подвыборках
При получении оценки равномерного относительного уклонения средних в двух подвыборках будем полагать, что на полной выборке
хгХЬ хм, .... хик(10.15)
для множества произвольных функций F (х, а) выполняется условие
р
V ТУк^^" F<x” а^р
SUp_i^I^(р>2),(10.16)
2 ^-РУь а))2
где yt — значения реализации (10.4).
Условие (10.16) выражает априорную информацию о возможных выбросах на полной выборке (10.15). Это условие аналогично условию, рассмотренному в § 6 гл. VII.
Так же, как и в главе VII, введем функцию
Ri («) = $ V^y-Fy, аУХ^ dt,
где v {(у — F (х, а))2 > /} — отношение числа точек полной выборки (10.15), для которых на реализации (10.4) выполнено условие {у — F (х, а))2 > I, ко всем I + k точкам. Для функции Rx (а), так же как и для функции R (а) (см. главу VII) справедливо соотношение
р Г I -V к
R^<alpyy ^^^-Ру,.(10.17)
= 1
Обозначим
(а) = ^ 2 ^~F у>а))2=
(10.18)(10.18)1 = 1
(10.18)
(10.18)
= ГУк ^ (а) + ГУк ^ (а)‘
Справедлива следующая
Теорема 10.3. Пусть выполнено условие (10.16) и класс функций имеет емкость к<3 + 1г. Тогда справедлива оценка
п J sun I(а) —^э (а) |/ х 1
Tt,iM (10.19)Tt,iM (10.19)Р1 S«P JтL > ™ (Р) х} <
Tt,iM (10.19)
Tt,iM (10.19)
н\
Доказательство. Для доказательства теоремы мы воспользуемся утверждением теоремы 10.2, согласно которому справедлива оценка
p|sup -аp|sup -аv (Лд, р) —У^ (Ла, рУ|v (Лд, р) —У^ (Ла, рУ|КУо(Ла,р)КУо(Ла,р)>х^«< 1,5>х^«< 1,5Whh\Whh\Vltk^\ (10.20)Vltk^\ (10.20)
p|sup -а
p|sup -а
v (Лд, р) —У^ (Ла, рУ|
v (Лд, р) —У^ (Ла, рУ|
КУо(Ла,р)
КУо(Ла,р)
>х^«< 1,5
>х^«< 1,5
Whh\
Whh\
Vltk^\ (10.20)
Vltk^\ (10.20)
где v (Да, р) — частота события ^y — F^x, а))2>Р}, вычисленная по обучающей последовательности, v^ (Да, р)— частота события {(z/ — F (х, а))22>Р}, вычисленная на рабочей выборке по реализации (10.4), у0(Да,р) —частота события {(у — F (х, а))2>Р}, вычисленная на полной выборке (10.15) по реализации (10.4).
Покажем, что из справедливости неравенства (10.20) следует справедливость неравенства
(|/2 (а) —/э(а)|
PVTВД^^С^-^р-ЦИх).(10.21)
Для этого запишем в виде интеграла Лебега выражение
|/2(а) —/э (а) |
sup J—pm—Lsup 11 m R-
Пусть теперь имеет место неравенство
V2 |(i/—F(X, а))а>-^-| — v3 j(y—F (х, а))2>-^-
"|/’v{(i/-F(x, «))2>У
^Х.
/?1(а)/?1(а)Тогда
/?1(а)
/?1(а)
|/2 (а) —/э (а) | ^ Ип]
Ri (а)п ос
Таким образом, из справедливости (10.20) следует выполнение (10.21).
Для доказательства теоремы нам осталось воспользоваться неравенствами (10.17) и (10.21). Действительно,
|/2(«)-^(а)1, . )
(/+^)А(/+^)Аsup7^> та ^ XJ
(/+^)А
(/+^)А
п( |/S(a)-A,(a)|
«^Н—та—
Теорема доказана.
Получим теперь равномерную оценку риска на рабочей выборке. Для этого ограничим правую часть (10.19) величиной я- В результате получим неравенство
^(1п^+1) + 1пГл6(х)^1п-Д-,(10.22)
наименьшее решение которого обозначим х*.
Учитывая представление (10.18) из (10.19), получаем, что с вероятностью 1 — т] справедливо неравенство
и («)<
14-та (р) ^^х*
/,(«).
ОО
(10.23)
к
1—™(р) ^^х*
где
f Z,
если
z^
2=0,
Изо — j
1
если
2<
0 0.
Неравенство (10.23) мы и используем при построении алгоритмов упорядоченной минимизации суммарного риска. Ниже мы ограничимся лишь линейным по параметрам классом функций
п — 1
Fkx, “)= 5 a^^+Og.
— 1
Емкость этого класса функций равна гц
§ 5. Восстановление значений характеристическойфункции в классе линейных решающих правил
Пусть дана полная выборка
*1, хи х/+1, ..., хик.(10.24)
На полной выборке множество решающих правил распадается на конечное число N классов эквивалентности ^i, Fn. Два решающих правила ^(х, а) и F (х, а) попадают в один класс эквивалентности, если они одинаково делят выборку (10.24) на две подвыборки.
Всего возможно As (хъ ..., х^ разделений выборки (10.24) на два класса с помощью правил F (х, а), и, следовательно, существует As (хь ..., х^) классов эквивалентности.
Согласно определению (см. § 7 гл. VI)
А5 (хь ..., х^т5 (Z).
Для линейных решающих правил в пространстве размерности п справедлива оценка (см. § 8 гл. VI)
ms (/ + й)< 1,5^1.
Таким образом, на полной выборке (10.24) множество линейных решающих правил F (х, а) распадается на N^ ^ 1,5классов эквивалентности .... FN.
Заметим, что классы эквивалентности не равнозначны по объему. Одни из них содержат «больше» решающих правил, другие — «меньше». Поставим в соответствие каждому классу эквивалентности величину, характеризующую долю линейных решающих правил, принадлежащих этому классу по отношению ко всем линейным решающим правилам. Такую величину можно сконструировать. Действительно, поставим в соответствие каждой функции
F (х, а) = 6 [ 2 аг<р, (х)ч = 1направляющий вектор (рис. 19)
а = (аь ..., а„)т; Ца||=1.
Тогда множеству всех гиперплоскостей соответствует в пространстве параметров а единичная сфера, каждому классу эквивалентности Ft соответствует на поверхности сферы своя область. (Множество из N классов эквивалентности разбивают сферу на N областей.) Отношение площади, соответствующей области Хь к площади сферы X и характеризует долю функций из класса эквивалентности по отношению ко всем возможным линейным решающим правилам.
Упорядочим теперь классы эквивалентности по убыванию величин Л/ = XjX и введем следующую структуру:
St cz S2 cl ... cz Sq, (10.25)
где элементу Sp принадлежат лишь те классы эквивалентности, для которых
^> Ср (^1 Cq — 0).
Таким образом, мы построили структуру, каждый элемент Sp которой обладает экстремальным свойством: для данного числа классов эквивалентности он содержит максимальную долю всех решающих правил. Однако на практике вычислить величину 56 у Ж и, следовательно, построить структуру (10.25) трудно. Поэтому мы рассмотрим другую характеристику объема класса эквивалентности, которая близка по смыслу к 56 ^56 и может быть найдена на практике.
(10.26)(10.26)Обозначим через рр величину расстояния между выпуклыми оболочками векторов полной выборки, отнесенных решающими правилами из Fp к разным классам, и поставим в соответствие классу эквивалентности Fp число
(10.26)
(10.26)
где D/2 —радиус минимальной сферы, содержащей множество (10.24), т. е.
•у = min max [ хг — х* ||.
х* х1< - • хии
Зададим на множестве классов эквивалентности структуру
51с=52с=...с=5л,(10.27)
где в Sd включены лишь такие классы эквивалентности Fb для которых
л=№)>3т!Т, ес™ d<„.(Ю28)
л?(Р^^0, если d = n, d^2.
Множество Sx в (10.27) пусто.
Для того чтобы построить метод упорядоченной минимизации суммарного риска на структуре (10.27), оценим число Nd классов эквивалентности, принадлежащих элементу структуры Sd.
Справедлива
Лемма. Число Мд классов эквивалентности в Sd оцени- вается величиной
^<1,5(2±^,(10.29)
где d —минимум двух величин:
d = min ^, [^]+ 1),(10.30)
п — размерность пространства, [я] — целая часть числа а.
Доказательство. Заметим, что число Nd равно максимальному числу разбиений выборки
%!, . . . , Х^
на два таких класса, что расстояние между их выпуклыми оболочками больше DlVd— 1, т. е.
р>^=р^(10-31)
Число таких решающих правил не превосходит
ms (/ + &)< 1,5^^,
где г — максимальное число точек выборки, для которых любое разбиение на два класса удовлетворяет условию (10.31). Заметим, что если условие (10.31) выпол-
няется, то разбиение заведомо осуществляется с помощью гиперплоскости, поэтому заведомо
г^п,
где п — размерность пространства.
Пусть теперь задано г точек
xn ..., хг
и 2Г всевозможных разбиений этих точек на два подмножества
Л, IV
Обозначим через рр(Т^ расстояние между выпуклыми оболочками векторов, принадлежащих разным подмножествам при разбиении Ть
Тот факт, что условие (10.31) выполняется для всякого Ть можно записать как
minp(T/)>p</.
Тогда число г не превосходит максимального числа векторов, при котором еще выполняется неравенство
Н (r^ max min р (Tz)^ —B=pd. (10.32) rr ... , xr iV d— 1
Из соображений симметрии следует, что максимум г достигается, когда векторы хъ ..., хг располагаются в вершинах правильного (г — 1)-мерного симплекса, вписанного в шар радиуса D/2, а Т/ —разбиение на два подсимплекса размерности ~— 1 для четных г и два подсимплекса размерности (г—1)/2 и (г —3)/2 для нечетных г. При этом путем элементарных расчетов может быть найдено, что
D
—=Для четных г
I -т= I/ Для нечетных г.
I Уг-1 V г^-1
Для г ^10 величины г -.-- и .■
Уг-1 V /-2-1 уг—Х
близки (различаются менее чем на 0,001). Поэтому примем
Я(г) =Я(г) =D/7^1D/7^1(10.33)(10.33)
Я(г) =
Я(г) =
D
/7^1
D
/7^1
(10.33)
(10.33)
(Оценкой сверху Н (г) было бы выражение
Н(г^Н(г^D/г-1,01D/г-1,01(г>10).)(г>10).)
Н(г^
Н(г^
D
/г-1,01
D
/г-1,01
(г>10).)
(г>10).)
Из неравенств (10.32) и (10.33) следует, что для целых г
Окончательно, учитывая, что разбиение осуществляется гиперплоскостью, т. е. г^п, получаем
, п ., п .(10.34)
, п .
, п .
И следовательно, согласно теореме 6.6
Лемма доказана.
Из теоремы 10.2 и леммы следует, что с вероятностью 1—т) одновременно для всех решающих правил из Sd будет выполнено неравенство
vz(a)<v(«)+T^y
+ x,|/v(0;)+(T^.),-fi(=1, d),(10.35)
где х* — наименьшее решение неравенства
d (ind (in1+кd1+кdЬ1) + 1пГ,,Их)^1п^5.Ь1) + 1пГ,,Их)^1п^5.
d (in
d (in
1+кd
1+кd
Ь1) + 1пГ,,Их)^1п^5.
Ь1) + 1пГ,,Их)^1п^5.
Метод упорядоченной минимизации суммарного риска состоит в том, чтобы индексировать рабочую выборку с помощью правила F (х, ос*), которое минимизирует по d и ос функционал (10.35). Пусть минимум равен R (a?, d^. Для такой индексации справедливо утверждение
Р {V2 (ос?) <R (аэ\ d^>\ —п^.
В главе XI мы приведем описание алгоритмов, минимизирующих суммарный риск в классе линейных решаю-
щих правил. Здесь же рассмотрим пример, иллюстрирующий разницу в решении задачи классификации векторов рабочей выборки методом минимизации суммарного риска и с помощью решающего правила минимизирующего эмпирический риск на обучающей последовательности.
На рис. 20 векторы первого класса обучающей последовательности обозначены крестиками, векторы второго класса — кружочками. Черными точками показаны векторы экзаменационной выборки.
Рис. 20.
Решение этой задачи в схеме минимизации среднего риска заключается в том, чтобы построить разделяющую гиперплоскость, гарантирующую минимальную вероятность ошибки. Пусть решение выбирается среди гиперплоскостей, безошибочно делящих векторы обучающей последовательности. В этом случае минимальную гарантированную вероятность ошибок обеспечит оптимальная разделяющая гиперплоскость (такая, которая наиболее удалена от элементов обучающей последовательности). Те векторы, которые лежат по разные стороны гиперплоскости Го, относятся к различным классам. Таково решение задачи методом минимизации среднего риска. Решение задачи методом минимизации суммарного риска опреде- 12 В. Н. Вапник
ляется гиперплоскостью Гп максимизирующей расстояние между выпуклыми оболочками разделяемых множеств. Векторы, находящиеся по одну сторону гиперплоскости, относятся к первому классу, а по другую сторону гиперплоскости — ко второму классу.
На рисунке выделены (заштрихованы) точки рабочей выборки, которые классифицируются гиперплоскостями Го и 1\ по-разному.
Селекция выборки для восстановлениязначений характеристической функции
Итак, решение задачи восстановления значений характеристической функции в заданных точках, полученное методом упорядоченной минимизации суммарного риска, может приводить к результатам, отличным от тех, которые следуют из классификации векторов рабочей выборки
Я/+1, • • • ,Я/+1, • • • ,(10.36)
Я/+1, • • • ,
Я/+1, • • • ,
решающим правилом F (х, осэ), минимизирующим эмпирический риск на элементах обучающей последовательности
%!, «!; ...; xb coz.(10.37)
Эффект этот был полученЭффект этот был полученпотому, что полная выборкапотому, что полная выборка
Эффект этот был получен
Эффект этот был получен
потому, что полная выборка
потому, что полная выборка
xv • хь хт, ..., хик(10.38)
состояла из сравнительно небольшого числа элементов, расположение которых в пространстве могло быть изучено и связано с конкретным способом упорядочения класса решающих правил F (х, ос).
Способ упорядочения и определил разницу в классификации. Таким образом, геометрия векторов полной выборки (10.38) предопределила возможность более точного решения задачи восстановления значений функции в заданных точках.
Если это так, то возникает вопрос, нельзя ли, исключив из полной выборки (10.38) несколько элементов (изменив геометрию расположения векторов полной выборки в пространстве), так повлиять на задание структуры на классе решающих правил, чтобы увеличить
гарантированное число правильных классификаций элементов рабочей выборки? Оказывается, можно1).
Реализуем идею селекции полной выборки. Рассмотрим наряду с множеством X векторов полной выборки //;= V Cf+A различных подмножеств Хъ ...» X# , полученных из (10.38) исключением не более t векторов. Пусть теперь на исходном множестве векторов (10.38) определена обучающая последовательность (10.37) и рабочая выборка (10.36). Обучающая и рабочая выборки индуцируют на каждом из множеств Хг» ...» X„t свою обучающую и рабочую подвыборки.
Рассмотрим H^k задач восстановления значений функции в заданных точках. Каждая из этих задач определяется обучающей последовательностью
Хх, (Оь . .., Xi» (О/, . .., Xj»toj» ...» Xi»(Hi и рабочей выборкой
^+1, • • • > -^Z+T, • • • > ^wh
(х означает, что элемент х исключен из последовательности).
Для каждой задачи в соответствии с ее полной выборкой
Xi, ..., Xi» ...» Xj» ...» хпх» ...» х^ определим классы эквивалентности линейных решающих правил. Зададим структуру на классах эквивалентности, используя принцип упорядочения по относительным расстояниям, рассмотренный в предыдущем параграфе.
Из теоремы 10.2 и леммы следует, что с вероятностью 1—т) в каждой задаче (в отдельности) для правила ^(х, о^), минимизирующего эмпирический риск в Sd справедливо неравенство vs (о^) < v (о^) +
+ 2U+Y% +(”э) + [ 2§-7У-7) Г>(10-39)
0 Заметим, что при восстановлении характеристической функции селекция обучающер! выборки не приводит к уменьшению оценки минимального гарантированного риска*
12*
где х* —корень уравнения
d (in -У^=^ + 1) + In Г/_ z„, к-кй (х) = In Д. (10.40)
В выражениях (10.39) и (10.40) использованы обозначения: 1И — число исключенных элементов обучающей последовательности, ки — число исключенных элементов рабочей выборки /и + ^и = /и.
Одновременно для d-x элементов структур всех Н\+ь задач с вероятностью 1—т) выполнятся неравенства
(ad) < v(‘>+
Г (k — kw\ x<° I2
где xW — наименьшие решения неравенств
(*n~^—" + l) + ln^ + * + ^n^z_z(‘)jfe_fc^) (и<1))^
^ln-^,(10.42)
i меняется от 1 до H\+k.
В выражениях (10.41), (10.42) использованы обозначения Z^, Z^ —число элементов обучающей и рабочей выборок, исключенных из (10.37) и (10.36) при образовании Z-й задачи ^ + к^ = t(; ^ ^\ v^ (о^) — частоты ошибочной классификации рабочей и обучающей выборок в i-й задаче.
Умножим каждое из неравенств (10.41) на величину & —й^- В результате для каждой задачу получим оценку числа ошибок /тг/ на к — № элементах ее рабочей выборки
+ «1° |/»'' («9+[wtSj <’П (6 -6" ’)■ (10ЛЗ)
Если бы число исключенных из рабочей выборки векторов для всех задач было одинаковым и равным кю то наилучшее гарантированное решение задачи классификации к — к^ векторов рабочей выборки определялось бы
тем неравенством (той задачей), для которого величина, оценивающая число ошибок на k — йи элементах рабочей выборки наименьшая.
Однако число векторов, исключенных из рабочей выборки для разных задач разное. Поэтому будем считать наилучшим решением то, которое максимизирует число правильных классификаций элементов рабочей выборки, т. е. определяется той задачей, для которой достигает минимума величина )
Ry, +
+ «(V Ч(О + ^„;;Чт (^Й')+Й", (10.44) г ' z V -гк ' Д
определяющая число ошибок плюс число исключенных векторов рабочей выборки.
Теперь перебором по d и t найдем векторы, которые следует исключить, чтобы гарантировать наибольшее число правильно классифицированных векторов рабочей выборки. Задача минимизации по d и / функционала (10.44) достаточно трудна в вычислительном отношении. Точное ее решение требует большого перебора вариантов. Однако использование некоторых эвристических приемов позволяет найти удовлетворительное решение в приемлемое время. Подробно об алгоритмах упорядоченной минимизации суммарного риска см. главу XI.
Заметим, что при селекции полной выборки подбираются как элементы обучающей, так и элементы рабочей выборок.
Селекция элементов рабочей выборки позволяет за счет отказа от классификации некоторых элементов увеличить общее число правильно классифицируемых векторов.
До сих пор мы исходили из того, что пространство, в котором строится структура, фиксировано. Однако процедура упорядочения по относительным расстояниям может быть проведена в любом подпространстве Ет исходного пространства Еп. При этом минимальное значение соответствующей оценки будет достигнуто не обязательно в исходном пространстве Еп.
Это обстоятельство открывает возможность достичь еще более глубокого минимума оценки риска за счет дополнительной минимизации по подпространствам.
Восстановление значений произвольной функциив классе линейных по параметрам функций
Распространим теперь методы восстановления значений характеристических функций, рассмотренные в предыдущих параграфах, на восстановление значений произвольной функции в классе линейных по параметру функций. Для этого определим классы эквивалентности линейных (по параметрам) функций на полной выборке, зададим на этих классах структуру и реализуем метод упорядоченной минимизации риска.
Пусть дана полная выборка
%!, ..., хь хт, ..., xlvk(10.45)
и множество линейных (по параметрам) функций F (х, ос). Поставим в соответствие каждой функции F (х, ос*) этого множества однопараметрическое (по параметру Р) семейство решающих правил
F^^-ЦР (%, сс*) + Р).(10.46)
При изменении параметра р от — оо до сю однопараметрическое семейство решающих правил (10.46) образует последовательность дихотомий (разделений на два класса) множества векторов (10.45) от дихотомии, у которой первый класс пуст, а второй класс содержит все множество (10.45)
[0; {хь хг+*}]
(при Р = — оо), до дихотомии, у которой первый класс состоит из всего множества векторов (10.45), а второй класс пуст
[Ui> х^; 0]
(при Р = + оо).
Таким образом, для каждой функции F (х, а) может быть получена последовательность дихотомий
[0, ^i, .... xz+A}j; [{х,,. Xi^ {х,)(х/&}];
[{х^xz+4, 0J.(10.47)
В соответствии с этой последовательностью дихотомий разделим множество функций F (х, ос) на конечное число классов эквивалентности. Две функции F(x, ос) и F^x, а) попадают в один класс эквивалентности Fb если они образуют одну и ту же последовательность дихотомий (10.47).
Поставим теперь в соответствие каждому классу эквивалентности число K^Ft), равное доле всех функций, принадлежащих этому классу, и затем упорядочим классы эквивалентности в порядке убывания к^Р^;
FT, F^ FNi ti^F^^k^F^^ ...^k^FnY (10.48) Используя упорядоченность (10.48), можно построить структуру на классах эквивалентности
S^SaCZ ... czSn.
Элементу Sr принадлежат те классы эквивалентности, для которых л (Fr) > сг.
Для множества линейных функций доля функций, принадлежащих классу эквивалентности, может быть определена так же, как определялась доля линейных решающих правил. Поставим в соответствие каждой линейной функции вектор направляющих косинусов.
Тогда множеству всех функций соответствует поверхность единичной сферы в пространстве размерностей гц а каждому классу эквивалентности соответствует на этой сфере своя область (см. рис. 19).
Отношение площади выделенной области к площади поверхности сферы и определяет долю функций из класса эквивалентности среди всего множества функций.
На практике, однако, трудно непосредственно вычислить характеристику л (/ц). Поэтому, так же как и раньше, рассмотрим другую характеристику объема класса эквивалентности. . .
Для каждой функции F (х, а) = 2 °W« W определим направляющий вектор а = а/|| а ||.
Каждый класс эквивалентности Fm будем характеризовать числом
pm = minsup l(xf —х,)т |£|J ki^iY "
где минимум берется по всем векторам полной выборки, а супремум — по всем направляющим векторам данного класса эквивалентности.
Построим теперь следующую структуру:
Sx cz ... cz Sn.
К d-му элементу Sd структуры отнесем те функции, для которых выполняется соотношение
л2^) = [^]2>j~i> если d</z,л2 (F) = ^ J 0, если d^n,
где D — минимальный диаметр сферы, содержащей множество (%!, ..., х1+ь\ Используя лемму, можно, как и в § 5, показать, что емкость функций Srf-ro элемента структуры равна d, где
Метод упорядоченной минимизации на этой структуре состоит в том, чтобы найти такой элемент S*, а в нем такую функцию F (х, а*), для которой достигался бы минимум правой части неравенства
/з(а)</з(а)<IjHt^EI^1-та^х,IjHt^EI^1-та^х,Л («),соЛ («),со(10.49)(10.49)
/з(а)<
/з(а)<
IjHt^EI^
1-та^х,
IjHt^EI^
1-та^х,
Л («),
со
Л («),
со
(10.49)
(10.49)
где х* — наименьшее решение неравенства
d (1п^ + О"1-*0 ЦИх)^^ Д.
Первый сомножитель правой части неравенства (10.49) зависит лишь от того, в каком порядке проецируются векторы полной выборки на вектор направлений выбранной линейной функции, второй—-от величины эмпирического риска.
Пусть минимум правой части (10.49) равен /?(аэ> d*\ Тогда справедливо утверждение
P^№<R№, d^>\-mv
Селекция выборки для восстановлениязначений произвольной функции
В главе VIII мы установили, что при восстановлении нехарактеристической функции селекция обучающей последовательности может привести к отысканию функции с меньшей гарантированной величиной среднего риска.
В схеме минимизации суммарного риска селекция полной выборки может привести к еще большему эффекту.
Для линейных по параметрам функций этот дополнительный эффект возникает потому, что исключение части векторов полной выборки хъ ..., хм меняет геометрию расположения векторов, вследствие чего может быть осуществлено более содержательное упорядочение класса функций F (х, а).
Итак, пусть задана полная выборка
xb ..., х№(10.50)
Рассмотрим H^k различных подмножеств Хь ..., X t каждое из которых получено исключением из (10,50) не более t элементов.
В дальнейшем будем предполагать, что для всех подмножеств выполняются условия (10.16). Пусть теперь на исходном множестве (10.50) определена обучающая последовательность
Xi, Уъ xb yt(10.51)
и рабочая выборка
X/+i, ..., х^к.(10.52)
Обучающая и рабочая выборки (10.51) и (10.52) индуцируют на каждом из подмножеств свою обучающую и рабочую выборки.
Рассмотрим Н^к задач восстановления значений функции в заданных точках.
Для каждой задачи г (г=1, 2, ..., Н^^ рассмотренным выше способом зададим свою структуру на классе Линейных функций
Si c:.,.czS^
Получим, что с вероятностью 1—т| для каждой задачи (в отдельности) справедлива оценка
/^ (аэ) </^ (аэ) <^ («э),^ («э),
/^ (аэ) <
/^ (аэ) <
^ («э),
^ («э),
где F ^х, аэ) cz Sd— функция, минимизирующая эмпирический риск на обучающей последовательности этой задачи (индекс (г) указывает на то, что суммарный и эмпирический риск вычисляются по элементам, принадлежащим подмножеству X(r)), х'— наименьшее решение неравенства
dd(*”(*”/ + & — /г .d/ + & — /г .d1)+1пГ1)+1пГ(хг) In(хг) In1,5*1,5*
d
d
(*”
(*”
/ + & — /г .d
/ + & — /г .d
1)+1пГ
1)+1пГ
(хг) In
(хг) In
1,5*
1,5*
Здесь обозначено: 1 — 1^ — длина обучающей последовательности в задаче г; к — к^ — длина рабочей выборки в задаче ^и + ^и = ^. С вероятностью 1—т) одновременно для Sd элементов всех Fl^k задач будут выполняться неравенства
i^<i^<iV^ (а),iV^ (а),
i^<
i^<
iV^ (а),
iV^ (а),
где, в отличие от предыдущего случая, х£ — наименьшие решения неравенств
d(ln^-^+l) + lnr(х) + 1п^+^1пД.
Выберем такую задачу, для которой оценка величины суммарного риска минимальна.
Наконец, перебором по d и по / (на практике /< <5-ь10) найдем наилучшее решение.
Восстановление значений характеристическойфункции в классе кусочно-линейныхрешающих правил
Рассмотрим вторую идею задания классов эквивалентности.
Пусть конечное множество векторов X, образующих полную выборку, разбито на d подмножеств
хъ .... xd, их, = х, xt П Xj = Q <1^.
Поставим в соответствие этому разбиению множество кусочно-линейных решающих правил, где на каждом подмножестве X/ определено линейное решающее правило. Таким образом, рассмотрим параметрическое семейство решающих правил
( L (х, о^), если х е Хь
9(^(Л аД L^x, arf)) = J
( L (х, ad\ если x e Xdl
(10.53)
где L (x, ar) — линейное решающее правило (L (x, ar) =где L (x, ar) — линейное решающее правило (L (x, ar) =
где L (x, ar) — линейное решающее правило (L (x, ar) =
где L (x, ar) — линейное решающее правило (L (x, ar) =
Рис. 2LРис. 2L/ П, X
Рис. 2L
Рис. 2L
= 9(2 Й(И
V=i//■
Емкость такого кусочнолинейного класса решающих правил равна h = nd.
Заметим, что задание класса решающих правил (10.53) определяется способом разбиения полной выборки X на d подмножеств. Для того чтобы определить нужное разбиение множества X на d под-
множеств, изучим геометрию
этого множества с точки зрения его таксонной структуры (см. приложение к главе). Для этого построим дерево (рис. 21). На нижнем s-м уровне дерева каждый элемент множества X образуют подмножество xL. Элементы s — 1-го уровня образованы объединением элементов s-ro уровня.
Каждый элемент s-ro уровня входит лишь в один элемент s —1-го уровня.
Самый высокий — первый уровень состоит из одного подмножества X, объединяющего все множество элементов генеральной совокупности. Дерево построено так, что на каждом уровне р выполнено соотношение
JX?=X; XfQxf = O (i#/); d=l, 2, .... s (10.54)
(ns </ + ^).
Поставим в соответствие каждому уровню дерева семейство кусочно-линейных решающих правил Sd, построенное согласно (10.54).
При таком способе построения классов кусочно-линейных решающих правил таксонная структура полной выборки (10.54) определит конкретную структуру на классе кусочно-линейных решающих правил
Sx о ... cz S^.
На этой структуре может быть реализован метод упорядоченной минимизации суммарного риска, т. с. найден элемент Sd структуры, для которого метод минимизации эмпирического риска обеспечит наименьшую оценку суммарного риска
Vs м < v (“Я + ^£д +(«:) +[^yf = R*.
где х* — наименьшее решение неравенства
пр (1П^ + 1) + 1п Г/,6(х)^1п^.
С помощью найденного правила F (х, а*) классифицируются элементы рабочей выборки. Для полученной классификации справедливо
Р {v2 (а?) < R*} ^ 1 — si].
Методы построения таксонной структуры рассмотрены в приложении к главе.
Восстановление значений произвольной функциив классе кусочно-линейных функций
Структура, аналогичная рассмотренной в предыдущем параграфе, может быть задана и на множестве кусочнолинейных функций.
Для этого рассмотрим ту же самую таксонную структуру множества х1$ ..., х1л.к и определим такой элемент структуры (т. с. такое разбиение множества xv ..., х^ь на таксоны), при котором решение задачи минимизации эмпирического риска в классе линейных решающих правил отдельно для каждого таксона обеспечили бы минимальное гарантированное число величины суммарного риска.
При реализации метода упорядоченной минимизации суммарного риска в задаче восстановления зависимостей воспользуемся той же самой идеей: для каждого элемента заданной таксонной структуры Sd получим минимальную гарантированную оценку величины суммарного риска
1 — та (р) и*1 — та (р) и*Маэ),Маэ),
1 — та (р) и*
1 — та (р) и*
Маэ),
Маэ),
где F (х, аэ) —функция, минимизирующая в Sd эмпирический риск, х* — наименьшее решение неравенства nd(ln^-+ l) + lnr/,6(x)sSln Д
(здесь п — размерность пространства nd < I + ^), а затем выберем такой элемент структуры S* и в нем такую функцию F (х, а*), на которых достигается минимальная гарантированная оценка величины суммарного риска для заданной структуры. Значения функции F (х, а*) в точках рабочей выборки и будут восстановленными значениями функции.
§11. Локальные алгоритмы восстановлениязначений характеристической функции
Наконец, рассмотрим третью идею построения алгоритмов восстановления значений функции.
Определим для каждого вектора х* полной выборки систему окрестностей:
(х*)ъ (X*, Х^,(X*. ХЧ, Х^г,(Хь XunV
Таким образом, задается Z + & систем окрестностей, своя для каждого вектора полной выборки:
(х1)1^(х1,xj2^...^(x1, Xt^q\
(x2)i^(x2,Хц, xta\^...^^xv ..., х^;
I + ^) (X^^ ^ (X/+A, ^^)2 ^ . . . ^ (Xi, . . . , x^q.
(10.55)
Пусть теперь произошло разделение множества X на обучающую и рабочую выборки.
Рассмотрим произвольную окрестность Xi точки X/, содержащую как элементы обучающей, так и элементы рабочей выборок. Согласно теореме 10.2 с вероятностью 1—т] можно утверждать, что одновременно для всех линейных решающих правил будет выполнено неравенство
(а) < v^> (а) + ^Ш+Vv4«) +(а) < v^> (а) + ^Ш+Vv4«) +kr^^ (Zr + ^)kr^^ (Zr + ^)1212
(а) < v^> (а) + ^Ш+Vv4«) +
(а) < v^> (а) + ^Ш+Vv4«) +
kr^
^ (Zr + ^)
kr^
^ (Zr + ^)
12
12
где V^ (а) есть величина суммарного риска классификации элементов из окрестности Xi с помощью решающего правила F (х, a), a v(r) (а) — величина эмпирического риска, вычисленная для правила F (х, ос) по элементам обучающей последовательности, принадлежащим окрестности Xt, х£ — наименьшее решение неравенства
П ^1П^Д + 1) + 1пГ/г,^(х)^1п Д,
п — размерность пространства X.
В неравенстве 1Г и кг — число элементов обучающей и рабочей выборок из окрестности Хь Пусть F (х, аэ)— решающее правило, минимизирующее на обучающей последовательности из Xi величину эмпирического риска.
С вероятностью 1 — т) для элементов из Х^и справедлива оценка
v^ (а ) < V И (а ) +
, кг (x^f О2 I (г\ЛГ \ । Г kr^V^ I2 п \+ 2(/r+^) +х* г v (а^+[27z7+^7)J
Найдем теперь такую окрестность точки xt, для которой достигается минимум (по г) величины Ri (г). Пусть мини-
мум достигается на окрестности XT, a со^, ..., со^ —полученная классификация векторов рабочей выборки из этой окрестности. Очевидно, что с вероятностью 1 — т]^ эта классификация содержит меньше Rt (т) кт = Rt ошибок.
Аналогично могут быть найдены решения для окрестностей всех векторов генеральной совокупности. В результате получим табл. 1.
Таблица 1
Окрестности точки
Классификация векторов
Оценка величины суммарного риска
xivl ' ' '
XUj 1'
XUk
*1
®| • • •
—■
Rx
xs
—. . .
—
Rs
xU-k
—. . .
—
Ruk
В первом столбце таблицы указаны векторы, задающие систему окрестностей, затем наилучшая по данной системе окрестностей классификация векторов и, наконец, гарантированная оценка числа ошибок классификации.
Заметим, что одни и тс же векторы рабочей выборки принадлежат окрестностям различных векторов, а классификация некоторых векторов рабочей выборки, данная в разных строках второго столбца таблицы, может не совпадать.
Обозначим через со*, ..., coF+fe истинную классификацию векторов рабочей выборки xz+i, • ••, х1лк.
Тогда содержание таблицы может быть переписано в виде
(10.56)
Здесь 2(Г) означает, что суммирование ведется лишь по классификациям тех векторов рабочей выборки, которые принадлежат выбранной окрестности точки хг.
Каждое из неравенств (10.56) выполняется с вероятностью 1 — 9Н- Следовательно, система совместна (все не?
равенства выполняются одновременно) с вероятностью, большей 1 — q (I + к) т].
Рассмотрим множество Q векторов ^ = (ю/н, .6М) решений системы неравенств (8.56). В принципе в качестве окончательного вектора классификации может быть выбран любой вектор из Q. Однако целесообразнее в подобных случаях выбирать такое решение, которое обладает некоторыми дополнительными экстремальными свойствами.
Найдем среди векторов Q минимаксный — wm> т. с. наименее удаленный от самого далекого вектора из допустимого множества Q:
wm = arg min max | w — w |.
Вектор wm мы и примем за окончательное решение задачи классификации векторов рабочей выборки.
В этом алгоритме задание системы окрестностей векторов полной выборки позволило определить для каждого вектора xt оптимальную окрестность для построения линейного решающего правила. Полученное правило использовалось лишь для классификации векторов, принадлежащих оптимальной окрестности. Такие алгоритмы иногда называют локальными.
На практике используются разные идеи задания окрестностей. В частности, окрестность Xi вектора xz может быть определена по метрической близости (множество Xi содержит векторы полной выборки, для которых || xt — х || с, где с — константа. Набор констант ^ < ... . ..<С/ определяет систему окрестностей).
Локальные алгоритмы восстановлениязначений произвольной функции
По схеме предыдущего параграфа могут быть немедленно построены локальные алгоритмы восстановления значений функции произвольной природы.
Образуем систему окрестностей векторов полной выборки,
(Х^е^, Х^е...^^, Хм\,
(/ + ^) (хн»), е(хм, Xtu^ е ,., е (хъ ..., хиьЦ.
Пусть произошло разделение множества векторов полной выборки на элементы, принадлежащие обучающей и рабочей выборкам. Рассмотрим систему окрестностей точки Xf.
Х?с Х< с...с XL^ = (хь хчх^г
Для каждого множества X; с помощью алгоритмов восстановления линейной функции могут быть найдены как сами значения функции, так и гарантированная оценка величины суммарного риска
(10.57)
где х* — наименьшее решение неравенства
„(1п^А+1)+1пГ/г, *Дх)<1п ^(10.58)
В неравенстве (10.58) 1Г, кг — число элементов обучающей последовательности и рабочей выборок, принадлежащих XV Выберем такую окрестность точки xt и такую функцию F (х, сх^), для которой оценка (10.57) минимальна. Пусть к* — число элементов рабочей выборки из этой окрестности.
Для найденных с помощью функции F (х, сх*) значений у у из этой окрестности с вероятностью 1 — qx\ справедливо неравенство
V 2 ^ -F а*^2 < Нг-V 2 ^ -F а*^2 < Нг-(10.59)(10.59)
V 2 ^ -F а*^2 < Нг-
V 2 ^ -F а*^2 < Нг-
(10.59)
(10.59)
В выражении (10.59) суммирование ведется по тем векторам х рабочей выборки, которые принадлежат оптимальной окрестности; у —истинные (но неизвестные нам) значения функциональной зависимости в точках рабочей выборки, F (xh a*) — вычисленные значения.
Итак, для каждой точки xt (а всего их Z + & —по числу векторов полной выборки) с вероятностью 1 — т] Справедливо неравенство (10.59), Поэтому с вероятностью
1—(^ + ^)<7Л выполнятся одновременно все / + & неравенств
^^j-F^, «э*(1)))2<Хх, 1 (10.60)
^Х 2 ^i-F^i'W))2 < Xz+fc.
Рассмотрим допустимое множество {У} решений (У/н, Уи^ системы (10.60). С вероятностью 1— qx Х(/ + ^)т] это множество непусто. Выберем в качестве ответа такое решение У*, которое наименее удалено от самой далекой точки в {У} (минимаксное решение), т. с. такой ^-мерный вектор У*, для которого справедливо
y* = arg min max р (У, У),rem у^у}
Замечания о восстановлении значений функции
Итак, построение методов восстановления значений функции в заданных точках оказалось связанным с различными способами изучения расположения Z + & векторов в /г-мерном пространстве.
В этой главе мы изучали геометрию l-Vk векторов полной выборки с трех различных точек зрения. Мы исследовали:
— структуру линейных разделений векторов полной выборки,
— таксонную структуру векторов полной выборки, — структуру окрестностей элементов полной выборки. Описание структуры полной выборки с каждой из этих точек зрения порождает свой метод восстановления значений функции в заданных точках.
Приведенные способы изучения геометрии полной выборки нс исчерпывают всех возможных путей изучения взаимного расположения 1-\-к векторов в м-мерном пространстве. Возможны и другие способы и каждый из них может служить основой для построения метода восстановления значений функции.
В этой главе при восстановлении значений функции в заданных точках мы считали, что риск определяется квадратичной функцией потерь
(y-F<x, а))2.
Однако все полученные здесь результаты могут быть перенесены и на случай функции потерь более общей природы
Ф(у-Р(х, а)).
Эффект от непосредственного восстановления значений функции в заданных точках по сравнению с традиционными методами: восстановлением по обучающей последовательности функции и вычислением ее значений — тем больше, чем меньше объем обучающей выборки.
Этот эффект иллюстрирует табл. 2, полученная на материале решения задач медицинской дифференциальной диагностики методом распознавания образов.
Таблица 2
№
1»
/р
т
т
№
/о
ч
т
т
1
12
21
6
3
6
49
35
13
9
2
24
21
5
2
7
42
35
10
6
3
23
10
3
1
8
52
35
12
8
4
27
14
6
3
9
65
46
14
8
5
29
28
9
3
10
33
57
18
5
В первом столбце таблицы указан номер эксперимента, во втором —длина обучающей последовательности, в третьем — длина рабочей выборки, в четвертом столбце указано число ошибок классификации рабочей выборки с помощью линейного решающего правила, минимизирующего эмпирический риск (метод обобщенного портрета см. гл. XI), в пятом столбце — число ошибок классификации элементов рабочей выборки методом минимизации суммарного риска. Исходная размерность пространства бинарных признаков в этих задачах была равна 60. Задачи решались с помощью алгоритмов, приведенных в главе XI.
Основные утверждения главы X
Существуют две разные задачи восстановления: восстановление функции и восстановление значений функции в заданных точках.
В тех случаях, когда нужно прогнозировать значения функции в заданных точках (а не установить модель явления) постановка задачи восстановления значений функции является более адекватной.
Решение задачи восстановления значений функции в заданных точках проводится методом упорядоченной минимизации риска. Однако здесь упорядочение осуществляется на классах эквивалентности функций, которые определяются структурой полной выборки векторов х.
Возможны различные способы изучения структуры полной выборки, каждый из них индуцирует свой алгоритм восстановления значений функции в заданных точках.
Дополнительный эффект увеличения точности прогнозирования может быть получен за счет селекции полной выборки. В частности, селекция полной выборки позволяет за счет отказа от прогнозирования значений функции в некоторых заданных точках увеличить точность прогноза значений функции в остальных точках.
Для малых выборок метод непосредственного восстановления значений функции в заданных точках является на практике более точным, чем традиционные.
ПРИЛОЖЕНИЕ К ГЛАВЕ X
ЗАДАЧА ТАКСОНОМИИ
§ П.1. Задача классификации объектов
Пусть требуется разбить множество объектов
X = хь ..., Xt(П. 1)
на такие подмножества
Хь ..., Хт>(П.2)
чтобы были выполнены следующие два условия:
подмножества не пересекались, т. е.
х^Ху-о Vi^iY(П.З)
любой элемент из (П.1) попадал в одно из подмножеств (П.2), т. е.
0^ = ^(П.4)
i= 1
и при этом каждое подмножество состояло лишь из «наиболее похожих элементов».
Иначе говоря, требуется при выполнении ограничений (П.З), (П.4) минимизировать некоторый функционал, заданный на множестве всех разбиений множества X и отражающий понятие качества разделения множества X.
Подмножества элементов Х1? ..., Хт, являющиеся оптимальным решением такой задачи, называются таксонами, а сама задача разделения множества X на подмножества — задачей таксономии.
Таким образом, проблема состоит в том, чтобы выписать функционал, отражающий наши представления
о качестве разбиения множества, и найти разбиение, доставляющее минимум этому функционалу.
Проблема построения функционала является неформальной — каждый исследователь определяет свое понимание оптимального решения. Тем не менее существует «естественное» определение качества решения для частной постановки задачи таксономии — разбиения исходного множества X на заранее указанное число т таксонов Х^ .... Хт.
В этом случае определяется число d (X/), которое ставит в соответствие каждому подмножеству Xz степень близости его объектов. С помощью величин d^X^ образуется функционал
т
d = ^d(Xt).(П.5)
В теории таксономии приняты следующие характеристики близости объектов множества Xf.
средний квадрат уклонения от центра тяжести множеств
di (Xz) = -у ^ ^,7 ~~
Ч
где ?/ — число элементов множества Xz, х1 = у ^ хм —
центр тяжести множества Xz; х^ — элементы множества Хь
средний квадрат уклонения между элементами множества
^2 (^/) ~ ^ у. jj" 2 ^ХЧ ^^ ^Ч Xit\i>t
величина определителя матрицы рассеяния векторов множества
i
|d3(xz)H у 2 (^/-^)(^-^)т.
i=\
С помощью этих характеристик образуются функционалы
тd^^d^,/"=1
(П.6)(П.6)тd^^d^,i = l
(П.6)
(П.6)
т
Z = 1
ЗдесьЗдесьт
Здесь
Здесь
2<№) —определитель матрицы 2 ^^tY
i = \i=\
Существуют и другие функционалы, отражающие различное понимание качества решения частной задачи таксономии (число таксонов задано заранее). Эти функционалы приведены в работах [1, 2, 19J.
Что же касается общей задачи таксономии (где число таксонов заранее неизвестно), то здесь нет достаточно
широко принятых определений качества таксономии.
§ П.2. Алгоритмы таксономии
Задача минимизации функционала (П.5) на множестве возможных разделений I объектов на т групп является задачей дискретного программирования: всего возможно
т
NQ, m) = £ (_iyc^(m-ty
различных разбиений I объектов на т групп так, чтобы ни одна из групп не была пустой. Необходимо среди N (I, т) разбиений выбрать то, которое минимизирует функционал (П.5).
Точное решение этой задачи требует большого числа вычислений (соизмеримых по объему с величиной ^(Z, т)). Поэтому для решения задачи таксономии приняты эвристические приемы, и в частности следующий прием. На множестве векторов X (х1? ..., х^ строятся две последовательности Х^х^ ..., X/ и Q = q^ ..., qi по следующему индуктивному правилу: "
Вначале выбирается любой элемент из X, например хр и полагается Xi = Xi, ^=0. Вектор исключается из множества X, образуя множество МХ(МХ = Х/хх\
Пусть к (/+1)-му шагу из исходного множества отобрано t векторов и построены последовательности
Xt = xv xh
Qt = qv .... qb
а оставшиеся векторы объединены в множество Mt. Тогда на (/+1)-м шаге к последовательности Xt добавляется ближайший из Mt вектор, т. е. такой вектор х = й+1, на котором достигается минимум
q = min р (xz, Xt\х^М(
Этот вектор добавляется к построенной последовательности, образуя последовательность Х/+1, а соответствующая величина qm добавляется к Qt, образуя новую последовательность Qtw Из множества Mt исключается вектор хн, образуя множество Mtvv
Так продолжается до тех пор, пока все векторы из X не будут упорядочены.
Используя последовательность Q^q^ ..., qb можно разбить последовательность Xz^xn ..., xt на m таксонов. Для этого выберем такое число q*, чтобы только т— 1 значений последовательности Qt = qv ..., qt превосходили q*. Пусть <7^, qi2, ..., qt^ — соответствующие значения последовательности Qz+1.
Тогда векторы из последовательности Xt с номерами 1-мь образуют первый таксон; векторы с номерами к -ь *2 — второй, и т. д. Всего т таксонов.
Для того чтобы задать конкретный алгоритм, нужно определить понятие расстояния от точки х до множества X. Обычно используют следующую метрику р (х, X): расстояние от х до X определяется величиной расстояния от х до ближайшего из X вектора.
Что же касается расстояния между двумя векторами ха и хь, элементами множества X, то наряду с обычной евклидовой метрикой в таксономии используются и специальные метрики.
Задача таксономий
377
В частности, используется метрика Танимото, определяющая близость двух множеств, множества X и множества У:
Рт (X, У)Рт (X, У)пх+пу—2пху^х + Пу Пхупх+пу—2пху^х + Пу Пху
Рт (X, У)
Рт (X, У)
пх+пу—2пху
^х + Пу Пху
пх+пу—2пху
^х + Пу Пху
где пх — число объектов множества X, пу — число объектов множества У, пху — число объектов, которые входят одновременно в оба множества.
С помощью метрики Танимото определяется близость множеств объектов X6(xa) из X, попадающих в 6-окрестность точки ха и множество объектов X6 ^хь), попадающих в 6-окрестность точки хь (6 —заданный параметр).
Таким образом,
р(Ха, хь) = рт(Х6(ха); Xs (хь)).
Такая метрика более соответствует исследованию «геометрии векторов в целом».
ГЛАВА XI
АЛГОРИТМЫ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ
Замечания об алгоритмах
В первых десяти главах книги была изложена теория восстановления зависимостей по эмпирическим данным.
Были рассмотрены классические методы восстановления зависимостей (гл. Ill, IV, V). Они эффективны в условиях, когда искомая зависимость принадлежит заданному классу, и гарантируют отыскание удовлетворительного решения при достаточно большом объеме обучающей выборки.
На практике же мы не уверены ни в том, что искомая зависимость принадлежит классу функций, в котором ведется восстановление, ни в том, что объем выборки достаточен для нахождения хорошего приближения.
Поэтому были развиты методы минимизации риска, которые не требуют знания модели искомой зависимости и ориентированы на использование выборок ограниченного объема (гл. VI —X).
Последние две главы книги посвящены вопросам создания алгоритмов восстановления.
В этой главе мы рассмотрим алгоритмы обучения распознаванию образов. Алгоритмы основаны на использовании оценок равномерного относительного уклонения частот от вероятностей, которые справедливы при любой вероятностной мере Р (%, со) (в том числе и наиболее неблагоприятной).
Обычно, когда дело доходит до построения алгоритмов, основанных на некоторой теории, оказывается, что развитая теория является все-таки грубым приближением к реальности.
Как правило, эта «грубость» компенсируется тем, что при построении алгоритмов теории не следуют буквально. Авторы привносят в алгоритмы свое понимание реальной действительности, которое не поддается формализации. Так и в нашем случае.
На практике нет оснований думать, что реализуется наиболее неблагоприятное распределение Р (%, со). Поэтому оценки, которые следуют из общей теории, в реальной ситуации могут оказаться завышенными. Как же учесть, что мы собираемся иметь дело с реальными законами распределения вероятностей, а не с наиболее неблагоприятным? Ответ на этот вопрос и определяет степень нашего неформального отношения к построенной теории.
Неформальное отношение к теории при построении алгоритмов обучения распознаванию образов в этой главе состоит в том, что при восстановлении характеристических функций мы будем считать, что наряду с оценкой
р («) < Vg (<%) +
, Л 2/\ и
h In - + 1 — In ,_.——х
+ 2 ' “ /- '+1/!+ / 2? \И <П1>
справедлива оценка, отличающаяся от (11.1) константами
Р («) < v3 (а) +
а при восстановлении значений характеристической функции наряду с оценкой
vs (a) <v9(a)+ 2^i|_^y< +х* J^^M + ^Z + ^J 1 О*^) где х* — наименьшее решение неравенства
h (In+ 1 + In Fz k (х) In ,
\ h 11 v 71,5
справедлива оценка
M^)<v9(a) + 27/^xHx*4^M^) + [2^^(1L4)
Где х* — наименьшее решение неравенства
/1^1п^ + 1) + 1пГ;>А(х)==с1пт1.(11.5)
Эта оценка также отличается от (11.3) константами. Кроме того, мы перенесем некоторые факты, имеющие место для задачи восстановления значений функций, на задачу восстановления функции.
Построение разделяющих гиперплоскостей
Основой создания алгоритмов обучения распознаванию образов в классе линейных решающих правил являются алгоритмы построения гиперплоскости, разделяющей два конечных множества векторов: множество векторов
Ха : xv ..., ха(11.6)
и множество векторов
Хь*хъ .... хь.(11.7)
Задача сводится к отысканию вектора гр, для которого выполняются неравенства
хТгр 1,еслиxt Ха,
v&<!•(Н-8)
хТгр^й,еслиXj^Xb,х 7
Очевидно, если существует вектор гр, для которого выполняются неравенства (11.8), то имеется множество векторов гр, удовлетворяющих (11.8). Будем искать среди них минимальный по модулю вектор. Этот вектор был назван обобщенным портретом [12].
Минимизация квадратичной формы
1Ж12-фтФ(Н.9)
при ограничениях (11.8) является задачей квадратичного программирования.
Необходимые и достаточные условия минимума (11.9) при ограничениях (11.8) определяются теоремой Куна — Таккера.
Теорема 11.1 (Кун — Таккер). Пусть заданы дифференцируемая выпуклая функция F (х) и линейные функции fi^x) (г = 1, 2, ..., /). Пусть х0 доставляет минимум F (х) при ограничениях
(11.10)
Тогда существуют такие Xz^0, удовлетворяющие условиям
(11.11)
(11.12)(11.12)что справедливо равенство
(11.12)
(11.12)
1=1
(V — знак, градиента).
И обратно, если для некоторой точки х0 выполняются условия (11.10) и можно найти числа Х/^0, удовлетворяющие условиям (11.11) и (11.12), то в точке х0 достигается условный минимум F (х) при ограничениях (11.10).
Доказательство теоремы Куна —Таккера приводится во всех руководствах по выпуклому программированию (например, [65]).
Применим теорему Куна —Таккера для нашего случая минимизации (11.9) при ограничениях (11.8).
Теорема 11.2. Минимальный по модулю вектор гр, удовлетворяющий- (11.8) (обобщенный портрет), представим в виде
аb
= 2 aixt - 5(11.13)
(=1/=1
а^О, р^О, причем
а, [хТгр—1] = 0, 1=1, 2, ..., а, pzp-^4] = 0, / = 1, 2, ..., Ь. 1'
Среди всех векторов гр, удовлетворяющих (11.8), вектор гр, представимый в виде (11.13), (11.14), является минимальным по модулю.
Доказательство теоремы немедленно следует из теоремы Куна — Таккера.
Назовем векторы хь xh для которых выполняются условия
хТгр = 1, xt^Xa,
L V(И.15)
хТгр = й, x^Xb,v '
крайними векторами. Согласно теореме 11.2 обобщенный портрет разложим с ненулевыми весами лишь по системе крайних векторов.
Рассмотрим теперь двойственную задачу, решение которой эквивалентно построению обобщенного портрета. Введем
пространство параметров Еа^ и рассмотрим функцию
аb
Г (а, Р)-^"^^^-(1М6)
/=1/=1
где вектор ф есть
t=5 ад - 2 М-
1=1/=1
Покажем, что точка а0, ро —максимума функции W (а, р) в положительном квадранте az ^ 0, р7- ^ 0 определяет обобщенный портрет.
Действительно, необходимыми и достаточными условиями максимума функции W (а, р) в точке а0, р0 являются условия
dW (а0, ро) (
0,
если
at
>0,
да/ — |
^0,
если
а”
= 0, 1 = 1,2а,
9W (а0, ро) _ J
0,
если
Р?
>0,
дР/)
. ^0,
если
Р?
= 0, / = 1, 2, ..., Ь.
Выпишем эти условия, обозначив
аb
Получим 1(оl-^o^ ^0, (0Получим 1(оl-^o^ ^0, (01 = 1/=1
Получим 1(о
l-^o^ ^0
, (0
Получим 1(о
l-^o^ ^0
, (0
если а? > 0,
(П.17)(П.17)если а” = 0, i = 1, 2, ..., а,
(П.17)
(П.17)
если р/ > 0,
если Р/ = 0, / = 1, ..., Ь.
Условия (11.17) могут быть переписаны в виде неравенств
(11.18)(11.18)хТтр0 5^1, I = 1, 2, ..., а,xjtpo/ = 1, 2, ..., b
(11.18)
(11.18)
и равенств
аЦ1 — xJi|)o) = O, 1 = 1, 2, .а,Р/(х)т|)о-й) = О, / = 1, 2, .... Ь.
Согласно же утверждению теоремы 11.2 эти условия определяют обобщенный портрет.
Итак, задача построения гиперплоскости, разделяющей два множества векторов, свелась к отысканию максимума функции W (а, р) в положительном квадранте.
Ниже мы рассмотрим методы минимизации квадратичной формы W (а, р) в положительном квадранте, но прежде установим следующий важный факт.
Теорема 11.3. Если разделяющая гиперплоскость существует (существует вектор ф0, для которого выполняются неравенства (11.18)), то максимум функции W (а, р) в положительном квадранте равен половине квадрата модуля обобщенного портрета
Wo- ₽0)=^.(11-19)
Доказательство. Действительно, согласно теореме 11.2 аb
Фо=S - S р^у
1 = 1/ = 1
Поэтому аb
II Фо I2=ф^ф0=2 аХФ - S Р^Фо
1 = 1/ = 1
и, учитывая (11.15), получаем
аb
1|Фо1Г = 2 “^Е Р/-
1 = 1/ = 1
Таким образом, аb
г(а0, р0)=2ао-й 2p“_^0=« 1=1/=1
Теорема доказана.
Из теоремы 11.3 вытекает важное для построения алгоритмов распознавания следствие.
Следствие. Если среди крайних векторов обобщенного портрета ф0 есть векторы обоих классов, то имеет место оценка
р (ib0)._ ,(11.20)
^2Г(а, Р)V 1
где р (х|)0) — расстояние между проекциями множеств xv ... ха и xv хь на направление обобщенного портрета.
При этом равенство в оценке (11.20) достигается в точке
а = а0, р = ро.
Доказательство. В силу теоремы 11.3
И2Ф>ГМ = 1Ш|.
Далее, в силу условия следствия найдутся такие векторы множества, что
хт Фо _1
(11.21)(11.21)1 II Фо II11Фо1Г
(11.21)
(11.21)
УТ Фо _k
Cl Фо II№11'
Поэтому расстояние между проекциями векторов, для кето рых выполнялось (11.21), равно
Р №11 ~ К2Г («о, Ро) '
Учитывая, что W (а, р)^1Г(а0, р0), получаем неравенство (11.20).
Это следствие используется для построения критерия неразделимости векторов. В самом деле, будем считать, что два конечных множества векторов не могут быть разделимы гиперплоскостью, если расстояние между проекциями на направление обобщенного портрета меньше р0. А это значит, что не существует разделимости, если найдутся такие а*>0, р*>0, что
W(a*. р*)>А1^W(a*. р*)>А1^1^0.1^0.
W(a*. р*)>А1^
W(a*. р*)>А1^
1^0.
1^0.
Таким образом, при построении обобщенного портрета проблема состоит в том, чтобы найти максимум отрицательно определенной квадратичной формы W (ос, р) в положительном квадранте а>0, р>0 или установить, что максимум функции W (а, р) превосходит величину Wo. Последнее означает, что построение обобщенного портрета невозможно.
Алгоритмы максимизации квадратичной формы
Одним из наиболее эффективных алгоритмов максимизации отрицательно определенной квадратичной формы является метод сопряженных градиентов. С его помощью удается достичь максимума за п шагов (п — размерность формы). В этом параграфе мы рассмотрим алгоритмы максимизации отрицательно определенной квадратичной формы в положительном квадранте, построенные на основе модификации метода сопряженных градиентов.
Теория метода сопряженных градиентов описана во многих руководствах по поиску максимума функции (например, [12,80]).
Рассмотрим сначала метод сопряженных градиентов для максимизации квадратичной формы:
F^ = bTy — yTAy,
где А — положительно определенная матрица, Ь — вектор, у — вектор.
Согласно методу сопряженных градиентов поиск максимума функции начинается из произвольной точки у0 = = у (0). Первый шаг делается в направлении градиента функции F (у) в точке у(0\ Обозначим градиент функции в точке у(0) через g(l), а направление движения из точки у(0) через 2(1). Таким образом,
z(l) = g(l).
Шаг делается по направлению z(l) до достижения максимума. Нетрудно убедиться, что максимум по направлению z(l) задается выражением
У (1) = У (0) + гт ^Az J) г (О-
Начиная со второго шага, направление движения определяется вектором
^/^^(t-H^1^^^),(11.22)
где^(/+1) и g (/) — градиенты функции F (у) в точках у(/+1) и y(t\ 2 (/) —направление движения в точке y(t — 1). Движение по направлению 2(^) ведется до достижения условного максимума. Этот максимум достигается
13 В. Н. Вапник
в точкегде величинав точкегде величинаy^=g(t-XHh^2^y^=g(t-XHh^2^(11.23)(11.23)Ц^ =Ц^ =_^L((ML zT (/) Az (/)_^L((ML zT (/) Az (/)
в точке
где величина
в точке
где величина
y^=g(t-XHh^2^
y^=g(t-XHh^2^
(11.23)
(11.23)
Ц^ =
Ц^ =
_^L((ML zT (/) Az (/)
_^L((ML zT (/) Az (/)
определяет шаг движения.
Формулы (11.22), (11.23) задают, таким образом, алгоритм поиска максимума квадратичной функции F (у).
Для вычисления максимума функции в положительном квадранте используем модифицированный метод сопряженных градиентов. Модификация метода направлена на то, чтобы ограничить область поиска положительным квадрантом. Определим функцию
gi (У) =gi (У) =^Й/_)дуг ’О,^Й/_)дуг ’О,если yt #= 0 или если yt = 0 иесли yt #= 0 или если yt = 0 идНу)dytдР(у)дУ1дНу)dytдР(у)дУ1(11.24)(11.24)
gi (У) =
gi (У) =
^Й/_)дуг ’
О,
^Й/_)дуг ’
О,
если yt #= 0 или если yt = 0 и
если yt #= 0 или если yt = 0 и
дНу)dytдР(у)дУ1
дНу)dytдР(у)дУ1
(11.24)
(11.24)
Вектор g(t/) = (gi(t/)gn^AT» есть условный градиент функции F (у) на множестве у ^ 0.
Будем совершать восхождения к максимуму, используя формулы (11.22), (11.23), где g (др) заменено на g(y). Движение начинается из произвольной точки положительного квадранта и продолжается до момента выхода на ограничение в точке у0. Тогда снова начинается восхождение по методу сопряженных градиентов, но из точки у0. Поиск максимума заканчивается, когда выполнятся неравенства \gi(y')\^=£ (t = l, 2, .... п).
Для того чтобы траектория не вышла за пределы положительного квадранта, величина шага h(t) выбирается из условия минимума двух величин h (t) и h* (Z), где
При вычислении h* (Z) минимум определяется лишь по тем координатам уь для которых zz<0. Если же все 2^0, то шаг равен h(t\
Важной особенностью такого метода поиска максимума функции F (у) в положительном квадранте является то,
что он допускает последовательную процедуру поиска. Пусть пространство Еп имеет координаты
У1>У/?> Ук\1» •••> Уп*
Можно сначала найти условный максимум функции F (у) при ограничениях
у^О, ук-^0, yk+1 = Q, .... у„ = 0, а затем, используя найденную точку максимума как начальную, найти максимум F (у) в области
У!^0,у„^0.
В нашем случае при поиске максимума функции аb
Г (a, Р^^-ф/Цп1 = 1/=1
/=1/=1
в положительном квадранте, условный градиент есть вектор с координатами
dW (а, р)5117 (а, В) А
—-, если со О или —> О,
•да/5а/
а/" лл dW (а, В) _ А
О, если оо = 0 и ——— ^0,
1oat’
i = 1, 2, ..., а,
( dW (а, Р)Q АdW (а, р) А
—зз—~ , если В,- ^ 0 или —~ > 0,
А 5РУ’1Vар7 ’
" лЙлд№(сс, р) _ А
0, если р/= 0 и V - ^ 0,
/-1, 2, b.
Обозначим составляющие вектора z(t\ задающего направление движения на /-м шаге, через а, р.
Согласно (11.22) имеют место соотношения
а(/+1) = а(Н1) + 6(Н1)а(0,
р(/ + 1) = р(/+1) + б(/ + 1)р(0,
где (см. (11.22))
2 ^(/+1)4- 2 Р^+П
(11.26)(11.26)6 ^ = —а^
(11.26)
(11.26)
2 «' (0+ 2 ^ (о
/ = 1/=1
При вычислении шага по формуле (11.23) необходимо вычислить величину zTAz.
В нашем случае
I а6\2
2ТЛ2 = ( ^ ^i^i 2 Р/^/) = фТф,
V = 1/ = 1/
где обозначено
аb _
^ = 2 ад - 2 №
1=1/ = 1
Таким образом, используя методы сопряженного градиента, можно либо найти гиперплоскость, разделяющую два множества векторов: множество хх, ..., ха и множество хг, ..., хь (найти максимум функции W (а, р) в положительном квадранте), либо установить, что разделяющей гиперплоскости не существует (установить на очередном шаге, что W (а, Р) > -у 2 ■, р — заданный параметр).
Методы построения оптимальнойразделяющей гиперплоскости
При создании алгоритмов восстановления зависимостей одним из важных моментов является построение оптимальной разделяющей гиперплоскости.
Оптимальной разделяющей гиперплоскостью называется такая гиперплоскость, которая, разделяя два множества векторов: xv ..., ха и хи ..., хь, максимально от них удалена.
Формально это означает, что оптимальная разделяющая гиперплоскость задается такой парой: единичным вектором ф, и числом с, для которых при выполнении
неравенств
хТф с, i = 1, 2, ..., а,
хТф<с, /= 1, 2, ..., 6, где
с = ft (Ф) ±с2 (ф) , сг (ф) = штхТф, с2 (ф) = max хТф, достигается максимум выражения
П(ф) = с1(ф)-с2(ф).
Для построения оптимальной разделяющей гиперплоскости рассмотрим всевозможные разности
Уу = Xi — Xj\ Xi e Хаэ Xj e Xb.
Вектор фопт обладает свойством
поэтому он коллинеарен минимальному по модулю вектору гр, для которого выполняются неравенства
уТдр>*1, i = 1, 2, ..., а, /=1, 2, .Ь.
Иными словами, вектор ф коллинеарен обобщенному портрету гр класса ^у^ при пустом втором классе.
Отыскать же обобщенный портрет можно, максимизируя квадратичную форму
№ (а) = 2а</-4"^’ь /
$ = 2 аиУ«
М
в положительном квадранте aZy^0.
Число векторов у у обычно достаточно велико. Поэтому непосредственное построение обобщенного портрета гр затруднительно. Воспользуемся следующей итеративной процедурой.
Берется произвольная пара Уг=х1 — xv Образуется класс Ylt состоящий всего из одного вектора хх — xv Строится обобщенный портрет этого класса (при пустом втором классе).
Пусть на t-м шаге построены класс Yt векторов Xi — xz и его обобщенный портрет хр/. В обучающей последовательности находится такой вектор Xi^v что
хТ ib= min хТхр.
и такой вектор Xj^ что
х] хр.= max xTxlLZ+i г х
Образуется вектор
Если окажется, что
^+л<* -е
(е —параметр алгоритма), то класс Yt пополняется вектором ytA. Находится обобщенный портрет %;1 образовавшегося класса У^+1, и процесс продолжается дальше.
Если же выполнется неравенство
м^1 -8>
то процесс заканчивается и за оптимальную разделяющую гиперплоскость принимается гиперплоскость
min xjxp + max
Одновременно с процессом построения гиперплоскости проверяется условие
Г(а)>^-.
Если хотя бы однажды оно выполнится, то построение гиперплоскости оканчивается. В этом случае считается, что разделение векторов обучающей последовательности невозможно.
При реализации этой процедуры удобно на каждой итерации при образовании класса Yt удалять те векторы уь которые входили в разложение обобщенного портрета хр с нулевым весом. Уменьшение числа векторов в Yt позволяет сократить время построения обобщенного портрета хр.
Рассмотренные алгоритмы построения разделяющей гиперплоскости мы используем при создании комплекса программ обучения распознаванию образов. Однако прежде остановимся на вопросе представления информации в задачах распознавания.
Алгоритм экстремального разбиениязначений признака на градации
В задачах обучения распознаванию образов приняты два способа представления информации — непрерывный и дискретный.
При непрерывном способе представления информации координаты вектора х могут принимать любые значения. При дискретном способе каждая координата вектора принимает фиксированное число значений. Дискретным способом удобно кодировать качественные признаки. Например, следующие характеристики в задачах медицинской дифференциальной диагностики: «бледность кожных покровов не выражена», «выражена умеренно», «сильно выражена», могут иметь коды 100, 010, 001.
Однако в задачах обучения распознаванию образов принято дискретно кодировать не только признаки, отражающие качественную характеристику объекта, но и признаки, принимающие числовые значения.
При этом пользуются следующим способом представления информации. Весь диапазон значений параметра разбивается на ряд градаций. Единицей кодируется j-й разряд кода, если значение параметра принадлежит /-й градации, если же значение параметра не принадлежит /-й градации, то в /-м разряде ставится нуль.
Пример. Пусть значение параметра х1 принадлежит отрезку [— 5, 8] и этот отрезок разбивается на пять градаций:
х1 < 0; 0 < х1 <2; 2 < х1 < 4; 4 ^ х1 < 5; х1 ^ 5.
Кодом 10 000 обозначаются величины х1 < 0, кодом 01000 —величины 0 ^ х1 < 2, кодом 00100 — величины 2 ^ х1 < 4, кодом 00010 —величины 4 л/< 5 и, наконец, кодом 00001—величины х1 ^ 5.
Рассмотренный способ представления информации замечателен не только тем, что позволяет компактно записывать информацию (для приведенного примера вместо одной ячейки памяти в ЦВМ —пять разрядов ячейки). Дискре-
тизация координат вектора есть нелинейная операция, с помощью которой вектор х переводится в бинарный вектор х' с большим числом координат.
Использование большого числа градации при кодировке параметра эквивалентно использованию более разнообразного класса разделяющих поверхностей в пространстве ЕП) чем линейные. Однако, как было установлено в главе VIII, чрезмерно большая емкость класса решающих правил при ограниченном объеме обучающей последовательности недопустима, и поэтому возникает проблема экстремальной разбивки на градации непрерывных признаков.
В этом параграфе будет приведен алгоритм экстремального разбиения значений признака на градации. Принцип, который реализует алгоритм, заключается в следующем: необходимо так разбить значения параметра на конечное число градаций, чтобы оценка неопределенности (энтропии) при классификации с помощью этого признака была минимальной (или близка к минимальной).
Итак, пусть признак (координата) х может принимать значения из интервала с^х^С, и пусть вектор, обладающий этим признаком, принадлежит одному из К классов. Пусть существуют условные вероятности принадлежности к каждому классу
Р(1|х)Р^|Х).
Для каждого фиксированного значения признака х может быть определена мера неопределенности (энтропия) принадлежности к тому или иному классу
к
Н (х) = — 5 ^ (l Iх) *n Р ^ I х\
.1 = 1
Среднее значение по мере Р (х) энтропии вычисляется так:Н = $ Н (х) Р (х) dx.
Пусть теперь параметр х разбит на т градаций, т. е. принимает одно из т значений с(1), ..., с(т). Тогда средняя энтропия может быть записана в виде
т К
Н^ = -Ц Ц РУ\Х)^пР^\х,)Р^). (11.27) ./=и = 1
Воспользуемся формулой Байеса
P(i|xy)P(i|xy)P^|_iLP(0РедP^|_iLP(0Ред(11.28)(11.28)
P(i|xy)
P(i|xy)
P^|_iLP(0
Ред
P^|_iLP(0
Ред
(11.28)
(11.28)
Подставим (11.28) в (11.27)
т К.
н^=- 2<1к29)
/=П = 17
Для того чтобы оценить энтропию (11.29), необходимо оценить вероятности Р (xj | i\ Р (i), Р (х^ по обучающей последовательности. Воспользуемся байесовыми оценками (см. § 6 гл. III):
Н^ =
Ц№кУ ^/(0+11 = 1Ц№кУ ^/(0+11 = 1/4-т'Т+К ’/4-т'Т+К ’yi V1 mj (О + (О +1 1 Г mj (О +1
Ц№
к
У ^/(0+1
1 = 1
Ц№
к
У ^/(0+1
1 = 1
/4-т'
Т+К ’
/4-т'
Т+К ’
L Lтто+т т+к"1П тдьн />11 = 1
где I (t) — число элементов t-ro класса в обучающей выборке, m;(i) —число векторов i-го класса, у которых х = Xj, I — длина выборки.
Реализация сформулированного принципа состоит в таком подборе разбиения на градации интервала с^ ^х^С, чтобы обеспечить минимум значения Н (т).
Алгоритм удобно реализовать в следующей форме: сначала разбить интервал на достаточно большое число градаций, а затем, «склеивая» соседние градации (и тем самым уменьшая число градаций т), добиться минимизации Н (т) по т. Для этого сначала склеивают такую пару соседних градаций, чтобы величина Н(х— 1) уменьшилась на наибольшую величину. Затем среди оставшихся т — 1 градации «склеивают» две соседние, чтобы минимизировать Н (х — 1) и т. д. Пусть минимум достигается при разбивке на т* градаций.
Можно оценить количество информации о принадлежности к классу J (т*), которые доставляют сведения о значениях параметра
Дт*) = //апр-Я(т*),
где
"апр— t^K i + ^ •
Часто разумно продолжать «склеивать» градации и после достижения минимума по т функции Н (т*), но лишь до тех пор, пока величина J (т*) не уменьшится в (1—6) раз (6 —параметр алгоритма, обычно 6^0,05).
Алгоритмы построенияразделяющей гиперплоскости
В этом параграфе мы рассмотрим два алгоритма построения разделяющей гиперплоскости — алгоритм 11-1 и алгоритм 11-2.
Алгоритм 11-1 предназначен для построения гиперплоскости, разделяющей два конечных множества векторов, или выяснения того факта, что безошибочное линейное разделение векторов невозможно.
Этот алгоритм имеет две модификации. В одной из них он отыскивает обобщенный портрет при заданном параметре &, в другой — находит оптимальную разделяющую гиперплоскость. Алгоритм строит гиперплоскость, решая двойственную задачу— максимизируя квадратичную форму в положительном квадранте, как это было описано в §§ 3 и 4.
Модификация 1. При этой модификации алгоритм строит для заданного к обобщенный портрет.
Часто, однако, длина обучающей последовательности настолько велика, что обработка сразу всего материала обучения приводит к необходимости решать двойственную задачу слишком большой размерности.
Поэтому обработка обучающей последовательности ведется итеративно. Обучающая последовательность разбивается на т групп по р элементов в каждой группе (последняя группа может быть неполной).
Затем строится обобщенный портрет для векторов обучающей последовательности, попавших в первую группу. (Хорошо, когда в первую группу попадают векторы, принадлежащие как первому, так и второму классу).
Обобщенный портрет строится путем максимизации соответствующей квадратичной формы W (а, Р) в положительном квадранте методом сопряженных градиентов (см. § 3).
В результате максимизации квадратичной формы либо будет найден обобщенный портрет, либо установлено, что разделение выделенной группы векторов невозможно
Р)>^^).
Пусть по первой группе найден обобщенный портрет ф1Ф Формируется рабочая группа векторов, которая состоит из векторов, участвующих в разложении обобщенного портрета фг с ненулевым весом, и тех векторов первых двух групп, для которых выполняются неравенства
(11.30)(11.30)х?ф1 >1—6,^<£ + 6,
(11.30)
(11.30)
где 6 — параметр алгоритма < 6 < ——j.
Если в первых двух группах нет таких векторов, то рабочая группа векторов формируется с участием третьей группы. Если и в третьей группе нет векторов, удовлетворяющих неравенствам (11.30), то рассматривается четвертая группа, и т. д.
Если окажется, что во всех т группах нет векторов, удовлетворяющих (11.30), то грг есть обобщенный портрет всей обучающей последовательности.
По сформированной рабочей группе строится вторая итерация обобщенного портрета — ищется максимум соответствующей квадратичной формы или устанавливается, что значение максимума больше заданной величины, т. е. разделение векторов рабочей группы невозможно.
Пусть гр2 — обобщенный портрет, найденный во второй итерации. Формируется новая рабочая группа, состоящая из тех векторов, которые участвуют в разложении гр2 с ненулевым весом, и тех векторов первых трех (а возможно и большего числа) групп, для которых выполняются неравенства
хТгр^ >1—6,х}^<^ + б.
Строится новый обобщенный портрет ф3— формируется новая рабочая группа и т. д. Так продолжается до тех пор, пока либо однажды окажется, что в формируемую группу не добавлен ни один вектор, а это и означает, что обобщенный портрет построен, либо не будет установлено, что безошибочное разделение векторов обучающей последовательности с помощью гиперплоскости невозможно.
Модификация 2. При этой модификации алгоритм строит оптимальную разделяющую гиперплоскость. Оптимальная разделяющая гиперплоскость также строится итерациями.
Для первой итерации формируется рабочая группа векторов, состоящая из Ц векторов хь ..., xit обучающей последовательности, принадлежащих первому классу, и 1Х векторов хи ..., Xit обучающей последовательности, принадлежащих второму классу. По этим векторам строится / векторов yt=xi — хь для которых ищется обобщенный портрет (одного класса при пустом втором классе). Обобщенный портрет ищется путем минимизации квадратичной формы W (а) в положительном квадранте (см. § 4).
Пусть в результате первой итерации найден обобщенный портрет ф. Для получения второй итерации образуем рабочую группу разностей У2. Для этого исключим из рабочей группы разностей ^ те пары, которые входили в разложение грт с нулевым весом, и найдем среди векторов обучающей последовательности такие векторы Xi и Xj, для которых достигаются экстремальные значения x^j = штх?фп
x^i = max хТф
Если при этом окажется, что выполнены неравенства
х*^ ^ min х1^ — 6П
* т , с(Н.31)
^Ф1 max хтф! + 62,
где в правых частях неравенства минимум и максимум вычисляются только по векторам обучающей последовательности, входящим в рабочую группу, 6П 62 параметры алгоритма Добычно бх^О,! ^minx^, б2 = 0,1 ^тах х^у
22то пара вектор гр и число
2
2
min xjxp + max Х/Фmin xjxp + max Х/Фс задаетс задаеттимальную разделяющую гиперплоскость. Если хотя
min xjxp + max Х/Ф
min xjxp + max Х/Ф
с задает
с задает
оп-быоп-быодно из двух неравенств (11.31) не выполнится, то пара х*, х* добавляется к рабочей группе векторов и строится новая итерация оптимальной разделяющей гиперплоскости.
оп-
бы
оп-
бы
Так продолжается до тех пор, пока либо однажды не выполнятся оба неравенства, либо окажется, что разделение невозможно (№(а)>2/р2; р —заданная величина).
Таким образом, с помощью алгоритма 11-1 удается либо построить разделяющую гиперплоскость, либо установить, что безошибочное разделение векторов обучающей последовательности невозможно.
ппfin i+1')fin i+1')— In д— In дСогласно же оценке (11.2), если в пространстве размерности п удастся построить гиперплоскость, безошибочно делящую I векторов обучающей последовательности, то с вероятностью 1— т] можно утверждать, что вероятность ошибочных классификаций с помощью построенной гиперплоскости будет меньше
п
п
fin i+1')
fin i+1')
— In д
— In д
I
Алгоритм 11-2 предназначен для построения гиперплоскости, разделяющей два множества векторов с минимальным числом ошибок.
Задача построения разделяющей гиперплоскости, минимизирующей число неправильно классифицируемых векторов, принципиально может быть решена, коль скоро решена задача построения разделяющей гиперплоскости, но точное ее решение требует большого перебора вариантов. Поэтому используем эвристический прием, позволяющий сократить перебор.
Алгоритм 11-2 использует следующий эвристический прием: из множества векторов обучающей последовательности исключается один элемент, «наиболее препятствующий разделению», затем, если разделение невозможно, из оставшегося множества исключается еще один элемент и т. д.
Специфика алгоритма заключается в определении элемента, «наиболее препятствующего разделению». В каче-
стве такого элемента при построении обобщенного портрета определяется вектор х; (или х5\ который в момент «останова» доставлял наибольший вклад в величину W (а, Р)
аb
Г (а, ₽)= ^ а,(1-}^) + ^ ₽/(-^+|^)> 1=1/=1
т. е. вектор х< (л'7), для которого достигается максимум величины
(1 - 4 ^), (р/ (— ^+^)).
Программа 11-2 исключает из обучающей последовательности вектор, «наиболее препятствующий разделению», делит оставшееся множество векторов и, если разделение все еще невозможно, исключает очередной вектор, делит оставшееся множество и т. д.
В конце концов, исключив т векторов, программа 11-2 разделит оставшееся множество векторов, построив разделяющую гиперплоскость /Гф^с. Согласно же оценке (11.2) вероятность правильной классификации с помощью построенной гиперплоскости оценится величиной
Построение разделяющей гиперплоскостив экстремальном пространстве признаков
Алгоритмы 11-1 и 11-2 реализуют идею минимизации эмпирического риска. С их помощью в классе линейных решающих правил отыскивается правило, минимизирующее число ошибок на обучающей последовательности. Начиная с алгоритма 11-3 мы будем строить алгоритмы обучения распознаванию образов, реализующие метод упорядоченной минимизации риска. В этом параграфе мы рассмотрим алгоритмы упорядоченной минимизации риска в классе линейных решающих правил.
Пусть структура класса линейных решающих правил задается по числу используемых при распознавании признаков (см. гл. VIII) исходного пространства призна-
ков Еп. В этом случае одновременно для всех решающих правил имеет место оценка
(и —г) fin —-—н 1; + In С'' — In П
И <v (а) +V 2Z X
Xf 1 + 1 /, (Ц.32)
где (/г — г) — размерность подпространства исходного пространства признаков, в котором строится линейное решающее правило. Таким образом, проблема заключается в том, чтобы, выбрав подходящее подпространство Еп_г и построив в нем линейное решающее правило, минимизирующее эмпирический риск, добиться минимальной величины оценки среднего риска.
В фиксированном пространстве Еп_г поиск решающего правила, минимизирующего эмпирический риск, осуществляется с помощью алгоритма 11-2.
Алгоритм 11-3 отыскивает в пространстве признаков такое подпространство, в котором гарантируется наилучшее решение задачи с помощью линейных решающих правил (иногда такое подпространство признаков называют информативным).
Принципиально отыскание информативного подпространства может быть осуществлено с помощью полного перебора по всем 2" подпространствам исходного пространства признаков. Для каждого подпространства с помощью алгоритма 11-2 может быть найдено правило, минимизирующее эмпирический риск, а с помощью оценки (11.32) выбрано такое подпространство и такое решающее правило в нем, для которых гарантируется наименьшая оценка вероятности ошибочной классификации.
Однако осуществление полного перебора по всем подпространствам при вычислениях на ЦВМ требует чрезвычайно больших затрат машинного времени. Поэтому в алгоритме 11-3 используется стандартный эвристический прием последовательного улучшения оценки. Сначала отыскивается такой признак из п возможных признаков, исключение которого в наибольшей степени уменьшает оценку (11.32). Этот признак исключается. Затем из оставшихся п — 1 признаков по тому же правилу снова исклю-
чается признак и т. д. Исключение признаков продолжается до тех пор, пока оценка вероятности ошибочной классификации не достигнет минимума.
Процедуру исключения признаков удобно проводить по следующей схеме.
Найдем решающее правило, минимизирующее эмпирический риск в исходном пространстве Еп, и вычислим для него оценку (11.32).
Пусть это правило построено с исключением из обучающей последовательности т векторов и соответствует решению двойственной задачи (см. §§ 3 и 4), при а = а*, Р-Р*.
Выберем в качестве рабочей группы те векторы обучающей последовательности х(х), для которых а(Р) отличны от нуля, а в качестве начальных значений при максимизации функции W (а, Р) — соответствующие значения а*, Р*, и будем последовательно искать в пространствах Е^ решающие правила, делящие обучающую последовательность, состоящую из 1 — т векторов (без исключенных в п. 1). Для каждого найденного правила вычисляется оценка. Выберем то решение, которое экстре- мизирует оценку.
Если найденная величина оценки меньше той, которая была получена для исходного пространства, то в качестве исходного рассматривается пространство Еп_г и производятся операции п.2. Если же экстремальная оценка больше той, которая была получена для Еп_х, то пространство Еп считается информативным, а найденное в нем линейное решающее правило, минимизирующее эмпирический риск, — наилучшим.
Построение кусочно-линейнойразделяющей поверхности
В этом разделе мы перенесем некоторые факты, справедливые для восстановления значений функции, на восстановление функции. Рассмотрим методы построения кусочно-линейных разделяющих поверхностей. При построении кусочно-линейной разделяющей поверхности пространство векторов X делится на р непересекающихся областей, в каждой из которых строится своя разделяющая гиперплоскость. Классификация векторов с помощью
построенной системы гиперплоскостей производится так: выясняется, какой области пространства принадлежит данный вектор, а затем он относится к тому или иному классу с помощью разделяющей гиперплоскости, построенной для классификации векторов данной области.
Таким образом, для заданной системы разделения пространства X на р областей алгоритм построения кусочнолинейной разделяющей поверхности состоит в том, чтобы в каждой области Х^ пространства X построить разделяющую гиперплоскость, минимизирующую число ошибок классификации на векторах обучающей последовательности, принадлежащих этой области. Построение гиперплоскости, минимизирующей число ошибок классификации, может быть осуществлено с помощью алгоритма 11-2. Таким образом, проблема состоит в том, чтобы задать разделения пространства X на р непересекающихся областей.
Согласно теории упорядоченной минимизации риска структура пространства должна быть задана априори, т. е. задано пространство X, разделение этого пространства на две области, разделение на три области и т. п.
При построении кусочно-линейного решающего правила необходимо определить такой элемент структуры, на котором достигается минимум оценки (11.2), где h = np, п — размерность пространства (пр < /).
В этом параграфе при построении кусочно-линейных решающих правил мы отойдем от требования теории — априорного задания структуры. Будем строить структуру, используя векторы х обучающей последовательности
хь ..., xt = Xb (11.33)
На множестве (11.33) мы определим таксонную структуру, т. е. различные способы разделения конечного множества (11.33) на подмножества, а для каждого разделения множества на подмножества
р
\jxti=xb х^х^ф,
определим разбиение пространства X на р областей Гп ...
..., Гр, по правилу:
вектор х относится к области Г/, если из р чисел р(х, Хчу .... р(х, Xt^
число р(х, Х/J —наименьшее. Величина р(х, Xi^ имеет смысл расстояния от точки х до множества Х/^. Расстояние р(х, Xi^ может пониматься в разных смыслах, например как расстояние от х до ближайшего элемента Xi .
Алгоритм 11-4 использует алгоритм построения так- сонной структуры на конечном множестве векторов хь ... . ..,xb описанный в приложении к главе X. Алгоритм строит последовательность векторов путем перенумерации исходной последовательности.
В качестве первого вектора х берется произвольный вектор исходного множества. Этот вектор из исходной выборки удаляется.
Пусть построена последовательность Xt = xv ..., xt и эти векторы удалены из исходной последовательности.
В оставшемся множестве векторов находится вектор, ближайший к множеству X/, т. е. такой, для которого величина
р = р(х*, X/) = minxTX/х ЕЕ X (
достигает минимума. Этот вектор удаляется из исходной последовательности и добавляется к строящейся.
Так продолжается до тех пор, пока вся последовательность (11.33) не будет переупорядочена.
Одновременно с построением новой последовательности определим последовательность чисел
pz = min р (хт, Xt_^ <t = \ 2, ..., Z).
х ЕЕ X ^
Эти числа равны расстоянию между Z-м членом xt новой последовательности и первыми t— 1 ее членами.
Примем следующее определение таксона, задавшись некоторым числом с. Две точки X/ и Xj относятся к одному таксону, если существует такая последовательность
состоящая из векторов исходной выборки, что расстояние между любыми двумя идущими подряд векторами этой последовательности меньше с. С помощью переупорядоченной выборки таксоны находятся так. Отыскиваются значения /, равные tv ..., tk, для которых ptT>c. Точки последовательности
(*i^-1), <хч, .... хч_^ ......., xZfc + 1) (11.34)
и образуют искомые таксоны.
Меняя константу с, получим требуемую таксонную структуру.
При построении кусочно-линейного решающего правила выбирается такой элемент таксонной структуры (11.34), на котором кусочно-линейное решающее правило F (х, а), минимизирующее эмпирический риск, доставит минимум функционалу
/?(a)=v(a)+
Алгоритмы восстановления значений функциив классе линейных решающих правил
Рассмотрим алгоритмы восстановления значений функции в классе линейных решающих правил. Согласно постановке этой задачи наряду с обучающей последовательностью
(11.35)
задается рабочая выборка
^Z+l> • • • > ^Z+Zs*
Требуется с помощью линейного решающего правила F^x, а) так индексировать точки рабочей выборки, чтобы Минимизировать число ошибок классификации.
Рассмотрим сначала частную постановку. Будем считать, что индексация точек рабочей выборки должна быть проведена с помощью линейного решающего правила,
которое безошибочно делит векторы обучающей последовательности.
Решение этой частной задачи состоит в том, чтобы так индексировать точки рабочей выборки первым и вторым классом, чтобы расстояние между выпуклыми оболочками множества векторов обучающей и рабочей выборок первого класса и множества векторов обучающей и рабочей выборок второго класса было максимальным.
Принципиально эта задача решается так. Существует 2Л различных способов индексации рабочей выборки длины к. Для каждого способа индексации с помощью алгоритма 11-1 может быть определено расстояние между выпуклыми оболочками векторов различных классов. С помощью алгоритма 11-1 будет найдена оптимальная разделяющая гиперплоскость и с ее помощью вычислена величина р либо будет установлено, что разделяющей гиперплоскости не существует, т. е. р < р0.
Перебором по всем способам индексаций может быть найдена такая индексация, при которой достигает максимума расстояние между выпуклыми оболочками векторов первого и второго класса.
Такая схема решения задачи опирается на полный перебор всех вариантов индексации векторов рабочей выборки. Для очень малых длин рабочей выборки (2-ь8) этот путь допустим. Однако уже при объеме выборки &=10-f20 перебор становится настолько большим, что реализация его оказывается невозможной. В этом случае приходится применять методы, направленные на сокращение перебора.
Выше при выборе информативного пространства признаков для сокращения перебора мы пользовались эвристическим методом последовательного улучшения оценки. Этот же принцип можно использовать и для отыскания наилучшего варианта индексации векторов рабочей выборки. Идею последовательного улучшения оценок при индексации векторов рабочей выборки реализует алгоритм 11-5.
Реализуется следующая последовательность действий:
По элементам обучающей последовательности строится оптимальная разделяющая гиперплоскость.
Точки рабочей выборки индексируются в соответствии с положением относительно этой гиперплоскости.
Строится оптимальная гиперплоскость, разделяющая всю выборку, в которой точки рабочей выборки взяты с индексацией, полученной в п. 2).
Поочередно меняется индексация точек рабочей выборки и выясняется, для какой из точек произойдет наибольшее увеличение р.
Если для найденной точки хм такое увеличение положительно, то перейдем к новой индексации, в которой изменено значение coz+z, и снова будем действовать в соответствии с п. 4). Если же любое изменение индексации не приводит к увеличению р, то считается, что оптимальная индексация найдена. Более глубокий минимум может быть достигнут с помощью методов сокращения полного перебора (например, метода ветвей и границ [29, 97]).
При проведении индексации векторов рабочей выборки дальнейшее уменьшение числа ошибок классификации с помощью линейных решающих правил может быть достигнуто за счет селекции выборки и отыскания информативного пространства признаков.
Алгоритм 11-6 минимизирует в классе линейных решающих правил, безошибочно делящих обучающую выборку, функционал
^ = 157-7" + ^’ О1-36) где х* — наименьшее решение неравенства х)
d In - ^"^ +1) + In Г,_/и1 ft _6и(х) +In Cz+ft^ In т),
(11.37)
/ — общее число исключенных векторов, /и —число исключенных векторов обучающей выборки, &и —число исключенных векторов рабочей выборки,
d = minK-l + l, nV (11.38)
\L Р2 J / 4
В (11.38) расстояние между выпуклыми оболочками р определяется для множества векторов, из которого исключено / элементов, за величину D принимается диаметр этого множества.
В неравенстве (11.37) 1пС4/г используется вместо слагаемого In + А (см. § 6 гл. X). При /<4^, In^^^ln//^*.
Требуется исключить такое число векторов t и так индексировать оставшиеся векторы рабочей выборки, чтобы векторы первого и второго классов были разделимы гиперплоскостью и, кроме того, достигался минимум функционала (11.36).
Как обычно в подобных случаях, отыскание точного минимума функционала требует полного перебора по всем способам индексации и всем возможным способам исключения векторов. Поэтому при поиске минимума (11.36) используется метод последовательного уменьшения значения (11.36).
Сначала отыскивается наилучшее решение на всех элементах обучающей и рабочей выборки, а затем делается попытка максимально улучшить полученную оценку, исключив один элемент. Если такая попытка оказывается удачной, то предпринимается попытка уменьшить (11.36), исключив еще один элемент, и т. д.
Процесс исключения векторов продолжается до тех пор, пока в результате его уменьшается величина оценки (11.36).
10. Алгоритмы восстановления значений функциив классе кусочно-линейных решающих правил
Алгоритм 11-7 определения значений функции с помощью кусочно-линейных решающих правил построен по схеме:
На полной выборке х определяется таксонная структура. Алгоритм построения таксонной структуры тот же, что и раньше.
Каждый элемент таксонной структуры Sr задает разбиение полного множества X на подмножества ХГп ... ..., Х^. Для каждого подмножества Xi решается задача классификации элементов рабочей выборки, принадлежащей Xi с помощью линейных решающих правил. Для этого используются алгоритмы предыдущего параграфа. Далее по формулам
Ri = vz (аэ) + 2 х‘ + х; "У vz (а,) + ( 2 ^‘^
di In +1) + In Г/ .к. (х) = In т],
где // — число элементов обучающей последовательности, принадлежащих Хь ki — число векторов рабочей выборки, принадлежащих Хи определяется частота ошибок классификации рабочей выборки с помощью линейного решающего правила.
По формуле
^=42^о1-39)
определяется частота ошибок классификации по всем элементам рабочей выборки.
Перебором по г находится такой элемент структуры, а вместе с ним и то решение, для которого оценка (11.39) минимальна.
Наконец, рассмотрим алгоритм 11-8, реализующий идеи локальных приближений. Пусть задана полная выборка
*1хкк.(11.40)
Для каждого вектора х, принадлежащего полной выборке (11.40), перенумеруем векторы последовательности (11.40) в соответствии с их расстоянием до этого вектора. Таким образом, задается Z + & систем окрестностей, своя для каждого вектора полной выборки (11.40)
x^с (х^ х<,)2 с... с (хь .... хик\\
U+^) (Хи^ с (х^, Xiх,А с... с (%!хик\.
1-рКL-pK*
Будем рассматривать систему окрестностей точки ^xt\ Пусть Xi — некоторая окрестность, содержащая // точек обучающей выборки и 6/ точек рабочей выборки.
Тогда частоту правильной классификации векторов рабочей выборки, принадлежащих этой окрестности, с помощью линейного решающего правила, минимизирующего эмпирический риск, в ХДхр^ оценим с помощью величины
И -"(".) + + К,/v (сс.) + [ тц^у]”. (11.41)
где xz — наименьшее решение неравенства
4(1п^- + 1) + 1пГ/^ (х)<1пт1.
Определим такую окрестность, а вместе с ней такую индексацию векторов рабочей выборки, для которой достигается минимум выражения (11.41). Пусть минимум равен Rt.
Таким образом, для каждого вектора xt полной выборки (11.40) может быть указана классификация некоторых (попавших в окрестность) векторов рабочей выборки и получена оценка mL = F^iki числа ошибок классификации.
Рассмотрим табл. 1.
Таблица 1
Окрестности
Классификация точек
Ri
точек
...
xl-vp
...
XM
Xi
i—
...
“hp
...
mi
X^i
...
—
. ..
—
ХМ
—
.. .
“4p
...
“5#
Прочерк в столбце таблицы означает, что соответствующий вектор рабочей выборки не принадлежит окрестности, для которой проведена индексация.
Теория локальных алгоритмов предписывает индексацию с помощью минимаксного допустимого решения (см. § 10 гл. VIII). Отыскание такого минимаксного вектора индексаций есть задача целочисленного программирования, решение которой сопряжено с большим объемом вычислений.
Поэтому при реализации алгоритма 11-8 на ЦВМ в качестве окончательной индексации вектора xw выбирается та, которая совпадает с большинством индексаций по столбцу таблицы.
ГЛАВА XII
АЛГОРИТМЫ ВОССТАНОВЛЕНИЯНЕХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ
§ 1, Замечания об алгоритмах
В этой главе мы рассмотрим алгоритмы восстановления нехарактеристических функций.
Так же как и раньше, будем различать две задачи восстановления: восстановление функциональной зависимости и восстановление значений функции в заданных точках.
В основу рассматриваемых здесь алгоритмов положены две оценки, полученные в главах VIII и X. Оценка
(12.1)(12.1)
(12.1)
(12.1)
связывающая величину среднего риска / (а) с величиной эмпирического риска /э(а), и оценка
/2 (а) </2 (а) <Х^та^"р^кН*Х^та^"р^кН*к1—таl + k *к1—таl + k */э(«),/э(«),(12.2)(12.2)
/2 (а) <
/2 (а) <
Х^та^"р^кН*
Х^та^"р^кН*
к
1—та
l + k *
к
1—та
l + k *
/э(«),
/э(«),
(12.2)
(12.2)
где и* — наименьшее решение неравенства
^In^ + lj + lnrz.H^^ln^, (12.3)
связывающая величину /2 (а) суммарного риска в точках рабочей выборки с величиной эмпирического риска /э (а).
В отличие от аналогичных оценок, используемых при восстановлении характеристических зависимостей, оценки (12.1) и (12.2) содержат свободный параметр т. Согласно теории этот параметр определяет статистическую особенность задачи (допустимую величину возможного выброса), и его значение должно быть известно заранее.
В этой главе мы используем оценки, предназначенные для «реальных» ситуаций, в которых зададим конкретные величины констант. Будем использовать оценку
длядля(12.4)(12.4)восстановления функциональной зависимостивосстановления функциональной зависимостиииоценкуоценку1-Н Х*1-Н Х*U (а),U (а),(12.5)(12.5)
для
для
(12.4)
(12.4)
восстановления функциональной зависимости
восстановления функциональной зависимости
и
и
оценку
оценку
1-Н Х*
1-Н Х*
U (а),
U (а),
(12.5)
(12.5)
гдегде(12.6)(12.6)х* — наименьшее решение неравенства/i^n^ + lJ+lnrz.Hx)^!!
где
где
(12.6)
(12.6)
для восстановления значений функции в заданных точках.
Алгоритм восстановления регрессиив классе полиномов
Рассмотрим алгоритмы восстановления одномернойфункциональной зависимости по эмпирическим данным^, Ут; ...; xb ytв классе линейных по параметрам функцийпF (х, а) = ^ “«Ti W-г = 1
Будем считать, что функции <Р1МФиМ(12.7)
априорно ранжированы, т. е. задана структура
SxczS2cz...czS„,(12.8)
элемент которой Sp есть множество функций р
F (х, а) = 5 °W< W-
i = 1
В этом случае проблема сводится к отысканию такого элемента Sp структуры (12.8) и функции F (х, а9), минимизирующей в Sp эмпирический риск, для которых достигается минимум функционала
(р<0-(р<0-
(р<0-
(р<0-
Минимум эмпирического риска
I / Р\2
(12.9)(12.9)А (“) = у 2^*2 а,(р/ ^ I
(12.9)
(12.9)
в Sp вычисляется с помощью стандартных приемов линейной алгебры: вектор параметров аэ = (а^, ..., а^у равен ^-(Ф^Ф^Ф^У,(12.10)
где У —вектор значений уъ ..., yt; Фр —матрица,
(12.11)(12.11)ф1(Х1)... фр(ХХ)
(12.11)
(12.11)
Ф1М ••• фрМ
Проблема обращения матрицы типа (ФТФ) изучена достаточно подробно. (См., например, [63], [59].) В качестве алгоритма обращения матрицы может быть использован любой из рекомендованных там алгоритмов.
Таким образом, единственная проблема, которая возникает при реализации рассмотренной схемы, — определить, какую систему функций (12.7) использовать.
Восстанавливать функцию будем в классе полиномов, т. е. положим, что фр(х) есть полином степени р — 1:
р
ч>р W = s Р^"1-
S =1
С принципиальной точки зрения безразлично, как заданы полиномы фр(х) (лишь бы коэффициенты при старших степенях были отличны от нуля). Поэтому часто считают, что фДх^х^1. С вычислительной же точки зрения удобно выбирать систему ортонормальных на точках обучающей последовательности х^ ..., х^ функций
Фр (%), т. е. таких, для которых
iv / х / \ / *• если я-
/если p^q.
Для такой системы функций матрица (ФТФ) единичная и вектор параметров аэ вычисляется без использования операции обращения матрицы
аэ = ФтУ.
Итак, определен алгоритм 12-1 восстановления одномерных функциональных зависимостей в классе полиномов.
В главе IX было установлено, что приближение к искомой функции в классе полиномов можно гарантировать лишь в интегральном смысле, в то время как в классе кусочно-полиномиальных зависимостей можно добиться не только интегрального приближения, но и равномерного приближения на всем отрезке определения функции. Оказывается (это будет показано в следующем параграфе), что в вычислительном отношении задача построения приближения функции в классе кусочно-полиномиальных зависимостей немногим сложнее приближения в классе полиномов.
Фундаментальные сплайны
Пусть отрезок [а, 6], на котором ведется восстановление зависимости, разбит на N +1 частей
[«о. «1)> [«ь «а)\ан.
Рассмотрим следующий класс функций: на каждом из ^ + l подынтервалов функция совпадает с полиномом степени т (разными на разных подынтервалах) и непрерывна на всем интервале вместе со своими т — 1 производными.
Такой класс функций назовем классом сплайнов степени т, сопряженных в N точках аь ..., aN.
В дальнейшем будем считать, что т = 3, а точки а1? ... .aN, задающие подынтервалы, получены в результате разбиения отрезка [а, 6] на N +1 равных частей. Обозначим класс таких сплайнов Vn(x, ос)..
Проблема состоит в том, чтобы найти функцию N^ (х, аэ) из Vw (%, а), минимизирующую эмпирический риск
(“) = у 2 ^ - V$N ^ а))2-(12-12)
1 = 1
Строить сплайны удобно, введя в рассмотрение систему фундаментальных сплайнов. Для кубических сплайнов с N сопряжениями на сетке (сц аъ ..., aN, а№1 = Ь) вводятся ^ + 4 фундаментальных сплайна
И1М> р2(л;), р3(х), ..., р^М- (12.13)
Фундаментальные сплайны (12.13) однозначно определяются условиями
Hi (Я/) = °, Hi(flo) = l, ^i(^+i) = 0 (f = l, 2, ..., М + 1), ^2(^)=°> ^(ао) = О, Нз(^w+i) = 1 (i=l, 2,М+1).
Hr (^fc) " ^£, r-3> Hr (^) = Hr (^АГ+1) == 0
(r = 3, ..., M+4; 6 = 0, 1, ..., M + l),tz0 = tz, aN+1 = b.
В определении фундаментальных сплайнов 6/; означает символ Кронекера
^ Г 1, если I = /,lj ( 0, если i Ф j.
Поскольку любой сплайн Vn (я, а) полностью определяется N + 2 значениями в узлах at (i = 0, 1, ..., M + l) и значениями первой производной на концах отрезка, то имеет место равенство
Vfo (х, а) = 5 vn (a/t а) ц/+3 (х) + /=о
+ [У^(х, a^^^ + tV^,^, а)]бЦ2(х).
Именно таким представлением мы будем пользоваться дальше при восстановлении регрессии в классе сплайнов Vn (я, а). Ниже мы найдем конкретные выражения для системы фундаментальных сплайнов ^ (%), р2 (%), р3 (%), ... ..., ^+4(х), и с помощью этой системы представим класс сплайнов степени 3 с N сопряжениями в параметрическом
виде
^4-4
УЦх, а) = j] «^(х).
Тем самым мы сведем задачу отыскания сплайна, минимизирующего эмпирический риск (12.11), к определению параметров а, минимизирующих функционал
I /^ + 4х2
Ма) = Т 2 И' “ 2 ^
е. приведем решение задачи к тем же схемам линейной алгебры (12.10), к которым приводилась задача восстановления регрессии в классе полиномов.
Итак построим систему кубических фундаментальных сплайнов на равномерной сетке с шагом Д: tzz+1 —б?/ = Д.
Пусть т^, mt — значения второй производной сплайна Vn^x, а) в узлах az+1 и аь Так как вторая производная полинома третьей степени — линейная функция, то для х е \аь Ф+1] справедливо
[^(х, а)Г = тт^ + т,^±1р£,
где
mU1 = lV3N (х, a)K/+1, т^ХУ^^ a)]^.
Проинтегрировав дважды эту функцию с учетом условия непрерывности сплайна на концах отрезка \аь ^+i], получим, что кубический сплайн на отрезке [tzz, ^/+1] описывается формулой
Vn (х, a) = ^ [mz (я/+1 - хУЧт^ (х - 6zz)3 +
+ (6 Vn <аь а) — A2mz) (aui — %) +
+ (6^(<2Z+1, а)-Д2т/+1)(%-^)].
Ha всем отрезке [«, b^ полученная функция непрерывна, но ее первая производная может претерпевать разрывы в узлах сопряжений.
Чтобы избежать этого, выберем величины т из условия непрерывности производной сплайна на всем отрезке [a, by Приравняв односторонние производные сплайна
в точках а/+1, получим уравнения
^W («Л-1, ^-VNkah “)А^W («Л-1, ^-VNkah “)А[VH*> a)Kw-o= у т/Ч-утн! +
^W («Л-1, ^-VNkah “)
А
^W («Л-1, ^-VNkah “)
А
АААА—2 ^+13 ^/+2—2 ^+13 ^/+2, VWlVb ^-^N^ «) _
АА
АА
—2 ^+13 ^/+2
—2 ^+13 ^/+2
= [Ш*. а)Км+о.
Таким образом, для определения N -V^ значений т; получено N линейных уравнений. Еще два уравнения дают краевые условия
IV n <А d^Ya^Vm [VH-*, aXYb — Vb,
откуда получаем
lN, a
В матричной записиВ матричной записисистема имеет видсистема имеет вид
В матричной записи
В матричной записи
система имеет вид
система имеет вид
гдегде2 12 1оо
где
где
2 1
2 1
о
о
_1
2
2
di = J (V3W (аг+2> а) + V8n (ah а) - 2^ (а;+1, а)),
4 = 2N.
,6 /17, ^МрАГ+ь а)-'/м(йМа)\
W+2 = Д р 6Д •
Для построения фундаментальных сплайнов ^(х), ... ..., ц^+4 (%) удобно представить вектор ^ = (Дъ ..., dN^y как произведение вектора определяющих значений Vt = = ([^ («о» а)У, V^ <а^ а),..,, Vn (aN+b а), [ Vn (aN +ь а)]')т на матрицу о®, которая имеет вид
з_ 6 з
А2 А2 А2
666
А2А2 А
Определяющими значениями фундаментальных сплайнов являются векторы V*, у которых N + 3 координаты равны нулю, а значение одной координаты —единице. Положение единицы в векторе определяется номером фундаментального сплайна. При надлежащем упорядочении фундаментальных сплайнов матрица определяющих значений оказывается единичной. Ниже указано такое упорядочение:
^1 Из^1 Из1о1оо1о1^+4 Ц2Оооо^+4 Ц2Оооо0 о0 оо оо о1 о о 11 о о 1
^1 Из
^1 Из
1
о
1
о
о
1
о
1
^+4 Ц2
Оо
оо
^+4 Ц2
Оо
оо
0 о
0 о
о о
о о
1 о о 1
1 о о 1
Матрица ^ значений вторых ментальных сплайновМатрица ^ значений вторых ментальных сплайновпроизводных ^ + 4 фунда-производных ^ + 4 фунда-
Матрица ^ значений вторых ментальных сплайнов
Матрица ^ значений вторых ментальных сплайнов
производных ^ + 4 фунда-
производных ^ + 4 фунда-
О^ =
||m7V+2,l mN^ W+4
определяется как решение матричного уравнения
Зная матрицу ^И. легко вычислить значения фундаментальных сплайнов. Они вычисляются по формулам: для
*е[а(, ам]
(«z+1-х)3 , _(х-а^
Hl W — тп6ДГ ^<+1,1од
т х~а1 A _ at+t-x л
„ (v\ — m '"/л-^ I „kx-a^
H2 Vv ^Л N-VX 6Д T ^/+1, TV+4 од
_ m X-ai A — m-V A
"^/+1, vV+4 g^Z, W+4 g
Н/ (x) — m^ y_2£дr ^z+i, /-2 —g5Г
Im ^2 \ ai+i x \m A2\ x ai
-г— m/y-2—aг (O/+li y-3 — miHi z_2g-1 —д—.
Матрицу Q^ можно вычислить аналитически:
Для этого достаточно найти матрицу ^’”1.
Обозначим через Dn определитель порядка п:
2 10о
Dn = det
о ° 4 2
Раскладывая этот определитель по алгебраическим дополнениям элементов последнего столбца, получим рекуррентную формулу для вычисления определителя
Dn — 20^-!^Dn_^ D1 — 2, Do—1.
Вычислим теперь элементы Ci} матрицы 87"1, используя алгебраические дополнения матрицы ^, выраженные
14 В. Н. Вапник.
с помощью определителей Dn. Получаем:
С‘!У-*D
(l<i^/^V + 2).
(12.14)(12.14)ii^-JD
(12.14)
(12.14)
c-x j-w^1^^
'^ Dna2
Cn + Ч, i—N^y-i
(l^/<V + 2).
Схему применимости формул I — IV удобно представить графически (рис. 22).
Итак, для того чтобы найти систему кубических фундаментальных сплайнов с N сопряжениями, надо:
вычислить величины
Рис. 22.Рис. 22.по формулам I — IV получить матрицу 87"1 размерности (V + 2)x(V + 2);
Рис. 22.
Рис. 22.
вычислить матрицу (размерности (N + 2) х (V + 4)), умножив матрицу 6 1 на о® (матрица о® имеет размерность (V + 2)x x(V + 4));
по формулам (12.14) получить фундаментальные сплайны.
Для того чтобы сохранить
единство обозначений, используем для системы фундаментальных
сплайнов те же обозначения, что
и для системы полиномов, т. е. будем считать, что
Pi (х) = фг(х), .... ^44(х) = Ф^4(х).
В этих обозначениях задача отыскания кубического сплайна, минимизирующего эмпирический риск (12.12), записывается в виде (12.9). А ее решение — определение век-
тора а коэффициентов разложения искомой функции по системе фундаментальных сплайнов, определяется формулой (12.10). Таким образом, после того как фундаментальная система сплайнов построена, вычисление сплайна, минимизирующего эмпирический риск, проводится точно по той же схеме, по которой определяются коэффициенты линейной (по параметрам а) регрессии.
Алгоритмы восстановления функциив классе сплайнов
Рассмотрим теперь алгоритм 12-2 упорядоченной минимизации риска в классе сплайнов. Для этого зададим следующую структуру на множестве кусочно-полиномиальных зависимостей. К классу S4 отнесем константы, к S2— все полиномы степени единица, к S3 — полиномы степени два, к четвертому классу S4 отнесем полиномы степени три (назовем их кубическими сплайнами с нулем сопряжений).
Начиная с пятого класса, рассматриваются кусочнополиномиальные функции. В пятый класс S5 попадают сплайны с одним сопряжением, в S6 —с двумя и т. д.
Емкость множества функций, образованного сплайнами с г сопряжениями, равна Н = г + 4.
Таким образом, проблема состоит в том, чтобы выбрать элемент структуры Sr+4, для которого достигается минимум по а и г функционала
(12.15)(12.15)
(12.15)
(12.15)
Особенность задачи восстановления регрессии в классе кусочно-полиномиальных зависимостей заключается в том, что каждый раз при переходе к классу сплайнов с большим числом сопряжений используется своя фундаментальная система (а не добавляется еще одна функция, как это было при восстановлении регрессии в классе полиномов).
Строго говоря, это приводит к тому, что элемент структуры Sp+1 не содержит Sp. Однако последнее обстоя- гельство не является здесь принципиальным.
При восстановлении нехарактеристической функциональной зависимости целесообразно провести селекцию обучающей последовательности, т. е. исключить такое количество векторов / = 0, 1, 2, ..., чтобы функционал
достиг наиболее глубокого минимума. Функция, на которой (12.16) достигает минимума, принимается за решение задачи минимизации среднего риска (^(/) означает, что суммируется лишь I — t членов).
Отыскание точного минимума функционала (12.16) требует большого перебора вариантов. Поэтому рационально здесь применить метод последовательного уменьшения функционала. Сначала найти вектор, исключение которого из обучающей последовательности минимизирует функционал для /=1. Если эта величина окажется меньше минимальной величины функционала (12.16) при / = 0 (для всей обучающей выборки), то соответствующий вектор исключается и делается попытка аналогично исключить еще один вектор, т. е. минимизировать (12.16) при /=2.
Если же никакое исключение одного вектора не приводит к уменьшению функционала, то исключение векторов прекращается
Алгоритмы решения некорректных задачинтерпретации измерений
At^=F^At^=F^В этом параграфе мы рассмотрим алгоритмы решения некорректных задач интерпретации результатов косвенных экспериментов для случая, когда операторное уравнение
At^=F^
At^=F^
есть интегральное уравнение Фредгольма I рода
ь
(12.18)(12.18)^K(t, х) f (f) dt = F (х). а
(12.18)
(12.18)
Пусть заданы измерения функции F (х) в I точках хр
Уъ . • •; хь уь
Согласно теории, решением уравнения (12.18) является функция f(0, доставляющая минимум функционалу
/ ь \2
x)f(t)dt\ P(y\x)dydx. (12.19)
Будем минимизировать средний риск (12.19) методом упорядоченной минимизации в классе кубических сплайнов.
Для этого найдем функцию УЦ1, аэ), минимизирующую функционал в классе кубических сплайнов с г сопряжениями
Построим алгоритм 12-3 минимизации функционала (12.20) как некоторую модификацию алгоритмов 12-2. Для этого введем обозначения
ь
(12.21)(12.21)§ К (t, Xt) |Лр (0 dt = фр (х\ а
(12.21)
(12.21)
Так как, согласно § 3, Р = 1
то в обозначениях (12.21) минимизация функционала (12.20) сводится к минимизации функционала (12.15). Минимум по ос и г функционала может быть найден по схеме алгоритма 12-2. Пусть минимум достигается при г*, аэ. Тогда решением интегрального уравнения
объявляется функция г*+ 4
р = 1
При интерпретации результатов косвенных экспериментов целесообразно проводить селекцию измерений. Селекция измерений также проводится по схеме алгоритма 12-2, т. е. сводится к минимизации функционала (12.16) и выбору в качестве решения прообраза функции, доставляющей минимум этому функционалу.
Алгоритмы восстановления многомернойрегрессии в классе линейных функций
Рассмотрим алгоритм 12-4 восстановления многомерной линейной регрессии.
Пусть требуется в классе функций
F(x, ₽) = 2 PiV; (х) = ртср (х)(ф(х)==(ф1(х), ...
Фл(х))т), (12.22) восстановить регрессию. Пусть
U ...Лп(12.23)
— система собственных векторов матрицы (ФТФ) (матрицы (12.11)), ранжированная в порядке убывания собственных чисел. Представим (12.22) в виде
F(x, а)= £ ар^ф (х) = £ аРХР(х), (12.24) р = 1р = 1
где
хР W = ?рф (А
Зададим на классе функций F (х, а) структуру
S^.-.czzS^,(12.25)
где Sp содержит лишь те функции, которые разложимы по первым р членам ряда х). Тогда наилучшим элементом
!) Заметим, что такое задание структуры является априорным лишь в постановке восстановления значений функции, где матрица Ф образована по всем 1-\-к векторам полной выборки. Тем не менее $ИЬ1 используем здесь структуру (12.25).
структуры будет тот, на котором достигается минимум функционала
Реализация этого алгоритма та же, что и 12-2.
При построении линейной регрессии часто оказывается целесообразным проведение селекции обучающей последовательности. Необходимо исключить такие t элементов (/ — О, 1, 2, ..., s), чтобы минимизировать по а, р функционал
где /э (а) — функционал эмпирического риска, построенный на обучающей выборке, из которой исключены соответствующие элементы.
Минимизацию функционала (12.26), так же как и раньше в аналогичных случаях, следует проводить с помощью эвристической процедуры последовательной минимизации. Перебором следует найти такую обучающую последовательность, состоящую из /—1 элементов, для которой оценка (12.26) (при /=1) минимальна. Если полученная оценка для /=1 меньше, чем при / = 0, то соответствующий вектор удаляется из обучающей последовательности и делается попытка удалить еще один вектор и т. д. Удаляется такое множество векторов, при котором оценка (12.26) достигает минимума.
Выше при построении линейной регрессии структура (12.25) была задана в соответствии с порядком следования членов ряда (12.23). Однако часто порядок (12.23) определяется не в соответствии с величинами собственных чисел, а устанавливается в ходе построения регрессии. Рассмотрим такой пошаговый алгоритм построения регрессии. Сначала выбирается один фактор (функция %i М)>
с помощью которого достигается наилучшее приближение к эмпирическим данным. Для определения такого фактора п раз (и—число факторов) решается задача построения регрессии по одному фактору и выбирается тот, для которого величина эмпирического риска минимальна.
Этот фактор фиксируется, а затем перебором по оставшимся п — 1 факторам подбирается второй фактор такой, чтобы построенная на этих двух факторах линейная функция доставляла наименьшую величину эмпирическому риску. Найденный второй фактор фиксируется и подбирается третий и т. д.
При такой схеме упорядочения по факторам в качестве окончательного решения выбирается функция, доставляющая минимум по а и р функционалу
R(a, р) =
Алгоритмы восстановления значенийпроизвольной функции в классе линейныхпо параметрам функций
Алгоритмы 12-5 и 12-6 восстановления по выборке
^ Уь *ь yt
значений функции в заданных точках
^/+1» • • • > х1+к
в классе линейных функций основаны на двух различных идеях задания структуры.
В алгоритме 12-5 на множестве F (х, а) задается та же самая структура, что и в алгоритме 12-4:
Si a Sr cz... cz Sn,
элемент Sp содержит функции, разложимые по р первым членам ряда (12.23). Однако, в отличие от алгоритма 12-4, здесь матрица Ф составлена по всем / + ^ элементам обучающей и рабочей выборок. (Поэтому задание структуры здесь является априорным.)
Проблема состоит в том, чтобы выбрать элемент структуры Sp, а в нем функцию F (х, а), минимизирующие оценку
/?(а, р) =/?(а, р) =i + l + k х*
/?(а, р) =
/?(а, р) =
1 к
ОООО1-\-к Х*
ОО
ОО
где х* — наименьшее решение неравенства
1+кР1+кР+- 1) + 1пГл б(х)^1пт].+- 1) + 1пГл б(х)^1пт].
1+кР
1+кР
+- 1) + 1пГл б(х)^1пт].
+- 1) + 1пГл б(х)^1пт].
Реализация алгоритма 12-5 проводится по той же схеме, которая была рассмотрена в предыдущем параграфе.
Здесь целесообразно провести селекцию полной выборки с тем, чтобы добиться меньшей оценки суммарного риска. Селекция также проводится методом последовательного уменьшения оценки.
Пусть исключено t точек выборки (/и — из обучающей и ки — из рабочей, 1и + к„ = 1). Тогда:
Строится упорядоченная система собственных векторов матрицы ФТФ (элементы матрицы ФТФ построены по выборке, из которой исключено t элементов). По построенной упорядоченной системе функций задается структура на классе линейных функций.
По этой структуре отыскивается такой элемент Sp, а в нем такая функция, что достигается минимум выражения
R (“, р) =R (“, р) =1 + х*1 + х*/-/и1Д-к —t/-/и1Д-к —t1 — и*1 — и*к— киl + k—tк— киl + k—tи («),и («),(12.27)(12.27)
R (“, р) =
R (“, р) =
1 + х*
1 + х*
/-/и
1Д-к —t
/-/и
1Д-к —t
1 — и*
1 — и*
к— ки
l + k—t
к— ки
l + k—t
и («),
и («),
(12.27)
(12.27)
где х*-наименьшее решение неравенства
p^lnL+L--+ 1^ + 1пГ,_;и.6_ки(х)4-1пС;+^1пТ].
Перебором по числу исключенных точек отыскивается решение, которое минимизирует функционал (12.27).
Алгоритм 12-6 основан на идее упорядочения классов эквивалентности линейных функций. Согласно теории все множество линейных функций делится на конечное число классов эквивалентности, одинаково упорядочивающих
полную выборку хь ..., хцк (§ 9 гл. X). Каждый класс эквивалентности характеризуется числом [р2/О2]. Зададим на множестве линейных функций структуру
SJ? d...dSn,
где к элементу Sp относятся все те классы эквивалентности, для которых
[6]550- р=п’ р^2-
Для множества Sp этой структуры емкость равна р.
Таким образом, возникает необходимость найти такой элемент Sp структуры и такую в нем функцию, для которых оценка суммарного риска (12.27) минимальна. Решение этой задачи в полном объеме — проблема чрезвычайно трудная. Поэтому здесь мы рассмотрим лишь частное решение.
Пусть
у = D (х) = атх + сс0(12.28)
— линейная функция, минимизирующая эмпирический риск на элементах обучающей выборки.
Предположим, что известна функция
y = L*^ = ^x + ^(12.29)
принадлежащая элементу Sp с минимальным номером р, для которой выполняется условие е^: если для элементов обучающей последовательности хь у^ и Хр yj окажется Ui > У г то выполняется неравенство L* (х^ > L* (ху). (Ниже будет приведен алгоритм построения такой функции.) Функция L* (х) минимизирует первый сомножитель оценки (12.27) при выполнении условия е^, а функция Лэ (х) — второй сомножитель.
Рассмотрим теперь параметрическое (по Ь, с0 и у) семейство линейных функций
//^Цт^+о - ^пнР+с°=стх+с°; (12з°) при у = 1, b = 1, с0 = а0 функция (12.30) совпадаете (12.28), а при у = 0, 6 = 1, со = |3о функция (12.30) совпадает с (12.29).
Найдем среди семейства (12.30) функцию (значение параметров 6, у и с0), которая доставляет минимум оценке (12.27). Поиск такой тройки может быть проведен по следующему алгоритму:
для всякого фиксированного у значение параметров с0 и b определяется из условия минимизации по с0, b эмпирического риска.
Для того чтобы оценить качество полученного решения, необходимо определить величину d = [D2/p2J + 1.
Перенумеруем векторы х полной выборки в порядке возрастания величин
Значение
p^min sup q)T {xl41 —аД(12.31)
i II ф ll = i
вычислим с помощью алгоритма 11-2 (модификация 2).
Вектор ф0, определяющий (12.31), выражается через минимальный по модулю вектор ф0, удовлетворяющий неравенству
фт (xi+1 — xz) 1, i = 1, 2, ..., I + к — 1.
А именно <₽о = “Фо/П Ч’о II-
В качестве диаметра минимальной сферы, содержащей полную выборку, примем диаметр выборки D и найдем величину d. По найденным величинам d и /э вычислим оценку (12.27).
Перебором отыскивается такое у, для которого оценка (12.27) окажется минимальной. С помощью найденной функции вычисляются значения у в точках рабочей выборки.
Итак, для реализации алгоритма 12-6 осталось определить способ построения линейной функции, принадлежащей элементу структуры с наименьшим номером и удовлетворяющей условию е^. Построение такой функции будем проводить, строя оптимальную разделяющую гиперплоскость (см. § 6 гл. XI).
Пусть на полной выборке, состоящей из I элементов обучающей и к элементов рабочей выборки, задан фиксированный порядок следования
Х^, . . . , Xip Xil+ 1, . . . , XilJrk.
Построим минимальный по модулю вектор ф, для которого выполнится неравенство
^(Ч + 1-Ч)^1-(12.32)
Для построения вектора ф используем алгоритм 11-1 (модификация 2). С помощью этого алгоритма удается построить вектор ф, который при условии выполнения (12.32) минимизирует функционал фтф, т. е. определяет направление, которое максимизирует р.
Нам осталось определить такой порядок следования векторов, при котором для элементов обучающей выборки будет выполнено условие: xt предшествует Хр если #/> *>Ур и при этом модуль вектора ф0, удовлетворяющего условию (12.32), достигает минимума. Вектор ф0 и определяет L* (х) (р = ф0).
Точное решение этой задачи может быть получено полным перебором по всем порядкам полной выборки, у которых подвыборка элементов обучающей последовательности упорядочена в соответствии с уменьшением значения у.
При реализации же алгоритма мы используем эвристический метод последовательной минимизации.
Сначала упорядочим элементы обучающей последовательности в соответствии с величинами у и найдем минимальный по модулю вектор ф, удовлетворяющий неравенствам (12.32).
Затем найдем такой элемент х* рабочей выборки и так его расположим в ряду
Хр .xqi X*, xq+1, ..., X/,(12.33)
чтобы минимизировать модуль вектора ф при условии выполнения неравенств
^т (^+1 - xz) 1,грт (х* — хдЧУ^ 1,1рт(Х? —X*)^s 1.
Перенумеруем последовательность (12.33) от 1 до Z + 1.
Найдем еще один элемент рабочей выборки, который при соответствующем расположении в ряду приводит к минимизации нормы вектора -vp, для которого выполнены условия (12.32) и т. д.
Таким образом, будет найден такой порядок расположения векторов х и такой вектор ф, при которых будут выполнены условия (12.32), а модуль ф достигнет малой величины.’
Итак, последовательность действий алгоритма 12-6 следующая:
Отыскивается функция
L* (х) = ртх + р0.
Отыскивается функция
i/ = aTx + a0,минимизирующая эмпирический риск.
Определяется трехпараметрическое семейство функций
(12.34)
в котором находится оптимальное решение по следующему правилу: для каждого фиксированного у определяются величины d — [D2/p2] + 1 и /*.
С помощью величин d и /* определяется оценка суммарного риска (12.27). Перебором по у находится такая функция, для которой оценка риска минимальна. С помощью найденной функции определяются величины у для точек рабочей выборки.
Алгоритм может быть усилен за счет селекции выборки.
§ 8. Алгоритмы восстановления регрессиив классе кусочно-линейных функций
Алгоритмы восстановления кусочно-линейных функций, рассматриваемые в этом параграфе, построены по той же схеме, по которой реализованы алгоритмы построения кусочно-линейных решающих правил (см. § 8 гл. XI).
Определяется таксонная структура обучающей последовательности X/, элемент которой Х/р ..., Х1к задает разделение обучающей выборки на к подмножеств. В соответствии с полученным разбиением выборки на таксоны исходное пространство X делится на к подпространств Гь ..., Г^ по правилу: вектор х относится к области Гр,
если из к чисел
р(х, X/,), .р(х, Х//г)
число р(х, Х^ наименьшее. Величина р(х, Х^ есть расстояние от точки х до множества Х1ь
Для каждой области строится своя линейная функция, минимизирующая эмпирический риск. Таким образом, в соответствии р-му элементу таксонной структуры ставится кусочно-линейная функция.
С помощью алгоритма 12-7 определяется такая кусочнолинейная функция (т. е. такой элемент таксонной структуры Sp множества Xt обучающей последовательности), для которой достигает минимума функционал
Реализуется алгоритм 12-7 по схеме:
С помощью алгоритма таксономии, описанного в § 8 гл. XI, задается таксонная структура множества X обучающей последовательности.
Перебором по элементам таксонной структуры строятся кусочно-линейные функции, состоящие из одного, двух, трех и т. д. кусков плоскостей.
Выбирается такая кусочно-линейная функция, для которой оценка (12.35) минимальная.
Алгоритм 12-7 может быть усилен за счет селекции векторов обучающей последовательности. В этом случае минимизируется функционал
§ 9. Алгоритмы восстановления значенийпроизвольной функции в классекусочно-линейных функций
Идея построения кусочно-линейных функций путем использования таксонной структуры множества X обучающей последовательности являются эвристической. Такая
идея может быть проведена строго лишь для задачи восстановления значений функции в заданных точках. Реализует ее алгоритм 12-8.
На множестве х, состоящем из I элементов обучающей последовательности и из к элементов рабочей выборки, задается таксонная структура. Элемент таксонной структуры Sp определяет разбиение множества векторов ХЯА, состоящего из векторов обучающей и рабочей выборок на р подмножеств Хь ..., Хр.
Для каждого из подмножеств Хг может быть поставлена задача восстановления значений функции в заданных точках в классе линейных функций. Обозначим через 1Г число векторов обучающей последовательности, принадлежащих Хг, а через кг — число элементов рабочей выборки, принадлежащих Хг.
Тогда, используя алгоритмы § 7, для каждого множества Хг в классе линейных функций восстановим значения функции в кг точках рабочей выборки (в тех точках, которые принадлежат Хг) по 1Г эмпирическим данным (также из Хг\
При этом воспользуемся следующей оценкой величины суммарного риска:
1+ lr4kr Х*1+ lr4kr Х*к М-^к М-^
1+ lr4kr Х*
1+ lr4kr Х*
к М-^
к М-^
где х* — наименьшее решение неравенства
dr (in+ 1) + In Г/, kr (x) <In T),
F^x, аэ) —функция, минимизирующая на обучающей последовательности из Хг величину эмпирического риска. Величина суммарного риска по всем подмножествам равна р '=4 2 Г — 1
Минимизацией по элементам Sp таксонной структуры найдем наилучшее решение.
Наконец, рассмотрим локальный алгоритм 12-9 восстановления значений функции в заданных точках. Этот
алгоритм с точностью до реализации метода минимизации суммарного риска в классе линейных функций повторяет локальный алгоритм распознавания образов 11-8.
Так же как и в алгоритме 11-8, для каждого элемента полной выборки
*ь ..., хнк
рассматривается система окрестностей (окрестность Х\ вектора Xi состоит из тех векторов, для которых p(xzx)^
Иначе говоря, рассматривается l+k систем вложенных множеств
1)(х^ с (xv xfl)2 о ...cl^, xl+k) q,
(/ + A) (Xa^ cl (xz+Jb xh x,)2 <= ... <= (xn ..., xz+fe) q.
Пусть исследуются окрестности точки хь и пусть X^-t-sx окрестность точки х^
Тогда оценка суммарного риска векторов рабочей выборки, принадлежащих этой окрестности, полученных с помощью линейной функции, минимизирующей эмпирический риск на векторах из Хи оценивается величиной
(12.36)
где х* — наименьшее решение неравенства
d fln-^t*L+ l ^ + lnrZ/, kj (z)s£lnr].
В (12.36) It — число элементов обучающей последовательности, kt — число элементов рабочей выборки с векторами х из Хи
Определим такую окрестность точки хь а вместе с ней и такие значения векторов рабочей выборки, для которых достигается минимум выражения (12.36).
Таким образом, для каждого вектора xz, задающего систему окрестностей, могут быть указаны значения у векторов рабочей выборки, принадлежащих экстремальной окрестности, и получена оценка величины суммарного риска классификации.
Составим табл. 1.
Таблица 1
Окрестности точек
Значения точек
Оценка величины суммарного риска
XIW
XUj
xUk
Х1
—
y^i
...
—
Ут
—
...
...
mm "^2 ^Z+l
Х^к
—
У1^1
У^к
т/+/г = ^2 ^А-к
Прочерк в таблице означает, что соответствующий вектор рабочей выборки не принадлежит экстремальной окрестности, xf, ki — число элементов рабочей выборки, попавших в экстремальную окрестность точки х1е
Обозначим через г/*+ь • ••> У?А-к искомые значения функции в точках хт, .... хм. Поставим в соответствие каждой строке таблицы неравенство и рассмотрим систему
У^ <у1 - Ui? <-nil-
1 (12.37)
В неравенствах (12.37) штрих у суммы означает, что суммирование производится лишь по значениям функции в тех точках х, которые принадлежат экстремальной окрестности.
В тех случаях, когда неравенства (12.37) совместны, существует допустимое множество {У} решений Y = = (yi^ • • •, УикУ- В качестве окончательного ответа выберем такой вектор У*, который находится на наименьшем расстоянии от наиболее далекой точки допустимого множества, т. е. найдем вектор У* такой, который является минимаксным множества {У}
У* = arg min max II у _ у IIу у
Отыскание такого вектора является задачей выпуклого программирования. С помощью соответствующих алгоритмов вектор У может быть найден,
Однако в целях упрощения вычислений мы будем искать минимаксный вектор не множества {У}, а минимаксный вектор более широкого множества {У}'. Так же как и допустимое множество {У}, множество {У}' задано пересечением Z + & цилиндров. Однако вместо цилиндров со сферическими основаниями
ЦЧу* - У^Т = т$
рассмотрим цилиндры с прямоугольными основаниями yt? — Vm^y*^ у* + Vms.
Очевидно, что допустимое множество {У} содержит допустимое множество {У}'. Минимаксная же точка множества {У}' отыскивается по следующему простому правилу: для каждого вектора хм рабочей выборки найдем с помощью 1 + 1-го и последнего столбцов таблицы два числа
at = min ^ _ ут$\ bt = max ^ + у^.
Минимаксный вектор множества {У}' есть вектор с координатами
yt=^, i = W. ...Л+к.
ПОСЛЕСЛОВИЕ
В этой книге задача восстановления зависимостей по эмпирическим данным рассматривалась с позиций приближения функций.
В ней были реализованы две новые идеи:
— задание структуры на классе функций, в котором ведется восстановление и минимизация риска по элементам структуры (метод упорядоченной минимизации риска);
— выделение классов эквивалентности и задание на них структуры (восстановление значений функции в заданных точках).
Было показано, что развитие этих идей приводит к созданию более совершенных методов восстановления, чем традиционные.
Однако все конкретные структуры, рассмотренные в книге, возникли скорее из соображений здравого смысла, чем в результате анализа. Между тем принятое определение структуры удовлетворяет аксиоматике алгебраических структур. Поэтому можно ожидать, что средствами анализа удастся найти структуры более содержательные, чем те, которые использовались.
Исследований в этом направлении нет.
КОММЕНТАРИИ
К главе I
Проблема минимизации среднего риска по эмпирическим данным является одной из основных проблем прикладного анализа. Она изучалась многими авторами: Л. Ле-Камом [95, 96], П. Хубером [87, 90], Я- 3. Цыпкиным [67, 68], В. Н. Вапником [7 — 14], Л. Я- Червоненкисом [11 — 14] и др.
В этой книге рассматривается специальный класс задач минимизации среднего риска — задачи восстановления зависимостей, к которым относятся задачи: обучения распознаванию образов, восстановления регрессии, интерпретации результатов косвенных экспериментов.
Теория распознавания образов появилась в конце 50-х годов. В 60 — 70 годах ей были посвящены монографии М. А. Айзермана, Э. М. Бравермана, Л. И. Розоноэра [2], Я- 3. Цыпкина [66, 67], В. Н. Вапника, А. Я- Червоненкиса [12], Н. Г. Загоруйко [19], В. А. Ковалевского [25], К- Фу [64], Н. Нильсона [43], В. Н. Фомина [62], Ю. И. Журавлева [18] и др.
Проблему восстановления регрессии изучали еще со времен Гаусса. Ей посвящена многочисленная литература и, в частности, такие классические работы, как монографии С. Рао [49], К). В. Линника [34], М. Кендалла, А. Стьюарта [24].
Наконец, проблема интерпретации результатов косвенных экспериментов приводится к решению операторных уравнений, образующих некорректно поставленные задачи.
Теории некорректно поставленных задач в 50-х — 70-х годах было посвящено много работ (см. библиографию в [56] ). Среди этих работ мы отметим монографию А. Н. Тихонова, В. Я- Арсенина [56] и работы В. К. Иванова [20, 21], по материалам которых написано приложение к главе I.
В книге выделен специальный класс стохастических некорректных задач — задача интерпретации [ езультЛов косвенных экспериментов.
К главе II
Применение методов стохастической аппроксимации для решения задач минимизации среднего риска на больших выборках связано с работами Я- 3. Цыпкина [66, 67] и М. А. Айзермана, Э. М. Бравермана, Л. И. Розоноэра [2]. В этих работах наряду с условиями сходимости процедур типа стохастической аппроксимации рассмотрены конкретные применения к задачам распознавания образов и восстановления регрессии. Математические вопросы теории стохастической
аппроксимации рассмотрены в монографии М. Б. Невельсона Р. 3. Хасьминского [42].
При минимизации функционала среднего риска по ограниченному множеству эмпирических данных различаются два направления исследования: классическое направление, основанное на методах параметрической статистики, и направление, основанное на минимизации эмпирического риска.
Методы параметрической статистики были разработаны в 20 — 40-х годах и связаны с именами таких замечательных статистиков как Р. Фишер, К- Пирсон, Г. Крамер. Сейчас методы параметрической статистики являются рабочим инструментом в решении многих задач. Они излагаются во всех руководствах по статистике. См, например, С. Уилкс [58], М. Кендалл, Л. Стьюарт [24].
Вопрос о применимости методов минимизации эмпирического риска для поиска минимума среднего риска начали изучать позже.
В 1954 г. появился результат Л. Ле-Кама [95], согласно которому для определенных классов функций потерь метод минимизации эмпирического риска с ростом объема выборки определяет функцию, минимизирующую средний риск. В этой работе Ле-Кам впервые связал проблему минимизации риска с условиями равномерной сходимости средних к математическим ожиданиям и нашел условия равномерной сходимости для определенных видов функции потерь. В 1968 г. П. Хубер [87] показал, что метод минимизации эмпирического риска применим и для функций потерь более общего вида. Однако как работы Ле-Кама, так и работы Хубера исследуют асимптотические возможности метода.
В 1971 г. в работе В. Н. Вапника, А. Я. Червоненкиса [11] были найдены необходимые и достаточные условия равномерной сходимости частот появления событий к их вероятностям и получены оценки скорости такой сходимости. На базе этих оценок удалось обосновать применимость метода минимизации эмпирического риска для решения задачи обучения распознаванию образов на выборках ограниченного объема. Позже в 1974 г. этот результат был распространен и на задачи восстановления зависимостей более общей природы (В. Н. Вап- ник, А. Я- Червоненкис [13]).
К главе III
Проблеме восстановления плотности вероятностей заданной с точностью до конечного числа параметров посвящены многочисленные работы [49, 34, 24].
Однако оказалось, что до недавнего времени почти все работы в этом направлении сводились к оцениванию неизвестных параметров плотности, а не восстановлению функции плотности. Лишь в 1965 г. Д. Кин [93] получил байесову оценку плотности нормального закона (она приведена в § 7), которая оказалась не принадлежащей классу нормальных. *
В 1969 г. П. Я. Лумельский и П. Н. Сапожников получили наилучшую несмещенную оценку плотности многомерного нормального закона [36]. (Этот результат приведен в § 10.) Наилучшую несмещенную оценку плотности одномерного закона ранее получил А. Н Колмогоров [27].
Что же касается задачи оценивания параметров, то здесь основные результаты получены еще Р. Фишером [82]. Эти результаты и составляют основу методов параметрического анализа.
Проблемы дискриминантного анализа в основном концентрируются вокруг построения линейной дискриминантной функции. Постановка этой задачи впервые была дана Р. Фишером [82], который для ее решения предложил минимизировать функционал, приведенный в § 2. В 1966 г. задача построения линейной дискриминантной функции для нормальных распределений была решена Т. В. Андерсеном и Р. Р. Бахадуром [71].
Другие исследования здесь связаны с попыткой выписать функционал, минимизация которого приводила бы к построению линейной дискриминантной функции не только для нормальных распределений.
Сначала в качестве такого функционала использовался функционал Р. Фишера, а затем рассматривались и другие функционалы. Подробный обзор литературы по дискриминантному анализу приведен в [60].
Случай независимо распределенных дискретных признаков также рассматривался в дискриминантном анализе.
В 1952 г. А. М. Апгтли построил дискриминантный автомат, алгоритм которого, по существу, мало отличается от современных дискриминантных автоматов, построенных в соответствии с гипотезой о независимости дискретных признаков [105].
К главе IV
Идея построения устойчивого в заданном классе плотностей метода оценивания параметра сдвига принадлежит П. Хуберу. В 1967 г. он получил устойчивый метод оценивания параметра сдвига в классе плотностей, заданных смесью [88] (результат Хубера и приведен в § 8).
Затем другими авторами были получены устойчивые методы оценивания параметра сдвига в разных классах функций. В частности, устойчивые методы оценивания были получены в классе плотностей, сосредоточенных в основном на отрезке, классе плотностей с функциями распределения, близкими к нормальным, и т. д. Подробно обзор имеющихся методов устойчивого оценивания дан в работе Б. Т. Поляка и Я* 3. Цыпкина [46]. .
Применение методов устойчивого оценивания параметра сдвига к оцениванию пораметров регрессии также связано с работами Б. Т. Поляка и Я. 3. Цыпкина [46]. На различных модельных примерах они показали преимущество устойчивого метода оценивания параметров регрессии в условиях ограниченного объема выборки.
К главе V
Оценивание параметров является традиционным методом решения задачи восстановления регрессии. Центральное место в теории оценивания параметров регрессии по выборке ограниченного объема занимают исследования метода наименьших квадратов, устанавливающие его экстремальность (теорема о нормальной регрессии, теорема Гаусса—Маркова) .
Эти теоремы устанавливают оптимальность метода наименьших квадратов среди некоторого заданного множества методов. При этом предполагается, что метод наименьших квадратов является наилучшим методом оценивания параметров не только в заданном узком классе методов, но и хорошим вообще (в достаточно широком классе методов) .
В 1956 г. К- Стейн [103] неожиданно привел пример, показывающий, что наилучшая оценка среднего многомерного нормального закона с известной ковариационной матрицей а2 / (о2 —известное число, / —единичная матрица) отлична от вектора реализаций (т. е. не приводится к методу наименьших квадратов) .
В 1961 г. В. Джеймс и К* Стейн [911 нашли метод оценки среднего для многомерного нормального закона с неизвестной величиной о2 ковариационной матрицы о2/ равномерно лучший, чем оценка с помощью реализации. Наконец, в 1970 г. Л. Я- Баранчик [73] построил класс оценок, равномерно лучших оценки с помощью реализации. Этот класс оценок и приведен в книге для получения оценок параметров нормальной регрессии равномерно лучших, чем оценки метода наименьших квадратов. Метод построения оценок параметров регрессии, использующий оценки Джеймса— Стейна — Баранчика, приведенный в § 3, получен с помощью теоремы П. К* Бхаттачария [75] .
Пример, приведенный К. Стейном, показал необоснованность гипотезы о том, что несмещенные методы оценивания всегда содержат «хорошие». (Ведь уже в самой простой ситуации строятся методы оценивания, равномерно лучшие, чем классические.)
Приведенная в главе теория построения наилучшего линейного метода оценивания принадлежит В. Л. Кощееву [31]. Эта теория дает возможность, используя априорную информацию, получить линейные оценки лучшие, чем те, которые следуют из метода наименьших квадратов.
Однако вопрос о том, существует ли метод оценивания параметров регрессии лучший, чем метод наименьших квадратов в случае, когда не используется дополнительная априорная информация, остается открытым и связан с построением метода оценивания среднего равномерно лучшего, чем эмпирическое среднее для случайных векторов, которые являются реализацией не обязательно нормального закона.
Иначе говоря, проблема сводится к получению оценок стейновского типа, инвариантных по отношению к законам плотности вероятностей. Такие оценки возможны. (См., например, работу Дж. Бергера [74].)
К главам VI и VII
Проблема равномерной сходимости частот появления событий к их вероятностям впервые была рассмотрена в работах В. И. Сливенко [85] и Ф. П. Кантелли [92] . В 1933 г. они показали, что имеет место равномерная сходимость эмпирических кривых распределения к функции распределения (равномерная сходимость частот к вероятностям по специальному классу событий). В том же году Л. Н. Колмогоров [94] нашел асимптотическую оценку скорости сходимости, которая цозже была уточнена Н. В- Смирновым [53] .
Обоснование применимости метода минимизации эмпирического риска для решения задач обучения распознавания образов связано с установлением условий равномерной сходимости частот к вероятностям для произвольных классов событий.
В 1971 г. В. Н. Вапник и А. Я- Червоненкис [11] нашли необходимые и достаточные условия равномерной сходимости частот появления событий к их вероятностям для произвольной системы событий и получили оценки скорости такой сходимости.
В этой книге используются лишь достаточные условия. Подробно необходимые и достаточные условия изложены в монографии В. Н. Вап- ника, А. Я* Червоненкиса [12].
Содержание главы VII является прямым обобщением результатов, полученных при оценке скорости равномерного относительного уклонения частот от вероятностей на оценку скорости равномерного относительного уклонения средних от математических ожиданий. Они получены В. Н. Вапником и А. Я- Червоненкисом в 1974 г. [13] .
Оценки скорости сходимости равномерного относительного уклонения, выраженные через е-энтропию множества функции, приводятся здесь впервые.
К главе VIII
Метод упорядоченной минимизации риска был сформулирован для решения задачи обучения распознаванию образов в монографии В. Н. Вапника, А. Я- Червоненкиса [12].
Однако, по существу, при построении алгоритмов минимизации риска к нему обращаются каждый раз, когда метод минимизации эмпирического риска приводит к абсурдным результатам. (Например, при восстановлении полиномиальной регрессии.)
Двухуровневая процедура выбора (элемента структуры и наилучшей функции, принадлежающей данному элементу структуры) содержится во всех эвристических алгоритмах, цель которых получить решение лучшее, чем то, которое следует из стандартной методики минимизации эмпирического риска (см., например, работы И. Ш. Пин- скера [44] и А. Г. Ивахненко [22]).
В этой книге в качестве критерия выбора элемента структуры используются две идеи: оценка процедуры «скользящий контроль» и равномерная оценка величины среднего риска по величинам эмпирического.
Оценка среднего риска следует из теории равномерной сходимости. Что же касается процедуры «скользящий контроль», то, видимо, впервые она была предложена М. Н. Вайнцвайгом в 1968 г. В 1969 г. А. Л. Лунц и В. Л. Браиловский показали несмещенность оценки [37]. В главе VIII дано эквивалентное представление оценки «скользящий контроль» для регрессии, позволяющее существенно сократить объем вычислений.
Селекция обучающей выборки рассмотрена здесь впервые.
К главе IX
Идея применения метода упорядоченной минимизации риска для решения некорректных задач измерений была реализована в 1974 г. в работе В. И. Вапника и А. И. Михальского [8]. Однако и ранее
использовались различные (эвристические) приемы, позволяющие выбрать подходящий вид приближения (см., например, работу Л. А. Вайнштейна [6] и работу Л. П. Грабарь [17]).
В 1975 г. в работе [14] В. Н. Вапник и А Я. Червоненкис уста- ' новили факт сходимости с ростом объема эмпирических данных последовательности решений, получаемых методом упорядоченной минимизации риска к искомому при условии, что решение ищется в виде разложения по специальной системе функции, если же решение искать в виде разложения по полиномам, то такой сходимости может и не быть.
В 1974 г. А И Михальский показал, что для некоторых классов операторных уравнений существует сходимость с ростом объема выборки решений, определяемых с помощью метода упорядоченной минимизации риска, к искомой функции, если решение искать в классе сплайнов. Им же была развита техника построения сплайнов с заданным числом сопряжений, минимизирующих эмпирический риск [38].
Идея восстановления плотности распределения вероятностей, как решение некорректной задачи численного дифференцирования была реализована в работе В. Н. Вапника, А. Р. Стефанюка [10]. В этой же работе было получено обобщение теорем А. Н. Тихонова на стохастический случай, приведенное в приложении к главе IX.
К главе X
Впервые задача восстановления значений функции в заданных точках была рассмотрена в монографии В. Н. Вапника и А. Я. Черво- ненкиса [12] для восстановления значений характеристических функций. В работе В. Н. Вапника, А. М. Стерина [9] были рассмотрены различные структуры на классах эквивалентности характеристических функций.
Методы восстановления значений произвольной функции в заданных точках рассмотрены здесь впервые. Также впервые здесь исследуется селекция полной выборки.
К главам XI —XII
Библиотека программ метода обобщенного портрета была разработана Т. Г. Глазковой и А. А. Журавель. Алгоритмы восстановления значений характеристической функции в заданных точках реализовал и исследовал А. М. Стерин.
Алгоритмы восстановления регрессии были созданы Т. Г. Глаз* кавой, В. А. Коцеевым, А. И. Михальским.
Алгоритмы интерпретации некорректных задач измерений созданы А. И. Михальским.
ЛИТЕРАТУРА
Айвазян С. А., Бежаева 3. И., СтароверовО. В. Классификация многомерных наблюдений. — М.: Статистика, 1974.
Айзерман М. А., Браверман Э. М., РозоноэрЛ. И. Метод потенциальных функций в теории обучения машин. — М.: Наука, 1970.
Алгоритмы обучения распознаванию образов. Сб. под ред. В. Н. Вапника. — М.: Советское радио, 1973.
А л ь б е р г Дж., Нильсон Э., Уолш Дж. Теория сплайнов и ее приложения.—М.: Мир, 1972.
Андерсон Т. Введение в многомерный статистический анализ. — М.: Физматгиз, 1963.
Вайнштейн Л. А. О численном решении интегральных уравнений первого рода с использованием априорных сведений о восстанавливаемой функции.—ДАН СССР, 1972, т. 204, № 6.
ВапникВ. Н. Машины, обучающиеся распознаванию образов. — Алгоритмы обучения распознаванию образов. Сб. под ред. В. Н. Вапника, М.: Советское радио, 1973.
Вапник В. Н,, Михальский А. И. О поиске зависимостей методом упорядоченной минимизации риска.—Автоматика и телемеханика, 1974, № 10.
В а п н и к В. Н., Стерин А. М. Об упорядоченной минимизации суммарного риска в задаче распознавания образов.— Автоматика и телемеханика, 1977, № 10.
Вапник В. Н., Стефанюк А. Р. Непараметрические методы восстановления плотности вероятностей.—Автоматика и телемеханика, 1978, № 8.
И. Вапник В. Н., Червоненкис А. Я. О равномерной сходимости частот появления событий к их вероятностям.—Теория вероятностей и ее применения, 1971, т. XVI, № 2.
ВапникВ. Н., Червоненкис А. Я- Теория распознавания образов. —М.: Наука, 1974.
Вапник В. Н., Червоненкис А. Я- О методе упорядоченной минимизации риска. — Автоматика и телемеханика, 1974, № 8, 9.
Вапник В. Н., Червоненкис А. Я- Об асимптотических свойствах метода упорядоченной минимизации риска.—Автоматика и телемеханика, 1975, № 12.
ВитушкинА. Г, Оценка сложности задачи табулирования. —М.: Физматгиз, 1959.
Гнеденко Б. В. Курс теории вероятностей. —М.: Физматгиз, 1961.
Грабарь Л. П. Применение полиномов Чебышева, ортонорми- рованных на системе равноотстоящих точек для решения интегральных уравнений первого рода,—ДАН СССР, 1967, т. 172, № 4.
Журавлев Ю. И. Математические модели в задачах распознавания и классификации. — М.: Наука, 1978.
ЗагоруйкоН. Г. Методы распознавания и их применения. — М.: Советское радио, 1972.
Иванов В. К. О линейных некорректных задачах. —ДАН СССР, 1962, т. 145, № 2.
Иванов В. К- О некорректно поставленных задачах.— Математический сборник, 1963, т. 61, № 2.
Ивахненко А. Г., Зайченко Ю. П., Дмитров В. Д. Принятие решений на основе самоорганизации. — М.: Советское радио, 1976.
Каган А. М., Шалаевский О. В. Допустимость оценок наименьших квадратов —исключительное свойство нормального закона.—Математические заметки, 1969, т. 6, № 1.
Кендалл М.,Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973.
Ковалевский В. А. Методы оптимальных решений в распознавании изображений. — М.: Наука, 1976.
Колмогоров А. Н. Несмещенные оценки.—Изв. АН СССР, сер. математическая, 1950, № 4.
Колмогоров А. Н., Тихомиров В. М. 8-энтропия и е-емкость в функциональных пространствах.—Успехи математических наук, 1959, № 2.
Колмогоров А. Н., Фомин С. В. Элементы теории функции и функционального анализа.—М.: Физматгиз, 1961.
Корбут А. А., Финкельштейн Ю. Ю. Дискретное программирование.—М.: Наука, 1969.
Коровкин П. П. Линейные операторы и теории приближений. — М.: Физматгиз, 1959.
Кощеев В. А. Метод учета априорной информации в линейном оценивании параметров. — Статистические методы теории управления. М.: Наука, 1978.
Лаврентьев М. М О некоторых некорректных задачах математической физики.—Изд-во СО АН СССР, 1962.
Ле-Кам Л. О некоторых асимптотических свойствах оценок максимума правдоподобия.—Математика, 1960, № 1.
Л и н н и к Ю. В. Метод наименьших квадратов. — М.: Физматгиз, 1962.
Л и н н и к Ю. В. Статистические задачи с мешающими параметрами. — М.: Наука, 1966.
Лумельский П. Я-, Сапожников П. Н. Несмещенные методы для плотностей распределений.—Теория вероятностей и ее применения, 1969, № 2.
Л у н ц А. Л., Браиловский В. Л. Об оценке признаков, полученных в статистических процедурах распознавания.—Изв. АН СССР, сер. Техническая кибернетика, 1969, № 3.
Михальский А И. Метод осредненных сплайнов в задаче приближения зависимостей по эмпирическим данным. — Автоматика и телемеханика, 1974, № 3.
Морозов В. А. О принципе невязки при решении несовместных уравнений методом регуляризации А. Н. Тихонова.—Журн. выч. мат. и мат- физ., 1973, т. 13, № 5.
Морозов В. А. О вычислении нижних граней функционалов по приближенной информации.—Журн. выч. мат. и мат. физ., 1973, т. 13, № 4.
НадараяЭ. А. О непараметрических оценках плотности вероятностей и регрессии.—Теория вероятностей и ее применения, 1965, № 1.
Невельсон М. Б., ХасьминскийР. 3. Стохастическая аппроксимация и рекуррентное оценивание. — М.: Наука, 1972.
Нильсон Н. Обучающиеся машины. — М.: Мир, 1967.
П и н с к е р И. Ш. Выбор структуры и вычисление параметров решающего правила при ограниченной выборке.—сб. Моделирование и автоматический анализ электрокардиограмм, М.: Наука, 1973.
Поляк Б. Т., Ц ы п к и н Я. 3. Псевдоградиентные алгоритмы адаптации и обучения.—Автоматика и телемеханика, 1973, № 3.
П о л я к Б. Т., Цыпкин Я- 3. Помехоустойчивая идентификация.—Труды IV симпозиума ИФАК по идентификации, часть I. —Тбилиси: Мецниереба, 1976.
Пугачев В. С. Статистическая теория обучающихся автоматических систем.—Техническая кибернетика, 1967, № 6.
Пугачев В. С. Статистические проблемы теории распознавания образов.—Труды III Всесоюзного совещания по автомат! - ческому управлению, М.: Наука, 1967.
Рао С. Р. Линейные статистические методы и их применения. — М.: Наука, 1968.
РастригинЛ. А., Эренштейн Р. X. Принятие решений коллективом решающих правил в задачах распознавания образов.—Автоматика и телемеханика, 1975, № 9.
Ра уди с Ш. Ю. Ограниченность выбора в задачах классификации.—Статистические проблемы управления, вып. 18, Вильнюс: Институт физики и математики АН Лит. ССР, 1977.
Рыжик И. М., Градштейн И. С. Таблицы интегралов, сумм, рядов и произведений.—М.: Гостехиздат, 1956.
Смирнов Н. В. Теория вероятностей и математическая статистика (Избранные труды).—М.: Наука, 1970.
Тихонова. Н. О решении некорректно поставленных задач. — ДАН СССР, 1963, т. 151, № 3.
Тихонов А. Н. О регуляризации некорректно поставленных задач.—ДАН СССР, 1963, т. 153, № 1.
Тихонов А. Н., Арсенин В. Я. Методы решения некор] ектных задач.—М.: Наука, 1974.
Турчин В. Ф., К о з л о в В. Н., М а л к е в и ч М. С. Использование методов математической статистики для решения некорректных задач. — Успехи физических наук, 1970, т. 102, № 3.
У и л к с С. Математическая статистика. —М.: Наука, 1967.
Уилкинсон Дж., Алгебраическая проблема собственных значений. — М.: Наука, 1970.
У р б а х В. Ю. Дискриминантный анализ: основные идеи и приложения.—сб. Статистические методы классификации, вып. 1, Изд-во МГУ, 1969.
Феллер В. Введение в теорию вероятностей и ее приложения.— М.: Мир, 1964.
Фомин В. Н. Математическая теория обучаемых опознающие систем. — Изд-во ЛГУ, 1976.
Форсайт Дж., Моллер К. Численное решение систем линей ных алгебраических уравнений. —М.: Мир, 1968.
Ф у К. Последовательные методы в распознавании образов и обучении машин. — М.: Наука, 1971.
Хедли Дж. Нелинейное и динамическое программирование.— М.: Мир, 1967.
Цыпкин Я- 3. Адаптация и обучение в автоматических системах.—М.: Наука, 1968.
Цыпкин Я- 3. Основы теории обучающихся систем. — М.: Наука, 1970.
Ченцов Н. Н. Оценка неизвестной плотности по наблюдениям.-ДАН СССР, 1962, т. 147, № 1.
Якубович В. А. Некоторые общие теоретические принципы построения обучаемых опознающих систем.—сб. Вычислительная техника и вопросы программирования, Изд-во ЛГУ, 1965.
Якубович В. А. Рекуррентные конечно-сходящиеся алгоритмы решения системы неравенств.—ДАН СССР, 1966, т. 166, № 6.
Anderson Т. W., Bahadur R. R. Classification into two multivariate normal distributions with different covariance metri- ces.— The Annals of Mathematical Statistics, June, v. 133, No. 2, 1966.
Andrews H. Introduction to mathematical techniques in pattern recognition. — Wiley, N. Y., 1972.
Baranchik A. J. A Family of minimax estimators of the mean of a multivariate normal distribution. — The Annals of Mathematical Statistics, v. 41, No. 2, 1970.
Berger J. O. Minimax estimation of location vectors of a wide class of densities.—The Annals of Statistics, v. 3, No. 6, 1975.
Bhattacharya P. K. Estimating the mean of a multivariate normal population with general quadratic loss function.—The Annals of Mathematical Statistics, v. 37, No. 18, 1966.
С а с о u 1 1 о s T. Estimation of a multivariate density. — Inst. Stat. Math. Tokyo v. 18, No. 2, 1966.
Chen С. H. Statistical pattern recognition. — Hayden, N. Y., 1973.
D e v г о у e L. P., Wagner T. J. A distribution-free performance bound in error estimation. — IEEE Transaction on Information Theory, v. IT-22, No. 5, 1976.
Dvoretsky A. On stochastic approximation.— Proceedings of the III Berkeley Symposium on Mathematical Statistics and Probability, v. 1, 1956.
Dancel J. W. The conjugate gradient method for linear and nonlinear operator equation.—SIAM Numbr. Anal, v. 4, No. 1, 1967.
Fix I. R., Hodges J. L. Discriminatory analysis; nonparametric discrimination: consistensy properties. — Report 4 of the USAF School of Aviation Medicine, Raudolph Field, Texas, 1952.
F i s h е г R. A. Contributions to Mathematical Statistics. —N. Y., 1952.
Fraser D. A. S. Nonparametric Method in Statistics. — Wiley, N. Y., 1957.
Fukunaga K. Introduction to statistical pattern recognition. — Academic, N. Y., 1972.
G 1 i v e n к о V. I. Sulla determinatione empirics di probabilits.— Giornale dell’ Institute Italiano degli Attuari, 4, 1933.
HostenesM. R., Stiefel E. Method of conjugate gradient’s for solving linear systems. —J. Res. Mat, Bur. Standards, 49, No. 6, 1952.
H u b e r P. The behaviour of maximum likelyhood estimates under nonstandard condition.— Proc. Fifth Berkley Symp. on Math Statistics, Prob., v. 1, 1967.
Huber P. Robust estimation of the a location parameter.— The Annals of Mathematical Statistics, v. 35, No. 1, 1964.
Huber P. Robust statistics: a review.— The Annals of Mathematical Statistics, v. 43, No. 4, 1972.
H u b e r P. Robust regression: asymptotics, conjectures and Monte Carlo. —The Annals Statistics, v. 1, No. 5, 1973.
James W., Stein C. Estimation with quadratic loss.— Proc. Fourth Berkeley Symposium on Math. Statist. Prob, v. 1 Univ, of California Press, 1961.
К a n t e 11 у F. P. Sulla determinazione empirica della leggi di probabilita. —Giornale dell’ Institute Italiano degli Attuari, 1933.
К e e h n D. G. Note on learning for Gaussian properties. — IEEE. Transaction on Information Theory, v. — IT-11, No. 1, 1965.
Kolmogoroff A. N. Sulla determinatione empirica di una legge di distributione. —Giornale dell’ Institute Italiano degli Attuari, N. 4, 1933.
Le К am L. On some asymptotic properties of maximum likehood estimates and related Bayes’ estimates.—Calif. Public. Statist, v. 11, 1953.
L e К a m L. On asymptotic theory of estimation and testing hypotheses.— Proc. Ill Berkeley Symposium on Math. Statist, and Probabilyty, v. 1, 1956.
Lawler E. L., Waod D. E. Branch-and-bound method.—A survey. Oper. Res. v. 14, No. 4, 1966.
Meisel W. S. Computer-oriented approaches to pattern recognition.—Academic, N. Y., 1972.
P arsen E. On the estimation of a probability function and mode.—The Annals of Mathematical Statistics, v. 33, No. 3, 1962.
Reiss R. D. Consistensy of certain class of empirical densiti finction. — Metrika, v. 22, No.4,1975.
Saks J., Y 1 v i s a к e r D. A note on Hubers Robust estimation of a location parameter.—The Annals of Mathematical Statistics, v. 43, No. 4, 1972.
Sclove S. L. Improved estimators for coefficient in Linear Regression. — Journal of the American Statistical Association, v. 63, No. 322, June, 1968.
Stein С. Inadmissibility of usual estimator for mean of a multivariate normal distribution —Proc. Third Berkeley Symp. Math. Stat. Prob. v. 1, Univ. California Press, 1956.
Wald A. Note on consistency of the most likehood estimate. — The Annals of Mathematicil Statistics, № 20, 1949.
U 111 e у A. M. A theory of the mechanism of learning on the computation of conditional probabilities.—Proc. 1 st., Congress Int. Cybernetics, Namur, 1956.
Владимир Наумович ВапникВОССТАНОВЛЕНИЕ ЗАВИСИМОСТЕЙПО ЭМПИРИЧЕСКИМ ДАННЫМ
М., 1979 г., 448 стр. с илл.
Редактор В. А. КощеевТехн, редактор И. Ш. АксельродКорректоры О. А, Сигал, М. Л. Медведе кая
ИВ № 2250
Сдано в набор 07.07.78. Подписано к печати 02.02.79. Т-05314. Бумага 84 X 1О8’/в2, тип. № 1. Литературная гарнитура. Высокая печать. Условн. печ. л. 23,52. Уч.-изд. л. 23,14. Тираж 5500 экз. Заказ № 68.
Цена книги 1 р. 70 к.
Издательство «Наука»
Главная редакцияфизико-математической литературы117071, Москва, В-71, Ленинский проспект, 15
Отпечатано в ордена Трудового Красного Знамени Ленинградской типографии № 2 имени Евгении Соколовой «Союзполиграфпрома» при Государственном комитете СССР по делам издательств, полиграфии и книжной торговли. 198052, Ленинград, Л-52, Измайловский проспект, 29 с матриц ордена Октябрьской Революции, ордена Трудового Красного Знамени Ленинградского производственнотехнического объединения «Печатный Двор» имени А. М. Горького «Союзполиграфпрома» при Государственном комитете СССР по делам издательств, полиграфии и книжной торговли. 197136, Ленинград, П-136, Гатчинская, 26.
1 = 1, 2, ... , /г,
и параметров плотности нормального закона
1 / С / Pb © Ро ©\ V П рЧу V р ^’
Заметим, что при PY^ = P0(^) справедливо
Из (4.41) и (4.42) следует, что минимум (4.39) достигается тогда, когда Рг^ = Ро(^\ т. е. оптимальные стратегии природы и статистика реализуются на одной и той же плотности. Для того чтобы ее найти, необходимо в классе {Р(£)} максимизировать выражение (4.42) или, что то же самое, найти в классе {Р(|)} такую плотность, которая минимизирует функционал
/ф (P)=/J(-^)2P(^.
Заметим, что функционал /ф (Р) есть информационное
количество Фишера (см. § 11 гл. III).
В §§ 7, 8 для различных классов плотностей мы найдем плотности распределения вероятностей, минимизирующие информационное количество Фишера, и тем самым получим устойчивые (в этих классах) оценки параметра сдвига, а пока распространим полученный здесь результат на случай оценивания параметров регрессии.
М.(5.
если 1=р’
где s —либо inf а, либо sup о в зависимости от знака выражения
п
В. Н. ВАПНИК
ВОССТАНОВЛЕНИЕЗАВИСИМОСТЕЙПО ЭМПИРИЧЕСКИМДАННЫМ
МОСКВА «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
1979
82.81
В 17
УДК 62-52
Восстановление зависимостей по эмпирическим данным. В а п - ник В. Н. Главная редакция физико-математической литературы издательства «Наука», М., 1979, 448 стр.
Монография посвящена проблеме восстановления зависимостей по эмпирическим данным. В ней исследуется метод минимизации риска на выборках ограниченного объема, согласно которому при восстановлении функциональной зависимости следует выбирать такую функцию, которая удовлетворяет определенному компромиссу между величиной, характеризующей ее «сложность», и величиной, характеризующей степень ее приближения к совокупности эмпирических данных.
Рассмотрено применение этого метода к трем основным задачам восстановления зависимостей: задаче обучения распознаванию образов, восстановления регрессии, интерпретации результатов косвенных экспериментов. Показано, что учет ограниченности объема эмпирических данных позволяет решать задачи распознавания образов при большой размерности пространства признаков, восстанавливать регрессионные зависимости при отсутствии модели восстанавливаемой функции, получать устойчивые решения некорректных задач интерпретации результатов косвенных экспериментов. Приведены соответствующие алгоритмы восстановления зависимостей.
Илл. 22, табл. 5, библ. 105,
30501 ^109.79. 1502000000 053(02)-7930501 ^109.79. 1502000000 053(02)-79© Главная редакция физико-математической литературы
30501 ^109.79. 1502000000 053(02)-79
30501 ^109.79. 1502000000 053(02)-79
издательства «Наука», 1979