Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Предисловие ко второму изданию
Опыт первого издания книги показал, что среди физиков, инженеров и вообще — среди всех исследователей и конструкторов, имеющих дело с разработкой и созданием измерительной аппаратуры, с практикой измерений, их анализом и интерпретацией, наблюдается устойчивый интерес к теории измерительно-вычислительных систем (ИВС).
Одним из нетривиальных следствий этой теории является тот факт, что для достижения максимальной точности интерпретации) измерений требования к измерительной аппаратуре (ИА) оказываются существенно разными в зависимости от того, как она будет функционировать — как таковая, или в составе ИВС как ее измерительная компонента (ИК). Дело в том, что в первом случае максимальную точность интерпретации должна обеспечивать ИА, а во-втором — ИВС, рассматриваемая как средство измерений того же назначения. В то время как предельная точность интерпретации измерений, выполняемых на ИА, в конечном счете определяется физическими законами (термодинамическими, дифракционными, квантовыми и т.д.), а в каждый данный момент — и уровнем технологий, определяющим, насколько близка достигнутая точность к предельной, точность интерпретации измерений, выполняемых на ИВС, определяется), во- первых, математическими свойствами модели ИК, описывающей и взаимодействие ИК с измеряемым объектом, и, во-вторых, «качеством» алгоритма преобразования выходных данных ИК к виду, определяемому целью измерений, — алгоритма, реализуемого вычислительной компонентой (ВК) ИВС. Для каждой данной математической модели ИК этот алгоритм должен обеспечивать максимальное качество ИВС как средства измерений в априори заданном классе алгоритмов), реализуемых ВК. Следовательно, в то время как качество ИА определяется хорошо известными физическими процессами, лежащими в основе ее функционирования, при конструировании ИК,
критерий качества которой определяется точностью интерпретации измерений на ИВ С, решающую роль играют математические характеристики ее модели и оптимальный для нее алгоритм функционирования ВК, обеспечивающий максимальную в своем классе точность интерпретации измерений на ИВ С.
Этот критерий, как правило, не определяет наивысшее качество ИК как средства измерений того же назначения, что и ИВ С, а в ряде случаев оказывается, что изменение характеристик ИК, улучшающее ее точность как средства измерений), ухудшает точность соответствующей ИВС как средства измерений того же назначения. Один из характерных примеров, иллюстрирующих это важное свойство ИВС, приведен во Введении.
Важным следствием в этой связи является тот факт, что широко распространенные методы «обработки» результатов измерений типа наименьших квадратов и их регуляризованных вариантов [3], максимальной энтропии [10] и т. п., не могут служить основой алгоритмов, реализуемых В К ИВС, поскольку не гарантируют максимальной точности ИВС как средства измерений, и тем самым не могут реализовать ее предельные возможности и не позволяют определить параметры ИК, при которых эти возможности достигаются, см. гл. 10 настоящей монографии и [5].
Например, при измерении сигнала / Е Кт , выполненного по схеме £ = Af + z/, в которой £ Е Rn — выходной сигнал ИК, модель которой определена оператором А Е (Кт —> R^ погрешностью v и двумя множествами: Т С Rm и ЛГ С Rn, априори содержащими / и соответственно и. простейший вариант метода наименьших квадратов предписывает определять измеренное значение / как /о из условия 11 £ — Л/о 11 = min {11 £ — Л /111 / Е J^ не имеющего прямого отношения к точности) определения /о как оценки измеренного значения / Е Т. Согласно методу редукции [5] измерения £, выполненного на приборе А Е У^т ~> Rm) 1 к виду, свойственному измерению на (идеальном) приборе U Е ^Rm ^Н взаимодействующем с измеряемым объектом так же как) Л, его выходной сигнал U f оценивается согласно условию минимума погрешности интерпретации R^A как оценки значения Uf:
/Д)=8ир{||М-ГЛ|| /е^, Уе^( = л/ + У} =
= min sup{||.R£ - Uf\\\ f e У, V еЯ, E = Af + vy (*)
Минимаксный алгоритм вычисления оператора Ro определяющего выходной сигнал Ro^ ИВ С как наиболее точную в смысле (*) версию выходного сигнала Uf прибора Uреализуется ВК ИВС. В данном случае Rq^ — центр шара минимального радиуса р(£), содержащего множество UR Q {Uf, / Е Rm^ Af Е Л'} возможных значений Uf.
Если в равенстве £ = Af + v f — выходной сигнал идеального прибора, а оператор А моделирует искажения, свойственные реальному измерительному прибору, то в (*) U = I, и метод редукции можно непосредственно сравнить с упомянутым выше методом наименьших квадратов.
Метод редукции измерений является основой теории ИВС как средств измерений, рассматриваемой в этой книге.
Другим важным следствием теории ИВС является новый принцип измерений, согласно которому при измерениях на ИВС характеристики измеряемого объекта, взаимодействующего с ИК, могут быть существенно искажены по сравнению с их значениями, свойственными объекту в его естественном состоянии, не возмущенном измерением и интересующим исследователя. При этом на выходе ИВС будут получены максимально точные характеристики исследуемого объекта в его естественном состоянии. Именно требование максимальной точности, как правило, приводит к тому, что при измерении взаимодействие между измеряемым объектом и ИК должно быть достаточно сильным, в то время как в практике измерений получил распространение принцип, согласно которому при измерении объект должен быть как можно меньше возмущен. Значение нового принципа измерений на ИВС проиллюстрировано на примерах измерительно-вычислительных преобразователей в гл. 10.
Наконец, важнейшим следствием теории ИВС является признание того, что выходные данные ИВС, содержащие наиболее точную версию характеристик объекта исследования и оценку сопутствующей погрешности, недостаточны для того, чтобы охарактеризовать ИВС как средство измерений. Поскольку математические модели, используемые для редукции измерения, непременно содержат неточности, обусловленные приближенным описанием реальных процессов, на выходе ИВС должны быть как данные, характеризующие непротиворечивость модели измерений, описывающей ИК и ее взаимодейсти- вие с объектом, так и данные, характеризующие состоятельность результата интерпретации измерения, т.е. характеризующие отношение полученных значений характеристик исследуемого объекта и оценки погрешности к их действительным значениям.
В теории ИВС даны некоторые методы определения этих характеристик адекватности модели измерений и модели интерпретации измерений, именуемых соответственно надежностью модели измерений и надежностью интерпретации измерений.
Следует заметить, что прекрасное согласие модели измерения с результатом измерения и соответственно ее высокая надежность, вообще говоря, не гарантируют адекватности интерпретации измерения,
то есть — близости найденных характеристик исследуемого объекта и оценки погрешности их реальным значениям, и, что быть может более примечательно, даже при очень плохом согласии модели с результатом измерения и соответственно низкой ее надежности, результаты интерпретации измерений (при фактически неверной модели!) могут иметь высокую надежность и действительно не отличаться от тех, которые были бы получены при точной модели.
Что касается предлагаемого вниманию читателей второго издания, то оно несколько переработано в целом и в нем исправлены все замеченные неточности и многочисленные опечатки, за которые автор приносит извинения. Кроме этого существенно переработана глава 7, в которую добавлены новые методы редукции, в частности, — методы линейного программирования и интервальной математики, позволяющие при интерпретации измерений адекватно учитывать априорную и дополнительную информацию, типичную для экспериментальных исследований. Эффективность этих методов продемонстрирована и на примере решения задачи восстановления функции по данным измерений с ошибками ее значений и соответствующих значений ее аргумента. В главу 8 добавлены результаты, характеризующие эффективные ранги новых нелинейных моделей, рассмотренных в главе 7. Наконец, переработана глава 10, посвященная применению теории ИВС для анализа предельных возможностей и оптимального синтеза измерительно-вычислительных преобразователей.
В заключение мне приятно выразить искреннюю признательность О. В. Фаломкиной, взявшей на себя труд подготовки второго издания книги, и помогавшим ей О. В. Мондрус, Д. М. Новицкому и И. И. Фаломкину.
Введение
Коренные изменения технологии научных исследований, вызванные широким использованием компьютеров, хорошо известны. Математическое и компьютерное моделирование физических процессов и явлений — один из основных элементов новой технологии научных исследований, позволившей получить впечатляющие результаты при изучении плазмы, диссипативных структур, хаоса, солитонов и других сложных нелинейных объектов [1] — в настоящее время имеет прочные позиции не только в научных исследованиях, но и в учебном процессе [2]. Исследователи широко используют вычислительный эксперимент, дающий возможность радикально повышать эффективность как натурного эксперимента путем снижения материальных и временных затрат на его планирование и выполнение, так и теоретических исследований, позволяя корректировать направления исследований, помогая выполнять аналитические преобразования и т. п.
В самом начале процесса компьютеризации научных исследований обнаружились серьезные математические проблемы, связанные с некорректными и, в частности, — с так называемыми обратными задачами, возникающими при интерпретации измерений. В отличие от «прямого» вычислительного эксперимента, моделирующего физические процессы, происходящие в натурном эксперименте при тех или иных «начальных» условиях, в обратной задаче эти «начальные» условия требуется оценить по данным измерений характеристик моделируемого процесса, получаемым в натурном эксперименте. Такие задачи обычно оказываются некорректными, т.е. неустойчивыми к возмущениям данных или даже неразрешимыми в классическом смысле [3].
Эти трудности были преодолены к началу 80-х годов [3]. Разработанные математические методы решения некорректных задач существенно повысили роль компьютерных методов анализа и интерпретации эксперимента.
Компьютеризация полностью изменила облик измерительных приборов, наделив их широкими возможностями автоматизации и математической обработки измерений, памятью и гибкими системами отображения результатов интерпретации измерений. Вместе с тем, обратное влияние компьютерных методов на принципы физических измерений и на характеристики измерительных приборов до сих пор удивительно мало, хотя хорошо известно, что хороший измеритель-
ный прибор как таковой и хороший с учетом компьютерной интерпретации измерения должны удовлетворять различным, а в некоторых случаях — диаметрально противоположным условиям [4,5].
Для того чтобы ответить на вопросы, как, собственно, следует измерять и какими характеристиками должен обладать измерительный прибор, чтобы после компьютерной «обработки» результата измерения можно было получить наиболее точную его интерпретацию, необходимо рассматривать измерительно-вычислительную систему как единый измерительный прибор. О математической теории измерительно-вычислительных систем, позволяющей ответить на эти и многие другие принципиальные вопросы, в частности, — о математических методах анализа «качества» моделей и проверки их адекватности, о «качестве» измерений и их оптимальной интерпретации, адекватности интерпретации и т.п. пойдет речь в этой книге.
Измерительно-вычислительнаяИзмерительно-вычислительнаяСистема «измеряемый объект-среда- измерительный прибор»Система «измеряемый объект-среда- измерительный прибор»Система «исследуемыйСистема «исследуемыйааИзмерительно-вычислительная система (ИВС) в точном соответствии с ее названием состоит из двух компонент — измерительной и вычислительной(см. рис. 0.1, а).
Измерительно-вычислительная
Измерительно-вычислительная
Система «измеряемый объект-среда- измерительный прибор»
Система «измеряемый объект-среда- измерительный прибор»
Система «исследуемый
Система «исследуемый
а
а
объект-среда»
бв
Рис. 0.1. а) / — входной сигнал измерительной компоненты ИВС, ^ — ее выходной сигнал, Кб, — выходной сигнал ИВС. б) Исследуемый объект в естественном состоянии, в) Идеальный измерительный прибор U взаимодействует с измеряемым объектом и средой так же, как измерительная компонента ИВС, его выходной сигнал Uf — значения параметров исследуемого объекта; НЕ, — наиболее точная версия Uf
Обычно первая является преобразователем специфического для измерения воздействия, — радиационного, теплового, механического или какого-либо другого, — в электрический сигнал. Принципы действия измерительных преобразователей, называемых также датчиками, основаны на известных физических явлениях электромагнитной индукции, термо- и пьезоэлектричества, и многих других, см., например, [6]. Далее в вычислительной компоненте электрический сигнал оцифровывается и подвергается математическому преобразованию, которое призвано, с одной стороны, извлечь из результатов измерения все то, что интересует исследователя, а с другой, — облечь это в форму, удобную как для восприятия, так и для «диалога» исследователя с ИВС.
При измерении в результате взаимодействия измеряемого объекта, среды и измерительной компоненты ИВС на ее входе формируется сигнал /, несущий информацию об измеряемом объекте и среде (см. рис. 0.1, ф. Измерительная компонента преобразует / в (электрический) сигнал
£ = AJ + v, (0.1)
где А — оператор, моделирующий физические процессы, определяющие преобразование внешнего воздействия / в электрический сигнал, v — шум, погрешность преобразования.
Понятно, что на уровне измерительной компоненты все процессы контролируются физическими законами со свойственными им хорошо известными ограничениями и запретами — термодинамическими, дифракционными, квантовыми и т.п. Как известно, например, явление дифракции света ограничивает предельную разрешающую способность микроскопов, телескопов и других оптических приборов, термодинамические шумы, квантовые флуктуации ограничивают предельную чувствительность приемников оптического излучения, используемых в этих приборах. На уровне ИВС все выглядит принципиально по-другому, поскольку вычислительная компонента обычно позволяет, грубо говоря, математически смоделировать и вычислить то, что непосредственно ненаблюдаемо. При этом решающую роль играют как математические свойства физических моделей измеряемого объекта, среды, измерительной компоненты ИВС и их взаимодействия, так и используемые математические методы и алгоритмы решения задач интерпретации измерений, которые в конечном счете и определят предельные возможности ИВС как средства измерений (точность, чувствительность, разрешение и т.д.). По этой причине теория ИВС как средств измерений имеет мало общего с тем, что составляет основы классического приборостроения. В частности, требования к измерительной компоненте, обеспечивающие наивысшее качество ИВС как средства измерений, существенно отличаются от требований, гарантирующих наивысшее качество самой измерительной компоненты как измерительного прибора.
Еще одно принципиальное отличие ИВС как средства измерений от обычного измерительного прибора обусловлено возможностью «ин-
теллектуального диалога» исследователя и ИВ С. На этапах анализа и интерпретации измерений ИВ С позволяет исследователю наиболее полно учесть свой научный опыт, оценить как точность, так и адекватность найденных значений параметров исследуемого объекта или явления, охарактеризовать адекватность математических моделей, используемых при интерпретации измерений.
Можно без преувеличения сказать, что ИВ С образуют принципиально новый класс измерительных средств, позволяющих создавать идеальные измерительные приборы для научных исследований и промышленности .
Концепция ИВС как средства измерений может быть разъяснена на примере системы «измеряемый объект-среда-измерительный прибор-вычислитель», характерной для большинства экспериментальных исследований (см. рис. 0.1, а). Как известно, в процессе измерения объект, измерительный прибор и среда, в которой находятся объект и измерительный прибор, взаимодействуют и оказываются в той или иной степени возмущенными. Поскольку исследователя обычно интересуют значения параметров объекта, свойственные невозмущенной системе «исследуемый объект-среда» (см. рис. 0.1, б) или, иначе говоря,— значения параметров объекта в его естественном состоянии, в практике измерений получил распространение принцип, согласно которому измерительный прибор должен как можно меньше возмущать объект и среду. Концепция ИВС как средства измерений основана на совершенно ином принципе измерений: в процессе измерения объект и среда могут претерпевать существенные возмущения, но на выходе ИВС должны быть максимально точные значения параметров исследуемого объекта, свойственные его естественному состоянию). Поэтому выходной сигнал ИВС следует интерпретировать как максимально точную версию выходного сигнала идеального измерительного прибора, позволяющего исследователю получать информацию о принципиально ненаблюдаемых характеристиках исследуемого объекта (см. рис. 0.1, в). Подчеркнем, что речь идет, во- первых, о таких характеристиках, которые, как правило, не могут быть измерены непосредственно и должны быть вычислены на основе воздействия) объекта и среды на измерительную компоненту ИВС, во-вторых, должны быть вычислены характеристики не измеряемого объекта, искаженные при измерении, а исследуемого, свойственные его естественному состоянию.
Найденные значения параметров исследуемого объекта и оценка погрешности в теории ИВС называются интерпретацией измерения и ошибкой или оценкой ошибки интерпретации, соответственно.
На самом деле концепция ИВС как средства измерений может
быть реализована в двух принципиально различных вариантах. Во- первых, как было сказано, на ИВС можно предельно точно синтезировать выходной сигнал идеального прибора, позволяющего исследователю получать информацию о характеристиках изучаемого объекта. В этом варианте критерием качества ИВС является точность определения параметров объекта в его естественном состоянии. Во-вторых, ИВС можно выполнить как максимально точную версию самого идеального прибора при заданных ограничениях, например, на уровень шума [4, 5]. В этом случае критерий качества ИВС как средства измерения, по существу, совпадает с принятым в приборостроении, с тем лишь отличием, что оптимизируется точность синтеза прибора на ИВС, а не точность изготовления прибора как такового, «в железе».
Теория ИВС включает новое понятие качества измерительной компоненты, обеспечивающей наивысшее качество ИВС как средства измерений, существенно отличающееся от традиционного. Дело в том, что для наиболее качественных измерений измерительный прибор как таковой и как измерительная компонента ИВС должны обладать значительно различающимися характеристиками. Например, плохой в обычном понимании измерительный прибор (низкое разрешение, высокий уровень шума и т.д.) как измерительная компонента ИВС может обеспечить параметры ИВС как измерительного прибора того же (или другого) назначения, существенно более высокие, чем при прочих равных условиях обеспечивает хороший (в том же смысле) измерительный прибор, используемый как измерительная компонента ИВС. Короче говоря, вопрос о том, какими физическими характеристиками должен обладать измерительный прибор, решается существенно по-разному в зависимости от того, как будет использоваться прибор — как измерительная компонента ИВС, или — как таковой.
Рисунки 0.2 и 0.3 иллюстрируют сказанное на примере зависимости качества ИВС как оптического телескопа сверхвысокого разрешения от качества многоапертурного оптического телескопа, используемого как измерительная компонента этой ИВС [104]. Третий и четвертый слева столбцы изображений на рис. 0.2 иллюстрируют зависимости разрешающей способности телескопа, используемого в качестве измерительной компоненты ИВС, и соответствующего телескопа, синтезированного на ИВС, от конфигураций зеркал измерительной компоненты, представленных в первом столбце. Нетрудно заметить, что в то время как при фиксированном уровне шума v на выходе измерительной компоненты разрешающая способность измерительной компоненты (как оптического телескопа) с увеличением числа зеркал падает, разрешающая способность ИВС, как телескопа того же назначения, растет. Такая же зависимость наблюдается и для каждого конкретного телескопа — трех-, пяти- или семиапертурного: с увеличением расстояния зеркал от оптической оси телескопа разрешающая способность измерительной компоненты падает, а ИВС — растет (см. рис. 0.3, б). Понятно, что оба вывода будут справедливы и в тех случаях, когда с увеличением числа зеркал или (и) с увеличением расстояний от зеркал до оптической оси телескопа будет несколько
Рис. 0.2. В первом слева столбце изображены конфигурации зеркал оптического телескопа, образующего измерительную компоненту ИВ С, — одно, три, пять и семь зеркал диаметром 2.6, 1.5, 1.16 и 0.98 метров соответственно; суммарные площади трех, пяти и семи зеркал равны между собой и равны площади одного зеркала; расстояния центров трех, пяти и семи зеркал от оптической оси телескопа равны 14 м. Во втором и сооответ- ственно в третьем столбцах приведены полученные при этих конфигурациях зеркал изображения ^ (0.1) точечного источника белого света /(•) = = д(-) и объекта, идеальное изображение U/(•) которого дано на рис. 0.3, а. В четвертом столбце приведены изображения R*^-) (см. (0.6),(0.7)), полученные на выходе соответствующей ИВ С, на которой при отношении «сигнал»/«шум» = ||/||/(Е Н^Н2)1/2 = Ю-5 синтезирован выходной сигнал Uf^) «идеального» телескопа, показанный на рис. 0.3, а
увеличиваться и уровень шума на выходе измерительной компоненты. А это означает, например, что как телескоп сверхвысокого разрешения ИВ С с семиапертурной измерительной компонентой будет иметь более высокое качество, чем ИВ С с одноапертурной измерительной компонентой, хотя у последней разрешающая способность заметно выше, а уровень шума (несколько) ниже, чем у семиапертурной!
Рис. 0.3. о) Изображение Uf^) объекта, полученное на «идеальном» телескопе U. б) Графики зависимостей с.к. погрешностей Е ||К*^ — U f\\2 (см. (0.6), (0.7)) синтеза выходного сигнала идеального телескопа на ИВС от расстояния между центрами зеркал и оптической осью телескопа, см. рис 0.2. Цифры около графиков (1,3,5,7) отмечают количество зеркал телескопа, образующего измерительную компоненту ИВС. Точкой 14 м. выделены конфигурации зеркал измерительной компоненты ИВС, для которых результаты синтеза выходного сигнала Uf^) идеального телескопа приведены на рис. 0.2. б) Изображения на выходе семиапертурного телескопа при расстояниях между зеркалами и оптической осью телескопа 4 м, 8 м и 14 м. г) Изображения на выходе соответствующей ИВС
Теория ИВС позволяет решать задачи оптимального синтеза измерительной компоненты, специально предназначенной для работы в составе ИВС и обеспечивающей наивысшее качество ИВС как средства измерений [5], см. также §3,4 гл. 10.
Разумеется, для построения ИВС необходима математическая модель системы «измеряемый объект-среда-измерительный прибор», отражающая свойства объекта, среды и прибора с учетом их взаимодействия. Эта модель, называемая в теории ИВС моделью измерения, позволяет связать сформированный в этой системе сигнал / как с текущими значениями параметров измеряемого объекта, так и с выходным сигналом £ измерительной компоненты ИВС. Кроме этого, необходима математическая модель, связывающая входной сигнал / измерительной компоненты ИВС со значениями параметров иссле-
дуемого объекта, свойственными его естественному состоянию. Эта модель называется моделью интерпретации измерения. Теория ИВ С позволяет, используя эти модели и выходной сигнал £ измерительной компоненты ИВ С, «вычислить» с помощью ее вычислительной компоненты наиболее точную версию характеристик ненаблюдаемой системы «исследуемый объект-среда» и оценить сопутствующую погрешность, см. §5 гл. 10.
Иначе можно сказать, что вычислительная компонента ИВ С решает задачу редукции измерения £ = £(/) (0.1) к значению и = Uf параметров исследуемого объекта в системе «исследуемый объект- среда» и оценивает погрешность редукции.
В этой книге под методами редукции измерений понимается математический формализм, позволяющий по результатам измерений в системе «измеряемый объект-среда-измерительный прибор» получать наиболее точное описание ненаблюдаемой системы «исследуемый объект-среда».
В качестве иллюстрации рассмотрим схематически проблему дистанционных исследований Земли [7,8]. Запишем в виде равенства (0.1) схему измерения электромагнитного излучения атмосферы и покидающего поверхность Земли, несущего информацию о Земле и ее атмосфере. В дистанционных исследованиях «исследуемым объектом» чаще всего является поверхность Земли, параметрами которой, в зависимости от целей исследований, могут быть, например, такие физические характеристики, как влажность, температура, отражательная способность и т.п. В этом случае «средой» является атмосфера, но атмосфера нередко также является «исследуемым объектом», когда изучаются ее газовые составляющие, такие как озон, окиси азота и углерода, ее аэрозольные компоненты, — на предмет определения их общего содержания, пространственного распределения и т.д. В этих случаях / описывает электромагнитную радиацию, поступающую в приемник от измеряемого объекта и среды, оператор А задает математическую модель приемника излучения. Приемник переизлучает падающую на него радиацию, возмущая поле излучения в окружающем пространстве, особенно если он находится в атмосфере, а если приемник находится близко от «измеряемой» поверхности, то искажается и покидающее ее излучение.
Более детально эти процессы можно описать следующим образом (см. рис. 0.4). Обозначим1) е (/) поток фотонов оптического излучения Солнца на верхней границе атмосферы (у приемника), ^31 №1) ~ оператор, определяющий распространение фотонов, которые, взаимодействуя с атмосферой, достигают приемника (поверхности Земли), не взаимодействовав до этого с приемником (с поверхностью Земли), 722 №з) — оператор, определяющий распространение фотонов, покидающих поверхность Земли (приемник) и возвращаю-
х) е в каждой точке границы атмосферы характеризует интенсивность, направление распространения, длину волны, поляризацию и прочие характеристики излучения, см, например, [103].
Рис. 0.4. Процессы распространения солнечной радиации в атмосфере Земли и ее взаимодействия с поверхностью Земли и приемником
щихся обратно, Т32 (I23) ~ оператор, определяющий распространение тех же фотонов, но достигнувших приемника (поверхности Земли), S2 (S3) — оператор, описывающий взаимодействие фотонов с поверхностью Земли (с приемником): рассеяние, поглощение и т.п. В этих терминах сигнал /, поступающий на приемник, определяется равенством
/ = Тфе + ZggSgZgie + Тзз5зТзз5зТз1е + . . . +
+ T^S^T^e + Т32S2T22S2T2ie + ... + ..
где символом ... выделены слагаемые, описывающие обмен фотонами, покидающими приемник, попадающими на Землю, затем опять попадающими на приемник и т.д. При наблюдении с самолета или спутника этими процессами можно пренебречь, поэтому
/ = £(Тзз5з)пТ31е + T32S2 £(T22S2)”T21e + ...« п=0п=0
«(I- TssS^T^e + T32S2(J - T2252)"1T2ie, (0.2)
а на выходе приемника сигнал формируется согласно равенству (0.1).
Модель измерения в данном случае определяется схемой (0.1), в которой считаются заданными оператор (прибор) А и свойства шума v. и равенством (0.2), связывающим / с оптическими параметрами системы «измеряемый объект-среда-прибор».
Такие измерительные системы, регистрирующие электромагнит-
ное излучение в различных участках спектра, применяются при дистанционных исследованиях окружающей среды для определения температуры и цвета океана, вертикального распределения вещества в атмосфере, спектральной коррекции спутниковых измерений [9].
Согласно равенствам (0.2) и (0.1), определяющим соответственно входной и иыходной сигналы приемника излучения, слагаемое g = = (I — Тзз5з)-17з1е в (0.2) описывает атмосферную дымку и не несет информации о состоянии поверхности Земли. В (0.1) слагаемое AT32S2(I — М^ТАе будем интерпретировать как изображение фрагмента поверхности Земли. Здесь Тфе — солнечная радиация, достигшая поверхности Земли,
7=S2(/-T22S2)"1T21e (0.3)
радиация, сформированная процессами переотражения от поверхности Земли и рассеяния в атмосфере. Оператор Z32, как было сказано, описывает процесс распространения излучения к приемнику сквозь атмосферу, поэтому выражение
( = Af + v = Ag + AT^f + v (0.4) определяет «космическое», а
Uf = Af (0.5)
«приземное» изображения одного и того же фрагмента поверхности Земли. Последнее, в отличие от первого, не искажено дымкой и процессами рассеяния и поглощения в атмосфере, сопровождающими распространение излучения к приемнику.
Одна из задач интерпретации «космического» изображения £ известна как задача коррекции спектральных и геометрических искажений, свойственных процессу переноса излучения / сквозь атмосферу [9]. Речь идет о задаче редукции изображения £ (0.4) к виду, свойственному регистрации с помощью идеального прибора U, определенного равенством (0.5). В данном случае равенства (0.2), (0.3) и (0.5) определяют модель интерпретации измерения (0.4). Равенство (0.5) определяет линейный ограниченный оператор U. Поскольку из / = 0 в (0.2) следует е = 0, то оператор
S = (/ - ТззЗзГЩх + Т^1 - T^S^T^
обратим. Поэтому
Uf = Af = AS^I - Т^Г^В-^.
Операторы А и U определяются как составные части моделей систем «измеряемый объект-среда-измерительный прибор» и «исследуемый объект-среда». В то время как модель системы «измеряемый объект-среда-измерительный прибор» призвана описывать процессы, свойственные реальным измерениям, модель системы «исследуемый объект-среда» должна описывать процессы, которые интересуют
исследователя, но недоступны для непосредственного наблюдения и должны быть «смоделированы и вычислены ИВ С».
Редукцией измерения £, выполненного на приборе А, к виду, свойственному измерению на приборе U (к выходному сигналу U f прибора U), называется такое преобразование £ -4 R^, при котором R*^ является (в известном смысле) наиболее точной (на заданном классе преобразований R) версией выходного сигнала U f прибора U.
В общих чертах дело обстоит следующим образом: пусть известны математические модели систем «измеряемый объект-среда- измерительный прибор» и «исследуемый объект-среда». В частности, пусть известны операторы А и U, шум v в (0.1) — случайный элемент, Ет/ = 0. Если сигнал / — априори произволен, Rf — выходной сигнал ИВС, то качество ИВС как идеального прибора U охарактеризуем величиной максимального значения среднеквадратичной (с.к.) погрешности интерпретации Rf как U/:
ЖГ)=8ир{Е||/?£-С/||2}. (0.6)
Здесь ||Rf — Uf||2 — квадрат расстояния между Rf и Uf, Е ||Rf — U f\\ — его среднее значение. Оператор редукции R* определим как решение следующей задачи на минимум
h(R^U) ~mmh(R,Uf (0.7)
согласно которой на выходе ИВС будет синтезирован сигнал R^, максимальное (по f) с.к. уклонение которого от выходного сигнала Uf идеального прибора U минимально.
Подчеркнем, что задача редукции измерения (0.1), (0.7) является задачей наилучшего приближения сигнала Uf значениями Rf, ее решение R* обеспечивает наивысшую (в заданном классе преобразований) точность интерпретации R*^ как значения параметров исследуемого объекта. Тот факт, что при фиксированном классе преобразований R в (0.7) максимальная точность интерпретации определяется только математическими свойствами модели измерения и модели интерпретации измерения, позволяет ставить и решать задачи оптимального проектирования измерительной компоненты ИВС, обеспечивающей наиболее точный синтез выходного сигнала идеального прибора1) U (см. [5]), и для каждой конкретной измерительной компоненты ИВС — вычислять предельную точность синтеза выходного сигнала U, определяющую качество ИВС как идеального измерительного сигнала U.
Метод редукции измерений отличается от многих широко распространенных методов «обработки» измерений, таких, например, как методы наименьших квадратов и их регуляризованные варианты [3],
х) На практике обычно одна и та же измерительная компонента ИВС используется для изучения различных объектов, каждому из которых, как правило, соответствует специфический «идеальный» измерительный прибор U.
метод максимальной энтропии [10] и др. [11], в которых решение находится путем минимизации функционалов, не имеющих прямого отношения к погрешности интерпретации измерения. Эти методы не могут служить основой теории ИВ С как средств измерений, поскольку, не гарантируя максимальную точность интерпретации измерения, они, во-первых, не позволяют определить предельные возможности конкретной ИВС как средства измерений и, во-вторых, не позволяют сформулировать требования к ее измерительной компоненте, обеспечивающие наивысшее качество ИВС как этого средства измерений.
Заметим, что при использовании названных методов в конечном счете все равно возникает проблема оценивания погрешности интерпретации, поскольку последняя характеризует ее качество, и, более того, задачу интерпретации измерения нельзя считать решенной, если погрешность интерпретации не оценена. Иначе говоря, если модели измерения и интерпретации измерения позволяют оценить погрешность интерпретации, то для решения задачи интерпретации следует использовать методы, минимизирующие погрешность последней, а в противном случае, когда погрешность интерпретации не допускает оценивания, задачу интерпретации измерения следует считать неразрешимой (см. замечание 2.1 гл. 7).
Поскольку все модели, используемые для редукции измерения, непременно содержат неточности, обусловленные приближенным описанием реальных процессов, теория ИВС как составные части содержит теорию надежности модели измерения и теорию надежности интерпретации измерения. Надежность модели измерения характеризует ее адекватность реальному положению вещей, надежность интерпретации измерения позволяет оценить состоятельность интерпретации измерения, т.е. найденных значений параметров исследуемого объекта и оценки погрешности, и тем самым охарактеризовать риск ошибочного использования обеих моделей для определения с гарантированной точностью параметров исследуемого объекта.
Анализ адекватности математических моделей измерения и интерпретации в теории ИВС называется анализом измерения.
В предлагаемой монографии изложены основы математической теории измерительно-вычислительных систем как средств измерений. Для удобства читателя книга содержит необходимые сведения из теории статистического оценивания и проверки статистических гипотез.
Глава 1 содержит подробное изложение методов оптимального в среднем квадратичном линейного статистического оценивания.
В главе 2 аналогичная техника разработана для анализа эффективной размерности данных измерений. Под эффективной размерностью данных здесь понимается минимальная размерность линейного подпространства как функция погрешности восстановления данных по их ортогональным проекциям на это подпространство. Акцент сделан на не теоретико-вероятностных моделях данных.
В главе 3 рассмотрены элементы общей теории статистического оценивания случайных элементов и параметров их распределений.
В главе 4 методы статистического оценивания рассмотрены сов-
местно с методами проверки статистических гипотез.
Глава 5 посвящена линейным методам редукции (схем) измерений, описываемых теоретико-вероятностными моделями. Эти методы составляют основу теории линейных ИВ С как средств измерений.
В главе 6 линейные методы редукции рассмотрены в ситуациях, когда доступна априорная или (и) дополнительная информация об измеряемом объекте. Здесь же рассмотрены методы уточнения теоретико-вероятностных моделей измерений, в том числе — случайных.
Глава 7 посвящена методам нелинейной редукции для линейных и нелинейных моделей измерений и моделей интерпретации измерений.
В главе 8 изучено понятие эффективного ранга модели измерений и установлена связь между понятиями эффективного ранга и эффективной размерности. Под эффективным рангом стохастической модели здесь понимается максимальная размерность ортогональной составляющей измеряемого сигнала как функция с.к. погрешности ее оценки. Для нелинейных моделей понятие эффективного ранга определяется в зависимости от критерия оптимальности и правила выбора базиса модели.
В главе 9 рассмотрены методы «инструментального» синтеза средств измерений на ИВ С, при которых решается не задача синтеза выходного сигнала прибора, а синтезируется математическая модель измерительного прибора при тех или иных требованиях к его качеству.
В последней десятой главе методы теории ИВ С проиллюстрированы на примере ИВ С, измерительной компонентой которых является измерительный преобразователь, описываемый дифференциальным уравнением первого или второго порядков.
Более полно с содержанием книги читатель может познакомиться по подробному оглавлению.
В заключение мне приятно выразить глубокую признательность моим друзьям, коллегам и ученикам, принимавшим деятельное участие в оформлении книги и при обсуждениях ее содержания. Это, прежде всего, Н.А. Якубовская), превратившая трудно читаемую рукопись в электронный вариант книги, А.Ю., Ю.Н. Пытьевы), И.И. Фаломкин2), Д.М. Новицкий2) и В.В. Шишаков2), выполнившие по моей просьбе многие расчеты для графических иллюстраций, и, наконец, О.В. Жучко, взявшая на себя труд научного редактирования электронного варианта книги и подготовку оригинал-макета.
Глава 1
Элементы теории
линейного статистического оценивания
В этой главе рассмотрены методы линейного статистического оценивания, основанные на теории второго порядка случайных векторов. Теорию второго порядка случайных векторов составляют такие их свойства, которые можно охарактеризовать в терминах математических ожиданий и ковариационных (или корреляционных) операторов. В этих терминах удается полностью исследовать широкий класс линейных задач анализа и интерпретации измерений в ситуациях, когда распределения заданы только двумя моментами. Речь идет о задачах линейного оценивания, анализа погрешностей, корреляционных связей, и т.д. Этим и некоторым близким вопросам посвящена настоящая глава (см. также [89, 90]).
Ковариационный и корреляционный операторы случайного вектора. Базис Карунена—Лоэва
Ковариационный оператор Sv случайного вектора v. принимающего значения в Кп, v Е Кп, определяется равенством
SpX = Е (v — Е v)(x, v — Е v), х ЕКп.(1.1)
Здесь и далее Е — символ математического ожидания, в частности, Е v — математическое ожидание v 1). Равенство
^рХ = Е v(x, v\ х ЕКп,(1.2)
определяет корреляционный оператор Е^ случайного вектора v. Очевидно, У^р- = Sv • +Е v^ Е v), а при Е v = 0 корреляционный и ко-
вариационный операторы v совпадают. В дальнейшем, рассматривая случайный вектор v. будем считать, что вектор Е v и операторы Sv и Yav известны (если не оговорено противное).
Если ci,..., еп — ортонормированный базис евклидова пространства Кп, то матричные элементы Е^
(1-3)(1-3)(ei^pej) = Е (е^г/Хе^О, М = l,...,n,
(1-3)
(1-3)
образуют так называемую корреляционную матрицу случайного вектора v. заданного своими координатами v^ = (e^v), г = 1,...,п. Корреляционную матрицу v можно записать в виде
(
vi \/ vi\ / vi\*/Е vyVy... Evivn
• • • (^i ... z/n) = E I ... j ...=
Vn/Vn/ VW\Evnvi... Evnvn
где звездочка отмечает транспонирование1). Далее, как правило, операторы, векторы и их матрицы в (фиксированном) ортонормирован- ном базисе будут обозначаться одними и теми же символами. Поэтому, например, в равенстве
E^ = E vv
Е^ — корреляционная матрица вектора и. заданного столбцом своих (^i \/ К \/ Е vy \
... ,Ez/ = E ... =...— столбец математиче-
\^п/ \Е
ских ожиданий координат v. (х,у) = tr (ху*) = tr (х*у) — скалярное произведение векторов х и у , заданных столбцами своих координат, а Е^ж = Evtr(xv*) = Evtr(v*x) = Evv*x — матричные формы равенства (1.2). В тех случаях, когда такая неоднозначность обозначений может привести к недоразумению, разница между операторами, векторами и их матрицами будет отмечена. Однако для наших целей корреляционная матрица как характеристика v менее удобна, чем корреляционный оператор, поскольку она зависит от базиса, выбранного в К^ в то время как свойства v как модели сигнала желательно не связывать с базисом.
Отметим прежде всего, что корреляционный оператор определяет
величину Е |Н|2. Действительно, так как |Н|2 = ^ (z/, еД2, то г=1
E||^||2 = E(ebs-ei)=trS^(Е4)
г=1
причем, хотя в выражении для tr Е^ фигурирует некоторый ортонормированный базис Кп, значение tr Е^ остается таким же и в любом другом ортонормированном базисе Кп, поскольку левая часть равенства (1.4) от {еД не зависит. Следовательно, величина Е |ф||2
определяется только диагональными матричными элементами (1.3) корреляционной матрицы v и равна tr Sv + ||Ez/||2, где первое слагаемое равно сумме дисперсий координат и. вычисленных в любом ортонормированном базисе rtn.
Заметим, что каким бы ни было распределение и. в силу неравенства Чебышева для любого 5 > О
Р(И^)^ЕИЩ2=^^(1.5)
Прежде чем выяснить, какую роль играют внедиагональные матричные элементы (1.3), описывающие корреляционные связи между различными координатами и. отметим, что в rtn существует базис, в котором эти связи отсутствуют. Речь идет об ортонормированном базисе {$г}, известном как базис Карунена-Лоэва. Он состоит из ор- тонормированных собственных векторов оператора Hv :
Y^Si = cr^s^ i = !,... ,п.(1.6)
Д, i=j, О, г / з,Д, i=j, О, г / з,В этом базисе
Д, i=j, О, г / з,
Д, i=j, О, г / з,
V = 5? V%^ vi = (l^, Si), Е ViVj = SijCTj = г=1
=(1.7)
и корреляционная матрица ^р диагональна: ^(st^pSj)^ = = diag (ст2 ... ст2). Существование такого базиса гарантируется тем, что ^р — самосопряженный оператор ^x^v^ = ^А^ для любых х.у Е Кп\ поскольку, как известно [5], с любым самосопряженным оператором в Кп при условии dim7^n < ею можно связать орто- нормированный базис Кп, состоящий из его собственных векторов. В данном случае ^Гр является еще и неотрицательным оператором ^^ГрХ^х) = Е ^рлУ ^ 0 для любого х Е Кп\ А это гарантирует, что все его собственные значения неотрицательны, как это подчеркнуто обозначениями, принятыми в (1.6). Равенство
^vx = ^^ ^1 sjх епП1(1.6*)
эквивалентное соотношениям (1.6), называется спектральным разложением ^р . Согласно выражениям (1.4) и (1.6*), выбрав щ = Si,i = = 1,..., п, найдем
ЕИ2=^<7?.(1.4*)
Здесь сг^, г = 1,...,п, выбраны неотрицательными; еУ2 называется неотрицательным квадратным корнем из ЕщЕУ2, очевидно, как и Е^, — самосопряженный неотрицательный оператор. Если оператор Е^ имеет обратный Е”1, то и еУ2 имеет обратный, причем (еУ2)-1 = (E“1)1/2=EZyY^ . В этом случае корреляционный оператор случайного вектора У^^р является единичным оператором. Убедиться в этом можно следующим образом.
Корреляционный оператор Ев^ случайного вектора Bv, где В — линейный оператор, равен ВЕ^В*. Действительно, если В действует из евклидова пространства Вп в евклидово пространство Вт или, короче, если В G (Вп —> Рт), то согласно определению (1.2) для любого вектора ж G Вт
^ВрХ = Е Bv^x, Bv) = BE v(B*x, v) = ВУрВ*х. (1.8)
При этом Ев^ G (Вт —> Bm), а в случае В = E^y1/2 E^-i/2^ = = Ур^^^УрУр1^ = Z, где I — единичный оператор, и использован тот факт, что (Ег71//2)* = (Е*)-1/2 = ЕД1//2, ибо Е* = Е^ — самосопряженный оператор.
Если ст2 = Е (v, s^2 = 0, то (v, s^ = 0 с вероятностью единица, т.е. г -я координата v априори известна точно (и равна нулю), а вектор v с вероятностью единица принадлежит линейному подпространству Вп векторов, ортогональных s^ P^v^Si) = 0) = 1. В этом случае корреляционный оператор Е^ вырожден. Наоборот, если Е^ — вырожденный оператор, то в Вп существует направление, вдоль которого составляющая v равна нулю с вероятностью единица. Согласно равенству (1.7) v Е К^р) с вероятностью единица (см. [5]).
Важное свойство базиса Карунена-Лоэва рассмотрим на примере сигнала / Е Кп, наблюдаемого в аддитивной смеси / + v с шумом v. Упорядочим собственные векторы в равенствах (1.6) так, чтобы
(1-9)
и рассмотрим ортогональную проекцию v на линейное подпространство Ck = £($1,..., Sk), натянутое на векторы si,...,^, к ^ п = = dim Рп, базиса Карунена-Лоэва. Обозначим ее
к
= УМ»!.
Средняя «энергия» этой составляющей и. равная
ЕН^Н^УД,(1.10)
г=1
является характеристикой того, в какой мере лежащая в Ск ортогок
нальная составляющая /w = E(/,saSi сигнала / Е Кп, наблюда- г=1
емого в виде аддитивной смеси / + v с шумом v. искажена шумом v. Образно говоря, можно сказать, что шумом v^ поражено подпространство Ск^ а величина «энергии» (1.10) показывает, в какой мере шум v поражает Ск. Оказывается, что любое другое к -мерное подпространство Пи поражено шумом v не меньше, чем Ск [5]. В этом состоит экстремальное свойство базиса Карунена-Лоэва. Более формально его можно описать следующим образом. Пусть Щ - оператор ортогонального проецирования на некоторое А:-мерное линейное подпространство 7tn. Тогда для любого Щ
Е1ДД2 ^Е||ЩИ|2(1.11)
Базис Карунена-Лоэва позволяет построить цепочку вложенных друг в друга линейных подпространств
£(si) C£(si,s2) С ... сЦзх,. ..,sn) = 71п,
каждое из которых поражено шумом v не больше, чем любое другое подпространство П^ той же размерности. В частности, если
то составляющие f^\ ..., f^ не искажены шумом v. причем к — максимальная размерность ортогональной составляющей /, не искаженной шумом v.
Наилучшее в среднем квадратичном линейное оценивание
Оценивание случайного вектора. Пусть Пп,Пт — евклидовы пространства, v Е ktn, у Е Кт — случайные векторы, известны их математические ожидания Е т/ = 0, Е ц = 0, корреляционные операторы Е^ = Sv Е (Пп -4- 7tn), Y^ = 8Л Е (Пт -4- 7tm) и взаимный корреляционный оператор Е^^, действующий из 7tn в 7tm по формуле
Ynvx = Ец(щх\ х еПп-(2.1)
Так как ((Y^pX^ = Е (v, х^тъ у) = (x,YVT]y), х Е Пп, у Е Пт, то Е*^ = YVT1. Кроме того,
I Щ„ж,у) |2^E(p,z)2E(77,y)2 =
Следовательно, для любого х Е Кп равенство Yvx = 0 влечет равенство Y^pX = 0, что эквивалентно включению
Ж)бЖД(2.2)
гарантирующему разрешимость уравнения
BYV = Y^p(2.3)
относительно оператора В [5]. Для дальнейшего важен факт, состоящий в том, что для любых случайных векторов v Е Пп и у Е Пт
существует оператор В Е (Rz ^ Кт), удовлетворяющий уравнению (2-3).
Рассмотрим задачу, называемую задачей о наилучшем в среднем квадратичном (с.к.) линейном приближении (оценивании).
Пусть случайный вектор v Е Rn наблюдаем, а у Е Вт - нет, и требуется определить линейный оператор В Е (Rn —> Rm) так, чтобы случайный вектор Bv был наиболее точной в среднем квадратичном версией случайного вектора у Е Вт. Речь идет о задаче на минимум
Е\\Bv — nil ~ min .(2.4)
Если В - решение задачи (2.4), то Bv — наилучшее в с.к. линейное приближение у.
Поскольку согласно равенствам (1.4) и (1.8)х)
Е ||S^ - ц||2 = Е (Bv - ц, Bv - ц) = tr (В^рВ* - ^^В* + ^), то необходимое и достаточное условие минимума в (2.4) дается равенством tr ((В^р — ^^5 В*) = 0, где 5В* — произвольный линейный оператор, действующий из Кт в Rn, которое эквивалентно уравнению (2.3)2). Его общее решение имеет вид (см. [5, 16])
B = ^v^ ^z(i-^;).(2.5)
Здесь Е~ — оператор, псевдообратный к Е^, Z Е (Rm —> В^ — произвольный линейный оператор, но значение невязки
Е \\Bv — ц||2 = tr (Е^ — Е^^Е^ Е^),(2.6)
разумеется, не зависит от Z.
Итак, доказана
Лемма 2.1. Оператор В (2.5) есть общее решение задачи (2.4) наилучшего в с.к. линейного приближения ц по измерению v, выражение (2.6) определяет с.к. погрешность оценивания, а сама оценка, обеспечивающая наилучшее приближение, дается равенством
y-^p^v.(2.7)
') Чтобы получить это равенство, следует подсчитать корреляционный оператор С, = Bv — у и воспользоваться формулой (1.4). Согласно равенствам (2.1) и (1.8)
Е^ж = ^(Bv — ц)(ж, Bv — ц) = Е Bv(x, Bv) — Е у(В*х, v) — Е Bv(x, ц) +
+ Ец(ж,ц) = В^рВ*х — Е^ВД — ВЕ^ж + Е^ж.
Следовательно, Е^ = ВЕ^В* — Е^В* — В^^ + Е^ . Заметим также, что tr (ВЕ^) = tr (ВЕ^Д = tr (Е^ВД.
Пусть, например, ту = g(v) — векторнозначная функция v. Е g(v) = 0. Тогда Е^- = E^(z/)(-, v) и равенство (2.7) определяет наилучшую в с.к. линеаризацию g(v).
В случае ненулевых математических ожиданий Е ту и Е v задача наилучшего в с.к. линейного приближения вектора ту по наблюдению вектора v формулируется, в отличие от задачи (2.4), так:
Е||ту - Bv - 6||2 ~ min .(2.4*)
Лемма 2.2.1) Решение В^Ь* задачи (2.4*) дается равен
ствами1) В* =8^8", Ь*=Ег) — ВЕv, причем
Е^ - В^ - М|2 = tr (S„ - S^S^(2.8)
и
ту = Ету + S^S^ (v -Ev)(2.9)
— наилучшая в с.к. линейная оценка ту.
Задача (2.4*) при b = b* = Еу — BE v эквивалентна задаче Е ||ту — Е ту — B(v — Е z/)||2 ~ гшп и, следовательно, сводится к задаче
путем замен ту ту — Е ту, и и — Еи.
Согласно лемме 2.2 ту = Е ту + S^Sp^n — Ezx) с вероятностью единица, если и только если Sn = S^pSpSp^.
Оценивание линейной функции случайного вектора. Рассмотрим задачу наилучшего в с.к. линейного оценивания случайного вектора Uту, где U — линейный оператор, действующий из евклидова пространства Пт в евклидово пространство U. При этом требуется определить линейный оператор В Е (Вп -^ U} и вектор b Е U так, чтобыо
Е\\ит] - Bv - b\\2 ~min.(2.4**)
Воспользовавшись леммами 2.1 и 2.2, нетрудно проверить следующие утверждения.
Теорема 2.1. Минимум в (2.4**) достигается при
В = В* = US^Sp, b = b* = U(Ey —BEv\
Соответственно
E\\UT)-B*v-bA\2 =tYU^-S^S;Sv^U\ (2.10) и искомая оценка Uту дается равенством
Uy = B^v + 6* = Uy = UEy + US^pSp^ - Ez/).
Иначе говоря, наилучшая в с.к. оценка Uy линейной функции Uy вектора у равна линейной функции Uy наилучшей в с.к. линейной оценки у (2.9) вектора у.
х) Аналогично (2.2) JV(SV) CjV^S^p).
Далее, если не оговорено противное, считается, что Ez/ = 0, Е т] = 0.
Минимизация относительной средне-квадратичной (о.с.к.) ошибки оценивания. Основной используемый далее результат может быть сформулирован как следующее обобщение леммы 2.1.
Теорем а 2.2. Всякое решение (2.5) задачи (2.4) является таксисе решением задачи
E||Q(Bp-7?)||2 ~ min ,(2.4***)
BE ^R-n, —^Т^т )
в которой Q — любой линейный оператор. Если N\Q) = {0}, или, иначе говоря, — если Q*Q — невыроснсденный оператор, то любое решение задачи (2.4***) является решением задачи (2.4).
Доказательство следует из необходимого и достаточного условия минимума (2.4***)
JE ||Q(S^ - у)\\2 = 2tr Q*Q(B^V - ^^SB* = 0. □
Невязка
Е \\Q<Bv - r/)||2 = trQ^ -
при Q = S^1 /2 определяет относительную с.к. (о.с.к.) ошибку
Е HS"1/^ - Я^ВДН2 = tr (I - ЕД/2^-^-1/2)(2.6*)
линейного приближения ту значением fj = ^^р^н.
Если Е^ —вырожденный оператор, то Q следует выбрать равным (Е^2)- . В этом случае о.с.к. ошибка оценивания
е IKsy2)-^ - e^e^oII2 = tr (Щ -
где П^ = Е^Е^- = Е^Е^ — ортогональный проектор на 7ДЕД.
Наконец, при оценивании Uту статистикой U^p^-v о.с.к. погрешность определяется выражением
EiKE^Y^-E^oil^Hn^ME^
при Q = (Е^2)-, П(п — ортогональный проектор на 7Д77ЕД. В качестве Q можно выбрать и (СЕ^2)-, ибо ((СЕ^2)-)*(СЕ^2)- = = №и*г == ^ГУ^Г-
Оценивание в сигулярных базисах Нп и Нт. Структура корреляционных связей случайных векторов v Е Еп и ту Е Ет и их роль в задачах оценивания наиболее отчетливо проявляется в специальных, связанных с v и ту, ортонормированных базисах Еп и Ет, называемых сингулярными.
Пусть для простоты У^ = 5Д 1 и Т = 5Д ^^'Грр'Гр 1//2 . Рассмотрим задачи на собственные значения
ТТ*8г = T^st, г = 1,..., m = dim7^m,
Т*Т^=т^з, j = п = dim ?гп,(2.11)
^ И ^ ... ^ тр > тр+1 = ... = тд = 0, q = max (ттг, n), р ^ min(m, n), определяющие ортонормированные базисы si,... ,sm и ti,...,tn в р
Пт и 7^п соответственно, в которых Тх = ^ Т58М^ х Е 7tn, 3 = 1 р
Т*у = 52 Titi(y,Si), у Е Пт. Это так называемые сингулярные пред- г=1
оглавления операторов Т Е (Jtn -4 7tm) и Т* Е (Пт -4 П^ соответственно (см. [5]), базисы ^s^ CRm \t^CRn назовем сингулярными. Запишем разложения случайных векторов Е^ T^2v и Е^ Х*2у в сингулярных базисах:
S^1/2z/= ^i/^j, щ = (Е”1/2^^), г = 1,...,п, г=1
SPZP =8j\ j = l,...,m.(2.12)
3 = 1
Для ковариаций координат этих векторов найдем:
Е ViVj = Е (S^1/2^^)^”1/2^^.) _ q^ tp = 5у, г,з = 1,...,гц
Т^гП) = Е^1/2П> Si^^rbsP = (sySj) = 8у, i,j =
EviTjj =Е^~1/21У,и)^-1/2г/,зР =
= (Sj^ ^,2^т1ЛГ,г^ = Tidy, ij =,p,
EiViT]j=0, г = p + 1,..., n, j = l,...,m;
где §y = P’ г ^ (0, г^згде §y = P’ г ^ (0, г^зг = 1,...,тг, j = p + 1,..., m, (2.13)
где §y = P’ г ^ (0, г^з
где §y = P’ г ^ (0, г^з
Отсюда следует, что в сингулярных базисах
{^} С rtu {sj} С rtm щ и щ, £ = 1,... ,р, — единственные коррелированные пары координат векторов '£lv1^2v и И^1^2^.
Что касается о.с.к. ошибки (2.6*) приближения у значением fj = = ^рр^-^-н, то она равна
р tr(Z-TT*) =т-^т^.(2.14)
Нетрудно заметить, что о.с.к. ошибка оценивания v значением
9 = ^5-^(2.7*)
равна соответственно
р
tr (I - S-V2^-1^-1/2) = tr (/ _ Т*Т) = n-^T^(2.15)
г=1
и при этом
р
^ = 52(2.16)
г=1
в то время как
р
Л = 52 TiVitiq^Si.(2.17)
г=1
Полученные формулы демонстрируют полную симметрию влияния взаимных корреляционных связей между ц и v на линейное оценивание ц, основанное на наблюдении г/, и — наоборот. Эта симметрия видна еще отчетливее при оценивании координат ц^, j = 1,... ,т, и щ, г = 1,..., тг.
Рассмотрим этот вопрос подробнее. Так как для любого линейного оператора К У^к^и = К^^р , то согласно формуле (2.7) наилучшая в с.к. линейная оценка Кг) есть
^ = КЕ^Ч = Ki], соответствующая с.к. ошибка (см. (2.10))
Е ИО - ч)||2 = tr № - Е^Д^И*).
В частности, наилучшая линейная оценка J-й координаты ip = KjTj = = (52^ 1//2ц, Sj) вектора 52^ 1//2ц есть
= Tj^y^iMp = T-jVj, j = l,...,p,% = 0, j = p+l,...,m,
(2-18)
и соответствующие с.к. погрешности
Е ^j - Лр2 = 1 - Tj, j =
Е (Pj - Лр2 = 1, 3 =p+l,-..,m.(2.19)
Точно также наилучшая линейная оценка г -ой координаты щ век-
—1/2
тора 5^ ' v есть
^ = (S”1^^^.) _i = l,...,p, vt = 0, г = р + 1,... ,п,
(2.20)
И
ЕОг-^)2= ,(2.21)
(Ср. равенства (2.12), (2.16), (2.17), (2.18) и (2.20)).
Экстремальные свойства сингулярных базисов. Пусть Мк — ортогонально проецирует в Г1т на А:-мерное линейное подпространство Ttm. В задаче оценивания ортогональной проекции Мкт] с.к. погрешность
min Е ^(М^ - Bn)||2 = tr (QUtk^Mk-
Выбрав Q = (М^Е^2)- и обозначив Щ = (MkY^2)-MkY^2 = = Y^2Mk (Y^2Мк)~ ортогональный проектор на Tt^Y^2Мк^ = = Y^I^M^найдем следующее выражение для о.с.к. погрешности оценивания Мкг)
tr (Щ - ЩТТ*Щ) = к - tr (ЩТТ*Щ), где1)
Мк =Е-1/2Щ(5"1/2Щ)-.
Определим теперь ортогональный проектор Щ = Щ из условия
max tr (ПкТТ*Пк) = tr (ПкГГПкУ
Пк,гапкПк=к
согласно которому о.с.к. погрешность оценивания ортогональной со°о_х ,2 о _х ,2 о _
ставляющей Мкт], где Мк = Yn П^(Е^ Щ) , не больше о.с.к. погрешности оценивания любой ортогональной составляющей Мкг) той же размерности к = rank Мк = rank Щ. Согласно теореме Пуанкаре, (см. [5]), Щ ортогонально проецирует на £(si,..., sk),
о
Щж = У^ ^-(ж, Sj), х еЯт,
3 = 1
где si,...,sm — ортонормированный базис Пт, определенный условиями (2.11). Ортогональный проектор Мк на С^^ 1//2si,..., .. .Y^2sk) = 7^(5^ 1//2Щ) определяется равенством
о
МкЖ = 52жгХ^1/2вй
г=1
где Xi,...,хк^ — решение системы уравнений к
J2 XiC^^Si, 8j) = (ж, ^1/2Sj), j = 1,..., к, г=1
х) Так как Мк — ортогональный проектор, то (Y^2Мк)- = = Мк(^/2МкГ . Поэтому £-1/2Щ = Мк(^/2МкГ = (S1/2^)- [5].
согласно которой
оk
х - Mkx = х -^XiE^^Si € /ЛШД’Д, _ _.^-V2^).
г=1
Относительная с.к. ошибка оценивания М^ц не превосходит о.с.к. ошибки оценивания любой другой ортогональной проекции Мщ) и равна
fc-tr (НкТ-ГП^к-^^.
г=1
Сказанное, разумеется, дословно верно и для задачи определения
оптимально оцениваемой ортогональной проекции R^v.
Суммируем полученные результаты.
Теорема 2.3. Пусть {^4 и ^tj} — ортонормированные сингулярные базисы Rm и Rn соответственно, удовлетворяющие условиям (2.11), и равенства (2.12) представляют векторы Y^^y и Yp^^v в этих базисах. Тогда:
в базисах {si}CJZm и {tj}CJZn корреляционные связи координат векторов Y^^y и Yp^v определяются равенствами (2.13);
относительные с.к. ошибки приближения ц значением у = = Y^Y^v (2.14) и v значением v = Yp^Y”1^ (2.15) минимальны в классе линейных оценок;
(2.18)(2.20)(2.18)(2.20)наилучшие в с.к. линейные оценки координат Y^ 1//2ц и YpT^2v равны соответственно
(2.18)
(2.20)
(2.18)
(2.20)
(О, з = р + 1,..., т,г = 1,...,р,
(О, г = р + 1,..., п,
и с.к. ошибки оценивания (2.19), (2.21)
Е (% - %)2 = Е (^ - 9^Е (% - %)2 = Е (^ - 9^г = 1,...,р,г = 1,...,р,% > р,% > р,
Е (% - %)2 = Е (^ - 9^
Е (% - %)2 = Е (^ - 9^
г = 1,...,р,
г = 1,...,р,
% > р,
% > р,
совпадают с относительными;
линейные подпространства
с^/Чо с ^(S-1/2^, s-1/2s2) с...
сгд-1/2^,...,^-1/2^) = тгт,
обладают следующими экстремальными свойствами: ортогональные проекции Мру и R^v векторов у и v на С^^1^2s±,... ^^^sp) и на £(yLp^2ti,... ^p^tp) оцениваются соотвественно значениями Мру и Rpv с (одинаковой) относительной с.к. погрешностью, кр
равной к — ^ Г- , если к ^ р и к — ^ т^ если к > р, и не превы- 3 = 13=1
тающей относительную с.к. погрешность оценивания любых других ортогональных составляющих у и v той же размерности.
Экстремальное свойство базиса Карунена—Лоэва. Что касается задачи линейного приближения (2.4), (2.5), (2.6) с наименьшей с.к. погрешностью (не относительной!), то, заметив, что 5Д = 5Д — Т,фЛ-Т?^рп — корреляционный оператор вектора-невязки у — у = у — Y^pY^M, воспользуемся ортонормированным базисом ^ej) cRm Карунена-Лоэва
Y^ej = X^ej, j = 1.. . m,
упорядочив его согласно условиям Ai ^ А2 ^ ... ^ Хр > Ap+i = ... = = Xm = 0. Последовательность линейных подпространств
£(em) С £^em, em—i) С С £^ет, ет_\,..., ei) = Rm обладает следующим экстремальным свойством.
Теорема 2.3*. Ортогональная проекция у на £(ет,... ,eq) оценивается с с.к. погрешностью, равной ^ Х^ , и не превосходящей с.к. г=3
погрешности оценивания ортогональной проекции ц на любое m-q-V + 1 -мерное линейное подпространство Rm .
Действительно, если Пт_$+1 — ортогональный проектор на £(ет,..., eq), то согласно теореме 2.1 Пт_9+1Ц = П^-^хЕ^Х”1 v — наилучшая в среднем квадратичном оценка Пт_^+1Ц, причем в силу отмеченного в §1 экстремального свойства (1.11) базиса Карунена- Лоэва 52 А? ^ Е ||Пт_^+177 — Пт_д+1ц||2 для любого ортогонального ^=q ~~
проектора Пт_^+1, rankllm_9+i = т — q + 1. □
Этот результат дополняет теорему 2.3 в том случае, когда критерий качества оценивания определяется не относительной, а абсолютной с.к. погрешностью.
О корреляционных связях случайных векторов. Хотя следующее свойство сингулярных базисов и не имеет прямого отношения к задаче линейного оценивания, оно наглядно характеризует структуру корреляционных связей.
Пусть {^Д и (tj) — ортонормированные базисы Rm и Rn соот-
ветственно и 77 = ^^П^ s^s^, v — ^ (v,tj)tj. Покажем, как охаракте- г=1j = l
ризовать корреляционные связи координат 77 и v с помощью корреляционного оператора Е^. Поскольку согласно (2.1) Е (77, st)(v, t^ = = ^Si^ppt^, нетрудно заметить, что характеристическое свойство корреляционных связей должно формулироваться в сигнулярных базисах Yipp .
Теорем а 2.4. Пусть
TippTippS-^ — ^ % ^ г i ^ — ^’ ' ' ' ’ ^ — dim 7^yZ/,
UppUpptj = ^tj, j = 1, • • •, 72 = dim7^n,
<71 ^ <72 ^ . . . ^ Gp > <7p-|-i = . . . = Gq = 0,
q = тах(ттг, n), p < тпфттг, n).
Тогда
% ф 7, или г > p, или (и) у > p.
причем
max^ppt) = Gi
зетгт,||5||=1,1
и достигается при s = si,t = H,
max (s,= g«2
se^m,(s,si)=o,||s||=i,£етгп,(Щ1)=о,||£||=1
и достигается при s = S2 ; t = £2 и m.d.
Уточнение случайного вектора по данным линейных измерений
Пусть Е 77, 8Л — априорная информация о случайном векторе 77 Е Ttm . Не имея возможности наблюдать 77, мы хотели бы некоторый, может быть случайный, но стохастически независящий от 77, вектор £ использовать в качестве оценки 77. Так как
Е Ц77 - С||2 = Е Ц77 - Е77Ц2 + Е ||Е77 - (||2 ^ Е^ - Е^2,(3.1)
то минимальная в среднем квадратичном погрешность (3.1) обеспечивается выбором £ = Е77 (с вероятностью единица). При этом ее величина
E||//-E//||2=trS^.(3.2)
Если имеется возможность наблюдать случайный вектор
v = Су, v Е Tip,,(3.3)
где С Е (Tlm —> 7tn) — заданный линейный оператор, то возникает простейшая задача уточнения 77 на основании наблюдения v. Если
речь идет о линейной задаче, когда оценка ц ищется в классе линейных функций и. то ее решение дается формулой (2.7) (или (2.9), если ЕщЕт/ — ненулевые векторы). Поскольку Sv = CS^C* и Snv = = S^C*, то в данном случае
ц = Ец + В^ЧСВ^С*)"^ - СЕц).(3.4)
Погрешность, связанная с использованием такой оценки, разумеется, не больше (3.2). Согласно равенству (2.8) она равна
Е\\^-г)\\2 =ti(STI-STIC^^^ ^trS^ (3.5)
Формально неравенство в (3.5) следует из того, что 8ЛС* (С 8ЛС*)-С 8Л — неотрицательный оператор. Если оператор С таков, что C*Ttn = Пт (т.е.гапкС = ш, п ш), то Е ||ц — ц||2 = О, ибо в таких условиях вектор ц определяется точно, если известен вектор v. а именно ц = (C*C)-lC*zv
Воспользуемся формулой (3.4), чтобы показать, какую роль играют корреляционные связи между координатами случайного вектора при прогнозировании их «коллективного поведения». Пусть вектор ц задан своими координатами щ,..., ц™ в некотором базисе Пт ц = = (щ,..., Т]ту, и точно измерена его г-я координата:
(3.6)(3.6)V = Ci] = (0 . . . 01 0 . . . 0) I . . . I = Т)г.гХ^т/
(3.6)
(3.6)
Тогда уточненное значение ц дается равенством (3.4), которое в данном случае принимает вид
/0 \
поскольку
(cs^ct1(cs^ct1(8^11(8^111q ^т]гг1q ^т]гг
(cs^ct1
(cs^ct1
(8^11
(8^11
1
q ^т]гг
1
q ^т]гг
В координатной форме равенство (3.7) записывается в виде
(j]}k = Лк = Е Лк Т ^^ki/8^цУЛг Е Л1У к = 1, . . . , ТГ1. (3-8)
где
Е% = (Ет?)&, & = 1,.
Итак, до измерения г-й координаты вектора ту наилучшая в среднем квадратичном его оценка дается равенством ту = Е ту. После того как точно измерена г-я координата ту согласно равенствам (3.8), координаты Е Цк, к = 1, 2,..., m, оценки ту = Е ту должны быть «подправлены» соответственно на значения (S^ki/S^tjy _ Ещ), пропорциональные коэффициентам ковариации 8^)8^ к = 1,..., m.
В случае, когда имеется измерение (3.6), согласно равенству (3.5) погрешность прогноза (3.7) равна
(3-9)(3-9)tr S^ — (S^a/8рц
(3-9)
(3-9)
где (S^u = 52 8ppi — диагональный элемент матрицы квадрата ко-
р=1
вариационного оператора Sp = S^S*. Согласно (3.9), прогноз тем точнее, чем больше {S^a/8рц. Эта величина является мерой ковариационных связей г-й координаты вектора ту с остальными.
Рассмотрим теперь вопрос об уточнении оценок координат ту. Речь идет о задаче оценивания Uл = Лк гДе U = (0 . 010 ... 0), рассмот-
к
ренной в конце предыдущего параграфа. Поскольку, как там было показано, (ту^) = (?7ту) = Ufj = (лН^ то оценкой (ту^) к-я координаты ту при точном измерении его г-й координаты согласно равенству (3.7) является к-я координата оценки ту
Лк = Лк = ^Лк + ^кУЗ^МЛ! - Ещ), к = 1,... ,т.(3.10)
Согласно равенствам (2.10) и (3.5)
Е ^Лк Лк) = 8ркк {8pki8riik)/8рц.(ЗТ1)
Если г-я координата не измеряется, то наилучшая оценка к-я координаты есть Ету/. и при этом Е (ту^ — Ету^)2 = 8лкк • Поэтому справедлива
Теорема 3.1 (взаимности). Относительное уменьшение среднеквадратичной погрешности оценивания к -й координаты при точном измерении г -й координаты равна относительному уменьшению среднеквадратичной погрешности оценивания г-й координаты при точном измерении k-й координаты:
Е (Лг ~ ЛгУЗриЕ (Лг ~ ЛгУЗри(3.12)(3.12)Е(ту& Цк) 1 8pki8^ik
Е (Лг ~ ЛгУЗри
Е (Лг ~ ЛгУЗри
(3.12)
(3.12)
Spkk8ркк8^ц
Этот результат наиболее точно характеризует смысл взаимных ковариационных связей координат случайного вектора ту.
Оптимизация измерений
Пусть, как и ранее, ту — случайный вектор Кт, но на этот раз мы можем наблюдать не более к ^ т произвольных линейных комбинаций координат (или, иначе говоря, линейных функционалов) ту. Это означает, что в равенстве (3.3) rank С ^ к. Спрашивается, какие именно следует измерить линейные комбинации координат ту, чтобы максимально уточнить (весь) вектор у? Формально речь идет о следующей задаче на минимум) [12, 13]:
inf{tr(S^-S^C*(CS^^ I С е(?гт ^7гп),гапкС <Аф, (4.1)
поскольку
^л - Е^СЕ^С*)"^ = ^2(1 - ^СЧ^СТ)^2 =
-^^Х-П^^ (4.2)
где Щ — ортогональный проектор на 7^п(еУ2С*), причем в виде Щ = Е^2С*(^^2С*)- можно получить ортогональный проектор на любое s-мерное подпространство ^(Е^2), где s ^ к, ибо rank С ^ к. Если задачу (4.1) переписать в (эквивалентной) форме
sup{tr (П^Е^) | Щ, гапкЩ к) =
= sup{E ||Щ/?||2|Щ, гапкЩ < Ц, (4.3)
то легко увидеть, что для ее решения следует воспользоваться экстремальным свойством базиса Карунена-Лоэва, определенным неравенством (1.11). Согласно последнему точная верхняя грань в (4.3) достигается на любом операторе С, у которого 7ЦС*) = £(si,..., s&), где Щ}™ базис Карунена-Лоэва Пт, упорядоченный, в отличие от (1.9), по убыванию собственных значений оператора Е^. В частности можно предложить оператор С ортогонального проецирования на £(si,..., зк), действующий по формуле
к
Сх = ^^Sj(x, Sj), х ЕПт,
и позволяющий измерить к линейных комбинаций
^jX^ = (sj,i]), j = l,...,k,(4.4)
— первые к координат ту в базисе Карунена-Лоэва, в котором
Tl = ^2sj^vSjH ^ 8MsjY
j=k+l
Согласно этим результатам измерение вектора у следует производить так, чтобы в конечном счете была определена его составляющая в £(si,..., s^) — в линейном подпространстве Ttm, содержащем максимальную долю «энергии» Е ЦтуЦ среди всех к-мерных подпространств или, иначе говоря, содержащем «наиболее неопределенную» составляющую вектора у. Заметим, что в случае, когда (k-V- 1)-е,..., m-е собственные значения Е^ равны нулю, т.е. в последнем равенстве с вероятностью единица (y,Sj) = 0, j = к + 1,..., т, значения к линейных функционалов (4.4) определяют у полностью. Следовательно, в общем случае, для того чтобы фиксировать ту, достаточно измерить ровно к = rank ^^ должным образом выбранных линейных функционалов (например, приведенных в (4.4)). Значения этих функционалов контролируют всю «случайность» вектора ту. Остальные т — к функционалов (ту, Si),i = &+1,..., т. равны нулю с вероятностью единица.
Эти факты позволяют охарактеризовать меру «регулярности значений координат» ту или, иначе говоря, ответить на вопрос, насколько предсказуемы значения случайной функции ур,р = 1,...,т, на основании неполных наблюдений над ту. Поскольку для точного предсказания ту требуется измерить значения ровно k = rank Е^ линейных функционалов у, к определяет размерность «случайности» ту, и в этом смысле т — к является мерой его регулярности1). Если к = 0, то ту известен точно априори (функция ур,р = 1,...,т, известна); при к = 1 достаточно измерить значение одного функционала от ту, чтобы ту стал известен точно.
Понять специфику рассмотренной задачи можно глубже на фоне другой задачи, в которой для уточнения ту могут быть измерены не более к из общего числа п фиксированных линейных функционалов (с^, ту), г = 1,..., п, и требуется определить, какие именно функционалы следует измерить для наибольшего уточнения ту. В этой задаче, выбрав функционалы с номерами гх,...,г^, можно считать, что измерен вектор
ЩЛ /(с<1,>7)\
••• • (4-5)
ViJ Цсгк,ЛМ
Пусть для простоты вначале к = 1, т.е. может быть измерен лишь один функционал из п. Предположим, что измерен г-ый функционал vt = (ct, ту). По формуле (3.4), положив для простоты Е ту = 0, найдем оценку 2)
(4-6)
х) В этом контексте регулярность, предсказуемость — альтернативы случайности.
и сопутствующую погрешность)
tr Е^tr Е^tr (Е^сщ^Е^)tr «S^Cj)tr (Е^сщ^Е^)tr «S^Cj)= tr Е^= tr Е^(с», S^C^)(с», S^C^)(4-7)(4-7)
tr Е^
tr Е^
tr (Е^сщ^Е^)tr «S^Cj)
tr (Е^сщ^Е^)tr «S^Cj)
= tr Е^
= tr Е^
(с», S^C^)
(с», S^C^)
(4-7)
(4-7)
ром, равнымром, равнымкак это следует из формулы (3.5). Понятно, что для максимального уточнения г) согласно (4.7) необходимо измерить функционал с номе-
ром, равным
ром, равным
argmax(||S^ci||/||Sr2c.||2)_
В общем случае искомые к функционалов должны иметь номера,
на которых достигается максимум по Л? • • • Л^
tr\(cik itr\(cik i414^*11^11^••• (сц ^Cik)414^*11^11^••• (сц ^Cik)^1 7^1 741 ч ^r]Cik )41 ч ^r]Cik )Чк^ЛСгк)/ Х^гк^лЧк^ЛСгк)/ Х^гк^л4к 1 ^^к4к 1 ^^к
tr
\(cik i
tr
\(cik i
414^*11^11^••• (сц ^Cik)
414^*11^11^••• (сц ^Cik)
^1 7
^1 7
41 ч ^r]Cik )
41 ч ^r]Cik )
Чк^ЛСгк)/ Х^гк^л
Чк^ЛСгк)/ Х^гк^л
4к 1 ^^к
4к 1 ^^к
В частности, при к = 2 для отыскания функционалов следует решить задачу
^шах^^шах^/ (ощ Е^СГ^) к 1Ы12/ (ощ Е^СГ^) к 1Ы12(с^Етт^^1Ы12(с^Етт^^1Ы12(^Д^)(^^1Ы121Ы2 7Л («ь^)2 у1х к 1Ы121Ы27(^Д^)(^^1Ы121Ы2 7Л («ь^)2 у1х к 1Ы121Ы27
^шах^
^шах^
/ (ощ Е^СГ^) к 1Ы12
/ (ощ Е^СГ^) к 1Ы12
(с^Етт^^1Ы12
(с^Етт^^1Ы12
(^Д^)(^^1Ы121Ы2 7
Л («ь^)2 у1х к 1Ы121Ы27
(^Д^)(^^1Ы121Ы2 7
Л («ь^)2 у1х к 1Ы121Ы27
где at = Е^2^,г = 1,...,/г.
Задача оптимизации распределения ресурса времени измерений рассмотрена в работе [14].
Уточнение случайного вектора по данным линейных измерений с ошибками
Общие результаты. Теорема взаимности. Линейная схема измерений случайного вектора ф, типичная для многих экспериментов, имеет вид равенства
(5.1)(5.1)£ = Аф + V.
(5.1)
(5.1)
в котором ф — случайный вектор 7tm, v — случайный вектор ktn, А Е ^т —> 7tn) — линейный оператор. В отличие от измерений, рассмотренных ранее в §3, в данном случае значение Аф измеряется с погрешностью v. и это обстоятельство существенно изменяет некоторые результаты, характерные для схемы £ = Аф.
Рассмотрим задачу уточнения ф по схеме (5.1) в предположении, что Е ф = О, Е v = 0, и заданы корреляционные операторы Е^, Е^ и
5^. Пусть RT — линейная оценка ф. Тогда оператор R. минимизирующий с.к. уклонение Е \\R£ — <^||2, дается равенством
R = Yp^Y” = ^YpA* + ^,)(А^А* + AYpV + YVpA* + Е^)",
а оценке RT сопутствует с.к. погрешность (2.6) Е||Я^ —(^||2 = = tr (Е^ — (YpA* + YpV^(АЕ^А* + AYpV + YVpA* + Yv) (АЕ^ + ^р^), для получения которой в (2.6) следует заменить
Yv на Y^ = AYpA* + AY^p + YVpA* + Yv,
Y-qp на E^ — YpA T Ypp, Yq на Yp.
Этот результат, естественно, совпадает с приведенным в равенствах (3.4), (3.5), если в (5.1) положить v = O(modP).
Как правило, ф и v некоррелированы, YpV = 0, и в этом важном случае имеет место следующий результат.
Теорема 5.1. Пусть в (5.1) случайные векторы фин некоррелированы, Е ф = 0,Е v = 0. Тогда наилучшая в с.к. оценка ф
Ф = к^ = £Д*(^Д* + дщ (= (А* дЫ + дТМ* дД;
с.к. погрешность
Е ||Л£ - П2 = tr (Д - ^VA*(A^VA* + Д)~АД)
ДЩ^ДМ + Д)"1) (5.2)
(равенства в круглых скобках относятся к случаю, когда операторы Yp и Yp невырожденные).
В более общей задаче по измерению £ (5.1) требуется уточнить случайный вектор Пф, где U Е (Rm -^U) — заданный линейный оператор, причем Е ф = ф^. В этом случае, как нетрудно убедиться, вместо Теоремы 5.1 получим следующий результат.
Теорема 5.1*. Пусть U Е (Rm -^ W) — линейный оператор, в (5.1) фин некоррелированы, Е ф = ф0 , Ev = 0, Sp,Sv — ковариационные операторы фин соответственно. Тогда наилучшая в с.к. оценка случайного вектора Иф
ц^ = Пф0Ф USpA^ASpA* + Svy^ - Аф^,
(= UW + u^s^a + s^r^s;1^ - м), (5.з) сопутствующая с. к. ошибка1)
Е \\lhp - Ич)\? = tr (U(SV - SVA*(ASVA* + SV)"ASV)U*)
^tTX^S^A^S^VU^) (5.4) и S^ = USVA*(ASVA* + SvVASvU*.
Выражение (5.3) для Иф = Яо^ + tq получено как решение задачи на минимум для среднеквадратичной погрешности оценивания
Е || До£ + го - ЕМ = minE || Д£ + г - ЕМ2,
R^r
в которой для общности не предполагается, что Е (^ = фо = 0. Поскольку
Е |Щ£ + г - U^ = Е ||(ДА - U^V - ^о) + Rv + г+
+ (ДА - Д)^0||2 = tr ((ДА - U^S^RA - иун
+ tr (ДЗЖ) + ||г + (ДА - Дт’оН2, искомый минимум достигается при
Я = Яо = USVA*(ASVA* + Svy, r = ro = -(R0A - U>0.
Заметим, что наилучшая в с.к. оценка Пф без учета измерения (5.1) согласно (3.1) есть Пфо и соответствующая с.к. погрешность Е || Uф — Uфо ||2 = tr (US^U*) превосходит Е || Uф — Иф ||2 (5.4) на tr (SVA*(ASVA* + S^AS^ > 0.
Задачи оптимального в с.к. оценивания, возникающие в том случае, когда оператор А в (5.1) — случайный, рассмотрены в монографии [4].
Пусть по схеме (5.1) измеряется г-я координата ф, Аф = ф^, (см.(3.6)), Е (^ = 0, Е// = 0, У^ = 0 и требуется уточнить оценки координат1) ф, т.е. получить оценки и^Ф^ Uk = (0^Л0...0), к = к
= 1,... ,ттг. Согласно формуле (5.3) уточненные оценки координат ф даются равенствами, аналогичными (3.10):
Фк = № =2 , к =(5.3*)
т О'
где ^г = фгГ vt результат измерения, а ст2 = Е z/2 — дисперсия погрешности измерения г-й координаты. Как видно из этой формулы, шум измерения щ уменьшает влияние корреляционных связей между координатами ф на результаты уточнения в ^Г^г + а^/У^ц раз по сравнению с (3.8) и увеличивает среднеквадратичную погрешность оценивания на
Ургг УрИ “Ь ^ Ургг^Ургг +)
поскольку в данном случае согласно равенству (5.2)
Е ||Я€ - И2 =- ^iif^pii + ^)-
Что касается оценки погрешности оценивания к-и координаты ф, то в этом случае
е(^-ы = ^-|^Т-
^ргг + ^
Поэтому
Е^фк фк) 4“ ^ к 1 ^ркг^ргк
^ркк Т ^^^ц + ^ ^ркк + <7 к
Следовательно, имеет место
Теорема 5.2 (взаимности). Пусть фк — оценка к-й координаты Ф, основанная на измерении ^ = фг + v^ i-u координаты ф, фц - оценка i-u координаты, основанная на измерении ^к = фк + Vk к-й координаты ф. Тогда
Е (^фк фк) Т ^к ^ "^ркг^pik Е ^ф^ ф^ + СУ
Е(фк -Е^)2 + ст^ Т^^фа^ Е^к^к Е^фг-ЕфгУ ф а12/
Эта теорема аналогична Теореме 3.1 и обобщает последнюю на случай измерений с ошибками.
Заметим, наконец, что, если E,t — фг "V vt — результат измерения г-й координаты, то ее оценкой является
Етгг^г
~ V
при ЭТОМ
Е(Д - </Д = -Т^^ ^ тт(Дй,<тг2)-т СУ
Асимптотика оценивания при равномерно исчезающей априорной информации. В заключение этого параграфа обсудим роль априорной информации о случайном векторе ф при его уточнении. В данном случае априори известно, что Е ф = ф^, Е ^ф — ф^Уф — фо)* = Sp , и эта информация существенно ограничивает «неопределенность» ф в среднем квадратичном1). Будем считать, что до уточнения любая компонента ф не известна точно, что эквивалентно невырожденности S^, и рассмотрим результаты уточнения Пф (5.3),(5.4) при ||ST*|| —> 0. Такой предельный переход будем интерпретировать как «равномерно исчезающую» априорную информацию о ф, — равномерно (независимо) относительно структуры корреляционных связей ф^У Формально задача сводится к исследованию возможности предельного перехода в формулах (5.3), (5.4) и анализу предельных выражений.
х) Вектор фо и без измерения (5.1) оценивает ф с конечной среднеквадратичной погрешностью Е Ц99 — ^о 112 = tr S^ .
Теорема 5.3. Пусть в равенствах (5.3), (5.4) Sv и Sp невыро
жденные операторы. Для того чтобы при Н^^ 11| —> О
IpANpA + SppNNp -4- ДЗД/М)^"1/2,(5.6)
tr (U^S^A + S"1)"1^) -4 tr (U(A*SpApU*),(5.7)
Uy Upp^ApSp^(5.8)
необходимо и достаточно, чтобы
Щ1-А~А) = 0.(5.9)
Если условие (5.9) не выполнено, то tr (U(A* S^Ar S^ ги*) -э сю при Н^ДН -4 о.
Доказательство. Заметим прежде всего, что
(Т + Wlp1 = ыД/ - Т"Р + ТЦ1 + шТ-р1, (5.10)
если Т самосопряженный неотрицательный оператор, Т* = Т ^ 0, и параметр ш > 0 [5]. Чтобы убедиться в этом, достаточно, заметив, что Т ^ 0 и, следовательно, операторы (Т + шГд1, (I + х/ТД-1 существуют, умножить (5.10) слева на Т + ш! и справа на / + хТ. Получим эквивалентное равенство
I + шТ” = 1- Т~Т + (Т + хЕДД
которое, на самом деле, является тождеством, относительно Тиш, поскольку Т~Т = ТТ~ для самосопряженного Т. Пусть ср Е Ет, х Е Пт и
5уж = ^Де/ж,еШ(5.11)
— спектральное разложение положительного самосопряженного оператора Sv, 0<5 = 5i^...^5m = 5— его собственные значения, ci,, ет — ортонормированные собственные векторы, образующие базис Ет. Из представления (5.11) следует, что1)
<5^ < 51(5.12)
и, как следствие,
^S'M+r1/)"1 ^(^S-M+S"1)-1 ^^s^M+T1/)-1. (5.13)
х) Операторные неравенства (5.12) означают, что
д||ж||2 ^ Pvx,x^ = ^Р8,реГ ^||ж||2
для любого вектора х Е Ет а условие HS^11| -4 0 эквивалентно 5 ^5 -4 ею.
Обозначим A* SVTA = Т, тогда, согласно равенству (5.10),
tr (U(T и I)” U*) = ^"Чг (U(I-T~T)U*nti (UT~ (I + шТ~)~и*^ _(5.14)
откуда следует, что lim^tr (U(T +1U*), существует и равен
tr (UT~U*) тогда и только тогда, когда выполняется равенство и(1 — Т Т) = 0, как нетрудно убедиться, эквивалентное равенству (5.9). Отсюда в силу соотношений (5.13) следует сходимость (5.7)х)
lim tr (U(A*S;TA + S-^U*) = tr (U(A*S;TA)"[/*),(5.15)
IlVlH0
а условие (5.9) необходимо и достаточно, чтобы левая часть в (5.15) имела смысл и выполнялось равенство. Кроме того, если и У - Т"Т) 0, то
tr (U(I -T”T)U*) > 0
и в силу (5.13), (5.14)
tr (U(A*S;TA + S-^U*) -э оо
ПРИ Н^Ч 0.
Для доказательства сходимости (5.6) заметим вначале, что для любого неотрицательно определенного оператора Q Е (Ttn —> 7tn)^ 0) и любых векторов х.у Е Кп )
Далее, согласно (5.13),
Q = (тЩ^^-^+Г1/)-1 ^T + s-^-lT+r1!)"1 =Q^0.
Следовательно, с учетом (5.16),
О ^ (,UQA*S^/2x,y)2 ^ (Q_A*S”1/‘2x,A*S”1/‘2x)(QU*y,U*y')
(QA*S;1^x,A*S;1/2x)(QU*y,U*y)0
при 0 < 5^ д1 —¥ 0. Здесь мы воспользовались тем, что при ш —¥ 0
(т + wi)-vA*s;1/2 -> (s^^M)-,
в согласии с условием (5.9) (U(I — ТТ) = 0!)
ЬЧТушГт1 -э UT”
и поэтому
QA*S;1/2 -^Q,UQ^ 0, если 0 < д"1 ^ Г1 0.
Для доказательства сходимости в среднем квадратичном (5.8) заметим, что согласно (5.3)
Гр = U\I - (Г + 5-)-1А*5"1Л]у,о + и(т + sprA*s;4.
Первое слагаемое в этом выражении при HS^H —> 0, в силу только что доказанной сходимости (5.6), при любом фо стремится к нулевому вектору, ибо
W - Д + 5-1)-1А*5"1Л] UVI - (Sp/2A)"S;1/2A\ =
= U\I — Л" Л] = 0. (5Л7)
Напомним, что, по определению, случайный вектор £ стремится в среднем квадратичном к случайному вектору ц, если1) Е||£—цЦ —> 0. Поэтому, если принять во внимание сходимость (5.6) и тот факт, что Е ||£||2 < сю, то
ejkcct + ^-M’s-1С
|Д(Т + 5-1)-1Л*5"1/2 - [/^Д/М^ДрЕ^Н20.
Отсюда и из (5.7) следует сходимость (5.8). □
Итак, чем «более неопределенным» до измерения (5.1) оказывается случайный вектор ф^ тем «труднее» оценить Иф, используя результат измерения (5.1), если не выполнено условие (5.9), а если HS^H = = 0, то без условия (5.9) оценить Пф невозможно. Дело в том, что если не выполнено (5.9), то найдется такой вектор2) ф, что Аф = = 0, но Иф ^0.0 таких ф измерение (5.1) не несет информации, и оценить Иф можно только на основе априорных данных о ф. Если же Ц^Т11| = 0, то таких данных нет.
Линейное оценивание неслучайного вектора
В теории второго порядка схема измерения вектора параметров / имеет вид
Ez/ = O,(6.1)
аналогичный (5.1). Разница лишь в том, что, в отличие от ф, f — неслучайный вектор, но, если мы условимся считать / априори произвольным вектором rtm, результаты оценивания будут существенно отличаться от таковых для случайного вектора ф. Далее речь пойдет именно о задаче линейного оценивания без априорной информации о векторе /, но вначале следует разобраться в том, что может дать предельно точное измерение (6.1), когда v = 0.
Итак, рассмотрим уравнение
е = Af.(6.2)
Если £ Е Кп и А Е (Ят —> П^ заданы произвольно, то уравнение (6.2) может оказаться неразрешимым. Так будет в том и только в том случае, когда £ ^^(А); это условие буквально означает, что равенство (6.2) невозможно ни при каком / Е Нт. Необходимое и достаточное условие разрешимости уравнения (6.2) или, иначе говоря, условие £ Е Н(А) , можно записать в виде равенства [5, 15, 16]:
(I - АА"^ = 0.(6.3)
Если это условие выполнено, то уравнение (6.2) разрешимо, но, вообще говоря, не единственным образом. Всякое его решение можно задать равенством
У = Д-^у. Д-Д^(6.4)
при некотором г Е Кт , причем / (6.4) при любом г Е Кт удовлетворяет уравнению (6.2) и слагаемые в (6.4) ортогональны: (А~^ (I — A-A)z) = 0. Последнее свойство означает, что решение У = А^ (при г = 0) имеет минимальную норму: {min||/|| | Af = = £} = | Д~£||. Если уравнение (6.2) неразрешимо, то и в этом случае векторы (6.4) играют особую роль. Дело в том, что
mH\^-Af\\\j€Km) = Ml-AA-^\\
и достигается на любом f (6.4). Любой вектор (6.4) в этом случае называется псевдорешением (неразрешимого) уравнения (6.2), вектор У = А^. имеющий минимальную норму, называется нормальным псевдорешением.
Итак, если I — ДА ^ О1), то даже в случае измерения Af без шума, мы не имеем возможности оценить погрешность решения. Действительно, если £ = Afo, где Уо — истинный вектор параметров, то Af = £ при любом У из (6.4), и, в частности, при любом у = у0 + + (/—Л-Л)г, г EBLm . Поэтому погрешность ||У—Уо|| = ||(I—A-A)z^ моснсет быть сколь угодно велика, так как г — произвольный вектор Пт. В такой ситуации решение уравнения Af = £ не может служить оценкой Уо до тех пор, пока не будет указан принцип выбора г Е Пт ; в противном случае
sup{||/-/о|| IAf = А/Л = ОО-
В нашем распоряжении такого принципа нет, поскольку f — априори произвольный вектор Пт .
С другой стороны, если выполнено условие (6.3) и ДА = I, то уравнение(6.2) имеет единственное решение
/ = A-f.
х) Это условие эквивалентно наличию нетривиального решения уравнения Af = 0.
В этом и только в этом случае А^ является оценкой fo, причем с нулевой погрешностью.
Более полный анализ схемы измерения (6.2) связан с задачей линейного оценивания вектора U f, где U — линейный оператор. Если выполнено условие (6.3) и
U(I-A"A) = 0,(6.5)
то согласно (6.4) Uf = UA^ = UA- Afo = Ufo, где последнее равенство получено с учетом (6.5). В этом случае UA^ является безошибочной оценкой Ufo, если £ = Л/о; в то время как оценить fo, зная £, невозможно, если I — АА ^ 0. Наоборот, пусть ^ = = Afo и для любого вектора fo вектор Ufo единственным образом определяется по ^. В таком случае равенство U[A~ ^+(1 — А~ A)z] = = Ufо должно выполняться при любом fo G Rm, а это означает, что U = UА-А. Итак, вектор Uf единственным образом восстанавливается по измерению (6.2), если и только если оператор U удовлетворяет условию (6.5). Множество операторов U, таких, что вектор Uf однозначно восстанавливается по £ (6.2), имеет вид
ВА = ^U, U(I - А”А) = 0}.(б.б)
Это множество состоит из операторов, обращающих вектор f в нулевой всякий раз, когда Af = 0, или, иначе говоря '). В а = = ^U, JV(U) Э-Л/ХЛ)}. Именно поэтому Uf однозначно восстанавливается по £, в то время как f можно восстановить лишь с точностью до слагаемого из JV(А).
Вернемся к схеме измерения (6.1) и рассмотрим линейную оценку Rf вектора Uf. Поскольку
R^-Uf = (RA-U)f^Rv,
то в силу произвольности вектора f среднеквадратичная погрешность
Е\Ж " Г/||2 = MRA - С7)/||2 + Е \\R< =
= ||(ДЛ-С7)/||2+1г ^vR*)
может быть оценена лишь при условии
RA = U-(6.7)
в противном случае supE{||^£ — С7УЦ2 | f £Rm} = оо. Если условие (6.7) выполнено, то погрешность
E\\R^-Uf\\2 =ti(R^vR*')(6.8)
не зависит от /, и можно говорить о линейной оценке Rf вектора U f. Наоборот, если при любом R равенство (6.7) невозможно, то вектор Uf не может быть оценен по £. Следовательно, задача определения
х) Чтобы уяснить это, следует вспомнить, что (/ — А-А)— ортогональный проектор на JV (А) [5,15,16].
наилучшей в среднем квадратичном линейной оценки U f обретает ВИД ।
inf{tr (ДТ^Д*) | Д, ДА = Д} = tr (Д0£„Д*). (6.9) В ней требуется определить оператор оценивания R = Rq так, чтобы при условии (6.7) погрешность (6.8) была минимальна.
Теорем а 6.1. Пусть оператор АА* + 1Д > 0 невырожден. Тогда задача (6.9) разрешима, если и только если выполнено условие (6.5). Ее решение имеет вид
R = Ro = U(Q;1/2A)-Q;1/2 = U(A*QpA)~A*Qp, (6.10) где Q\ = ХАА* + 5Д; А — произвольное положительное число (Rq на самом деле не зависит от А > 0). Погрешность оценки дается равенством
/г(Д) = tr OJ^Q^AyA^Q^xQpA^QpAyu*^
= tr (Д[(А*<9^1А)" - ХЦ1П- (6-11)
Доказательство. При условии RА = U задача минимизации tr (RTipR*) эквивалентна минимизации tr (R^v + XAA*)R*) при любом фиксированном А, ибо RAA*R* = UU*. При условии (6.5) урав
нениенениеи = ДА = RQ\/2Q;1/2Aи = ДА = RQ\/2Q;1/2A
нение
нение
и = ДА = RQ\/2Q;1/2A
и = ДА = RQ\/2Q;1/2A
разрешимо и любое его решение можно записать в виде
RQ1? = u(q;1/2av + zu - оУ/2а(о;1/2а)-),(6.12)
где Z — произвольный оператор [5]. При этом
RQXR* = U(.A*QpA)-U*+
+ ZU - Q;1/2A(Q;1/2A)-)Z* ^ UtA^Q^ATU*, ибо при любом Z оператор Z^I — Qx'2 A^Qx'2 ^У-^^* ^0 (неотрицательно определен). Так как неравенства для операторов М ^ N ^ 0 влекут неравенства tr М ^ tr N ^ 0, теперь понятно , что tr (RQxR*) достигает минимума на решении (6.12) при Z = 0, т.е. при условии (6.10). Равенство (6.11) проверяется непосредственно. □
Покажем, что Яо (6.10) и h (6.11) не зависят от А > 0 (А выбрано положительным, чтобы оператор АЛЛ* + Е имел обратный). Обозначим D\ = A*Q^TA. Поскольку в силу условия (6.6) UD^Dx = U, то
Д' = U(D"xyA*Q^ + UD"xA4Q^y =
= UD-xDx(D-xyA*Qp + UD-xAUQ;1^ где штрих отмечает производную по А, и нам понадобятся формулы для DX(D-Xy И (Уд1)'- Так как QaQa1 = I, то
Q'aQI1 + <Ы<ЛУ = 0 и (Qp)' = -QpQ'xQp = QpAA*Qp-
DXD х — оператор ортогонального проецирования на R(A*QX1A) = = R(A*) , от А не зависит, поэтому
DX(D-Xy = -D'XD"X = -A4Q"xyAD-x =
= A* Qp АА* Qp AD" х = DX(DXD"X) = Dx. Следовательно,
R'o = UD"xDxA*Qp - UD"xA*QpAA*Qp = 0
и аналогично
hf = tr (\U(D-XW - UU^) = tr (\UD"XDXU* - UU^) = 0. □
Замечаниеб.1. Если оператор Е^ невырожден, то в теореме 6.1 можно положить А = 0, Оа|л_о = Е^. В теореме 5.2 показано, что в этом случае формулы (6.10) и (6.11) могут быть получены из соответствующих формул задачи уточнения случайного вектора предельным переходом при «равномерно исчезающей» априорной информации об уточняемом случайном векторе.
Замечание 6.2. Условие (6.7) можно записать в виде равенства
ER^UJ, feRm.(6.13)
В статистике равенство (6.13) называется условием несмегценности оценки R^. В данном случае смысл его только в том, что оно является необходимым и достаточным условием неравенства
siip{E ||Д£ -С <
Замечание 6.3. В теореме 6.1 доказан более сильный результат, чем сформулирован. Именно, при условиях теоремы для любого оператора R, удовлетворяющего условию RA = U,
R^pR* ^ Rq^Rq,(6.14)
где Ro — оператор (6.10). Действительно, согласно (6.12) RQXR*
RoQxRq, и в то же время RAA*R* = R0AA*Rq = UU^. Отсюда следует неравенство (6.14).
Смысл этого замечания в том, что шум R^v оценки Rq^ вдоль любого направления, заданного единичным вектором1) е, имеет наименьшую интенсивность Е (Rqv, е)2 по сравнению с шумом любой другой оценки R^, если RA = U. Это происходит потому, что неравенство
Е [(Яощ е)2 - (Rv, е)2] = (е, [Я0Е^ - R^R^e) < 0, выполненное для любого вектора е, эквивалентно неравенству (6.14). Рассмотренная задача оценивания является существенной идеализацией реального положения вещей, поскольку, с одной стороны вектор параметров / (как модель входного сигнала измерительной системы ), как правило, не может быть априори совершенно произвольным,
а с другой стороны оператор А, (как модель измерительной системы) непременно известен лишь приближенно. Тем не менее такие задачи на практике все-таки встречаются, и, более того, в ряде случаев в постановке задачи приходится учитывать еще одну неопределенность модели. Этот случай рассмотрен в следующем параграфе.
Оптимальное линейное оценивание при неизвестном корреляционном операторе ошибки измерения
Речь идет о задаче оценивания вектора U f по измерению (6.1), в котором Е// = 0, но оператор Е^ неизвестен. Вместо этого формулируется ограничение на среднюю «энергию шума»: Е |Н| = tr Е^ ^ J2. В такой задаче оценивания оператор R естественно определить из условия
ад = sup{E Ж-UJW2 | У V еад Е ||р||2 ^2} -min. (7.1)
Здесь точная верхняя грань вычисляется на множестве всех / Е Rm и распределений v. удовлетворяющих условию Е |Н|2 ^ й2. Так как E||^ - ^/н2 = \\(RA - [/)/||2 + tr^S^*), то левая часть в (7.1) равнао
sup ||(ЯЛ-[/)/||2+ sup tr(R^vR*),(7.2)
/етгтtr£^2
откуда следует, что оператор R должен удовлетворять условию1) RA = U, и, следовательно, в (7.2) первое слагаемое равно нулю. Зафиксируем R и рассмотрим второе слагаемое в (7.2), заметив, что любой оператор £/у ^0 можно представить как С С*, никак не
ограничивая априори выбор оператора С. Относительно С получаем следующую выпуклую задачу на минимум
min{-tr RCC*R* | trCC* < J2},(7.3)
решение которой определяется условиями2)
R*RC = coC, Ц1г(СС*)-S2) = 0, w>0, trCC*<J2. (7.4) На решении (7.4) tr ^RCC*R*^ = cutr (CC*) = wS2, где co — наибольшее собственное значение R*R. Если ri,...,r^ ортонормированные собственные векторы R*R, отвечающие ио, то решение задачи (7.3) к
дается равенством С = ^ с^тщ*. При этом
г=1
С*С = ^АТ^(7.5)
г=1
х) Условие RA = U необходимо и достаточно, чтобы в (7.2) sup||(lL4- С7)/||2 < оо.
/
где согласно (7.4)
ТВ = 52(7-6)
г=1
— единственное условие, ограничивающее выбор сг^..., а^ , и случайный вектор //. отвечающий ковариационному оператору Е^ = С*С, как показано в § 1, имеет вид
к
V = У~Дп, Ez/j=O, Ei/,2 = <7,2, £^^=0, i,j = 1,..., к.
г=1
(7-7) При этом, что касается средней энергии шума оценки, то
ецм2 = е|| J>JM2 =
г=1
/ккхкк
= Е I У^ VjWBTj. УУ VjTj ) = Е УУ v^u) = ио УУ а2 =М=1j=l'г=1г=1
Таким образом, наглядный смысл условий (7.4) минимума (7.3) таков: вся энергия шума v должна быть сосредоточена в подпространстве, натянутом на собственные векторы оператора R* R. отвечающие максимальному собственному значению, поскольку при этом под действием преобразования v —> Rv (при построении оценки R^ происходит максимальное увеличение энергии шума v — от значения J2 = Е ||z/||2 до ljJ2 =Epz/||2.
Возвращаясь к исходной задаче (7.1), учитывая выражение (7.2), согласно которому должно быть выполнено условие RA = U мы должны минимизировать
82ш = 52 max pj(R* RYj
где pj(R*R) — j-e собственное значение оператора R* R. по всем R. удовлетворяющим условию RA = U. Считая, что уравнение RA = U разрешимо относительно R (т.е выполнено условие U(I — АА) = 0), запишем его общее решение
R = UA” ^Z(I-AA"Y
Здесь Z - произвольный оператор. Так как
max pj (R* R) = max pj (RR*)jj
и при любом Z
RR* = U(A*A)"U* + Z(I - AA”)Z* ^ U(A*A)”U*,
TO
maxpj(RR*) maxpj(U(A*A)-U*), jj
причем при Z = О достигается равенство.
Итак, имеет место
Теорема 7.1 (см. [17]). Линейная оценка Rq^ вектора Uf, минимизирующая левую часть выражения (7.1), существует, если и только если U(I — АА^ = 0, единственна и равна
Яо^ = UA"^.
Сопутствующая с.к. погрешность не превосходит
d(R0) = 52 maxPj(U(А*А)"U*) = 52|Д(Л*Л)"С*||.
3
В ряде случаев обстоятельства позволяют сформулировать более точное ограничение на «энергию шума» v. при котором |Н|2 ^ й2 с вероятностью единица. Соответственно будут отличаться от (7.1) и условия, определяющие оператор R:
ад = sup{E||^-C/||2|/ епт, v^Rmi |И2^2, Ez/ = 0}~min.
Здесь точная верхняя грань с.к. погрешности d(R) вычисляется на множестве всех / и распределений v, при которых Е v = 0 и |Н|2 ^ S2 с вероятностью единица. Поскольку ограничение |Н|2 ^ S2 влечет ЕИ2^52, то для любого оператора R d(R) ^ d(R).
Рассмотрим распределение v. сосредоточенное в подпространстве Rm, натянутом на ортонормированные собственные векторы ri,... ,т^ оператора R*R, отвечающие максимальному собственному значению из. В таком случае v будет иметь вид тот же, что и в равенстве (7.7), но случайные величины щ,..., v^ должны удовлетворять условиям1)
Е 1/^ = 0, ? = 1,..., k; ^)?i3?=62,(уд)
г=1
отличным от условий (7.9). Последнее равенство в (7.9) означает, что в А:-мерном координатном пространстве распределение v должно к
быть сосредоточено на сфере ^Z ^t = ^2 • Пусть координата vt при- г=1
к нимает значения ±ф с вероятностью Pi/^, г = 1,... ,к,^2 ^ =
г=1
= б2,£^ = 1. Тогда Ещ = О, г = 1,...,к,и
г=1
Е ||^||2 = Е 52 ^ = ^ГрД = ^Д; - 52(i -рМ ^ 52Si = ^’г=1г=1г=1г=1г=1
х) Точнее У7 vt ^ 52 , но неравенство, очевидно, можно не учитывать при г = 1
определении d(R).
причем равенство здесь будет выполняться лишь при условии (1-№Д2=0, 1 = 1,..., к. (7.10)
Выберем распределение так, чтобы для некоторого г, l^i^k,pt = l (Pj = 0, 3 + Г 3 = 1, • • • и 8i = 5 (5j = 0, 3 + г, 3 = 1,... ,к). Для него выполнены условия (7.9), (7.10), Е |ф||2 = 52 и, следовательно, d(R) = d(R). Таким образом, найдено распределение, на котором достигается sup как в (7.8), так и в (7.1), поэтому теорема 7.1 дает решение не только задачи (7.1), но также и задачи (7.8).
§8. О «гладкости» случайного вектора
Свойство регулярности случайного вектора ту = (тух,..., Т)ту , как оно истолковано в §4, никак не связано с такими характеристиками, как гладкость, плавность и т.п. случайной функции г)р, рб{1,2,...,т}. Разумеется, эти качества, понятные на интуитивном уровне, следует разъяснить в более точных терминах. С этой целью рассмотрим случайный вектор
/ % - т?1\1?т Пт — 1/ % - т?1\1?т Пт — 1/-1 1 0 О'
/ % - т?1
\1?т Пт — 1
/ % - т?1
\1?т Пт — 1
Т)' = ОтТ) =Т)' = ОтТ) =0-110 о
Т)' = ОтТ) =
Т)' = ОтТ) =
\ 0 0 -1 1
Обозначение rf должно вызывать ассоциации с производной, поскольку оператор Dm, действующий из Rm в $m_i, — разностный аналог дифференцирования. Величину si = [Е\\D„ iTy||2] = = [tr (DmV.nD*ny-A можно назвать гладкостью первого порядка случайного вектора ту (случайной функции ту^,г = 1,...,ш), поскольку при фиксированном значении средней энергии Е ||ту||2 с увеличением si гладкость, плавность, локальная «горизонтальность», если угодно, графика туг, г = 1,..., ттг, в среднем квадратичном возрастают. Гладкость второго порядка можно задать значением
32 = [Е (Р^П2 +=
= [tr(№^^i)m4^
Соответственно гладкость р-го порядка определим величиной
= [tr (£>№„)] \= [tr (£>№„)] \- р-1-1
= [tr (£>№„)] \
= [tr (£>№„)] \
Sp = Е ||Dm_j_|_i ... Втр\\
где
= ^D*m... D*m_j+1Dm_j+1 ...Dm, p = 1,..., m - 1.
J=1
Порядок гладкости естественно связан с природой процессов, которые характеризуют случайный вектор ц. Например, если ц — дискретное представление решения дифференциального уравнения, порядок гладкости р естественно считать не меньшим порядка дифференциального уравнения.
Рассмотрим устройство самых «гладких случайных векторов» заданной «энергии». Если речь идет о гладкости р-го порядка, то ответ дается решением следующей задачи на минимум1): s”1 ~ min при условии Е Ц77Ц2 = е > 0. Эквивалентную задачу можно сформулировать относительно корреляционного оператора Е^ :
min{tr (D^E^)^^ 0, trE/?=e>0}. (8.1)
Любой корреляционный оператор Е^ можно представить в виде произведения операторов ZZ*, в свою очередь оператор Z можно отыскать как решение задачи на безусловный минимум для лагранжиана L = tr D(p)ZZ* — AtrZZ*. Необходимое условие минимума L имеет вид задачи на собственные значения:
D^Z = AZ. (8.2)
Поскольку согласно (8.2) D(p)ZZ* = ZZ*D(p^ самосопряженные операторы D(p) и ZZ* имеют общий набор ортонормированных собственных векторов {щ}. Пусть
D(p)et = diet, = ZZ*e^ = Сщг, г = 1,..., т. (8.3)
Согласно уравнению (8.2) D^ZZ* = AZZ*, поэтому, воспользовавшись равенствами (8.3), найдем (ф — А)^ = 0,г = 1,... ,ш. Нетривиальное решение этой системы уравнений относительно ^ Л = 1,..., m, возможно лишь при условии А = ф, причем Q = 0, если j ^ {7 : 5j = = ф}, а остальные ^ — неотрицательные числа, подчиненные условию
Е Cfc=tr(ZZ*)=£.
Поскольку при этом tr (D(p)Z Z*) = ф ^2 G = fe, ^ следу- k:6k=5i
ет выбрать равным 5 = min ф = ф0. В таком случае получаем min{s”1 |Е|Ы2 = е} = е5. Если ф0 — единственное собственное значение, то, поскольку базис {щ} согласно (8.3) является базисом Карунена-Лоэва, имеем ц = aei0, ^0 = Ect2 = s, Е а = 0.
Итак, если минимальное собственное значение ф0 оператора D(p) единственно, то наиболее «гладкий» случайный вектор ц с точностью до случайного множителя а совпадает с собственным вектором щ0 оператора D(p), отвечающим наименьшему собственному значению
х) Как обычно, мы считаем Ец = 0. В общем случае
ЕНД^2 = tr (RS^R*) + ЦЯЕ ^Ц2.
5 = 5t0. Так как при этом rank 1Д = 1, то искомый случайный вектор оказывается почти максимально регулярным: для его точного определения достаточно измерить один линейный функционал (ту, щ0). Если минимальное собственное значение оператора D(p) не единственно, то
k:dk =д
где коэффициенты разложения а^к Е {г,Ф = 5}, — попарно некоррелированные случайные величины, такие, что
У Е^=е, Еа6=0, £«»«,= 0, г # j, i,j £ {/г : §к = 5}. к:5^ =д
Регулярность ту тем меньше, чем выше степень вырождения минимального собственного значения оператора D(p).
В нашем случае дело обстоит исключительно просто, поскольку при любом р = 1,..., т — 1 5 = min ф = 0, причем нулевое собственное значение единственно (все остальные положительны) и соответствующий собственный вектор есть1) (1/л/т,... Д/л/т)* . Поэтому реализации «самой гладкой» случайной функции щ = а/Дт, г = = 1,..., ттг, (Е о? = s, Е а = 0) — «прямые, параллельные оси %».
Зафиксируем теперь порядок гладкости р и рассмотрим внимательнее задачу на собственные значения (8.3). Пусть
0 = 5i < 52 < • • • < 5т
— упорядоченные по возрастанию собственные значения оператора D(p) и ci,..., ет — соответствующие собственные векторы (образующие базис КпД. Согласно второй группе равенств (8.3)
Tlj = ^,ej), j = l,...,m,(8.4)
— разложение Карунена-Лоэва случайного вектора ту, корреляционный оператор которого
^ = ZZ* = YMe*(8.5)
Покажем, что равенство (8.4) можно интерпретировать как разложение ту по векторам щ,..., ет «невозрастающей гладкости». Для этого заметим, что задача (8.1) определения «самого гладкого» вектора эк-
х) Дело в том, что у оператора D^nDm одно нулевое собственное значение, а соответствующий собственный вектор (1/д/т,..., 1/д/т)* является собственным для любого оператора D^ ... D*m_j^Dm_j^iDm и тем самым — для D(p). Единственность нулевого собственного значения D(p) следует из очевидного неравенства D(p) ^ D^Dmi.
Бивалентна задаче на минимум
8р1 = tr (D(p)^ =
3 = 1
на множестве всех ортонормированных базисов {е^}^ С Ят и всех наборов {(j ^ 0}™, ограниченных условием
tr = ^ Cj =
3 = 1
Как было показано, решением задачи является «самый гладкий» случайный вектор 77161, Е тд = 0, Ет^ = s, у которого гладкость порядка р Sp = s^ = оо. Следующим за «самым гладким» в порядке уменьшения гладкости будет случайный вектор, на котором минимально
при условии, что минимум ищется на всех наборах {(j ^ О}™, удовлетворяющих условию
3=2
и всех ортонормированных системах {е^}^ c£±(ei), т.е. системах, ортогональных «самому гладкому» вектору, (ej,ei) = 0, j = 2,..., т. Этим следующим, очевидно, будет случайный вектор 77262, Е772 = О, Е 77 2 = Д У которого 8Р = s^ = (гДс)-1 . за ним — 77363, Е77 3 = = О, Е773 = s, у которого 8Р = s^ = (J3S)-1 и т.д. Найденные случайные векторы упорядочены по убыванию гладкости порядка р: Д1)>
XX • • •
Например, если р = 1,ттг = 3, то 77161 = 77i(l/V3,1/V3,1/л/З)* — «самый гладкий» вектор, для него D(l)ei = #161 = 0, s^ = сю, следующий за ним «менее гладкий» 77 2 6 2 = 772 (1/л/2, 0, — 1/V2)* , для него В(1)в2 = 62, з^ = s-1 . Наконец, «самый негладкий» в смысле гладкости первого порядка вектор 77 3 6 3 = 77з(1/л/б, — 2/л/ф 1/л/б)* , для него D(l)e3 = Зез, s^ = (3s)-1.
Замечание 8.1. В «непрерывном» случае, как было отмечено, аналогом Dm является оператор дифференцирования d/dx. определенный на классе абсолютно непрерывных функций /(•), заданных на конечном интервале, например, [0, я], и имеющих на этом интервале интегрируемую с квадратом производную. Сопряженным с d/dx от
носительно скалярного произведения (f,g) = J f(x)g(x)dx является о
оператор —d/dx^ определенный на классе абсолютно непрерывных на
[О,тг] функций д^ ^ равных нулю на границе, ^(п) = д(Ь) = О, и имеющих интегрируемую с квадратом производную. Поэтому аналогом D^Dm является оператор —dP/dx2 на классе функций, имеющих абсолютно непрерывную первую производную, обращающуюся в нуль на границе, и интегрируемую с квадратом вторую, а аналог задачи (8.3) формулируется как дифференциальная задача на собственные значения на этом классе:
Д5>+»№) = о, о<ж=о.™Ж = 0 7Г
Ее решение
/о(Ц = fj(x) = ^ cos jx, же[о,тг], 5j=j2, j =
вполне согласуется с «дискретным» решением при р = 1, приведенным в примере.
Представление результата измерения или сигнала, полученного в результате редукции измерения, в виде разложения по «векторам невозрастающей гладкости» естественно, когда порядок гладкости р определяется физическими процессами, контролирующими измерение, а природа задачи интерпретации измерения такова, что более (менее) гладкие составляющие сигнала предпочтительнее для анализа существа изучаемого явления. Это замечание, в частности, фактически содержит критерий оптимальности уточнения ту, согласно которому при заданном числе к ^ т линейных относительно ту функционалов, которые можно измерить, предпочтение должно быть отдано к координатам (ту, ei),..., (ту, е^) вектора ту в ортонормированном базисе ci,..., ет , упорядоченном согласно «невозрастанию гладкости». В этом случае оптимальность предполагает не максимальное уточнение ту, а максимальное уточнение составляющих ту, представляющих наибольший интерес для исследователя. В этом случае корреляционный оператор ту (8.5) считается заданным с точностью до значений ^, j = 1,... ,m (известны собственные векторы Е^, но неизвестны собственные значения). Если кроме того известно, что (г ^ ... ^ (т, хотя сами значения (у, j = 1,..., т, не заданы, измерения (ту, ej), j = = !,...,&, дадут и максимальное уточнение ту (хотя и неизвестно, какое именно).
Факты, дополняющие материалы этой главы, см. в [105].
Глава 2
Эффективная линейная размерность данных измерений
В этой главе методами, близкими к рассмотренным в главе 1, изучается понятие эффективной (фактической) размерности множества измерений {• • • } (экспериментальных данных) как элементов евклидова пространства 7?,, {•••} С К. Эффективная размерность {• • • } определяется как функция £(•): [0, сю) —> {1,2,...}, значение ((e) которой равно минимальной размерности линейного подпространства Ft^ С 7t ортогональных составляющих измерений, которые, грубо говоря, в среднем приближают измерения с погрешностью, не превосходящей е ^ 0 [18, 19].
С одной стороны, эффективная размерность множества измерений позволяет для каждого приемлемого значения погрешности е ^ 0 представления данных оценить максимально возможную степень k(s) = dim7^/^(s) (линейного) их сжатия при гарантированной точности восстановления всей исходной информации. Эффективное подпространство "Ft^ измерений, dim 71^ = ((e), содержащее сжатое их представление, позволяет исследователю охарактеризовать структуру данных, типичную (с точностью до £ ^ 0) для всех результатов {• • • } эксперимента.
С другой стороны, значения k(s), е ^ 0, характеризуют то, что можно назвать эффективностью измерений, а именно, чем больше к(е), тем меньше информации несет каждое отдельное измерение, тем (относительно) менее информативен его результат.
§ 1. Эффективная размерность множества точных данных
Пусть ^цу, г = 1,...,т, j = 1,...,п, — множество измерений, которое далее интерпретируется следующим образом. Имеется т датчиков значений физической величины, например, температуры. Выходной сигнал г -го датчика fi(t), г = 1,... ,т, изменяется с течением времени t Е Т. В моменты времени t = tj Е Т, j = 1,...,п, регистрируются значения сигналов (ij = fi(tj), г = 1,..., m. j = 1,..., п. Множество {^'} удобно интерпретировать в зависимости от задачи
либо как эволюционирующую во времени «кривую» ^, регистрируемую в г = 1,..., ттг точках в моменты времени tj, j = 1,..., 77, либо как г = 1,..., ттг функций времени, определяющих выходные сигналы 771 датчиков, значения которых регистрируются (одновременно) в моменты времени j = 1,...,77. В первом случае будем считать, что результатом измерения являются п т-мерных векторов
/\.
6j = I I Е 3 ~ V(1-1)
\ ^mj /
ВО втором — 77177-мерных векторов
/ 61 \
6=1 ••• j Е ?гп, г = 1,... ,ш.(1.2)
\ 6п /
Пусть а^1,..., а^ — ортонормированный базис Т^т и
г=1
где (•, •) т обозначает скалярное произведение в ktm . Выберем к ^т векторов а^,..., а^ и рассмотрим ошибку приближения векторов 6j, з = 1,...,77, линейными комбинациями ^.j, а^^ а^т\ j = г=1
1 ^ к < т. к = ттг,1 ^ к < т. к = ттг,то под (полной) ошибкой приближения будем пониматьто под (полной) ошибкой приближения будем понимать= 1,..., 77, первых к базисных векторов. Так как для j = 1,..., 77
1 ^ к < т. к = ттг,
1 ^ к < т. к = ттг,
то под (полной) ошибкой приближения будем понимать
то под (полной) ошибкой приближения будем понимать
(1.4)
пт0
II Е (и«Г’),,,«Г||,_ =j=l г=&+1
\/ тv 7
(1-5)
т.е. сумму квадратов расстояний векторов 61, • • •, 6п до линейной оболочки £^т\ ..., а^^. Здесь
^(т) — €€* — ^Щ (• • • j ( 6j • • • ^mj )
j=l \ ^mj /
— матрица т х т. ее матричные элементы
,/61 ••• 6п\
j=l\61• • • ^тп/
Пусть {а^} — ортонормированный базис Ptmi в ^ 0.
Определение 1.1. Эффективной размерностью мноснсества измерений j = 1,... ,п; назовем функцию
/ = Де) = inf min Ik I 0 < k < m, 5^ ({n-m^}) <
определенную для e E [0, сю) и принимающую целочисленные значения.
Для вычисления эффективной размерности рассмотрим следующие задачи, представляющие и самостоятельный интерес.
Задача!.1. Найти ортонормированный базис {г (m)} СЯт такой, что для любого ортонормированного базиса {n^m^}c7^m и любого к =
При любом к = 1,...,т базис {г^} обеспечит наименьшую в среднем квадратичном по всем «кривым» полную ошибку приближения «кривых» /.j к слагаемыми 52 (£-л цУтТ^1, j = 1,...,п, по г=1
сравнению с любым другим ортонормированным базисом {n^m^}c7^m .
Задача 1.1*. Найти ортонормированный базис {rjn^} C7tn, такой, что для любого ортонормированного базиса {п^п^} CRn и любого Z = l,...,n где
6п ) — матрица п х п, ее6п ) — матрица п х п, ееС(|-У'’})= Ё1. ^^({«Г1» =0.
6п ) — матрица п х п, ее
6п ) — матрица п х п, ее
Здесь =(п) = СЧ = Е ... (Си i=1 \ U /
матричные элементы ^щ^р = 52 6^6д? Р З1 —•
г=1
Определение 1.1*. Эффективной размерностью множества измерений 6-? ^ = 1,...,т, назовем функцию /(г) = = min ^к | 0 < к < п, 5^ ({г^}) <е|, 0 < е < сю.
Решения задач 1.1 и 1.1* даны в следующей теореме.
Теорема 1.1. Пусть ву,...,ет — ортонормир о ванный базис Пт, состоягций из собственных векторов ^т^ E^et = А^, г = = 1,..., т, упорядоченных так, что Ai > А2 > ... > Хр > 0 = Ap+i = = • • • = Хт.
Векторы fj = Xj ^б,*6^ 3 = ^ • • • И? являются ортонормиро- ванными собственными векторами Е^, ^(n)fj = Xjfj, j = 1,...,р. Векторы fi,..., fn, где fp-^i,....fn — любая ортонормированная система из /Д (Д,..., фр^, образуют ортонормир о ванный базис Пп, причем
^(n) Jj ^ ^jJj3 — ^- • • • -п- Ai ^ ... ^ Хр > 0 = Ap+i = • • • = Хп.
Ортонормированные базисы, которые требуется найти в задачах 1.1 и 1.1*, суть
r^ = et, г =Tj = jj, j = l,...,n;
3)3)ррi=k-\-lД,Р52 \в3=1+1<0,i=k-\-lД,Р52 \в3=1+1<0,0 < к < р. р ^ к ^ т;О < I < р, р ^ I ^ п.0 < к < р. р ^ к ^ т;О < I < р, р ^ I ^ п.
3)
3)
р
р
i=k-\-l
Д,
Р
52 \в
3=1+1
<0,
i=k-\-l
Д,
Р
52 \в
3=1+1
<0,
0 < к < р. р ^ к ^ т;
О < I < р, р ^ I ^ п.
0 < к < р. р ^ к ^ т;
О < I < р, р ^ I ^ п.
Эффективные размерности множеств измерений {Cj} ^ {6 } совпадают, причем
С(е) =min|fc, ^({г^)}) е} =
= min^, ^О^}) е} ’ ее[0,оо).
Доказательство. 1) Это утверждение есть вариант леммы
Р -1/2
о сингулярном разложении £ = ^ Х^ ' ejf*, приведенной, например, в [5].
Пусть {п^} — любой ортонормированный базис Пт, Рр ортогонально проецирует в ktm на линейную оболочку Ср = = £(ai,...,afc), [FfeE(m)Ffe] — сужение оператора РкЕ^Рк на Ср, к ^ т. Тогда
^({«Т) =
рк
= tr ^(m) — tr [P^S(m)P^] = ^ ^ A^ ^^m^ — ^ ^ A^ ([P^^^m)P^j)
Z=12=1
г=&+1
Здесь Ai (S) ^ А2 (S) ^ ... — собственные значения оператора S и согласно теореме Пуанкаре для любого к = 1, 2,..., ш:
Хг ( [Т&^т)-^] ) ^г (^(m)) = Х^ 2 = 1,2,...,&.
Утверждение 4 следует из 3. □
Значение ((e) эффективной размерности есть минимальная размерность к линейной оболочки £(г^,..., т^)(£(т^,..., т^))
сумма квадратов расстояний до которой векторов £.i,...,£.n (^1-, • • •, ^m-) не превосходит е .
Замечание 1.1. Проблема эффективной размерности множества данных имеет существенно более широкое толкование. Хорошо известен, например, стохастический вариант построений, выполненных в этом параграфе. Пусть (Q,^, Р) — вероятностное простран
ство и (.ш =J G Кт^ со 6Q, — случайный вектор (ср. с
(1.1)). Тогда вместо полной ошибки (1.5) следует использовать среднеквадратичную ошибку
где Х^_ — корреляционная матрица т х т случайного вектора £., а минимальное значение с.к. ошибки (1.6) достигается на ортонормиро- ванном базисе Карунена-Лоэва, состоящем из собственных векторов Х^_ : Х^_et = Ащ^ г = £ ... DmD Ai > А2 > • • • > Хт см. теорему 1.1 и §1 гл. 1).
Пусть ( = ((х,ш), х G X, и 6 Q, — гильбертова случайная функция, т.е. [5]
У (2(х,ш) dp,(x) dP(uo) < сю.
X xQ
Тогда почти наверное £(-,w) Е £^(Х) и ц-почти для каждого х Е X, ((ж<) Е £p(Q). Какова эффективная размерность мноснсества реализаций {^(-,си), ио Е Я'} С £^(Х), P(Q\QQ = 0, или — мноснсества случайных величин {^(ж, •), х Е X'} с£р(П), ц(Х\Х9 = = 0? Ответ на первый вопрос получим, определив ортонормирован- ный базис {еД-)} с£^ (X), состоящий из собственных функций корре-
62 Гл. 2. Эффективная линейная размерность данных измерений ляционного оператора1) К^; £^(Х) —> £^(Х) случайной функции £, ^еф-) = х^е^-), г = 1, 2,; ^ > ^ > ...
Поскольку для любого другого ортонормированного базиса {щ(-)}, как известно, (см., например, [5]) 5^ = 5^ ({еф-)}) = J (£(ж,и) —
Q хХ
- Е&(ш)ег(ж))2 сТМ^Щ) ^ <Ц) ({еД)}), А: = 1,2,, где &Д) = г=1
= J ((х^е^х) dpt^x), и 6 Q, г = 1,2,... , то эффективная размер- х
ность множества {£(-,и), из Е Я'} совпадает с эффективной размерностью множества {^(ж, •), х Е X'} и является функцией ((e) = = min {&, 5^ ^ г}, £ ^ 0. □
Эффективная размерность множества классов эквивалентности измерений
Пусть, как в §1, множество (.^ j = 1,...,п, интерпретируется как семейство кривых, полученных в эксперименте. Как правило, исследователь может указать класс G (допустимых) преобразований (.j —> gj^.j, gj Е G, j = l,...,n, таких, что с точки зрения интерпретации измерений незнание gj, j = 1,...,п, никак не влияет на качество интерпретации. В таком случае исследователь предпочитает иметь дело с более компактным, но представляющим всю экспериментальную информацию, фактор-множеством {£.j}/G(n) классов G^n) - эквивалентности, в котором все кривые, отличающиеся лишь преобразованием g Е G, могут быть представлены как один элемент; G^n^ — индуцированный G класс преобразований (7^m)n —> (Rm)n • Сжатые без потери информации данные обычно легче поддаются содержательному анализу.
Например, если кривые, отличающиеся лишь «вертикальным сдвигом», объявляются эквивалентными, то G — группа преобразований Rm —> Кт. при которых (.j —> (.j + tj£., — OO<tj<OO, в. =
/ 1/Vm \
=... I (единичный) вектор 1Zm, слагаемое t^e. определя-
\ 1/Дт /
ет сдвиг всех ординат кривой Cj на tjlV^i 3 = l,...,n, G^"^ — группа преобразований g(n): (7£m)n -> (7£m)n: g(n) Щ, ... ,$„) = ($! + + Ье.,... ,£.п + tne.\ {5j}/G^^ — множество классов G^ - эквивалентности, в котором кривые, отличающиеся лишь вертикальным сдвигом, отождествлены.
Если допустимыми объявляются преобразования «вертикального сдвига и масштаба», то G — группа преобразований Rm —> Rm ,
х) К^ — самосопряженный неотрицательный оператор Гильберта- Шмидта [5], базис {еф)} известен как базис Карунена-Лоэва, см. § 1, гл. 1.
при которых gj^.j=kj^.j + tjC., G(n) — группа преобразований О^тТ UlmT ^"Ч^Т • • ^-п^=^1С1 +tie.,...,kntn +tne.), где ^1 • &2 * * * kn = 1, —СЮ < tj < СЮ, ] = 1,..., п.
В ряде случаев исследователь предпочитает анализировать лишь уклонения ^.j — S. кривых ^ ^, j = 1,..., п, от кривой S., в известном смысле (например, в среднем) характеризующей все измерения. В этом случае G — группа преобразований g^.j=^.j + S., j = 1,..., n, g(n)(ei,---,M=(ei+5.,...,en+5.), gw ggw u-a/g^ -™c «центрированных» кривых.
Определение 2.1. Пусть G — группа преобразований Пт^Пт, G^ - подгруппа Gn = {(gb ... ,gn)}, gz E G, г = 1,... ,n. Эффективной размерностью фактор-мноснсества VlA/G^ классов G^-эквивалентности измерений (орбит группы G^n^ в (Нт^п) назовем функцию
ф(г) = inf | min { k\ 0 < k < т, 5^ ({n-m^}, ^п^ ^ s} | {n-m^}, g(”) e G(")}, e o,
где g("> = (gi,...,g„),
C(^m)UH) = £ £ ^m)L
j=l i=k+l
S'">) = 0,
и inf вычисляется no множеству всех ортонормированных базисов {а^} С Нт и всех преобразований g(n) Е G^ С Gn = {(gi,..., gn)} •
Замечание 2.1. Поскольку G^ — группа, то для любого h(n) = = (hi,...,hn) eG^ эффективная размерность {hj^.j }/G^^ совпадает с эффективной размерностью ^-j^/G^n\ т.е. определяется классами G^ -экивалентности.
Замечание 2.2. Так как G^ содержит тождественное преобразование, то для любого множества измерений {Cj}
(р(г) <С(в), Е >0,
где ^(-) — эффективная размерность множества измерений {^д}.
Эквивалентность, заданная группой «вертикальных» сдвигов. Вернемся к примеру, в котором допустимыми считаются произвольные вертикальные сдвиги кривых, и рассмотрим задачи на
минимум:
= min { 52 52 (^ + ^е., «im))m| tj € (-00, 00), j = 3 = 1 i=k+l
k = 0,..., m — 1.
Необходимые и достаточные условия минимума суть:
52 ^з + lie-’ aim^m(e., а^т = о, j = 1,..., п. (2.1) г=к-\-1
Положив к = 0, найдем ^.j + t^e.^ е.) = 0, откуда следует, что
V р=1
= ^-^Т.^з=^-^тЧ^з1 г = 1,...,т, j =(2.2)
где
(
1 /т ... 1 / т\
1/т1/т/
— матрица ортогонального проектора Ят —> Ят, проецирующего на линейную оболочку £(е.).
Лемма 2.1. Пусть а = (I — П(т))£, {е^} — ортонормирован- ный базис Пт , состоящей из собственных векторов матрицы аа* = = (/-ПМ)^*(/-пН)?
асДе^ = а^е^г = 1,..., m,(2.3)
упорядоченных по убыванию собственных значений Qi ^ «2 ^ • • • ... ^ ат. Тогда при t^ j = 1,...,п, определенных в (2.2), равенства (2.1) при а^ = е^\ г = 1,...,т, выполнены для всех к = = 0,1,...,m- 1.
Доказательство. Умножив равенства (2.3) скалярно на е. = = (1/V^n • • • 1/V^)* ? найдем
сц(е., еГ^т = 0, г = 1,... ,т,
ибо (I — П(т))е. = 0. Отсюда следуют равенства (е^еД^т = 0 для всех г 6 {1,..., т} , при которых с^ > 0. Для остальных % 6 {1,..., т}
(^•j + "Це^ е^^ = 0, з = 1,... ,77. Действительно, для этих значений гп
£(^+i,e.,e(m))^ = ai=0. □
Согласно доказанной лемме, в данном случае эффективная размерность {CjJ/G^
ф(г) = min |& ф^ = ш,ф(г) = min |& ф^ = ш,О k т — 1, У^ с^ ^ £г=А?+1О k т — 1, У^ с^ ^ £г=А?+1если о^ ^ в,если о^ ^ в,если ат > г,если ат > г,
ф(г) = min |& ф^ = ш,
ф(г) = min |& ф^ = ш,
О k т — 1, У^ с^ ^ £
г=А?+1
О k т — 1, У^ с^ ^ £
г=А?+1
если о^ ^ в,
если о^ ^ в,
если ат > г,
если ат > г,
Каждая кривая с (полной) погрешностью, не превосходящей в ^ О, представляется разложением
C-j = (A еЗте. + ^ ^j ~ Р’ еЗте., еДДе^, j = г=1
в котором первое слагаемое есть среднее арифметическое т ординат
3 -й кривой. Представление каждой кривой в виде
^*3 ™е3т6- = $j — ~ У? ^pj i
разумеется, не зависит от вертикального сдвига кривой £.j, j = = 1,..., 77, и его можно рассматривать как элемент {^ j }/G^^.
Эквивалентность, заданная группой «горизонтальных» сдвигов. Если для исследователя интересны лишь уклонения ^.j — S., j = 1,..., 77, то дело сводится к следующим задачам на минимум.
V V (^.j + S., a^V ~ min , к = 0,1,...,т — 1.
3 = 1 i=k+l
Необходимые и достаточные условия минимума суть
Е Е P+S-’aiPmaim) =°Л = 0,1,...,т-1,
3 = 1 г=к-\-1
что эквивалентно равенству ^2 (Cj+5' ) = 0. Поэтому S. =52 ^-д
j=lп q=l
1 п А
и (^.j + S.)i = ^ijЕ 69 = 3ij, % = 1,,777, 3 = 1,... ,п. Следо- 72 q—1
вательно, эффективная размерность {^.Д/С^п^
W) = <W) = <min <А: 0^А:^777 — 1, Е Рг1 Ii=wimin <А: 0^А:^777 — 1, Е Рг1 Ii=wiесли Зт ^ е,если Зт ^ е,£ > 0,£ > 0,если Рт > е,если Рт > е,
W) = <
W) = <
min <А: 0^А:^777 — 1, Е Рг
1 Ii=wi
min <А: 0^А:^777 — 1, Е Рг
1 Ii=wi
если Зт ^ е,
если Зт ^ е,
£ > 0,
£ > 0,
если Рт > е,
если Рт > е,
где ^i ^ ^2 ^ • • • — собственные значения матрицы РР* ^ Р = /1/п .Х/пХ
= ^(1 — П(п)), П(п) = — матрица ортогонального
\1/п ... ^/п/
проектора 7tn —> 7tn. С полной погрешностью, не превосходящей £ ^ 0, кривые представляются разложениями
1 nП
= - 52 ^ + 52 ^j--^^’ ГЭГГ j =
q=lг=1q=l
где кривая у 5Z ( -9«среднее по времени» всех измерений, {е^тД —
9=1
ортонормированный базис Пт ^ состоящий из собственных векторов рр* = ^i -п^^\ упорядоченных по убыванию собственных значений.
Эквивалентность, заданная группой «вертикальных» и «горизонтальных» сдвигов. Если допустимым объявляется преобразование ^.j —> ^j+S.+^e., 3 = 1,..., n, то следует решать задачи на минимум
V V + S. + L-e., а^Л2 ~ min , k = 0,..., т — 1.
9 = 1 i=k+l
Для всех к = 0,..., т — 1 их решения даются одним и тем же выражением
_. п^ т,. т п
s.+tje. = - (- у^ £■<? + — 52 £pj — 52 52 ^ = 1^-^п-ттп)
9=1р=1р=1 9=1
В данном случае эффективная размерность
Ф^ = min |&| 0 < к < т — 1, ^ 7г С s}, если ym s, ^ > $ г=^+1’
ф(г) = 777,если 7т > £,
где ух ^72 • • • — собственные значения матрицы 77*, 7 =
_^ _ р[(т)£ _ ^п(п) + п(т^П(п). Нетрудно увидеть, что
^* ^ аа* ^ ~п\ ^ ^ РР* ^ УУ* т-е- эффективная размерность в этом случае не больше, чем в любом из предыдущих, эффективные размерности в которых в свою очередь не больше эффективной размерности {^д}.
Эквивалентность, заданная группой преобразований масштаба. Рассмотрим в заключение случай, когда допустимыми считаются согласованные изменения масштаба, т.е. когда G — группа преобразований 7tm -4- 7tmi gj^j=^j^ji kj > 0, 3 = 1,..., ti, G^n^ —
подгруппа G", ^n\Ui • • • Лп)=(к1£л, • • • Л^.п), kj > О, П kj = 1.
Решая задачу на минимум
J = 6 £ °ЗХт ~ min (2-4) j=li=k + l{/=; Mj>0, J =
kvk2&n = l,
для фиксированных к € [0,..., т — 1] и {аД^}, найдем
к^ =wk/pkj, pkj = 52 (С-^аД^т’ ^ = П^’ J = 1,
г=к^13 = 1
(2-5) что приводит к следующему выражению для минимума левой части (2.4):
3 = 1 г=к-\-1
Выберем аД’ = ei = $i/||$i||. Тогда ркх = ^ Щ, а^^ = г=к^1
= 0, к = 1,.. • ,т, и, следовательно, при таком выборе ортонормиро- ванного базиса {а^} = {щ}
ЦН = min ТЩаД)}) = О, То(М =пП|ОД
Мт)}
Но это означает, что задача
J ^ min
неразрешима, ибо в (2.4) при к = l,...,m —1, kj = 0, j = = 2,..., п, ку не определено.
Об эффективной размерности классов эквивалентности изображений [18]
Специфический класс многомерных данных образуют изображения fj(x), х Е X, j = l,...,n, — функции, определенные на замкнутом ограниченном подмножестве X плоскости 7^2 5 называемом полем зрения, принимающие действительные значения, передающие распределения яркости на X. Рассмотренные ранее преобразования
Л(") kjf^-Y kj > 0, fj(3 н- fj(3 + Cj, j = 1,... ,n, моделируют изменения яркости и контраста изображений, отвечающие меняющимся условиям их формирования.
Как правило, все изображения, отличающиеся лишь яркостью и контрастом, естественно считать эквивалентными, поскольку все они представляют одну и ту же сцену. Эффективная размерность такого класса изображений характеризует «детальность сцены» независимо от яркости и контраста ее изображений.
В ряде случаев эффективная размерность класса изображений может быть охарактеризована физическими свойствами изображаемых объектов. Рассмотрим, например, изображения так называемых ламбертовых объектов, оптические свойства поверхности S которых таковы, что яркость Ъ^ любой точки г Е S не зависит от направления наблюдения и определяется только условиями освещения:
b(r, t) = п(г) (п(г), t), г Е 5.
Здесь (•, •) — символ скалярного произведения в Хз, п(г) — вектор единичной нормали к S в точке г 6S, вектор t, вообще говоря, зависящий от г Е S, определяет направление и интенсивность освещения объекта.
На самом деле вектор t в выражении для b(-,t) допускает более широкое толкование. Дело в том, что Ь(-Д) — линейная функция t Е 7?,з, и в силу этого для ламбертовых объектов имеет место принцип суперпозиции: если ti,..., tn — векторы освещений, то при одновременном освещении объекта суммарная яркость 6(-Д1) + -- - + + b(-,tn) = b(-,ti + • • • + tn). Иначе говоря, если ламбертов объект освещен с нескольких направлений (или даже диффузно), его яркость определяется векторной суммой освещений t = ti + • • -+tn, в то время как для определения суммарной яркости в общем случае необходимо знать все векторы ti,..., tn . Следовательно, в выражении Ь^-, t) для яркости ламбертова объекта t можно понимать как векторную сумму всех освещений объекта.
Ограничимся далее пространственно-однородными освещениями, при которых вектор t не зависит от точки г 6 S, и, в частности, поверхностями S, не допускающими самозатенения. Выберем «базовые освещения», векторы ti,t2 и tg которых линейно независимы, и рассмотрим любое освещение t. Поскольку t = Titi + т^ + Tgtg, то b(r,t) = Tibi(r) + т2&2(г) + т3Ь3(г), г €5, где ЬХ) = Ь(-,14), г = 1, 2, 3. Соответственно, изображение P$,t)i х € X. ламбертова объекта, отвечающее освещению t Е Т^з, будет представлено линейной комбинацией его «базовых изображений» /(!)(•),/(2) (•),/(з)(ф), отвечающих освещениям ti, t2, tg :
КЖЛ) = пф^х) ^тзф^хЪ X EX.
Пусть С = С^^Х^ — евклидово пространство изображений /(•): X -4 Xi, (/(•), /(•)) = J f(xYf(x)dx — скалярное произведение /(•) и /(•), и /х(-),...,/п(*) ~ множество изображений ламбертова объекта, отвечающих различным пространственно-однородным осве-
щениям. Для определения эффективной размерности этого множества изображений рассмотрим задачу на собственные значения для интегрального оператора F: £2(Х) -А £?(Х) (см. замечание 1.1)
Fe(x) = j F^x^x’^e^x*^ dx*, х EX,
х
п3
где F(x,x') = ^MAh^'V -7 ж' ^Х. Так как fj^ = У тДа)(ж), 7=1а=1
х Е X, з = 1,..., п, то
3
F(x,x') = ^ Хаа'АДЩа'Д'! X, х' € X,
где ^аа, = 52 TjaTja'^ °Ц ^ = 1,2,3, и, следовательно, в задаче на 7=1
собственные значения Fe^ = Ащфф г = 1, 2,..., Ai ^ А2 ^ Аз ^ 0 = = А4 = • • • = Ап. Поэтому эффективная размерность множества изображений ламбертова объекта не превосходит трех.
Для изображений характерны преобразования, обусловленные изменением положения объекта относительно регистрирующей аппаратуры. Пусть А — подмножество поля зрения X, на котором изображен выделенный объект, XA0 : X -А {0,1} — индикаторная функция А: хД^) = 1, х е А, хДД = 0, х е X \ А, и /Д) = хДДС) — изображение выделенного объекта. Если /(•) — изображение сцены в надир, то на нем отсутствуют перспективные искажения, и движение регистрирующей аппаратуры параллельно сцене приводит к следующему преобразованию изображения объекта
/ДД = хДДЛД -> хо„А+а(ж)/(О-а(х - а)) =
= Ха(О-с(х - а))/(О_а(ж - а)) = ЩО.Щ - а)), где а — угол поворота, а — сдвиг регистрирующей аппаратуры, оставляющие множество ОаА + а = {Оаж + а, х Е Л} в пределах поля зрения X, ОаА + а СХ. Это преобразование описывает поворот изображения объекта на угол а и сдвиг на вектор а.
В общем случае речь идет о преобразованиях h: Х2 —> Хз, их подмножестве Нд = {h Е Н, К Л С X}, оставляющем А в X, и соответствующих преобразованиях изображений объекта )
/л(ж) -> 5(Н)/д(ж) = /д(Н-1ж), X ex, h € Нд-
Поскольку относительное положение регистрирующей аппаратуры и объекта обычно не влияет на содержательную интерпретацию
изображения, назовем изображения Фа^ и фв(*) эквивалентными, фА(-) ~ Фв(аА если для некоторых преобразований Кд Е Нд, Кв Е Нв
X е X.
Так как при этом НдЛ = ЬвВ, то А = ЬдТЬвВ и В = Н^ФдЛ. Следовательно, /д(-) ~ /в(*), если и только если существуют Нд Е Нд и Нв Е Нв, такие, что /дф^ж) = фв(хф фА^ = фв^^х), х ЕХ.
Отношение ~ , очевидно, рефлексивно: /д(-) ~ Фа(дА симметрично: /д(-) -/в(-) о фв(-) ~ Фа^) И транзитивно:
Фа^ ~ Фв1\ Фв1) ~ Фс^ => Фа^ ~ Фс('Ъ т.е.отношение эквивалентности.
Эффективная размерность множества классов эквивалентности множества изображений У = {/дт (•),..., /дп (•)} по отношению эквивалентности ~ (фактормножества У по отношению эквивалентности ~), заданному группой Н преобразований 7^2 , определяется точно так же, как в определении 2.1 определена эффективная размерность фактор-множества, а именно, это функция
Де) = inf{min{&|, Sk ({aj, {Щ) ^е}|
{«J, 9j = g(hA hj e j = Г- - - ,Д £ o,
где
4(W>to})=E E=
j=l i=k+l
и inf вычисляется на множестве всех ортонормированнх базисов {aj с£2(Х) и всех преобразований hj G Нд^, J = 1,..., п.
Рассмотрим простой пример, в котором Н — группа трансляций плоскости 7^2, п = 2. Для определения эффективной размерности классов эквивалентности множества У = ^Фат (Д Фа2 (•)} по отношению эквивалентности, заданному группой трансляций 7^2 , следует решить задачи на минимум:
5к^айЛ) = ^ [(/Л1+(1(-), сДД2 + Щ+ДТ «i(-))2] ~ min „ i=k+l LJtET
для к = 0,1, 2,... , где /д.+^.(ж) = /д.(ж-^), ж EX, It ЕП^ — вектор сдвига, удовлетворяющий условию ti Е Т^ = {?/ Е 7^2, А^ + уСХ^ г = = 1,2; t = (ДД2), Т = {t = (ДД2), Д ETi, t2 еТ2}. В данном случае достаточно рассмотреть к = 0,1, поскольку ai(-) и а2(-) должны принадлежать линейной оболочке фAi-\-ti (Д г = 1, 2, и для к = 2,3,... 6к ({aj, t) = 0.
Пусть 5^ — матрица, матричные элементы которой суть ^2)Х1 = = //л/ж-ДсД -(2)12 = "(2)21 = f Bi^-tiVA^X-t^dx, 2(2)22 =
= J /1 (ж — t^ dx. Ее собственные значения х
-Е*)2+4(Е^)2
г = 1,2.
Так как Е^ и Е^ от t Е Г не зависят, то сумма Ai(t) + + ^2(t) = /(/li (ж) + /^M)2^ = А — также не зависит от х 12
t Е Т, a А2^) (А2 (t) ^ Ai(t)) достигает минимального значения при том значении t Е Т, при котором максимально (Е^ )2 = = ( / /Л1(ж - Н)/д2(ж -t2)dx\ , t ЕТ.
Пусть А2 = ™п^ А2 (t). Тогда искомая эффективная размерность
ГО, s > А,
Ф^ = < 1, А2 < е < А,(2,£ < А2 •
Если, в частности, /л2(*) и /лД/ отличаются лишь сдвигом в пределах X. то
max ( j fA1 (х - ti)fA2 (х - t2) dx^ = x
= (j ^(^dx^ = (У Д(ж)(?ж) , XX
и при любом t = t° E T, при котором изображения «совмещаются»: Л2+^ = Ai+t? С X и, разумеется, /л1+^(-) = /л2+^(*)- в этом случае
А2 = А2(Г°) = О,
А = Ах(Г°) + А2(Г°) = Ах(Г°), Ш-) - Ы-)
и.
/ хе > А,
= | 1, е < А.
Эффективная размерность множества измеренных с ошибками сигналов
На практике данные ^tj } , как правило, представляют результаты измерений и содержат ошибки. Рассмотрим схему измерений выходных сигналов датчиков:
6j = ftj +^ib i = l,...,m, j = 1,...,п,(4.1)
в которой ^ — искаженный ошибкой Vij результат измерения выходного сигнала fij г-го датчика в j-й момент времени. Запишем схему (4.1) в векторном виде:
£•3 = f-j + v.j Е 3 = 1, • • •, тт,
и рассмотрим модель измерений, в которой погрешности удовлетворяют условиям H^.jll^ = tr (v.jV*j) ^ £р 3 = 1,... ,тг, согласно которым
«энергия» ^v.j^ з -го вектора ошибок v.j =... не превосходит
Д j =
Пусть ах,..., ат — ортонормированный базис Пт и пт2 п т
({oi}, {/ j}) = 57 || 57 бз >ai)mai || т = 57 57 (/>’О0го’3=1i=k-\-lj=l г=к-\-1
к = 1,...,т — 1, 5(тЗЫЛ1Л)=^(4-2)
— ошибка приближения сигналов /.i,..., f.n линейными комбинациями первых к векторов базиса СЦ,..., ат . Для определения эффективной размерности множества {ДД по данным {&Д рассмотрим задачу, которая является аналогом задачи 1.1.
Задача 4.1. Определить ортонормированный базис е^ = = еД{£.Д), г = 1,... ,m, Кт так, чтобы для любого к Е {1,..., ш}
<М) = min sup{ 5(Д{аД {/Д| {/Д С Д{Д}), ^СМС
стгт} = 8пр{Ц{Д,{/д)|{/ДсДЦД), Ц.,} см стгт}, (4-3)
где М — некоторое ограниченное множество в Нт,
•^({СД) = |{/Д CHmi ^.j = f.j + v.j, v.j 6 7tmi
ll^.jllm ^Ej, j = l,...,n|.
Л e м м a 4.1. Пусть at = at ({СД) ? г = 1,..., ттг, — решение задачи
Aw ({G}) = , min SUP { 5W (ГМ, {/,}) I U-й С ^({М})} =
= sup{ <5(fe)({ai ({$;})}, Uj^ | U-Л c ^({Д}) }’ k =
(4-4)
Тогда для любого ограниченного М С Ttm
ei = ai^.j^, i = l,...,m,
— решение задачи (4.3).
Доказательство. Действительно,
sup supsup sup{С3}сЛ4стгт{С3}сЛ4стгт{<Ы{°ЖЛ)> Uj6\UAcm^^6w{<Ы{°ЖЛ)> Uj6\UAcm^^6w
sup sup
sup sup
{С3}сЛ4стгт
{С3}сЛ4стгт
{<Ы{°ЖЛ)> Uj6\UAcm^^6w
{<Ы{°ЖЛ)> Uj6\UAcm^^6w
sup △«({Ы^ ^•зКМскт
supК-йсмсИтsupК-йсмсИтбиррсдшкд), {/д)|{/д <=«}•п
supК-йсмсИт
supК-йсмсИт
Определение 4.1. Эффективной размерностью мноснсества {Д?}; определяемого данными измерений (4.1), назовем функцию
C(s) = С(е, ДД) = min Д |0 ^ к < т, ^w (ДД) ^ Д > 0 е оо,
где А^)^), к = 1,..., т. определение (4.4).
Рассмотрим задачу (4.4):
sup{£ £ (Д,«^|{/Лс^(КЛ)} =
= 1 i=k+l
= sup { У2 12 (ДаРт |^ € Um, HMm ^ £j, j = 1, • ■ ■ , «} = 3 = 1 i=k-\-l
= sup { ^ ^.j - v.j, Aw^.j - 1/р)т | v.j e Um, \\y.j\\2m ^ £j,
3 = 1,,n > ~ min, (4.5)
ГД6m
A(fc) = 52 Oi°i-(4-6)
i=k+l
Заметим, что для каждого 3 = 1,..., n
sup {^.j - v.j, А{к)(^ - iyp)m | v.j e Um, ||rJ|^ ^ eJ =
= w2((AwA^(A{k)(4.7)
и достигается при v.j = (А^ — ojI)~1A^£i.j, где w = Wj = ujj^A^ , £h ^-j) > 0, из ф 1, — корень уравнения
=4(4.8)
при котором значение (4.7) максимально.
Лемма 4.2. Пусть П 6 ^Ttm -^ Нт) — ортогональный проектор.
Тогда при 0 < и ^ 1 оператор П — col не вырожден и
(П-иЩ1 =Д"1!!-/), n(n-wZ)-1 = (1—ш)-1П.
(4-9)
Доказательство. П — col — самосопряженный оператор, собственные значения которого Ai = • • • = Хр = 1 — со, Ap+i = • • • = = Хт = — ^- ПРИ w ?^ 1 отличны от нуля, р = rank П. Равенства (4.9) проверяются путем умножения их на П — col справа. □
Так как в (4.7), (4.8) оператор А^ (4.6) — ортогональный проектор на линейную оболочку Е^дх,..., ат^, то согласно лемме 4.2 правая часть (4.7) равна
^j ^^(k) шз^ £>-Г ^(k){^(k) шз^ ^л)т —
= Д-^^^^^(4Л0)
и условие (4.8) записывается в виде
(1 - WjY= е7 =
что позволяет представить задачу (4.5) в существенно более простом виде:
пп // т\ 2
Ek^lA^IU^E Щ + и S (Д,^)™ ~ min. (4.11)
J = 1J = 1 \ V ^^^/ LatJ
Подведем итоги.
Теорема4.1. 1) Решение at(^.j^), г = 1,...,т, задачи (4.11) является решением задачи (4.1).
Пусть Ej = £$j, idj > 0, е > 0, з = 1,..., п. Если £ -4 0, то
Й^И) - 1 ДДЩi>P,
где
bi = bidU) = Е/=1bi = bidU) = Е/=1ei^2^1ei^2^1ЕJ=1ЕJ=1^j^ii ^-j^m^li ^-j^m^j^ii ^-j^m^li ^-j^mпгЛt=lпгЛt=l% = 1,... ,p,% = 1,... ,p,
bi = bidU) = Е
/=1
bi = bidU) = Е
/=1
ei
^2^1
ei
^2^1
Е
J=1
Е
J=1
^j^ii ^-j^m^li ^-j^m
^j^ii ^-j^m^li ^-j^m
пгЛ
t=l
пгЛ
t=l
% = 1,... ,p,
% = 1,... ,p,
ei, г = l,...,m; — ортонормир о ванный базис Нт) приведенный в теореме 1.1 и дающий решение задачи 1.1, и для простоты считается, что положительные собственные значения попарно различны:
Ai > А2 > • • • > Хр > 0 (см. теорему 1.1). При этом
рпрх/2
△(ДКЛ) = £ Е + 2££Д £ (е^иц + Ф), г=к^13 = 1г=к-\-1
l^fc^p-1, △(ДЦ-Л) = £е2^ = °(Д p^fe^m.
3 = 1
Доказательство. Доказать следует лишь второе утверждение теоремы об асимптотике решения задачи (4.11) при е —> 0. Необходимое условие минимума (4.11) по ортонормированной системе {пД имеет вид
j=1 а е к, ca^ j=i
у s=k-\-lт
(4.12)(4.12)= У^ PiqUq, 2 = к + 1, . . . , т. q—k^l
(4.12)
(4.12)
Здесь {уд9} ~ лагранжевы множители, которые должны быть найдены из условия ортонормированности {пД. Пусть сц = ei + еЪ^ ^Piq = = 5iq\q + E^iq^ ^Q = к + 1,..., гп. Согласно уравнениям (4.12)
£(,'-Д),„Д =Ев4, г = к + 1,...,т,(4.13)
= 1
откуда следует, что {еД — ортонормированная система собственных векторов матрицы ^2 ^-з^а упорядоченных согласно условию 3 = 1
Ai >>А&+1 > • • • > Хт (для простоты считаем р = т ^ п).
Далее, согласно (4.12) для членов 1-го порядка по е:
^Нт^З^Нт^Зз=1з=1
^Нт^З
^Нт^З
з=1
з=1
= Ajbj + £ фгЧеч, г = к + 1,... ,т. (4.14)
q^k^rl
Умножив эти равенства скалярно на es, найдем
q^k^lq^k^l■Ь ^» (^й es) m —■Ь ^» (^й es) m —
q^k^l
q^k^l
■Ь ^» (^й es) m —
■Ь ^» (^й es) m —
= X^bi, e8^m + ^iS, s = к + 1,... ,m, (4.15)
а для s = 1,...,А: последнее слагаемое в (4.15) отсутствует. Здесь использованы равенства (4.13). Отсюда следует, что
Фвз = У" ,т , 8 = k + 1,..., т
—'/ то
Е
^is = 0, t ^ 8,^is = 0, t ^ 8,q=kElq=kEl% ^ 8^% ^ 8^(^г,ег)т=0, г = к + 1,8 = 1, . . . ,р,(^г,ег)т=0, г = к + 1,8 = 1, . . . ,р,у д=&+1
^is = 0, t ^ 8,
^is = 0, t ^ 8,
q=kEl
q=kEl
% ^ 8^
% ^ 8^
(^г,ег)т=0, г = к + 1,8 = 1, . . . ,р,
(^г,ег)т=0, г = к + 1,8 = 1, . . . ,р,
(4.16)
где для простоты считается, что A^+i > А^+2 > * * * > Хт и использован тот факт, что условие (сц, aq)m = 5iq = (е^ eq)m + г [(eb bq)m + + (e9, Ьг) ] + o(s) в первом порядке по г дает
Тем самым определены сц = е^ + ebt и фц = 6tq^Xq + гф^, Ф q = = к + 1,..., т. Найденные выражения без труда позволяют подсчитать А(Д{Щ). □
Об эффективной размерности измерений на линейном приборе
Рассмотрим важную для практики схему измерений
Cj = Af-j +3 = Г(5.1)
обобщающую (4.1). В (5.1) f.j 6 7vm. ^.j G Нм, j = l,...,n, и A — линейный оператор, моделирующий измерительный прибор, А 6 ^Ttm —>•
Пусть ai,...,am — ортонормированный базис Ф^т и 5^^а^, U j^ — ошибка приближения измеренных сигналов /.i,..., f.n линейными комбинациями первых к базисных векторов. Рассмотрим задачу 4.1, в которой в (4.3) ^({^д}) заменим на
•^({Cj}) = {{/j} СТ^т, Фз = Af.j + v.j^ v.j 6 Г^м^ II v-]\\m
j = 1,...,»}. (5.2)
Так как согласно равенствам (5.1) (см. [5])
J.^A-^.j-vP + U-A-A^j, j =(5.3)
где А- Е (Т^м —> Ф^т) — оператор, псевдообратный к А, I — А-А ортогонально проецирует на ядро JV(А) С Ф^т оператора A, Zj —
произвольный вектор 7£m, j = 1,..., п, то ^({Cj}) , вообще говоря, неограниченное подмножество Ttm х ... х Ptm = (Jtm)n.
Поэтому
sup {^({aj, {/.,'}) || If Л С-ТДЩ})} <
если и только если
52 Е ^й - А” АЛ)1 аР = °, А е7?.т, j =
3 = 1 i=k+lи, следовательно,(/ - А"А)(ц = О,
т.е. а» € Л/ДЛ), г = к + 1, ..., ттг. При этом условии вместо задачи (4.5) получим
sup{Е Е u.3,«Pm\VMcMv^ =
3 = 1 i=k+l
= sup { 52 Е (Л“(Д - РЛ’ аРт\
3 = 1 г=к-\-1
v.j еКм, II^IIm ^Ej, j = 1,...,п} =
= sup { 52(Д - ^ S^.j - гД)м|
v.j |ДНм ^Ej, j =~ min (5.4)
> {aJCAf±(A)
Здесь S^ = ^А-УA^ A- , A^ , как и в (4.6), — ортогональный проектор на линейную оболочку £(n^+i,..., пт),
^(k)f =^ ^г(/? ^г)т, /^т-
i=k-\-l
Нетрудно убедиться, что имеет место
Лемма 5.1. Точная верхняя грань в (5.4) равна
Т,шА3№S^k^Sy.) - ^jl^Cj^M
и достигается при
v-3 = (%) - ^jp^S^.j, j = 1,..., n,(5.5)
где ujj — тот корень 'уравнения
||(Д)-Щ)-Д,ДХ = 4(5-6)
при котором максимально
^ll^to - ^зП=
Рассмотрим подробнее случай достаточно точных измерений, а именно, пусть ej = е^-, е ^ 0, j = 1,..., п. Поскольку в таком случае в (5.5) Uj —> ею, то, ограничившись в (5.5) и (5.6) первым порядком по ш^1, j = 1,..., п, найдем
^2 = II^W^ 11м = €Р3
\ шзшз/ м
Теперь для решения задачи следует найти ортонормированную систему {°i} = {ai({£j})} С-Л/ДЛ), на которой достигается минимум
52 ^^№^'3’+Им)’
где
г=^+1
2т
И^^^’^Им = 52 (аг A E^^aq.A ^.j^^A ) ai. (А ) aq^M. г, q=k-\-l
Глава 3
Оценивание параметров распределения вероятностей
Далее мы неоднократно будем иметь дело с задачами оценивания параметров распределения). Довольно широкий класс таких задач может быть охарактеризован следующим образом. Дано семейство распределений вероятностей Р(-,У), зависящих от вектора параметров / = (Ух,..., /ту , принадлежащего подмножеству Т С Кт и вектор-функция t^ = (Н(У),... , ^(У))* • Требуется построить оценку вектора t(/) при условии, что аргумент / Е Т неизвестен, но доступен наблюдению случайный вектор £ Е 7tn, который контролируется распределением Р(-,У). В этой главе обсуждаются методы оценивания значения £ (У), У 6 Р, посредством случайного вектора или, как говорят, статистики т(£) = (ti (£),..., тД£))* , определяемой таким образом, чтобы ее реализации в известном смысле максимально концентрировались около t(J), / Е Т .В связи с дальнейшими применениями как обычно считаем, что оценка т^ тем лучше, чем меньше ее среднеквадратичное (с.к.) уклонение Е у||т(^) — Д/)|| от t(/) при каждом У Е Т 2). Однако не любые две оценки т и т* значений £ (У), У Е У. можно сравнивать по этому критерию. Если, например,
Е /IIO - он2 ^ Efv^ - ОН2, / € Д (0.1)
причем хотя бы для одного У Е Т выполняется строгое неравенство, то, очевидно, т^ лучше, чем т* ^ ^ оценивает £ (У), У Е Т. Если речь идет о сравнении оценок из некоторого класса Т и т(-) Е Т лучше любой другой оценки из этого класса, то опять-таки все ясно. Но, как правило, при сравнении оценок оказывается, что т'^ ПРИ У Е Т' С Т лучше, чем т^ , оценивает t(f) , а при У Е Р\Р* — наоборот. Такие оценки, естественно, несравнимы по критерию (0.1). По той же причине обычно не существует наилучшей оценки в классе, если последний достаточно широк [20, 21]. Вместе с тем, если для
некоторой оценки т(^) Е Т
т(т(-)) = sup Е /Цт^) - t||2 < оо,(0.2)
то можно считать, что т(^) лучше тД^) при т(т(-)) < т(т'(-)), а в том случае, когда т(т(А) = inf т(т'(ЛА ТМ — наилучшая оценка rz(-)eT
в классе Т. Она минимизирует в Т максимальную с. к. погрешность и называется минимаксной1).
На практике значение т(т(-)) (0.2) в ряде случаев оказывается неадекватным нашему пониманию качества оценки. Действительно, трудно согласиться с тем, что, скажем, т(^) лучше т1^) оценивает t(f), f ^ F, если во-первых, Е у||т(^) — Д|2 = б = const > 0, / Е Т^ во-вторых, Е /||т'(£) — Д|2 = 0 при всех / Е Тисключая / = /о Е Т а при / = /о Е f Пт^^) — Д|2 = б1 > б. В этом случае тД^) оценивает Д/), / Е У. без ошибки при всех / Е 7, исключая / = /0, где погрешность б* больше б, в то время как т(^) имеет постоянную погрешность 5 при всех / Е У. Тем более трудно согласиться, что в этой ситуации т^ и т1 ^ как оценки Д/), / Е У, эквивалентны, если m(т(-)) = т(тД-)) = 5 = б'. Исследователь, как правило, склонен считать, что равенство / = /о «не реально», и выбирает тД-). Однако такое решение, по сути, свойственно задачам оценивания, в которых априори известно распределение вероятностей / Е rtm. Задачи с такой, более полной априорной информацией о параметре также будут рассмотрены в этой главе.
Один из параграфов посвящен проблеме оценивания, в которой имеется определенная симметрия между наблюдениями и значениями параметров распределения. Учет этого обстоятельства приводит к сужению класса оценок, отражающему беспристрастность исследователя при сравнении оценок, обладающих такой же симметрией.
Известен более общий подход к задачам оценивания, основанный на теории статистических решений, при котором вместо с.к. погрешности используются конструкции, свойственные игровой ситуации (риск, потери и т.п.). С ним можно ознакомиться в работах [22, 23].
§ 1. Неравенство Крамера—Рао. Эффективные оценки
Пусть р^х, р, х е тги, / е 7£т ,, — семейство плотностей, отвечающих семейству распределений вероятностей Р(-,/),/ Е 1lmi случайного вектора £ Е Кп, и
Е МО = j т^р^х, f)dx = 1ф +(1.1)
где ^С) = к^^-'-М^У. т^ = (nOf-TfeC))*, Д) = ^(T-.-, ... т/Д-))* — известные функции, определенные на 7tn и принимающие
значения в Ptk. Следующий результат, известный как неравенство Крамера-Рао, позволяет априори оценить предельное качество т^ как оценки t(f).
Теорема 1.1. Обозначим S = {S^}, М = ^М^ и D = ^D^ матрицы, матричные элементы которых даются равенствами *)
0 = Е/^МСД i =j =
f ТУ ТТз ’ м =
пм = ЕЛтХ)-^иЖ(-)-Ш\ i,j = i,...,k.(1.2)
В первом равенстве предполагается, что дифференцирование может быть выполнено под знаком интеграла (1.1), второе при том же предположении следует из условия нормировки J p^(x,f)dx = l. В таком случае справедливо неравенство
(Крамера-Рао)
п(Л^г(ЛгЧП + 8(Лм-(П8ЧП,(1.3)
причем равенство в (1.3) имеет место тогда и только тогда, когда существует к х т матрица С = С(ф), не зависящая от %, такая, что с вероятностью единица
<vtuvrm = cuw3\(1.4)
где О(Т п = (К^рКН!9 ^p^JW
,п к элdjm ) •(L5)
Доказательство. Согласно обозначениям (1.1), (1-2) и (1.4)
D = DU) = Е Дт - УЦ - ty, М = М^Л = Е ,а«Ч= Sa), Е/а = О, S = 8(Л = Е/та* = Е f(T - t - г>* =
<Цу(Л + пулэл<Цу(Л + пулэл(=ЕтЛЛ&^т. (1-6)(=ЕтЛЛ&^т. (1-6)
<Цу(Л + пулэл
<Цу(Л + пулэл
(=ЕтЛЛ&^т. (1-6)
(=ЕтЛЛ&^т. (1-6)
Для любой к х т матрицы С
О ^ Е Дт — t — г — Са^т — t — г — СаУ =
= Е z(t - t)(T - ty - rr* - CS* - SC* + CMC* =
= Ef(r- tyT - ty - rr* - SM~S* + (C - SM")M(C - 8М"У;
rr* =ЕДт-УЕЛт-1у.rr* =ЕДт-УЕЛт-1у.(1-7)(1-7)
rr* =ЕДт-УЕЛт-1у.
rr* =ЕДт-УЕЛт-1у.
(1-7)
(1-7)
Все матричные элементы являются функциями / 6 Кт •
Здесь использован тот факт, что для любых случайных векторов а и т JV^a) С ЛГ(^ТЛ или, что то же самое, 7^(Еа) D 7^(Еат) = = 7£(Е*а) (см. включение (2.2) гл. 1). Это означает, что 1^(8*) = = 7?,(Е ^оУтМУ)сГуМ) и, следовательно, SM~M = S, ММ~8* = = 8* (М~М = ММ-, ибо М — симметрическая матрица), ММ— матрица ортогонального проецирования на 7^(М), (ММ-)* = = ММ-. Положив в (1.7) С = SM~, получим неравенство (1.3).
Пусть существует матрица С = С(/), такая, что выполняется равенство (1.4). Тогда Е fra* = СЕ ^аа* или, иначе, 8 = СМ. Следовательно, (С — SM-)M(C — SM-)* = 0 и согласно равенству (1.7)
Е ^т - <т -ty = D = тС + SM-S*.(1.8)
Наоборот, пусть выполнено равенство (1.8). Тогда согласно соотношениям (1.7) для всякой матрицы С
^Ут-t-r- Со^т -t-r- СаУ = (С - SM-)M(C - 8М~У-
Выбрав С = SM~, найдем, что с вероятностью единица выполняется равенство (1.4). □
Следствие 1.1. Матричное неравенство ') (1.3) влечет следующие неравенства [24]: для диагональных матричных элементов D =
и для детерминанта: det D det(rr* + 8М-8*\
Следствие 1.2. При условиях теоремы 1.1
Е/Щ —1||2 = trE/(r-i)(r-i)* ^ tr (rr* +SM~S*), f 6Rm, (1.9) и, более того, для любой матрицы U должного размера
Еf\\W-i)||2 = tr(U(rr* +SM-SYUY,(1.10)
причем в первом случае равенство выполняется тогда и только тогда, когда выполняется равенство (1.4) при некоторой матрице С(/).
Левая часть неравенства (1.9) (или (1.10) в более общей ситуации) определяет погрешность оценивания £(/) с помощью т(^) как функцию / 6 Пт. Чем меньше Е /||т(^) — t(/)||2 для / 6 Кп. t, тем выше качество оценки т(^); однако при таком сравнении оценок могут возникнуть трудности, оговоренные во вводных замечаниях к этой главе. Неравенство (1.9) характеризует предельное качество т(^) как оценки УЛ. fenm._
Если sup tr (rr* + SM S*) = сю, то статистику т, очевидно, нельзя рассматривать как оценку УЛ. / С ^т; для того чтобы т была оценкой t(/), / G Гт. необходимо, чтобы sup tr (rr* +
^SM-S*) < 00.
') Напомним, что, по определению, неравенство (1.3) означает, что (ж, Dx) У^ ж)2 + (ж, SM-8*х^ для любого вектора ж 6 Тк •
Замечание 1.1. Если т(/) = 0, то в теореме 1.1 речь идет о так называемой несмещенной оценке t^). Несмещенная оценка т(^) называется эффективной, если D = Е /(т — t)(r — t)* = SM~S*,f ЕН™. В этом случае Е/(т - t)(r - ^)* = ST — ковариационная матрица т(^). В более общем случае, когда выполняется равенство (1.8), т(^) — эффективная оценка своего математического ожидания £(/) + т(/), У G Кт.
Пример 1.1. Рассмотрим в качестве характерного примера семейство нормальных распределений Ы^Аф, Е), где А и Е > 0 — заданные матрицы, / G Пт — вектор параметров. Измеряемый вектор £ ЕКп удобно определить равенством £ = Аф-Vv (6.1) гл. 1, в котором случайный вектор v Е Пп контролируется нормальным распределением Af(0,E). В данном случае вектор (1.5) а = Л*Е-|(т — Л/) = = афщ фф Пусть t(J) = UУ, г(/) = Вф + 5, где U, В — заданные кхт матрицы, b — вектор из Пи вектор параметров / — произвольный вектор Нт. Условие (1.4)
Щ) = t^P + г(/) + С(/)а(ж, /) =
= UJ + Bf + Ь + СА*Е"Чж- АП (1-11) выполнено для оценки 1)
т(ж) = Ь + СА*^-1х, х^,(1.12)
если и только если
и + В -СА*'£"1А = 0.(1.13)
Класс эффективных оценок линейных функций t(f) = Uf выделяется условиями несмещенности В = 0,5 = 0, и условием разрешимости уравнения (1.13) относительно С (при В = 0). Последнее, как известно [5, 25], разрешимо тогда и только тогда, когда U удовлетворяет уравнению (см. условие (6.5) гл. 1)
ВЦ - (A*S“1A)“A*S“1A) = ВЦ - А" А) = 0,(1.14)
или, иначе говоря, тогда и только тогда, когда равенство Аф = 0 влечет иф = 0, ф Е Нт. Всякое решение уравнения (1.13) (при В = 0) может быть записано в виде
С = U(A*^-TA)- + Z(I - А" Аф
где Z - некоторая матрица. Поэтому эффективная оценка t(/) = иф в данном случае является линейной функцией £
т(£) = и(А*^"1А')"А*^"Ц = СЩ^АЩ-1/^15)
и ей сопутствует с.к. погрешность
Е m(€) - Г/||2 = tr (C(A*S-1A)“C*),(1-16)
х) т естественно не может зависеть от ф. Равенство (1.12) отражает это условие.
поскольку, как нетрудно убедиться, М = А*Е-1А, S = U, D = = 1ЦА*У-А АД1Р (см. (1.7)). Для любой другой несмещенной оценки U/ погрешность не меньше значения (1.16). □
Замечание 1.2. Если условие несмещенности не выполнено, то
Е ||т - t||2 = tr (rr* + SM"S*) =
= \\Bf + b\\2 + tr ((U + B)M~(U + В)*), (1.17)
ибо S = CM^ U + В — СM = 0, причем предполагается, что уравнение CM = U + В (1.13) разрешимо относительно С .Следовательно, если В ^ 0, то в случае, когда / — произвольный вектор Вт, погрешность (1.17) не может быть оценена: sup{E ||т —1||2|/ Е^Д = = ос, а если В = 0, то выражение (1.17) принимает вид
Е\\т - t||2 = ||6||2 + tr (UM-U*) > tr (UM-U*),
согласно которому следует считать b = 0, если мы хотим получить оценку с наименьшей погрешностью.
Следовательно, в рассматриваемом случае, когда вектор параметров / может априори принимать любые значения в Rm, линейная оценка U/, f Е Вт, непременно должна быть несмещенной, так как в противном случае либо вообще не может быть оценена погрешность оценивания (при В ^ 0), либо оценка не является наилучшей (при b 0).
Пример 1.2. Согласно замечанию 6.2 к теореме 6.1 гл. 1 оценка (1.15) может быть записана в виде т(^) = Ro6-> где для U Е (Rm —> КД линейный оператор Ro является решением задачи на минимум:
sup Е |Що€ - Г/||2 = inf{ sup Е ||де - Г/||2|Д € (Д„ Rk^ = fE7tmfE7tm
= inf{tr (ДЕД*)|Д е (Д„ -> Да), RA = U} = tr (U^^A^U*).
(1.18)
Таким образом определенная оценка является наилучшей в классе линейных несмещенных оценок. Случайный вектор Коб, имеет нормальное распределение JV(RoAf, Rq^Rq) = МД f .U М~иД. которое, в отличие от распределения M^Af, Е), вообще говоря, вырожденно. Оно сосредоточено в линейном подпространстве Rk натянутом на собственные векторы корреляционного оператора UMU*. отвечающие положительным собственным значениям. В ортогональном дополнении, натянутом на собственные векторы ШГС. отвечающие нулевым собственным значениям, статистика Ro б не принимает значений с вероятностью единица.
Замечание 1.3. В рассматриваемом случае нормального распределения оценка (1.15) является наилучшей несмещенной оценкой £(/) = Вf, / Е Rm, в классе всех гильбертовых несмещенных ста-
тистик).
Как мы увидим позднее, это утверждение перестает быть верным без условия несмещенности. В §3 будут построены нелинейные оценки Пф, для которых с.к. уклонение меньше (1.16) при любом / Е Rm- С другой стороны, если исходить лишь из предположений Е f^ = = Аф, Е /(£ — АфУф, — АфУ = Е, ф Е Rm- свойственных теории второго порядка, но не предполагать, что £ контролируется нормальным распределением, то статистика (1.15) остается наилучшей несмещенной оценкой Uф в классе линейных несмещенных оценок. Чтобы глубже понять роль нормального распределения в этом случае, рассмотрим еще раз линейные оценки, подробно изученные в гл. 1.
Пусть наблюдаемый вектор £ имеет вид
^ = AJ + v, f6Rm,(1.19)
где v — случайный вектор с известным корреляционным оператором ^р = Е и математическим ожиданием, равным нулю). Не предполагая известным распределение v, рассмотрим задачу линейного несмещенного оценивания t(J) = иф, ф Е Rm- в которой для заданных линейных операторов А, Е и U следует найти линейный оператор Ro так, чтобы (см. теорему 6.1 гл.1)
sup Е||М-Г/||2=тш{Е||Де-Г/||2 Д€(7г„^тг6), RA = UY
Так как sup{E /||Я£ — ^7/||2 ф Е Rm} < сю, еслиТак как sup{E /||Я£ — ^7/||2 ф Е Rm} < сю, еслии только еслии только если(1.20)RA =(1.20)RA =
Так как sup{E /||Я£ — ^7/||2 ф Е Rm} < сю, если
Так как sup{E /||Я£ — ^7/||2 ф Е Rm} < сю, если
и только если
и только если
(1.20)
RA =
(1.20)
RA =
= U, то задача (1.20) эквивалентна задаче
tr (Я0ЕЯ*) = min{tr (R^R*)\R Е (Rn Rk\ RA = U}.(1.21)
Предположим для простоты, что оператор Е невырожден. Тогда уравнение RA = U (разрешимое при условии (1.14)) эквивалентно уравнению ^^'^(Е-’/2 Л) = U, всякое решение которого можно записать в виде
ЯЕ1/2 = UfJZT^Ap + Z(I - УГ1/2А(УГ1/2АГФ
где Z - некоторая матрица должного размера. Поэтому
tr (R^R*) = tr (U(A*^-TAyU*H
+ tr (zy - Е-1/2А(^-1/2А)-)гу > tr (u^^A^uy
и, следовательно, минимум в (1.21) достигается при Z = 0. Итак, искомая линейная несмещенная оценка Пф существует лишь при условии (1.14) и дается равенством (1.15). Ей сопутствует погрешность (1.16).
Этот вывод совместно с результатами теоремы 1.1 и следствия 1.2 позволяет записать для случая измерения (1.19) неравенства
tr ПЛАКАТ и*) = min^E л^ - г/||2|д в (тг„ тщ
ЯЛ = £1} ^inflE/llT^-rZ/llX-), EfO = Uf,
^ tr (UM-U*) = tr (U(A*NA)-U*), (1-22)
где N - матрица с элементами )
/ <9 1прЩ) а 1прЩ) \,
^=Е/TC’ M = l,--.,n.(1-23)
В самом деле, согласно равенству (1.19) p^(x,f) = рАж — Af), х Е rtn, / E rtm , где Pv(-) — плотность распределения v. Поэтому
Mst = E z 99= V AisNу A jt = (A*NA)st.
Правая и левая части неравенств (1.22) не зависят от / Е Пт.
Итак, доказана
Теорема 1.2. Зафиксируем матрицу N (1.23) и при этом условии вычислим mintr ([/(Л*£~1 Л)~ [/*) по всем распределениям v. Он равен tr (U(A*NA)~U*) и достигается на нормальном распределении ^(О,^-1), поскольку, как легко убедиться матрица, N (1.23) равна Е-1, если v ^^(0, Е), и в этом случае неравенства (1.22) превращаются в равенства. С другой стороны, если в (1.22) зафиксировать матрицу Е и при этом условии вычислить maxtr (U(A*NA)-U*) по всем распределениям v, то он будет равен tr (U^A*1^-1 A)-U*) — значению tr (U(A*NA)~U*) на нормальном распределении ^(0, E).
Задачи с априорной информацией. Линейные минимаксные оценки
Предположим, что в задаче оценивания значения функции £(/) известно, что / Е Т СПт, причем множество Т, априори ограничивающее возможные значения аргумента /, таково, что для некоторой оценки т(-) m^ = sup{E /||т(^) — t(/)||2]/ Е Т7} < сю. В таком случае качество оценки можно определить значением т(т(-)) и считать, что оценка т(^) тем лучше, чем меньше для нее т(т). Пусть Т — некоторый класс оценок. Если существует оценка т(^) Е Т, удовле-
творяющая условию
т(т(-)) = sup{E f\№ - t(/)||2|/ е ^} =
= TmfTSup{EМО ~ tUW\f G Т}, (2-1)
то она называется минимаксной в Т. Минимаксная оценка минимизирует максимально возможную с.к. погрешность
(2.2)
В этом параграфе будут рассмотрены простейшие минимаксные оценки т(^) вида R^ + г линейных функций t(f) = U/, / 6 Rm, где г G Rk U € (Rm —> Rk) ^ R Е (Rn ~> Rk) ~ линейные операторы и вектор £ G Rn определен равенством (1.19). Речь пойдет о задаче)
sup{E||^ + r-[//||2|y 6 Д ~ min,
1г,К
которая с учетом равенства (1.19) может быть записана следующим образом
8ир{||(ЯЛ-Д/ + г||2|/ 6 Д+ЩЯЕЯ*) ~min. (2.3) r,R
Пусть в задаче (2.3) Т — ограниченное множество в Rmi симметричное относительно /о Е Т. Последнее означает, что Т вместе с любым вектором / содержит вектор 2/о — / • При анализе задачи (2.3) будет использована
Лемма 2.1. Для любой матрицы Н G (Rm -4 Rk)
inf sup ||Я/- 6|| = sup ||Я(/-/0)||,
т.е. точная нижняя грань по b Е Rk достигается при b = НД.
Доказательство. Так как \\Н / — 6||2 = \\Н / — bi ||2 + Ц&2Ц2, где bi Е R(H) (и поэтому bi = Hg при некотором g Е Rm) и 62 Е R-^H) , то inf sup ||Я/ - &|| = inf sup ||Я(/- g)||.
OETtkgEK-ттг
Рассмотрим функцию (Дд) = sup ||7Д/ — p)||, g E Rm, конечную fER
для всех g E Rm в силу ограниченности множества T. Во-первых, <рД — выпуклая функция [26], ибо
^(«91 + (1 - 0)92) = sup ||аЯ(/ - ух) + (1 - a)H(f - 92)||
^ 8ир[а||Я(У - 9i)|| + (1 - а)||Я(/ - 92)||] ^ a sup ||Я(/ - 9Х)|| + ferfeF
+ (1 - a) sup ||Я(/ - 92)|| = а^дт) + (1 - fEF
О а 1, 91,92 G тгт.
Во-вторых,
^(9) = sup \\H(J - 9)|| = sup ||Я(2/0 - / - 9)|| = у?(2/0 - 9)-
Как следствие этих свойств, получаем
Д/о) = v^g + |(2/о - 9)) ^ ^(д) + |^(2/о -д) = ^(д)
для любого д Е Пт . Поэтому min ср(д) = (Д/о) • □
Лемма 2Л позволяет переписать задачу (2.3) в следующем виде
8ир{||(ЯЛ-Д(/-/о)||2|/е Л+ НЯ£ЯЭ(2.4)
Если минимум в (2.4) достигается на операторе R = Ro , то согласно лемме 2.1 искомая минимаксная оценка
тоК) = ^/о + ЯоК-М)(2.5)
Здесь уместно вернуться к равенству (1.18), определяющему погрешность несмещенной оценки (1.15), чтобы заметить, что погрешность h минимаксной оценки (2.5) удовлетворяет неравенству
h = inf{tr (R^R*) + sup \\(U - RA)(J - /0)||2|Я} < inf {tr (R^R*)^ Зег
+ sup \\(U - RA)(J - /о)112 R, RA = U}= inf{tr (R^R*)\R, RA = [/}
Зег
и, следовательно оценка (2.5) заведомо не хуже оценки (1.15). Это и понятно, поскольку при получении оценки (1.15) условие / Е Т не учитывалось.
Заметим, что в задаче (2.4) можно считать, что R^R^ CR(U).
Лемма 2.2. Пусть П — оператор ортогонального проецирования на R(U), тогда оператор Ro, на котором достигается min в (2.4), удовлетворяет условию ПЯ0 = Ro.
Доказательство. Положим R = ПЯ + (I — П)Я. Тогда tr (R^R*) = tr (ПЯ£Я*П) + tr ((I - II)R^R*(I - П)) > tr (ПЯ£Я*П), (2-6)
MU - НАШ - /о) II2 = ||[П((/ - RA) -(I- n)RA\(J - /0)||2 =
= ||Д-ПЯА)(/-/о)||2 + ||(/-П)ЯА(/-/о)||2 ^||(Г-ПЯЛ)(/-/о)||2.
(2-7)
Обозначим 5 = inf{tr (ПЯЕЯ*П) + 8пр ||(?7—HRA)(J—/о)||2}- Тогда R
в силу неравенств (2.6), (2.7)
б = inf{tr (R^R*) + sup ||([7 - RA)(f - /0)||2} ^ R
< inf{tr (RAR*) + sup \\(U - RAXf ~ /о)||2|Я, (I - H)R = 0}.
Следовательно, действительно, (I — П)Яо = Он тем самым R(R0) сЩИ). □
Пусть в задаче (2.4) Т = {/ G Rmi 1Ю(/ — /о)|| ^ 1} ~ эллипсоид, где Q невырожденный оператор и rank U ^ 1, т.е. Uf = а^иУ ЦиЦ = 1. Согласно лемме 2.2 решение задачи (2.4) в этом случае следует искать в виде R- = a^q), где q — искомый вектор. При этом RA(f ~ /о) = a(q,A(f - /о)) = a(A*qJ - /0) и, следовательно, для
\\(U - RA)(J - /о)|| = \\а(и - A*q, / - /0)|| < IHlbD-1^-
- A*q)\\\\D(J - /о)|| < ИН^^ - A*q)\\. (2.8)
где D = (Q*Q)1//2 — положительный квадратный корень из оператора Q*Q(> 0). Так как при D(f — /о) = D-1^ — A*q)/||Z)_1(u — A*q)||, f E T в (2.8) выполняются равенства, то
sup \\(U - RA)(f - /о)|| = IHII^1^ - A*q)\\.
Следовательно, в рассматриваемом случае rank U ^ 1, задача (2.4) эквивалентна задаче вычисления минимума
in^KlIS1/2^2 + HalPlID"1^ - ЛЧ)||2|д £ КД (2.9)
Первое слагаемое под знаком inf равно tr(RAR*). В этом можно убедиться следующим образом. По определению, ЯЕ1/2- = = фЕ1/2^, •), поэтому сопряженный оператор действует согласно равенству (ЯП1/2)*- = Е1//2^(-,п) и соответственно RA1'2(RA1/2)*• = = RAR*- = п||Е1/2^||2(-, а). Этот оператор имеет единственное положительное собственное значение, равное ||а||2||111//2^||2 (если rank U = = 1), отвечающее единичному собственному вектору п/||п||. Теперь осталось вспомнить, что tr (RAR*) равен сумме собственных значений RAR*. Поскольку под знаком inf в (2.9) стоит квадратичная функция q. inf достигается на решении уравнения
Aq - AD"2 (и - A* q) = 0(2.10)
— необходимого и достаточного условия минимума (2.9). Решением уравнения (2.10) является вектор
q = (AD”2 А* + Е)-1 AD~2u = Т'М^Т"1 А + Р2)-1^,
а искомая оценка (2.5) может быть записана следующим образом:
тоЮ = а^ Jo) + a^^A^D2 + М)"^, S"1^^ - AJ0)) =
= UJo + U^M + D2)-^*^"1^ - AJo), (2.11)
где ) M = A^-M.
Сформулируем полученные результаты.
Теорем а 2.1. Решение задачи (2.3), в которой U f = a(f, и), Т = = {/€Д„ ||Q(/ — /о)|| ^ 1}; Q*Q = D2 — невироснеденний оператор, дается равенствами (2.5), где Ro = U^A*1^-1 А + D2)-1 А*1^-1, или равенством (2.11). Погрешность h оценивания (2.9) равна
||п||2||(Л*5:-1Л + D2)-1/2n||2e(2Л2)
Рассмотрим теперь задачу оценивания, в которой априорная информация задана условием
/еЖЩ/е7гт,|Д/-/о)| ^«>11 = 1}-(2.13)
В данном случае Т — слой в Rm толщины 2а, ортогональный вектору и и симметричный относительно /о • Если, например, / = = (/(^1),..., /(^т))* , то точки (жд /(xj), г = 1,...,m, приближенно задают график функции /(•), а включение / G Т (2.13) может, в частности, означать, что в точке ж^ |/(#г) — /о(^г)| ^ а, см рис. 3.1.
Рис. 3.1. Априорное ограничение на значение /(•) в точке ж г
Пусть требуется оценить Uf = а(/, е), ||е|| = 1. Речь идет, например, об оценивании значения f(xt) при условии, что |/(ж^) — -/оД)! а.
Следуя лемме 2.2, будем искать оператор R в задаче (2.4) в виде R = а(ц q). Так как
IIД - КАШ - /о)|| = ||а|||(е - A*qJ - /0)|,(2.14)
то неравенство sup 11 (U — RA) (/ — /о) 11 < оо, необходимое для возможности оценить погрешность, в силу условий (2.13), (2.14) эквивалентно требованию
е — A*q = р,и(2.15)
на искомый вектор q, где ц - неопределенный множитель.
Уравнение (2.15) разрешимо относительно q. если и только если
П(е — ри) = (ф(2.16)
где П = I — А* (А*)- = I — АА ортогонально проецирует на JV(A). Если Пи ^ 0, то в свою очередь для того, чтобы могло быть выполнено условие (2.16), необходимо и достаточно, чтобы векторы Пе и Пи были коллинеарны, т.е. чтобы
Пе = ((Пе,и)/||Пи||2)Пи.(2.17)
В этом случае условие (2.16) выполняется при единственном
Ц = ^о = (Пе, и)/||Пи||2.(2.18)
Если Пи = 0, то условие (2.16) выполняется, если и только если Пе = 0 или, что же самое, (/ — A-A)U* = 0. Это равенство эквивалентно равенству U(J — АА) = 0 — необходимому и достаточному условию существования несмещенной оценки т(^) (1.15) значения ul №.. Параметр ц в (2.15) при этом остается произвольным.
Любое решение уравнения (2.15) можно записать в виде
S1^ = (A*s-V2)-(e _ ^ + (J _ (A*E-1/2)-A*S-1/2)^, выбирая произвольно вектор z. Поскольку согласно условиям (2.14), (2.15)
sup ||Д -fiA)(/-/0)||2 = IHW Кт
И
ПЛЕЛ* = ||a||2||S1/2Q||2 = ||а||2[||Л*£-1/2)-(е _
+ ||(Z - (A^-ra^^^-i^^ip ^ ||a||2||(4*s-i/2)-(e _ мм)ц2;
то задача (2.4) сводится к отысканию
h = ||a||2 inf{||(A*E-1/2)-(e - ци)||2 + о? p^Y(2.19)
Теорема 2.2. Если Пи ^ 0 и выполнено равенство (2.17), то
h = HalPdKA^-1^)-^ - №U)||2 + ^2(2 20)
и искомая оценка дается равенством
ToU) = Ufo + ДоК - A/о) =
= a(/o, е) + a((A*S-1/2)-(e _ ^м),_ Л/о)).(2.21)
Параметр ро в равенствах (2.20) и (2.21) определен равенством (2.18).
Если Пи = 0, Пе = 0, то в задаче (2.19) точная нижняя грань достигается на решении р = ц* 'уравнения —(М-(е —ц, и), и) + а2ц = = 0 (М = А*Е-1А). В этом случае р* = (М-е,и)/((М-и,и) + а2)
и соответственно
h = НаН^КТ^-^-^ - ^М)||2 + ДД] =
= ||а||2((М“е,е) - д*(М“е,и)), тЦО = ауо, е) + «А^-^Г^е - ^и\ ST1^ _ л/0))(2.22)
— искомая оценка.
В заключении рассмотрим задачу оценивания (2.4), в которой множество Т определено в виде
Т =у ^КтЛигЛ - к? г = 1,...,8}(2.23)
обобщающем (2.13). Здесь щ, г = 1,..., 8 — линейно-независимые векторы s ^ m. Пусть ui,... ,и8 — система векторов Rm биортогонально сопряженная с Ui,..., us , т.е.
^Z^j) == ] и * / '''1
(0, г^з, г, ; = 1,. ..,s.v
С ее помощью множество Т (2.23) можно представить следующим равенством
Г = {/ = /о + ^^ + g, g е CL^ui,... ,us\
Z—1
г =(2-25)
воспользовавшись тем, что в разложении / — /0 = ^ /z^z + g. ft = z—1
= U - fo,Ui) И (5,Ui) = 0, i = 1,.. .,s.
Условия (2.24), вообще говоря, (при s < m) не определяют систему щ,..., vs однозначно. Единственная система щ,..., vs определится условиями (2.24) и требованиями
Е £Сщ,... ,us), г = 1,... ,s.(2.24*)
При этом в (2.25) можно считать £± (ui,..., us) = £± (щ,..., us).
Пусть как в предыдущей задаче Uf = а(/, е), ||е|| = 1, / 6 Пт, тогда
R- = а(-, q), || Д - RA)(J - /0)||2 = ||<(е - A*q, £+ д)2,
tr (ЯЕЯ*) = |H|2(q,£q)(2.26)
и, следовательно, задача (2.4) разрешима (sup \\(U — RA)(f — /о)|| < сю) лишь при условии: (е — A*q^g) = О при любом g Е £±(ui,..., us), которое в свою очередь определяет множество D допустимых значений q Е rtn. Последнее определим
следующим образом. Пусть П5 — ортогональный проектор на £(щ,...,щ), тогда
Р = b е Rn, (I - Щ)(е - A* q) = 0},(2.27)
и для задачи (2.4) получаем следующую формулировку:
sup{(e - A* q^fiUifAp ^а?, г = 1,... ,s}+ г=1
+ (q,~min.
qE^tn ,(/-П5)(е-Д*д)=0
Так как, очевидно,
sup{ f^ (е _ а*^^^ 1/2 «L 4=1'
ЛЧ,Уг)аг)|ЛЧ,Уг)аг)|
ЛЧ,Уг)аг)|
ЛЧ,Уг)аг)|
то доказан следующий результат.
Теорема 2.3. Пусть в задаче (2.4) Т определено равенством
U/ = a(f, е), / Е Т, R- = а(-, q), гщ г = 1,..., збиортогонально сопряженная с системой Ui,... .и, система, удовлетворяю
2+2+щая условиям (2.24) и (2.24*). Тогда задача оптимального минимак
2
+
2
+
сного оценивания (2.4) эквивалентна задаче
+ (q^q) ~ min, где D — множество (2.27). qED
Дополнительные результаты, касающиеся проблем оценивания, рассмотренных в этом параграфе, содержатся в работах [28-33] и будут приведены в гл. 7, посвященной нелинейной редукции измерений.
§ 3. Оценки типа Стейна—Джеймса
Вновь вернемся к задаче оценивания вектора параметров / Е Пп по наблюдению случайного вектора £ Е Rn из распределения JVy^) 1). Мы намеренно упростили задачу, выбрав А = I. чтобы сосредоточить внимание на нелинейности рассматриваемых в этом параграфе оценок. Как было отмечено в примере 1.4, оценка (1.15) , в данном случае равная £, является наилучшей несмещенной оценкой значения / Е Пп в классе всех гильбертовых несмещенных статистик. Иначе говоря для любого / Е Rn
(3.1)(3.1)Е/||^-/||2 = ш£Е/||Щ)-/||2,
(3.1)
(3.1)
х) В этом параграфе развиты идеи, изложенные в работах [34, 35]; см. также [36-39].
где inf вычисляется по всем несмещенным гильбертовым статистикам т(-). Поскольку, устранив в (3.1) условие несмещенности Е ут(^) = = У, У Е rtn, мы не можем ухудшить оценки, очевидно, что infT(.) Е у||т(^) — У||2 Е /||£ — У||2, У Е rtni и можно попытаться улучшить оценку, допуская контролируемое смещение. С этой целью проанализируем величину 5 разности погрешностей оценивания У Е ГЛ статистиками £ и т^ = £ + д^:
й = Е/це-/||2-Е/|к)-/ц2 =
= -2Е;(е- ЛуО-Е/НуО2 (3.2)
с тем, чтобы впоследствии должным образом выбрать поправку д^. Для вычисления стоящих справа в (3.2) математических ожиданий нам предстоит выполнить ряд вспомогательных преобразований. Так как ^-exp(-Q/2) = -(Е-1(ж -/))А exp(-Q/2), к = 1,...,п, где Q = (Е-|(т — У),ж — У) — квадратичная форма, которая является аргументом экспоненты плотности распределения ЛГ(Л Е), то в координатной записи
(^ - Лг =(^ - Лг =У^ Лкк=1У^ Лкк=1exp(Q/2)exp(Q/2)(3-3)(3-3)
(^ - Лг =
(^ - Лг =
У^ Лк
к=1
У^ Лк
к=1
exp(Q/2)
exp(Q/2)
(3-3)
(3-3)
и соответственно
(® - У, д) =
(3-4)(3-4)= -exp(Q/2) ^ ^tk"S—(g«(^)exp(-Q/2)) + ^ ^ГЗ
(3-4)
(3-4)
i,k=l Хкi,k=l 3
где х = (Ж1,... ,хпу, д(-) = (91(-),---,дп(-))*, S = {5Щ. Ограничим выбор вектора дЛ таким образом, чтобы
к=1к=1Эх =Эх =
к=1
к=1
Эх =
Эх =
= lim
Е
где z^-) = 52 ^кгЭгЛ ехр(—Q/Л^ = 1^...^ da — векторный
элемент площади поверхности сферы 52 хк = Р2 в ^^ • Воспользовавшись выражениями (3.3) — (3.5), найдем
гдегде(3-7)(3-7)
где
где
(3-7)
(3-7)
Рассмотрим класс оценок
М = ф1+^"Ч, 8 = 8(0,М = ф1+^"Ч, 8 = 8(0,(3-8)(3-8)
М = ф1+^"Ч, 8 = 8(0,
М = ф1+^"Ч, 8 = 8(0,
(3-8)
(3-8)
напоминающих по структуре байесовскую оценку случайного вектора Ф Е И^ из распределения JV(O.sI) (при s = const) в схеме измерения £ = ф + v , в которой случайный вектор v Е Кп распределен согласно JV(O, Е) и не зависит от ф (см. § 6). Точно такой же вид имеет линейная оценка случайного вектора ф при измерении £ = ф + v в теории второго порядка, когда ф и v некоррелированны, Е ф = Е v = 0 и заданы корреляционные операторы Е^ = si и ^^ = Е (см. (5.2) гл.1). В каждом из этих случаев, как известно,
(3.9)(3.9)minE |Щ^ — у||2 = tr (S"1 + s"1/)"1
(3.9)
(3.9)
и достигается на R = Ro = s(sl + S)-1, причем R^^ = Е (у>|£), если речь идет об оценивании ф в задаче с заданным нормальным распределением р^ф. Погрешность (3.9) меньше, чем погрешность оценки £, и мы надеемся благодаря этому обстоятельству получить в виде (3.8) оценку лучше, чем £. Для этого предстоит должным образом выбрать s^. Подчеркнем, что в нашем случае, когда / — вектор параметров, принимающий произвольные значения в Ип, статистика (3.8) при s = const как оценка / Е Ип неприемлема. Действительно, ее погрешность
в /1№ + 81ГЧ - /II2 = 1№ + Д-1/||2 + е + sz)"M|2
не может быть оценена из-за неконтролируемого смещения —
sup ||E(sZ + Е)-1/||2 = сю.
Для оценки (3.8) при £ = х Е
g(x) = s(sl + Е)-1ж — х = —E(sZ + Е)-1ж = —E(sZ + Е)-1Е?/,
где вектор у определен в равенствах (3.7). Выберем з = з(х) = = ||Еаж||2/(2сД , где ш > 0, а < 0 — параметры задачи. В таком случае для q(-) (3.7) найдем: q(x) = tr E(s(^)Z + Е)-1Е — со-1 ||E1+a(s(x)Z +
+ Е) ^t/H2 и, следовательно,
§ = 2Е ;tr ади + s)-1s - Е f\w + е)"Лц2- -lE^^HglZ + SrW
2Е z{tr E(OI + S)-1S - (2 + W||5T“||2)sOS(s(g)Z + S)112}, поскольку с вероятностью единица
P (8(g)z + sp1 ен2 P^^s^z + srTlIW2 =
= 2W<)||s1-“(s(g)z + s)-1||2 $5
<2^S(^||V-*||2||v(.s^)J + vri||2.
Поэтому неравенство 5 ^ 0 будет выполнено, если с вероятностью единица параметр ш > 0 удовлетворяет условию
2 + tr (ЭД01 + S)-1S)/(3(g)||S(s(g)Z + S)"1!!2),
Ша =w||S-“||2(=w||S||-2“)(3.10)
Пусть ст2 ^ 6Т2 ^ • • • ^ ст2 > 0 — полный набор собственных значений Е. Тогда
tr^gu + s)-1^) =
,2А =1= ® (3.11),2А =1= ® (3.11)S(g)||S(s(g)Z + S)-i||2
,2
А =
1
= ® (3.11)
,2
А =
1
= ® (3.11)
_ "^i2 + ^))2
tl^ + s^W^t
откуда следует, что условие (3.10) будет удовлетворено, если ша подчинить неравенству 2 < 2 + waЦЕЦз/П^П2 (Справа в (3.11) 52 ^ =
г=1
= tr Е2 = ||U||25 — квадрат нормы Гильберта-Шмидта оператора Е (см. [5]), сг^ — максимальное собственное значение Е2, т.е.сг^ = = ||S||2 = ||S2||, ||Е(5/ + Е)-1!!2 = ^/(gT2 + S)2 и для а < 0 ||S1-“(sZ + S)-1||2 = аГ~аЗ^ + s)2 = ||S-“||2||S(sZ + S)-1||2, ибо
max <74^1-“Л(с2 + з)2 = сгГ “Зк0^ + з)2 )•
Разрешив это неравенство относительно cj, найдем, что 5 > 0,
еслиесли0<W = ^||S||2“ ^0<W = ^||S||2“ ^PII1-2PII2РН2-2“PII1-2PII2РН2-2“(3-12)(3-12)
если
если
0<W = ^||S||2“ ^
0<W = ^||S||2“ ^
PII1-2PII2
РН2-2“
PII1-2PII2
РН2-2“
(3-12)
(3-12)
Итак, имеет место
Теорема 3.1. Искомая оценка значения / Е Пп имеет вид
Rw^ = (1 + ц^а^ц2^^^(3.13)
где параметр ио должен бить выбран согласно условию (3.12). Для нее Е уЦЯ^^ — /||2 ^ Еу||^ — /||2 — 5 при любом / Е Еп. Поскольку, как это следует из неравенства (3.11)
trE^Z + E)-^||Е||2
то выигрыш в точности оценивается согласно неравенству
( /trS(sZ + S)-pЦ^щЛРЁгТ( /trS(sZ + S)-pЦ^щЛРЁгТ5^2E/s||S(sZ + S)-1||2x
( /trS(sZ + S)-pЦ^щЛРЁгТ
( /trS(sZ + S)-pЦ^щЛРЁгТ
MU«_f2 + w ^l>
PH2/ VPII2 ( + Др
^2E/||S(SZ + S)-1||2H
В частности, при ша + 2 = ЦЕЦ^/ЦЕЦ2 = ^||Е|| 2а + 2
5 ^ 2Е у5 ^ 2Е уЕ Е +Е Е +2 гаРН"2 гаРН"
5 ^ 2Е у
5 ^ 2Е у
Е Е +
Е Е +
2 гаРН"
2 гаРН"
Замечание 3.1. Следует подчеркнуть, что ио, удовлетворяющие неравенству (3.12), существуют лишь при условии ЦЕЦ2 = = tr Е2 = 52 ^f > 2сг^. Если п ^ 2, то для любого оператора г=1 2
Е ^ О 52 ai С 2о"4, и лишь при условии, что п ^ 3, существуют Е, г=1
для которых tr Е2 > 2||Е||2 и, следовательно, может быть выполнено условие (3.12) для со > 0.
Рассмотрим теперь оценки типа
^ + д^ = Г(Р + ^-Ц F = F^\(3-14)
Они также аналогичны байесовской оценке, соответствующей схеме измерения £ = ф + v в предположении о нормальности ф ~ Ы^дД\ v ^ ^(0, Е) и независимости ф и v. Такие оценки, так же как и оценки типа (3.8), в оговоренных условиях имеют погрешность
^ДЕ^ЕЕДН-^-
= tr (F - F(E + ГД1^ = tr (Е - Е(Е + Е)-1Е), не превосходящую погрешность оценки ^, которая равна tr Е. Однако в нашем случае эти факты, к сожалению, не могут быть непосредственно использованы, ибо при оценивании статистикой ^+^(^) (3.14)
вектора / Е Пи при любом F ^ не зависящем от £, невозможно оценить погрешность
Е/|Д(Е + Е)Щ-/||2 =
= ||S(F + S)"1/!!2 + Ef\\F^ + F)-T||2, / e un.
Выберем F = ££*/(2w), где w > 0 — параметр задачи. В таком случае в согласии с (3.7) д(х) = —^(F + Г)-1 Ед.
Ё ^ = -tr W + s)_ls) + Ё^ W + S)-1S)II(^ + ^МЧ и соответственно в согласии с (3.6)
5 = 2Е /tr (SCF + S)-1^)5 = 2Е /tr (SCF + S)-1^)l-^E/IISCF + S)-1^!2-
5 = 2Е /tr (SCF + S)-1^)
5 = 2Е /tr (SCF + S)-1^)
- Ie /tr (S(F + S)-1S)||(F + S)-1^!2.
Поскольку
(F + E)-1 =+=^-1(F + E)-1 =+=^-1^-ч^-чу2w + ж*Е-1ж ’^-ч^-чу2w + ж*Е-1ж ’
(F + E)-1 =+=^-1
(F + E)-1 =+=^-1
^-ч^-чу
2w + ж*Е-1ж ’
^-ч^-чу
2w + ж*Е-1ж ’
TO
tr (S(F + Е)-ХЕ) = 2шж*Е-Ч/(2ш + z*S-4),
S(F + ЕЦЧ = 2шж/(2ш + z*S“4).
Поэтому ||S(F+S)-1a;||2 = 4ш2||ж||2/(2ш+ж*Е-1ж)2 и для определения 5 требуется усреднить
М*^"Ч" 2ш + С^"ЧМ*^"Ч" 2ш + С^"Чзш + е^-ч w(2w + e^-4)2
М*^"Ч
" 2ш + С^"Ч
М*^"Ч
" 2ш + С^"Ч
1U Ш12 I ш [ 2ш + £*Е-Д
(2ш + С^"Ч)2'
Отсюда следует, что 5 > 0, если с вероятностью единица
2||€Н2. _2№CKiL
2w + е*Е"Ч (2ш + ^Е-1^)2
и > О,и > О,4w2||^||24wtrS
и > О,
и > О,
ДУ+СЁЩ)2 + 2^Г+ДЁЩ
или, что то же самое, если с вероятностью единица
tr Е —tr Е —(2+дщ|22w + CS“4(2+дщ|22w + CS“4и > 0.и > 0.
tr Е —
tr Е —
(2+дщ|2
2w + CS“4
(2+дщ|2
2w + CS“4
и > 0.
и > 0.
Учитывая, что £*Е х£ = ||Е 1//2£||2 и ||£||2 ^ ||£1/2||2||£ 1//2£||2, найдем, что с вероятностью единица
(2 + Д||е||2 _ v (2 + Д||^/2||2||Е-1/2^||2 _
= ||S1/2|||_(2+w)||S1/2||2_
Следовательно, для того чтобы выполнялось неравенство 5 > 0, достаточно определить со из условия НЕ1/2^ — (2 + с^НЕ1/2!!2 ^ 0, со > 0. Заметим, что требование НЕ1/2^ — 2||Е1/2||2 > 0 слабее, чем требование ЦЕЦ2 — 2||Е||2 > 0 в (3.12), ибо
° < У - 2(7i ^ ^ fy ~ 2cri) •г=1\г=1/
Сформулируем полученный результат.
Теорема 3.2. Искомая оценка (3.14) значения / Е Рп имеет вид
O-F(f + ^- 2w + es_4p-
(1 + 2w||s_i/2^h_2)_i^, (3.15) где параметр co подчинен 'условию
о < ш ^ [ЦЕ1/2||| - 2||S1/2||2]/||S1/2||2j(зл6)
гарантирующему, что
E/ll^-Zlp-E/llT^-yi^O
для любого f Е Рп, п ^ 3.
Достаточные статистики
Обсуждая вопросы оценивания параметров распределений, нельзя не остановиться на важном понятии достаточной статистики [41, 42].
Напомним, что статистика Т(£) = (Ti(£),..., ТД£))* называется достаточной для семейства Р(-Д), / Е Рп, если существует вариант условной вероятности Р(-Д\Т), не зависящей от / 1). Грубо говоря,
О Р(-Д\Т = t) можно интерпретировать как распределение вероятностей на подмножестве Т = {ж Е РП1 Т(х) = t} в Рп . Если, например, k = 1 (см. также §6), то Т можно представлять как поверхность в Рп .
Т(^) содержит всю информацию о /, содержащуюся в £, но, возможно, в более компактном виде. Заметим, что тривиальной достаточной статистикой является £, ибо для любого измеримого множества (события) А С Рп
fl С rz д= к
Но интерес представляют нетривиальные достаточные статистики, позволяющие реально уменьшить объем данных, используемых при оценивании, не ухудшив качество оценивания.
Если £ — дискретный случайный вектор (т.е. с вероятностью единица £ принимает не более чем счетное множество значений), то необходимое и достаточное условие того, что Т(£) — достаточная статистика, эквивалентно возможности представления Р(ац f) в виде
= т fEKm. (4.1)
Здесь первый сомножитель, зависящий от /, зависит от ж только посредством Т (ж), а второй множитель от / не зависит.
В случае, когда Р(-, /) имеет плотность р(ж, f^V статистика Т(-) достаточна тогда и только тогда, когда
р(ж,/) = ^(т(ж),/)Л(ж), жетгп, fePm. (4.2)
Эти представления, известные как факторизационная теорема Неймана-Фишера , по существу, означают, что вся доступная наблюдению информация об / проявляется только через значения Т(-). В частности, при Т(£) = t распределение £
?и е а, же = л = р(а n те = о, л тале = о, л =
= Е та / Е та ХЕА Q {Т(ж)=Оже{Т(ж)=О
не зависит от / и, наоборот, из этого равенства, верного для любого события А, следует представление (4.1).
Пусть, например, Р(-, /) ^ JV(Af, Е) и П — ортогональный проектор на pjir^A), П = Е^А^^А)- . Тогда ||Е"/(ж - Л/)112 = = ||ПЕ-1/2(ж — А/)||2 +1|(1 — П)Е-1/2ж||2 и, следовательно, в равенстве (4.2)
д№М) = ехр р-НПЕ-1^^ - Л/)II2
= тгп,г det ехр pi||(J - ПД-ГЩ!2
Щ) = ie-1^ Ж е тг„, / е тгт.(4.з)
Поэтому вся информация о /, имеющаяся в £, содержится и в ПЕ^/Д. в то время как размерность ПЕ1/2, равная ранту проектора П,— сИшТДА), не превосходит min(m,n).
Представим £ в виде суммы
£ = Е^ПЕ"1/^ + ^Щ _ ЩЕ'ГД(4.4)
в которой слагаемые контролируются соответственно вырожденными распределениями JV^Af^^IlS1^2) и АДО, У^/2у — П)ЕХ/2), сосредоточенными на подпространствах ЕХ/27^(П) и Ех/27^(/ — П). Если Т(£) = ПЕ-1/2£ = t. то условное распределение £ = Е1/2^ + + Е1/2(7 —П)Е-1/2£ есть ^(Е1/2^ Е1/2(1 — П)Е1//2) ине зависит от /. Заметим, что взаимный корреляционный оператор слагаемых в (4.4) равен нулю:
Е12ж = Е ^^П^"1/2^, ^2(1 - ЩЕ"1/2^ =
= (Е1/2ПЕ-1/2)Е(Е-1/2(/ - ЩЕ1/2)^ = 0,
ибо П(/-П) = 0.
Роль достаточной статистики в задаче оценивания не ограничивается возможностью уменьшать объем исходных данных без ущерба для качества оценивания. Оказывается, любая хорошая в смысле критерия (0.1) оценка должна быть функцией достаточной статистики1) (теорема Блекуэлла-Рао-Лемана-Шеффе [42]). Действительно, пусть т(£) — оценка Д/) и Т(£) — достаточная статистика. Тогда статистика
не зависит от / и, следовательно, также может служить оценкой Д/). Более того, в любом случае
Е /НЩ) - e)lP = Е ДЕ Д<) - Ц J) |Щ ||2 $5
Е ДЕ дно - ОП2|Т)} = Е /ПО - *(/)112, поскольку для всякого случайного вектора £||Е £||2 ^ Е ||£||2 . Если
т(£) — несмещенная оценка Д/), Е ут(£) = Д/), то тем же свойством обладает и т(£), так как Е /т(£) = ЕДЕ Дт(£)|Т)) = Е /т(£).
Инвариантные методы оценивания
В этом параграфе речь пойдет о задачах оценивания, обладающих естественной симметрией между значениями наблюдаемых и оцениваемых векторов £ и / (или Д/)) соответственно. Характерные черты таких задач проще всего проследить на несложном примере.
Пусть РД-,/), f GK, — семейство распределений, обладающее свойством симметрии:
РиаЦП=РЦ'Л + а)
для любых векторов а, / GB; т(^) обозначим оценку f GB, ее качество охарактеризуем с.к. ошибкой Е у ||т(£) — /||2 . Поскольку в данном случае связь между вектором параметров / и наблюдением £ = ж, определяемая семейством РД-,/), / 6 Р, инвариантна относительно одновременной замены х и / соответственно на х + а и / + а, где а — любой вектор из Р, то естественно предполагать аналогичную связь между значениями оценки и ее аргумента:
т(х + п) = т(х) + а.
Такие оценки называются эквивариантними. Для них качество оценивания не зависит от сдвига а:
Е /+а|Ц(€) - (/ + «)||2 = = Е /ЦЩ + «)-(/ + а) 112 = Е /ЦО - /||2-
В данном случае это означает, что любое значение / Е Р оценивается посредством т(^), ^ ^ РД-, /), с одинаковой точностью Д.
Преобразования £ = х —> ^ = ж + п, / —> / + а можно интерпретировать как переход к новым системам отсчета в пространствах наблюдений и параметров соответственно. В таком случае речь идет об инвариантности задачи оценивания относительно выбора систем отсчета. Это естественное условие, так как выбор системы отсчета не может привнести дополнительной информации для уточнения оценки.
Условия инвариантности, естественно, сужают класс возможных оценок, и в ряде случаев это приводит к тому, что среди инвариантных может быть найдена наилучшая оценка (отсутствующая в более широком классе) [20, 42].
Рассмотрим подробнее структуру инвариантных задач оценивания, ориентируясь на применения, характерные для целей анализа и интерпретации эксперимента. Для этого нам понадобится понятие инвариантного семейства распределений вероятностей. Обозначим В пространство наблюдений, У — ГРУППУ измеримых отображений В на себя, т.е. таких, что QB = В и для любого измеримого множества В С В и любого преобразования g G 6 множество дВ = {Дж. х G В^
Д Для простоты можно считать, что распределение РД-, /) задано плотностью вероятности рДж, /) (относительно меры Лебега), зависящей от разности ж — /. При этом
Е /+а||т(О - (/ + а)||2 = У Р^х, f + а)||т(ж) - (/ + а)||Чж =
= J/)НТ(Ж - «) - /||Чж = Е /ЦЩ) - /||2.
также измеримо. Посредством У обозначим группу преобразований, действующих в пространстве параметров В и отображающую его на себя, 671 = Я.
Связь между 6,6 и РД-,/), f Е Я, выделяющую 6,6- инвариантные семейства распределений вероятностей, определим следующим образом:
для любого преобразования g Е 6 существует единственное преобразование g = 7(g) Е 6, такое , что
Рд^Л = ^09Л, fen,(5.1)
или, иначе, для любого события В
P^gB.gfVP^BJY(5.2)
7(5) = 5-~~~
Зависимость д = ^(д), д Е 6, не предполагается взаимно однозначной, поэтому запись д Е ^-1(д) означает, что д — один из прообразов д^-1(д) обозначает полный прообраз д: ^-1(д) = {д ЕЯ, д = = 7(g)}-
Дополнительно к сказанному потребуем:
для любого преобразования д Е 6 можно указать вариант преобразования д Е 1-А(д), для которого выполнено условие (5.1)1).
Поскольку из приведенных условий следует, что 6 = U 7-1(^), gEQ
вместо 1) и 3) можно потребовать, чтобы равенство (5.1) выполнялось для каждой пары преобразований д Е т-А(д).д. когда д пробегает множество 6 •_
Пусть, например, РД-,/) ~ЛДА/,Е), ^ЕВт,А Е(Вт Я^ Я — группа ортогональных преобразований Яп, оставляющих инвариантным линейное подпространство Н(Е-1/2А) СЯп: ВЯ^-1^2^) = = Н(Е-1/2 А), 6 — группа движений Яп
g^^^^H^^^^h, 7еЯп, НеН, ИеХА\ (5.3)
Если в (5.3) ж Е Я(А), то дх Е Я(А) для любого д Е 6, ибо включение Е х!2х Е Я^ 1//2 А) влечет включение НЕ х!2х Е Н(Е Т/2А), что в свою очередь, влечет ^^ЯЕ-1/2^ Е Я(А) и, далее дх Е 71{А). Нетрудно проверить, что для любого события Z С Нп
Р^Х, Л = I р(х, ЛАж = j р№, Лйж = gzz
= [((2тг)и/2 detS1/2)-1 exp ^—Дщ-1/2(уж — А/)||25 dx.
Z
т) Тем самым условие (5.1) выполнено для любого р Е 7-1(д).
Здесь использовано равенство det(E1/277E /2) = det Я = ±1. Так как дх = Е1/2/^--1/2ж + Л, то для некоторого f Е П
j(gxJ) = \\^/2(gx-Af)\\2 =
= НЯ^-ГЗ^ _ ^1/2Я"Ч"1/2(А/ - /г))||2 =
^-^(x-Af'W^^n
поскольку \\Н • || = || • || и Е1/2Я-1Е-1/2(А/ — h) Е Н(А) а из последнего включения следует, что существует вектор f1 Е Пт, такой, ЧТ0У,1/2Н"1^"1/2(Af -h-) = Af = Ад-Л,(5.4)
или, короче, д~ [ A f = Af = Ад-1 f. Если N\A) ^ {0}, то /', а, следовательно, и д этим равенством определяются неоднозначно. Поэтому потребуем, чтобы JV(A) = {0}. Это условие эквивалентно тому, что равенство Af = 0 влечет / = 0, или, что то же самое, оператор А*А имеет обратный. В таком случае
/' = (А* A)"1 А^^^Н"1^"1/2 (Af — h) = (A*A)"1A*g"1Af = g"1/.
Следовательно,
д-1=Лд"1) = (А*АГ1А*д"1А
и соответственно
д = ^(д) = (А'АТ^дА,(5.5)
так что
gf=(A*A')-1A*(^2H^-1/2Af + h), f еКт. (5.6)
Равенство (5.5) определяет единственное решение уравнения
дА = Ад(5.7)
относительно д1). Вместе с тем поскольку уравнение (5.7) определяет преобразование д только на Н(А) , то при ГЦ А) ^ Пи возможна неоднозначность при восстановлении д по д. Дело в том, что ^(д) = 7(^) > еСЛИ д- = ^^Н^"^2 ■ +h, д'- = ^^H'Y.-1/2 ■ +h',
где
А*^1/2Н^"1/2А = А*^1/2Н'^"1/2А, A*h = A*h'.
Здесь первое равенство означает, что Нх = Н'х для любого х е ЯД"1/2А); согласно второму равенству h = h', поскольку Л, h* Е 7ЦА). При этом, вообще говоря, Нх ^ Н'х для х Е Нп . Например, если бппТДА) = 1, dim7^n = 3, то Н и Н' могут отличаться на произвольное вращение и отражение в плоскости, ортогональной ^(E-V2^).
Заметим, наконец, что По = А (А* А) ХА* — оператор ортогонального проецирования на 7ЦА). Действительно, Щ = По и ng = По, так что выполнены условия, гарантирующие, что По — ортогональный проектор, а, кроме того, Пог = г z € 7?, если и только если г = А/ при некотором / Е Ит. Действительно, А(А*A)-1 A*Af = = А/ при любом / Е Пт. и если г = А(А* А)-1 А*г, то г = А/ при / = (А*А)-1А*г.
Воспользовавшись этим замечанием и равенством (5.5), нетрудно проверить, что
7(91)7(92) = (А*Л)-1Л*д1А(А*Л)-1А*92Л =
= (A*A)-1 A*g!g2A = 7(9192), 91 92 € б,
поскольку Н(А) = ^Т^(А) и По^А = #2 А. Следовательно, множество 9 преобразований пространства параметров является группой.
Итак, для любого преобразования g Е 9 существует единственное преобразование g Е 9 - удовлетворяющее условию (5.1), и, наоборот, для любого g е9 можно указать вариант преобразования 5 Е Д-1 Д), удовлетворяющего (5.1) 1).
Следовательно, семейство распределений Ы^А^Т^ 9^9- инвариантно, причем 9 = (А*А)-1^А.
В дальнейшем важную роль будет играть связь рассмотренных преобразований со свойством инвариантности квадратичных форм
= ||(I - ^Аа^^А)-^-1/2^2, хеЯ,
^ЛЛ^^Ау-^-^АЛ^^^ жеД /eTt, (5.8) сумма которых равна
ЛЛЛ^^Чя-АЛГ
В данном случае
ЛЦ) = Щ1(ж)||2, Зз^ЛЛ^ЫЛЛ^ зМ = №Ж- причем векторы
ЩЦ = (I - ПД"1/2® е ^(S-VM),
х) Подтвердим этот вывод прямым вычислением. Для заданного g определим h и любое преобразование Н. дающее g (5.6). Тогда
||Е1/2(ж - Лу/)||2 = ||S-1/2(ж - Л(Л*Л)-1 Л*(Е1/2ЯЕ"1/2Л/ + А)||2 =
= ||Е"1/2(г-(Е1/2ЯЕ"1/2Л/+Л))||2 = \\УГ1/2(Л,2Н^-1,2(х-И.)-АЛ\\2 =
= ||Е"1/2(Г1ж-Л/)||2.
Здесь g — любое преобразование из д-1(д). Для того чтобы получить равенство (5.1), достаточно заметить, что | д 9д~^х}/ дх\ = 1 при любом g.
z^x. /) = ^^Af - П^-1^^ Е куг^А)
(где П =Е-1/2А(Е-1/2А)- — ортогональный проектор на
H(Y-1/2A)) ортогональны и их сумма равна
ЦхЛ^^/Цх-АП, хе и, f ей.
Нетрудно убедиться, что обе квадратичные формы (5.8) инвариантны относительно преобразований х —> дж, f ^ ^Q)f, g Еб, а именно
л(Ц = л(уД л (х,р = Мэх^^Л
для любых х G И, / G П и д Е Q. Покажем, что верно и обратное заключение: если
л(ж)=л(ж'), Ыж,/) =ЫД/Т(5-9)
то найдется преобразование д Е Q такое, что х* = дау f = ^(g^f.
Действительно, равенства (5.9) означают, что Ц^хЦ = ||Д|| и Ц^Ц = = ||Д||, а поскольку (^i,^) = 0 и (Д,Д) = 0, то можно указать ортогональное преобразование Н такое, что
Д = H^i, Д = Н^2.
В подробной записи эти равенства выглядят следующим образом:
(/ - ЩЕ”1^^ = Ну _ ПД"1/2®,
^^Af - ПЕ-1/2^ = Hy^^Af - ПЕ"1/2^.
Поскольку л,-^ e U"1-^-1^2A"), ^2,Д ^ 7ДЕ 1//2И), отсюда следует, что подпространство 7ДЕ-1/2А) (и автоматически 7^±(U-1/2A)) инвариантно относительно преобразования Н. а так как х и / — «независимые переменные», то
Yr^Af = hy^^ah^
ШГ1^' = НП^-1^^+ s
для некоторого s Е 7Z. На самом деле, очевидно, s Е 7^(И-1/2А), Наконец, прибавив к последнему равенству (I — П)^-1/2^ = = Ну — П)Е-1/2ж, окончательно найдем
дх = X* = У?^ Н^Г^^х + h,
Agf = Af = Y^^H^^Af + h,(5.10)
где YY/2HY-Y/2rt^A^ c7t(A) и h = E1/2^ E К(А). Первое равенство (5.10) определяет преобразование д (5.3), а второе можно переписать в виде равенства (5.6), в котором д = д(^) (5.5).
Если на П х П определить группу Т преобразований
то квадратичные формы ji, 7'2 и j Т-инвариантны и, более того, пара 71,72 образует то, что называется максимальным Т-инвариантом (см.§ 7 гл. 4).
В общем случае, если семейство распределений вероятностей Р^(-,/) / ^ ^ 5, 9-инвариантно, то для инвариантности задачи оценивания оценку естественно выбирать из класса эквивариантных оценок, обладающих свойством
Цд^ = дЦх^ х eR, дед, д = ^(д) е д, (5.11) и ограничиться инвариантными критериями качества Е9М0-дЛ\2 = ЕМд0-д^
= Ef\\gT^-gf\\2 = Ef\№-J\\\ f^R. (5.12)
Равенства (5.11) и (5.12) должны быть выполнены для каждой пары преобразований д Е ^-1(д) -д- где д — любое преобразование из 9 •
Можно несколько ослабить требование к оценкам и ограничиться лишь требованием инвариантности (5.12), не привлекая условие (5.11). В более общем случае оценивания значения t(/), f ER, условие инвариантности (5.12) приобретает вид
Е<ЛК) - ^Щ)||2 = Е МоО - *(Л)Н2 = ЕМО - е)Н2,/ е тг, д € д, д = 7(g) € д.
Приведем пример, поясняющий эти замечания. Как было показано в § 1, наилучшая в смысле условия (1.18) несмещенная оценка т(^) вектора Uf, f Е R, по наблюдению £ ~ JV(Af,^ существует, если UУ — АА) = 0, является линейной функцией £ и имеет вид (1.15)
т(£) =н^ = и^-^А)-^1^.
Заметим, что согласно (5.3), (5.5) для любого д Е 9
Rg^ = Rg^Af + i/) = RgAf + Н^^НУ,-1^2^ = R(Agf + ^^H^^v),J eR, g = <g),
причем вектор g = Е'/’ЛЕ-1/2!/ имеет нормальное распределение, Eg = 0, У,, = У'АнУ~'Аух-Ч'±н*У)А = S, ибо НН* = I. Следовательно, Rg^ — наилучшая несмещенная оценка Ugf, f Е R, причем для любого преобразования д Е 9
Е а/||^ - Ugf\\2 = Ef\\Rg^ - Ugf\\2 = Е f\\R< =
= tr U(A*y-1A)-U* = E f\\R£ - Uf\\2. (5.13)
Имея в виду равенство первого и последнего выражений в (5.13) при всех д Е 9 оценку R$, можно назвать эквивариантной. Если преобразование ^ —> д^, f ^ gf интерпретировать как переход к новым системам отсчета в R и R, то смысл эквивариантности состоит в том, что (в новых системах отсчета) Rg^ оценивает Ugf, причем столь же качественно, как R$, оценивает Uf.
Байесовское оценивание
Задачи оценивания параметров распределения, в которых априорная информация о параметрах носит стохастический характер, выделяются как байесовские. В таких задачах вектор параметров семейства РД-,/), f ЕР, является случайным и его (априорное) распределение известно; при этом распределение РД-,/) интерпретируется как условное РД-|/).
Наилучшей в среднем квадратичном оценкой / до наблюдения £ является вектор Е /. Действительно, пусть случайный вектор J', не зависящий от /, рассматривается как оценка /. Тогда
Е ||/ - /'||2 = Е ||/ - Е /||2 + Е ||Е / - /'||2 Е ||/ - Е /||2
и minE II/ — /'||2 достигается на /' = Е / . Если при оценивании можно наблюдать £ ~ РД-|/), то наилучшая в среднем квадратичном оценка равна условному математическому ожиданию / при условии, что наблюдается £ : Е(/|£). Поэтому далее речь пойдет об условных математических ожиданиях, их свойствах и способах вычисления [20, 42].
Напомним определение условного математического ожидания и некоторые его свойства, используемые в дальнейшем. Пусть (П,Р,Р) — вероятностное пространство, ц, v — случайные векторы, определенные на Q и принимающие значения в Р и Р соответственно, причем существует Ец. Условным математическим ожиданием ц при 'условии v = ж, Е (цф = ж), называется вектор-функция т(х), х ЕР, принимающая значения в Р, такая, что
J у(ш)Р(<1иР) = J m(x)Pv(dx) (6.1) w: v (ш) Z
для любого борелевского множества Z СР. Посредством Е (ц|Д обозначим случайный вектор т^. Если
то Е (ц| Д обозначается P(Z\v) и называется условной относительно v вероятностью события Z.
Пусть, например, v = v(co), w Е Q, принимает не более чем счетное множество значений Ж1, Ж2, • • • с положительными вероятностями Ру, Рз,... соответственно, так что
Ру = Р(ПД, Clj = {и : v(co) = жД, J = l,2,..., У^ Pj = 1. j=i
Выберем в (6.1) множество Z = Z3 так, чтобы оно содержало точку ж? и не содержало других точек ж/, г ^ j, (например, Zj = {жД).
Тогда согласно определению (6.1)
т.е.
тЦ,) = Л ./(6.2)
— среднее значение у(-) на Qj, j = 1,2,... В остальных точках 7?, т(-) можно определить произвольно, поскольку для любой функции m^ Pv(m(u) = m^v^ = 1, если m(xj) = ш(ж^), j = 1,2,... Таким образом, в рассматриваемом случае Е (цф = ж) = т(ж), где при ж = Xj правая часть определена в (6.2), а в остальных точках т^х^ может принимать любые значения.
Фактически Е (цф) определено разбиением Q = |J Qy. порожденным v^ a Xj определяет только индекс Qj, j = 1,2,... Поэтому Е (цф) можно обозначить Е (vylcr^), где av — минимальная а- алгебра подмножеств Q, содержащая все Qj, j = 1, 2,..., или, иначе говоря, — сг-алгебра, порожденная v^. Развивая эту точку зрения, можно описать устройство Е (цф) в общем случае. Пусть av — минимальная а-алгебра подмножеств Q, содержащая все подмножества {и : v(lj) Е Z}, где Z — борелевское подмножество Р. Обозначим {Ппд,..., ПП)П} = Лп, n = 1, 2,..., последовательность разбиений Q, такую, что [43]:
^J ^In^k — ^, ^n^k Pl ^nj — 0? к т^ 3i ^п,к С ^vi k,j — к=1
= 1,..., ri, n = 1, 2 ...;
Лп+i получается из Лп разбиением одного из Ппд на две части;
минимальная сг-алгебра, содержащая все Ппд , к = 1, 2,..., п, /г = 1, 2,..., совпадает с av .
Тогда E(7?|p) = Е (т7|сг^) = Jim^E (z?|cA")) (Pv почти наверное), где а^ — минимальная сг-алгебра, содержащая Ппд,..., Qn?n, ^ = = 1,2,....’’
Среди свойств условного математического ожидания отметим следующие.
Если f^ — случайний вектор Р, (/(z/),^) — скалярное произведение f^ и Т] и Е|(/(г/),ц)| < сю, то
E(/(z/),7?)=E[E((/(z/),t?)|z/)J
и
Е((/и,^10 = (/И,ЕШ)
Pv -почти наверное.
Возвращаясь к рассмотренному примеру, нетрудно получить, что
EVM,»?) = EU^jYm^XjYPj и Е ((./», у)|р = х^ = U^jY т^х^\з = 1,2,.... В остальных точках Е ((/(z^), t^\v = ж) можно определить произвольно.
Если у и v независимы, то Е (ту^) = Ету.
Пусть рр^(х,у\ х Е Т1, у Е П, — плотность распределения вероятностей v,q, pv(x), х ЕП, — плотность распределения вероятностей v. Тогда
Pv^ > 0, р^ = о,Pv^ > 0, р^ = о,(6.3)(6.3)
Pv^ > 0, р^ = о,
Pv^ > 0, р^ = о,
(6.3)
(6.3)
—плотность условного распределения ту при условии v = х, ибо
P^q Е Z\ = х) = JpT)\p(y\x)dy, и если Ету существует, то z
Е (q\v = х) = у yp^p(y\x)dy.
Пусть, например,
Р<Д) = [(2тг)п+п det S] Г2 exp (— Itr z*S 'z
— плотность нормального распределения ^(0, E), в котором
С= , z=i , s= ' , тг = тгй, тг = тг„. \П /\У /\EqpTi-ri-ri)
Так какТак какZi^pTj.Zi^pTj.1 A 11 A 1Д^ТД^Т^^QD-^Q* -QB"1-D^Q*D"1^^QD-^Q* -QB"1-D^Q*D"1гдегдеQ — ^p^/^vq^ D — 5^77 77 — ^77 7/^^^^77 77?Q — ^p^/^vq^ D — 5^77 77 — ^77 7/^^^^77 77?тотоКроме того,Кроме того,= x*^x + (y - Q*xYD"Hy - Q*$Y det E = det ^pp det D поскольку= x*^x + (y - Q*xYD"Hy - Q*$Y det E = det ^pp det D посколькуII0\ (TippTip^I) \ у у/ y^-qv ^Т]Т]0\ (TippTip^I) \ у у/ y^-qv ^Т]Т]^pp^vq0 D^pp^vq0 Dи det Iи det I?U1-A?U1-Aтак кактак как
Так как
Так как
Zi^pTj.
Zi^pTj.
1 A 1
1 A 1
Д^Т
Д^Т
^^QD-^Q* -QB"1
-D^Q*D"1
^^QD-^Q* -QB"1
-D^Q*D"1
где
где
Q — ^p^/^vq^ D — 5^77 77 — ^77 7/^^^^77 77?
Q — ^p^/^vq^ D — 5^77 77 — ^77 7/^^^^77 77?
то
то
Кроме того,
Кроме того,
= x*^x + (y - Q*xYD"Hy - Q*$Y det E = det ^pp det D поскольку
= x*^x + (y - Q*xYD"Hy - Q*$Y det E = det ^pp det D поскольку
I
I
0\ (TippTip^
I) \ у у
/ y^-qv ^Т]Т]
0\ (TippTip^
I) \ у у
/ y^-qv ^Т]Т]
^pp^vq
0 D
^pp^vq
0 D
и det I
и det I
?U1-A
?U1-A
так как
так как
х Е Ппх Е ПпPvYO = [(2тг)"det S^] x/2 exp (-Itr яТД
х Е Пп
х Е Пп
то, согласно равенству (6.3),
Р^Ыж) = ((27r)ndetD) 1/2 exp (-|tr (у - Q*$yD T(y-Q*x^, у е тг„, т.е. у при условии v = х имеет нормальное JV(Q*x,D) распределение и, в частности,
Е (t;|p = ж) = Q*x =
Е (О - CXX^ ~ Q*$Y\V = Ж) = D = S„„ - ^^У,^ = У-^^д;
— условные математические ожидания и ковариационная матрица соответственно вектора ц при условии v = ж1). Если цо=Е?7, z/q = Ezx, то равенство (6.2) модифицируется следующим образом:
Е (р - %0 - ^о = х - Z/O) = S^S^tx - Z/O),
Е (t/|z/ = ж) = % + S^S^ (х - z/0).
Пусть Е ||ц||2 < сю. Тогда
тт{Е||ц-/М||2|/(.),
ЕЦ/МЦ2 < сю} = Е ||ц — Е (цф)||2,(6.5)
т.е. наилучшее в среднем квадратичном приближение случайного вектора у вектор-функциями f^ есть условное математическое ожидание Е(цф). Действительно,
Е ||ц - /М||2 = Е ||ц - Е (цф)||2 + Е ||Е Ш - /И|2,(6.6)
поскольку Е (ц — Е (цф)ф) = Е (цф) — Е (цф) = 0 и, следовательно,
Е (т?-Е (z?|z/),E О?!^) —/О)) = Е [(Е (t;|z/)-/(z/),E (т?-Е (т?|г/»)] = 0.
Равенство (6.5) следует теперь из (6.6).
Возвращаясь к примеру, в котором вектор £ = ^^ контролируется нормальным распределением АДО, Е), заметим, что в согласии с равенствами (6.5) и (6.4) наилучшее с.к. приближение оказывается линейной вектор-функцией v. именно
е (7,10 = ъ^и,(6.7)
и при этом с.к. погрешность выражается формулой
Е ||ц — Е^Е^ ^| | = tr (Е^^ — Е^^Е^^ Е^^).(6-8)
Равенство (6.7) и (6.8) были получены ранее (см. §2 гл. 1) при решении задачи о наилучшем линейном приближении в более неопределенной ситуации, когда предполагались заданными лишь корреляционный
т) В данном случае Ег?г?|г/=ж от х не зависит.
оператор и математическое ожидание вектора £ = y^j . В общем случае, разумеется,
min{E\\п - /И|2|/(-)} = Е ||„ - Е (7,1^)112~
С tr (Sw - Е^ЕДЕД) = min{E Цт, - Bv\\^\B е (X н- 3?)}.
Но при фиксированном операторе Е правая часть этого неравенства не зависит от распределения £. Поэтому
тахЕ\\т] - Е (т,|г/)||2 = Е Цт, - ^„ЦуДН2,
где max вычисляется по всем распределениям £ с фиксированными корреляционным оператором Е и Е £ = 0 и достигается на нормальном распределении АДО, Е). Следовательно, в обилием случае значение (6.8) является оценкой сверху для погрешности оценивания у вектор-функциями f^.
На самом деле имеют место более сильные утверждения.
Лемма 6.1.1) Для любого случайного вектора f(v), такого,
что Е||/(ОН2<~,
Е (т? - КЛ^ - fW ^ Е (т, — Е №))(,, - Е WX^.,.
2) Для любой матрицы R п х п, п = dim??,, п = dim??,, и любого вектора t ER
Е (ту — Rv — typ — Rv — t) ^ S^ — S^pSpp SVT1.
Доказательство. Действительно для г Е R
Ez4n"fM)^-J(vXz =
= Е 2*^1 - Е (г/|г/))(т/ - Е (т,|р))*2+
+ z*E (Е W - /М)(Е W - /(ODz
z*E (г) - Е (7?|O)(t? - Е (t?|z/))*^-
Отсюда следует первое утверждение. Для доказательства второго заметим, что, если т/о = Ещ vq = Ер, то значение
Ф(Я, t) = Е Д(т] - Rv - t)Qn -Rv- t^z =
= Ez*(l] - 7,0 - R^V - 7/0)-
-- 7,0 + Rvo^n -7,0 - Rkv - ^o) - (i - 7,0 + RvoXz =
= 2*8^2 + Z*RSVVR*Z + 2*(t - 7,0 + RvoW - 7,0 + Rv^*2-
- 2*S11VR*2 - 2*RSV112
достигает минимума no R и t при
R = R* = STjVSvv , t = t* = ip) R^vq, равного
^48^ - S^S^.
При этом
R*v + t* = S^S^ (v - z/o) + 7)0-
Из сказанного следует также, что
Sqq SqVSvv SVq ^ Sqq^v.(6.9)
В случае, когда вектор = I ^ I имеет нормальное распределение,
Е (т;Ю = S^S'^v - z/0) +
поэтому неравенство в (6.9) превращается в равенство. □
В дальнейшем мы неоднократно будем иметь дело со схемой измерения случайного вектора ф
£ = Аф + щ(6.10)
в которой А — заданный оператор из (Jtm —> Fn), £ — наблюдаемый случайный вектор. Предположим, что ф и v независимы и имеют соответственно нормальные распределения .М^о, F) и ^(0, Е) с плотностями п(у\фо; F), у G 'Rm-, и п(ж|0;Е), х Е Fn. Тогда совместное распределение пары случайных векторов £, ф нормально и имеет плотность
рАж^ = п(х\Ау^>(у\ф^Р) =
п ( ж, у\Аф0, фо, (1। р1 ))
или, что то же самое,
/, л (AFA* + Е AF\ \
п I х,у\Аф0,ф0; I FA* Fib
х EFn, у eFm.(6.11)
В этом нетрудно убедиться непосредственным вычислением. Согласно равенству (6.10) маргинальное распределение ^ нормально и имеет плотность
р^х^ = тг^Афо*. AFА* + Е), х Е Ttu.
Поэтому плотность условного распределения ф при условии = х (которое также нормальное) дается равенством
Py^yN =Ре.Дж1УМРе.^ = Цу\РА*(АЕА* + Е)-1(ж - Лу?0) + W.F-FA*(AFA* e^VAFY yeRm, х ERn.
Плотность p^i^T/lx) можно подсчитать непосредственно, но можно также воспользоваться распределением (6.11) и формулами (6.4), согласно которым
^w^ = F- FA*IAFA* + ^фАР,
Е (^|^ = ж) = РАДАРА* + S)"1^ - А^ + ф0.
Пусть, в частности, £ = (а, <^) + ^ —«скалярное» измерение вектора ф. Тогда
РуДу|ж) = п(у|Га(<72 + (а, Га))"1 (ж - (а,у0)) + Го!
Г - Га(Га)*((а, Га) + с2)"1) =
(«1,... ,ай)(Г)(«1,... ,ай)(Г)
(«1,... ,ай)(Г)
(«1,... ,ай)(Г)
/«А
(Г) - (Г) ... (ах,... ,а^)х \^Д /
х(Г)х(Г)(ai .. .afe)(F)(ai .. .afe)(F)»2 = eZ»2 = eZ
х(Г)
х(Г)
(ai .. .afe)(F)
(ai .. .afe)(F)
»2 = eZ
»2 = eZ
Среди задач, рассматриваемых далее в гл. 5, в которых будут использованы полученные результаты, выделим:
Задачи редукции измерения, в которых на основе измерения £ = Аф + v требуется найти наиболее точное в с.к. приближение Иф, где А и U — заданные линейные операторы.
Решением является:
Е (Гу^) = У Uypv^(y\x)dy =
= I иУЦу\ЕА*(АРА* + ^"4$ - АфоН W,
F - FA* (АР А* + ^^AF^dy =
= UFA*(АРА* + ^ф(х - Аф0) + Uф0.
Задачи прогноза, в которых случайный вектор ф определяет модель измерений, at, г = 1,..., s, — входные сигналы, тестирующие и уточняющие модель,
Si = («г,Д + ^i, г = 1,...,3,
— результаты измерения тестирующих сигналов, и требуется оценить отклик
Л = (b,tp), на известный входной сигнал Ь.
Наилучшая с.к. оценка у по наблюдению £ = (£i-..£s)* дается
равенством
Е(т?Ю = Е^уОЮ = У (b,y)pv\^y\Ody =
= У(b,yMu\FA4AFA* + S)-1^ - Ар^ + w
F - ЕА*<АЕА* A-T-VAF^dy = (6, FAAAFA* + Е)~ Д - А^о) + ^h
гдегде
где
где
В обоих случаях ф и v незавмсимы, ф ^ JV(b, F), v ^ ^(o, Е).
§ 7. Информационные матрицы
Матрица М^/) = Е ja(^ Ла*(^ Л в (1-2)? где вектор а(^ Л определен равенством (1.5), называется информационной матрицей Фишера или короче, информацией Фишера. В определенном смысле М^(/) является мерой количества информации, содержащейся в измерении £, о значении t(J) функции t0, допускающей эффективное оценивание. Кроме фактов, приведенных в § 1, об этом свидетельствуют следующие ее свойства [42].
Пусть ^i и ^2 — два независимых измерения из распределений PiWY PYvJY pYxiJY Ж1 Р^ P^Y^JY х2 е Р, — их плотности соответственно, / G Рт- Тогда в равенстве (1.5) р(х,Л = = Р1(жь Лр^^, /), где х = ^^ , и’ слеДовательно, °Л^Л = = а^х^Л + «2(^2,/),
at(xtf) =at(xtf) =/a in pt(xtj)V ал/a in pt(xtj)V алa in pt(xjj)\9fm )a in pt(xjj)\9fm )i = 1,2.i = 1,2.
at(xtf) =
at(xtf) =
/a in pt(xtj)
V ал
/a in pt(xtj)
V ал
a in pt(xjj)\
9fm )
a in pt(xjj)\
9fm )
i = 1,2.
i = 1,2.
А так как E fa^, f>2(b. /) = E/«i(^,/) • Ey-^(5,/) = 0, to в данном случае
м^п = м^п+мап,
где М^(Л = Е fai(^i^ Ла*Л^и Л — информационная матрица г-го измерения, г = 1,2.
Итак, количество информации, содержащейся в двух независимых измерениях Л?^2 ^ = Q2)) ; Равпо сумме количеств информации М^ и М^ , содержащейся в Л и ^ соответственно.
Пусть ^ = ^(^) — случайный вектор. Понятно, что ^ не может нести больше информации об /, чем ^, и этот факт хорошо согласу-
ется со следующим свойством информации Фишера:
М^Л^М^П,(7-1)
Равенство в (7.1) достигается лишь в том случае, когда £ — достаточная статистика, т.е. когда £ содержит всю информацию об /. Неравенство (7.1) означает, что М^(/) — M^f) — неотрицательно определенная матрица, т.е.
для любого вектора г G Вт.
Пусть р(хЛ)) х £ ^п, / Е Ttmi ~ семейство плотностей распределений £ (и аналогично p(x,f\ х Е 7^? Для £)• Тогда
РЧ е В, Л = I p(xJW = j p(x,f)dxвжД(ж)ев
и, при достаточно слабых ограничениях на качество р и р,
в'Ьг t6Br.l"aJ7‘
В
/
Э In р 7_ f( д In
-^-pdx = EflEf^-^-\^4eBy (7.2)
где Еу(ц;£ Е В) — обозначение для математического ожидания ц, вычисленного по множеству, определенному условием ^ Е В. Из соотношений (7.2) следует, что
Э Хпр&ПМ^ДЭ ^р(ЧП/дШ, г =
Т"е"а(1,Р = ^М^П\1\
Поэтому для любого вектора г G 77т
О [Е/(ДоДЛ) -оД,/))]2 = Е f\z*aa*z + г*аа*г - 2z*ad*4 =
= pM4f4 + pM^pZ - 2E Z[E Щ*аа*<)] = гЦЫ^Л - М^ПЧ, так как
Е У[Е f(zA5AO = Е /[Е f(Aa\I)5A^ = Е fz^г = z^M^f)z.
Отсюда следует неравенство (7.1). Если ^ — достаточная статистика, то p(x,f) = g(x, f)h(x) и, следовательно,
э In p/ajj = a In g/dfh j = 1,..., m;
8 In р(х,Л /Лпр^,/) ~ Л ding^xj) .
Поэтому
(М8 inpdlnp ding ding _
р р г z.
= ' а/, ал=
В то же время, если М^ф^ = М^фф), / G Ttm то для любого г G Ttm г*М^г = Е}Ц*аУ =
Е - Е/^)]2 + Е ДЕ Д^а^)]2 =
и, следовательно, с вероятностью единица для любых / G Нт, z G Нт
Z*a^n=Ef(z*<)=g(en.
Поэтому можно указать С(х,ф) и 5(ж) такие, что р(ж,/) = = ехр(С(ж, /) + 5(ж)), т.е. £(£) — достаточная статистика.
Заметим, что в случае схемы измерения £ = Аф + v (1.19) вектора параметров ф Е Нт1 £ ~ М\Аф, Е), если v ^(0, Е). В этом случае информационная матрица равна
М^ = Efaa* = Е fA*^”T^-Аф^А*^”1^-Аф)У = ЛЧ^Л. (7.3)
Поскольку, как было показано в § 1, для любой несмещенной оценки т(£) значения Пф любого линейного оператора U ^ удовлетворяющего условию ИУ — А Л) = 0, гарантирующему существование несмещенной оценки, и любого ф Е Нт:
EfH0-UJ\\2^tiUM-eU*(7.4)
(причем для т(^) = UtJZr1^2А)-^-1^ (1.15) в (7.4) выполняется равенство), матрица М^ (7.3) «оценивает всю информацию», позволяющую наилучшим образом приблизить значение любой линейной функции Uф, ф Е Т^т , используя измерение ^.
В байесовской задаче оценивания значения U<p по наблюдению ^ = Аф + v (6.10) аналогичную роль играет матрица
ЕД|е = № - Е (^|е))(^ - е (О)*]"1, в случае нормального распределения равная
M^ = \F - FA*(AF*A* + S)-^^-1 = Л^-М + F"1.(7.5)
Как и матрица (7.3), ЕД^ для любого линейного оператора U позволяет определить погрешность наилучшей оценки Е (77(^|^) значе-
ния Пф:
Е||£^-ЕДО||2 ^rU^U*,
и в этом смысле Е”^ «оценивает всю информацию» о линейной функции Иф^ каким бы ни был линейный оператор U. В то же время вся информация о Пф, содержащаяся в корреляционных связях, оценивается матрицей М^ (7.5), поскольку последняя позволяет определить погрешность наилучшей линейной оценки Пф для любого линейного оператора U (tr UM^U*, см.§6 гл.1). Понятно, что М^ не может учитывать информации больше, чем ^”^|^ М^ ^^|^, но если ф и v — независимые нормальные случайные векторы, то ЕГ* = Mt.
та_
Матрицу М^ (7.5) можно интерпретировать как сумму количеств информаций: заключенной в априорном знании (F-1) и полученной в связи с измерением (Л*Е-*Л). В том случае, когда вся информация для оценивания извлекается из измерения, М^, как и следовало ожидать, совпадает с М^ (7.3).
Глава 4
Случайные множества как оценки параметров распределения.
Проверка статистических гипотез о параметрах распределения
В отличие от рассмотренных в главе 3 оценок вектора параметров У Е 7^т распределения P^(-,f), задаваемых в виде статистики т(^), и сопутствующей погрешности, например, Е у||т(^) — /||2, теперь в качестве оценки будем применять случайное множество Ф (£) С Рт зависящее от наблюдения £ ~ Р^-^ и покрывающее / с заданной вероятностью. Качество оценивания в этом случае определяется «размером» множества Ф(£) и вероятностью того, что Ф(£) накроет У, т.е. вероятностью события / Е Ф(£). «Размер» Ф(£) характеризует точность оценивания / Е Рт, а вероятность
— его надежность. Оценивание, естественно, тем лучше, чем меньше «размер» Ф(£) и выше надежность. Действительно, чем больше вероятность того, что Ф(£) покроет истинное значение вектора параметров У (т.е. то, которое, будучи неизвестным, определяет распределение £), тем более правдоподобным представляется утверждение, что У лежит в пределах множества Ф(£). Вместе с тем мы не получаем никаких указаний на то, чему именно следует (или, наоборот, не следует) считать равным вектор параметров, и, если «размер» Ф(£) велик, то наши суждения об истинном значении вектора параметров останутся в значительной степени неопределенными1). Как правило, с увеличением точности оценивания его надежность уменьшается и наоборот.
х) Эти рассуждения, опирающиеся на расплывчатые представления о размере множества, в дальнейшем будут уточнены.
Оценивающее множество
В этом параграфе случайное множество рассматривается как инструмент для оценивания параметров распределения.
Пусть £ — случайный вектор Рп, Р^ц/) — его распределение, зависящее от параметра / G Нт ,Р^^ f) •
Определение 1.1. Множество Ф(£) С Рт , зависяицее от случайного вектора %, называется случайным, если {£ G РП1 f G Ф(£)} — событие для любых f и ff Е Нт.
О пре де л ение 1.2. Случайное множество Ф(£, Р) назовем оце- ниваюсцим / G Нт с вероятностью Р, если P^(f Е Ф(£, Р),/) = = Р для любого f Е Пт. Вероятность Р назовем надежностью оценивания (истинного значения f) 1).
Рассмотрим семейство множеств Ф(ж, Р) CRm,x Е Н^ , и образуем множество
Рр = {(ж;/), х Е Нп, / Е Ф(ж,Р) CPm} =
= и {(ж;Ф(ж,р)}стги хтгт, (1.1)
называемое в дальнейшем дискриминантным множеством уровня Р. Рр — множество в Рп х Нт, его можно рассматривать как «график функции» Ф = Ф(ж,Р), х Е Пп, для каждого Р, 0 ^ Р ^ 1, определенной на Рп. Ее значениями являются множества
Ф(ж,Р)С?гт, ж€Р„.
В дальнейшем мы ограничимся изучением оценивающих множеств Ф(£, Р), монотонно возрастающих с увеличением Р в том смысле, что Рр сРр' и Ф(ж, Р) сФ(ж, Р') для любого х Е Пп, если 0 ^ Р ^ Р' 1. В таком случае с увеличением Р суждение о том, покрывает ли Ф(£, Р) истинное значение /, становится более определенным, но в то же время становится менее определенным любое предположение о том, каким конкретно следует считать это истинное значение. Кроме того, при наблюдении ^ = х предположение, согласно которому / — значение вектора параметров распределения, контролирующего £, тем менее надежно, чем больше минимальное Р, при котором Ф(ж,Р) покрывает /, точнее, чем больше ш£{Р|Ф(ж,Р) Э /}. Образно говоря, чем больше требуется надежность оценивающего множества, чтобы оно покрыло /, тем менее надежным представляется предположение о том, что / — истинное значение вектора параметров распределения. Эти соображения относятся к области проблем проверки гипотез о параметрах распределения. Мы вернемся к ним позже, несколько иначе определив понятие надежности.
х) В математической статистике Ф(£,Р) называется доверительным множеством уровня (доверия) Р [21, 41].
Пример 1.1. Рассмотрим семейство нормальных распределений
1), f Е Pi. Поскольку £ — / ~ ЛДО, 1), то для любого Р, 0 ^ Р ^ 1, можно указать 5 = 5(Р) ^ 0 так, чтобы
Ш"МП П = Р-
В таком случае дискриминантное множество
Dp = {(ж; /Д e%b /е Fi, |ж - /| ^ 5(F)}(1.2)
— полоса в Pi х Pi,
Ф(ж0,Р) = {/ e Fl, |жо-/| ^ 5(F)} с Fl(1.3)
— вертикальное сечение Dp прямой ж = жо. Чем больше Р, тем шире полоса Dp и каждое ее сечение прямой ж = const. С ростом Р возрастает уверенность в том, что сечение Ф(ж,Р) содержит /, если £ ~ Я(/, 1) и £ = ж — наблюдаемое значение. Но при этом, если Ф(ж,Р) ив самом деле покрывает /, то всякое предположение о конкретном значении параметра становится тем менее определенным, чем больше Р. В частности, при £ = жо предположение о том, что £ ~ ^(/1,1) представляется более надежным, чем £ ~ ^(^Д)? поскольку /1 покрывается Ф(жо,Р) при меньшей надежности, чем /2 (рис. 4.1).
Дальнейшее изложение на
правлено на уточнение понятия качества оценивающего множества и на выяснение возможностей построения хороших оценивающих множеств. Рассмотрим вначале одну из таких возможностей, основанную на понятии оценивающего множества максимального правдоподобия. Доводы, выделяющие их среди других оценивающих множеств, не основаны на точно определенном критерии оптимальности и носят интуитивный характер. Однако при больших объемах наблюдений качество таких оценивающих множеств обретает ряд экстремальных свойств [42, 44].
Рис. 4.1. Дискриминантные множества Рр С Ppi и их сечения Ф(ж0,Р) С Ф(ж0,Р'), ф-ЦсР'); о < р < р' < 1Рис. 4.1. Дискриминантные множества Рр С Ppi и их сечения Ф(ж0,Р) С Ф(ж0,Р'), ф-ЦсР'); о < р < р' < 1Прежде чем дать определение, напомним, что функцией правдоподобия Кщц f) называется плотность распределения вероятностей РД-,/) относительно некоторой не зависящей от / 6 Рт меры ц на Рп, рассматриваемая как функция переменного / G Рт и завися
Рис. 4.1. Дискриминантные множества Рр С Ppi и их сечения Ф(ж0,Р) С Ф(ж0,Р'), ф-ЦсР'); о < р < р' < 1
Рис. 4.1. Дискриминантные множества Рр С Ppi и их сечения Ф(ж0,Р) С Ф(ж0,Р'), ф-ЦсР'); о < р < р' < 1
щая от ж 6 Рп как от параметра. При этом для любого измеримого
множества Z С 1^
P^ZJV jf Фт-(1.4)
z
Как обычно, ограничимся распределениями либо абсолютно непрерывными относительно меры Лебега, когда
P^Z,p = jKx,ndx, f€Pm,z
либо дискретными, когда носителем меры д служит конечное или счетное множество точек {Ж1,Ж2, • • •} СНп. В этом случае ц(ж^) = 1, k = 1, 2,..., и равенство (1.4) принимает вид
P^Z,P= £J 6 Pm,
k:xkeZ
так что
Р^ = жк,Л = 1^к,л, feKm, к = !Л,...
Согласно общепринятой интерпретации, при / = /о значение £ = = ж считается более вероятным, чем £ = х', если 1(х, /о) > Ц^, /о) а при условии £ = х значение / = /о считается более правдоподобным, чем / = /1; если 1(х, /о) > /(ж, Д). В пользу этого можно привести следующий довод: при векторе параметров /о фактически наблюдаемая реализация £ = ж более вероятна, чем при Д. Этот же довод лежит в основе определения оценивающего множества максимального правдоподобия.
Определение 1.3. Семейство оценивающих множеств Ф(ж,Р), х Е Нп, называется семейством оценивающих множеств максимального правдоподобия, если включение / Е Ф(ж,Р) влечет включение f Е Ф(ж,Р) для любого f Е Пт, удовлетворяющего условию l(x, f) ^ l(x, f).
Иными словами, если оценивающее множество максимального правдоподобия покрывает вектор параметров /, то оно покрывает и любой другой, не менее правдоподобный, вектор ff.
Для иллюстрации обратимся к предыдущему примеру, в котором Л = (2тг)-1/2 ехр (-1(ж - /)2) ,
Согласно определению Ф(ж,Р) — оценивающее множество максимального правдоподобия, если включение / Е Ф(ж,Р) влечет включение f1 Е Ф(ж,Р), для любого f*, удовлетворяющего условию <х-л^кх-лу.
Иначе говоря, Ф(ж,Р) вместе с / содержит все f*, удаленные от х не более чем /, а это как раз множества (1.3).
Любое оценивающее множество максимального правдоподобия можно определить равенством
Ф(ж,Р) = {/ ЕПт, I^XJ^CP^Y
где функция ср (ж), х Е Рп, имеет вид
ср(х) = ш£{/(ж,/)|/ ё Ф(®, Д}
И
I l(x,f)d^x)=P.ж: Ф(ж,Р)Э/
Приведем еще один общий метод получения оценивающих множеств, дающий непосредственно дискриминантные множества. Пусть ePnJ е'Р„и — вектор-функция со значениями в Рк , такая, что случайный вектор ((^ f) имеет распределение, не зависящее от / етгт ,, если £ ~ Р^(-,/). Это означает, что для любого измеримого множества Z С Рк вероятность
не зависит от / Е Rm поэтому, выбрав Z = Zp так, чтобы P^(Zp) = = Р, найдем, что
Рр = ЦхЛ\ ЩЛПМ
— дискриминантное множество уровня Р, а
W,P) = UePm, ЩЛЩ2р^
— оценивающее множество.
Пусть, например, £ = F^f), где F^x^f), х Е Pi, — семейство непрерывных функций распределения, / Е Pi, тогда:
р^Ж ПСЖЖ^ЖЖЖ n = F(F"4^n, П = ^ где
F~* (г. /) = 8пр{ж Е Pi|P(x, /) < г}, 0 < z < 1.
Следовательно, статистика £ = F(^ f) имеет равномерное распределение на [0,1] (независимо от / Е Pi) и может быть использована для получения дискриминантных и оценивающих множеств.
При мер 1.2. Если £ ~ ^(/,5), то распределение ^(0, Е) статистики £ = £ — /, не зависит от / Е Рт, и любое измеримое множество Zp С Рп, удовлетворяющее условию Р^(£ — / Е Zp,f) = = Р(( Е Zp) = Р, определяет дискриминантное множество Рр = = {(ж;/), х — f Е Zp} и оценивающее множество ^(^Р) = {/ = = £ — г, z Е Zp}. В таком виде представлены, в частности, Рр (1.2) и Ф (1.3).
В монографиях [41, 42, 45, 4] читатель может познакомиться с многими глубокими фактами теории интервального оценивания.
Множество принятия гипотез
Определим на Пт «функцию Ф1 , обратную кФ», как семейство подмножеств Нп, определенных равенством 1)
Ф-ДЖДЦеТг», /еФ^Р)}(2.1)
для каждого / Е Пт. При этом
Т)р = Цх-П1 xE^^XY /еРт}= U {ФЩ/Ж);/} (2.2)
— «график» функции Ф-1(/, Р), / Е Пт . В данном случае важно то, что, во-первых, для любых ж Е Пп, / Е Пт и 0 ^ Р ^ 1
/ Е Ф(ж,Р), если и только если ж Е гДр), (2.3) и соответственно, во-вторых,
РЩ € Ф^Ж),/') =PdU ^УХ^П (2.4)
(= Р, если / = /9 для любых /, ff Е Нт и 0 ^ Р ^ 1 (рис. 4.2)).
Рис. 4.2. Фиксированное значение /о Е Ф(жо,Р), если и только если жо изменяется в пределах Ф-1(/о,Р); - фиксированноезначение
жо Е Ф-1(/о,Р), если и только если /о изменяется в пределах Ф(ж0,Р). Ф-1(/о,Р) — множество тех реализаций ^ = ж, при которых принимается гипотеза / = /0; Ф(ж0,Р) — множество тех гипотез / Е Пт которые ^ принимаются при наблюдении ^ = Жо
Чтобы глубже понять смысл этих построений, оставим на время задачу оценивания и рассмотрим простейшие понятия, связанные с проблемой проверки статистических гипотез о параметре распределения. Начнем со следующей задачи: на основании наблюдения £ = ж требуется проверить гипотезу о том, что £ контролируется распределением Р^ц /о) • В качестве альтернативы предположим, что вектор £ распределен согласно Р^ (•,/), где / может быть любым вектором из множества Р(/о) СНт • В дальнейшем, когда речь пойдет о семействе задач проверки гипотез, будем считать, что множество альтернатив Р(/о) зависит от рассматриваемой гипотезы /о, к&к от параметра, принимающего значения в Нт и всякий раз /о ^ ^(/о) •
х) Ф-1(/, Р) — множество тех ж 6 Пи1 при которых Ф(ж,Р) накрывает / Е Пт •
Посмотрим вначале, каким образом множество Ф^Д/о-Р) можно использовать для решения задачи проверки гипотезы / = /0, выбрав некоторое значение Р, 0 ^ Р ^ 1, пока безотносительно к возможным альтернативным значениям /. Выберем в (2.1) Р = Ро = 0,999. Если наблюдение £ = ж о не попадает в Ф-1(/о, Ро), то, предположив, что гипотеза верна (т.е. £ ~ ^(з /о) L мы будем вынуждены признать, что имеем дело с маловероятным исходом, ибо согласно равенствам (2.4)
р(№ЧШ,М = Р^Ч етгдФ-До.ЮЛо) =
= х-Р^еф-ДоЖоМо) = о,оох.
В такой ситуации представляется достаточно разумным отказаться от этого предположения и считать, что гипотеза неверна. Можно спорить о том, каким именно для этого следует выбрать Ро. Важно то, что в каждом конкретном случае приемлемое значение Ро выбрать можно, причем не обращая внимания на альтернативы.
Зафиксируем приемлемое значение Ро. Тем самым мы определим так называемое критическое множество Рп \ Ф^Д/о-Ро) и получим решающее правило или, короче, — критерий, согласно которому гипотеза / = /о должна быть отвергнута всякий раз, когда вектор £ попадет в Рп \ Ф-1(/о,Ро) • Если же £ попадает в Ф-1(/о,Лз), то гипотеза должна быть принята (за неимением аргументов, позволяющих ее отвернуть). По этой причине Ф^^Д.Д)) называется множеством принятия гипотезы / = /о уровня (доверия) Ро. Подчеркнем, что, отвергая гипотезу, мы исходим из того, что наблюдение £ = ж 0 Ф-|(/о.Ро) плохо согласуется с предположением / = /0. Если же ж Е Ф-1(/о,Д))5 то наблюдение £ = ж не противоречит предположению / = /о ? и на этом основании гипотеза принимается, хотя при этом, по существу, ничто не говорит о том, что она и в самом деле верна. Действительно, во-первых, другое предположение / = /1 может еще лучше согласовываться с наблюдением £ = ж, а, во-вторых, наше решение не может гарантировать, что какое-либо другое наблюдение не заставит нас отвергнуть гипотезу / = /о • Мы лучше поймем источники этих сомнений, если примем во внимание возможные альтернативные решения.
Согласно выбранному критерию, отвергая гипотезу, мы можем ошибаться, и вероятность такой ошибки равна
РАс^ФЩЛнРо)То) = 1-Л.(2-5)
Принимая гипотезу, мы тоже можем ошибаться, но в этом случае вероятность ошибки
P^e^UcPo^J),(2.6)
зависит от (неизвестного) вектора параметров / Е ^(/о) • При фиксированном Р = Ро эта вероятность зависит не только от альтернативы, но и от используемого множества Ф-1(/о, Дз) принятия гипотезы, поскольку последнее не определяется равенством (2.5) однозначно. Поэтому естественно это множество (при фиксированных /о и Ро) поста-
раться выбрать так, чтобы вероятность ошибочно принять гипотезу (2.6) имела минимально возможные значения при каждом / Е ^(/о) > согласованные с условием (2.6), т.е. чтобы
Р^ € Ф'^/о,^),/) ~ min для каждого / G Що) (2.7) ф-Л,-)
при условии (2.5). Если такое множество Ф-1(/о,-Ро) = ФсД/о-Л) существует, то оно определит наилучший критерий в рассматриваемой задаче проверки гипотезы / = /о при альтернативе / Е ^(/о) (если, разумеется, считать, что качество критерия тем выше, чем меньше вероятности ошибок (2.5) и (2.7)). В самом деле, для любого другого множества Ф-1(/о,Д)) принятия гипотезы
рц^ е Ф-1^,^),^) =рци Фо ЧМШ = Ро,
рце е ^"ЧЛ,Ро),П КЧМЪЛ
для каждого / G Ц/о) •
Поскольку в математической статистике функцию
/еЩ0),(2.8)
принято называть мощностью (или функцией мощности) критерия, а согласно условию (2.5)
АДДОЩЫУЬ шах /еЩо),
то критическое множество 7^п\Ф^1(/о, ДД соответствующий критерий, а также множество принятия гипотезы Ф^~ (fo,Po) назовем равномерно наиболее мощными (равномерно относительно всех альтернатив / Е ^(/о)).
Однако, если множество P(fo) содержит более одной альтернативы, то задача (2.7), (2.5), как правило, неразрешима. Причина этого в том, что обычно нельзя указать одно множество принятия гипотезы, которое минимизировало бы вероятность ошибочного принятия гипотезы при всех альтернативах / Е ТД/сД Множество, минимизирующее вероятность (2.7) зависит от / Е ТД/сД Поэтому рассмотрим вначале задачу (2.7), (2.5) для того случая, когда P(fo) содержит единственный вектор /1 = /Д/о)
Для определения множества принятия гипотезы / = /о ПРИ альтернативе / = /1, как будет видно из дальнейшего, следует поставить задачу на минимум с менее жесткими ограничениями на выбор Ф1 .
шЦР^и^-Ч^Р),^ ^(f^P), Р^РЛ =
= P^U»o4Jo,POJi), O^Po^Pi^l. (2.9)
Д Подчеркнем, что в рассматриваемой задаче наблюдение ^ может контролироваться лишь одним из двух распределений, т.е. непременно либо / = /о, либо / = /1, а ситуация, при которой не верны ни гипотеза, ни альтернатива, исключается.
Здесь inf вычисляется по всем множествам Ф t(Jq,P) и значениям Р ^ Ро. Последнее неравенство выражает ограничение
Р(ееф-1(/о,Д,/о) = Р^Л
на вероятность принять гипотезу, когда она и на самом деле верна, причем учитывается, что в силу структуры задачи равенство Р = = Ро может оказаться невыполнимым. Это обстоятельство будет подробно проанализировано в связи с рандомизированными правилами решения. Для разрешимости задачи (2.9) необходимо, чтобы inf достигался на некотором множестве Ф^Д/о-Р)) при Pi ^ Pg. Для него вероятность безошибочного принятия гипотезы равна
F1 =Р€(ееФ-1(/о,Р1),/о) ^Д),
и при этом условии вероятность ошибочного принятия гипотезы минимальна.
Для решения этой задачи можно воспользоваться одним из вариантов фундаментальной леммы Неймана-Пирсона [42].
Лемма 2.1. Пусть Ро(*); /й(Д • • • ^ Рк^ — определенные и интегрируемые на Пп функции, £i,... ,£к — заданные неотрицательные постоянные и В — класс всех множеств В С Кп, таких, что
jPi(x)dx = d, i = 1,... ,k. в
Для того чтобы
inf^y po(x)dx\B е В|в
достигался на множестве Bq из В, достаточно, чтобы существовали постоянные, Ai,..., А& такие, что
{
А-1
X € Tin, Ро{х) < 57 £Pi£) [ •(2-10)
/= 1)
Если постоянные в (2.10) неотрицательны, то Bq минимизирует J pQ^dx на классе В множеств В, удовлетворяющих условию в
j*Pt(x)dx £t, i = l,...,k.(2.11)
в
Доказательство. Пусть В ЕВ и Bq определено в (2.10). Тогда
Во\(Во fl s)
/
крк
^XiPi^dx- / ^XiPi^dx =
г=1Д«=1
В0\(В П Во)В\(В П Во)
/
кр к
'^Xipi(x)dx - / УXtpEx)dx = 0.
Во i=1в i=1
Здесь использованы неравенства
к
PoJ) У Х^Ж)’ Ж 6 Во\(В П 5о);
г=1
к
Ро(ж) > у XiPi^, X € В\(в П Во),
г=1
а также тот факт, что В и Bq принадлежат В. т.е. что
jPi(x)dx = jpi(x)dx = Ei, г = 1,... ,к.
ВоВ
Если же А^ > 0, г = 1,... Д, то при условии (2.11) для всех В Е В
Замечание 2.1. Если для некоторого во класс В Q ^В, Jpo(x)dx = во} не пуст, то, очевидно, в
inf |У pQ^dx\B Е В| < во-в
Предположим, что распределения P^-,fi\ г = 0,1, в задаче (2.9) заданы соответственно плотностями l(x, fi), х Е Bn , г = 0,1, относительно меры Лебега, так что
р^вJO = j Kxj^dx, i = o,i.
В
В таком случае задача (2.9) обретает вид задачи на минимум
inf{ j l^xj^dx^-1, j l(xjo)dx ^ Po| = j l(xji)dx,
Ф"1Ф"1ФоЧ/оЛ)
_(2.12)
рассмотренной в лемме 2.1. Поэтому множество Фо1(/о,Д)) можно искать в виде
фо"1(/о,Ро) = {херп, КхЛхНЖ^Ш(2.13)
где постоянная А ^ О должна быть определена из условия
j l(x,f0)dx = P0.(2.14)
ФоЧ/о.Ро)
Пример 2.1. Если РД-,/) ~ ^(f,I), / G Рп, то согласно выражению (2.13)
Фо-^/сЛ) = ^етг„, _ЕД^Е ^_tZ^ + inAj =
= ^етг„, ^-^^Jx-Zo^lnAj (2.15)
— полупространство в Рп. Для определения In А = р = ц(Ро,/оД1) уравнение (2.14) дает
Ро =j(2тг) ^/2 ехр ^—^||ж —/о||2^ ^ =
(Ж-/о,/1-/о)^^+||/1-/о||2/2
=j(2л)-1^2 ехр ^— -z2^ ^2 =
^^At/ll/i—/о Ц + Ц/i —/о ||/2
ЛИЛ-ЛИ 2 X 1 '
где Ф(г) = J (2я) ехр (—^ж2) dx, —00 <2< сю, — функция распределения JV(0,1). Обозначив Ф-1(Ро) корень уравнения Ф(г) = = Ро, получим выражение для полупространства (2.15)
Фо ЧМ) = {ж е Rn, (X - /0,Л - /о) ^ Ф-Ц^о)!!/! - /о||} • _ (2-17)
Его границей является плоскость (х — /0Д1 — /о) = Ф 1(Д))х х 11 /1 — /о | Ь ортогональная вектору Д — /о • Если Pq = 1 / 2, то плоскость проходит через /о, ибо в этом случае Ф1 (1/2) = 0. Если же
плоскость пройдет через (Д + Д)/2, то вероятности принять гипотезу, когда она верна, и отвергнуть, когда она неверна, сравняются и примут значение, равное Ф(||/о — Д||/2) (рис. 4.3).
Ф’ДДЯо) ф-ДДЛЯФ’ДДЯо) ф-ДДЛЯВозвращаясь к задаче (2.7) проверки гипотезы /= /о
Ф’ДДЯо) ф-ДДЛЯ
Ф’ДДЯо) ф-ДДЛЯ
Рис. 4.3. Области принятия гипотезы / = Д при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Ро = Ф(||Д — Д ||Я > 1/2Рис. 4.3. Области принятия гипотезы / = Д при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Ро = Ф(||Д — Д ||Я > 1/2при альтернативе / G Р(Д), видим, что согласно условиям (2.13), (2.14) наилучшее множество ФдДДЯо), как правило, зависит от альтернативы Д Е Р(/о)- Это будет не так в том случае, когда существует функция Дж), ж Е Пп, такая, что при любом Д Е Р(Д) отношение называемое отношением правдоподобия, является монотонно
Рис. 4.3. Области принятия гипотезы / = Д при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Ро = Ф(||Д — Д ||Я > 1/2
Рис. 4.3. Области принятия гипотезы / = Д при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Ро = Ф(||Д — Д ||Я > 1/2
возрастающей функцией t = t^. Действительно, при этом условии неравенство в (2.13), определяющее множество принятия гипотезы, можно записать в виде неравенства относительно Дж):
после чего условие (2.14)
(2-18)(2-18)У /(ж, fo)dx = Ро
(2-18)
(2-18)
/(ж)^7
определит значение у = у(Ро) ~ одно и то же для всех Д Е Р(Д) • Так определенное множество ФдД/оЯо) является равномерно наиболее мощным относительно всех альтернатив Д Е Р(Д) • Разумеется, вероятность РД^ Е Фд Д/о, Ро), /) ошибочно принять гипотезу зависит от альтернативы / G Р(Д), но при каждой альтернативе эта вероятность не больше, чем при любом другом выборе множества Ф1 принятия гипотезы, ограниченном условием РД^ Е Ф-1, Д) ^ Pg.
Пример 2.2. Пусть, РД-,Д = ЛДД S), Р(Д) = Wo,^ > 1}- В таком случае логарифм отношения правдоподобия
л2 — 1
(^-l)(E-4,/o)-^— IIS-1/2/oil2
является монотонно возрастающей функцией (£Яж,Д). Следовательно, область принятия гипотезы равномерно наиболее мощного критерия задается неравенством (Е-1ж,Д) ^ у, в котором у надлежит определить из условия (2.18). Вычисления, аналогичные проведенным в (2.16), дадут следующее выражение для равномерно наи-
Рис. 4.4. Равномерно наиболее мощные области принятия гипотезы / = /о при альтернативах из класса ^(/о) = {^/о,^ > 1}
более мощной области принятия гипотезы:
фо"= Ц е K„,- /о),/о) Ф-1 (Щ||S-V2/oII}. (2.19)
На этот раз снова имеем полупространство, но его границей является гиперплоскость, ортогональная Е-1 /о (рис. 4.4).
Оценивающие множества минимального размера
Мы уже обратили внимание на то, что при оценивании параметров распределения посредством случайных множеств возникают вопросы, ответы на которые могут быть даны в терминах теории проверки гипотез. По-видимому, теперь, после обсуждения идей, связанных с задачами проверки гипотез о параметрах распределения, ясно, что задачи оценивания и проверки гипотез можно рассматривать как различные аспекты одной математической проблемы. Действительно, как следует из формул (1.1) и (2.2), множества, оценивающие значения параметров распределения, и множества принятия гипотез о значениях этих параметров являются сечениями одного и того же дискриминантного множества Dp С Dn х Ит. Связь между этими множествами отмечена условиями (2.3), (2.4) и проиллюстрирована на рис. 4.1 и 4.2. Она-то и позволит уточнить приведенные ранее рассуждения о размере оценивающего множества.
«Размер» оценивающего множества Ф(ж,Р) можно связать с тем, насколько велико множество «лишних» векторов параметров / G Dm ,
накрываемых ^(ацР) при условии, что £ ~ Р^(-,/о) и f 5^ fo1)- Под «лишними» естественно понимать прежде всего те векторы параметров, которые по той или иной причине нежелательно спутать с предполагаемым значением вектора параметров распределения, в данном случае — с /о- Выделим для каждого /о множество Р(/о) «лишних» векторов и рассмотрим семейство задач проверки гипотез о том, что истинное значение вектора параметров распределения, контролирующего наблюдение £, равно /о, при альтернативном предположении, согласно которому оно может быть равно какому-либо вектору из Р(/о) • Будем считать, что /о может принимать любое значение в rtm , определяя тем самым различные задачи проверки гипотез. В каждой задаче множество P(fo) выделяет векторы Пт^ которые важно отличать от /о, т.е. «лишние» , если /о ~ истинное значение вектора параметров распределения £. Если же на самом деле £ ~ Р^-^ и / 6 Р(/о), то / нежелательно спутать с /о ; в этом случае для любого / 6 Р(/о) «лишним» является /о •
Пусть сначала Р(/о) = {/1} и ^^(f^P) — наиболее мощная область принятия гипотезы / = /о уровня Р. Как известно, это значит, что
Р^ е фЩ/Ь,Р),М = Р = Р^Л е ФК,Р\to,
(см.(2.4)) и для любой другой области Ф-|(/о.Р) того же уровня Р^ 6 ^(/o^L/i) < ^К ^ Ф-1(/о, Л.Л)- Согласно равенству (2.4) отсюда следует, что для любого оценивающего множества Ф(ж, Р)
р(Р) = РЩо е ф(£,р),Л) < P^jo е ф(£,р),Л) = KPY (3.1)
Итак, вероятность того, что ^(^Р) накроет /о , когда на самом деле вектор параметров распределения равен /1, не больше, чем вероятность того, что /о будет накрыт любым другим оценивающим множеством той же надежности Р. Неравенство (3.1), по существу, подсказывает определение размера оценивающего множества ^(^Р) посредством функции д(/, Р) , заданной равенством
^Р) = Р^Ь£ШРИ) (3.2)
на множестве {/0} U P(to = {/0} U {/1} 9 /, 0 Р 1.
Назовем размером оцениваюгцего множества ^(^Р) функцию ^(f^P), / Е {/о} U P(foY Р имеет смысл параметра, определяющего значение размера при / = /0. По определению, y^fo^P) = Р и, как следует из замечания к лемме 2.1, 7(/i,P) < Р, если /1 ^ /о • Чем ниже лежит график сечения д(/, Р) при Р = Pq (или, как говорят, график сужения функции ^(-<) на область {/oJU^/o) Э f, Р = = Ро), тем меньше соответствующее оценивающее множество Ф(£, Р).
х) Напомним, что согласно обозначению Ф(£,Р) накрывает / = /0 с вероятностью Р.
В частности, каким бы ни было оценивающее множество ^(^Р),
Р) ^ Ж р) = PiUo е Ф Д Р), п(3.3)
для всех / Е {/о} U {/1} и 0 ^ Р ^ 1. Следовательно, при любом Р, 0 ^ Р ^ 1, оценивающее множество Ф(£, Р) не больше любого другого оценивающего множества Ф(£, Р).
Пусть ^(^Р) и ^(^Р) — произвольные оценивающие множества. При фиксированном Р могут представиться две возможности: либо 1) 7(/i,P)= д(/1,Р) и в этом случае множества Ф(£, Р) и Ф(£, Р) естественно назвать эквивалентными (при надежности Ру либо 2) 7(/i,P) ^ 7(/i,P). В этом случае, если, скажем, 7(/i,P) < 7(/i,P), то считаем, что ^(^Р) меньше ^(^Р) и отмечаем это символом -<, Ф(£, Р) -< Ф(^,Р). Соотношение Ф(£, Р) ~Ф(£, Р) используем для обозначения эквивалентности Ф и Ф.
Итак, если Р(/о) = {/1}, т0 любые два оценивающих множества Ф(£, Р) и Ф(£, Р) сравнимы по размеру при любой надежности оценивания: для любого фиксированного Р, 0 ^ Р ^ 1, либо Ф(£, Р) -< -< Ф(£, Р), либо Ф(£, Р) -< Ф(£, Р), либо, наконец, Ф(£, Р) ~ Ф(£, Р). Вполне возможно, что символ предпочтения -< изменится на противоположный >- при изменении Р:
ф(£,р) ф(£,р), но Ф(е,Р1) ф^,Р1), Pi^p
Однако, если оценивающее множество Ф(£, Р) отвечает наиболее мощному критерию, оно будет наименьшим среди всех оценивающих множеств при любом Р, 0 ^ Р ^ 1, (см.(3.3)).
Обратимся к примерам.
Пример 3.1. Если Р^-,/) = ^(У, 1), то, как известно, наиболее мощное множество принятия гипотезы / = /о при альтернативе / = = /1 является полупространством (2.17), ограниченным плоскостью (ж - /о, Л - /о) = Ф-1(Л)||/1 - /оII, проходящей через a/i + (1 - а)/0, где а = Ф-1(Ро)/||/1 — /оII, ортогонально /1 — /о • Соответственно
Рр0 = {Д/о), (^ -/0,/т -/о) ^ ф-Д^о)!!/! -/о||}(3-4)
— дискриминантное множество и
Ф(ж,Ро) = {/оеТгп, (ж-/о,/1-/о)^ф-1№)||/1-/о||}(3.5)
— оценивающее множество. В равенствах (3.4) и (3.5) можно считать /1 произвольной функцией /о, подчиненной единственному условию /1(/о)^/о, /оеРп.
При мер 3.2. Рассмотрим вначале случай «фиксированной аль-
ф-1(Р)=-0,5||Ж-/1||
Ф"1(Р) = О
Ф"1(Р) = 1к-Л||
—-Ф"1(Р)=1,5||Ж-/1||
Рис. 4.5. Оценивающие множества (3.7) при различных надежностях
Л(Уо) = {Л(Уо) = {Л, если/о/Л,А, если /о = А-Л, если/о/Л,А, если /о = А-(3-6)(3-6)тернативы», определив для каждого /о € Л.п
Л(Уо) = {
Л(Уо) = {
Л, если/о/Л,
А, если /о = А-
Л, если/о/Л,
А, если /о = А-
(3-6)
(3-6)
Оценивающее множество можно представить в виде объединения двух множеств
ФЦр) = {/о е яп, /0 / А,ф-1 I и
I-Joli)
..НМ если(х-КЛ2-К)<ф-ЧРШ2-К\\Дссли^-Л, /.-/J^^ll/.^^
Что касается первого множества, не содержащего /1, то, переписав определяющее его неравенство в виде
НА -АН ^-НтЙг^ +
Н/о - /1||
нетрудно представить себе его структуру. Если Р = 1/2, Ф * (1/2) = = 0, то это шар
/о - /1 -/о - /1 -ж - /12ж - /12, ж + /1/о 2, ж + /1/о 222ж - /12ж - /12
/о - /1 -
/о - /1 -
ж - /1
2
ж - /1
2
, ж + /1
/о 2
, ж + /1
/о 2
2
2
ж - /1
2
ж - /1
2
радиуса ||ж - /т||/2 с центром (ж + /1)/2. Обозначив ||/0 — /ill = = Р, Ь - /ъ/0 - /1)/Н/о - /111 = Ik - /ill cosф, где ф — угол между векторами х — /1 и /о — /1, получим уравнение границы множества Ф(ж,Р)\{/о}:
Р = Ik - All cosy? + Ф-1(Р), Р > О,
имеющее хорошо известный двумерный аналог — уравнение «Улитки Паскаля» (рис. 4.5). Наконец, что касается вектора /1, то он принадлежит Ф(ж,Р), если
к-АЛг-и^ф-кДНЛ-АН,
и не принадлежит — в противном случае.
Пример 3.3. Если гипотезу и альтернативу связать не условием (3.6), а равенством
/1 = А (/о) = —/о, /о Е Р^
то оценивающие множества могут быть получены из выражения (3.5) заменой А на —/о:
ф(ж,д A/о етг^-Ел^А) ^Ф-1(рЛ0^p^L(38)
Они выглядят так же, как представленные на рис. 4.5, при условии, что А определено равным 0.
Рис. 4.6. Если ^ ~ P^',-/о), то факт включения /о бФ(ж,Р) при ^ = ж, изображенный на рисунке, оказывается максимально неправдоподобным. Предположение о том, что ^ ~ Р^з /о), при ^ = ж имеет надежность, равную 0,5 (/о лежит на окружности радиуса ||ж/2|| с центром в ж/2)
Пример 3.4. Наконец, если А и /о связаны условием
Л(/о)=2/о, /оетги,(3.9)
то оценивающие множества принимают вид
Ф(ж,г) А/оетг^^яг^^"1^))’ O^P^I, (3.10)
и оказываются дополнениями предыдущих до Рп, если в них предварительно Ф-1(Р) заменить на —Ф-1(Р).
Рассмотрим оценивающее множество Ф(ж,Р) (3.8), изображенное на рис. 4.6, и любой вектор /о Е Ф(ж, Р). Предположим, что /о ~ истинное значение вектора параметров, т.е ^ ^ Р(-, /о) • В таком случае речь идет о событии, вероятность которого равна Р. Альтернативное предположение, согласно которому истинное значение вектора параметров равно — /о , уменьшает вероятность включения /о Е Ф(ж, Р) до минимально возможного значения РА/о Е Ф(Ф ^)-—А) (для данного Р). Иначе говоря, предположение ^ ^ Р^з —/о) приводит к тому, что факт включения /о Е Ф(А Р) при £ = ж оказывается максимально неправдоподобным. В этом состоит буквальный смысл рассуждений о минимальном размере Ф(АР) по отношению к «лишним» векторам.
Разумеется, и в общем случае, если /о 6 Ф(ж, Р), то предположение о том, что /о ~ вектор параметров распределения, контролирующего £, во-первых, более правдоподобно, чем альтернативное предположение, согласно которому £ ~ РДз/1 (/о)), ибо
Р = Р^о е ФК,Д,/о) = р^ G Ф’ШШ >
> р^е е Щ/оЛЛ) = Р^о € ФК,Ч,А)- Во-вторых, при альтернативном предположении включение /о € Е Ф(ж, Р) максимально неправдоподобно по сравнению с любым другим включением /о £ Ф(ж,Р). Следует заметить, что включение /о Е Ф(ж, Р) не исключает включения /i(/o) Е Ф(ж, Р), как, например, в условиях (3.9), (3.10) (см. векторы f^ и 2/д на рис. 4.6).
Пусть Ф-1 (/0. Р) ~ область принятия гипотезы / = /0 , равномерно наиболее мощная относительно класса альтернатив Р(/о) • В таком случае, если
Г = ДК G ФЩ/сРШ = P^Jo G ФК,Г),/о) = P^Jo G ФК,Г),/о), то для любого / € Ч/о)
ЧКеФЩ/0,П/) = ЩЛеФКЧИК~
ЧК G Ф'К/оЧ),/) = Р^о € ФК,Ч,Д
Иначе говоря, если £ ~ РД-,/), / Е F(fo), то Ф(£,Р) может накрыть предполагаемое, но неверное значение вектора параметров / = /о с минимальной вероятностью в сравнении с любым другим оценивающим множеством Ф(£, Р), каково бы ни было истинное значение / Е Р(/о) • Можно сказать, что Ф(£, Р) имеет минимально возможный размер для любой альтернативы, ибо
^РИч^Р), о^р<1, /еЧЫ (см.(3.2)).
Пример 3.5. Если £ ~N(f, Г), «ТД/о) = {^/о, ^ > 1}, то, согласно выражению (2.19) для наиболее мощной области принятия гипотезы / = /о (Е = I), «наименьшее» при любой альтернативе оценивающее множество
ФЦР) = {/о е Р„, К - /о,/о) $5 ф-1(Р)||/о||}(3.11)
точно совпадает с множеством (3.8). На рис. 4.7 приведен график функции (3.2) (поверхность) 7 = 7(/, Р), / е {/0} U Ч/о), 0 Р 1. Для любого другого оценивающего множества Ф(ж,Р) поверхность 7 = д(/, Р) будет расположена не ниже.
Надежность гипотезы
Как было отмечено ранее, предположение о том, что /о — истинное значение вектора параметров распределения, при наблюдении ^ = ж выглядит тем более надежным, чем меньше максимальное Р, при
Рис. 4.7. Зависимость д(/, Р) = = р^о^^^р\П, / e{f0}U i№), о^р^о,5, е -лщщ где ^(^Р) — наиболее мощное оценивающее множество (3.8). Для любого другого оценивающего множества ^(^Р) поверхность у(/, Р) не может лежать ниже изображенной на рисунке
котором /о 0 W>PY Дело в том, что рассмотренный критерий для каждого наблюдения £ = ж предписывает либо принять, либо отклонить гипотезу, но на практике исследователю, как правило, далеко не безразлично, с каким «запасом надежности» принимается то или иное решение. Например, одно дело, когда наблюдение Е = ж при уровне Р отвергает гипотезу, но при небольшом увеличении Р (уменьшении критического множества) не отклоняет ее, другое — когда гипотезу не удается «спасти» даже ценой значительного увеличения Р. Чем больше максимальное Р, при котором наблюдение Е — х отклоняет гипотезу, тем значительнее Е — х свидетельствует против гипотезы.
Простая гипотеза И, = {/о}? простая альтернатива /С = {/1} . Рассмотрим понятие надежности гипотезы в случае, когда гипотеза и альтернатива — простые.
Определение 4.1. Назовем надежностью гипотезы / = /о ^^ альтернативе f = fi ^ fо случайную величину
«Л,А (О = «Ю = mf{l - Д/о 0 Ф(^ Г), 0 Р 1} =
= Ы{1-Р|^Ф-1(УО,Р), 0 Р 1}. (4.1)
Допуская известную вольность, а(£) можно интерпретировать как минимальную вероятность ошибочно отвергнуть гипотезу / = /о в пользу альтернативы / = /х, если наблюдается вектор Е ^ Р^(^ fo) 1) •
Например, надежность гипотезы / = /о ПРИ альтернативе / = = — /о в ситуации, изображенной на рис. 4.6, равна 1/2, если Е = зс. Чем меньше а(£), тем определеннее наблюдение Е свидетельствует против гипотезы.
Рассмотрим свойства надежности в том случае, когда множество Ф-|(/о.Р) принятия гипотезы определяется равенством (2.13). Но
Д Аккуратная интерпретация о в терминах теории возможностей дана в [46].
прежде заметим, что, введя отношение правдоподобия
Kx)=l(x,h)/KxJ0),/(Ж,/о)>О, xe-Rn,
можно записать другое представление для множества принятия гипотезы
фЩ/оЖ) = {жетги, ша),(4.2)
несущественно отличающееся от (2.13). Действительно, в определении Ф1 (4.2) не участвуют элементы 7^п, в которых не определено отношение правдоподобия, т.е. ж 6 Кп^ в которых /(ж,/о) = 0. Эти элементы входят в Ф1 (2.13), но для них, в силу структуры условия (2.13), и /(ж,/Д = 0. Следовательно, Ф1 (2.13) отличается от Ф1 (4.2) на множество Z С Пп, для которого как P^Z^fo) = 0, так и P^Z^fi) = 0. Этот факт не позволяет отличить статистические выводы, основанные на определениях (2.13) и (4.2) ф-Д/о.П).
Условие £ 0 ф-^/о,^) (4.2) эквивалентно неравенству /(£) > А. Поэтому
a(£)=inf{l-P|0< А </(£)} =
= inf ^ 1 — У /(ж, fo)dx | 0 < А < /(£)| =
= inf{ J l(x, fo)dx | 5 > 01 = J l(x,fo)dx, (4.3) l(x)>l^)-5W^^WO
поскольку
{Ж е н^ /(ж) > 1О = А {^ е н^ /(ж) > /(£) - 5}
5>0
и интеграл является непрерывной функцией множества относительно монотонного предельного перехода.
Предположим, что распределение статистики /(£) при £ ~РД-,/о) абсолютно непрерывно, или, иначе говоря, для любой постоянной с > 0
Р№ = сЛо) = О-(4-4)
Тогда и
еЦЖ)=сЛ1)= j l(x,Ji)dx = c I l(x,f0)dx = Q,Цх^ = Сl^x^ — C
т.е. распределение l^ и при £ ~ P^-f^ абсолютно непрерывно. Согласно предположению (4.4) множество
^х ЕНп,а^ <= ^х еНп, j l(t,fo)dt<z} (4.5)
/(^)^/(ж)
можно представить в виде
{ж е Нп, 1(х) > c(z)}, 0 < z < 1, определив с(г) из условия
l(x, fo)dx = z.
(4.6)(4.6)(4-7)(4-7)Хффф
(4.6)
(4.6)
(4-7)
(4-7)
PMO<z,to= Ia(x)<zPMO<z,to= Ia(x)<zl(xjo)dx =l(xjo)dx =В свою очередь согласно свойствам (4.5) — (4.7) получаем, что
PMO<z,to= I
a(x)<z
PMO<z,to= I
a(x)<z
l(xjo)dx =
l(xjo)dx =
1ф>ф)1ф>ф)О < г < 1.О < г < 1.l(x,fo)dx = j l(x, fo)dx = г,1ффф)
1ф>ф)
1ф>ф)
О < г < 1.
О < г < 1.
Следовательно, надежность а(£) в случае, когда гипотеза верна, £ ~ Р^(-,/о), имеет равномерное распределение на [0,1]. Вместе с Т6М<zJ0> Д«) < /о)(4.8)
и совпадает с мощностью критерия уровня г, 0 ^ г ^ 1, поскольку
Д(<Ф) < zJ0 = j PxJiW, j l(x,fo)dx = z. (4.9) /(ж)>с(г)1ф>сф
Это означает, что распределение надежности при неверной гипотезе по сравнению с распределением при верной гипотезе смещено в сторону меньших значений г, 0 ^ г ^ 1. Если сверх того для любого с > 0 и Р^ЛО > с,/о) > о, то
ЩФФФд = дфд^сфЛ)ДНО < Фо) Д(/ф >Ф),/о)
при z Ф +0, ибо
ржо > ф)ji) =у i^jiw
1ф>ф^
^Ф) У l(xjo)dx = c^P^l^ > c(z)Jo), 1ф>ф)
и с(г) —> сю при z —> +0 в силу того, что z = J l(x,fo)dx > 0 1ф>ф)
для любого c(z) > 0. Свойство (4.10) показывает, что, когда гипотеза неверна, надежность принимает преимущественно малые значения.
Рис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативыРис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативыРис. 4.9. Плотности распределений надежности (4.11): 0 - при / = /о; 1 - и при / = ДРис. 4.9. Плотности распределений надежности (4.11): 0 - при / = /о; 1 - и при / = Д
Рис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативы
Рис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативы
Рис. 4.9. Плотности распределений надежности (4.11): 0 - при / = /о; 1 - и при / = Д
Рис. 4.9. Плотности распределений надежности (4.11): 0 - при / = /о; 1 - и при / = Д
Проиллюстрируем сказанное на примере семейства нормальных распределений Рф f) ~ ^(f,I^ / G Пп. Действуя согласно равенству (4.3), найдем, что а^) = Ф(-(£-/о, Д — /о)/||/т — /о||), а также выражения для функций распределения надежности
Р^а^) < г, /о) =
< ^А) = Ф^А) + ||Д - Д||),(4.11)
Графики этих функций распределения приведены на рис. 4.8.
Статистику а(£) можно использовать в задаче проверки гипотезы / = /о ПРИ альтернативе / = Д, не обращаясь к ее интерпретации. Для этого заметим, что согласно равенствам (4.9)
dPMCX^M _dPM0<^M
dPM^^PT dz
— плотность распределения надежности при / = Д, причем, как следует из проведенного анализа, c(z) монотонно убывает на (0,1] и не ограничена в окрестности нуля. Критическая область в задаче проверки гипотезы / = Д при альтернативе / = Д на основании наблюдений статистики аД) имеет вид
[О,1]\ФД(/О,Р) = {О^^1, ф)ф},
где c-1(/z) = Р. Поскольку мощность определенного таким образом критерия равна (рис. 4.9)
р
ФФ = Р^ф) <Р, Д),
О
в силу замечания к формуле (4.8) найдем, что она совпадает с мощностью наиболее мощного критерия, основанного на наблюдении £. Следовательно, надежность а^ также хорошо «различает» гипотезу и альтернативу, как и £. Заметим, что а («(£)) = а^, ибо если = С ТО а«) =/ dz = С
Понятие надежности гипотезы естественно вводится в так называемой байесовской задаче проверки гипотез, которой мы намерены уделить сейчас некоторое внимание.Предположим, что вектор параметров распределения P^fY / 6 Ищ. является случайным и может принимать всего лишь два значения /о и /1, отвечающие соответственно гипотезе и альтернативе, с вероятностями P^f = /о) = = Qo, ?U = /1) = Qi, Qo + щ = 1. Эта априорная информация о гипотезе и альтернативе в случае необходимости позволяет решить вопрос о выборе между /о и /1 и без наблюдения £. Действительно, если Qo > Qi, то следует выбрать / = /0, если Qo < Qi 5 то следует выбрать / = /1, а в случае Qo = Н решение может быть произвольным. Действуя таким образом, мы обеспечим минимальное значение вероятности ошибки: 1 — Qo 5 если Qo > Qi, или 1 — щ , если q^ < q\.
Поскольку Qo (Qi) — вероятность ошибочно отвергнуть гипотезу (альтернативу), назовем в согласии с определением qo (щ) (априорной) надежностью гипотезы (альтернативы). Тогда рассмотренное правило решения естественно назвать решением по максимуму надежности.
Если наблюдается £ Е Нп то байесовский пересчет априорного распределения Qo, Qi в апостериорное 1)
ЫО = Л/= М), qikO = PU = h\O определит скорректированные значения для надежностей: q^EY) вместо q^ г = 0,1, и решение по максимуму (апостериорной) надежности опять-таки гарантирует минимальное значение для вероятности ошибки, но на этот раз с учетом наблюдения £.
При формальной постановке задачи проверки гипотезы / = /о при альтернативе / = Д в байесовском случае, как и ранее, будем использовать множество Ф1 принятия гипотезы, но критерий качества решения, основанного на Ф1 . определим, исходя из вероятности ошибочного решения
Р(ф-Х) = Р&^ЛМо + Р^&
и считая, что решение тем лучше, чем меньше Р(ф-'). Поэтому в байесовском случае множество принятия гипотезы определим как решение задачи на минимум: Р(Ф~') ~ min .
Ф-i
Пусть /(ж|Д), ж Е Нт — плотность (на этот раз условного) рас-
х) Р(-|£) — обозначение для условной вероятности при условии £.
пределения Р^(-,/^) (при условии / = /^), г = 0,1. Тогда
Р(Ф-1) = д0 ^1 - У /(ж|/0)^(ж)^ +gi У /(ж^с/Дж) =
= 9о + У (91Цж|/1) - до/(ж|/о))^(ж),(4.12)
и, как нетрудно заметить, минимум Р(ф-') достигается на множестве Ф"1 = Фо 1 = Д € тг„, gi/^IA) ^ до/(ж|/о)},(4.13)
на котором подинтегральное выражение в (4.12) неположительно. Это множество можно определить, используя апостериорное распределение
ф0 = {ж е тгп,91(ж) ^ до(ж)},
4lV ’+
— апостериорные надежности гипотезы и альтернативы, полученные байесовским пересчетом. Теперь ясно, что множество Ф1 определяет правило решения, названное ранее решением по максимуму надежности: при £ = ж принимается / = /0, если #о(ж) ^ щ(ж).
Согласно выражению (4.13) критическое множество РП\Ф^"1, отвечающее априорному распределению q^. q\ . имеет вид
тг„\Фо1 = {ж € тг„,/(ж) > 9о/91}, /(ж) = /(ж|А)/г(ж|/о).
Пусть наблюдается £. Чтобы представить, насколько это наблюдение свидетельствует против гипотезы, можно определить
sup{go/gi|go/gi < 1О = КО
— «предельно большое отношение Qo/qi» (или другими словами, «предельно большое априорное предпочтение гипотезы», при котором тем не менее гипотеза отвергается наблюдением £) или наоборот — «предельно малое отношение q^jn^^ при котором гипотеза может быть принята при наблюдении £. Понятно, что чем больше /(£), тем сильнее свидетельствует наблюдение £ против гипотезы. Эти доводы можно рассматривать как дополнительную характеристику надежности гипотезы, связанную с надежностью «(£) формулой (4.3).
В любом случае надежность следует рассматривать как статистику, призванную помочь исследователю сформировать свое отношение к гипотезе и альтернативе, основанное на наблюдении £ и априорных представлениях.
Сложные гипотеза и альтернатива. Все сказанное до сих пор относилось к простейшему случаю, когда множества Г1 и К, векторов параметрического пространства, определяющие соответственно гипотезу и альтернативу, содержат по одному вектору: П =
= {/о}, ^ = {/1}. Рассмотрим теперь понятие надежности в общем случае, когда Н и /С могут содержать более, чем по одному вектору.
Если К, — множество векторов параметров, составляющее альтернативу для гипотезы / = /о, то надежность «^^(^ гипотезы /о естественно определить равенством
а/о,к(£) = пД^/о.А (£)1/1(4-14)
в котором ol^jt^ обозначает надежность (4.1). В этом определении отражен тот факт, что гипотеза /о должна быть отвергнута, если наблюдение £ свидетельствует в пользу хотя бы одной альтернативы fi Е KL. Поэтому, если inf в (4.14) достигается, скажем, на fi = — /1(/о>£) Е /С, то наблюдение £ более всего свидетельствует против гипотезы /о ПРИ альтернативе /1(/о5 £) • В частном случае, когда в равенстве (4.1) Ф1 (/0, *) — множество принятия гипотезы, равномерно наиболее мощное относительно всех fi EKL, при любом fi EKL выполняется равенство ск/0,к:(£) = OHojACh показывающее, что «согласие» между гипотезой и наблюдением не зависит от альтернативы.
Если гипотеза И содержит более одного вектора, а К, = {/i}, то, поскольку Н принимается, когда £ свидетельствует в пользу по крайней мере одного fo ЕН, определим надежность И при альтернативе fi равенством
К) = sup{a/o,A (С)|/о € 77}.(4.15)
Если /о(^/1) ~ частная гипотеза, на которой достигается sup в (4.15), то назовем /о(^/1) самой надежной гипотезой из % при наблюдении £.
Определение 4.2. Назовем
«я,к® = SUP а/о,/1(Д
аИ,Щ) = inf supa/o,A(e
соответственно нижней и верхней надежностями гипотезы Н при альтернативе К,. В общем случае
«ГоЛЮ <«^лЮC^HJiA)
при любых fo ЕН и fi Е KL. Если а^ ^А) = а^н^АА то ^гс^А) = = а^ ^(f.) назовем надежностью гипотезы Н при альтернативе К,.
Поясним введенные понятия на примерах.
Пример 4.1. Рассмотрим в Нп семейство нормальных распределений JV(f^), f Е Нп. Положим И = {/о},= {/1}. Тогда
согласно равенству (4.3)
ajwAO = j Щ)"и/2ехр ^-1||^||2^ ^,(4.16)
где
L^ = (z, ^ЧК - Ш. Л = 5Г1/2(£ - /о).
Иначе равенство (4.16) можно переписать в виде
«/о,Л (€) = jЩ) 1/2 exp (Д) dt =
=- /о), Л - /o)/||S-1/2(A - /о)||), (4-17)
Р = {^ ЩД - у0),Л - /o)/||S-1/2(A - /о) ПЬ
Чтобы получить последнее выражение, следует в rtn ввести ортонор- мированный базис, определив первый базисный вектор как
S"1/2(A -/o)/||s-1/2(A -/0)||,
и выполнить интегрирование по 2-й, ..., n-й координатам 1).
Пример 4.2. Пусть класс альтернатив задан одномерным линейным подпространством К, = {АД, — ею < А < ею} и fo ^ 1С. Для того чтобы получить надежность «^^(Д = inf{ct/0?д (^)|Д £^}? согласно выражению (4.17) следует подсчитать
Т ||S-i/2(AA-/o)||"
Определим ортогональную проекцию П// вектора т] = S-1/2(£ —Уо) на плоскость 7г в 7?.„, натянутую на векторы S-1/2/1 и Е-ГДо.Пусть2)
ТогдаТогда(ц, S~1/2(Ay1 — Уо)) _Т П^ДАЛ - /о)||11 ^Ч’(ц, S~1/2(Ay1 — Уо)) _Т П^ДАЛ - /о)||11 ^Ч’Пц = И"1/2(Ж1/1 - Жо/о).
Тогда
Тогда
(ц, S~1/2(Ay1 — Уо)) _
Т П^ДАЛ - /о)||11 ^Ч’
(ц, S~1/2(Ay1 — Уо)) _
Т П^ДАЛ - /о)||11 ^Ч’
если жо > когда Жо :
> 0, и достигается при А = жх/жд. В противном случае, т.е.
Т ||Е-Г2(АУ1-Уо)|| "||П1<(4Л9)
(4-18)
где Пх — ортогональный проектор на Е-1/2/С
В более общем случае, когда К, — произвольное линейное подпространство Пи и /о 4- KL, определим ортогональную проекцию Пц вектора ц = £-1/2(£ —/о) на минимальное линейное подпространство 7tni содержащее К, и /о- Пусть Пт/ = Е-1/2(/Р — жд/о), fy ЕК. Тогда
Д В равенстве (4.17) t — обозначение для первой координаты г в этом базисе, по остальным координатам выполнено интегрирование,
Рис. 4.10. Геометрическая интерпретация условий (4.18) и (4.19)
в полной аналогии с результатами (4.18) и (4.19) ^^'ЧК-ЩГ ||п„||, Жо > о,
Лек ||S-V2(/1_/o)||1ЦЩ77Ц, ж0 О,
причем в первом случае sup достигается на f^ = /i/жо (рис. 4.10), Щ — ортогональный проектор на Е-1/2^’. Следовательно,
ГФ(-||П£-1/2(^-/0)||), Жо>О,
где, как обычно, Ф(г) = J ехр(—^2/2)^/д/2тг, —сю < г < сю.
Пример 4.3. Если К, = Т^п\{/о}5 то, очевидно,
sup W^WT^nr = IWI = Hs"1/2(e-/o)l|.
Пек; Р 1/2(д-/о)||
В этом случае,
аЛл(О=Ф(-Р“1/2(е-/о)||).(4.20)
Пример 4.4. Исследуем надежность ск-щхф) для случая, когда Н = П - заданное линейное подпространство Пп, a KL = Нп\П - дополнение Н до Нп . Полученные факты будут использованы в дальнейшем при обсуждении надежности модели формирования сигнала в задачах интерпретации измерений. Следующая лемма доказана в [4].
Лемма 4.1. Пусть Н — заданное линейное подпространство, вектор z G фиксирован и
Тогда
inf sup s(x,y) = sup inf s(x, y) = \\z — Пг||, ^e^^e^n\^иЕ^\к-жЕ1г
где П — ортогональный проектор на Н.
Согласно лемме 4.1 и равенству (4.17)
а-нД^ = inf sup «л./ДО = «нГ^ = SUP НЛ$»ПО =
= а«Щ) = Ф(-||(Г " ПД^ДН), (4.21)
где П — ортогональный проектор на ^^^П.
Пример 4.5. Рассмотрим семейство нормальных распределений АДО, S),S ^ I. Предположим, что гипотеза содержит единственное распределение АДО, /), в то время как все остальные распределения составляют альтернативу. В данном случае параметрическое пространство образует множество корреляционных матриц Е ^ Z, гипотезой является подмножество, содержащее одну матрицу, П = {/}, альтернативу образует множество К = \^Г ^ I^ ^ D$. Надежность гипотезы П при частной альтернативе Е > 1 дается равенством
очДО = У^тт)""/2 exp Д^Н^Н2^
V = {xeHn,((I~ ж) ^ ((I - S-1 Д е)}.(4.22)
Область интегрирования в (4.22) является дополнением в 7tn эллипсоида
((/-^д)<(^(4.23)
граница которого содержит векторы £ и — £. Для определения
тщЛЕ(е)|Е^ц
заметим, что, зафиксировав размеры первых п — 1 полуосей элипсо- ида (4.23) и поворачивая его в rtn, мы получим максимальное значение величины п-й полуоси (и соответственно минимальное значение интеграла (4.22)), когда эта полуось совпадает с £. После этого в ортонормированном базисе Пи ^ состоящем из собственных векторов оператора I — Е-1, эллипсоид (4.23) можно задать условием
А1Ж + ... + Xn_ixn_1 + Хпхп < Ап||£|| 1
где Xi > 0, г = 1,...,п, — собственные значения I — Е-1. Отсюда следует, что
inf{aJ?E(£)|E > 1} = lim «гщЮ =
Ai ,--,Ап-1Ч0
= У (З^'ГЗехр Д|ж2Дж„ = 2Ф(-||е||). (4.24) ^нен2
В пределе интеграл (4.24) вычисляется по дополнению в Пи слоя |жп| ^ ||^||. Поэтому (рис. 4.11, а)
аИ,Щ) = 2Ф(-||£||).
аб
Рис. 4.11. о) inf в равенстве (4.24) достигается при интегрировании по (заштрихованному) дополнению слоя ж^ ^ 11^112 — вырожденного эллипсоида в Нп . б) inf в равенстве (4.26) достигается при интегрировании по полупространству (заштрихованному) в Нп — дополнению вырожденного эллипсоида
При мер 4.6. Рассмотрим семейство нормальных распределений JV(a^)^ а G Нп Е ^ I. Гипотезу И определим как пару (а, Е) = = (0,7), а альтернативу зададим множеством
/С = {(п, Е), а ^ 0, Е > 7} J {(0, Е), Е > 7, Е ^ 7}.
В таком случае надежность гипотезы при частной альтернативе (а, Е) определяется как
«(о.Ща.кД) = I (2тг)-п/2ехр (~|M|2) dx, (4-25) где
Г(Ж) = |И|2-||Е-1/2(Ж-а)||2 =
= ((I - Е^ж, ж) + 2(ж, S^a) - ||S-1/2a||2_
Интеграл в (4.25) вычисляется по дополнению в 7tn эллипсоида
((/ - Е^ж, ж) + 2(ж, Е"1^ < ((/ - Е~Д, О + 2(£, S-4)
с центром в с = (Е — /)-1а. Его граница содержит £ и 2с — £. В этом случае для вычисления надежности
«н.кЮ = М{“(о,/),(а,Е)К)К°,s) е ^}(4-26)
заметим, что, поскольку с — произвольный вектор Пи inf в (4.26) достигается при интегрировании по полупространству, граница которого проходит через £, причем ортогонально £, так как в этом случае граница наиболее удалена от начала координат (рис. 4.11, б). Поэтому
= У (2тг)"Г2ехр= ф(_||£||).
^нен
Пример 4.7. Посмотрим теперь, как распределены некоторые из надежностей. Надежность (4.17) в случае, когда верна гипотеза, распределена, очевидно, равномерно на [0,1]. Если верна альтернатива, то
< ^/i) Р ||Е—1/2(/i — /о)||> у ’
где с(г) — корень уравнения
/ (2л) ехр ( —) dzi = Ф(—с(г)) = г, 0 < г < 1.
Поскольку
Л l|z-V4/,-Wil -'Ч
( ||S-V2(/1 _/о)ц> ( ) II (Л ЯН, h)
то P(aW1^ < zJ3 = Ф^Ю + П^-ЧЗСЛ - /о)||).
Для надежности (4.20), когда верна гипотеза, функция распределения имеет вид
< ФО = Г(||£-ф - /о)|| > Ф),/о), где Ф(—с(г))= г. Поскольку в этом случае статистика
||S-V2(^ - /0)||2 имеет %2-распределение с п степенями свободы, то
ЛН^Ф - /о)II > Ф), /о) = 1 - Ф(с2ф) = 1 - ф[Ф"Д)]2), где Fn — функция распределения %2 с п степенями свободы. Если гипотеза неверна, то статистика ||Е-1/2(^ — /о)||2 = ||^-1//2(€ — /1) + + S-1^^ - /0)||2 имеет нецетральное %2 -распределение с тем же числом степеней свободы и параметром нецентральности б2 = = ||Е-1/2(д _ /0)||2. в таком случае
Р(акД^ < ^/т) = 1 - Г„^([Ф-1(Д2),где Еп ^2(«) — функция нецентрального %2-распределения с парамет-
Рис. 4.12. Функции распределения надежности (4.20) в случае верной гипотезы для п = 1,2,5и10 степеней свободы. Если гипотеза неверна, распределение надежности зависит от п и й2 (от альтернативы). Соответственно интерпретация любого наблюдаемого значения надежности а может быть различной в зависимости от величины отношения [1 - Fn,^2 ([Ф-W)] : [1 — ЕП(Ф ^а)]2)] (чем больше отношение, тем ниже надежность а гипотезы при данной альтернативе)
ром нецентральности 172. При этом распределение надежности зависит от альтернативы.
На рис. 4.12 приведены графики функций распределения надежности (4.20) для п = 1,2,5 и 10.
В заключение этого параграфа заметим, что в весьма распространенной ситуации, когда Н = {/о}, а ^ образует некоторую окрестность /о в параметрическом пространстве, представляет интерес критерий, позволяющий лучше всего отличать /о от близких альтернатив. Речь идет о так называемом локально наиболее мощном критерии [40] и соответствующей локальной надежности И.
Проиллюстрируем это замечание на простейшем примере /о С 7^1, /С = 7^1\{/о}- Пусть p^(xj) = р^х\ х еТ1п, — плотность распределения £ G 7^ В = 7^П\Ф-1 — критическая область, J pf(x)dx = 3(/) — мощность критерия и для близких альтернатив ?Ш = Ж) + Л/о)(/ - /о) + 3nUo)U - /о)2/2 + oU - f.y. В таком случае при фиксированной вероятности 3(/о) = а ошибочно отвергнуть Н область В естественно определить из условий: 3'Цо) = 0, ЗЧМ = пшх. Согласно лемме 2.1 (Неймана-Пирсона)
В = {ж € Tln,d2PfAx)/dfo XoPfA^ + ^Эр^Я/Э^,(4.27)
где Ao, Ai надлежит определить из условий
p^x^dx = а, / -^^dx = 0.
вв
Соответственно локальную надежность q(£) = inf{ct|B Э £} при очевидных ограничениях на качество pj0(e) можно определить как ct(£) = J pf0(x)dx, где В(£) — множество (4.27), в котором Ао =
Яш'ЭЯЯш'ЭЯ— ^oPfo (0 + Ai— ^oPfo (0 + AiЭр^О9f0Эр^О9f0= Aq(£), Ai = Ai(£) — решения уравнений
Яш'ЭЯ
Яш'ЭЯ
— ^oPfo (0 + Ai
— ^oPfo (0 + Ai
Эр^О9f0
Эр^О9f0
W)
см. также [91].
Рандомизированные правила решения
До сих пор правило решения в задаче проверки гипотез формулировалось таким образом, что при каждом наблюдении £ = ж гипотеза принималась или отвергалась в зависимости от того, содержится ж в области Ф1 принятия гипотезы или нет. Рандомизированный критерий для каждого наблюдения £ = ж также приводит к выбору между двумя решениями — принятием или отклонением гипотезы, но этот выбор производится с зависящими от ж вероятностями. Гипотеза отвергается (принимается) с вероятностью ф(х) (1 — ^(ж))’ гДе ^С) — так называемая критическая функция, 0 ^ (^(ж) ^ 1, ж 6 Пп. Мы вернемся к старому правилу решения, если определим ф(-) как индикаторную функцию множества 7^П\Ф-1 отклонения гипотезы,
, , fi, яетгдф-1,
В этом случае при каждом наблюдении £ = ж гипотеза принимается с вероятностью единица, если ж G Ф1 , и с вероятностью единица отвергается, если ж ^ Ф1 . В общем случае для принятия решения при наблюдении £ = ж должен быть произведен случайный выбор между гипотезой и альтернативой (с вероятностью ф(ж) в пользу альтернативы) .
Итак, рандомизированное правило решения задается критической функцией фЛ на Пп, ее значение ф^ — условная вероятность отвергнуть гипотезу при условии £ = ж. Соответственно полная вероятность отвергнуть гипотезу, наблюдая Е ^ Р^< Л^ дается равенством
Е МО = У Дж)/(ж, ЛМЛ
при любом определении множеств в пространстве параметров Нт выделяющих соответственно гипотезу и альтернативу. Обозначим эти множества Р, и соответственно KL. Тогда для / = /0 £ % Е у0(^(£) — вероятность ошибочно отвергнуть Р при значении вектора параметров / = /о , а для / = /1 G К, Е у1(^(£) — вероятность отвергнуть гипотезу, когда она и на самом деле неверна, при значении вектора параметров / = /х. Поэтому задача определения наилучшей критической функции фЛ может быть сформулирована следующим образом:
Е^)Л-Р,(5.1)
Е /(^(^) ~ max, f Е KL,(5.2)
где Р — фиксированный уровень, 0 ^ Р ^ 1. Критическая функция, удовлетворяющая условиям (5.1), (5.2), определяет рандомизированное правило решения (критерий) так, что при заданном ограничении (5.1) на вероятность ошибочно отвергнуть гипотезу вероятность принять любую альтернативу f Е KL максимальна, если £ ~ Р^ (•,/). Функция
HUbMO- ^РЛ-Л /е^и^стгт, как и 3(f) (2.8) , называется мощностью критерия; решение задачи (5.1), (5.2) определяет критическую функцию равномерно наиболее мощного критерия уровня Р ’).
Задача (5.1),(5.2) обобщает рассмотренную ранее задачу (2.5), (2.7) определения наиболее мощного множества Ф1 принятия гипотезы % = {/о} ПРИ альтернативе К, = Р(/о) в ДВУХ отношениях. Во- первых, теперь множество PL может содержать более одного вектора параметров. Но это отличие, фактически означающее, что шах в (5.2) отыскивается при более жестких ограничениях на множество допустимых критических функций, в данном случае не принципиально. Во- вторых, в отличие от задачи (2.5),(2.7), расширено множество правил решения — добавлены рандомизированные критерии. Если раньше были допустимы критические функции только из класса индикаторных функций, принимающих два значения — 0 и 1, то теперь критическая функция может принимать любые значения от нуля до единицы. Это расширение делает класс критических функций выпуклым, поскольку если (^(-) и pf-) — критические функции, то и ск^(-) + + (1 — a)(pf(-) — критическая функция при любом оц 0 ^ а ^ 1. Этот факт позволяет доказать разрешимость задачи проверки гипотезы / = /о ПРИ альтернативе / = /1:
ЕдуДЩшах, Е/оДС) = 1-Г,
для любых распределений P^(-,fo), Р^(-, fi) при любом значении Р, 0 ^ Р^ 1, в то время как задача (2.5), (2.7), как будет показано ниже, при таких условиях может оказаться неразрешимой. Мы обсудим эту дополнительную возможность более подробно, но в данный момент только подчеркнем, что, как и в случае задач (2.5), (2.6), причина, по которой задача (5.1), (5.2), как правило, оказывается неразрешимой, состоит в том, что критическая функция, максимизирующая мощность Е ^р(0^ может зависеть от альтернативы f eKL.
Проиллюстрируем преимущества рандомизированного критерия на примере задачи проверки гипотезы PL = {/о} при альтернативе К, = {/1}, считая, что
ВД = ^,Уо) = П, Р^Е, = Xi, Л) = %, г = 1,2,...;£п = ^^ = 1.г=1г=1
х) Иногда, как, например, в (2.8), область определения 3(') сужается до KL.
В этом примере распределения £ как в случае гипотезы, так и в случае альтернативы, дискретны. Для того чтобы сравнить решение этой задачи с решением аналогичной задачи для абсолютно непрерывных распределений (2.12), полезно и в рассматриваемой задаче оба распределения задать плотностями
^((£) /6)|ж=Жг = ^ii 1(х, /1)|ж=а^ = Qti Z = 1, 2, . . . ,(5-3)
относительно дискретной меры //:
г = 1,2,...; ^(тгп\ идД = 0.'г=1'
Равенства (5.3) определяют /(ж,/о) и Ц^,/Д /z-почти всюду на Рп.
Проанализируем задачу (2.9) определения множества Ф1 принятия гипотезы
in4 Еin4 ЕдД^гЧ^Р^Р^РодД^гЧ^Р^Р^Ро(5-4)(5-4)^ЖгЕФ-Д/оР)^ЖгЕФ-Д/оР)
in4 Е
in4 Е
дД^гЧ^Р^Р^Ро
дД^гЧ^Р^Р^Ро
(5-4)
(5-4)
^ЖгЕФ-Д/оР)
^ЖгЕФ-Д/оР)
Ее можно переписать в форме:
inf <inf <Е ® \ ЕЖ^еФ-1ЖгЕФ-1Е ® \ ЕЖ^еФ-1ЖгЕФ-1(5-5)(5-5)
inf <
inf <
Е ® \ Е
Ж^еФ-1ЖгЕФ-1
Е ® \ Е
Ж^еФ-1ЖгЕФ-1
(5-5)
(5-5)
Рассмотрим систему множеств
Bx = ^Xi£P-n, qi^Xrt, г = 1,2,...},0 ^ А < оо,
и определим
(5-6)(5-6)Fi = inf < ^ ГД 0, ^2 Ti^poVxiEB\XiEBx
(5-6)
(5-6)
— минимальное значение J2 Тг ^ ближайшее к Pq со стороны Ж г Е В х
больших значений. Остановимся вначале на случае, когда выполняется равенство
р1 = Р(Л1)= ^ п = р0.
XiEBX1
Пусть В — любое подмножество Рп , такое, что ^2 гг ^ Д) • Действуя xiEB
так же, как при доказательстве леммы 2.1, найдем
52 % - 52 ® =$iEBX1 XiEB52 % - 52 ® =$iEBX1 XiEB5252^ЛС^хПв)В\(ВЛ1Пв)5252^ЛС^хПв)В\(ВЛ1Пв)Л1 52 тз -Ai 52 тз = вЛ1\(вЛ1 Qb) в\(вЛ1Пв)Л1 52 тз -Ai 52 тз = вЛ1\(вЛ1 Qb) в\(вЛ1Пв)
52 % - 52 ® =
$iEBX1 XiEB
52 % - 52 ® =
$iEBX1 XiEB
5252
^ЛС^хПв)В\(ВЛ1Пв)
5252
^ЛС^хПв)В\(ВЛ1Пв)
Л1 52 тз -Ai 52 тз = вЛ1\(вЛ1 Qb) в\(вЛ1Пв)
Л1 52 тз -Ai 52 тз = вЛ1\(вЛ1 Qb) в\(вЛ1Пв)
Следовательно, в этом случае Ф1 = ВХ1 — искомое множество принятия гипотезы. Заметим, что это множество может оказаться не единственным решением задачи (5.5), если 52 9j = 0. Действительно, Bai пусть
ВХ1 = {жь... ,xhY где q^Xir^.(5.7)
Добавим в ВХ1 очередную точку х^ , образовав множество
В\2{яд,..., xdl, Xj2},
где qj2 = A2Tj2, А2 > Ai. Если 52 9j = 0, то и Ф1 = В\2 тоже дает
решение задачи (5.5) (при условии 52 Ti ^ Bq). Если же 52 Qj > 0, Ва2вХ1
то Ф1 = ВХ1 — единственное решение задачи (5.5).
Пусть теперь Pi = Р(АД = 52 rj У Во и 52 Qj У 0. Уменьшая Ai вХ1вХ1
до значения Ао, меньшего Ai, при котором из ВХ1 будет исключена очередная точка xj^xj^ = ВХ1\ВХо, где ВХо = {жъ ... ,^0}, qjo = = X()Tj0 , получим
Р(Ао) = 52п<Ро
Ва0
и, разумеется, 52 91 < 52 Qj • Но это «действие» неприемлемо, так как после него P(Aq) < Ро. Поэтому очередная точка должна быть исключена из ВХ1 лишь «частично», с вероятностью ^(ж^), подобранной так, чтобы
52г,+гл1-лз-,1)) = ^<52ч(5-8)
Ва0ВХ1
Определим критическую функцию ф(-) = <^о('), исходя из следующих условий:
ф^х^ = 0 в точках хi Е ВХо, где гипотеза принимается с вероятностью единица;
^оЩ) = 1 " № - F(Ao)]/?jT в точке х^ в которой гипотеза принимается с вероятностью 1 — фц ^х^).
При таком, «частичном», использовании точки Xj мы удовлетворим условию (5.8), если определим
3)<po(xi) = 1 в остальных точках, где гипотеза отвергается с вероятностью единица.
Этими условиями критическая функция определена ц-почти всюду на Hu. При этом1)
Е/о(1 - ^о(О) = ул4 + (1 - Vo^j^Vjt = р0
Вх0
— вероятность принять гипотезу, когда она и на самом деле верна,
Е А (1 - ФоО = 52 % + (! -
— вероятность ошибочно принять гипотезу, когда верна альтернатива.
Покажем, что так определенное рандомизированное правило решения доставляет минимальное значение вероятности Е д(1 — (Д£)) (5.5) при условии Е/о(1 — (Д£)) = Pq, т.е. является решением задачи (5.4). Для этого заметим, что, определив Ai из условия (5.7),
9а =
мы получим выражение для критической функции
'О, Щж) = У’оЩ)'О, Щж) = У’оЩ)(5-9)(5-9)жз : Чз < Л1ГА J = 1,2,...;
'О, Щж) = У’оЩ)
'О, Щж) = У’оЩ)
(5-9)
(5-9)
жл : 4h =
х, : gi > Airj, j = 1,2 ...,
напоминающее определение множества принятия гипотезы (2.13).
Пусть (р(-) — любая критическая функция, удовлетворяющая
условиюусловиюБД1-^О ^РоБД1-^О ^Ро
условию
условию
БД1-^О ^Ро
БД1-^О ^Ро
(см.(5.1)). Тогда, используя условие (5.9), найдем
Е А Г ~ Уо) - Е А (1 - ^) = 52 Иж«) - ^о(ж«)]9г+
+ 52 И®») “ ^(ж»)]® Ло 52 Ижг)^о(Жг)]п +
+ Ao 52 M^i) - VO^iWi = А0Е[у?(Ж1) - у?о(Жг)]Гг =
= AOS[(1 - ^о(Ж{)) - (1 - ip^iWi =
= АцЩ - S(1 - Дж»))?-;) < 0,
x) Подчеркнем, что в классе индикаторных функций это равенство может оказаться невыполнимым. Именно этим обстоятельством обусловлена постановка задачи (2.9), в которой при формулировке ограничений допущены неравенства. В более широком классе критических функций этому условию удовлетворяет ^о(-)-
что и требовалось доказать. □
Нам осталось заметить, что в том случае, когда Pi = Р(Х^) > Ро, но 52 9г = О, необходимость в рандомизации отпадает, поскольку в
Bai
этом случае множество Ф1 = В\г дает решение задачи (5.5).
Итак, на примере рассмотренной задачи проверки гипотезы достаточно отчетливо видно преимущество рандомизированного критерия: для любого Ро, 0 < Ро < 1, такой критерий существует и доставляет минимальное значение вероятности ошибочного решения в пользу гипотезы. С другой стороны, в рассмотренном примере представлены все характерные черты задачи проверки гипотезы / = /о при альтернативе / = /1, свойственные общему случаю. Поэтому мы ограничимся формулировкой точных результатов для общего случая. С доказательством можно ознакомиться в монографии Э. Лемана [41].
Теорема 5.1 (фундаментальная лемма Неймана—Пирсона). Пусть /о(тф к (х) — плотности распределений РД, /о); ^(з/i) соответственно (относительно некоторой меры ц) в задаче проверки гипотезы / = /о тгри альтернативе f = fi.
Существование критерия. Для проверки гипотезы / = /о тгри альтернативе / = /1 существует критическая функция фД и постоянная А, такие, что для любого Р, 0 ^ Р ^ 1,
ЕЛ<) = 1-Т(5-10)
[0, к(х)<Х10(х).(}
Достаточное условие для критерия максимальной мощности. Если критическая функция удовлетворяет условиям (5.10), (5.11), то она определяет наиболее мощный критерий уровня Р для проверки гипотезы / = /о ^^ альтернативе / = /1.
Необходимое условие для критерия максимальной мощности. Если ф(-) — критическая функция наиболее мощного критерия уровня Р для проверки гипотезы / = /о тгри альтернативе f = fi, то фД удовлетворяет условию (5.11) ц-почти всюду; ф(-) удовлетворяет условию (5.10), кроме случая, когда существует критерий уровня > Р и мощности единица.
Если
3 = EflV^=3^(5.12)
— мощность наиболее мощного критерия уровня Р для проверки гипотезы / = /о тгри альтернативе / = fi, то 0(Р) > 1 — Р, за исключением случая, когда РДД0) = P^(-,/i).
Критическая функция наиболее мощного критерия определяется условиями (5.10), (5.11) однозначно всюду, исключая множество точек, где к(х) = А/о(ж). На этом множестве фД можно определить
произвольно, соблюдая лишь выполнение условия (5.10). В частности, можно считать, что
(5.13)(5.13)/Дж) > А/0(ж), /Дж) = А/0(ж), /Дж) < AZ0(ж),
(5.13)
(5.13)
где постоянные Аид определяются из условия (5.10). Если при этом оказывается, что ц-мера множества /Дж) = А/о(ж) — равна нулю, критическая функция определяется условиями (5.10),(5.11) однозначно, а соответствующий критерий будет нерандомизированным.
В общем случае значение А = 1 — Р в условии (5.10) может оказаться завышенным, если существует критическая функция ф^ ^ такая, что Еду? = 1 при Е f0^ < а. Этого можно избежать, если априори а подчинить ограничению 0 ^ о ^ ci, где
а = Д (£, /о) = МШ, /о)|^ С 7t„, Р^Е, Л) = Ц, (5-14) а — максимальное значение вероятности ошибочно отвергнуть гипотезу / = /о • Множество точек 7^X8 не следует использовать при формулировке критерия, поскольку это не может увеличить мощность последнего. Что касается существования множества 8 в (5.14), то, предположив, что 8^ j = 1,2,... — любая минимизирующая последовательность измеримых множеств, найдем, что 8j = П ^ j = 1,2,..., — также минимизирующая последовательность, причем для нее P^(8,fo) = lim P^^fo), 8 — Q 8j, поскольку она монотонна.
В заключение заметим, что критическая функция ^(-), удовлетворяющая условиям (5.13), в которых постоянные д и А определяются из условия
ЕЛД)=Л O^^^l,
является решением задачи
Е/0ДС) =inf{E/o^)|^, ЕЛД£)^Д
в которой минимизируется вероятность ошибочно отвергнуть гипотезу при ограничении на мощность.
Оценивающие множества и семейство рандомизированных критериев
Рандомизированный критерий можно задать с помощью множества Ф1 принятия гипотезы вполне аналогично тому, как это было сделано в случае нерандомизированных критериев, если должным образом расширить пространство наблюдений. Для этого в качестве наблюдения рассмотрим случайный вектор
в котором £ контролируется одним из распределений РД-,/о) или РД-,/1) в зависимости от того, верна гипотеза или альтернатива, а случайная величина ту равномерно распределена на [0,1] и не зависит от £. Пусть ф(-) — критическая функция некоторого рандомизированного критерия. Для каждого наблюдения Е, = зс разыграем случайную величину ту. Если ту = ту < ф(Рр то гипотеза отвергается, ибо Р(д < ф(х)) = ф^х) — вероятность отвергнуть гипотезу при наблюдении £ = ж, как предписывает рандомизированный критерий. Следовательно, множество принятия гипотезы можно определить как подмножество Рп х 7^1:
ф-1(/о,Р) = {(ж,у)етгих7г1, жетги, <х)<у<ту
Таким образом, ценой увеличения размерности пространства наблюдений на единицу рандомизированный критерий превращается в нерандомизированный: гипотеза / = /о принимается всякий раз, как только наблюдение (£;ту) попадает в область Ф_|(/0.Р).
Рассмотрим семейство задач проверки гипотез / = /о ПРИ альтернативах /1 = /Д/о), где вектор /о играет роль параметра семейства и может принимать произвольные значения в Ртп, Л(/о), /о €?гт, — фиксированная функция на Ртп, такая, что /Щ) / /, / е ?гт. Обозначим у?р(ж,/о), ж Е Рп, критическую функцию наиболее мощного критерия уровня Р проверки гипотезы / = /о при альтернативе / = Л(/о) - Семейство областей принятия гипотезы
ф-ДоЖ) = {(ж;у) е?ги х тгх, же7гп,
фр^Ло) < у < 1}, /оетгт,
как в случае нерандомизированных критериев, определяет дискриминантное множество
Пр= U {Ф"1(/о,Д;/о}= U {(Ж;у);Ф(Ж,у,Д}
и оценивающие множества в Рт
^{х,у,Р) =
надежности Р. Эти построения, по существу, ничем не отличаются от выполненных ранее применительно к нерандомизированным критериям.
Инвариантные методы проверки гипотез
В основе статистических проблем, рассматриваемых в этом разделе, лежит понятие Q. Q-инвариантного семейства распределений вероятностей, рассмотренного в §5 гл. 3. Напомним, что семейство распределений Р^лЛЛ ^Р, называется Q, Q-инвариантным, если:
для любого g Е Q существует единственное преобразование
д = 7(^) ^ 9 такое, что
Pg^J^P^gf), fen-, (7.1)
7(9) = 9;
для любого д G 9 существует вариант преобразования д Е ^гЧд)- для которого выполняется условие (7.1). 9 и 9 — группы преобразований пространств П и П соответственно, 9rt = П,
9-инвариантность семейства распределений — точное выражение симметрии зависимости между значениями наблюдений и параметров распределений. Связанные с этим факты частично рассмотрены в гл. 3 на примере задач оценивания. Здесь мы обсудим, каким образом свойства симметрии могут быть учтены при решении задач проверки гипотез, а в следующем параграфе — при построении оценивающих множеств.
Пусть П и /С — непересекающиеся подмножества П, первое определим как множество векторов параметров, составляющих гипотезу, второе — альтернативу. Задача проверки гипотезы Г1 при альтернативе 19 называется 9,9-инвариантной, если: 1) семейство распределений Р^лЛ? / ^ ^ 9,9 -инвариантно; 2) множества Р и KL 9 -инвариантны, т. е. для любых fi Е ГС, /2 Е KL и любого g Е 9 9 Л Е Г1, дЛ Е 19 •
В качестве характерного примера рассмотрим задачу, в которой П — линейное подпространство Р, KL = Р\Н. Как правило, такая задача возникает в связи с необходимостью проверки состоятельности модели линейной схемы измерения
е = А/ + щ fEH, U^ (7.2)
(см. § 5-8 гл. 1). Если известно распределение Pv(-) случайного вектора v, а / — априори произвольный вектор Р, то
Р^,Л=Р^АЛЗ=Р^-аЛ,
где а - произвольный вектор из Р(А). Речь идет о задаче проверки гипотезы а Е Р(А) при альтернативе а $. Р(А). Такая задача является формальным выражением следующих альтернатив: если оператор А Е (Р —> Р) в равенстве (7.2) с точностью до случайной ошибки v определяет правильную математическую модель формирования сигнала £, то при неизвестном входном сигнале f ЕР выходной сигнал £ можно представить в виде £ = а + v при некотором а Е Р(А). Если же это равенство невозможно при любом а Е Р(А), то модель (7.2) неверна.
Пример 7.1. Пусть v ~ ./V(0, Е). Тогда согласно гипотезе £ ~ ^(a, Е) при некотором а Е Р(А), а если а ^ Р(А), то верна альтернатива. Рассмотрим группу движений 9 пространства Р,
введенную в § 5 гл. 3:
gx = "£1/2H^-1/2x + h, хЕК,
где ^Н^ — группа ортогональных преобразований 77. оставляющих инвариантным линейное подпространство 7^(^-1//2Л), и h Е ТЦА). Нетрудно проверить, что семейство распределений JV(сц Е), а ЕВ, 8,8 — инвариантно. Действительно,
Pg^B,a) = Р^(д-1В,а) = J p(x,a)dx = д-гв
= jр(д-1х, a)dx = jp(x,ga)dx = Р^(В,да), вв
где р(х, а) — плотность распределения JV(a, Е), В С В.
Поскольку 8В(А) = В(А) и 6(В\В(А)) = B\B^AY то гипотеза и альтернатива 8 — инвариантны. Следовательно, рассматриваемая задача проверки гипотезы а Е В(А) при альтернативе а $. В(А) 8 8 инвариантна.
Что касается гипотезы и альтернативы, то их 8-инвариантность является выражением того факта, что в задаче нет информации, которую можно было бы выразить в форме предпочтения какой-либо из частных гипотез а Е В(А) и (или) альтернатив а $. В(А). Этого, однако, еще не достаточно для 8- 8 -инвариантности задачи, поскольку такие предпочтения могли бы диктоваться свойствами распределения Р^ и проявляться в наблюдении £. Однако Р^(-,а) = Р^_а(-) и, как было показано, Рд^(-,а) = P^8^9aV т-е- наблюдение дЕ, при значении параметра а стохастически неотличимо от наблюдения £ при значении параметра да. А поскольку при любом д Е 8 да Е В(А) , если а Е В(А) , то при любом д Е 8 наблюдение д£ в равной степени согласуется (или не согласуется) с гипотезой а Е В(А). Можно сказать, что знание д в наблюдении дЕ не может уточнить решение о том, содержится а в В(А) или нет. Отсюда следует, что в инвариантных задачах проверки гипотез естественно использовать инвариантные правила решения.
Пусть Ф1 - область принятия гипотезы и % (ж), х Е В, — ее индикаторная функция:
™ fl, х Е Ф"1xW = lo.
Критерий, отвечающий Ф1 , называется 8-инвариантным, если 7Ф1 = Ф1 , д Е 8 или, что то же самое, %(^ж) = %(ж), д Е 8 х ЕВ. При таком определении, если наблюдение ^ приводит к при-
нятию гипотезы, то и любое наблюдение ^, д Е б, также приведет к принятию гипотезы.
При построении инвариантных критериев большую роль играет понятие максимального инварианта. Пусть б — группа преобразований пространства П и j (х), х ЕЯ, — функция на К со значениями в пространстве J.
О пре де л ение 7.1. Функция j(-) называется Q-инвариантной, если для любых ж ЕН ид Е б j (дх) = j (х). Если сверх того условие з^ = j(xi) влечет равенство 3ц = дх для некоторого д Е Q, то з^ называется максимальным инвариантом.
Максимальный инвариант jo(•) выделяется среди инвариантных функций тем, что любая инвариантная функция j(-) зависит от х ETt посредством jo(-), т.е. j(x) = F(jo(x)), хЕЯ.
Пример 7.2. Если ^Н^ — группа ортогональных преобразований П, то функция jo(x) = ||< х Е П, {Я}-инвариантна и, более того, является максимальным инвариантом.
Пример 7.3. Пусть Т — группа преобразований П х П, действующих по формуле (5.10) из гл. 3:
„ 1 = (]. х Е f Е t ЕТ.
\fj \gf)
Тогда пара квадратичных форм
лЦ) = ||(/-П)Е-1/2г||2, ХЕК,(7.3)
ЫжЛ) ^is-VMy-ns-v^Mins-1^/-^ жея, /ея, _ _ __ (7"4)
где П = Е Г2Л(Е ГМ) — ортогональный проектор на Я(Е ГМ), как было показано в §5 гл. 3, образует максимальный Т-инвариант. Квадратичная форма ji(x) (7.3) в свою очередь является максимальным б-инвариантом. Действительно, для любого преобразования g Е П (5.3) из гл. 3
Л® = 11(7 - П)Е-1/2(Е1/2ЯЕ-1/25?+ ^ip =
ибо (Т-ЩЕ"1^ = о и (7-П)Я = Я(1-П). С другой стороны, если Д(^) = 31 (^)> т0 найдется ортогональное преобразование Н. такое, что (Z —П)Е-1/2ж/ = Н(I — П)Е-1//2ж. Его, очевидно, можно выбрать так, чтобы= 7^±(Е-1/2А), или, иначе говоря, чтобы
^1 — MjH = Н (I — П), поскольку I — П — ортогональный проектор на 7^±(Е-1/2А). В таком случае (Z — П)(Е-1/2ж/ — НУ--1^2^ = 0 и,
следовательно,следовательно,х' = ^^H^^x + hх' = ^^H^^x + h
следовательно,
следовательно,
х' = ^^H^^x + h
х' = ^^H^^x + h
для некоторого h Е 71(A).
Рассмотрим теперь, как устроено распределение инвариантных функций. Пусть Р^(-,/), f ETZ, — 9 9-инвариантное семейство распределений, з9^ — 9-инвариантная функция. Тогда
рМив,Л = Р^М"Чв\л =
= Р^^д"хГЧв\П =
= Р^^ГЧв^дП = РМЛ е в,дЛ-
Следовательно, распределение j не меняется при преобразовании / —> gf и, таким образом, зависит от J Е К только посредством 70, где 7о(-) — максимальный 9-инвариант:
рМ)^вл) = р3^в,шУ), Тер. (7.5)
При том же предположении 9- 9-инвариантности семейства распределений аналогичным свойством обладает распределение Т-инвариантной функции j(x, f), х El^ f ЕК. По определению
з(дх,дЛ = з(х,Л, хер, f ер, g = yQ),
для любого д Е 9 • Поэтому
д(Л = ШМ) ^в,п = РМд^дП е в, л =
= РЧЛЛдЛ е В,дЛ = д(дЛ-
Вывод в данном случае точно такой же:
РЧЛЛЛ ^в,л = рмятУ), тер.
Что касается 9- 9-инвариантной задачи проверки гипотез, то теперь должно быть ясно, что область принятия гипотезы 9 - инвариантного критерия должна определяться посредством максимального 9-инварианта. Именно, если j(x), х ETt, — максимальный 9-инвариант, то индикаторная функция %(•) области Ф1 должна зависеть от х посредством з (ж):
хОО = s(j(x)l хЕР.
Пример 7.4. В 9- 9-инвариантной задаче проверки гипотезы а Е 7ЦА) при альтернативе а ^. 7t(A) область принятия гипотезы должна иметь индикаторную функцию вида
х(Л = s(||(j - S-1/2A(S“1/24)-)S-i/2j||2^ 5еР,
поскольку 31 (х) (7.3) — максимальный 9-инвариант. Если гипотеза
верна, то статистика
МО = ||(Z - е-гмд-гмгд-гдн2 =
= П(/ - iM/MtiM/M)-)^-1/2^2
имеет %2 -распределение с числом степеней свободы, равным рангу ортогонального проектора П' = Z — Е-1/2А(£-1/2А)- (проецирующего на 7^±(И-1/2Л). Если гипотеза неверна, то
Д^) = lin^-V^ + n^-1/^!!2, а^П(А),
имеет нецентральное %2 -распределение с тем же числом степеней свободы и параметром нецентральности, равным ^2 = ЦП^-^-^пЦ2 ). Как известно, отношение правдоподобия
1^(1) = p(t, $2)/p(t, 0), 0 < t < сю,
в котором p(t^2) (р(£,0)) — плотность %2-распределения с г степенями свободы и параметром нецентральности 1^2 (0), является монотонно возрастающей функцией С 0 < t < сю, [41]. Следовательно, в данном случае существует равномерно наиболее мощный критерий в задаче проверки гипотезы i^2 = 0 при альтернативе 1^2 > 0. Множество принятия гипотезы уровня Р имеет вид
Ф-ДР) = [0, А],
где А = А(Р) определяется из условия
А
Р = j p(t,O)dt.(7.6)
О
Важно в данном случае то, что таким образом мы получили Q -инвариантный критерий, равномерно наиболее мощный в классе таких критериев, для проверки гипотезы а Е Р(А) при альтернативе a ^L Р(А). Действительно, а Е Р(А), если и только если
О2 = НТПГГМ2 = 0,
поэтому задача проверки гипотезы О2 = 0 при альтернативе О2 > 0 эквивалентна исходной Q. Q-инвариантной задаче проверки гипотезы а Е Р(А) при альтернативе а $. Р(А) , если речь идет о выборе критерия в классе Q-инвариантных критериев. Равномерно наиболее мощный критерий такого типа имеет множество принятия гипотезы уровня Р~
ф-^Цетг, нп'^-1/2^!2 А(Д},
где А(Р) — корень уравнения (7.6).
Эквивариантное оценивание и проверка гипотез
В этом параграфе кратко обсуждаются свойства оценивающих множеств и связанные с ними семейства задач проверки гипотез при тех или иных условиях симметрии соответствующих семейств распределений.
Пусть ^(х^Р), х Е Р, — семейство оценивающих множеств, F^-,/), / ^ ^ — 5, 9-инвариантное семейство распределений, р = д(/€Ф(£,р),/), /етг,
— надежность оценивания, Рр — дискриминантное множество.
РР = U {Ц;Ф(ж,Р))}сЯх7г.
Предположим, что множество Рр 9- 9-инвариантно. Последнее означает, что если (ж, /) Е Рр, то при любом д Е 9 •
Й7Й)/) € Пр.
Другими словами, если / Е Ф(ж, F), то ^(g^f Е ^(дх,Р) или, что то же самое, Ф(дж,Р) = 7(g) Ф (ж, F), х Е Р, д Е 9- Это свойство симметрии оценивающих множеств называется эквивариантностью. По сути, оно является прямым аналогом свойства эквивариантности оценивания, рассмотренного в § 5 гл.З.
Поскольку
Рр= U ц^Ч^РМоЪ
где Ф-|(/о^) ~ множество принятия гипотезы / = /0, у.9-инвариантность Рр означает, что
зф-1(/о,Д = Ф“1(7(Ю/о,Д(8-1)
для любых д Е9 и /о Е F. Пусть х — наблюдаемое значение вектора £. Если х Е Ф-1(/о>-Р)> то согласно сказанному в § 2 принимается гипотеза / = /о о значении параметров распределения £, а если х Е д^-^У^^Р^ то согласно условию (8.1) должна быть принята гипотеза / = 7(g)/си причем при том же уровне
Р = РДбф-ЩсДЛоН
= Р^ € уф"1 (/о, F),7(g)/о) = Р^ £ Ф"1(7(д)/о,Д, 7(д)/о).
Определение 8.1. Семейство задач проверки гипотез / = /о при альтернативах / Е F(/o), /о Е F, эквивариантно, если
РШ=дР(Зо), деб.(8.2)
В таком случае
РЦ^ е ФЩ/о, Р),Л = PXU д^-ХЛ,Р)л®П =
= Р^и^"1ЫдЖР)л(дШ
и, если /е^/о), ТО 7(g)/ € ^{^{д)/о)- Следовательно, Q- инвариантен не только уровень, но и мощность критерия. Если ф-^/о.Р) — область принятия гипотезы / = /о, равномерно наиболее мощная относительно / G ^(/о)? то тем же свойством обладает область ^Ф-1(/о5^) в задаче проверки гипотезы / = y^fo относительно класса альтернатив / Е F^d^fo), причем с теми же значениями мощности.
Пусть 5о — подгруппа группы преобразований У. оставляющих неподвижным вектор / = /о : Уо/о = /о • Тогда согласно условию (8.2) Go^Uo) = П/о), а поскольку семейство Р^ц fp / Е П, бо,бо- инвариантно, где бо = Д^ЧУ») ~ полный прообраз бо ^ то мы приходим к б-инвариантной задаче проверки гипотезы / = /о при альтернативе / Е Р(/о)- Такие задачи рассмотрены в [41].
Таким образом, эквивариантные семейства задач проверки гипотез / = /о ПРИ альтернативах / Е ^(/о), /о Е 7^, выделяются следующими условиями:
семейство распределений Р^(-,/), f ЕП, б,б -инвариантно;
семейство гипотез / =/о и альтернатив / Е Р(/о) б-экви- вариантно;
дискриминантные множества семейства задач проверки гипотез б,б-инвариантны.
Чтобы уяснить структуру дискриминантных множеств таких задач, рассмотрим группу Т преобразований П х П^ действующих по формуле (5.10) гл. 3:
и пару функций 7'1 (ж), з^чГр х ell, / Е 7^ (7.3) и (7.4) соответственно, т.е. полный Т-инвариант.
Т-инвариантное дискриминантное множество Пр можно задать с помощью его характеристической функции
х(ж,/) = |рх(ж,/) = |р^П ^Пр, ЛЛ^Рр,^П ^Пр, ЛЛ^Рр,
х(ж,/) = |р
х(ж,/) = |р
^П ^Пр, ЛЛ^Рр,
^П ^Пр, ЛЛ^Рр,
Л и 72:Л и 72:хЦ/) = Р^ЦхУМжЛ^-хЦ/) = Р^ЦхУМжЛ^-которая на сей раз должна зависеть от х и / только посредством
Л и 72:
Л и 72:
хЦ/) = Р^ЦхУМжЛ^-
хЦ/) = Р^ЦхУМжЛ^-
Пример 8.1. Поясним сказанное на примере эквивариантного семейства задач проверки гипотез / = /о при альтернативах / ^ /0, /о ЕР, относительно вектора параметров распределения M^Af^Y рассмотренного в § 5 гл. 3. В данном случае %(ж, /) = F^^x^ /)), по-
скольку Е ^/^Ау — (Е Х/2А) Е т/2х) — достаточная статистика1). Чтобы определить функцию Р(-), заметим, что в случае верной гипотезы статистика
= ||2-1/2Л(53-1/2Л)-^-1/21Х||2
имеет %2-распределение с числом гх степеней свободы, равным рангу ортогонального проектора Е-1/2А(Е-1/2А)_ (на 7^(Е-1/2А)). В противном случае статистика
ш) = н^-^д/о -п +
имеет нецентральное %2 -распределение с тем же числом степеней свободы и параметром нецентральности 1^2 = ||Е-1/2А(/о — /)||2- Как было показано в § 7, равномерно наиболее мощный критерий проверки
гипотезыгипотезы^ = №-и2Аао-П\\2 = о^ = №-и2Аао-П\\2 = опри альтернативепри альтернативеД > оД > о
гипотезы
гипотезы
^ = №-и2Аао-П\\2 = о
^ = №-и2Аао-П\\2 = о
при альтернативе
при альтернативе
Д > о
Д > о
задается множеством принятия гипотезы
где А = А(Р) — корень уравнения
А
j рХ O)dt = Р,(8.3)
О
в котором p(t, 0) — плотность центрального %2-распределения с гх степенями свободы. С другой стороны i^2 = 0, если и только если /о = / (напомним, что N\A) = {0}). Поэтому в рассматриваемом эквивариантном семействе задач проверки гипотез существует равномерно наиболее мощный критерий, задаваемый областью принятия гипотезы
фЩ/оД) = {ж е Р, ПЕ-гм^о - (S-V2щ-^-1/2^)!!2 А},
где А = А(Р) — корень уравнения (8.3). Соответственно
Ф(ж,Р) = {/о е Р, ||Е-1/2А(/о - (S-1/2^)-^-1/2^)||2 ^ А}
— эквивариантное семейство оценивающих множеств, х Е Р. В данном случае Ф(ж, Р) — эллипсоид в Р с центром (Е-1/2А)-Е-1/2х, равным наилучшей несмешенной оценке т(х) (см. (1.15)) гл. 3 при U = I) вектора /о, полученной по наблюдению £ = ж = Afo + v. Размер эллипсоида определяется выбором Р. Наконец, Т-инвариантное дискриминантное множество Рр определяется равенством
Пр = {Ц; /о) € (Р х Р), HS-VM^o - (S-1/M)-S-1/2^)||2 А(Р)}.
х) Это следует из равенства ji (ж) + jAx^ f) = ||Е-1/2(ж — А/)||2 (см. (5.8) и далее, гл. 3).
Глава 5
Линейная редукция измерения
Рассмотрим идеализированный вариант проблемы редукции измерения — так называемую задачу несмещенной редукции [5], (см. также [94]). Предположим, что задана модель [Л, Е] схемы измерения
£ = AJ + v,(0.1)
т.е. заданы операторы А — моделирующий измерительный прибор и Е — корреляционный оператор шума v. моделирующего погрешность измерения. Кроме того, предположим, что измеряемый сигнал / — априори произвольный вектор 7^т и Е v = 0. Такова исходная информация о схеме измерения (0.1)х).
В задаче несмещенной редукции предполагается заданным линейный оператор U, символизирующий измерительный прибор, выходной сигнал U/ которого желательно синтезировать на измерительновычислительной системе (ИВС), и требуется определить линейный оператор R так, чтобы R^ можно было интерпретировать как наиболее точную версию U/, каким бы ни был входной сигнал / Е Rm.
Определим ошибку интерпретации как
sup Е|Щ^- Е7/Ц.(0.2)
Поскольку
sup Е |Щ£ — Г7/Ц2 = sup ||(ДЛ-Д/||2+1г(ЯЕЯ*) < <х>, (0.3) fE^mfE^m
если и только если RA = £7, то задача редукции ставится как задача несмещенного 2) оценивания значения Uf, / Е Rm, рассмотренная
х) Эта информация говорит о том, что модель в значительной степени идеализирована. На практике никогда не приходится рассчитывать на то, что операторы А и Е известны без ошибки, а о входном сигнале, как правило, что-нибудь известно априори.
в § 6 гл. 1. В этой задаче оператор R определяется из условия
Е ||Д^ — 77/||2 = tr (ДЕД*) ~ min,(0.4)
где min вычисляется на множестве операторов, удовлетворяющих условию RA = U. Если корреляционный оператор Е шума и не вырожден, а оператор U удовлетворяет условию U(I — АА) = 0, эквивалентному условию разрешимости уравнения RA = U относительно R. то, как было установлено в §6 гл.1,
RE = U (А* У,"1 А)" А* У,"1 ^ = U^^Ay^^E,(0.5)
— искомое наилучшее равномерное по / 6 Rm приближение U f, a
УУ = tr (U(A*A)”U*)(0.6)
—оценка сопутствующей погрешности оценивания.
В этой главе оценка (0.5)
RE = Uf ^U^^Ay^^v(0.7)
интерпретируется как выходной сигнал ИВС, имитирующей измерительный прибор U в схеме изменения (0.7), и называется несмещенной редукцией измерения £ к прибору U. Другими словами, R^ понимается как искаженный шумом ГЦУА A ^~v~42v выходной сигнал прибора U. на вход которого поступил сигнал /, причем шум в (0.7), как следует из постановки задачи, имеет минимальную энергию (0.6).
Измерительно-вычислительная система (ИВС) как измерительный прибор. Качество ИВС как средства измерений
При изучении свойств ИВС как измерительных приборов плодотворной оказывается точка зрения, согласно которой ИВС [Л, Е] рассматривается на всем классе Т^а^ = {Д U(I—А А) = 0} приборов U, допускающих синтез с помощью модели [Л, Е]. Дело в том, что при сравнении ИВС следует учитывать не только качество синтезированного прибора U. но и качество синтеза, т.е. величину погрешности (0.6). Следовательно, сравнивать ИВС можно, исходя из того, насколько обширно множество Т)\ад и насколько качественный синтез приборов из Т^а^ обеспечивает ИВС. На этом этапе качество самих приборов из Т^а^ можно не принимать во внимание. Поскольку все интересующее нас свойства ИВС целиком определяются моделью [Л, Е] схемы измерения (0.1), в дальнейшем, говоря ИВС [Л, Е], мы фактически будем отождествлять ИВС и модель схемы измерения. При этом особо следует отмечать, какой прибор имитирует ИВС.
Рассматривая ИВС как измерительный прибор и не указывая, о каком конкретно приборе из Т)\ад идет речь, мы будем иметь в виду произвольный прибор из ^[дщ], точнее, примем следующее
Определение 1.1. ИВС [A, Е] как класс измерительных приборов — это пара функций
R = R(U) = U^^A^A*^"1,
h = ЦП) = tr (и(А^-гА)-и*), и е Ъ[А^ (1.1)
принимающих значения в (Rn U) и [0, сю) соответственно. Область определения Т\Ад функций R(-) и h(-) является множеством тех и только тех приборов, выходные сигналы которых могут быть синтезированы на ИВС. Операторнозначная функция R(-) определяет выходной сигнал ИВС R(U)^ (0.7) как искаженный шумом UfJL-1/2 А^УГ1^ выходной сигнал прибора U Е^ад? значение h(U) (0.6) определяет с.к. погрешность интерпретации R^U)^ как выходного сигнала U f прибора U.
Полезно заметить, что ')
1)№HW^W(1.2)
Понятно, что ИВС тем лучше, чем больше различных приборов можно на ней реализовать и чем выше качество реализации каждого прибора. Поэтому далее примем следующее
Определение 1.2. Будем говорить, что модель [А, Е] ( и соответствующая ИВС ) равномерно не хуже [А, Е], и писать [А, Е] -< [А, Е], если выполняются два условия: 1) Т\Ад D D^ g]; 2) h(U) ЦП) для каждого U Е D^ . Если [А, Е] -< [А, Е] и [А, Е] -< [А, Е], то модели назовем эквивалентными и будем писать
Если [А, Е] -< [А, Е], то любой прибор, синтезированный на ИВС [А, Е], может быть синтезирован и на ИВС [А, Е], причем с лучшим или по крайней мере с таким же качеством. Поскольку при таком сравнении моделей [А, Е] и [А, Е] качество приборов из Р^д ^ не имеет никакого значения, то в любом случае, как бы ни было оно определено, предпочтение должно быть отдано модели [А, Е], если [А, Е] -< [А, Е]. Этот факт позволит нам обсудить свойства ИВС, исходя только из качества синтеза, не учитывая характеристики синтезируемых приборов. Вопрос о качестве синтезируемых приборов будет рассмотрен отдельно.
Условия 1) и 2) определения 1.2 можно выразить в терминах опе-
х) Согласно (1.2) множество Рщ,е] состоит из приборов U, каждый из которых обращает сигнал / в ноль ^Uf = 0) всякий раз, как только этот сигнал обращает в ноль прибор А (А/ = 0). Необходимость этого условия очевидна: если А/ = 0, то в ^, а следовательно, и в R^ нет информации о /. Если при этом Uf 0, то согласно выражению для погрешности (0.3) R^ не может служить (равномерным) приближением U/ при любом R.
раторов модели. Включение D^ ^ СТ^А^ эквивалентно неравенствуА" А > А" А,
а условие h(U) ^ h(U), U Е R^ ^, эквивалентно другому неравенству:
А" А- (Я*^1!)"] А"А 0.
С доказательством можно ознакомиться в монографии [5].
Заметим, что отношение ~ рефлексивно, [А, Е] ~ [А, Е], симметрично, [А, Е] ~ [А, Е]еэ[А, Е] ~ [А, Е], и транзитивно, [А, Е] ~ [А, Е], [А, Е] ~ [А, Е] -А [А, Е] ~ [А, Е] , т.е. является отношением эквивалентности на множестве моделей схемы измерения (0.1). Следовательно, множество всех моделей схемы измерения (0.1) разбивается отношением ~ на классы эквивалентных моделей. В каждом классе естественно выделяется каноническая модель
[А"А,(А*Е"1А)-].(1.3)
Эта модель фактически отвечает схеме непосредственного измерения составляющей АА/ сигнала /, лежащей в Л/^А), с погрешностью, корреляционный оператор которой равен (А*Е-1А)-. Каноническая модель, разумеется, эквивалентна исходной [А, Е].
Сравнение моделей можно охарактеризовать на геометрическом языке, если исходить из геометрической интерпретации задачи редукции. В связи с этим обсудим вначале вопрос о так называемом предварительном преобразовании данных измерения, который представляет также и самостоятельный интерес. Если вместо схемы измерения (0.1) рассматривать ее линейное преобразование
B^ = BAf + Bv, fenm,(1.4)
где В — некоторый линейный оператор, то, поскольку схеме (1.4) отвечает модель [ВА,ВЕВ*], возникает вопрос, нельзя ли таким образом улучшить первоначальную модель, подобрав должным образом линейный оператор В (или, иначе говоря, должным образом «предварительно» преобразовав данные измерения £)? Ответ, разумеется, отрицательный.
Теорема 1.1. Любое линейное преобразование В не может улучшить модель: [А, Е] -< [ВА,ВЕВ*] для любого В.
Доказательство. Для доказательства заметим, что согласно равенству (1.2)
^[дщ] АР[ва,вев*]5
поскольку, если Af(U) D JV(BA), то тем более Af(U) D JV(A). Пусть U Е В[ВА В^В^ . Тогда
ЦП) = inf{tr (R^R*)\R, RA = U} ^ inf{tr (R^R*)\R, RA = U,
R(I - B-B) = 0} = inf{tr (RB^(RBV)\R, RBA = U^
где условие R(I — ВВ) = 0, эквивалетное тому, что R = RB при некотором R , означает, что точная нижняя грань справа вычисляется на множестве операторов R. действующих на В А Следовательно, интенсивность шума редукции h(U) для модели [А, Е] не больше, чем для модели [ВА,ВЕВ*] при любом В. Эти выводы, вместе взятые, и означают, что [А, Е] -< [В А. В^В*]. □
С другой стороны, если в (1.4) выбрать В = Ro, где Яо ~ оператор несмещенной редукции (0.5) к прибору U = АА. т.е.
До = (А^-Ы)-^*^-1 = (S"1^^)-^-!^,^ 5)
то модель не ухудшится. Действительно, поскольку
Д0А = А" А,
то согласно определению (1.2)
Да,Я] = Ддоа,доял5].
Кроме того, поскольку Д'ДоА = U при R' = U € Да,я], то
ЬукоАА^ка(т = inf{tr (Д'Д0ЕД5Д'*)|Д', Д'ДоА = Д}
что и требовалось доказать. Следовательно, в сигнале Яо£, где Яо — оператор несмещенной редукции к прибору АА (1.5), содержится вся информация, позволяющая оценить Я/, U Е Т)^^, и притом столь же качественно, как посредством Я^ (0.5).
Получаемая в итоге преобразования Яо модель [ЯоА,ЯоЕЯд] равна канонической модели [А-А, (А*Е-1 А)-] (1.3), что доказывает ее эквивалентность исходной модели [А, Е]. Название «каноническая» связано с тем обстоятельством, что решение любой задачи несмещенной редукции (0.4) можно записать в виде
R^ = UM, Ге Да,я],(1-6)
означающем, что сигнал Я^ будет получен, если сигнал Яо^ «пропустить» через прибор U.
В более общем случае, когда измерение £ преобразуется к виду (1.4) и к результату добавляется шум, т.е. когда
£ —> А^ + v = А А/ + Av + v,(1.7)
результирующая модель имеет вид [А А, EJ, где Е^ — корреляционный оператор шума £ = Av-Ev. Если v и v — независимые случайные векторы, то_
[АА, EJ = [АА, А^А* + Е]
и, очевидно, при любых А и Е
[А,Е] [АА, АЕА*] [АА, АЕА* + Е].
В терминах моделей преобразование (1.7) определяет композицию моделей [А, Е] и [А, Е], которую естественно назвать произведением:
• [A, И]°=Р"[АА, АЕА* + 5].
Следует подчеркнуть, что без предположения о независимости v и v модель [АА, Е^], Е^ = АЕА* + АУ^р + Е^А* + Е, может быть и лучше, чем [А, Е]. Достаточно, например, выбрать А = —/, если v = v. Но, поскольку шум v наблюдаем только в комбинации с сигналом А/, рассчитывать на такую компенсацию помехи на практике не приходится.
Обратимся к геометрической интерпретации сравнения моделей. Определим множество моделей
ТИ^^] = {[ВА,ВЕВ*], В — любой оператор}.
Пусть [77, 0] — модель, в которой U Е В^а,^] • Введем расстояние между моделями М(В) = [ВА,ВЕВ*] и Ми = [77,0]:
р(М(В),Му) = supE||BA/+Bz/-77/||2 = sup ||(SA—T7)/||2+tr (В^В*).
Наиближайшая к Му модель М(В) из Л^д^] определяется из условия
рунвуму = inf {р(М(В), MV)\M(В) е М[Л,В]} =
= inf{tr (BSB*)|B, BA = U^ = tr (UfA*^"1 A)~U*) и точно совпадает с той моделью, которая получается при решении задачи редукции (0.4), т.е В= 77(Е-1/2А)~Е-1/2. Для каждого 77 Е В^а,^] наиближайшая к Му модель [В А, В Е В*] фактически выбирается из подмножества ^[д^]:
MVAMU = ^ВА, В^В*^ В А = 77}.
Все остальные модели из 7И[л,е] «бесконечно далеки» от Му . Если в последней модели UeB^a^ , то она «бесконечно далека» от любой модели из Л4^а,е] • Стало быть, модель [А, Е] тем лучше, чем меньше множество таких «бесконечно далеких» моделей Му и чем ближе все остальные модели Му к M^a,e]-
На самом деле, если исходить из определения 1.2, то, за редкими исключениями, модели окажутся несравнимыми 1). В то же время совершенно очевидно, что, например, в том случае, когда две ИВС используются в качестве одного и того же фиксированного прибора 77, единственным параметром, по которому их следует сравнивать,
о есть не будет выполнено ни одно из сравнений [А, Е] -< [А, Е], [А, Е] -< [А, Е].
является погрешность (0.6), и, если, скажем, h(U) < h(U), то ИВС [А, Е] лучше, чем [А, Е]. В таких случаях условимся сравнивать ИВС как средства измерений, исходя из следующего определения.
Определение 1.3. Если D — множество приборов, которые можно синтезировать как на ИВС [А, Е], так и на ИВС [А, Е], т.е., если
с Цад П ’ С1-8)
то будем говорить, что на D ИВС [А, Е] не хуже, чем ИВС [А, Е], и писать [А, Е] -< [А, Е]|р, если h(U) ЦП), U Е D. Обозначение [А, Е] ~ [А, Е]|р отмечает эквивалентные на D модели.
В частности, если D содержит единственный прибор U,D = {77}, то ИВС [А, Е] как прибор U не хуже (лучше) ИВС [А, Е], если h(U) ^ HU) (h(U) < h(U)). Заметим, что в этом и только в этом случае качество модели определяется числом.
Какова связь между свойствами ИВС, зафиксированными в определениях 1.2 и 1.3? Если [А, Е] -< [А, Е], то, естественно, [А, Е] -< [А, Е]|р для любого D С Т>^А^ Q 5] = ^\а 5] * Однако, даже если [А, Е] -< [А, Е]|р верно для любого D (1.8), это еще не означает, что [А, Е] -< [А, Е], поскольку вполне возможно, что при этом множество Р^ 5] не содержится в Т^тд .
Понятно, что в том случае, когда Т)\ад П ^[д 5] = 0 ’ модели несравнимы (на любом D).
Линейная минимаксная редукция схемы измерения
Результаты предыдущего параграфа подсказывают более общую постановку задачи редукции — редукции схемы измерения £ = А/ + + v к схеме измерения ц = U f + Vv, где U и V — заданные операторы. Первый продолжает служить моделью прибора, измеряющего параметры исследуемого объекта, второй трансформирует шум, преобразуя его к виду, априори оговоренному исследователем. Можно говорить о редукции модели [А, Е] к модели \U, У ЕЕ*], и это эквивалентно упомянутой редукции схемы измерения, если расстояние р между моделями [ЯА, R^R*^ и \U, УЕУ*] определить как точную верхнюю грань по / 6 Rm с.к. расстояния между R^ и ц:
supE |Щ<^ — 77Ц2 = 8ир||(ДА-У)/||2+1г((Д-У)Е(Д-У)*) =
= p([RA, R^R*], \U, УХУ*]) = 5Д, (2.1)
а саму задачу редукции понимать как задачу на минимум для 5r :
6R = sup ||(ДА - Д)/||2 + tr ((Д - V^(R - У)*) ~ min.
/R
Эта задача эквивалентна задаче *)
ЦП, V) = min{tr ((R - V)^(R - Vy)\R, ^А = Щ, (2.2)
обобщающей рассмотренную ранее задачу (0.3). Она сводится к задаче (0.3), если У = 0, а в случае U = 0 превращается в задачу оценивания шума Ун. Следующая теорема описывает некоторые ее свойства.
Теорема 2.1. Предположим, что Q = AF А* + Е невырожденный оператор, где F — некоторый неотрицательный оператор, удовлетворяющий условию R^F) dJV^^A). Тогда задача (2.2) разрешима, если и только если U 6 Т)\_а^ > ее единственное решение имеет вид
R = V + (U — VA^F^^^Q-^^AF^^-Q-1/"2(2.3)
и
ЦП, V) = tr ((U - VA)F1/2[(F1/2A*Q"1AF1/2)" - I]F1/2(F - НА)*)-
(2-4)
Доказательство. Введем неотрицательный оператор F, удовлетворяющий условию R(F) Л JV^A). Тогда уравнение RA = = U можно записать в виде RAF1^ = UF^ и, далее, в виде (Я - V)Q1^(Q-1^AF1^) = UF1^ - VAF1/2. В силу условия U Е ^а^] эт0 уравнение разрешимо и всякое его решение можно определить из равенства
(R - V^Q1/2 = (U - VA)F1/2(Q"1/2AF1/2')- +
+ ZU - Q-1/2AF1/2(Q"1/2AF1/2y), (2.5)
где Z — произвольный оператор. Поскольку при RA = U
SR=tr^R-V^R-Vy) =
= tr ((R - V)Q(R - V)*) - tr ((U - VA)F(U - УАП (2.6) где последнее слагаемое не зависит от R, исходная задача на минимум (2.2) эквивалентна задаче отыскания
min{tr ((Д - V)Q(R - УУ)\Н, RAF1/2 = UF1/2}.
Но, если учесть равенство (2.5), то
tr ((R-V)Q(R-Vn =
= tr yu - VA')F1/2(F1/2A*Q-1AF1/2')-F1/2(U - VA)*)+
+ tr (Z(I - Q-1,2AF1/2(vQ"‘2AF1/2^-^*^
tr yu - VA')F1/2(F1/2A*Q-1AF1/2')-F1/2(U - У A)*), (2.7)
откуда следует, что искомый минимум достигается на единственном операторе (2.3) (при Z = 0 в (2.5)). Выражение (2.4) является следствием равенств (2.2), (2.6) и неравенства (2.7). □
Для сравнения этого результата с полученным ранее выберем F = = I и будем считать для простоты, что оператор Е невырожден. В этом случае можно положить Q = Е, и тогда решение задачи (2.2) можно записать как
R = v + (U -
Ему будет сопутствовать погрешность, равная
ЦП, V) = tr ((U - VAXA^^ATIU - УАУУ (2.8)
Задача редукции (2.2) так же как и задача (0.4), позволяет сравнивать модели, исходя из условия разрешимости задачи (2.2) и величины погрешности редукции (2.8). Однако нетрудно заметить, что на этом пути мы не получим ничего нового. Дело в том, что, рассматривая погрешность (2.8) при любых U 6 T)ya^ и У, легко увидеть, что фактически речь идет о погрешности
tr (W^^A^W*),
где W = U — VA G Т^аД) если и только если 77 G ^ya^ ибо VA G Т^а^- Короче говоря, если [А, Е] -< [А, Е], то Т>а^ ^^Xq и h(U\ V) h^U, V) для любого U G Р^д^ и любого V.
Критерии качества измерительного прибора и соответствующей ИВС
До сих пор, обсуждая задачи редукции к заданному прибору U, мы не интересовались параметрами U как прибора, считая, что исследователь знает, какой прибор обеспечит наилучшие условия для решения задачи интерпретации. При таком подходе единственным критерием качества редукции является оценка величины погрешности (0.6). В том случае, когда U f — параметры исследуемого объекта, как это было в примерах, рассмотренных во введении, вопрос о выборе U решается автоматически, если U Е ^ya^] • Понятно, что в этом случае следует считать, что U = U, поскольку при любом другом выборе U оценка погрешности (0.6) при оценивании параметров U f объекта будет хуже.
Даже в тех случаях, когда на практике шум h(U) оказывается неприемлемо большим, в рамках модели [А, Е] не существует альтернативных решений, поскольку любое другое непременно приведет к худшей оценке погрешности (0.6). Более того, сам факт, что шум редукции оказался «неприемлемо большим», не может обсуждаться в
рамках модели [Л, Е], поскольку его не с чем сравнивать — сигналы / и U f неизвестны, а наблюдаемы лишь £ = Af + // или R^ = RAf + + Rv. «На практике» в данном контексте означает , что по существу, речь идет о другой модели, в которой имеется априорная информация о сигнале, позволяющая судить о том, велик шум или нет. Дополнительные возможности, основанные на такой информации, будут рассмотрены несколько позднее, однако уже сейчас следует заметить, что все они в конечном счете окажутся формально эквивалентными дополнительному измерению /.
Таким образом, в случае, когда U f — параметры изучаемого объекта, оператор U моделирует идеальный прибор, [77, 0] —модель идеальной схемы измерения и если U Е R^a^ т0 МЦ) — единственная характеристика качества синтезированного на ИВ С [Л, Е] идеального измерительного прибора U.
В частности, когда параметры исследуемого объекта образуют входной сигнал /, для исследователя наилучшим будет прибор U = I, не искажающий входной сигнал, а наилучшей моделью схемы измерения — [/, 0], поскольку при этом к измерению I/ = / не добавляется шум. В данном случае как прибор U = I, так и схему измерения [/, 0] естественно назвать идеальными, так как речь идет о непосредственном измерении параметров объекта без искажений и без шума. Следует заметить, что модель [/, 0] не хуже любой другой модели [Л, Е] и в смысле определений 1.2 и 1.3, поскольку ^[/,о] содержит любой прибор U и для этой модели h(U) = 0 ). В рассматриваемом случае на выходе ИВ С [/, 0] сигнал точно воспроизводит параметры объекта, поэтому такая ИВ С представляет то, что мы назвали идеальным прибором.
В общем случае по сравнению с моделью [/, 0] любой другой модели [Л, Е] свойственны искажения входного сигнала, которые можно представить на диаграмме / —> Л/ —> Л/ + v. Вначале сигнал претерпевает искажение / —> Л/, которое можно назвать аппаратным. При этом происходит то, что иногда называют размытием, потерей разрешения, амплитудно-фазовыми искажениями и другими подобными терминами, заимствованными из оптики, спектроскопии и электротехники. После этого может быть точно восстановлена лишь та информация о сигнале /, которая заключена в Л/. Вместе с тем, если, / = А + /2, где /1 е МДА), /2 е М(А), то данные об /2 уже на этом этапе безвозвратно потеряны, ибо Л/2 = 0. Но /1 = А (Л/) = = (Л* Л)-1 Л* Л/, если скажем, оператор А*А имеет обратный.
Вслед за этим Л/ искажается шумом и. и, как будет видно из дальнейшего, это может сделать фактически невозможным восстановление и /1 6 Af ± (Л).
Образно говоря, можно сказать, что не вся информация о / содержится в £ = Af-Vv. При измерении часть ее (/2) необратимо теряется, остальная (Д) в той или иной степени разрушается шумом (см. § 4).
Применительно к параметрам объекта U f эти факты позволяют заоо ооо
ключить, что в том случае, когда U Е R[a,yt U f = U/1 -VU /2 = U fi, поскольку Uf^ = 0, и, следовательно, данные об /2 не важны. Но если составляющая /1 в конечном счете оказывается в значительной степени разрушенной шумом, все будет зависеть от того, насколько это повлияет на U/1 (см. § 4).
Если, как мы условились, U f — параметры исследуемого объекта, но UeD^a^ 1 т0 все параметры объекта оценить невозможно, и в рамках модели [Л, Е] можно лишь обсуждать вопрос о том, какую часть, или, точнее, какую функцию параметров можно оценить и насколько качественно. Однако, хотя формально вопрос о том, какой интерес представляет та или иная функция U/, U Е ^[дд, параметров объекта U/, почти целиком определяется тематической направленностью исследования и, следовательно, лежит вне математики, тем не менее на практике при выборе U Е ^[дщ] решающее значение может иметь величина погрешности h(U). В частности, если исследователь не в состоянии определить свои предпочтения на Т\ад т0 естественное правило выбора U сводится к тому, что выбирается U = Ue из
Ре = {ГеДЛд, h(U)^s},(3.1)
самый близкий к идеальному 77. где е — параметр, контролирующий уровень шума редукции к Ue. При этом редукция к Ue
Re^ = и J + Rev = Uf + (Us - иу + Rev
непременно будет содержать ложный сигнал (Ue — U)f, если U(^U. и Re^ интерпретировать как редукцию к U. Поскольку при U£ ^ U sup||(77£ — 77)/|| = сю и, следовательно, 8ирЕ||(Я££ — U f)||2 = сю, //
R£E нельзя рассматривать как равномерную оценку Uf .
Интерпретация редукции на сей раз должна быть инструментальной: RA — искаженный шум R£v выходной сигнал прибора Ue, самого близкого к U при условии Е ||Я£?/||2 ^ е. Если расстояние между приборами U и U определить как \\U — 77||2) то
|Д - 7||2 = min{||t/ - 7||2|г е ТА(3.2)
В этом случае на ИВ С с максимальной точностью синтезируется
прибор U (в виде Ue) при заданном ограничении на уровень шума). Такая точка зрения на ИВ С как на измерительный прибор совпадает с инструментальной, при которой измерительный прибор моделируется как оператор U, который определяет его паспортные характеристики, оператор Ue моделирует реальные характеристики прибора, шум Rev моделирует измерительную погрешность. Как правило, в силу физических и технологических ограничений точное равенство Ue = U для реальных измерительных приборов невозможно, и речь может идти лишь о минимизации отличия U£ от U. В дальнейшем такие задачи синтеза измерительных приборов на ИВ С будут более подробно изучены в гл. 9, а сейчас рассмотрим вопрос о том, как связаны качества измерительного прибора А и соответствующего измерения £ = Af + + v как таковые и в составе ИВ С. Для определенности 'условимся считать, например, что прибор А тем лучше, чем меньше
пйп|Щ - ДЛ||2 = |Д-АоЛ|Ц.(3.3)
Такое соглашение предполагает возможность нормировки измерения £ = Af + v —> Aq£ = AoAf + Ао^ путем выбора «коэффициента усиления» Ад , в результате которой Ао£ можно интерпретировать как измерение, выполненное на приборе AqA, самом близком к идеальному U среди всех приборов АЛ, —сю < А < сю (ср. с (3.2)). Поскольку
Ао = 1ДПА*)ДДААД(3.4)
Т0оо
9(Д- Ао= tr (ИГ) -
).(.W) = E||W = ДДДД5- (3.3)
Следовательно, сравнивая измерения £ = Af + v и £ = Af + v с точки зрения интерпретации Ао£ и Aq£ как измерений на приборе U, естественно считать, что £ лучше, чем £, если
g(A, Д U) < д(А, Е, Uf ДА, Д U) < ДА, Е, U),(3.6)
причем хотя бы одно из неравенств строгое. Эти неравенства являются формальным выражением предпочтений исследователя в том случае, когда измерительные приборы не используются в составе ИВС. Если же речь идет об использовании приборов в составе ИВ С
и U Е Т)^^ A Р^д g], то ИВС [А, Е] позволит лучше синтезировать прибор U, чем ИВС [А, Е], если [А, Е] -< [А, Е]|^^ или, иначе, если1)
ЦА, S, Г = tr Г (A^^A^U*) >
> tr (UlA^-LATU*) = h(A, 5, U\ (3.7)
Поскольку условия (3.6) и (3.7) друг другу не противоречат, можно привести достаточно много примеров, в которых стремление улучшить измерительный прибор А и измерение £ = А/ + v в том смысле, как это определено выше неравенствами (3.6), будет приводить к ухудшению свойств ИВС как прибора [/. см., например, рис. 0.2 и 0.3 во Введении.
Пусть, скажем, U = А, Е = /, так что измерение £ = А/ + и выполняется на идеальном приборе А. Если прибор А предполагается реализовать на ИВС [А, Е], то следует ли стремиться к тому, чтобы в схеме измерения £ = А/ + v прибор А был как можно ближе к А в смысле расстояния ^(А, Е, А) (3.5)? Будем считать, что оператор А не кратен А и Е = а2!. Тогда неравенства (3.6) можно переписать в виде
(tr (АА*))2tr (АА*)(tr (АА*))2tr (АА*),tr (AA*)tr (АА*)
(tr (АА*))2tr (АА*)
(tr (АА*))2tr (АА*)
= tr (АА ) > —L
11g2(tr (АА*))2(tr(AA*))2 ’g2(tr (АА*))2(tr(AA*))2 ’(3-8)(3-8)tr (АА*)
1
1
g2(tr (АА*))2
(tr(AA*))2 ’
g2(tr (АА*))2
(tr(AA*))2 ’
(3-8)
(3-8)
где первое неравенство выполняется автоматически, поскольку равенство А = ХА невозможно ни при каком А. Условия (3.8) означают, что прибор А хуже А и измерение £ = А/ + v не лучше, чем £ = А/ + v. С другой стороны, ИВС [А, Е] позволит более точно синтезировать прибор А, чем ИВС [А, Е], если
tr I = п > 52tr (А*А(А*А)”1)(3.9)
(см. неравенство (3.7)). Условия (3.8) и (3.9) совместны, если
(3.10)(3.10)(tr (АЛ*))2~_2 tr (А*А(А*А)-г)
(3.10)
(3.10)
(1г(ЛЛ*))2п
для некоторого А. Поскольку разность левой и правой частей неравенства (3.10)
(tr (ЛЛ*))2 tr (Л*Л(Л*Л)-Х)
(П(ЛЛ*))2п
для проверки условия (3.10) достаточно проанализировать приращение d(A,A) по Л в «точке» А = А. Пусть, например, А — самосопряженный оператор и Л — функция Л, А = Л (Л). Тогда в некотором ортонормированном базисе А = diag (ai^... ^ап)^ А = diag (щ,...,ап)
d(A,A) =d(A,A) =11ПоэтомуПоэтому25ак25ак(3.13)(3.13)(3-12)
d(A,A) =
d(A,A) =
1
1
Поэтому
Поэтому
25ак
25ак
(3.13)
(3.13)
Если оператор А не кратен единичному, то
ЭДДЛ)Эак
для 5ак = е о^1^ 1 — ак(^Оч) 1 , где е > 0. Поэтому для А = \ 1 /
= Л+ с(Л~1/п —Л (tr Л2 Д1) при достаточно малом положительном е существует ст2, удовлетворяющее неравенству (3.10). Следовательно, хотя прибор А лучше А и измерение £ = Л/ + г/ лучше, чем £ = Л/ + + v. тем не менее на ИВС [Л, У] прибор А может быть синтезирован более качественно, чем на ИВС [Л, У]:
[А,Ч^[ДЕ]|М}.
Любопытно, что в том случае, когда А — единичный оператор I или кратен единичному, неравенство (3.9) не выполняется ни при каком А. Чтобы упростить доказательство этого факта, перепишем
неравенство (3.10) в терминах норм и скалярных произведений:
(tr(W))2H(J,l)i>l||l||4||l-1||2,(3.14)
п
ГДе (А,В)2 °=tr(AB*), ||Л||1 = (А, А)г = trAA*. (3.15)
Используя неравенство Коши—Буняковского , получим
(I, А)2 ^ ||/||1||А||1 = п||А|Ц ^ (1/п)||А||1||А-1||1,(3.16)
поскольку в силу того же неравенства
п2 = (А,А-1)1^||А||1||А-1|Ц.
Неравенства (3.16), верные для любого невырожденного оператора, противоречат неравенству (3.14).
Точно также, если U = I, Е = X = Z, то неравенства (3.6) обретают вид
(tr Л)2Дг (ЛЛ*) (trI)2/tr(IJy, (1гЛ)2/(П(ЛЛ*))2 < (tr H)2/(tr (ЛЛ*))2,1}
откуда следует неравенство
tr (АА*) > tr (АА*), противоречащее неравенству (3.7)
tr (Л* Л)”1 > tr (ЛЛ*)”1.
Из этих фактов, равно как и из результатов первого параграфа, следует, что, разрабатывая или совершенствуя измерительный прибор, исследователь должен отдавать себе отчет в том, что в конечном счете многое будет зависеть от того, как он намеревается использовать прибор — в составе ИВС или как таковой1).
Однако неравенства (3.6) не единственная форма выражения предпочтений исследователя. Несколько другую форму можно получить, рассматривая упрощенную модель формирования оптического изображения.
Как известно, математической моделью оптического прибора в ряде случаев может служить интегральный оператор
Af^x) = I а(х- y)f(y)dy, х еХ.(3.18)
х
Чтобы не вдаваться в детали взаимодействия излучения с веществом объекта, представим дело таким образом, что /(•) — выходной сигнал идеального прибора на поле зрения X = 7^2 , а выражение (3.18) описывает аппаратные искажения, которые вносит прибор А в отличие
х) По существу, предпочтения (3.6) и (3.7) позволяют вложить точный смысл в слово «совершенствуя».
от идеального. Функция п(г), z Е X, называется аппаратной функцией А, ее можно интерпретировать как отклик прибора на точечный источник света, помещенный в точку о, математической моделью которого является 5-функция 5(ж), х Е X.
А5(х) = J а(х — y)5(y)dy = а(х), хЕХ. (3.19)
Принято считать, что чем «шире» аппаратная функция а^ тем ниже разрешающая способность А. Это соглашение тесно связано с релеевским определением разрешающей силы оптического прибора для входных сигналов типа точечных источников. Согласно этому определению мерой разрешающей способности прибора является минимальное расстояние между двумя одинаковыми точечными источниками, при котором суммарный выходной сигнал позволяет заключить, что наблюдаются два источника).
В общем случае понятие разрешающей силы должно определяться классом изучаемых входных сигналов и характером решаемых задач).
Определим, например, класс входных сигналов как множество случайных векторов ф с заданными математическим ожиданием Е ф = = 0 и корреляционным оператором Е^ = а21. Речь идет о сигналах типа белого шума или импульсных сигналах. В последнем случае ф = (фг,... ,фт)* имеет вид случайной последовательности (О,..., 5,0,..., 0), в которой «импульс» случайной амплитуды д. с Е 5 = 0, Е J2 = ^ с вероятностью 1/т может занимать любую из т «позиций». Если цель измерения на приборе А = А* состоит в том, чтобы как можно точнее в среднем квадратичном воспроизвести входной сигнал ф, должным образом усиливая или ослабляя Ф, то качество прибора следует определить, исходя из вносимых им искажений, задавая их величину, например, в виде
h0 = inf Е ЦАА^ — ^||2 = inf^2tr((AA-/)(AA-/)*) = ^2tr (I- A0A), где
Ao = tr A/tr (AA*),
Прибор А следует считать идеальным, если ho = 0, что в свою очередь будет тогда и только тогда, когда оператор А кратен единичному оператору I. Соответственно качество измерения £ = Аф + v
определим, исходя из величины погрешности
h* = infE||A^-^||2 =
= inf{A2tr ((АА - /)(АА - I)*) + A2tr S} = tf2tr (I - A*A),
где
A* = tr A/(tr A2 + ^-2tr E).
Величину
A(A) = $-2h0 = tr I — (tr A)2/tr A2(3.20)
назовем релеевской шириной аппаратной функции прибора А, а
АДА) = ^-2/г* = tr I — (tr A)2/(tr А2 + ^-2tr Е) (3.21)
— эффективной шириной аппаратной функции. Так как
(tr А)2 < (tr/)(tr А2),
то А (А) ^ 0, причем А (А) = 0, лишь если А = XI при некотором А, т.е. когда А — идеальный прибор. Аналогично
$ 2h* > tr / ( 1 —$ 2h* > tr / ( 1 —tr A2 A trZ^-2trE
$ 2h* > tr / ( 1 —
$ 2h* > tr / ( 1 —
tr А2 + ?A2trE у tr А2 + ^-2tr Е ’
причем и здесь равенство выполняется лишь в случае А = XI.
Эффективная ширина аппаратной функции определяет относительную погрешность воспроизведения ф при измерении £ = Аф + + v. Ее естественно назвать разрешающей способностью измерения, а А (А) — релеевской разрешающей способностью прибора А, поскольку
△(А) = 2Тг* Ц=о = гГ27г0.
Теперь мы можем сформулировать предпочтение исследователя: 1) прибор А обладает более высоким разрешением, чем А, если
△(А) < А(А),
или, иначе, если~~
(tr A)2/trA2 > (trA)2/trA2
аналогично первому неравенству (3.17); 2) измерение £ = Аф + и. выполненное на приборе А = А*, лучше, чем измерение £ = Аф + zx, выполненное на приборе А = А*, если h^ < h*, или, иначе, если
(tr A)2/(tr А2 + ^-2tr Е) > (tr A)2/(tr А2 + ^-2tr Е).
Строго говоря, эти рассуждения, основанные на свойствах априорной информации о входном сигнале ф, теряют силу в случае модели [А, Е]. Они свойственны модели [A, F, Е], в которой известен корреляционный оператор F сигнала ф, равный в данном случае ^-2Z. Задачи редукции для модели [A, F, Е] будут рассмотрены в гл.6, но, забегая вперед, заметим, что в данном случае задача редукции к
идеальному прибору U = I ставится как задача на минимум для погрешности редукции
ЕЦ-R^-y’H2 ~min-
В §5 гл. 1 показано, что минимум достигается на
R = R, = FA*(AFA* + S)-1 = ^^А + Г1)’1^’1(3.22)
И
Е ||Д^ - у?||2 = tr (F - РАДАРА* + Е)“1АД) =
= tr (A*S-1A + Д-1)-1. (3.23)
Задача несмещенной редукции к U = I для модели [A, S], как известно имеет решение До = (А*Е-1А)-1 А*Е-1, а сопутствующая погрешность (0.6) удовлетворяет очевидному неравенству
tr (А^-М)"1 > tr (А^-М + Д"1)"1,
отражающему влияние дополнительной информации о сигнале ф.
А\ О' / ’ 0 FА\ О' / ’ 0 Fпусть задана модельпусть задана модельсхемы измерениясхемы измеренияЗаметим, что дополнительную информацию о ф можно учесть в форме дополнительного измерения входного сигнала в рамках модели [А, Е]. Речь идет об измерении £ = Af + v. в котором / — априори произвольный вектор Кт, и о независимом дополнительном измерении £' = 0 = / + z/, в котором Е v* = 0 и Е^/ = F. Иначе говоря,
А\ О' / ’ 0 F
А\ О' / ’ 0 F
пусть задана модель
пусть задана модель
схемы измерения
схемы измерения
.0/.0/к прибору U = I опре-к прибору U = I опре-
.0/
.0/
к прибору U = I опре-
к прибору U = I опре-
Тогда несмещенная редукция измерения деляется оператором
/। А \\। А \
А) оF"1) \l) )0F-1) -
= ^*£“4 +Д-Щ^А^ДД-1) и имеет вид (см. равенство (3.22))
Д ^ = (А*Е"ХА + Р^фА^ф = R^.
Ей будет сопутствовать погрешность
ииА*-,п1Л0 фА Lj ^(А^-М + д-1)-1,
совпадающая с (3.23)х).
Итак, вне ИВС прибор А тем лучше, чем меньше релеевская ширина его аппаратной функции А (Л) (3.20), а измерение £ = Л(^ + и тем лучше, чем меньше эффективная ширина аппаратной функции А* (Л) (3.21). Но в тех случаях, когда прибор А используется в составе ИВС, его качество нельзя рассматривать вне модели схемы измерения. В частности, в случае модели [Л, Е] согласно определению 3 § 1 качество измерения Яо£ = / + ^о^ (см.1.5) на ИВС [Л, Е], как на идеальном
приборе U = I, тем выше, чем меньше значение погрешности
/i = tr (Л*Е-1Л)-1.
Соответственно в рамках модели [Л, F, Е] качество измерения R*£ на ИВС [Л, F, Е] как на идеальном приборе тем выше, чем меньше значение погрешности
=tr(A*S-1A + F“1)-1.(3.24)
В этом случае оператор R* определен равенством (3.22).
Подчеркнем, что как в случае ИВС [Л, Е], так и в случае ИВС [Л, F, Е], речь идет о синтезе выходного сигнала идеального прибора
U = 7. и измерения на этих ИВС сравниваются с измерением на идеальном приборе, не искаженным шумом. Более общий случай, когда на ИВС синтезируется прибор, отличающийся от идеального, но измерение на ИВС по-прежнему сравнивается с измерением на идеальном приборе, будет рассмотрен в §1,2 гл. 9.
Сравним эти четыре аспекта использования прибора на простейшем примере, в котором Л = ^ ^ . Если b = 0, то А представляет идеальный прибор, с увеличением \Ь\ отличие А от идеального прибора возрастает. В данном случае релеевская ширина аппаратной функции А согласно выражению (3.20) равна
А(Л) = 2b2^o? ГЬ2\(3.25)
Эффективная ширина А* (Л) (3.21) при условии Е = ст2/ равна
А*(Л) = 2(52 + р2)/^2 + Ь2 + ц2),(3.26)
где ц2 = л2;А2 . Соответственно качество А в рамках модели [Л, Е] = = [Л, ст2/] тем выше, чем меньше значение
К = 2а2(а2 + Ь2)/(а2 - 52)2,(3.27)
поскольку
а2 + Ь2 2аЬ\2аЪ а2 + Ь2 )а2 + Ь2 2аЬ\2аЪ а2 + Ь2 )(АМ)"1 =(а?-Ь2ГЧ,(АМ)"1 =(а?-Ь2ГЧ,— 2ab\ a2 Fb2 ^— 2ab\ a2 Fb2 ^
а2 + Ь2 2аЬ\2аЪ а2 + Ь2 )
а2 + Ь2 2аЬ\2аЪ а2 + Ь2 )
(АМ)"1 =(а?-Ь2ГЧ,
(АМ)"1 =(а?-Ь2ГЧ,
— 2ab\ a2 Fb2 ^
— 2ab\ a2 Fb2 ^
а в рамках модели [A, F, X] = [A, ^2Z, ст2/] — чем меньше значение
(а2 + № + ц2) — 4а252(а2 + № + ц2) — 4а252(3.28)(3.28)
(а2 + № + ц2) — 4а252
(а2 + № + ц2) — 4а252
(3.28)
(3.28)
На рис. 5.1 представлен вариант зависимостей (3.25)—(3.28) от Ь. наглядно показывающих, насколько существенно отличаются поня-
Рис. 5.1. Графики зависимостей погрешностей ^2А(А), ^2А*(А), h и h*
от 6 ^ 0 : max h* при b2 = 2ау а2 + рЗ — (а2 + д2), 5 ~ 0, 9а; max h* =
°Ч 2 / 2\2 q2 222
2а7а2 + д2 — 2а22а7а2 + д2 — 2а2z . х ~ 1,2(сг а ): а и = а , и = а 2а2 (лД^1)
2а7а2 + д2 — 2а2
2а7а2 + д2 — 2а2
тия качества прибора как такового и в составе ИВС. Характерно прежде всего то, что при b —> ею i^2A(A) —> 2^2, ^2A*(A) —> 2^2 (монотонно возрастая), в то время как h и h* монотонно стремятся к нулю. При b > aV^ погрешность несмещенной редукции h меньше, чем ее значение при b = 0, и монотонно убывает с увеличением 5, т.е. с увеличением отличия А от идеального прибора. Аналогичное поведение характерно и для h* при b > \2ал/а2 + ц2 — (а2 + ц2)] , причем h* < К для любого b .
Рассмотрим подробнее модель [А, X], А = ^ ^ , X = а21. Как было отмечено при синтезе идеального прибора Z,
tr (А*Х”1А)-1tr (А*Х”1А)-12а2^а2 + 52)
tr (А*Х”1А)-1
tr (А*Х”1А)-1
(а2 - №У <
/ ^^ f г / Д * У— 1 Д А— 1 Д (^ 0^ 0,2Aq) ,71q I q д ,
как только b > aV3. Это означает , что согласно определению 1.3
[Л^Н [4o,S]|{/}
при b > ад/З.
Согласно определению 1.2, модель [А, Е] равномерно не хуже, чем [Ао, S], если
tr U(A*^”1Ay1U* < tr U(A*^”1Aoy1U*
для любого оператора U. Это условие эквивалентно операторному неравенству (А*Е-1А)-1 ^ (AqE_1A0)-1, которое в свою очередь эквивалентно двум неравенствам
(а + Ь)2 ^ а2, (а — Ь)2 ^ а2(3.29)
поскольку а-2(а ± Ь/ — собственные значения оператора
аа-2-2/п2 + 62 2аЬ\х
а
а
-2
-2
\2аЬ а^№)
Для b > 0 неравенства (3.29) эквивалентны неравенству b ^ 2а, выделяющему модели [А, Е], которые равномерно не хуже, чем [Aq, U]. Следовательно, при b ^ 2а ИВС [А, Е] позволяет синтезировать любой прибор U более качественно, чем ИВС [А0,И].
Можно было бы заподозрить, что все сказанное объясняется увеличением отношения сигнал/шум при увеличении Ь. Покажем, что это не совсем так. Действительно, энергия ||А/||2 = (А*А/,/) сигнала А/ не меньше, чем энергия сигнала Ао/, если ((А* А — AqAq)/, /) ^ О для любого /. Это условие эквивалентно операторному неравенству А*А ^ AqAq, которое в свою очередь записывается в форме неравенств (3.29) для собственных значений операторов А*А и AqAq. Итак, при фиксированном уровне шума отношение сигнал/шум для модели [А, Е] больше, чем для модели [Ао,£ф если b > 2а.Это условие совпадает с условием [А, Е] -< [Ао,£ф но несколько сильнее, чем требуется для того, чтобы [А, 5] -< [Aq, 5ф{/} •
Связь между качеством модели и соответствующим отношением сигнал/шум может быть установлена и в общем случае.
Определим величину отношения сигнал/шум для модели [А, Е] в схеме измерения (0.1) как
ПЕ-ГМ/П2 = (А^-Ыу, р, f е тгт. (3.30)
Если для всякого / Е Пт
{A^Af, р (A^Af, р,(3.31)
или, что то же самое, если
(3.32)(3.32)А*Е-1А > А*£-1А,
(3.32)
(3.32)
то будем говорить, что отношение сигнал/шум в схеме измерения (0.1) для модели [А, Е] равномерно не меньше, чем в схеме измерения £ = А/ + v для модели [А, Ё].
Покажем, что такая связь между моделями [Л, У] и [Л, У] влечет [Л, У] -< [Л, У]. Действительно, неравенство (3.32) влечет включение JV(A) D JV(A) , а это эквивалентно тому, что
^[ЛД] ^^VA^(3.33)
ибо Т\А^ = {7/, N\U) D АДЛ)}.
Кроме того, как показано в работе [48], из условия (3.32) следует, что (Л*У-1Л)_ ^ ЛЛ(Л*У*Л)ЛЛ. а это неравенство эквивалентно тому, что
tr (СДСУ^ЛДТГ) > tr (U(A*^-TA)-U*)(3.34)
для любого U Е Р^д g]. Условия (3.33) и (3.34) означают, что [Л, У] [Л, У].
Что касается определения отношения сигнал/шум (3.30), то доводы в его пользу основываются на следующей форме записи схемы измерения (0.1):
= ^-1/2Лу + ^-1/2^(3.35)
при которой интенсивность шума S-1/2p вдоль любого направления s, ||s|| = 1, равна единице:
Е (s, Е-Гг^г = ^ ^-ifz^-ifz ^ = цsц2 = L (3.36)
Именно это обстоятельство следует рассматривать как основной довод в пользу определения (3.30).
Роль шума измерения
Для анализа влияния шума удобно записать схему измерения (0.1) в базисе модели [5]. Так называется ортонормированный базис Ptm состоящий из собственных векторов оператора Л*У-1 Л:
Л*У-1Ле^ = З^е^ к = 1,...,т,
6^6^.(4.1)
Согласно этой записи мы ограничиваемся случаем, когда оператор Л*У *Л невырожден (8^ > 0). При этом условии на ИВС [Л, У] можно синтезировать любой измерительный прибор U. Если
о —
> и — ор+1 — ... —
то на ИВС могут быть синтезированы лишь те приборы, которые обращают в ноль сигналы ep+i,..., em
Ues = 0, s = р + 1,..., т.
В частности, ортогональная проекция Щ/ сигнала / EzRm на к- мерное линейное подпространство С^ может быть оценена лишь при условии £^ С £(ei,..., еД . В этом случае речь идет о редукции £
к виду, свойственному непосредственному измерению составляющей Щ/ сигнала /. Среди всех таких приборов П^ = АА — самый близкий к Z, который можно синтезировать на ИВС [А, Е], поскольку AAf — «максимальная ортогональная составляющая /», которая потенциально может быть восстановлена по наблюдениям £ = Af + + v. Поскольку шум редукции R^v к прибору Щ G ^[дщ] имеет энергию tr (Щ(А*^-1А)-Щ), можно сказать, что подпространство Ск поражено шумом RkV интенсивности
№) =tr (ЩеГЕ-ЫЦЩ).
Базис модели доставляет естественный аппарат для исследования свойств ЫДк) как функции ортогонального проектора Щ ^[АЩ] • Образуем цепочку вложенных подпространств Rm возрастающей размерности
£(е1) С C(eY, е2) С... С Цех,..., ер) = ЛА (А)(4.2)
— линейных оболочек, натянутых соответственно на ei, на ei, 62,..., на ei,..., ер, и соответствующую последовательность ортогональных проекторов
П? ^П^... ^П“ = А"А.
Важное для нас свойство базиса модели в данном случае состоит в том, что каждое из подпространств (4.2) поражено шумом не больше, чем любое другое подпространство Rm той же или большей размерности [5]. При этом любое подпространство Rm, не содержащееся в £(ei,..., ер), считается пораженным шумом бесконечно большой интенсивности. Это соглашение основано на том, что любая ортогональная составляющая сигнала /, не лежащая в £(ei,..., ер), не может быть равномерно оценена — факт, который можно интерпретировать как бесконечно интенсивный шум оценки. В частности, можно считать, что таким шумом поражено каждое из подпространств, натянутых на ер+1, на ер+2 ,..., на ет. Наоборот, каждое из подпространств
^(^р) ^^pi ^р—1) С ... С £(ер, вр—1 ..., 61)
поражено шумом конечной интенсивности, причем не меньше, чем любое другое подпространство £(ei,..., ер) такой же или меньшей размерности. В цепочке
^(^m) С £(ет, вт_i) С ... С £(ет,..., 61)
все подпространства поражены бесконечно большим шумом. Эти вопросы подробно изучены в монографии [5], а в этом параграфе мы ограничимся элементарным анализом интенсивности шума редукции, причем для простоты будем считать, что rank (А*Е-1 А) = р = т.
Как известно (см. [5]), векторы
= 571^-1^2Авг, г = 1,..., т.
образуют ортонормированную систему в Rn *) и являются собственными векторами оператора Е-1/АА*Е-1/2 : У,~^2 АА*У,~^2 s; = = 5^-у/2 Aet = 52s^ г = 1,...,ттг. Кроме того, УНЕ-1/^ = Stet, поэтому
d = б^А*^^, i = 1,..., т.(4.3)
Систему векторов si,..., sm многими способами можно дополнить до ортонормированного базиса Ptn (в нашем случае непременно n ^ т). Любой такой способ даст
Е"1/2 ЛА*5Г1/:Д = о, » = m + 1,..., п(4.4)
(поскольку rank (S-1/2AA*S-1/2) = m).
Воспользовавшись построенными базисами, запишем схему измерения (0.1) в координатной форме
6 = Sifi + щ, г = 1,,ш,
(4-5) sj = Vji j = т + 1, . . . , 72,
где использованы формулы (4.3) и (4.4) и обозначения
^ = (s^S-1/2^), vt = (8t,y-1/2v), г = 1,...,п,
В этих обозначениях редукция Rq£, = / + R^v (см. (1.5)) принимает ВИД
№^)г = ej = fi + Vi/5i, i =(4.6)
Теперь мы можем легко выяснить, в каких случаях и как проявляет себя шум измерения. Самые драматические ситуации возникают тогда, когда, вопреки ожиданию, сигналы f и Rq^ могут отличаться сколь угодно сильно, в то время как сигналы / и ^ практически совпадают. Пусть, например, ф = 1, г = 1,..., ттг — 1, 5т = г, Е = = diag (ст2,..., ст2), fm = 0, п = т. В таком случае оператор Е-1/2А не искажает / (могла быть искажена последняя координата, если бы fm ?^ 0), следовательно, если а2 достаточно мало, то ^ ^ / . В то же время координата ^R^m сигнала R^A не равна нулю, как у сигнала f, и более того, при е —> 0 она может принимать неопределенно большие значения. 2) В этом причина возможных больших отличий между Ro£, и f. Вообще, видимо, полезно заметить, что согласно равенствам (4.5) г-я координата f дает вклад в £ такого же порядка, как шум, если (ф/г)2 ~ 1- Информация об этой координате, содержащаяся в £, оказывается в значительной степени разрушенной действием шума. В такой же мере разрушающее действие шума проявится ив Ro^ это видно из сравнения формул (4.5) и (4.6).
(A^S-Me^eJ <J2^(1, i = j,
’ 1 ’ J8i8jSiSj [О,
Таким образом, реальная роль шума определяется величинами №/г)2; ^ = 1,...,ш, которые в свою очередь определяют величину отношения сигнал/шум:
IIS-V^A/H2 = f>, S-V^A/)2 = £г=1г=1
(см. равенства (4.3)). Слагаемые в правой части этой формулы определяют отношения сигнал/шум вдоль направлений щ, г = 1,...,ш. Следовательно, если, скажем, Sifi <С 1, то (Яо€)г to vt/5t и составляющая сигнала /^ оказывается полностью разрушенной шумом. К сожалению, оценить этот эффект априори невозможно, поскольку в рамках модели [А, Е] о сигнале / до измерения не известно ничего.
Если U = До — ортогональный проектор на линейное подпространство £(ei,..., е^) (одно из цепочки в (4.2)), то согласно равенствам (4.6) редукция к прибору U = П^ имеет вид
к
г=1 и представляет результат «непосредственного измерения» ортогональной проекции / на £(ei,..., е^). Из сказанного ранее следует, что эта А:-мерная составляющая / может быть «измерена» по крайней мере не менее точно, чем ортогональная проекция / на любое А:-мерное подпространство Rm.
Заметим, что, хотя Яо^ и / могут значительно отличаться, редукция £ к U = П^_15 равная П°Яо£ (4.7) при к = т — 1, не зависит от е ((П^ЯоЩ = 0) и, в отличие от R^^ является существенно более точной версией / (поскольку / = n^_x/). Поэтому при анализе разрушающего действия шума значительную роль играют свойства прибора U. Этот факт будет использован в гл. 9 в задаче синтеза на ИВС измерительного прибора при ограничении на уровень шума.
В связи с упомянутым примером может возникнуть вопрос: каким образом наилучшая в среднем квадратичном оценка RiA сигнала / оказалась, как мы убедились, гораздо хуже, чем £? В данном случае все объясняется тем, что, определяя Ro^ мы исходили из полной априорной неопределенности сигнала /. В таких условиях £ не может служить равномерной оценкой /, ибо Л / J и, следовательно, supE||£-/||2 = sup || (А — Z)/||2 + tr S = оо,
а Яо£ — действительно наилучшая в среднем квадратичном оценка в этой ситуации:
Е ||Я0£ " /II2 = inf supE ||^£ - /||2 = tr (A^rUy < оо.
R' /
В примере же речь идет о конкретном входном сигнале /, специально подобранном так, чтобы показать, что на практике £ может «выглядеть» гораздо лучше Ro^ если априори знать, «с чем сравнивать».
Однако сама возможность с чем-то сравнить Яо€ свидетельствует о наличии априорной информации о / и, следовательно, о неверной постановке задачи оценивания, в которой эта информация не учтена. Рассмотренный пример, по существу, показывает, насколько может быть велика роль этой информации. В самом деле, если априори известно, что фт = 0, то формально этот факт можно учесть в виде дополнительного измерения, добавив еще одно безошибочное измерение 0 = (ет, /) к данным £ = Аф + v.
§ 5. Эффект дополнительного измерения
Вопрос о роли дополнительных измерений настолько важен, что, хотя в дальнейшем мы рассмотрим его достаточно подробно, в этом разделе будет дано элементарное введение в техническую сторону проблемы. Итак, пусть к измерению £ = Аф + v добавлено еще одно £о = (о, У) + ^о • Формально речь идет о схеме измерения
(5-1)(5-1)£ = Л/ + V = (A?\f + А\\а /\z/0/
(5-1)
(5-1)
в которой а* = (щ,..., ат) — последняя строка матрицы А. Для простоты предположим, что последнее измерение сопровождается ошибкой z/q , которая не зависит от v и имеет дисперсию оф . Следовательно, схеме измерения (5.1) сопоставлена модель
А\ ФЕ 0\ а*) \0 оф)А\ ФЕ 0\ а*) \0 оф)= [ЛЧ.= [ЛЧ.
А\ ФЕ 0\ а*) \0 оф)
А\ ФЕ 0\ а*) \0 оф)
= [ЛЧ.
= [ЛЧ.
Теперь можно воспользоваться общими формулами для редукции (0.5) и погрешности (0.6). Чтобы подсчитать матрицу (А*Е-1А)-1, заметим, что матрица
А^-Ы = А^-Ы + асгДа*
имеет специфический вид Q + ху* , позволяющий получить явное выражение для обратной матрицы. Если Q — невырожденная матрица m х ш, ж, у — столбцы из 771 элементов, то искомая обратная матрица существует, если и только если y*Qx ф — 1, и равна
(Q + ху*)-1 = Q"1(Q + ху*)-1 = Q"1Q Yxy*Q 11 + y*Q~Yx'Q Yxy*Q 11 + y*Q~Yx'
(Q + ху*)-1 = Q"1
(Q + ху*)-1 = Q"1
Q Yxy*Q 1
1 + y*Q~Yx'
Q Yxy*Q 1
1 + y*Q~Yx'
Поэтому1)
(5.2)(5.2)
(5.2)
(5.2)
(А^^А)"1 = (А^^А)"1
(A^^A^aa^A^^A)-1cfq + п*(А*Е-1 А)-1п
и по формуле (0.5)
^5 ст^ДаТ^-МЩа^5 ст^ДаТ^-МЩа(5-3)(5-3)
^5 ст^ДаТ^-МЩа
^5 ст^ДаТ^-МЩа
(5-3)
(5-3)
Как следует из выражений (5.2) и (0.5), уточненной оценке / сопутствует погрешность
Ц1) = tr (А^Ч)-1Ц1) = tr (А^Ч)-1а*(А*^-тА)-2а_
Ц1) = tr (А^Ч)-1
Ц1) = tr (А^Ч)-1
Ор + (2*(А*^-1 А)-1П
(5.4)(5.4)аЧА^А^а
(5.4)
(5.4)
1 J а^аЧА^^Ау^а*
Конечно, главный результат в данном случае касается вычислительной стороны редукции, поскольку учет дополнительного измерения в виде поправок в равенствах (5.3), (5.4) не требует обращения матриц . Эта сторона будет обсуждаться позднее в связи с рекуррентными и диалоговыми методами редукции. А сейчас воспользуемся этими результатами, чтобы завершить обсуждение примера, приведенного в предыдущем параграфе. Формально путь, на котором получены формулы (5.3) и (5.4), неприемлем в случае, когда сг0 = 0, как это предполагалось в измерении (ет, /) = 0. Для этого следовало бы воспользоваться техникой, не предполагающей невырожденность корреляционного оператора Е (как, например, в теореме 6.1 гл. 1). Но, как несложно убедиться, формулы (5.3) и (5.4) останутся верными и при сто = 0. Воспользуемся схемой измерения (4.5), добавив к ней одно измерение 0 = ЧтУ) = /т- В таком случае величины, входящие в формулу (5.3), можно описать следующим образом1):
/510
0 52
0 0
0 0
0 0
А*Е-1А = diag (52,..., 5^).
Поэтому равенство (5.3) дает
^ = ^ +
х) Напомним, что в схеме измерения (4.5) Е v~ = 1, ибо Vi = ЧгУ ^v) , г = 1,..., п.
откуда следует, в частности, что (Л£)т = (R^m — (ROm = 0, как и у сигнала /, а остальные координаты оценки не изменяются: (R£)t = = (^)г, г = 1, • • •, т — 1.
Согласно равенству (5.4) уменьшение погрешности
ЦП ~ ЦП = §т = е"2
— это как раз та величина, которая раньше могла принимать «неопределенно большие значения».
Рис. 5.2. а) Оцениваемая функция /^ , j = 1, 2,..., m, оценка fii 3 = l,2,...,m (5.5) и оценка /^ , j = 1, 2,..., т (5.9) с учетом дополнительного точного измерения (о а-й координаты (5.6) при одной и той же реализации шума, б) Зависимость Z\jt влияния измерения г-й координаты на погрешность оценки j-й координаты j = 1,..., m, и погрешности Е(П - Ц)2, Е(П - Ц)2, j = l,2,...,m, (5.11). б) Зависимость ^ifj = fj — fj , определяющая влияние измерения в «точке» г на оценку /j , j = 1, 2,..., m; cfq = = О
Формулы (5.3) и (5.4) позволяют проанализировать эффект дополнительного измерения в более общей ситуации, характерной для экспериментальных исследований Для этого изобразим значения
П = №=П + (К^, j = l,-..,m,(5.5)
как ординаты точек ЛЛЛ 3 = 1,...,ш, на плоскости. Эти значения представляют редукцию как график функции f^ 3 = 1, 2,... , т (см. рис. 5.2).
Пусть кроме измерения £ = Af + v, на основании которого построен график, выполнено еще одно измерение
+ ^0 — /г + ^0(5.6)+ ^0 — /г + ^0(5.6)£о = (^/) + ^о = (О^.О1О..
+ ^0 — /г + ^0(5.6)
+ ^0 — /г + ^0(5.6)
ординатординатс погрешностью и^- Е z/q = О, Е v^ = 7)- Тогда по формуле (5.3), положив а = (0 ... 10 ... 0), найдем уточненные значения оценок ко
ординат
ординат
7 |/ 7 \/ Su \ с ?
(5-7)(5-7)I II _з2__1_L
(5-7)
(5-7)
f I\М/\^тг/и
где fi^... Лт — ранее найденные оценки координат fi,... Лт по формулам (5.5), основанные на измерении £ = Af + v^ s^j = = [(А*Е-1 А)-1]^, г^з = 1,...,ш. Согласно равенствам (5.7)
Л = Л +—,, г = 1,..., т;(5.8)
Уд + 8ц
Л' = h + + , е’ J = 1, - - -, m(5.9)
Равенства (5.8) можно переписать в виде
откуда следует, что погрешность оценивания г-й координаты после дополнительного измерения (5.6)
Е (Л - Л)2 = UqSH^O +
как и следовало ожидать, меньше, чем погрешность Е (/^ — Л)2 = §гг оценивания /^ без учета измерения (5.6), и меньше, чем погрешность измерения (5.6) Е (^0 — Л)2 = ^о •
Что касается остальных равенств (5.9), то, переписав их в виде
h - h + (Rv)j +h - h + (Rv)j +зД^о + СйД)зД^о + СйД)O'O + s«O'O + s«j ^ i,j ^ i,
h - h + (Rv)j +
h - h + (Rv)j +
зД^о + СйД)
зД^о + СйД)
O'O + s«
O'O + s«
j ^ i,
j ^ i,
найдем, что
E (Л - Л)2 = Sjj + Sji^O + Sii)/(cTo + 81Ц2-
- ^jil^o + s«) = Sjj - S^/^ + sti), (5.10)
причем Е (Jj — fjY < Sjj, если s^ ^ 0. Следовательно, если s^ ^ 0, то измерение (5.6), направленное на непосредственное уточнение значения фг, уточняет и оценку координаты фj, причем тем в большей степени, чем больше |s^|. Этот важный факт может быть эффективно использован в эксперименте, когда координата ft легко может быть измерена, a fj — недоступна.
Определение 5.1. График зависимости
Aji = ^/^0+ 8Л, J = Г
приведенный на рис. 5.2, 5, определяет то, что называется функцией влияния измерения в «точке» г на погрешность оценки. Соответственно зависимость /ХД = Sjt(^o — фг)/((Jq-Esh) , j = 1,... ,т, показанная на рис. 5.2, в, согласно равенствам (5.9) определяет функцию влияния измерения в «точке» г на оценки координат ф.
Если ед» = 0, то дополнительное измерение производится без ошибки и его влияние, естественно, максимально. В этом случае формулу (5.10) удобно переписать в виде
еД-Л)2=^(1-М\ j = (5.11)
откуда следует, что относительное уменьшение погрешности в «точке» j при точном измерении в «точке» г точно такое же, как относительное уменьшение погрешности в «точке» г при точном измерении в «точке» j, — этот принцип взаимности подробно рассмотрен в §3 и §5 гл. 1.
Завершим параграф обсуждением роли дополнительных измерений в общем случае. С этой целью рассмотрим серию измерений одного и того же сигнала ф ЕК:
^ = Aif + ^е7гД г = 1,2,...,п. (5.12)
Здесь вектор ^ — результат измерения ф на приборе At, вектор щ — погрешность, сопутствующая измерению на этом приборе, Tt, TZ^ — евклидовы пространства, г = 1,...,п. Как обычно, будем считать, что вектор щ имеет нулевое математическое ожидание и известный корреляционный оператор Е^, г = 1,..., п. Более того, предположим, что известен «полный» корреляционный оператор
/Ец ... Ein\ / щ \
^(п) = вектора v^ =..
\^nl • • • ^пп/у ^п
задающий взаимные корреляционные связи измерений в (5.12). Если / Ai \
под А^ и £(п) понимать соответственно оператор ... и векУ /
тор ..., то схему измерений (5.12) можно записать в привычной
\/
формеформе€(п) — A^f + е 71^ — ДДД^€(п) — A^f + е 71^ — ДДД^(5.13)(5.13)
форме
форме
€(п) — A^f + е 71^ — ДДД^
€(п) — A^f + е 71^ — ДДД^
(5.13)
(5.13)
и интерпретировать ^п^ как искаженный шумом v^ выходной сигнал «объединенного» прибора А^ , на вход которого поступил сигнал /. Схеме измерения (5.13) сопоставим модель [А(П),Е(П)], сигнал /, как обычно, до измерения считается произвольным элементом 7Т
Покажем, что для любых двух измерений в (5.12), скажем для г и 3 -го, качество объединенной модели
равномерно не ниже, чем качество любой из моделей [Л^, Еф], \А^ ^jj^
т.е. чтот.е. что[^(2) 1 ^(2)][^а 1 ^аа] i ^ — Г 3-[^(2) 1 ^(2)][^а 1 ^аа] i ^ — Г 3-(5-14)(5-14)
т.е. что
т.е. что
[^(2) 1 ^(2)][^а 1 ^аа] i ^ — Г 3-
[^(2) 1 ^(2)][^а 1 ^аа] i ^ — Г 3-
(5-14)
(5-14)
Теорема 5.1. Для любых моделей \Аа1 Еаа], а = гД (коррелированных) измерений в (5.12) выполняются соотношения (5.14).
Доказательство. Для простоты считаем, что УДУД и
S(2) -S(2) -^22 ^1]уу . ..^Зг ^33
S(2) -
S(2) -
— невырожденные операторы. Покажем, что
/уу. .у — 1 / ^22^(2) — I у у . .\^3г^33/уу. .у — 1 / ^22^(2) — I у у . .\^3г^33Т”1 ОТ”1 ОО оО оо о0о о0(5.15)(5.15)
/уу. .
у — 1 / ^22
^(2) — I у у . .
\^3г^33
/уу. .
у — 1 / ^22
^(2) — I у у . .
\^3г^33
Т”1 О
Т”1 О
О о
О о
о о
0
о о
0
(5.15)
(5.15)
Первое неравенство следует из формулы для обратного оператора
(5.16)(5.16)2Й Sy V - ^ ^ О V f DTD* ~D
(5.16)
(5.16)
Д-i Д, ^\ О 0 у "у -D* Т"1 )
где D = Ел1Е^-Т-1, Т = У^ — Е^Е^1^^ и последнее слагаемое справа — положительно определенный оператор. Для доказательства формулы (5.16) прежде всего следует убедиться, что оператор Т = = У-jj — У^ДАУгз невырожден, если невырожден оператор Е(2) • Для доказательства заметим, что Т — неотрицательно определенный оператор. Этот факт является следствием того, что Т — корреляционный оператор вектора Vj — Е^Е^1^ ). Далее, как известно, оператор Т невырожден, если и только если условие Ту = 0 влечет у = 0, или, поскольку Т — неотрицательно определен, если и только если равенство (уДу) = 0 влечет у = 0. Таким образом, для доказательства невырожденности Т достаточно убедиться, что если равенство
0 =0 =У.У.Е^У аЕ^У а^зз^ззУ.У.= (хДах) + (уД^хД= (хДах) + (уД^хД
0 =
0 =
У.
У.
Е^
У а
Е^
У а
^зз
^зз
У.
У.
= (хДах) + (уД^хД
= (хДах) + (уД^хД
+ (хДгзу) + (уДззУ) (5.17)
влечет х = 0,у = О, то из равенства
(5.18)(5.18)(уЛу) = (уЛ^у) - (уЛл^^уУ) = О следует у = 0. Выберем в (5.17)
(5.18)
(5.18)
ж = — Е- ^ijV^
тогда равенство (5.17) превратится в равенство (5.18). Следовательно, равенство (5.18) эквивалентно равенству (5.17) с условием х = = —^^^гзУ^ поэтому равенство (5.18) влечет равенство у = 0.
Для завершения доказательства осталось убедиться в том, что опе
DTD*—D*DTD*—D*ратор
DTD*
—D*
DTD*
—D*
неотрицательно определен. Действительно,
DTD* -D—D* T-iDTD* -D—D* T-i
DTD* -D
—D* T-i
DTD* -D
—D* T-i
- (ж, Ту) - (Т*ж,у) + (у, Г 'у) =
= \\T1/2D*x -Т"1/2у||2 ^0
для любого вектора ^J . Итак, первое неравенство (5.15) доказано, второе доказывается точно так же.
Из первого неравенства (5.15) следует, что
а отсюда, воспользовавшись свойствами псевдообращения [5], найдем, и* ^ U(A*^A^U* для лю
бого U еТ[Аг,в„] • Теперь осталось заметить, что Дд(2),е(2)] эДд,,Ви], ибо, очевидно, ЛГ(А^) C^(Ai). □
Следствие 5.1. Если некоторая часть измерений (5.12) допускает редукцию к прибору U, то и измерение (5.13) допускает редукцию к U, причем с меньшей или, в крайнем случае, с такой же погрешностью.
Итак, учет дополнительных измерений не может увеличить погрешность редукции, в том числе и тогда, когда им сопутствует произвольно большая погрешность. Однако этот вывод на практике следует использовать с известной осмотрительностью. Дело в том, что до сих
пор предполагалось, что используемые модели известны доподлинно, т.е. известно, что измерение £ (0.1) контролируется именно той моделью [А, У], которая используется при редукции. На практике нам известен результат измерения £, а вопрос о том, какое отношение к действительности имеет модель, используемая при редукции, как правило, требует специального исследования. Какую бы мы ни использовали модель дополнительных измерений, формально выигрыш в точности редукции будет обеспечен, но этот выигрыш может оказаться иллюзией, если используемая модель не соответствует реальному положению вещей. Одно и то же измерение £ может оказаться либо информацией, либо дезинформацией, в зависимости от того, какое отношение к действительности имеет объясняющая его модель. На этом важном вопросе мы остановимся подробнее несколько позже в связи с понятием надежности редукции.
§ 6. Типичные реализации сигнала. Структура «коридора ошибок»
Осознать полностью роль шума редукции, анализируя отношение сигнал/шум и, таким образом, основываясь только на энергетических соображениях, невозможно. Физики, оформляя экспериментальный материал, как правило, используют так называемый «коридор ошибок», отражающий энергетическую структуру шума, и склонны считать недостоверной любую «тонкую структуру» графика, если она покрывается «коридором ошибок». В дальнейшем мы более точно сформулируем проблему анализа тех или иных особенностей графического представления сигналов и рассмотрим ее решение методами теории проверки статистических гипотез, основанными на понятии надежности, а сейчас остановимся на вопросе о возможном «заполнении коридора ошибок». Нас будут интересовать вопросы о том, как выглядят возможные реализации сигнала, какие кривые могут заполнять «коридор ошибок», сколь велико множество таких кривых, и т. и.
Для того чтобы разобраться во всем этом, нам предстоит выяснить ряд вспомогательных вопросов. Первые три вопроса сформулируем следующим образом. Дана дискретная случайная величина Ф, принимающая значение оц с вероятностью pt > 0, г = l,...,s. Пусть ощ ,..., aiN — последовательность N независимых реализаций ф. Условимся называть ее реализацией ф длины N. Спрашивается, каковы «типичные» реализации ф длины N, каковы их вероятности и сколько их, если N достаточно велико?
Пусть в реализации о^,..., a^N тг, раз встречается а^, так что tti/N — частота, с которой оц встречается в последовательности ац,..., aiN , г = 1,..., s, яд + ?Г2 + ... + тг5 = N. В таком случае вероятность реализации а = (ощ , • • •, ^iN) равна
Л«) =рр ...р^ = рр^ = ехр (1V ^(тг»/^) In рЛ .(6.1)
г=1\г=1/
В силу закона больших чисел для любых е > 0 и 5 > 0 можно указать число No такое, что
(6-2)(6-2)
(6-2)
(6-2)
как только N ^ No. Следовательно, выбрав е > 0 и 5 > 0 достаточно малыми и соответственно No достаточно большим, найдем, что вероятность (6.2) выполнения всех неравенств
ТГгТГгN~PiN~Pi< в, г = 1,..., s,< в, г = 1,..., s,(6.3)(6.3)
ТГг
ТГг
N~Pi
N~Pi
< в, г = 1,..., s,
< в, г = 1,..., s,
(6.3)
(6.3)
близка к единице, а это означает, что множество P(s, N) реализаций ощ , • • •, ^iN 1 удовлетворяющих условиям (6.3), содержит почти все типичные реализации, поскольку вероятность любой другой реализации, не удовлетворяющей условиям (6.3), мала:
Р Ui N-^=1”Р I В N”Pi <4
Так как е выбрано достаточно малым, для типичных реализаций тц^р,. г = 1,... ,s,
и, следовательно, согласно формуле (6.1) вероятность каждой типичной реализации р длины N примерно равна
exp I N^2 Pi In Pi )•(6.4)
\г=1/
А поскольку они оказались примерно равновероятны и их суммарная вероятность примерно равна единице, то число типичных реализаций JV(D(e,N)) близко к
exp(-2V^piIn рД(6.5)
г=1
где функция
н = Н(р) = -^Pi In Pi, р= (pi,...,ps)(6.6)
г=1
называется энтропией распределения pi,... ,ps (или случайной величины ф\
Дадим точные формулировки высказанных соображений.
Теорема 6.1 (Макмиллан (см. [49. )] Пусть pi > 0, г = 1,..., s, О < £ < 1, N — длина реализации, V(e,N) — мноснсество реализаций, удовлетворяющих условию (6.3), Р(а) — вероятность реализации а 6 T)(e,N\ JV(D(e, N)) — число реализаций в T)(e,NY Тогда
существует такое No, что для всех N > No
exp(N(H-s^ ^ЛДР^Л)) <ехр(2У(Н + Д),exp(—N(H ^s)) <Р(а) < exp(-N(H - е)), скЕР^Л),
Ei = min I е^е/ I —2^2 ln Pi I Ь\\г=1/ /
и P(P(£i Л)) —> 1 при N оо.
Итак, получены ответы на все сформулированные вопросы, которые, между прочим, содержат и необходимые разъяснения по поводу «типичности» реализации ф длины N. При большом N типичные реализации оказались приблизительно равновероятными, их вероятность (6.4) и их число (6.5) — простые функции полного числа N реализаций и энтропии распределения.
Чем больше число JV(P(s, N)) типичных реализаций, тем больше априорная неопределенность таких реализаций и соответственно тем больше требуется информации, чтобы выделить конкретную реализацию длины N среди всех возможных реализаций, наконец, тем больше информации несет каждая конкретная реализация, будучи выделенной из их общего числа. Энтропия является удельной мерой этой информации, а также мерой априорной неопределенности типичных реализаций ф длины N, отнесенной к «единице длины», т.е., по существу, энтропия является мерой неопределенности значений случайной величины ф.
Посмотрим теперь, как обстоит дело в случае непрерывной случайной величины. Пусть а — абсолютно непрерывная относительно меры Лебега случайная величина, рДж), — сю < ж < сю, ее плотность распределения вероятностей. Представим прямую — сю < х < сю, на которой принимает значения а, в виде разбиения
к
( —оо,оо) = (-оо,а-к-1 + 5/2] |J («j - 5/2, aj + 5/2] (J
j=-k
U (a++i - 5/2, oo), (6.7) содержащего две полупрямые ( — оо,а_*_1 + 5/2] и (a*+i — 5/2, оо) и 2 к + 1 промежутков длины 5.
Точка а^ выбрана в центре промежутка (aj — 8/2, aj + 5/2], j = = —к,..., к, точка a_k-i выбрана на расстоянии 5/2 от границы полупрямой (—сю,а_^_1 + 5/2], точка a^i — на расстоянии 5/2 от границы полупрямой (a^+i — 5/2, сю), ао = 0. Определим функцию случайной величины а
'М-х,'М-х,ф(а) = qj,ф(а) = qj,N^kVTN^kVTа Е (—сю, а_^—1 + 5/2],а Е (aj —5/2, aj + 5/2], 3 = —к,... ,к, а € («к-ц ~ 5/2, оо),а Е (—сю, а_^—1 + 5/2],а Е (aj —5/2, aj + 5/2], 3 = —к,... ,к, а € («к-ц ~ 5/2, оо),(6-8)(6-8)
'М-х,
'М-х,
ф(а) = qj,
ф(а) = qj,
N^kVT
N^kVT
а Е (—сю, а_^—1 + 5/2],
а Е (aj —5/2, aj + 5/2], 3 = —к,... ,к, а € («к-ц ~ 5/2, оо),
а Е (—сю, а_^—1 + 5/2],
а Е (aj —5/2, aj + 5/2], 3 = —к,... ,к, а € («к-ц ~ 5/2, оо),
(6-8)
(6-8)
которую будем рассматривать как дискретное приближение а. Для
этого, задавая е > 0, определим 5 = 5(e) и к = к(е) так, чтобы a_fe_i+5/2
Е (а - у?(а))2 = У (а_*_1 - x)2pa(x)dx +
к aj+S/2ос
+ 5? У (“j “ x^pa^dx + У (а*+1 - x)2pa(x)dx = е2.
^—-kaj—5/2ak + i—5/2
(6.9)
Понятно, что к(е) —> сю и 5(e) —> 0, если е —> 0. Функцию ф(а) = р£(а)1 удовлетворяющую условиям (6.8) и (6.9), назовем е- дискретизацией а. Ее распределение задается равенствами а /2
Р(М(«) = «J) =Pj = У Pa(x)dx, j = -k,...,k,aj-5/2
а-к-лАб/2
= а-Л-1}) = P-k-l = У Pa^dx,
PAA = «*+1}) = PW = У Pa^dX- (6.10) «fc + i — 5/2
Выбрав e > 0 достаточно малым, мы намерены использовать ipe(a) вместо а^ по существу отождествляя все реализации а^ попадающие в каждый промежуток разбиения (6.7). Доводом в пользу такой замены является ограниченная точность реальных измерений, не позволяющая различить реализации, отстоящие друг от друга менее чем на 5(e). В свою очередь сам процесс измерения а можно представить так, как будто на прямой — сю < х < сю имеется 2к + 3 «центра» ci-^-i,..., a^i, реализация а = х отождествляется с а^ , если х попадает в соответствующее множество разбиения (6.7).
Оценим энтропию распределения (6.10). Поскольку
Р(\а - Да)| > 3 = max(ai:+i, |a_fc-i|)) < ^=
то, считая функцию ра(х)^ — сю < ж < сю, непрерывной и выбрав е достаточно малым, получим
fc+lкк
У^ Pi 1п Рз ~ Е р3 1П р3 ~ 52 бр«(аз) 1п 6р«к«3> j= — к — 1j= —кj= —к
J Ра(ж) In pa(x)dx,
или
Н„ = Н(р) = - У' Pi In Pi = - Ind + Ha,j=-k-l
где H^ — энтропия распределения {рг}, а
На = — j Ра(зс) In pa(x)dx(6.11)
называется энтропией непрерывного распределения ра^ —ею < < х < сю. Если N — число реализаций а, то определяя типичные реализации а длины N как типичные реализации р(а) длины N , найдем их число
exp(NHa).(6.12)
Вывод в данном случае несколько отличается от полученного ранее: число типичных реализаций длины N абсолютно непрерывной случайной величины а лишь с точностью до множителя 5-N определяется числом реализаций и энтропий распределения. Если, однако, «дискретизация» (6.7) множества значений а фиксирована, то по- прежнему «емкость» множества типичных реализаций а длины N определяется энтропией его распределения и числом N.
Все сказанное о случайных величинах без каких-либо существенных изменений справедливо и для случайных векторов. Если £ — случайный вектор 1^ , то N независимых его реализаций жх,..., xn образуют то, что мы назвали реализацией £ длины N. Каждый вектор Xi, г = 1,... ,7V, можно представить в виде последовательности точек (1;жц)..., (п;х^ на плоскости, или, иначе говоря, в виде графика функции ж^, k = 1,..., п. Соответственно реализации £ длины N — это N таких графиков. Если £ — дискретный случайный вектор, принимающий значение zt с вероятностью рн г = l,...,s, то энтропия £ дается равенством (6.6), а теорема Макмиллана описывает типичные реализации £ длины N, причем без каких-либо отличий от скалярного случая. Если £ — абсолютно непрерывный случайный вектор, р^х^ х Е nu — соответствующая плотность вероятности, то энтропия £ дается равенством
Н^ = — j р^(ж)1п p^(x)dx,(6.13)
аналогичным равенству (6.11), а число типичных реализаций £, определенное как число типичных реализаций некоторой дискретной аппроксимации £, примерно равно
5"Nexp(NHiX
но, в отличие от выражения (6.12), здесь S — объем n-мерных ячеек rtn, определяющих дискретную аппроксимацию £.
Рассмотрим теперь некоторые факты, связанные с экстремальными свойствами энтропии п-мерного нормального распределения, которыми воспользуемся в дальнейшем.
Прежде всего заметим, что энтропия нормального распределения МХр,, Е) равна
Н = - InН = - IndetS-1/2'_ (2тг)и/2 _detS-1/2'_ (2тг)и/2 _г ид2 1J 2 (2тг)п/2г ид2 1J 2 (2тг)п/2ехрехрdx =dx =
Н = - In
Н = - In
detS-1/2'
_ (2тг)и/2 _
detS-1/2'
_ (2тг)и/2 _
г ид2 1
J 2 (2тг)п/2
г ид2 1
J 2 (2тг)п/2
ехр
ехр
dx =
dx =
(6.14)(6.14)= ^(п + 1п[(2тг)п det Е]) = |1п[(2тге)п det Е].
(6.14)
(6.14)
В рамках нормального распределения рассмотрим задачу, в которой требуется определить корреляционный оператор Е, доставляющий максимум энтропии (6.14) при ограничении Е ||£||2 ^ в2 . Речь идет о
задачезадачеmax{lndetE| E,trE ^s2}.max{lndetE| E,trE ^s2}.(6.15)(6.15)
задаче
задаче
max{lndetE| E,trE ^s2}.
max{lndetE| E,trE ^s2}.
(6.15)
(6.15)
Переходя к собственным значениям ai,... ,ап корреляционного оператора Е, задачу (6.15) можно представить в виде
позволяющем без труда выписать решение
ст2 = S2/n, j = l,...,H.(6.17)
Следовательно, «коридор погрешности» Е ||£||2 ^ (2 содержит максимальное число типичных реализаций длины N нормально распределенного случайного вектора £, если его корреляционный оператор кратен единичному: Е = (е2/п)1. Как видим, при прочих равных условиях наличие корреляционных связей, как и следовало ожидать, уменьшает количество типичных реализаций £.
Чтобы выяснить роль нормального распределения среди прочих распределений с данными двумя моментами, рассмотрим задачу: даны
Е£ = ж0, Е^-^оЖ-хо)* =Е, требуется определить распределение, доставляющее максимум энтропии при этих условиях. Речь идет о следующей задаче на максимум:
шахшахp(x)dxp(x)dxj p(x)dx = 1,j p(x)dx = 1,
шах
шах
p(x)dx
p(x)dx
j p(x)dx = 1,
j p(x)dx = 1,
= ^o,= ^o,(6.18)
= ^o,
= ^o,
Решая ее методом множителей Лагранжа, найдем следующее уравнение для определения искомой плотности распределения вероятно-
стейстей
стей
стей
1 + 1пр(ж) + ц + (v, х) + tr (ж — жо)*Л(ж — жо) = 0, ж С Пи,
в котором множители Лагранжа: скалярный ц, векторный v и матричный Л — определяются из условий, определяющих область, на которой определяется max в (6.18). Это дает следующий результат:
detS"1/2ЩЩ7^ехрdetS"1/2ЩЩ7^ехр-жоГ^Щж--жоГ^Щж-ж е пп.ж е пп.
detS"1/2
ЩЩ7^ехр
detS"1/2
ЩЩ7^ехр
-жоГ^Щж-
-жоГ^Щж-
ж е пп.
ж е пп.
Таким образом, при заданном математическом оэюидании и корреляционном операторе энтропия достигает максимума на нормальном распределении с этими параметрами. Следовательно, при условиях Е( = жо, Е (£ — жо)(£ — жо)* = У энтропия Н любого распределения удовлетворяет неравенству
Я 11п[(2тге)и det S],(6.19)
причем равенство достигается на нормальном распределении.
Последние замечания касаются условной энтропии и так называемой е-энтропии.
Определение 6.1. По аналогии с определением (6.13) условной энтропией £ (распределения £) при условии, что случайный вектор Л = у; называется
Н^\л = у) = ~ jР^Иу) In p^x^dx. (6.20)
Условной энтропией, или средней условной энтропией, называется
Н^\г)) = -рС|„(ж|у)1п p^x^p^dxdy. (6-21)
Условная энтропия (6.20) является удельной мерой (апостериорной) неопределенности типичных реализаций £i ... £w при N —> ею, если у = у, условная энтропия (6.21) — средней мерой той же неопределенности1). Поэтому можно сказать, что
(6.22)(6.22)Ж) - н«
(6.22)
(6.22)
описывает уменьшение неопределенности реализации £, связанное с наблюдением ц. Как нетрудно проверить,
Рассмотрим задачу на максимум Н^у) при условии, что
Е ||S-V2(€ _ ^112 ^е2,(6.23)
х) Необходимо помнить, что, по существу, речь идет о логарифме числа типичных реализаций £ при условии у = у и о среднем значении этого логарифма.
где Е Е (Rn —> Рп) — некоторый положительно определенный оператор. Максимум вычисляется по всем возможным совместным распределениям ^Т]. Речь идет о задаче определения такого распределения, при котором наблюдение у в минимальной степени уменьшает число типичных реализаций £ в коридоре (6.22), т.е. требуется определить ^^(ж^), Р-п^У ж £ ^п, У € Т^п , доставляющие
тах{у р$|ч(ж|у)1п p^(x\y)p,1(y)dxdy\
j \\УГ1/2(х - y)\\2p^(x\y)p^y)dxdy ^е2,
j P^^y^p^^dxdy = 1, ^^(-l-)0, p^(-)0}. (6.24)
При фиксированном рл(-) условная плотность ^^(ф) должна быть найдена из условия
+ Ь р^яДу) + АЦЕ-1^^ _ у)||2 + ^ _ о, ж,у G
где множители Лангража А и ц определяются из условий задачи (6.24). Это дает
р^Иу) =р^Иу) =det(^S)-V2 / 1№/2 ехрНdet(^S)-V2 / 1№/2 ехрНЕ2 \ -1/2(х-у) п )Е2 \ -1/2(х-у) п )2\] , х,у Е^2\] , х,у Е^
р^Иу) =
р^Иу) =
det(^S)-V2 / 1
№/2 ехрН
det(^S)-V2 / 1
№/2 ехрН
Е2 \ -1/2
(х-у) п )
Е2 \ -1/2
(х-у) п )
2\
] , х,у Е^
2\
] , х,у Е^
а поскольку эта плотность зависит от х — у Е Рп , maxH(£\rf) не зависит от распределения у. Следовательно, наблюдение у в минимальной степени уменьшает априорную неопределенность реализаций £ в коридоре (6.23), если условное распределение £ — гауссово; согласно (6-14)
тахН(£|т7) = - InтахН(£|т7) = - In/ s2(2Tre)ndet — Е\ п/ s2(2Tre)ndet — Е\ п= lhl= lhl2тгее2 А п I det Е2тгее2 А п I det Епп
тахН(£|т7) = - In
тахН(£|т7) = - In
/ s2
(2Tre)ndet — Е
\ п
/ s2
(2Tre)ndet — Е
\ п
= lhl
= lhl
2тгее2 А п
I det Е
2тгее2 А п
I det Е
п
п
Характерно, что при заданном с > 0 exp {тахН(£|т7)} —> 0 при п —> 0, если ||Е|| ^ с. Действительно,
пп2тгее2 А п I det Е2тгее2 А п I det ЕП —¥ СЮ,П —¥ СЮ,
п
п
2тгее2 А п
I det Е
2тгее2 А п
I det Е
П —¥ СЮ,
П —¥ СЮ,
ибо det Е = сф ... ст2 ^ сп, где сг^ — г-е собственное значение Е, г = = 1,..., п.
Теперь, вооружившись новыми полезными понятиями, рассмотрим вопрос о заполнении коридора ошибок. Единственной характеристикой погрешности редукции Rv, на которой будут основаны все дальнейшие выводы, является корреляционный оператор шума ^ = = Rv1
Ес = R^R* = U^^A^U*.(6.25)
Для наглядности, как это принято в экспериментальных исследованиях, будем говорить о графическом представлении редукции. Фор-
мально это означает, что прибор U отображает сигнал / Е Пт в пространство Ык^ т.е. U Е (Rm —> UkV в ^k определен ортонормиро- ванный базис {е^} и графически изображаются координаты сигнала U f в этом базисе. Это означает, что речь пойдет о функциях (U/, щ) , (R^et) и (Rv^et) аргумента г = !,...,&. Корреляционный оператор (6.25) в этом базисе определяется своей корреляционной матрицей { (^г, ^C^J ) I *
Определим в Uk еще один ортонормированный базис {s^}, состоящий из собственных векторов
Е^^г = Z^St % = 1,... ,k,
упорядоченных так, что
2 \ 2 \\ 2 П 22
Ч > г2 > . . . > Zp > 0 = Zp^ = . . . = zk.
В этом базисе шум редукции задается разложением
р
С = ^ ^ Сг^Ь 0 = (С? 5г)? Z = 1,. . . ,р, г=1
в котором координаты £ некоррелированны, причем
(см. §1 гл. 1). Как было показано в §4 гл.1, число р = rankS^ определяет степень «регулярности» случайной функции (Rv, е^, г = = 1,... , к. При р = 1
Rv = ( = (isi, Е^=^,
и все многообразие реализаций шума Rv определяется значениями одной случайной величины (Rv, si). Оно состоит из «кривых», переходящих друг в друга при масштабном преобразовании значений ординат. Согласно неравенству (6.6) энтропия такого шума не превосходит значения
- 1п(2тге^),
отвечающего нормальному распределению, а число типичных реализаций длины N не превосходит
§;N(2Trez^N/2,(6.26)
где Ji — «шаг квантования» множества значений <д. Число типичных реализаций оценивается значением (6.26) в случае нормального распределения.
При р = 2 шум Rv представляется случайной линейной комбинацией первых двух базисных векторов si и S2:
С = ClS1 + C2s2, (г = (Rv, Sil z = 1, 2.(6.27)
В этом случае реализации (Rv,et), г = 1,...,к, «предсказуемы» в меньшей степени, чем при р = 1, поскольку определяются двумя слу-
чайными параметрами. Число типичных реализаций шума Rv в этом случае не превосходит
бН [Ще)2^2]^2, (6.28)
где N — общее число реализаций, §2 — «размер» ячейки квантования плоскости 7?,i х 7?,i значений Ci, С2 • Если представить d2 = Si • ^, где Si, 5^ — «шаги квантования» значений <д и Q соответственно, то верхняя граница (6.28) предстанет в виде произведения верхних границ (6.26) для первой и второй координат (6.27)
Устройство кривых, заполняющих «коридор ошибок», говорит о том, как и настолько могут отличаться результаты редукции R^ от истинного сигнала U f. В ряде случаев анализ реализаций случайного сигнала Rv позволяет установить, какие черты графика RE, можно (или нельзя) объяснить влиянием случайного слагаемого Rv. Для этого необходимо должным образом «разыгрывать» случайные линейные комбинации ^isi + ... + (р8р. Однако, как правило, исследователя интересуют конкретные характеристики R^ типа «пиков», «провалов», численных значений определенных координат или комбинаций координат и т.п. Вопросы, которые ставит исследователь, могут звучать примерно так: есть ли на самом деле данный «пик» на спектральной кривой, можно ли считать наблюдаемое примерное равенство (Я£)1 и (Я£)2 случайным и т.д. Ответы на такие вопросы легче получать с помощью методов теории проверки статистических гипотез, например, исходя из понятия надежности модели, рассмотренного в § 8.
Проблема устойчивости редукции
Как было отмечено в самом начале обсуждения задачи несмещенной редукции, тот факт, что модель [Л, У] предполагается точно известной, является серьезной идеализацией. На практике модель непременно известна с ошибками, причем влияние этих ошибок на редукцию может оказаться весьма значительным даже в тех случаях, когда исследователь склонен характеризовать их как «пренебрежимо малые»). Анализ возникающий в этой связи проблемы устойчивости редукции начнем с обсуждения простого примера модели схемы измерения (0.1), в которой А = А а = ^Д 2^ ’ где ^ — параметр модели, —ею <A<oo,E=(q j , так что схема измерения (0.1) в
подробной записи выглядит следующим образом:
Предположим, что модель [Аа, Е] неверна, а измерение (^) на самом деле выполняется согласно равенству
AV1 + ^ЫAV1 + ^Ы+ М, (7.2)\^2/+ М, (7.2)\^2/= f0 М
AV1 + ^Ы
AV1 + ^Ы
+ М, (7.2)\^2/
+ М, (7.2)\^2/
Л Х&/ V 2у уД/ ^2/
(Л0\1) '(Л0\1) 'так, что истинная модель есть [Аа>, Е], но она неизвестна. Вопрос в данном случае состоит в выяснении свойств редукции Яа£(А') , как функции модели [Аа,Е], — сю < А < сю. Поскольку
(Л
0\
1) '
(Л
0\
1) '
А^О,
А = 0,
то при А ^ 0 модель [ А а , Е] допускает несмещенную редукцию к любому прибору U, а в случае А = 0 возможна редукция только к таким U которые удовлетворяют условию 0 = U^I — A^Aq). Если U Е (7^2 —> 7Д), то речь идет о матрицах U = (nnUi2), удовлетворяющих уравнению
(U11U12) (q = (0 U12) = (U11U12).
Иначе говоря, при А = 0 измерение (7.1), отвечающее предполагаемой модели [ А а , Е], не содержит информации о /1, и редукция возможна только к U f = U12/2 •
Рассмотрим редукцию к прибору U) = (0 1), выходной сигнал которого равен /2, если на входе / = (/1/2)* • Редукция к такому U) возможна при любом А. Поскольку
(ДАД =(ДАД =(ДА)"1(ДА)"1= ДДА 0А2 \-2А А2 Д Л ^ °’= ДДА 0А2 \-2А А2 Д Л ^ °’(ДАГ(ДАГ1 f°5 \01 f°5 \00101(7-3)(7-3)А = 0,А = 0,
(ДАД =
(ДАД =
(ДА)"1
(ДА)"1
= ДДА 0
А2 \-2А А2 Д Л ^ °’
= ДДА 0
А2 \-2А А2 Д Л ^ °’
(ДАГ
(ДАГ
1 f°
5 \0
1 f°
5 \0
0
1
0
1
(7-3)
(7-3)
А = 0,
А = 0,
то оператор редукции имеет видто оператор редукции имеет вид1 / 5 -2АА /0 А А _ А2 Д2А А2 Д1 2Щ 1 /0 0А /0 0А _ 15 \0 1Д1 2/ - 51 / 5 -2АА /0 А А _ А2 Д2А А2 Д1 2Щ 1 /0 0А /0 0А _ 15 \0 1Д1 2/ - 5А ^ 0,А = 0,А ^ 0,А = 0,(7-4)(7-4)
то оператор редукции имеет вид
то оператор редукции имеет вид
1 / 5 -2АА /0 А А _ А2 Д2А А2 Д1 2Щ 1 /0 0А /0 0А _ 1
5 \0 1Д1 2/ - 5
1 / 5 -2АА /0 А А _ А2 Д2А А2 Д1 2Щ 1 /0 0А /0 0А _ 1
5 \0 1Д1 2/ - 5
А ^ 0,
А = 0,
А ^ 0,
А = 0,
(7-4)
(7-4)
и энергия шума *)
hx№) =hx№) =(7-5)(7-5)ti^R^*) = 1, A# 0,tr(R(0R(02)*) = 1/5, А = 0.
hx№) =
hx№) =
(7-5)
(7-5)
Первое, что бросается в глаза при взгляде на эти формулы, — отсутствие непрерывной зависимости от А: хотя А\ —^ Ло при А —> 0 (при любом понимании сходимости), тем не менее R^ -/^ R^ и h\(U2) -^ /10(^2); второе — в пять раз менее интенсивный шум редукции при А = 0, хотя именно при этом значении А матрица А\ вырождается.
Для полноты картины приведем еще зависимость энергии шума редукции к прибору Ui = (1 0) для А ^ 0:
hx(uy =1г(лУлУ*) = 5/А2.(7.6)
Соответствующий оператор редукции дается равенством
Д П _ тт f —2А\ 1 /о АА _ 1 / л\ ~U1[-2X
Выходной сигнал Ui равен Д, если на его входе / = (Д Д)* •
Что касается погрешности редукции измерения (7.2), то согласно
равенствам (7.4), (7.5) для редукции к U^
v^2v2v^2v2А ^ 0, —ею < А' < оо,
v^2v2
v^2v2
А = 0, —оо < А' < оо,
и
Е Н^у) - Г2/||2Е Н^у) - Г2/||21515А ф 0, +00 < X' < оо,А = 0, —оо < А' < оо.А ф 0, +00 < X' < оо,А = 0, —оо < А' < оо.(7-7)(7-7)
Е Н^у) - Г2/||2
Е Н^у) - Г2/||2
1
5
1
5
А ф 0, +00 < X' < оо,
А = 0, —оо < А' < оо.
А ф 0, +00 < X' < оо,
А = 0, —оо < А' < оо.
(7-7)
(7-7)
Вместе с тем для каждого фиксированного / редукция RX?^X') отличается от «истинной» редукции R^^Х') на
E||<)e(v)-^)e(v)ii2E||<)e(v)-^)e(v)ii245’45’А / о, А'# 0;
E||<)e(v)-^)e(v)ii2
E||<)e(v)-^)e(v)ii2
4
5’
4
5’
А = О, А'# 0;
А ^ О, А' = 0;
А = О, А' = 0.
Поскольку при А' = О, А / О, Е ЦЛ^^о) — JZq2^^)||2 = 4/5, то для любой модели [Ад, S], сколь угодно точно приближающей истинную
модель [Ло, Е], но не совпадающей с ней, редукция R^^0) будет отличаться в среднем квадратичном от ее истинного значения Rq2^^ на 4/5 и, следовательно, не может служить «сколь угодно точным приближением» Rq2^^ . Погрешность редукции Е ЦЯ^^о) — ^2/Ц2 (7.7) также испытывает скачок при А = 0.
В случае редукции к Ui
2
(у2+(7-8)
и/ ' \2
Е НЛ^д,) - ГИЦ2 = j /2 + А,
где А ^ 0, поскольку редукция к Ui для модели [Aq,E] невозможна, а в (7.8) по этой же причине А' ^ 0.
В данном случае для любой модели [Аа', Е] может быть указана модель [Аа, Е], позволяющая сделать значение (7.8) произвольно малым. Это означает, что редукция R^^x^ является непрерывной функцией модели [Аа,Е],А ^ 0. Однако и в случае редукции к Ui при истинной модели [Aq , Е] и сколь угодно близкой к ней модели [Аа, Е] редукция R^^0) как приближение для редукции Д^^о) лишена смысла, поскольку последняя не существует. Более того, этот вывод сохранится, как бы ни была определена редукция к Ui для модели [Ao, Е].
Нетрудно заметить, что причиной того, что модель [Aq, Е] оказывается выделенной, является отсутствие непрерывности Rа при А = = 0 : lim R^ = (1 0) ф |(1 2) = R^\ lim R^ — не существует. С другой стороны, если Rа — непрерывная функция модели [Aq,E] при А = Ад, так что
lim ||ДЛ - ЯдоН = 0,А^Ао
ТО И
lim Е |Ща€(а0) - ЙАо€(Ао)1|2 Е ||е(А0) II2 lim |Щл - ^а0 II2 = 0- А—>Ао А—>Ао
Итак, все результаты редукции оказываются «разрывными функциями» модели [Аа,Е] в «точке» [Aq,E]. Энергия шума и погрешность редукции либо 1) неограниченно возрастают при А —> 0, либо 2) испытывают скачок в точке А = 0. В первом случае редукция к Ui = = (1 0) при А = 0 невозможна, а в любой окрестности А = 0 энергия шума редукции неограничена. Следовательно, при изменении модели в пределах любой окрестности модели [ Aq , Е] редукции может сколь угодно сильно изменяться, и это говорит о том, что на практике такой результат не может привлекаться для интерпретации измерения. Во втором случае редукция к U^ = (0 1) возможна при любой моде-
ли [А\, Е], причем при А ^ О результат не зависит от А, но всякое отклонение от модели [Ло, Е] приведет к резкому изменению редукции и, в частности, к значительному увеличению погрешности. Это означает, что редукция к U2 = (0 1) измерения Д0) , основанная на приближенной модели [А\, Е], при любом А ^ 0 повлечет значительное увеличение погрешности по сравнению с редукцией, основанной на точной модели [Ло , Е].
Эти факты показывают, что в любом случае редукция измерения До), основанная на приближенной модели [А\, Е], А ^ 0, либо будет существенно отличаться от истинной редукции, либо будет лишена смысла как «версия несуществующей редукции». С другой стороны, для любого X' ф 0 редукция измерения ^\^ основанная на приближенной модели [Ла,Е], непрерывно зависит от А при А = А' и, следовательно, будет мало отличаться от редукции, основанной на точной модели [Лац Е], если |А — А'| достаточно мало.
Формальное объяснение того, что зависимость редукции от параметров модели не непрерывна, очень простое: если обратный оператор В-1 существует, то он является непрерывной функцией В, однако если В-1 не существует1), то псевдообратный оператор В- не является, вообще говоря, непрерывной функцией В [5]. В нашем примере это видно из выражений (7.2) для (Л^Ла)-1 и (ЛдЛоД . Однако такое объяснение оставляет без ответа вопрос: почему при А = 0 Д = В2/ оценивается в пять раз точнее? Следующее замечание позволяет глубже понять оба отмеченные явления.
Как видно из равенства (7.1), при любом А ^ 0 Д содержит информацию об Д, причем даже при сколь угодно малом А вклад АД в значение Д может быть сколь угодно большим, поскольку Д априори может принимать любые значения. Только при А = 0 Д, как и Д, является измерением Д • Отсюда, во-первых, следует, что редукция не может быть непрерывной функцией А. Во-вторых, в силу того, что при А ^ 0 значение АД может быть произвольным, второе измерение Д вообще не несет информации о Д2). Следовательно, точность оценивания Д при А ^ 0 целиком определяется первым измерением Д и, как уже было отмечено в (7.4), равна Е v^ = 1. Если же А = 0, то Д измеряется как при первом, так и при втором измерениях:
Д — Д + ^1, (ДА Д=2Д + ^2, \Д/Д — Д + ^1, (ДА Д=2Д + ^2, \Д/По формуле редукции (0.5), где А = отсюда следует, чтоПо формуле редукции (0.5), где А = отсюда следует, чтоД +Д +щ + 2v2щ + 2v2Д^=((12)И) (12) (Л\ V/ /\S2/Д^=((12)И) (12) (Л\ V/ /\S2/6 +2^2, ,-^ = /2 +6 +2^2, ,-^ = /2 +
Д — Д + ^1, (ДА Д=2Д + ^2, \Д/
Д — Д + ^1, (ДА Д=2Д + ^2, \Д/
По формуле редукции (0.5), где А = отсюда следует, что
По формуле редукции (0.5), где А = отсюда следует, что
Д +
Д +
щ + 2v2
щ + 2v2
Д^=((12)И) (12) (Л
\ V/ /\S2/
Д^=((12)И) (12) (Л
\ V/ /\S2/
6 +2^2, ,
-^ = /2 +
6 +2^2, ,
-^ = /2 +
с сопутствующей погрешностью
Е(^-/2)2=Е (^ДД у 5 уЕ(^-/2)2=Е (^ДД у 5 у1515
Е(^-/2)2=Е (^ДД у 5 у
Е(^-/2)2=Е (^ДД у 5 у
1
5
1
5
Это разъяснение, несомненно, более глубокое, чем ссылка на свойство разрывной зависимости псевдообратного оператора от А, тем не менее не вполне удовлетворительно, поскольку оставляет открытым вопрос о том, как «бороться» с этим неприятным явлением. Поэтому дадим еще и такое разъяснение: если А ф 0, то £2 = /1 + 2/2 + ^2, где /1 = АД может принимать любые значения, если же А = 0, то £2 = = 2/2 + ^2 и это равенство эквивалентно тому, что Д известно точно и равно нулю. Согласно сказанному, теперь ясно, что причина всех неприятностей — плохая модель схемы измерения, не обеспечивающая возможность качественного измерения Д. Следовательно, путь, ведущий к преодолению феномена неустойчивости, должен быть не математическим, а инструментальным, основанным на усовершенствовании измерений.
Проиллюстрируем эту возможность, продолжив обсуждение примера. Для этого добавим еще одно измерение £3 согласно схеме
/О 1\
в которой £3 = yfi + v — отдельное измерение Д, А = А 2 ,
О/
Е = diag (1, 1, 1). Теперь при у ^ 0 для любого А
(Л* Л)" = (Л* Л)-1(Л* Л)" = (Л* Л)-1-2АА2 + ц2-2АА2 + ц2
(Л* Л)" = (Л* Л)-1
(Л* Л)" = (Л* Л)-1
-2А
А2 + ц2
-2А
А2 + ц2
ии
и
и
\2 I ..21
tr(W4Mr44) = ^^5
при у —> сю, когда в пределе fi известно точно, ибо £з/Дз = Д +^з/А^з и Е (нз/уз)2 -4- 0. Но также и при А —> 0
\2 I ..21
X2 + оу25
если у ^ 0. Тем самым неустойчивость по А преодолена более разумной организацией измерений. Первоначально неустойчивость означала не более как недостаточную информативность схемы измерения.
Проблема устойчивости редукции обретет еще более мрачную окраску, если учесть возможную погрешность при задании «нуля» в (А 2 ) ’ напРимеР’ связанную с вычислениями. Пусть А = Л£д =
£ 1 Ад 2 L так что£ 1 Ад 2 L так что1(2г - А)21(2г - А)2/5— (е + 2А)А
£ 1 А
д 2 L так что
£ 1 А
д 2 L так что
1
(2г - А)2
1
(2г - А)2
Д(е + 2А) е2 + А2 у ’
В таком случае вместо равенств (7.5) и (7.6) найдем
Т^аЩх) = 5/(2е - А)2,Т^аЩх) = 5/(2е - А)2,(7-9)(7-9)Да(Г2) = (г2 + А2)/(2е — А)2,
Т^аЩх) = 5/(2е - А)2,
Т^аЩх) = 5/(2е - А)2,
(7-9)
(7-9)
и в зависимости от соотношения между в и А значения энергии шума (7.9) могут быть весьма далеки от их аналогов (7.5) и (7.6) (например при 2s — А -4 0. Дело в том, что если при s = 0 Д = Д + ^1 ~ измерение Д , то теперь Д = s/i + Д + Щ обретает тот же вид, что и Д = АД + 2Д + z/2, и, очевидно, результат редукции измерения €1 = ОД + Д + ^1, Д = ОД + 2Д + V2 не может быть получен из соответствующей редукции при е ^ 0 А ^ 0 предельным переходом при е —> 0, А —> 0. Поскольку и в этом случае «дефект» модели схемы измерения обусловлен плохим измерением Д, добавим к Д и Д еще одно измерение Д = цД + V3 , как в (7.8). Это даст модель [А, Е], где
0 0А1 0 , для которой0 V0 0А1 0 , для которой0 V/s1\/1
0 0А
1 0 , для которой
0 V
0 0А
1 0 , для которой
0 V
А =I А2),Е=(0
\ц0/\0
Д^) — Д2 + А2 + ц2)/[(2е — А)2 + 5ц2],
h(Ui) = 5/V(2e - X)2 + 5ц2]
— непрерывные функции s,A, если ц ^ 0. В частности, при е —> 0, А 0 h(U2) -4- 1/5, h(Ui) -4 1/ц2, а при ц —> сю h(U2) -4- 1/5, h(Ui) -4- 0 в полном согласии с отмеченными ранее фактами.
Методы устойчивого вычисления редукции. Источником ошибок, как было отмечено, может быть процесс вычислений. В этом случае проблема устойчивости оказывается связанной с методами вычислений и, хотя, как правило, погрешности вычислений, порожденные «округлением» и другими действиями, пересчитываются в погрешности «входных данных», принято говорить об устойчивых и неустойчивых методах вычислений. Понятно, что устойчивые относительно вариаций модели алгоритмы могут быть истолкованы как в той или иной форме использующие фиктивные дополнительные измерения /. Рассмотрим, например, известный алгоритм, основанный на методе регуляризации А.Н. Тихонова (см. [3]). Для этого добавим к измерению £ = Af + v фиктивное измерение £ = Af + и. считая v и v независимыми. Тогда
АА *A)АА *A)0 А ГА\ \ 1~ ~ ~
АА *
A)
АА *
A)
= (А*Т-1А + А*Т-1А)-1
и редукция к прибору U = I имеет вид
/ = (А^М + A*S“1A)“1(A*S“1^ + А^-Д). (7.10) Если 5 = a2!, S = (асг2)-1/, А = I, £ = 0, то выражение (7.10) превращается в решение
А = (АМ + Щ-МЧ (7.11) уравнения £ = А/, даваемое методом регуляризации. Параметр регуляризации а определяется точностью основного и дополнительного фиктивного измерений, а решение (7.11) является редукцией обоих измерений ~
е = А/ + р, е = /+?
к U = I при £ = 0. Если оператор А в (7.11) задан приближенно, метод регуляризации позволяет определить параметр а, связав его с погрешностью в задании А и погрешностью v таким образом, что при стремлении погрешностей к нулю /* (7.11) будет стремиться к значению, отвечающему точному оператору А и безошибочному измерению Af. В таком виде метод регуляризации, как правило, ориентирован на решение систем алгебраических уравнений вида
Az = и z Е Rmi и Е (7.12) в которых правая часть и и матрица А заданы приближенно: вместо А известно ее приближение А, вместо и — приближенное значение й и заданы погрешности: ||А — А|| ^ h, ||u — u|| ^ б. В таких условиях приходится решать приближенную систему Az = и, и, если даже она разрешима, из предыдущего обсуждения следует, что при б —> 0, h —> 0 ее решение не обязано сходиться к решению системы (7.12). Метод регуляризации позволяет по входным данным задачи A, u, h и б построить приближенное решение z(A,u, h,6), которое при h —> 0, б —> 0 будет сходиться к решению системы (7.12) [3].
Наш случай отличается тем, что модель схемы измерения
^AJ + v (7.13)
известна приближенно в виде [А^Е^], где параметр ио Е [0, ею), и требуется построить метод приближенного вычисления редукции для модели [А, Е] по входным данным А^, Е^, 11А^ — А|| и ЦЕ^2 — Е1//2||. В предельном случае точной модели [А, Е] измерение (7.13) сопровождается ошибкой V .
Будем говорить что оператор Q§, зависящий от модели \АШ1 Е^] и погрешности 5 = {||А^ — А||, ЦЕ^2 — Е1/21|}определяет устойчивый способ вычисления редукции R^ для модели [А, Е], если [5]
R^ = 1ллп. Q§^.
Пусть для редукции измерения (7.13) привлекается неверная модель [Аш, Е^]. Рассмотрим редукцию к прибору U U(1—А-шАш) = 0.
Как было выяснено на примерах, несмотря на условие
А = lim Аш^ Е = limш—>0ш—>0
оператор редукции R = U(А*Угг А)- А*Угг , отвечающий точной модели [А, Е], вообще говоря, не может быть получен из оператора редукции R^ = U{A^Е”1 Аш)- А* Е”1, отвечающего приближенной модели [А^,^^], предельным переходом при со —> 0; lim Пш не обязан существовать, а в случае существования может не выполняться равенство R = lira .
Рассмотрим кроме измерения (7.13) еще одно, независимое от (7.13) фиктивное измерение
+(7.14)
в котором Е = си^А. и > 0. Считая, что измерение (7.13) контролируется моделью [А^, 5^], и учитывая измерение (7.14), найдем выражение для редукции
мд(|) = и№"хАш ^iV№lH^Av (7.15)
аналогичное формуле (7.10). Поскольку оператор U удовлетворяет условию разрешимости задачи редукции для модели [А^,^], представим его в виде
U = ПШАШ, и > 0.
Тем самым будет обеспечено существование редукции для любого и > 0, а если сверх того потребовать существования lim Пш = По, то будет обеспечена разрешимость задачи редукции к U = U^A для предельной модели [А, Е].
Теорема 7.1. Если при ио -4 0
Рш - А\№0, ||SV2 _ si/2||0)(7Л6)
то оператор
= U^A^A^ljIVA*^-1,
где U = ПШАШ, определяет устойчивый способ вычисления редукции R^ к U для модели [А, Е].
Доказательство. Как показано в монографии [5], имеют место следующие оценки:
Ц^Щ+^^КЦТЦ,
IKAApyB^lpa;-1,
ррм + щ-р*!! 1,
причем последние три неравенства выполняются равномерно по А. Воспользовавшись этими оценками, найдем
НАДАД^ +w/)“1< - А(А*А + Ы)-1А*|| =
= ||АША*(АД* +W/)”1 - ААЦАА* +wl)"1|| =
=акад:+^iv - да+^)-1н р: - А^К^Ч
+ ||А-||||АШ-А|НО
И||АШ(А*АШ+ш1)"1ш|Чо
при си —> 0. Отсюда следует, что
R = lim Q^, 0 = lim И^А^^Аш +
ш —>0ш—>0
и, как следствие,
Д = l.i.m. Qu^,
w —>0
где RE, дано равенством (0.5). Более того, отсюда же следует, что
ш —>0 v 7
где ^R ^^ дается равенством (7.15), и предельный переход выполняется при фиксированном значении фиктивного измерения £ = = const. □
При фиксированном £ можно считать, что измерение (7.14) фактически ограничивает возможные значения / неравенством 11/11 11^11 + IMI ^^-1/2« В таком случае, если
Е = Af + v = Awf + рш + (Л - A^f rv Awf +
то при условиях (7.16) и ||/|| ~ X)А^иЗ это означает, что при ш —> О
НМ - Ашу\\ ^ ||А - АДК^ 0, иш^р. (7.17)
В свою очередь условия (7.16) являются следствием (7.17). При ш —> О стабилизирующее влияние дополнительного измерения (7.14) ослабевает, причем, как это зафиксировано условиями (7.16), — согласованно с уменьшением ошибки в модели.
Ошибки в модели, как правило, связаны с приближенным представлением модели, в том числе в ЭВМ, но независимо от происхождения их дестабилизирующее влияние в конечном счете может быть предотвращено путем привлечения дополнительных измерений. В математических методах, определяющих устойчивые алгоритмы вычисления редукции, один из которых приведен в теореме, без труда может быть выделен эквивалент таких измерений, фиктивных или формально эквивалентных некоторой априорной информации о /.
Следует заметить, что supE HQ^ — Z7/||2 = сю при любом фиксированном ш > 0, если Аш ^ А. Это означает, что, используя в качестве редукции Q^, мы не можем оценить погрешность, если Q^^ интерпретируется как выходной сигнал прибора U. В то же время
Е 1Ш - ГД2 = |МНА*^ + ШП"Д+
+ (Л^ДЛ, + сЛ^А^-ЧА - Лш)/)||2 ^
< (||Г/Д|(сЛ/2 + Щ,Д(А - А^
где
hti = tr 1ишАш(А*Е"1Аш + w/)"1x
х А*ЕДтДАш(А*ЕДАш +ш1Г1А*ши*У
Отсюда и из теоремы 7.1 следует, что
lim HQ^A - Д|| = 0, lim Кш = tr (ДАТ^Л)” Д*).(7.18)
Поэтому Q^A = QwAf + QwV допускает инструментальную интерпретацию, согласно которой Q^^ — искаженный шумом Qwv выходной сигнал прибора Q^A. причем при ш —> О Q^A —^U,a Кш = Е ЦОш^Н2 стремится к энергии шума несмещенной редукции tr (U^A*^-1 A)~U*). Любопытно, что первое условие (7.18) выполняется, когда А = lim Аш, Е = lim ^ш , но для справедливости второго ш —>0ш —>0
этого недостаточно. Оно выполняется в силу условий (7.16) теоремы 7.1.~
В случае, когда £ (7.14), как и £ (7.13), реальное измерение, оно также может содержать ошибку в модели, и мы будем считать, что [Z,^1/], cjq > 0, — истинная модель измерения (7.14), а задана приближенная модель [Деи-1/], ш > 0, и ^ ио • В таком случае
ы До (f) = иД^А + ш0П"ЧА*^-Ч + ШОД
— истинная редукция измерения— истинная редукция измеренияДАДАк прибору U, а (Ш)Дк прибору U, а (Ш)ДАА(7-15)(7-15)— редукция для приближенной модели. Однако теперь оператор ^R определяет устойчивый способ вычисления редукции, поскольку, как— редукция для приближенной модели. Однако теперь оператор ^R определяет устойчивый способ вычисления редукции, поскольку, какнетрудно проверить (Шо\Ко = lim (waR, если А = lim Аш и Е =V 7ш—>Cfo V 'Ш—>Сс?онетрудно проверить (Шо\Ко = lim (waR, если А = lim Аш и Е =V 7ш—>Cfo V 'Ш—>Сс?о= lim Еш. В данном случае редукция — непрерывная функция модели, хотя, как и ранее,= lim Еш. В данном случае редукция — непрерывная функция модели, хотя, как и ранее,supE /supE /-Щ-Щ
— истинная редукция измерения
— истинная редукция измерения
Д
А
Д
А
к прибору U, а (Ш)Д
к прибору U, а (Ш)Д
А
А
(7-15)
(7-15)
— редукция для приближенной модели. Однако теперь оператор ^R определяет устойчивый способ вычисления редукции, поскольку, как
— редукция для приближенной модели. Однако теперь оператор ^R определяет устойчивый способ вычисления редукции, поскольку, как
нетрудно проверить (Шо\Ко = lim (waR, если А = lim Аш и Е =V 7ш—>Cfo V 'Ш—>Сс?о
нетрудно проверить (Шо\Ко = lim (waR, если А = lim Аш и Е =V 7ш—>Cfo V 'Ш—>Сс?о
= lim Еш. В данном случае редукция — непрерывная функция модели, хотя, как и ранее,
= lim Еш. В данном случае редукция — непрерывная функция модели, хотя, как и ранее,
supE /
supE /
-Щ
-Щ
Вывод из всего сказанного сводится к тому, что феномен неустойчивости редукции порожден неэффективностью измерений, поре-
ждающей в свою очередь то, что на математическом языке называется «недоопределенностью» задачи редукции. Выход из положения состоит в привлечении дополнительной информации — дополнительных измерений, априорной информации и т.п. и соответствующей модификации модели измерений, улучшающей редукцию.
Заметим что информация, доопределяющая и таким образом стабилизирующая редукцию, не обязательно должна быть информацией о /. Такую же роль может играть информация о характере возможных ошибок в модели или о классе альтернативных моделей. Например, если для модели [Ло, 5J] в качестве альтернативных привлечь не модели [Ла , И], Л а = ^д ^ ’ гДе т^ 0, а модели [ Ае, Е], 0 < е < сю, где Ае = ^о 1^ ’ т0 РеДУкЦия ^£^2^€(о) измерения ^0) — ^о/ + ^ к прибору U), основанная на приближенной модели [Л~, Е] , будет непрерывной функцией е при s = 1. В этом легко убедиться, проделав элементарные выкладки, аналогичные приведенным в начале параграфа.
Проблемы надежности. Надежность модели измерения
До сих пор, изучая проблемы редукции, мы исходили из того, что модель схемы измерения задана, и вопрос о ее соответствии реальному положению вещей не обсуждался. Однако без ответа на этот вопрос все сказанное до сих пор не может дать приемлемое на практике решение проблемы редукции. В самом деле, чтобы получить редукцию измерения £ к прибору U, формально достаточно воспользоваться любой моделью [Л, Е] 1), допускающей несмещенную редукцию к прибору U. При этом будет получено как выражение для редукции R^ = Л)-Е-1/2^, так и оценка погрешности h(U) = = tr (U(A*YI~1A)~U*), причем последняя никак не будет связана с измерением £ и определится только принятой моделью и оператором U. Но если используемая модель [Л, Е] неверна, то для истинного значения сигнала /, вообще говоря, £ ^ Л/ + v и редукция R^ может существенно отличаться от выражения U f + Rv, основанного на равенстве £ = Л/ + г/. Следовательно, прежде чем преобразование R^ интерпретировать как U f + Rv, следует ответить по меньшей мере на два принципиальных вопроса.
Насколько хорошо модель [Л, Е] согласуется с измерением £? По существу, ответ на этот вопрос должен быть основан на проверке того, что ни результат измерения £, ни какие либо другие факты, не противоречат предположению о том, что модель [Л, Е] контролирует процесс измерения. Конечно, непротиворечивость сама по себе еще не
т) В том числе выбранной безотносительно к измерениям.
гарантирует того, что модель и в самом деле верна), тем не менее, принимая во внимание соображения, которые первоначально определили модель, мы получаем веские доводы в пользу того, что модель [А, Е] и в самом деле контролирует измерение £.
В то же время, если измерение £ резко противоречит предположению о том, что модель [А, Е] контролирует процесс измерения), то, как будет показано в дальнейшем, это еще не означает, что ее нельзя использовать для редукции измерения £. Иначе говоря, в этом случае редукция измерения £, подсчитанная на основе модели [А, Е], может и не отличаться от ее значения, которое было бы получено на основе точной модели.
Но если при анализе согласия £ и [А, Е] не обнаружено ничего такого, что не позволяет интерпретировать £ как А/ + v и, следовательно, модель не может быть отвергнута как несостоятельная, то тем не менее, как показано ниже, вполне возможно, что редукция £, основанная на модели [А, Е], не будет иметь ничего общего с редукцией, основанной на точной модели. Поэтому, прежде чем интерпретировать редукцию, исследователь должен иметь ответ на второй вопрос.
Можно ли использовать модель [А, Е] для вычисления редукции измерения £? Ответ на этот вопрос, как будет видно из дальнейшего, непосредственно не связан с тем, насколько хорошо модель [А, Е] согласуется с результатом измерения. Как было только что отмечено, модель может быть ошибочной и, более того, — резко противоречить измерению £, но давать верную редукцию. С другой стороны, в §7 было показано, что точная модель, согласно которой сформировано измерение £, может обладать «патологическими» свойствами, не позволяющими получить достаточно точное значение редукции с помощью любой, сколь угодно точно аппроксимирующей ее), но приближенной модели [А, Е]. Этот случай относится к проблеме устойчивости редукции, по существу порожденной низким качеством точной модели схемы измерения £, и подробно рассмотрен в §7.
Там, в частности, показано, что в таком случае использовать для редукции приближенную модель [А, Е] нельзя, поскольку сколь угодно малое отличие модели [А, Е] от точной может повлечь неопределенно большую ошибку в редукции. Этот факт не позволяет R^ интерпретировать как U f + Rv, хотя объективно (в том числе и судя по £) модель [А, Е] может весьма точно описывать £. В такой ситуации необходимо усовершенствовать модель за счет более качественных измерений, добавления другой информации и т.д.
По существу второй вопрос может быть сформулирован следующим образом: насколько можно доверять результату редукции измерения £, основанной на модели [А, Е], т.е. редукции R^ и оценке
погрешности h(U), насколько этот результат согласуется с реальным положением вещей?
Рассмотрим первый из поставленных вопросов. Он сводится к выяснению того, насколько правдоподобно предположение, согласно которому измерение ^ G 7^ отвечает модели [А, Е], т.е. может быть представлено в виде Af + // при некотором / Е П. Предположим, что вопрос касается только оператора А , а про шум v доподлинно известно, что он имеет нормальное распределение N(td,^Y В таком случае задача состоит в проверке гипотезы, согласно которой £ = Af + и при некотором f Е ht™, при альтернативе, отрицающей возможность такого равенства при любом f Е ht™ . Иначе говоря, гипотеза состоит том, что £ = а + v при некотором а Е ТЦА) , а согласно альтернативе такое равенство невозможно ни при каком а Е Р(А). Следует отметить, что, если а Е Р(А) , это еще не означает, что модель верна, хотя бы потому, что при этом, возможно, £ = A* f + v, ТЦА1) С ТЦА). Но если a ^L В(А), то равенство £ = Af + v невозможно ни при каком f ЕЯ, и модель должна классифицироваться как несостоятельная1).
Рассмотрим задачу проверки гипотезы П , согласно которой £ ~ N^a^f а Е ht(A^, против альтернативы /С, при которой £ ~ N^a^f а Е 7^\7^(А); П и К, отождествим с подмножествами 7?,(А) и соответственно 1Я\Р(А^ пространства 7£:
% = тг(А), /с = тг\тг(А). (8.1)
Как показано в §7 гл.4, рассматриваемая задача проверки гипотезы обладает естественной симметрией, связывающей значения параметров распределения а и наблюдения £ и согласованной со структурой гипотезы П и альтернативы К, (8-1). Речь идет о группе 9 движений пространства 7£, действующей по формуле
х -э gx = Tf^HTP^x -Eh, х ЕВ, д EQ, (8.2)
где {77} — группа ортогональных преобразований В, оставляющих инвариантным подпространство 7^(U-1/2A), и h Е В(А). Преобразования (8.2) согласованы со структурой гипотезы В и альтернативы К в том смысле, что при любом д Е 9 да Е Н (да Е Ю), если а Е П (а Е К?), или иначе говоря, разбиение 7?, на гипотезу и альтернативу, В = В U К (8-1) 9-инвариантно. С другой стороны, если £ ~ N(a, Е), то там же было показано, что gf, ~ N(ga, Е), т.е. для любого измеримого множества В С В и любого движения д Е9
Р(д^ЕВ,а^Р^ЕВ,да\
Следовательно, при любом д Е 9 решение о том, содержится да в В(А) или нет, основанное на наблюдении ц = д^, будет столь же неопределенным, как и решение о том, содержится ли а в В(А),
основанное на наблюдении £. Поскольку знание g Е 9 никак не влияет на решение этого вопроса, рассматриваемая задача проверки гипотезы является 9 -инвариантной и в ней естественно использовать 9-инвариантные правила решения (см. §7 гл.4). В данном случае это означает, что решение должно основываться на значении статистики)
О = ||(/-П)2-1Д||,(8.3)
в которой П = S-1/2АД-1/2у^)- — ортогональный проектор на ТгЩГМ). Если гипотеза верна, то £ = а + v при некотором а Е Р(А), и соответственно статистика (8.3)
О = Щ-П)5Г1/2<(8.4)
и имеет %2-распределение с к = rank (/ — П) = dim 7^ (Е-1/2 А) степенями свободы. В противном случае, т.е. когда a ^L Р(А), статистика (8.3) записывается в виде
Щ) = ||(/ - n)S-V2o + (I - ЩЕ-Г^Н2(8.5)
и имеет нецентральное %2-распределение с к степенями свободы и параметром нецентральности
d2 = ||(/-П)Е-1/2п||2.(8.6)
Таким образом, если гипотеза верна, то id2 = 0, в противном случае Р2 > 0. Поскольку верно и обратное утверждение, согласно которому а Е Р(А), если ?72 = 0, и п 0 Р(А), если д2 > 0, то исходная 9,9- инвариантная задача проверки гипотезы сведена к задаче проверки гипотезы о значении параметра распределения $2 9-инвариантной статистики т^ (8.3)2).
Если p^(t,^2), 0 < t < сю, — плотность %2-распределения с к степенями свободы и параметром нецентральности т) 2. то, как показано в §2 гл.4, при фиксированной альтернативе ^2 > 0 наиболее мощный критерий определяется следующим множеством принятия гипотезы d2 = 0:
Ф*1 = Д Рк(М2)/рк(1,0)А(Р)},
где А(Р) — корень уравнения
р = У Pk(t,oWi
в котором Р — вероятность принять гипотезу, когда она верна. В данном случае важно, что при любом ^2 > 0 отношение pk(tD$2) :
Pk(t,O) является монотонно возрастающей функцией t > 0. Поэтому при фиксированном Р множество Фу1 не зависит от ^2 > 0 и определяет равномерно наиболее мощное множество принятия гипотезы 1^2 = 0 относительно всех альтернатив 1^2 > 0. Поскольку это означает, что множество Фу1 можно представить в виде
{^ ^А0(Р)}, где
Ао(Р)
Р = I Pk(t,0W,(8.7)
О
то в Р соответствующее множество принятия гипотезы а Е Р(А), равномерно наиболее мощное относительно всех альтернатив а Р(А) , представлено равенством
фТТЩс тИОЛ)}.(8-8)
где Ао(Р) — решение уравнения (8.7), а т(ж) определено в (8.3).
Соответственно надежность гипотезы а Е Р(А) при альтернативе а $. Р(А)1), определяемая семейством множеств (8.8), 0 ^ Р ^ 1, дается равенством
<)=inf{l-F|F, 0>Ао(Д} =
= pk(t^dt\x <= J pk(t,O)dt. (8.9)
Как следует из результатов, приведенных в §4 гл.4, если гипотеза верна, т.е. а Е Р(А) , то статистика а(£) (8.9) имеет равномерное распределение на [0,1]. В противном случае более вероятны значения надежности а(£), близкие к нулю.
Чем больше значение статистики т(^), тем меньше соответствующее значение надежности «(£) (8.9) и тем определеннее свидетельствует измерение £ против модели [Л, Е]. Это следует из формулы (8.9) и согласуется с интерпретацией т(£) как квадрата расстояния от Е-1/2£ до подпространства Р(Е-1/2Л). Если модель верна, то т(£) дается равенством (8.5), и уклонение Е-1/2£ от Р(Е-1/2Л) обусловлено только наличием шума и. В противном случае т^ определяется равенством (8.5), согласно которому ее возможные значения могут быть тем больше, чем больше значение ||(/ — П)Е-1/2ф|2 (8.6). Поэтому естественно, что надежность (8.9) определена как вероятность наблюдать фактическое значение т^ уклонения или еще большее в предположении, что модель верна.
Ответ на вопрос о том, следует ли считать малым то или иное наблюдаемое значение надежности а(£) гипотезы $2 = О, разумеется, зависит от предполагаемой альтернативы. Если F^ (г) = = Р^(а(^) < г)(= Р^(а(^) ^ г)) — функция распределения надежности при $2 > 0, то отношение k(z^id2) = F^ (z)/(F$2 (г)|^2=0) = = F^^/z показывает, во сколько раз вероятность наблюдать значение надежности, не превосходящее z , больше в предположении id2 > О по сравнению с тем, когда id2 = 0. Поэтому величину &(«(£), I?2) можно рассматривать как характеристику того, насколько мала надежность а^) гипотезы i^2 = 0 при альтернативе ^2 > 0 (см. также [46]).
Поскольку согласно условию (4.10) гл.4 k(z^id2) -4 сю при z -Л 0 и любом бд2 > 0, то при любой альтернативе надежность гипотезы id2 > 0 будет малой, если достаточно мало а. В то же время, каким бы ни было $2 > 0, А;(г,^2)1/г и, следовательно, надежность
а ^ 1/2 гипотезы id2 = 0 можно считать достаточно высокой при любой альтернативе1).
Надежность модели [А, Е] и ее свойства. Далее будем называть статистику
<О= / Pk(t,O)dt(8.10)
надежностью модели [А, Е].
Рассмотрим подробнее вопрос о том, насколько статистика а(£) чувствительна к ошибке в модели. Если на самом деле
^ = А1 Ир(8А1)
то в равенстве (8.5)
а = (А' - А)/
и, как следует из выражения для т(^) (8.5), сама по себе ошибка в операторе модели А* — А не определяет надежность. Влияние этой ошибки на надежность определяется вектором
d = (I -П^Г^А -A)f,
равным ортогональной проекции вектора q = S-1/2 (А' — A)f на зависящим как от сигнала /, «проявляющего» ошибку в операторе тем сильнее, чем «больше» /, так и от свойств шума и. «маскирующего» ошибку тем больше, чем выше его уровень. Грубо говоря, поскольку q зависит от свойств шума и ошибки в операторе модели только посредством комбинации Е-1//2(А/—А), то любая сколь угодно значительная ошибка в операторе незаметна, если достаточно
х) 1/2 — медиана распределения надежности при б2 = 0. При верной гипотезе вероятности получить значение надежности как большее, так и меньшее 1/2 равны 1/2. Теоретико-возможностная интерпретация о(^) дана в [46]
велик шум, и наоборот, при малом шуме может быть обнаружена и небольшая ошибка в операторе. В частности, при исчезающе малом шуме ошибка в операторе модели отразится в исчезающе малом значении надежности).
Чтобы пояснить сказанное, рассмотрим вначале более простую ситуацию, в которой статистику тД) (8.5) заменим на £ = ||Е-1/п + + E-1/2z/||2 и покажем, что £ -4- сю 2) при Е |Н|2 = tr Е —> 0 или, иначе говоря, для любого 5 > 0 при Е ||z/||2 -4 О Р((52) -4- 1.
Для этого заметим, что при условии tr Е —> 0 все собственные значения Е стремиться к нулю. Обозначим их ст2 ^ ... ^ сг^. Тогда о\21 Е1 сг^2! и соответственно
||Т-1/2а||2 = (E-1a,fl)crf2||n||2 -4 сю.
А поскольку
то при Е ||z/||2 -4 О
Р(( й2) F(||S"1/2a|| - це~1/2^|| ^5) =
ибо Е 11Е—i/2^112 = tr (Е-1/2ЕЕ-1/2) = п = dimП и при Е |Н|2 -4- О ||Е-1/2п|| — 5 сю.
С другой стороны, если trE-1 = ЦЕ-1/2^ -4 0 (и, следовательно, Е ||z/||2 = tr Е -4 сю), то £ ^ Хп • Действительно, так как
£ - НЕ”1^^^ = p-i/2a||2 + 2(Е"1/2щ
то для любого 5 > 0 при ||Е-1/2п|| -4 О
ЛК - р-ГЩ2! ^5И <Г2Е (С - ||S-1/2IZ||2)2 =
= ^(НЕ"1/2^ +4||5Г1/2а||2) О,
ибо ||Е-1/2п|| —> 0, и, следовательно, в этом случае £ Д ||E-1/2z/||2 = = Хп 1 гДе п = dim Р.
Возвратившись теперь к статистике т(£) (8.5), нетрудно заметить, что т(£) -4- сю, если Е |Н|2 -4- 0, лишь при дополнительном условии ||(I — П)Е-1/2п||2 -4 сю, означающем, что ошибка в модели ||А' — А||,
в том числе и значительная, не всегда влияет на надежность. Но если ||Е—^Д! -4 0, то т(^) Д ||(Z — П)Е-1/2г/||2 в любом случае.
Итак, если Е |Н|2 —> 0 и, более того,
IKJ-^S-V^T-^/IHoo,
то а(£) Д 0, как бы ни была мала ошибка ||А' — А|| > 0 в операторе модели А. В этом случае надежность а(£) позволяет обнаружить ошибку в операторе модели. С другой стороны, если ||Е-1/2||2 -4- 0 и, следовательно, Е ||z/||2 -4 0, то распределение надежности а(£) стремится к равномерному на [0,1]. В этом случае ошибка в операторе модели в конечном счете полностью маскируется шумом.
Замечание. В ряде случаев при анализе и интерпретации измерений, особенно в режиме диалога, полезно иметь не только значение надежности а(£), но также и график сигнала
(7-ПД“1/2£.(8.12)
Чтобы глубже понять смысл этого замечания, вернемся к рассмотренной в §2 несмещенной редукции схемы измерения £ = Af + v к виду ц = Uf + Vv в частном случае, когда U = 0, V = Е-1/2. Речь идет о редукции измерения £ к виду ц, характерному для измерения компоненты (белого) шума Tn^v. В §2 показано, что для этого случая оператор редукции дается равенством
Д1 = S“1/2 - S“1/2А(5Г1/2A)“S“1/2,
и соответственно редукция
ЯД = [I - S"1/2АД-1/2Л)-]S-1/2^ = (I - ПД-1/2^
совпадает с сигналом (8.12). Если £ = Af + 1/, то Rif = (I — ПД_1/21/ — действительно компонента белого шума. Но если модель [А, Е] неверна, то £ = A' f + v и
Rif = (1- П)Е"1/2(А' - А)/ + (/ - П)^-1/2^.
Теперь в сигнале Rif, появляется «регулярная» составляющая Д-ПД^ДА'-А)/, которую исследователь, как правило, без труда «детектирует», наблюдая реализацию ЯД, если значение надежности а(£) дает повод сомневаться в правильности модели.
Вопрос о надежности модели особенно важен в случае редукции серии измерений одного и того же объекта. Дело в том, что, с одной стороны, с увеличением числа измерений, как было показано в §5, точность редукции может существенно возрастать, а с другой — неизбежные ошибки в модели каждого измерения серии в конечном счете могут свести на нет это увеличение точности, превратив его в кажущееся, в результате «накопления» ошибок в моделях.
Остановимся на этом вопросе подробнее и рассмотрим серию из-
мерений вектора / Е П
^ = Aif АцеК^, ? = l,...,n,(8.13)
где вектор ^ ~ результат измерения / на приборе Ai, Vi — сопутствующая погрешность; 7?.. 7^^^ евклидовы пространства, dim 7^ = kt, i = 1,...,п. В (8.13) Ai — известный линейный оператор, определяющий математическую модель г-го измерительного прибора, вектор щ , определяющий погрешность г -го измерения /, имеет нулевое математическое ожидание, Ещ = 0, и известный корреляционный оператор ^ц, г = 1,...,п. Более того, будем считать, что вектор z/(n) =... имеет нормальное распределение с корреляционным
. Ein\
операторомI], задающим взаимные корре-
\^nl • • • ^пп/
ляционные связиизмерений (8.13).ЕслиподА^и ^п^ понимать
/^1\/
соответственно оператор ... и вектор ... , то схему измерения \\)
(8.13) можно записать в компактном виде
€(n) = A^f + Е Tt^ = ®(8-14)
г=1
и интерпретировать Е^ как искаженный шумом v^ выходной сигнал прибора А^ , на вход которого поступил сигнал /. Пару операторов [А(п), Е(п)] назовем моделью схемы измерения (8.14). Сигнал / до измерения будем считать произвольным вектором 7t.
Рассмотрим асимптотические свойства надежности модели [А(п), Е(п)] при п —> сю. Напомним, что для каждого значения £(п) надежность ап(^п^ модели [А(п), Е(п)] определяется как (условная) вероятность того, что у^ 0 ^ Tn^w) (при условии ^(„)), где у^о — случайная величина, имеющая %2-распределение с п степенями свободы,
тп(€(п)) = Н(^ — П(П))Е^п^ €(п)Н2?
П(п) = ^А^^А^-,и для упрощения обозначений считается, что п равно размерностипространства значений ортогонального проектора1) I — П(п), п == dim^(S^/2A(n)).
Согласно определению надежность cin(^(n)) модели [Л(п), Е(п)] — х) Если rank (Z —П(п)) = N^n^, то для дальнейшего важно, лишь, чтобы N(n) -4- сю
случайная величина, распределение которой определяется распределением £(п), причем, если верно равенство (8.14), то при любом f ЕН ^п(^(п)) имеет равномерное на [0,1] распределение. Если же на самом деле _
€(n) = A^J + z/(n) (8.15)
и A^f ^ П^А^^, то надежность ckn($(n)) распределена на [0,1] с плотностью вероятности, неограниченной в нуле, и принимает значения, преимущественно близкие к нулю. Значения надежности тем более концентрируются около нуля, чем больше $^ = ||тп||2, где тп = = Щ n(n))S-1/2(T(n) - А(п))/ = (/ - П^Е^А^Ц и [A(n),S(n)] — используемая модель схемы измерения (8.15). Грубо говоря, с увеличением 1^2 надежность модели [А(п), Е(п)] падает.
Рассмотрим последовательность измерений (8.15) и «соответствующую» последовательность моделей [А(п), Е(п)], п = 1,2,... Согласно теореме 5.1 с увеличением п с.к. ошибка редукции, определенная как
не возрастает, как бы ни была выбрана последовательность {[^-(п) 7 ^(п)]} • В то же время надежность [А(п), Е(п)] может как возрастать, так и убывать, в зависимости от поведения \\тп\\2 / л/п при п —> сю.
Теорема8.1. При п -> сю 1) скп(€(п)) сходится по вероятности к нулю тогда и только тогда, когда \\тп\\2 / V^ —> сю; 2) распределение ^п(^(п)) сходится к равномерному распределению на [0,1] тогда и только тогда, когда ||тп||2/у/п 0 (см. [58]).
Таким образом, если измерения сопровождаются значительными ошибками в моделях, так что \\тп\\2 / л/п —> сю при п —> сю, то при достаточно большом п модель [А(п), Е(п)] будет несостоятельной. Если же ошибки в моделях измерений (8.13) незначительны, так что при п —> сю \\тп\\2!Vn —> 0, то при большом п надежность будет близка к надежности точной модели (но это, конечно , не означает, что и модель [Л(п), Е(п)] непременно будет близка к точной модели).
Характерно, что в конечном счете надежность модели [А(п), Е(п)] определяется не погрешностью 5п = (А^ — A^)f, вызванной отличием в операторах А^ и А^, а величиной проекции на ^(^/Х)) вектора Х^/2^, в котором погрешность 5п, грубо говоря, отнесена к интенсивности шума v^ . Как уже было отмечено, чем ниже уровень шума v^ , тем сильнее влияет на надежность модели [Л(П),Е(П)] ошибка в операторе.
Надежность модели можно определить, не используя свойства симметрии задачи, см. (8.2). С этой целью определим верхнюю и нижнюю надежности модели как верхнюю и нижнюю надежности гипотезы Н при альтернативе К, соответственно, следуя материалу §4
гл. 4:
«(£) = inf sup аа1а2^У
аД) = sup inf aaia2(£).
снеге a2eic
Здесь ciaia2(^) — надежность гипотезы a = ai EH при альтернативе a = a2 E KL, £ = a + v, v Ы^ E), т.е.
«a^tf) = ФН5ГД - ai), «2 - aJ/HS-1^^ - ai)||)
(см. равенство (4.17) гл. 4). Отсюда следует, что для вычисления а и а надлежит подсчитать
infsup s(#,t/)=s,
жетг(5:-1/2л) ^^утг^-т/гд)
supinf s^y) = s,(8.16)
уеЛлц^-^а) хеЩ^~1/2а)
где s(x,y) = (77 — x^y — x)/\\y — ж||, 77 = E-1/2£, x = E-1/2ai, у = = Е-1/2П2 и использован тот факт, что ГС = Tt^A^, К, = 7^\7^(Л).
Для вычисления значений (8.16) следует воспользоваться леммой 4.1 §4 гл. 4, в которой показано, что
8 = 8 = щ-п^н ц(1- ще-^п,
где П = lA^AtTA^A)- — ортогональный проектор на 77(Е-*/2А). Следовательно,
= «(0 = О = Ф(-||(Г - П)£"1Д||),(8.17)
Выражение для надежности (8.17) можно представить в виде
«*(£) = j exp(-t2/2)dt/V27r,
аналогичном (8.12). Однако эта статистика, в отличие от (8.12), в случае, когда модель верна, распределена неравномерно на [0,1]. На практике удобнее использовать функцию от а* ^ имеющую равномерное распределение, например F*(a*), где F*(-) — функция распределения а*^. Так определенная надежность совпадает с (8.10) и называется нормированной.
О методе максимальной надежности (выбора модели). Завершим этот параграф анализом вычислительного эксперимента, в котором реализован принцип максимальной надежности выбора модели [А, Е] [17, 59]. Пусть априори известно, что истинная модель принадлежит классу М. Методом максимальной надежности назовем метод выбора модели [А, Е], основанный на измерении £, при котором~
аА^ = max{aj(£)|[A, Е] Е М}.
Здесь ощ(£) — обозначение для надежности (8.10) модели [А, Е]. Пусть А = А (А) моделирует простейшую оптическую систему, А — параметр расфокусировки, равный числу ненулевых диагоналей мат-
Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,Е = /Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,Е = /
Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/
Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/
Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,Е = /
Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,Е = /
гTijj = 13 = 17 = 3j = 4j = 510.256.796.740.306.0420.260.250.290.310.273102.4778.020.2878.19101.124303.79401.25173.700.37176.025505.28850.77722.64271.180.35гTijj = 13 = 17 = 3j = 4j = 510.256.796.740.306.0420.260.250.290.310.273102.4778.020.2878.19101.124303.79401.25173.700.37176.025505.28850.77722.64271.180.35гTijj = 13 = 23 = 33 = 43 = 51755132524123751566851365613959484305850587554548453442гTijj = 13 = 23 = 33 = 43 = 51755132524123751566851365613959484305850587554548453442
г
Tij
j = 1
3 = 1
7 = 3
j = 4
j = 5
1
0.25
6.79
6.74
0.30
6.04
2
0.26
0.25
0.29
0.31
0.27
3
102.47
78.02
0.28
78.19
101.12
4
303.79
401.25
173.70
0.37
176.02
5
505.28
850.77
722.64
271.18
0.35
г
Tij
j = 1
3 = 1
7 = 3
j = 4
j = 5
1
0.25
6.79
6.74
0.30
6.04
2
0.26
0.25
0.29
0.31
0.27
3
102.47
78.02
0.28
78.19
101.12
4
303.79
401.25
173.70
0.37
176.02
5
505.28
850.77
722.64
271.18
0.35
г
Tij
j = 1
3 = 2
3 = 3
3 = 4
3 = 5
1
75
51
32
52
41
2
37
51
56
68
51
3
65
61
39
59
48
4
30
58
50
58
75
5
45
48
45
34
42
г
Tij
j = 1
3 = 2
3 = 3
3 = 4
3 = 5
1
75
51
32
52
41
2
37
51
56
68
51
3
65
61
39
59
48
4
30
58
50
58
75
5
45
48
45
34
42
рицы А (А). В численном эксперименте неизвестная априори величина расфокусировки А определялась по методу максимальной надежности из пяти возможных значений А^ = 2г + 1, г = 1,...,5. Решение о максимально надежной модели принималось на основании значений статистики т^ = ||(/ — П^)Е-1/2^||2 (8.3), где П* — ортогональный проектор на 7^(U-1/2A( A J), ^j = A(^j)f^-Vj, -ц] = 1,...,5. Одновременно вычислялась несмещенная редукция Ri^j к U = I для модели [A(AJ,E], ij = 1,..., 5.
Эксперимент показал, что при невысоком шуме метод максимальной надежности, как правило, определял верную модель (т.е. минимум т^ достигался при г = j\ С увеличением шума процент верных решений, естественно, уменьшался, что отражено в табл. 1 и 2. Обратим внимание на случай j = 4, г = 1, когда даже при низком шуме определена неверная модель. Это объясняется тем, что при используемом входном сигнале / E-1/2(A(Ai) — А(А4))/ Е^Тт1^2 А(А1У) и, следовательно, статистика ты распределена так же, как 744.
Этот случай проиллюстрирован на рис. 5.3, 5.4, 5.5. На рис. 5.3 приведена редукция для максимально надежной и в данном случае правильной модели, а также редукция для неправильной модели. На рис. 5.5 приведена редукция для максимально надежной, но неправильной модели при высоком уровне шума.
Метод максимальной надежности в задаче выбора модели, в том числе при дополнительных ограничениях, контролирующих точность редукции, близость модели к заданной априори и т.д., с успехом применен при решении прикладных задач дистанционного зондирования, спектрального анализа и др. (см. [8, 9, 60-62, 69]).
В заключение этого параграфа коротко обсудим применение понятия надежности модели при анализе редукции в режиме диалога, когда исследователь, анализируя результаты измерений, может формулировать, проверять на состоятельность и использовать для уточнения редукции свои собственные представления об исследуемом
Рис. 5.3. Редукция Нз^з для максимально надежной модели, которая совпала с истинной моделью, хорошо аппроксимирует входной сигнал. Для сравнения приведена редукция Нз^з для ошибочной модели
Рис. 5.4. Редукция Кб^2 для максимально надежной модели при высоком уровне шума. Максимально надежная модель оказалась ошибочной. Здесь же приведена редукция R2^2 для правильной модели. При столь высоком уровне шума она не имеет видимых преимуществ перед Я1^2
Рис. 5.5. Редукция Ri^4 для максимально надежной модели, которая оказалась ошибочной, имеет мало общего с входным сигналом /, несмотря на низкий уровень шума. Для сравнения приведена редукция R4^4 ДЛЯ истинной модели
объекте. Пусть, например, речь идет об анализе спектральной кривой, полученной как результат редукции данных спектроизмерительного эксперимента ^ = Af + v к значениям сечения рассеяния / = = сг(-) как функции энергии. Фрагмент этой кривой, содержащий «пик» а. представлен на рис. 5.6. Пунктиром окружена версия / = сг(Е) , предложенная исследователем в качестве альтернативы а для энергий Е Е ^Е\Е"). Формально версию сг(Е) исследователя можно представить в виде «измерения»
Рис. 5.6. Альтернатива «пику» о, предложенная исследователем, и функция ее влияния ^(Е) на погрешность редукции. Пунктиром отмечен предполагаемый «коридор неопределенности» предложенной альтернативы
£ = П E'E"f + V,
(8.18)
выполненного лишь в интерва
ле энергии Е* Е" , где Пе^1 f =
= <г(Е), Е Е ^Е\ЕН^ и v — шум, отражающий неопределенность представлений исследователя. Если состоятельность модели [А, Е]
спектроизмерительного эксперимента не вызывает сомнений, то зна
чение надежности а
модели
( А \ уП^/^//у
Е О
0\
Еу
покажет, на
сколько хорошо версия исследователя согласуется с измерением £ =
= А/ + и спектра.
Если надежность окажется низкой, «альтернатива» £ = Пе'Е" f + + zx, согласно которой «пик» а порожден погрешностью редукции
измерения £, плохо согласуется с реальным измерением и должна
быть отвергнута. Такой вывод говорит о том, что «пик» а скорее всего и на самом деле имеется на кривой о^Е\ Е Е (Е'^Е11). Если надежность окажется высокой, это будет означать, что в измерении £ нет данных, которые говорили бы как о том, что «пик» а есть, так и о том, что его нет на спектральной кривой. В этом случае как результат редукции, так и версия исследователя могут быть объяснены как сг(-)
с точностью до «типичной» реализации сигнала из «коридора ошибок» (см. §6). Такое заключение позволяет рассматривать £ и £ как измерения, взаимно уточняющие сг(-), причем не только для энергий Е Е ^Е’^Е11^ но и вне этого интервала. Это следует из вида функции влияния ф^ измерения а(Е) для Е Е ^Е\Е") на погрешность, также изображенной на рис. 5.6.
Теперь исследователь может интерпретировать редукцию R ^^ как более точную версию <г(Е) для всех значений энергии, при кото-
Рис. 5.7. о) Редукция R^ к идеальному прибору U = I и функция влияния ^(•) «дополнительного измерения» ^ на R^. Последнее интерпретируется как значение сигнала /(ж'); ^) результат редукции R (^^ к идеальному прибору и функция влияния нового «дополнительного измерения» ^" которое интерпретируется исследователем как значение f(x"); в) результат
редукции R I ^' I , который практически совпал с входным сигналом /(•),
приведенным на рис. 5.8, б. Значение статистики т(-) (8.3) свидетельствуют о высокой надежности модели [Л, Е] измерения ^ и предлагаемых в диалоге
ДА
моделей измерений I ) и I I
V)
Рис. 5.8. а) — Аппаратная функция прибора А; 6) — входной сигнал /(•) и результат измерения ^ = Af + v. Af(y) = J А(у — x)f(xdx), x^y G X
рых ф(Е) > 0 (см. §5). На рис. 5.7, 5.8 приведены результаты вычислительного эксперимента, моделирующего диалог (см. также [95, 96]).
Надежность редукции измерения [58, 59, 67, 72, 92]
Вводные замечания. Ответ на вопрос о возможности использовать модель [А, Е] для редукции измерения £ определяется величиной фактической погрешности редукции, которая в свою очередь, вообще говоря, зависит от ошибки в операторе А модели. Действительно, если на самом деле измерение £ = A* f + ц, то погрешность редукции к прибору U для модели [А, Е] равна
Е ||Л/ - Uf\\ = Е WUgr^AT^XA'f + О - [7/||2 =
= НДЕ"^)-!:-^^ - Л)/||2 + tr Д^УДАДи*). (9.1)
При достаточно низком уровне шума ее значение определяет первое слагаемое1)
|Щ(5:-1/2 Л)-д||2 = |Д(£-1/2^)-Пд||2,(92)
где q = Е-1/2(Л' — Л)/. Разумеется, в таком случае использовать для редукции модель [А, Е] нельзя, но надежность а(£), к сожалению, не всегда позволяет распознать такую ситуацию. Действительно, зависимость статистики т^ (8.5), определяющей надежность модели
х) В этом равенстве использован тот факт, что
(1Г1/2Л)- = (Е“1/2Л)“П, П = Е-1/2Л(Е"1/2Л)-.
[А, Е], от ошибки в операторе А определяется вектором (I — П)^, ортогональным вектору Пд, от которого зависит погрешность редукции (9.1). Поэтому в общем случае возможны ситуации, в которых (I — П)^ = 0, но Пд ^ 0, или, наоборот, (I — П)^ ^ 0, но Пд = = 0, показывающие, что, наблюдая статистику т(^) (и «(£)), вообще говоря, нельзя судить, насколько велико значение погрешности (9.2) и, следовательно, нельзя решить вопрос о том, применима ли модель [А, Е] для редукции измерения £. В частности, если вд-г^л' - л)) с в-Щ-гД), то ошибка в операторе модели никак не повлияет на погрешность (9.1), поскольку при этом Пд = О, в то время как значение статистики т(^) может вполне определенно указывать на несостоятельность модели.
Пусть, например,
£ = Af + Bf + v,(9.3)
где В — произвольный оператор, удовлетворяющий условию ВЩ^В) C^CS-VM). Если
НЕ-ГЗ-ВЛ!2 » Е ||(1 - П)Е“1/2р||2 = rank (/ - П),
то статистика
т^ = Щ - ЩЕ"1/2^!2 = W^^Bf + (/ - П)Е“1/2р||2
скорее всего укажет на несостоятельность модели [А, Е]. Но при этом
\Ж - Г/Н2 = НДЕ-Г^Щ-ГДЛ + ву + i/] - В/||2 =
= ||B(S"1/2j4)-S-1/2j/||2,
т.е. редукция R^ не зависит от В и, таким образом, даст результат, свойственный безошибочной модели. С другой стороны, если в равенстве (9.3) R(B) С R(A), то т(^) = ||(Z — П)Е-1/2г/||2 не зависит от В и не может указать на ошибку в модели, в том числе и тогда, когда ||В/|| >> ||Л/||. Но в этом случае редукция может радикально отличаться от редукции для точной модели, поскольку
||7?е - Г/Н2 = ||В(Е-Г2Л)-Е-1/2(В/ + ОН2. (9.4)
Итак, статистика а^ при некоторых условиях позволяет обнаружить несостоятельность модели [А, Е]. Вместе с тем несостоятельность модели егце не означает, что ею нельзя пользоваться для вычисления редукции. С другой стороны, приемлемое значение надежности <л(£) не означает, что модель верна, и, более того, не может гарантировать возможность использования модели [А, Е] для вычисления редукции. Короче говоря, статистику а(£) можно использовать как надежность модели [А, Е], но нельзя использовать как надежность редукции, поскольку низкое значение надежности а(£) не означает, что редукция будет подсчитана неверно, а приемлемое значение надежности не гарантирует, что редукция будет подсчитана верно.
Не следует думать, что статистика а(£) плохо «приспособлена» для определения надежности редукции. На самом деле в рассмотренном случае просто нельзя указать статистику, зависящую от наблюдения £, которая позволила бы охарактеризовать надежность редукции. Действительно, для этого необходимо по измерению £, как это следует из выражения (9.4), различать возможные равенства £ = Af + v и £ = (Л + В)/ + v. когда В(В) С В(Л). Это, очевидно, невозможно, поскольку / — априори произвольный вектор В, и любое значение (Л+В)/, У 6 В, можно представить в виде Af при некотором У' 6 В.
Пусть 5 > tr (В(Л*Е-1 A)-U*) выбрано так, что неравенство
Е ЦЛ^ - Г/||2 = | ДЦ-ГМ)-^2 + tr ^(А*^"1 A)"U*) ^ 5, ограничивающее сверху фактическую с.к. погрешность, является условием применимости модели [Л, Е] для редукции измерения £ = = А*/ + v (q = Е-1/2(Л' — Л)У). Тогда вопрос о применимости модели [Л, Е] для редукции сводится к выбору между гипотезой
-н = Ц, НДЦ-ГМ)-^!2 ^ 5' = 5 - tr (U(A*’£-1A)-U*)^
и альтернативой
К = Ц ПДЕ-^-дП2 > 5'}
по наблюдению £. Если гипотеза верна, модель [Л, Е] можно применить для редукции, в противном случае — нельзя. Но, наблюдая
S"1/2^ = (/ - П)9 + П(д + Е-ГМ/) + S"1/2^,
невозможно решить, содержится q в В или нет, если априори q — произвольный вектор. Действительно, q Е Н, если и только если Пд Е В, а распределение £ зависит от Пд только в комбинации П9 + S-V2^/, знание которой не позволяет определить Пд в силу произвольности у.
Надежность редукции с учетом дополнительных измерений. Понятно, что для возможности выбора между В и /С на основе наблюдения £ необходимо, чтобы класс альтернативных моделей [Л',Е] был не слишком обширным. В частности, при любом У должна быть связь между проекциями Пд и (I—П)^, обеспечивающая зависимость распределения статистики (I — П)Е-1/2£ от Пд.
Именно так обстоит дело в задаче редукции с дополнительными измерениями, когда модель «основного» измерения известна точно и вопрос о применимости полной модели для редукции касается только модели «дополнительных» измерений. В этом важном для практики случае вопрос о применимости модели фактически эквивалентен вопросу о том, что на самом деле несут дополнительные измерения для редукции основного измерения — информацию или дезинформацию. Это происходит потому, что, если исходить из фактической погрешности, в которой учтена ошибка в модели дополнительных измерений, то последние могут как уменьшать, так и увеличивать погрешность
редукции основного измерения. В первом случае дополнительные измерения естественно назвать информацией, а полную модель считать применимой для редукции. Во втором случае дополнительные измерения — дезинформация и соответственно полная модель неприменима для редукции.Оказывается, что при некоторых условиях ответы на поставленные вопросы могут быть даны на основе анализа измерений. Такая возможность в свою очередь позволит ввести понятие надежности редукции.Итак, пусть кроме измерений £ = Af + v дополнительно измерено £ = Bf + и. но, в отличие от модели [А, Е], точно соответствующей измерению £, модель измерения £ известна с ошибкой. Поэтому измерению / G Вт^ = Af^v^Rn, I=Bf + ve^ (9.5)редукции основного измерения. В первом случае дополнительные измерения естественно назвать информацией, а полную модель считать применимой для редукции. Во втором случае дополнительные измерения — дезинформация и соответственно полная модель неприменима для редукции.Оказывается, что при некоторых условиях ответы на поставленные вопросы могут быть даны на основе анализа измерений. Такая возможность в свою очередь позволит ввести понятие надежности редукции.Итак, пусть кроме измерений £ = Af + v дополнительно измерено £ = Bf + и. но, в отличие от модели [А, Е], точно соответствующей измерению £, модель измерения £ известна с ошибкой. Поэтому измерению / G Вт^ = Af^v^Rn, I=Bf + ve^ (9.5)сопоставлена ошибочная модельсопоставлена ошибочная модельмодельмодельАВАВАОАОБудем считать,Будем считать,А\А\, где А ^ В. Точная, где А ^ В. Точнаяусловимся, что оператор А*Е 1А невырожден. При этих условияхусловимся, что оператор А*Е 1А невырожден. При этих условияхоператор R несмещенной редукции к U = I имеет видоператор R несмещенной редукции к U = I имеет видВ =В =/а\*W V 0/а\*W V 0Т-1Т-1а) / Wа) / WS"1оS"1одS-1дS-1= ЗЩАТДЛ*^-1),= ЗЩАТДЛ*^-1),(9-6)(9-6)гдегдеs = a-stMa ат-Ыs = a-stMa ат-Ы
редукции основного измерения. В первом случае дополнительные измерения естественно назвать информацией, а полную модель считать применимой для редукции. Во втором случае дополнительные измерения — дезинформация и соответственно полная модель неприменима для редукции.
Оказывается, что при некоторых условиях ответы на поставленные вопросы могут быть даны на основе анализа измерений. Такая возможность в свою очередь позволит ввести понятие надежности редукции.
Итак, пусть кроме измерений £ = Af + v дополнительно измерено £ = Bf + и. но, в отличие от модели [А, Е], точно соответствующей измерению £, модель измерения £ известна с ошибкой. Поэтому измерению / G Вт
^ = Af^v^Rn, I=Bf + ve^ (9.5)
редукции основного измерения. В первом случае дополнительные измерения естественно назвать информацией, а полную модель считать применимой для редукции. Во втором случае дополнительные измерения — дезинформация и соответственно полная модель неприменима для редукции.
Оказывается, что при некоторых условиях ответы на поставленные вопросы могут быть даны на основе анализа измерений. Такая возможность в свою очередь позволит ввести понятие надежности редукции.
Итак, пусть кроме измерений £ = Af + v дополнительно измерено £ = Bf + и. но, в отличие от модели [А, Е], точно соответствующей измерению £, модель измерения £ известна с ошибкой. Поэтому измерению / G Вт
^ = Af^v^Rn, I=Bf + ve^ (9.5)
сопоставлена ошибочная модель
сопоставлена ошибочная модель
модель
модель
А
В
А
В
А
О
А
О
Будем считать,
Будем считать,
А\
А\
, где А ^ В. Точная
, где А ^ В. Точная
условимся, что оператор А*Е 1А невырожден. При этих условиях
условимся, что оператор А*Е 1А невырожден. При этих условиях
оператор R несмещенной редукции к U = I имеет вид
оператор R несмещенной редукции к U = I имеет вид
В =
В =
/а\*
W V 0
/а\*
W V 0
Т-1
Т-1
а) / W
а) / W
S"1о
S"1о
д
S-1
д
S-1
= ЗЩАТДЛ*^-1),
= ЗЩАТДЛ*^-1),
(9-6)
(9-6)
где
где
s = a-stMa ат-Ы
s = a-stMa ат-Ы
— невырожденный оператор, и соответственно
R^ = S-4A*^-4 +=
= / A S'M^-^B - A^J + S-^A*^-1^ + А*^"1^
— искомая редукция.
Следовательно, фактическая с.к. погрешность редукции записывается как
ЕЕ2~ ~= HS-M^"1/2^!2 AtrS"1,2~ ~= HS-M^"1/2^!2 AtrS"1,где~_g = S-V2(B-A)/.где~_g = S-V2(B-A)/.(9-7)(9-8)(9-7)(9-8)
Е
Е
2~ ~
= HS-M^"1/2^!2 AtrS"1,
2~ ~
= HS-M^"1/2^!2 AtrS"1,
где~_
g = S-V2(B-A)/.
где~_
g = S-V2(B-A)/.
(9-7)
(9-8)
(9-7)
(9-8)
Поскольку без учета измерения £ погрешность несмещенной ре-
дукции £ была бы равна tr (А*Е 1 А) , то будем говорить, что измерение £ является информацией, если
HS-1!^-1/2^2 + tr s-i ^ tr ц^-М)-,
и дезинформацией — в противном случае.
Задача в данном случае состоит в том, чтобы по наблюдению измерения I ~) (9.5) проверить гипотезу
4 = ^ HS-M^-ra^ip ^2 =tr(A*S-1A)- -trS"1}(9.9)
о параметре q = S ^(В —А)/ распределения
при альтернативе
К. = {g, IIS-M^-ra^^ > d2y
Если гипотеза верна, то измерение £ несет информацию о редукцииизмерения £, в противном случае — дезинформацию. Естественно
считать, что в первом случае модель
АЛ /Е ОаМо Е
применима для
редукции измерения I ~ I , а во втором — нет.
Вообще для определения свойств редукции измерения (9.5), осно-
ванной на модели
А А 2
ЛАО S
, следует исходить из неравенства
НВ-М^"1/2^!2 + tr S"1 А А = tr (А^М)",
в котором величина А, определяющая оценку фактической погрешности редукции, может быть выбрана любой из промежутка А = = trS-1 ^ А ^ tr (А*Е-1А)- = А. Тем самым будет определено множество
-Ид = {q : HS-M^-1/2^2 AtrS"1 < A} (9.9*)
таких q. при которых редукция измерения (9.5), основанная на моде-
0\
Еу
, имеет погрешность, не превосходящую А. При
А = А погрешность редукции будет такой же, как в случае точной
модели; если же А = А, то учет дополнительного измерения q не
даст гарантированного увеличения точности редукции.
Вернемся к задаче проверки гипотезы (9.9) о параметре q распре
деления измерения
А)
. Обозначим П* ортогональный проектор в
Rn ф Rn на R
((Уг^АХ де-1/2 а/ ):
/Е"1/2^ (У-'/2А _ /E"V2A\! /Е"1/2^
Vs-1/2^ д-гза/ “ (e-v2aJ д-гза/
Поскольку оператор редукции R (9.6) удовлетворяет условию R = = ЯП*, в равенстве (9.7)
Нз-1^-1/2^Нз-1^-1/2^22С другой стороны,С другой стороны,Е"1/2 ОО Е"1/2Е"1/2 ОО Е"1/2и, следовательно, ортогональная проекция П:и, следовательно, ортогональная проекция П:не несет ин-не несет ин-формации о П* f ~ j , поскольку распределение Пформации о П* f ~ j , поскольку распределение Пзависитзависит/0\/е-'/ТйА /о\от П* I только в комбинации р = I ^-1/2^ ) /+пц д , и в силу/0\/е-'/ТйА /о\от П* I только в комбинации р = I ^-1/2^ ) /+пц д , и в силупроизвольности / Е Rm знание р не позволяет определить П;произвольности / Е Rm знание р не позволяет определить П;Действительно, для любого q Е Rn найдется вектор f ER чт° (§-1/2^) / = п* ( Д • ПоэтомуДействительно, для любого q Е Rn найдется вектор f ER чт° (§-1/2^) / = п* ( Д • Поэтому/0\V/ ' такой,/0\V/ ' такой,13\S-1/2А) ^ + J \Е-1/2А/ ’13\S-1/2А) ^ + J \Е-1/2А/ ’где / — априори любой вектор Rm .Теперь информацию о П* f ~ j несет ортогональная проекциягде / — априори любой вектор Rm .Теперь информацию о П* f ~ j несет ортогональная проекция
Нз-1^-1/2^
Нз-1^-1/2^
2
2
С другой стороны,
С другой стороны,
Е"1/2 О
О Е"1/2
Е"1/2 О
О Е"1/2
и, следовательно, ортогональная проекция П:
и, следовательно, ортогональная проекция П:
не несет ин-
не несет ин-
формации о П* f ~ j , поскольку распределение П
формации о П* f ~ j , поскольку распределение П
зависит
зависит
/0\/е-'/ТйА /о\
от П* I только в комбинации р = I ^-1/2^ ) /+пц д , и в силу
/0\/е-'/ТйА /о\
от П* I только в комбинации р = I ^-1/2^ ) /+пц д , и в силу
произвольности / Е Rm знание р не позволяет определить П;
произвольности / Е Rm знание р не позволяет определить П;
Действительно, для любого q Е Rn найдется вектор f ER чт° (§-1/2^) / = п* ( Д • Поэтому
Действительно, для любого q Е Rn найдется вектор f ER чт° (§-1/2^) / = п* ( Д • Поэтому
/0\
V/ ' такой,
/0\
V/ ' такой,
13\S-1/2А) ^ + J \Е-1/2А/ ’
13\S-1/2А) ^ + J \Е-1/2А/ ’
где / — априори любой вектор Rm .
Теперь информацию о П* f ~ j несет ортогональная проекция
где / — априори любой вектор Rm .
Теперь информацию о П* f ~ j несет ортогональная проекция
на 'Tt"Lна 'Tt"LE-V2E-V2А\ \А) )А\ \А) )поскольку ее распределение зависит отпоскольку ее распределение зависит от(ЬЩ)(ЬЩ), а между (/ — Щ), а между (/ — Щ)имеется связь.имеется связь.
на 'Tt"L
на 'Tt"L
E-V2
E-V2
А\ \
А) )
А\ \
А) )
поскольку ее распределение зависит от
поскольку ее распределение зависит от
(ЬЩ)
(ЬЩ)
, а между (/ — Щ)
, а между (/ — Щ)
имеется связь.
имеется связь.
Случай одномерного дополнительного измерения, dim R^ = dim 7^m. Рассмотрим вначале случай, когда вызывающее сомнение дополнительное измерение одномерно, т.е.
или__~
— b* f v = a* f(b— a)* f
если воспользоваться матричными обозначениями,
Ь* = (ЬЪ...,Ьт),...Ь* = (ЬЪ...,Ьт),...
Ь* = (ЬЪ...,Ьт),...
Ь* = (ЬЪ...,Ьт),...
Корреляционный оператор Е в данном случае — оператор умножения на дисперсию а2 шума v. Поэтому в прежних обозначениях (9.8)
q = a^(b-aYf
в данном случае — число. Далее
П:П:
П:
П:
и, в частности, согласно формуле (5.2)
S-1 = (А^'М)"1S-1 = (А^'М)"1(9.10)(9.10)(A*S"1A)-1a((A*S-1A)-1a)*
S-1 = (А^'М)"1
S-1 = (А^'М)"1
(9.10)
(9.10)
52 + a*(A*S-1A)-1a
Пусть в первом равенстве (9.5) для простоты п = т т.е. размерность £ равна размерности /. Тогда статистика
/у-1/2/ V-1/2
Т)=(1-П^1_1 I =(/-Щ) Д—i ~(9.11)
принадлежит одномерномупринадлежит одномерномуподпространству Tt1"подпространству Tt1"
принадлежит одномерному
принадлежит одномерному
подпространству Tt1"
подпространству Tt1"
7?.„ ф Ri, единственный базисный вектор которого ei = (?) опре
//(Д
деляется из условия П* I ~ I = ( q ) , эквивалентного уравнению
А*Е х!2х + а 1пж = 0.А*Е х!2х + а 1пж = 0.(9.12)(9.12)
А*Е х!2х + а 1пж = 0.
А*Е х!2х + а 1пж = 0.
(9.12)
(9.12)
Ранее принятое соглашение о невырожденности оператора Л*Е 'Л в силу равенства п = т эквивалентно невырожденности
оператора А* в уравнении (9.12), что в свою очередь гарантирует существование и единственность его решения
ж = —5-1ж(А*И-1/2)-1а
относительно ж при любом ж.
Определим ж из условия нормировки ei:
1 = Iki ||2 = ж*ж + ж2 = 5-2ж2Н*(А*Е_1А)_1Н + ж2,(9.13)
согласно которому
ж = Д(?2 + аЦА^^А^аУ/2.(9.14)
Теперь базисный вектор щ определен полностью, и можно найти (единственную) координату статистики ту (9.11):
/*/ у —1/2,. \
=_= ж*Е-1/2?/ + х(а~1Г + о), (9.15)
\х) \q-Va xvjх\/
где жиж определены равенствами (9.12) и (9.14) соответственно. Очевидно, T]i имеет нормальное распределение с параметрами
Е щ = жд = dq(d2 + а* (А*Е-1 А^-1а^-1^2,
Е (щ — Е щ)2 = ж*ж + ж2 = 1.
Наблюдая статистику щ, нам надлежит проверить гипотезу (9.9) о значении параметра q, согласно которой
||S-1n5-1^|2 = ||S-1n||25-2Q2 ^d2.
Альтернативой является противоположное неравенство \\S-1d\\2a-2q2 > d2.
Поскольку согласно равенству (9.10)
S^a = рТЕ-МЩа! ———, [ст2 + п*(А*Е-1 А)-1п то в рассматриваемом случае
Гd\q\d^a2 ^^ЧА^-УАУЧУ^2А
4 “ Г (52 +а*(А*Е-1А)"1ау/2J ’
r_f~5|q1d(a2 +а*(А*^"1А)"1аУ/21
В (9.9) d2 = ^^А)"1^2/^2 ^(см. (9.10)).
При этом правые части неравенств (9.16) равны единице. В общем случае Н и /С (9.16) следует заменить на На и /Сд соответственно (см. (9.9)). Для этого достаточно d в (9.16) заменить на (A-trS"1)1/2, где А — оценка фактической погрешности редукции; А = tr S-1 А tr (А*!^1 АД1 = А. Обозначим
У = dq^ +г*Д*Е-1Л)-1й)"1/2,
б = d^ + аТл*Е“1А)“1а)1/2||(А*Е“1А)“1а||“1 = 1 (см. (9.9),(9.10)),
тц = (|-«Ч^Т^АГУГ1/2^^2 +a*(A*S"iA)"ia)-i/2,
T]i~ ЛГ^ДУ(9.17)
Анализ задачи проверки гипотезы о параметре распределения. Отвлекаясь на время от основной линии изложения, рассмотрим задачу проверки гипотезы
И = {^,|^| <5}(9.18)
о параметре d Е (—ею, ею) нормального распределения JV(dA) при альтернативе
/С = {^,|^| > 5}(9.19)
на основе наблюдения щ ~ JV(d, 1).
Эта простая задача поучительна во многих отношениях. Мы покажем, что для решения задачи нельзя построить равномерно наиболее мощный критерий, или, иначе говоря, не существует критической функции ^*(-), удовлетворяющей условиям
sup Е ^*(щ) <0 < е < 1;
Е^Дщ) = 8пр{Е^(щ)|(Дф sup Е^сДщ) < s}, d Е KL, (9.20)
ограничивающим вероятность ошибочно отвергнуть гипотезу И числом е при наибольшей для каждого d Е KL вероятности отвергнуть Н, когда она и на самом деле неверна. Но в классе так называемых несмещенных критериев равномерно наиболее мощный критерий существует, равно как и в классе инвариантных критериев, [41].
Чтобы показать, что задача (9.18)-(9.20) неразрешима, сравним ее с задачей, в которой гипотеза и альтернатива заданы соответственно как множества
И' = ^d< 5}, К' = ^d>5}(9.21)
и на критическую функцию наложено ограничение
зирЕ^Дщ) < е.(9.22)
В данном случае в силу абсолютной непрерывности распределений щ как при d Е И', так и при d Е К/ речь идет об определении
критического множества 7^1\(Фд) 1 ) из условий зпрРДт?! ePi\(»o)-1 ^е, веб
Рв(т етгддщ1) = sup p»^i ^PiWV1) (9-23)
он-1
для каждого ^ > б.
Пусть i^i — частная гипотеза, ??i ^ б, 1^2 ~ частная альтернатива, $2 > 5. Наиболее мощный критерий, с вероятностью е отвергающий 1^1, когда T]i ~ Я^г, 1), определяется критическим множеством
Т^ДФд1 = {ж, /(ж,^2,^1) = 1п[/(ж,^2)/^(ж,^1)] > с},
Д/(ж, ^2,^1) = Х^2 - ^1) + (^ - Т^)/2'
— логарифм отношения правдоподобия, с определяется условием j l(xD d^dx = е.
1^жЛ-2ЛГ>С
Поскольку /(ж,^2,^1) ~ монотонно возрастающая функция ж, найденный критерий на самом деле является равномерно наиболее мощным относительно всех альтернатив $2 > б так как критическое множество можно задать в виде
{ж > с'},
где d определяется условием Р^ (771 > с') = е и не зависит от тр > б. Нетрудно проверить, что
с' = д+Ф"1(1-е),
где, как обычно Ф(Д = J exp(—t2/2)dt/V27T. Выберем Д = 5. Тогда
supP^Oi >5 + Ф-1(1 - е)) = Рб(т11 >5 + Ф-1(1 - е)) = Е
и, следовательно,
РДФДЩжХ^ + Ф-Д-е)}
— равномерно наиболее мощное критическое множество в задаче (9.21), (9.23). Мощность найденного критерия
A W = Рй(т]1 > б + Ф(1 - е))(9.24)
— монотонно возрастающая функция d 6 (—сю, сю), равная е при d = б. Точно такое же решение имеет задача проверки гипотезы
П" = {^ = 5}
при альтернативепри альтернативеК” = ^>5} = J^К” = ^>5} = J^(см. §2 гл.4). На рис. 5.9 представлено дискриминантное множество 7Д_£, множество принятия гипотезы Ф-1(5, 1 — в), оценивающее множество Ф(жо, 1 — в) надежности 1 — £, минимального размера для щ = жо. Отсюда немедленно следует, что задача (9.16),
при альтернативе
при альтернативе
К” = ^>5} = J^
К” = ^>5} = J^
в противном случае дляв противном случае для(9.20) неразрешима. В самом деле,
в противном случае для
в противном случае для
альтернатив 19 > 5 ее решение для задачи (9.21), (9.22) Д, а для альтернатив d > б — с решением «симметричной» задачи, в которой гипотеза определена как {19 ^ — 5}, а альтернатива как {19 < —5}.
Удовлетворить этим условиям одновременно, очевидно, невозможно, поскольку задача (9.21), (9.22) имеет единственное решение.
Обратим теперь внимание на то, что задача (9.18) — (9.20) обладает естественной симметрией относительно преобразований отражения 7^1. Действи-
должно совпадать с найденнымдолжно совпадать с найденнымРис. 5.9. Дискриминантное множество Р1-£, множество Ф-1(ф 1 — е) принятия гипотезы 19 = б при альтернативе 19 > б и оценивающее множество Ф(ж0, 1 — Д надежности 1 — гРис. 5.9. Дискриминантное множество Р1-£, множество Ф-1(ф 1 — е) принятия гипотезы 19 = б при альтернативе 19 > б и оценивающее множество Ф(ж0, 1 — Д надежности 1 — гтельно, пусть У — группа отражений 7^1 (ортогональных преобразований): х -4 дх = = ±ж, х Е Ну. Распределение ^(19,1), 19 е 7^1, G, 9-ин-
должно совпадать с найденным
должно совпадать с найденным
Рис. 5.9. Дискриминантное множество Р1-£, множество Ф-1(ф 1 — е) принятия гипотезы 19 = б при альтернативе 19 > б и оценивающее множество Ф(ж0, 1 — Д надежности 1 — г
Рис. 5.9. Дискриминантное множество Р1-£, множество Ф-1(ф 1 — е) принятия гипотезы 19 = б при альтернативе 19 > б и оценивающее множество Ф(ж0, 1 — Д надежности 1 — г
вариантно P^(gi G дВ) = Pg-i^^ Е В\ В Фу^ 9 Е9^ и, очевидно, дН = Н, glC = К^ д Е 9 • Следовательно, критическое множество 9-
8ПрРД|щ| > с) = Е. ^<58ПрРД|щ| > с) = Е. ^<5(9.25)(9.25)инвариантного критерия можно определить, исходя из максимального ^-инварианта Дж) = |ж|, ж G Ну. В данном случае очевидно, что 7^1 \Ф-1 = {ж 6 7?,i, |ж| > с}, где с — решение уравнения
8ПрРД|щ| > с) = Е. ^<5
8ПрРД|щ| > с) = Е. ^<5
(9.25)
(9.25)
z —t2 х dtz —t2 х dtПоскольку sup в (9.25) достигается при 19 = ±5, с = с(Д — решение уравнения
z —t2 х dt
z —t2 х dt
1 - Ф(с - б) + Ф(-с -б) = е. (9.26)
Найденный критерий — равномерно наиболее мощный относительно
Рис. 5.10. Функции мощности а) 3($) = Е^р , —оо < б < оо, 3(5) = е для задачи, в которой гипотеза и альтернатива определены равенствами (9.21); б) 3W = = Е^Д', —оо < д < оо, 3(—5) = = е , для «симметричной» задачи, в которой И" = {#— 5}, К," =
= {# < — 5}. Пунктирной линией показана функция мощности равномерно наиболее мощного 5-инвариатного критерия задачи (9.18)-(9.20)
альтернатив |^| >5 в классе Q-инвариантных критериев. График его функции мощности 3W = ^(|^?11 > с(^)) приведен на рис. 5.10 .
Другой принцип, позволяющий разумно сузить класс критериев — принцип несмещенности, — состоит в том, что априори исключаются критерии, допускающие альтернативы 3 Е KL, при которых вероятность принять И больше, чем в случае, когда % верна. Именно таким свойством обладает критерий, определенный критическим множеством (9.24), функция мощности которого приведена на рис. 5.10, если его рассматривать применительно к задаче (9.18)—(9.2). Действительно, для альтернативы 3 < — 5 вероятность принять гипотезу (9.18) больше, чем в случае, когда гипотеза П верна, т.е. |^| ^5.
Класс несмещенных критериев выделяется следующим условием на критическую функцию р;
inf Е ^(Дщ) Д sup Е ^Дщ) = е,(9.27)
если речь идет о рандомизированных критериях. Если, как в рассматриваемом случае, критерий можно задать критическим множеством 7?,i\Ф-1, то условие (9.27) примет вид неравенства
inf P^^i € ТЩФ-1) ^ sup P^^i € 7ЩФ-1) = е, век
ИЛИ
sup РДщ Е Ф-1) < inf РДщ Е Ф-1) = 1 - е, (9.28) йЕК;
Буквальный смысл условия (9.28) состоит в том, что вероятность принять гипотезу Н, когда она верна, не меньше, чем вероятность принять 14 ошибочно, когда верна любая из альтернатив 3 EKL.
В нашем случае в силу непрерывности вероятности Р^(тг Е Ф-1) как функции 3 Е (—оо,оо) условие (9.28) влечет равенство
РМ е Ф"1) = Р-5(т е ф-1) = 1 - £
(в граничных точках Н и /С). В противном случае, если, скажем,
РМ еФ х) >Р-М еФ Д
то в силу непрерывности P^(rji Е Ф-1) это неравенство выполнено и в близких к граничным точка И и 1€. что приведет к нарушению условия (9.28). Следовательно, несмещенное множество принятия гипотезы И, равномерно наиболее мощное относительно ^ 0 [—5, 5], в нашем случае определяется условиями
Р5(гц е ф"1) = Р-5(Л1 е ф"1) = I -
Щт?1 € Ф"1)Щт?1 € Ф"1)min Ф-imin Ф-iдля каждого ^ 0 [—5,5]. Пусть ^ = ^0 < — 5
Щт?1 € Ф"1)
Щт?1 € Ф"1)
min Ф-i
min Ф-i
фиксировано. Согласно лемме Неймана — Пирсона (см. §2 гл. 4) для этого $о наиболее мощное Ф^ следует искать в виде
Фо1 = |®, ехр^—-(ж — 1?о)2)
Ai ехр(^-^(ж - 5)2^ + А2 ехр(-|(ж + 5)2) }, (9.29)
где Ai и А2 должны быть определены из уравнений
P^m G Фо ^^=±<5 = 1 - £.(9.30)
Если в равенстве (9.29) Ai ^ 0, А2 ^ 0, то его можно записать в виде
Фо"1 = {ж, щ < х < с2};(9.31)
если Ai > 0, А2 < 0 или Ai < 0, А2 > 0, то, соответственно, как Фо 1 = {ж ^ щ} или как Ф^"1 = {ж ^ С2} . Однако в этих случаях невозможно удовлетворить условию (9.30). Так как случай Ai < 0, А2 < 0 невозможен, остается только представление (9.31) и условие (9.30)
С2h'xP^re =С2h'xP^re =1 - с1 - сC2±d// 1 9А dx / _ х^V^JV^’ ( }Ср ±5C2±d// 1 9А dx / _ х^V^JV^’ ( }Ср ±5
С2
h'xP^re =
С2
h'xP^re =
1 - с
1 - с
C2±d
// 1 9А dx / _ х
^V^JV^’ ( }
Ср ±5
C2±d
// 1 9А dx / _ х
^V^JV^’ ( }
Ср ±5
определяющее Ф^1 и не зависящее от do.
Поскольку в (9.32) сдвиг области интегрирования [щ,С2] на ±5 приведет к равным интегралам, области [щ + 5, С2 + 5], [щ — ф С2 — 5] должны быть симметричны относительно ж = 0, так что —щ = С2 = = с, где с = с(е) — корень уравнения
Ф(с — 6) — ф( —С — 6) = 1 — £, совпадающего с уравнением (9.26).
Итак, как среди Q-инвариантных, так и среди несмещенных критериев задачи (9.18) — (9.20) имеется равномерно наиболее мощный. Его критическое множество имеет вид
^1/Фо1 = {М > с(е)Ь
где с(е) — корень уравнения (9.26).
Верхняя и нижняя надежности редукции. Рассмотрим теперь вопрос о надежности гипотезы (9.18) при альтернативе (9.19). По определению, верхняя и нижняя надежности равны соответственно_г / 1\
а(щ) = inf sup / exp I —-(ж — i?i)2 Мж/л/2тг,l^2>5J\2/
D
/
/ 1\
expI —-(ж — ^i)2 )dxlV^iv^
V = {ж, ж(^2 - ^1) > tft№ - ^1)}.
Поскольку
j exp ^— ^(ж — ^i)2^ dx/V^n = j exp ^— ^2^ dz=I(V*), T)
где D* = {г, (z + #i)№ - ^i) > ^7i№ - ^i)}, to
sup 1Д)Д = <Q \ Г
|Щ|^£l$(-^l+^)> ^2 > 5,
и, следовательно, с^щ) = Ф(5—|щ|). С другой стороны, inf КД)*) = |^2|>5
= Ф(—|щ — ^1|) и соответственно
/ хQ ,х /Ф(0) = 1/2, Ы<ф
В данном случае верхняя и нижняя надежности не совпадают.
Если исходить из равномерно наиболее мощного несмещенного критерия, то надежность К (9.18) при К, (9.19) равна
a*Oi) = infill7?!! > с(£)} = 1 “ Ф(Ы - 5) +
+ Ф(-Ы - £)(= 1 - Ф(|т?1| + 5) + Ф(-|т?1| + 5)).
Очевидно, что а(т?1) ^ a(??i) ^ с**(^1)- Рассмотрим распределение надежности
— |т71|—5ос
// 1 \г / 1 \
exp ( — -t2 J dt/V^^ exp ( — -t2 j dt/V^- (9.33) -OC1^11—5
Пусть 0 < z < 1. Определим функцию s(z) так, чтобы
— s(^) — 5ос
/
/1\Г/1\
exp I — -x2 I dx/V^ +/ exp I — -x2 I dx/V^ = z.
\ 2 jJ у 2 j
Поскольку левая часть этого равенства непрерывна и монотонно убывает при 0 ^ s < сю от 1 до 0, то s(z), 0 < г < 1, — непрерывная монотонно убывающая функция. При этом для 0 < г < 1
^(аДщ) < z) = РД|щ| > ф)),
и если щ ^ JV(ti, 1), то надежность аДщ) равномерно распределена на [0,1]. Действительно, в этом случае
P^d(a*Qni) < z) = Р±Д|щ| > ф)) =
~Ф)~Ф)-фП5-фП5
~Ф)
~Ф)
-фП5
-фП5
Для произвольного $
и
dP^a*^ < г) _ ехрСДМДН^^Дн^»^^
dzexp(-|(s(z) + J)2) + exp(-|(s(z) - й)2)
Поскольку s^ —> 0 при г —> 1 и s^ —> сю при г —> 0, то при г —> 1
сЩфДщ) < г)сЩфДщ) < г)dzdz= Ра. (z) -> exp= Ра. (z) -> exp(ф2-^2))(ф2-^2))
сЩфДщ) < г)
сЩфДщ) < г)
dz
dz
= Ра. (z) -> exp
= Ра. (z) -> exp
(ф2-^2))
(ф2-^2))
и при г —> О
/ \ / g ex , Г 0, 0 < $ < 5,
Итак, если д = ±5, надежность аДщ) (9.33) распределена равномерно на [0, 1]; если верна гипотеза И (9.18) и |^| < д. то надежность принимает значения, преимущественно близкие к единице, с тем большей вероятностью, чем меньше |^|; если верна альтернатива /С, то надежность будет принимать значения, преимущественно близкие к нулю, причем с тем большей вероятностью, чем больше |^|. Для любого d ^ [—5,5] плотность распределения надежности не ограничена в нуле, а для — 5 < О < 5 — равна нулю в нуле.
Распределения верхней сфх) и нижней сфх) надежностей могут быть изучены вполне аналогично. Например, для функции распределения верхней надежности найдем: Р^(а(тр?) < z) = РД|щ| > s(z)),
где s(-) — неотрицательная функция, определенная и монотонно убывающая при 0 < z ^ Ф(5) согласно условию г = Ф(5 — s(z)). Очевидно, s(z) -4 сю, если г 0; ДФ(5)) = 0 и Р^(а(т]1) < г) = 1, если Ф(5) < г ^ 1. Для плотности распределения а^щ) получим выражение
тМ^ = №AaW) < z^dz =
т?2 —
= ехр(-—)[ехр(-8(г)(^ + 5)) + exp(s(z)(d - 5))],
из которого следует, что при г —> ОрДг) —> 0, если |^| < д: рД^) —> сю, если |^| > 5, а при d = ±5 Р^А) 1-
Случай одномерного дополнительного измерения, dim7^n > dim7^m. Вернемся к уравнению (9.12), полученному в свя-
/ /у~|/2ц\ \
зи с построением ортонормированного базиса РА ( () ’ И
рассмотрим случай, когда dim7^n > dim7^m. При этом для любого х оно будет иметь неединственное решение. Обозначим ж®,... ,ж® ортонормированную систему решений уравнения
А^-^х = 0,
образующую базис
s = dimM(A*S“1/2)_
Тогда общее решение уравнения (9.12) при заданном х можно записать в виде
х = — 5-1х(А*Е-1А)-а + У^ CjXj,(9.34)
j=i
где коэффициенты щ,..., cs следует подчинить условиям ортогональности (Д-,ж) = 0, у = 1,..., s, и нормировки
ж*ж + ж2 = 1.(9.35)
Однако для любого вектора а вектор (А*£-1/2)-й G ^(Е-|/2Л) х) и, следовательно, ортогонален векторам ж^,...,ж^ из 7^±(И-1/2А).
Поэтому в равенстве (9.34) Cj = 0, 3 = 1,..., s,
х = — а^х^А*^-1/^-^^
0 Действительно,
(A‘S-1/2)-a = lim S-1/2A(A‘S-1A + wiy^d = S“1/2A(A*S-1 Ay^a.
где согласно условию нормировки (9.35)
Таким образом, найден ортонормированный базис
-[p*S"1/2)-a||2 + 52]"1/2(A*S"1/2)-a[IKA^"1/2)-^^2]"172?
Но среди р + 1 координат статистики ц (9.11) только первая
111[||(Л*Е-1/2)-5||2 + 52]1/2
__ oq А v - (a, S~1/2АДЕ"1/2^)
” [||(M*s-i/2)-a||2 + J2]1/2 _[||(A*s-i/2)-a||2 + 52Д2
имеет распределение, зависящее от q. Это нормальное распределение с математическим ожиданием
е ^ = а^НА^-1/2)-^2 + ад-1/2
и дисперсией, равной единице, т.е. статистика щ совпадает с найденной ранее статистикой (9.15)). Остальные координаты щ = (щ,ц), г = = 2,...,р + 1, независимы в совокупности, нормальны ^(0,1) (каждая) и не нужны для решения задачи проверки гипотезы. Следовательно, этот случай ничем не отличается от предыдущего.
Подводя итог, можно сказать, что вероятность
«*(щ) = а«*(щ) = а, А, М, А, Мошибочно отвергнуть гипотезу (9.9*), по существу, следует интерпретировать как надежность гарантированного уточнения редукции измерения £ = Л/ + v , если моделью дополнительного измерения £ является [Л, Е], а моделью измерения ^^ — соответственно М =ошибочно отвергнуть гипотезу (9.9*), по существу, следует интерпретировать как надежность гарантированного уточнения редукции измерения £ = Л/ + v , если моделью дополнительного измерения £ является [Л, Е], а моделью измерения ^^ — соответственно М =Л\ лгЛ\ лг'Е0'Е00Е0Е. При выбранном в (9.9*) значении параметра А =. При выбранном в (9.9*) значении параметра А =
«*(щ) = а
«*(щ) = а
, А, М
, А, М
ошибочно отвергнуть гипотезу (9.9*), по существу, следует интерпретировать как надежность гарантированного уточнения редукции измерения £ = Л/ + v , если моделью дополнительного измерения £ является [Л, Е], а моделью измерения ^^ — соответственно М =
ошибочно отвергнуть гипотезу (9.9*), по существу, следует интерпретировать как надежность гарантированного уточнения редукции измерения £ = Л/ + v , если моделью дополнительного измерения £ является [Л, Е], а моделью измерения ^^ — соответственно М =
Л\ лг
Л\ лг
'Е
0
'Е
0
0
Е
0
Е
. При выбранном в (9.9*) значении параметра А =
. При выбранном в (9.9*) значении параметра А =
= А а= А а, А, М I является надежностью того, что измерение £
= А а
= А а
можно считать информацией, приписав ему модель [Л, Е]. Если величина А, определяющая оценку погрешности редукции R(M) ^^ , вы-
брана произвольно из интервала [А, А], то а , A, Mj — надеж-брана произвольно из интервала [А, А], то а , A, Mj — надеж-ность того, что погрешность редукции R(M) ^^ или, короче, — надежность редукции R(M) ^^ точностью, определенной параметром А.ность того, что погрешность редукции R(M) ^^ или, короче, — надежность редукции R(M) ^^ точностью, определенной параметром А.не превзойдет А,не превзойдет А,с гарантированнойс гарантированнойЭти результаты составляют основу диалогового режима интерпретации измерений, аналогичного рассмотренному в заключении §8. Отличие в данном случае состоит в том, что исследователь, высказывая собственную версию, интересуется не тем, насколько она соЭти результаты составляют основу диалогового режима интерпретации измерений, аналогичного рассмотренному в заключении §8. Отличие в данном случае состоит в том, что исследователь, высказывая собственную версию, интересуется не тем, насколько она согласуется с результатом измерения, а тем, позволит ли она уточнить значения параметров исследуемого объекта, с какой надежностью и насколько.гласуется с результатом измерения, а тем, позволит ли она уточнить значения параметров исследуемого объекта, с какой надежностью и насколько.9.6. Случай произвольного дополнительного измерения. Рассмотрим в заключение общий случай произвольного дополнительного измерения в (9.5). Для решения задачи проверки гипотезы (9.9*)построим ортонормированный базис9.6. Случай произвольного дополнительного измерения. Рассмотрим в заключение общий случай произвольного дополнительного измерения в (9.5). Для решения задачи проверки гипотезы (9.9*)построим ортонормированный базисS-V2 Д "S-V2 Д "Для этого, исходя из решений уравненияЯ*5"1/2ж = 0,(9.36)найдем ортонормированные векторы 1)Для этого, исходя из решений уравненияЯ*5"1/2ж = 0,(9.36)найдем ортонормированные векторы 1)(9.37)(9.37)где k = dimA/”±(A*S Г2), {ж} — специально выбранный ортогональный базис Af±(A*E-1/2). К ним добавим ортонормированные вектогде k = dimA/”±(A*S Г2), {ж} — специально выбранный ортогональный базис Af±(A*E-1/2). К ним добавим ортонормированные векторыры(9.38)(9.38)
брана произвольно из интервала [А, А], то а , A, Mj — надеж-
брана произвольно из интервала [А, А], то а , A, Mj — надеж-
ность того, что погрешность редукции R(M) ^^ или, короче, — надежность редукции R(M) ^^ точностью, определенной параметром А.
ность того, что погрешность редукции R(M) ^^ или, короче, — надежность редукции R(M) ^^ точностью, определенной параметром А.
не превзойдет А,
не превзойдет А,
с гарантированной
с гарантированной
Эти результаты составляют основу диалогового режима интерпретации измерений, аналогичного рассмотренному в заключении §8. Отличие в данном случае состоит в том, что исследователь, высказывая собственную версию, интересуется не тем, насколько она со
Эти результаты составляют основу диалогового режима интерпретации измерений, аналогичного рассмотренному в заключении §8. Отличие в данном случае состоит в том, что исследователь, высказывая собственную версию, интересуется не тем, насколько она со
гласуется с результатом измерения, а тем, позволит ли она уточнить значения параметров исследуемого объекта, с какой надежностью и насколько.
гласуется с результатом измерения, а тем, позволит ли она уточнить значения параметров исследуемого объекта, с какой надежностью и насколько.
9.6. Случай произвольного дополнительного измерения. Рассмотрим в заключение общий случай произвольного дополнительного измерения в (9.5). Для решения задачи проверки гипотезы (9.9*)
построим ортонормированный базис
9.6. Случай произвольного дополнительного измерения. Рассмотрим в заключение общий случай произвольного дополнительного измерения в (9.5). Для решения задачи проверки гипотезы (9.9*)
построим ортонормированный базис
S-V2 Д "
S-V2 Д "
Для этого, исходя из решений уравнения
Я*5"1/2ж = 0,(9.36)
найдем ортонормированные векторы 1)
Для этого, исходя из решений уравнения
Я*5"1/2ж = 0,(9.36)
найдем ортонормированные векторы 1)
(9.37)
(9.37)
где k = dimA/”±(A*S Г2), {ж} — специально выбранный ортогональный базис Af±(A*E-1/2). К ним добавим ортонормированные векто
где k = dimA/”±(A*S Г2), {ж} — специально выбранный ортогональный базис Af±(A*E-1/2). К ним добавим ортонормированные векто
ры
ры
(9.38)
(9.38)
где ж°+1, ..., ж°+р — ортонормированный базис ЛДА*Ё 1//2), р = = dim АДА* ЕД1/), k-Vp = n 2).
Наконец, добавим еще ортонормированную систему векторов
о
V оV о(9.39)(9.39)k-\-p-\-s
V о
V о
(9.39)
(9.39)
о
Д Это векторы, удовлетворяющие уравнению П* ^ J = 0, г = 1,... Д.
где ж^+р+1,..., Ж£+р+5 образуют ортонормированный базис
^А^”1/2) = Я-Щ-^А), s = айпАДТЕ”1/2) =
= dim7^n — dim7^m = п — m.
Рассмотрим векторы (9.37). По условию
Xi = -(А*Е"1/2)-А*Е"1/2^ + ^I9-40)
— общее решение уравнения (9.36), если ж = Зд, г = 1,..., к. Матрицу {о?} определим из условия ортогональности вектора (9.37) векторам (9.39):
Ж х°^ = -((А*^-1/2)-А*^-1/2^, ж0) + at = О,t^k-Vp-VA-^.^k-Vp-Vs^ г = 1,... .к.
Поскольку
е TtCE^A) = дД^Е"1/2), г = 1,...,к,
аУ еАМ*АГ4'2'). t = к + р +. ,к + р + s,
то в (9.40) ctj = 0 для г = 1,..., к, ] = &+р+1,...,А: + р + з. Чтобы система векторов (9.37) была ортонормированной, должны быть выполнены условия
г = 3, г + ),г = 3, г + ),
г = 3, г + ),
г = 3, г + ),
= ((А*Е"1/2)"A*Yrvl2Xi, ^^СТГу12у ^CYTxl2x^ + ЖЖУ (9.41)
Выберем в качестве ад,..., х^ систему ортогональных собственных векторов самосопряженного оператора
Q = S“1/2A(A*S“1A)“1A*S“1/2 .
Е"1/2А(А*Е"1А)-А*Е"1/2ж; = б2Хг, г = 1,... ,кг).(9.42)
Чтобы удовлетворить условиям (9.41), следует положить
||^||2 = (1+ ^?)-1, г = 1,...,к.
Ортонормированные системы (9.38) и (9.39) взаимно ортогональны и ортогональны системе (9.37). Следовательно, ортонормированный
базис 7?,±~ 1 /о т построен.
\\Е_1/2Л7 7
х) Очевидно, JV(Q) =JV(A*IL х^2), поэтому
б- > 0, г = 1,..., к = dim^^S"1/2).
Рассмотрим координаты статистики
Л = (I — ПД ^-1/2^)Л = (I — ПД ^-1/2^)= (/-Щ)= (/-Щ)/ s-v^ А \q + E-1/2z/// s-v^ А \q + E-1/2z//
Л = (I — ПД ^-1/2^)
Л = (I — ПД ^-1/2^)
= (/-Щ)
= (/-Щ)
/ s-v^ А \q + E-1/2z//
/ s-v^ А \q + E-1/2z//
в этом базисе:
т)г = (Жг, S-1/2!/) + (ж,, q + S-1/2?), г = 1,. ..,k,
Рз = ^ЛаЗТ1^^, j = k + 1,... ,k + р,
Pt = (ж°, S“1/2p), t = k+ p+l,...,k+p + s.
Они независимы в совокупности, нормальны, но от q зависит распределение только статистик 771,..., щ+р • С другой стороны, квадратичная форма ||S-1A*E-1/2g]|2, значения которой определяют включения q Е К, и q G И, зависит только от (ЗДо), г = !,...,&. Действительно, вектор A*E-1//2q определяется только составляющей q в Л'^Д*^-'/2). т.е. ортогональной проекцией q на A/^GEE-1/2), равной
^ ^ ЗЦ (^ ^д)/1|^г 11 , г=1
и соответственно
к
HS-^g-v^f = ii^^^ii^ii^s-1!^-1^^ = г=1 к
= ^2(l + 6^^ + 6‘2j)(S"1A*^-1/‘2xi, З-1^-1^^^ i,j=l
к
= ^2 ^гзЧЛГ
ДД ОА) ’ \ ОДД ОА) ’ \ Огде qt = Vq^ib г = 1,..., А:..
ДД О
А) ’ \ О
ДД О
А) ’ \ О
опреопреОтсюда следует, что надежность модели
опре
опре
деляется статистиками 771,..., т)ь+Р , а надежность редукции, основанной на той же модели, — статистиками 771,..., 77^ . Поэтому при определении надежности редукции в нашем распоряжении информации меньше, чем при определении надежности модели. Заметим, что, по-
скольку
ГЦ,---, рк+р ~ M(((g, Ж1),..., (q, жА+р))*, diag (1,..., 1)), то инвариантный тест для проверки гипотезы q = 0 (модель верна) при альтернативе q ф 0 (модель неверна) должен быть основан на статистике т = 772 + ... + т^^р аналогичной (8.3). Если модель верна (неверна), т имеет центральное (нецентральное) %-квадрат распределение с к + р степенями свободы.
Речь, таким образом, идет о задаче проверки гипотезы (9.9)
к
ij=l
по наблюдению статистики £ = (771,..., 77Д* , нормально распреде
ленной согласноленной согласно/1 0 ... О'
ленной согласно
ленной согласно
. Обозначим g ортого. Обозначим g ортогоО 1 О
. Обозначим g ортого
. Обозначим g ортого
\0 0 ... 1
нальную проекцию q на Л^Ч*!! 1//2), тогда И = ^g,(Lg,g) ^ d2}, где L = Е-1/2 AS-2 Л*Е-1/2 , и £ ^JV(g^ I). Рассмотрим кратко вопрос о нижней и верхней надежностях И. Если go ЕН, gi ^ ^, то согласно равенству (4.17) гл. 4 надежность гипотезы д = до при альтернативе 9 = 91 равна
«90,91(0 = ф(-«-90,91 -9о)/||91 -9о||).
Следовательно, для отыскания верхней и нижней надежностей требуется проанализировать функцию
t<(go,gi) =^О’^1 ^°\ до еН, gi ^Н.(9.43)
Очевидно, sup t^o^i) = IK “ ^о|| и достигается при дг - до = 91 W
= р(С - 9oL д> 0. Поэтому
inf sup ^(go,9i) = п >„(9.44)
причем, если £ Е И, то sup достигается на до = С, а в противном случае — на до = По С, где По С — проекция ( на границу И.
Для отыскания По С рассмотрим выпуклую задачу на минимумinf{|K-9o||2|9o, (Е9о,9о) d2}-
Если (ЕС,С) > d2, то ее решение имеет вид до = (XL + /)-1С, где миожитель Лангража А ^ О определяется как корень уравнения (Е(АЕ + + /)-1ф (XL + /)-1Д = d2. Это уравнение однозначно определяет А = Ао > 0, поскольку его левая часть при изменении А от 0 до ею принимает все значения в промежутке О -Е (L^ £) > d2.
Итак, согласно равенствам (9.44) нижняя надежность дается равенствамих
аЮ= ($№ = 1/2, сем,
Чтобы отыскать верхнюю надежность, требуется найти inf ^(^o^i) = p(C^9i) Для функции (9.43). При этом проще доен
всего исходить из поверхностей уровня t^: {дщ t^(go,gi) = = const}, рассмотренных в §3 гл.4. Речь идет о поверхностях
Рис. 5.11. а) £ ЕЛ, до — точка минимума t^(go,gi) , до ЕЛ; sup £Ддо,д1) 91 W достигается на любом gi, лежащем на нормали к границе Л, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^ЛРис. 5.11. а) £ ЕЛ, до — точка минимума t^(go,gi) , до ЕЛ; sup £Ддо,д1) 91 W достигается на любом gi, лежащем на нормали к границе Л, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^Л
Рис. 5.11. а) £ ЕЛ, до — точка минимума t^(go,gi) , до ЕЛ; sup £Ддо,д1) 91 W достигается на любом gi, лежащем на нормали к границе Л, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^Л
Рис. 5.11. а) £ ЕЛ, до — точка минимума t^(go,gi) , до ЕЛ; sup £Ддо,д1) 91 W достигается на любом gi, лежащем на нормали к границе Л, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^Л
Г = ПС - 51|| cosy? + const, где г = Ц51 - 5о||, у? — угол между векторами ( — gi и д^ — до - Если £ ЕЛ, то inf t^(go,gi) достигается доЕК
в ближайшей к ду точке касания границы Л и поверхности ^(go,gi) = const. В этом случае sup р^^д^ достигается, когда 91 W
gi лежит на нормали к границе Л, проходящей через £ Е Л и ближайшую к ( точку поверхности Л. Обозначим последнюю П°£, тогда sup inf t^(go,gi) = —1|^ —П°^||. Чтобы найти П°£ рассмотрим gi^H д^ЕН
задачу на минимум inf {11£ — go 11 |go> (Ego,go) ^ d?Y Ее решение дается равенством до = П°£ = (I — АЕ)-1^, где множитель Лангража А = А0 > 0 — корень уравнения (L(I — АЕ)-Д. (I — АЕ)-Д) = d2, на котором минимально расстояние ||£ — (I — АЕДДЦ.
Пусть теперь С, ^Л. inf ^(go?gi) опять достигается в точке ка- goETL
сания границы Л и поверхности ^(go,gi) = const при минимальном значении const = z(gi, С) • В свою очередь
sup Цд^О = Иту<(ПоС,51) = ПС — По<||,
где предел вычисляется при gi —> С вдоль прямой, соединяющей £ и По С со стороны По С- Отсюда следуют равенства, определяющие верхнюю надежность
«^ = |«^ = |ф(1К-пД||), ф(-1К-:М|), ин.
«^ = |
«^ = |
На рис. 5.11 показаны конфигурации, поясняющие отыскание верхней надежности. Дальнейшие исследования проблемы надежности интерпретации выполнены в работах [64, 66-68]. См. также [46], где дана теоретико-возможностная интерпретация надежности.
Глава 6
Линейная редукция измерений при наличии дополнительной информации
Модель [А, Е], изученная в предыдущей главе, во многих случаях не отражает полностью все, что известно о законе формирования £ и, в частности, о сигнале /. В первом и втором параграфах этой главы будут рассмотрены задачи редукции при наличии дополнительной информации. В остальных параграфах рассмотрены задачи уточнения модели измерительной компоненты ИВ С. В третьем параграфе рассмотрены задача редукции измерения для случайной модели и задачи уточнения последней и показано, что при достаточно полной информации о вероятностных свойствах модели, входных сигналов и шума, обе задачи могут быть решены в рамках единой процедуры статистического оценивания. В четвертом параграфе задачи редукции и уточнения модели рассмотрены при условии, когда вероятностные свойства представленны несколькими моментами. В последнем пятом параграфе рассмотрены задача уточнения параметов модели и связанная с ней задача прогноза измерения.
Редукция схемы измерения случайного вектора. Качество модели
Редукция для модели [A, F^ Е]. Предположим, что кроме операторов А Е (Ет —> Еп\ Е Е (Еп —> Е^ и условия Е v = О относительно схемы измерения
= (1-1)
известно, что / — случайный вектор Ет с заданным математическим ожиданием Е / = 0 и корреляционным оператором F причем /иг/ независимы. Речь идет о модели [A, F^ Е] схемы измерения (1.1) см. [4].. Рассмотрим задачу редукции схемы измерения (1.1)
к видук видуЦ = К/ + Vv,Ц = К/ + Vv,(1-2)(1-2)
к виду
к виду
Ц = К/ + Vv,
Ц = К/ + Vv,
(1-2)
(1-2)
где U Е (Rm ~> ^) и V Е (Rn —> ^) — заданные операторы, первый определяет модель прибора, который требуется исследователю, второй должным образом трансформирует шум. Как обычно, ту можно интерпретировать как искаженный шумом Vv выходной сигнал U f прибора U, на вход которого поступил сигнал /. Аналогичная задача для модели [А, У] рассмотрена в §2 гл. 5, но теперь / — случайный вектор rtm с известными моментами 1-го и 2-го порядков.
В данном случае речь идет о задаче определения преобразования
R =RE (Rn —Rk)
из условия
Е || R С - 7?||2 = tr [(Я А - U)F(R А - [/)* +
+ (Д-УДО -У)*] = mmE |Щ£ - туЦ2, (1.3)
позволяющего считать R £ наиболее точной в среднем квадратичном версией ту в классе всех линейных функций £. Условие минимума (1.3)
R (AFA* + У) = UFA* + КУR (AFA* + У) = UFA* + КУ(1-4)(1-4)
R (AFA* + У) = UFA* + КУ
R (AFA* + У) = UFA* + КУ
(1-4)
(1-4)
разрешимо относительно R при любых операторах U и V. Действи
тельно, еслительно, еслиQ = AFA* + У,Q = AFA* + У,
тельно, если
тельно, если
Q = AFA* + У,
Q = AFA* + У,
тотоR^ = (UFA* + V£)Q~^R^ = (UFA* + V£)Q~^(1.6)(1.6)
то
то
R^ = (UFA* + V£)Q~^
R^ = (UFA* + V£)Q~^
(1.6)
(1.6)
М(<э) сМ^Ч‘\М^ с МД/2).
Эти включения гарантируют разрешимость уравнения (1.4), всякое его решение можно записать в виде [5]
R = (UFA* + V^Q- + Z(I - QQ"\(1.5)
где Z — некоторый оператор. Погрешность Е || R £ — ту||2, очевидно, от Z не зависит, и в дальнейшем будем считать, что Z = 0. Соответственно искомую редукцию измерения (1.1) запишем в виде
Если V = 0, то задача (1.3) превращается в задачу редукции измерения (1.1) к прибору U. Эта задача для U = I рассмотрена в § 5 гл. 1 как задача уточнения / на основе измерения £. Обычно U измеряет параметры объекта, причем до измерения, как известно, наиболее точная версия Uf равна U"E ф = 0, а после измерения1)
Ru^ UFA*Q~£.(1.7)
В данном случае выигрыш в точности редукции определяется оператором S = FA*QAF и равен tr (USU*), поскольку погрешность редукции до измерения определяется оператором F и равна tr (UFU*), а после измерения погрешность определяется оператором F — S и равна соответственно tr (U(F — S)U*). В §7 гл. 3 показано, что при некоторых условиях оператор F — S «оценивает» всю информацию о линейных функциях U f при любом U.
Если в задаче (1.3) положить U = 0, то оператор редукции R (1.6)
превратится в R\ = ТЕб^ . а сигнал
Rv = VW^(1.8)
будет наиболее точной в среднем квадратичном версией шума Vv в (1.2), на фоне которого представлен сигнал (1.7) в выражении для редукции (1.6). Если в (1.8) V = 7. то Еб2( — версия шума v. уточненная на основании наблюдения £. Если до наблюдения самой точной версией шума v следовало считать Е v = 0, и такое предположение сопровождалось ошибкой, равной tr Е, то после наблюдения £ более точной версией шума следует считать EQ-^. Сопутствующая погрешность равна
Е pQ-^ - Ц2 = tr (S - ^Q-^Y
В общем случае редукции (1.6) погрешность дается выражением
5(U, У) = Е || R £ - z?||2 = tr [(Г- R A^FU* + (У- RW*V
которое можно представить в виде
5(ОЛЧ = 1т((иЛЧт(^(1.9)
где
(f-fa*q-af -fa*q-^\n m
-^Q-AF
О качестве модели [A,F, Е]. Если S(U, V) — обозначение погрешности редукции для модели [А, F, Е], то согласно равенству (1.9) для любых операторов U и V
5(U,V) <5(U,V),
если и только если~
Т<Т.(1.11)
Следовательно, оператор Т характеризует качество модели [A, U Е]: чем меньше Т, тем (равномерно) выше качество модели [А, F, Е]. В
частности, из неравенства (1.11) следует, что
F - S = F - FA*Q~AF ^F- FA*Q~AF = F - S, (1.12) и наоборот, неравенство (1.12) означает, что в тех задачах, в которых V = О, 5(U, 0)5(U, 0) для любого U, где
ДВ,0) = tr (U(F - S)U*)
— погрешность редукции к прибору U.
На самом деле неравенства (1.11) и (1.12) эквивалентны. Чтобы показать это, заметим, что
A(F - FA*Q”AF)A* = EQ" AFA* = Е - EQ"E, поскольку1)
QQ”AFA* = AFA*,QQ"E = E.
Теперь нетрудно проверить, что для любых операторов U и V
tr ^Т)^^^ =u((U- VAyF-SyU -VAy\ (1.13)
Отсюда и следует эквивалентность неравенств (1.11) и (1.12)
Возвращаясь к сравнению моделей, условимся говорить, что если выполнено неравенство (1.12), то модель [Л, F, Е] равномерно не хуже, чем модель [A, F, Е], и писать [A, F, Е] -< [А, F, Е]. Эта запись будет означать также, что модель [A, F, Е] не лучше, чем [A, F, Е]. Если F — S = F — S, то модели [A, F, Е] и [A, F, Е] естественно считать эквивалентными. В этом случае будем писать [A, F, Е] ~ [A, F, Е]. Следующая лемма содержит дополнительные разъяснения, касающиеся свойств сравнения моделей.
Лемма 1.1.1) Для любого линейного оператора В модель
\ВA, F, ВЕВ*] схемы измерения £ = В£ = ВAf + Bv не лучше, чем [A, F, Е]. Иначе говоря, любое линейное преобразование измерения £ (1.1) не может улучшить его модель.
Если В — оператор редукции в (1.7) при U = I, V = 0. то [В A, F,B^B*] ~ [А, В, Е], т.е. редукция к у = ф не ухудшает модели.
Доказательство. 1) Это утверждение следует из неравенства
Е || В € - 7?||2 = inf Е ||Д£ - /?||2 inf Е\\Н'В^ - туН2,
выполненного в силу того, что inf справа вычисляется не по всем В, а лишь то таким, которые можно представить в виде К*В.
х) Оператор QQ — ортогональный проектор на B(Q), B(Q)D db(afa*), Вдэад.
Если В = FA*Q (см. (1.7)), то речь идет об эквивалентности двух моделей
[A, F, Е] и [A, F, Е] = \FA*Q”A, F, FA*Q~^(FA*Q~)*].
Для последней модели выполнено равенство F — FA*QAF = F— —FA*QAF. поскольку
Q = АЕА* + Е = FA*Q-AFA*Q-AFFFA*Q-^Q”AF = FA*Q~AF
Если Ry £ (1-7) интерпретировать как выходной сигнал ИВ С [А,Е, Е,£7], наиболее точно имитирующей измерительный прибор U
согласно схеме измерения Ry ( = UFA* Q- (Af F v), то качество ИВ С как прибора U следует охарактеризовать величиной погрешности
MU') = Е II Ни С - иf\\2 = tr (U(F - S)U*).(1.14)
Но возможности ИВС [A, F, Е, Ц"\ как измерительного прибора удобно представлять, не фиксируя прибор U, а рассматривая его как аргумент h(-) (1.14), который в данном случае может быть любым оператором. Согласно такой точке зрения ИВС [A, F, E,L7] как измерительный прибор определяется как пара функций оператора U,
а именно, как выходной сигнал Ry £ и с.к. погрешность редукции h(U) (1.14), заданные на множестве всех приборов U, и все сказанное выше о сравнении моделей целиком относится и к сравнению соответствующих ИВС. Если интерес представляет синтез приборов только из множества Р, то, следуя определению 2.1 гл. 5 будем говорить, что на Р ИВС [A, F, Е] не хуже, чем ИВС [А, F, Е], и писать [А,Е,Е][A, F, Е], если ^h^Y UeD.
3. Сравнение модели [A, F, Е] с моделью [А, Е]. Пусть F и Е — невырожденные операторы. Тогда
F — S = (Л^-М + Г"1)"1,
откуда немедленно следует, что
§х, 0) = tr (ДА*Е-1А + F-1)"1^*) ^ tr Д(А*Е-1 А)~и*) (1.16)
для любого U, удовлетворяющего условию Г(/ — А-А) = 0, необходимому и достаточному для разрешимости задачи несмещенной редукции к прибору U для модели [А, Е]. Неравенство (1.16) свидетельствует, что наличие априорной информации о / не может увеличить погрешность редукции1).
Эту априорную информацию формально можно представить как результат дополнительного измерения /. Действительно, если считать, что измерение (1.1) контролируется моделью [А, Е], но имеется
х) Справа в (1.16) погрешность несмещенной редукции к прибору U для модели [А, Е], см. гл. 5.
дополнительное независимое измерение ^ = / + ^ = 0, где Е = F,дополнительное независимое измерение ^ = / + ^ = 0, где Е = F,то фактически речь идет о моделито фактически речь идет о моделив §2 и §5 гл. 5, для этой модели несмещеннаяв §2 и §5 гл. 5, для этой модели несмещеннаяОАF)ОАF). Как показано. Как показаноредукция измеренияредукция измеренияKT] = Uf + Vv = Uf + (V,0U~\ (1-2)KT] = Uf + Vv = Uf + (V,0U~\ (1-2)имеет видимеет вид
дополнительное независимое измерение ^ = / + ^ = 0, где Е = F,
дополнительное независимое измерение ^ = / + ^ = 0, где Е = F,
то фактически речь идет о модели
то фактически речь идет о модели
в §2 и §5 гл. 5, для этой модели несмещенная
в §2 и §5 гл. 5, для этой модели несмещенная
ОА
F)
ОА
F)
. Как показано
. Как показано
редукция измерения
редукция измерения
KT] = Uf + Vv = Uf + (V,0U~\ (1-2)
KT] = Uf + Vv = Uf + (V,0U~\ (1-2)
имеет вид
имеет вид
Дф = ДОШу-ТДДДД) °) (Д) х x^j Д д Д-j = [у+д-уа)(а*е-1а+^-1)-1а*е-1]^ = = (UFA* + V^(AFA* + Е)“Д
что совпадает с выражением (1.6). Соответственно энергия сопутствующего шума согласно выражению (2.8) гл. 5 равна
tr (([/ - КАДА^^А + F"1)"1^ - YA)*)
и совпадает с погрешностью редукции для модели [A, У Е], данной в равенстве (1.13) (см. также §3 гл. 1).
Для того чтобы проследить «обратный» переход к модели [А, Е], положим F = ш-11 и рассмотрим выражения (1.5) и (1.10) при ш —> 0, т.е. в случае исчезающей априорной информации о /. Для простоты считаем, что Е — невырожденный оператор. Тогда для «матричных элементов» Т (1.10) при ио —> +0 найдем
Т22 = Е — SQ”^ -> Е1/2[Е-1/2А(Е"1/2А)-]Е1/2,
ТЬ = -(А*^"^ + шЦ^А* -> (Е^ЩЕ!/2,(1Л7)
Тп = F - S = u-^I - А"А) + ^Е^Ы)"^ + w^E-M)-)-1
и для U € Цади для U € ЦадUTu -A U^^A)-.UTu -A U^^A)-.
и для U € Цад
и для U € Цад
UTu -A U^^A)-.
UTu -A U^^A)-.
Кроме того, при ио —> 0
R= (u^UA* + УЕ)(АА*ш-1 + Е)"1 -> ДЕ-^ЦГЕ-ГЧ
+ УЕх/2(1 - ^^AV^^Ay^-1^, и тем самым получены выражения, совпадающие с найденными в §2 гл. 5 для модели [А, Е]. Более того, если для любого U Е F^ ^ S(U, 0) ^ S(U, 0), то при условии, что F = F = со-1 У согласно выражению (1.17) для Тц
A~A[oo-yi - А”А) + (A*E-XA)-(Z + ^(А^"1 А)")"1]!"А <
< (А*Е-хА)-(/ ^ЦАЧГ1!)-)"1,
откуда при си —> +0 следует, что
А"АА"АА"А = А" А,
А~ A(A*YI~1A')~ А~ А < (Л*^1!)".
Иначе говоря, если Т ^Т, то, как следствие, [Л, Е] -< [А, Е].
Более общий случай равномерно «исчезающей» априорной информации рассмотрен в § 5 гл. 1.
4. Редукция для модели [Л, /о, F, Е]. В более общем случае, когда Е / = /о , будем говорить, что задана модель [Л, /о, F, ^] схемы измерения (1Л)1). Результаты, полученные для модели [Л, F^ Е], без труда распространяются на этот случай, если представить дело так, что измеряется
^о = ^ - Л/о = Л(/ - /о) + v
согласно модели [Л, F. Е], и речь идет о редукции измерения (о к
По = и и - /о) + VV.
Можно, конечно, исходить из измерения (1.1) и определить редукцию измерения £ к ц (1-2) в виде R £+ г, где оператор R и вектор т подчинены условию
Е II R е+ г -//II2 = inf Е |Ще + г - //II2 = inf[E ||Щ4 - U^J - /о)||2+ R^rR,r
+ II(ЯЛ - иу0 + гII2 + Е\\Ru - V<], В любом случае будет получен один и тот же результат, а именно
к е+ г=д (е - м) + г/о,
где оператор R такой же, как в равенстве1) (1.6), а т= Ufo— R Ajp. В частности, если V = 0, то речь идет о задаче редукции £ к прибору U и ее решение дается выражением
Ru €+ ru= U[FA*(AFA* + ЕГД - A/o) + /о].(1-18)
Здесь, как мы видим, оператор Ru — тот же, что и в равенстве1) (1.7), а ти= U/о- Ru Af0. Вектор
f = FA4AFA* + ^F4e-AfoHJo(1-19)
является наилучшей в среднем квадратичном линейной оценкой /. Понятно, что все сказанное о модели [Л, F, Е] практически без изменений может быть повторено и для модели [Л, /о, F, Е].
х) Оператор F в этом случае определяется так: для любого х 6 R^ Fx = = Е (/ — /о)(ж, / — /о), т.е. F является ковариационным оператором /.
§ 2. Эффект дополнительного измерения. Рекуррентная редукция
Начнем с анализа эффекта дополнительного измерения в случае модели [А, /о? ^ Ч 1 для простоты предположив вначале, что операторы F и Е невырожденные. При таком предположении формула (1.18) редукции к прибору U может быть записана в виде
гдегдеRu €+ ru= W ~ М) + /о) = UL(2.1)
где
где
R = М^А*^"1, М = А*^~1А + F-1,(2.2)
/ = Ж - М) + /о(2-3)
— наилучшая в среднем квадратичном оценка / по измерению £, а
Л"1 =Е (/-/)(/-/)*Л"1 =Е (/-/)(/-/)*(2-4)(2-4)
Л"1 =Е (/-/)(/-/)*
Л"1 =Е (/-/)(/-/)*
(2-4)
(2-4)
согласно модели [А,/о, Г S], причем векторы р и р будем считать некоррелированными1). Объединяя измерения (1.1) и (2.5) и испольсогласно модели [А,/о, Г S], причем векторы р и р будем считать некоррелированными1). Объединяя измерения (1.1) и (2.5) и используя модельзуя модельА\АА\АJo,F,Jo,F,Т ОТ Оприбору U найдем выражениеприбору U найдем выражение0\А0\А, для редукции измерения, для редукции измеренияR12 ^~) + Г12— UR12 ^~) + Г12— UVMV Д-1А\ Д^1 ОаД о е-1VMV Д-1А\ Д^1 ОаД о е-10 А ДД^-У"1^)Va))\(t-FA + fA_J Д-A/oJ +/°J ”0 А ДД^-У"1^)Va))\(t-FA + fA_J Д-A/oJ +/°J ”
согласно модели [А,/о, Г S], причем векторы р и р будем считать некоррелированными1). Объединяя измерения (1.1) и (2.5) и исполь
согласно модели [А,/о, Г S], причем векторы р и р будем считать некоррелированными1). Объединяя измерения (1.1) и (2.5) и исполь
зуя модель
зуя модель
А\
А
А\
А
Jo,F,
Jo,F,
Т О
Т О
прибору U найдем выражение
прибору U найдем выражение
0\
А
0\
А
, для редукции измерения
, для редукции измерения
R12 ^~) + Г12— U
R12 ^~) + Г12— U
VMV Д-1
А\ Д^1 О
аД о е-1
VMV Д-1
А\ Д^1 О
аД о е-1
0 А ДД^-У"1
^)Va))
\(t-FA + fA_
J Д-A/oJ +/°J ”
0 А ДД^-У"1
^)Va))
\(t-FA + fA_
J Д-A/oJ +/°J ”
— корреляционный оператор невязки оценивания ф — ф (см. §5 гл.1). Пусть кроме измерения (1.1) выполнено еще одно измерение
(2-5)(2-5)= Аф + Г
(2-5)
(2-5)
“4 + А^^Ан-гД 1
+ A*S"1(^-A/o))+/о , (2-6)
Е Д (|)+Д -UfЕ Д (|)+Д -Ufаналогичное (2.1). Этой редукции сопутствует погрешность 2_ _ _
Е Д (|)+Д -Uf
Е Д (|)+Д -Uf
= tr (U^^A + АЧ^А + F-^U*),
не превосходящая как погрешности (1.16), так и погрешности tr (1ЦА*У^ A + F~V)~4J*) редукции измерения £ к прибору U.
Д Далее это условие будем формулировать короче, говоря, что измерения (2.5) и (1.1) некоррелированны или независимы (при фиксированном фф
Нетрудно видеть, что на самом деле
(~Ъ0,гП; -)] 4vaj0,f,^/XиJ
■ / д\/у П \~~
к ИМ 0 5, ^VAJo,F,^. уму у и ту
Пусть измерение (2.5) имеет вид
X=^aJHv.(2.7)
Тогда в равенстве (2.6) оператор )
(А^-М + г™1 + A-ir1!)"1 = ,М-1аа*М-1
= (М + аст»*)1 = М"1 - ——„^(2.8)
v'оЧа’М-Ч v '
где
S = M А/ = a* f =М = А^^А + Г"1
и соответственно
^12^12рр+ П2 =+ П2 =
^12
^12
р
р
+ П2 =
+ П2 =
" / М-Хаа* М-1 \~'
= и м-1-(а^-д-аш^-м-д/о))+/о
\<т2 + а*М ха/
= и [ж - А/о) + /о + М-^ ^Д^^У + /о о2 + а*М ха
= U f + M= U f + Mст2 + а*М-1аст2 + а*М-1а(2-9)(2-9)
= U f + M
= U f + M
ст2 + а*М-1а
ст2 + а*М-1а
(2-9)
(2-9)
в обозначениях (2.2), (2.3). Поскольку £ — (а, ф) = £ — (а, /) — (а, / — /), то согласно равенствам (2.4) и (2.7)
а2 + а*М^а = Е (|- (5, /))2.
Следовательно, дополнительное измерение ^ (2.7) приводит к следующему пересчету наилучшей в среднем квадратичном оценки
/^/ + Е [(/-/)(«,/-/)] е (а2^ =Л (2.10)LjE(e-(a,/))2
и к соответствующему пересчету редукции Иф измерения £ к редукции U ф* измерения ^^ . Согласно равенству (2.8) после пересчета корреляционный оператор «уточненной невязки» ф* — ф равен
М-^М"152 + а*М-1а’М-^М"152 + а*М-1а’
М-^М"1
52 + а*М-1а’
М-^М"1
52 + а*М-1а’
и погрешность редукции
tr (.UM^U*)tr (.UM^U*)a*M-1U*UM"1aо2 + а*М-1аa*M-1U*UM"1aо2 + а*М-1а
tr (.UM^U*)
tr (.UM^U*)
a*M-1U*UM"1aо2 + а*М-1а
a*M-1U*UM"1aо2 + а*М-1а
уменьшается на
по сравнению с ее первоначальным значением (1.16).
Пусть а = (0 ... 01 0 ... 0)* и иф = (а, ф), где а = 0 ... 010 ... 0), т.е.
пусть дополнительно измерена г-я координата ф и рассматривается редукция измерения ^^ к значению j -й координаты ф. Речь идет об уточнении наилучшей в среднем квадратичном оценки значения j-й координаты ф после дополнительного измерения г-й координаты. Согласно формулам (2.9) и (2.10) уточненное значение j -й координаты дается оценкой~
где фз — наилучшая в среднем квадратичном оценка значения j-й координаты /, основанная на измерении £ (2.1),
(М"1^ = (а^М^а)
— матричный элемент М-1, i.j = l,...,m; второе слагаемое в выражении (2.11) описывает уточнение оценки, последовавшее в связи с дополнительным измерением г-й координаты. В итоге погрешность
оценки равна
hjt — (М )jj
и если ст = 0, то
(2-12)(2-12)(М 1)jj hjj _ (М ^^(М ^tj _ (Мhjj
(2-12)
(2-12)
Поскольку (M_1)jj — погрешность оценки J-й координаты /, основанной на измерении £ (1-1), равенства (2.12) означают, что точное измерение г -й координаты ф вызывает относительное уточнение оценки у -й координаты ф, равное относительному уточнению оценки г -й координаты ф после точного измерения j -й координаты.
Этот принцип взаимности отмечен в §5 гл. 5 в связи с дополнительными измерениями в случае модели [ЛД], и в общем случае получен в гл. 1 (см. теоремы взаимности (3.12) и (5.5) в гл. 1).
Эти результаты можно получить и в более общем случае, не предполагая, что оператор F невырожден ). Для этого будем исходить из формулы для редукции (1.18), записанной для модели Г А\ f F(^ 0\
\А) ’\0 У ’
О У)) V-AJo)О У)) V-AJo)(2-13)(2-13)
О У)) V-AJo)
О У)) V-AJo)
(2-13)
(2-13)
Предположим, что, как в (1.18), Q = AFA* + Е — невырожденный оператор, а £ дается равенством (2.7). Тогда
(Af(А*4- А А = (Q А
\а) \а) У О У) \Р* q) ’
где q = a* Fa + 5, р = AFa, р* = a* FА* и соответственно
(Q pV1 _ (Q"1 ~ d"1Q"1p(Q"1p)* -d^Q^pX , ..
Щ q) Д -d"1p*Q"1d"1) •^’14J
Здесь 2)
d = S2 + a* Fa - p*Q-1p = 52 + a*(F - FA*Q-1AF)a.
Теперь, если воспользуемся равенством (2.13), (2.14), то найдем
Н (|) + r= UН (|) + r= UFA*Q"4£ - AFoH /о+FA*Q"4£ - AFoH /о++ (F - FA4tW-№(^+ (F - FA4tW-№(^(2-15)(2-15)
Н (|) + r= U
Н (|) + r= U
FA*Q"4£ - AFoH /о+
FA*Q"4£ - AFoH /о+
+ (F - FA4tW-№(^
+ (F - FA4tW-№(^
(2-15)
(2-15)
Это выражение точно соответствует выражению (2.9), поскольку, если не предполагать невырожденность F, то в выражении (2.15) FA*Q-1(£, — А /о) + /о = / — наилучшая в среднем квадратичном оценка /, основанная на измерении Д и F± = F — FA*Q-1AF — корреляционный оператор невязки ф — ф. Следовательно, в квадратных
скобках в (2.15) — уточненная оценка f.
*1 a^Fa^F^a
а корреляционный оператор «уточненной невязки» f* — /, как нетрудно проверить, равен
11 ст2 + a* F^a
Соответственно погрешность редукции (2.15)
нанаtr №.и*) = tr ажи*) - ^FF§jF
на
на
а*^1Г1Жа
меньше, чем погрешность tr (UFiU*) редукции (1.18), основанной на измерении £ (1.1).
Эти результаты аналогичны полученным в связи с дополнительными измерениями для модели [А, Е] в §5 гл. 5, а также результатам, полученным в §3, 5 гл. 1. Их можно сформулировать безотносительно к моделям следующим образом. Пусть /о — оценка /, такая, что Е (Л - /) = 0 и Е (Д - f)Yfo - f)*~ = Fo, причем неважно, из каких соображений получена оценка /о • Если проведено независимое измерение
£1 = («!,/) + Epi = 0, Ei/i = erf,
то уточненная оценка
Л =/о + ^оа1%-^Дcf + aJFoai
и корреляционный оператор невязки /1 — /
Ч = Е (Л - mfi -fr=F0- ^а^
образуют тот материал, который позволит уточнить Д, если проведено еще одно независимое измерение
(2-16)(2-16)£2 = (^2, /) + ^2, Е z/2 = О, Е v^ = а^.
(2-16)
(2-16)
Действительно, с учетом измерения (2.16)
Ь = Л + ^1а2|Дд^Д^’<72 + Щ/Д Щ
F _ Г Р-^а^^а^)*
Г2 — гу^——— .
<72 + a^F^a^
Теперь мы готовы сформулировать алгоритм рекуррентной редукции для модели [Л,/о^Д]. Для этого запишем схему измерения (1.1) в
видевиде(2-17)(2-17)
виде
виде
(2-17)
(2-17)
где1) А/ =... I , S = diag (а^,..., оД. Тогда оценка /, осно
ванная на измерении £i = (ai, /) + щ, определится равенством (1.19)
и соответственнои соответственно/1 — /о + Fcii/1 — /о + Fcii6 - (Qi До) al + a^Fai6 - (Qi До) al + a^FaiFa^FaiV а^ + a^FaiFa^FaiV а^ + a^Fai
и соответственно
и соответственно
/1 — /о + Fcii
/1 — /о + Fcii
6 - (Qi До) al + a^Fai
6 - (Qi До) al + a^Fai
Fa^FaiV а^ + a^Fai
Fa^FaiV а^ + a^Fai
Добавим еще одно измерение из (2.17) (2 = (^Д) + ^2- Это даст уточненную оценку
и для нееи для нее? _ ? _ Д^Дб^Д^ДД)а^ + a^Fi 02
и для нее
и для нее
FXo^fF^^а^ + o^Fi 02
Следовательно, алгоритм рекуррентной редукции можно задать равенствами
л л , Fi-ipy^ (щ, Д_i))
Ji1 Iо I * т-!i
al + a*Fi_iOi
Fi-ia^Fi-iaiY
— ^i-1,
al + a^Fi-iOt
г = l,2,...,n, /o = /o, F0=F,
задающими последовательность оценок /о Дь • • • Дп и сопутствующих корреляционных операторов То , Fi,..., Fn, и последовательностью U фо, Ufi,... ,Uфп, образующей то, что называется рекурентной редукцией. Слагаемое
U Fi—1 PiU Fi—1 PiCi ^i, Фi—У^i "1" eiiFi—iOi
U Fi—1 Pi
U Fi—1 Pi
показывает, как эволюционирует редукция в связи с г-м измерением, соответственно значение
UFj-ipyUFj-iPiY^i "1" eiiFi—iPiUFj-ipyUFj-iPiY^i "1" eiiFi—iPip*Fi iU*UFi iPi^i "1" ^i Fi—iClip*Fi iU*UFi iPi^i "1" ^i Fi—iCli(2.18)(2.18)
UFj-ipyUFj-iPiY^i "1" eiiFi—iPi
UFj-ipyUFj-iPiY^i "1" eiiFi—iPi
p*Fi iU*UFi iPi^i "1" ^i Fi—iCli
p*Fi iU*UFi iPi^i "1" ^i Fi—iCli
(2.18)
(2.18)
x) Если A — матрица, векторы а*, г = 1,...,п, можно представлять себе как ее строки.
показывает, насколько при этом уменьшается погрешность редукции, г = 1,2,...,п, см. [63, 64, 70, 83].
§ 3. Методы редукции для случайных моделей
Рассмотрим модель схемы измерения
£ = AJ + v,(3.1)
в которой А, / и v — независимые случайные элементы с известными распределениями. Для определенности предположим, что распределение А дискретно, причем Р(А = Аа) = Рд(Аа) = Ра, at = 1,2,..., а / G Рт и v G Рп распределены соответственно с плотностями Pf(-) И РрВ-
Как правило, речь будет идти о случайной модели схемы измерения (3.1), согласно которой с вероятностью Ра
^ = Aaf^v, с = 1,2,...,(3.2)
где / и v контролируется распределениями с плотностями Pf(-) и Pv(-), а измерение (3.1) выполняется одним из способов (3.2), фиксированным в процессе измерения. Можно сказать, что прибор А в (3.1), на котором будет выполнено измерение «разыгрывается» заранее, и если «выпадает» А = Аа , то измерение выполняется на приборе Аа. Типичный пример такой случайной модели доставляет обычная практика измерений на различных приборах одного назначения, характеристики которых имеют естественный разброс, обусловленный особенностями производства и другими случайными факторами.
Если прибор А может меняться в процессе измерения, как, например, в схеме
/6\фАа1ф\/vA
е= ... =...+ ...(3.3)
\^k /\Aakf/\Pk /
измерения одной и той же реализации / на случайно выбранных приборах Ааг,..., Аак, то можно говорить о нестабильном приборе, мультипликативном шуме или несколько раз повторенных измерениях (3.2). Формально схема измерения (3.3) и соответствующая модель могут быть получены путем объединения нескольких измерений /, выполненных по схеме (3.2).
Рассмотрим задачу редукции измерения £ (3.1) к виду Пф (где U — заданный оператор), в которой требуется найти преобразование R, минимизирующее погрешность редукции:
Е Ж - ^/Н2 = пАпЕЖ - ^/Н2.(3.4)
Здесь Е — символ математического ожидания по совместному распределению А, ф и v. В отличие от рассмотренных ранее задач редукции в данном случае априори неизвестно, на каком приборе получено измерение £, известно лишь, что с вероятностью Ра £ может быть результатом измерения ф на Аа1 а = 1,2,...
Поскольку (см. §6 гл. 3) наилучшим в среднем квадратичном приближением U f в классе всех функций измерения £ является условное математическое ожидание Е (?7/|£), то минимум по R* в (3.4) достигается при Rp = Е (£7/|£). Для того чтобы получить выражение для R. заметим, что
Е (t7/|C = ж) = j Uypf^(y\x)dy =
= '£,E(U^ = x,A = A^Pa^Aq\x^ (3.5) а=1
ГДеоо
= 52Р/|4,л(у|ж,Аа)С4|$Ма|ж)
— плотность, условного распределения / при условии £ = ж. Соответственно Ру|^д(^/|ж, Аа) — плотность условного распределения / при условии £ = ж, А = Аа; Рд^(Аа|ж) — условное распределение А при условии £ = ж 6 ЯП1 л = 1. 2,... Для случая схемы (3.2)
P^AJ(ж> Аа,у)= рЦх - АсУ^РаР^у),р^,л(ж,Ла)= J" PCA,f(x,Aa,y)dy,
Р$(ж) = 52 / Ри,/М«,у№, а = 1,2,..., X етги, у еРт.
Для интерпретации выражения (3.5) обратимся к понятию надежности модели, контролирующей измерение £ в (3.1), где, как было сказано, прибор А выбирается случайно, а затем измерение проводится на выбранном приборе, например на Аа. Обозначим соответствующую модель Ма. Назовем надежностью модели Ма в задаче выбора модели в схеме (3.2) вероятность ошибочно отвергнуть Ма в пользу какой-либо из альтернативных моделей М^Р ^ а. В нашем случае априорная (до измерения) надежность Ма равна Ра а апостериорная (после измерения) при £ = ж равна Д4|^(Ла|ж), ибо с этой вероятностью мы будем ошибаться, отвергая модель Ма, если измерение дало £ = я.
Согласно равенству (3.5) Е (L7/|£ = ж) есть взвешенное среднее Е(Г< = ж, А = А^ (условного среднего Uf при £ = ж и Л = = Аа) с весом Рд^(Ла|ж), равным надежности Ма1 а = 1,2,..., при условии, что измерено £ = ж.
Если для некоторого а надежность Рд^(Ла|ж) « 1, то
Е([//|£ = ж)«Е([//|£ = ж, А = Аа).
В этом случае для приближенного вычисления редукции можно
действовать так, как будто модель схемы измерения (3.1) фиксирована на наиболее надежном значении (если последнее близко к единице). Этот результат важен в случае измерения многих объектов на одном приборе. Рассмотрим схему измерения
^=Ah^uP j = V--,s,(3.6)
з объектов на выбранном случайно, но в дальнейшем фиксированном приборе А. Обозначим Maj модель схемы измерения (3.6) при А = = Аа , в которой fj , uj — независимые случайные элементы с плотностями Pf(y), у Е Пт1 Pv5^\ z Е Т^п, и более того, независимые при различных j = 1, 2,..., s. Редукция измерения ^=(^1,.-.,^)* к прибору Uj, измеряющему ф^ вполне аналогично (3.5) записывается в виде
UjyjPf^^W^A^dljPA^Aa^ =
= £ Е yjjf^ = $j, А = Аа)РА^Аа\хУ (3.7)
где на сей раз у = (уь .. .,уУ* е (РтУ, х = (жь ... ,xsy е (РпУ, f = ЦУ---ЛУ* £(РтУ, ТУзУз.
Обратим внимание на то, что в этом выражении условное математическое ожидание Е (Ujfj\^j = х^ А = Аа) определяется значением только измерения ^ = Xj , а условное распределение Р4|^(Ла|ж) определяется значениями всех измерений
П / dyjPvi k$j - АаУУРдЦУУр-^ (Уу
С4|^(Аа|ж) = — -
Е П / dyiPvt (Xi - АруУРа^АУр^ (уУ /3=1 г=1
а = 1, 2,...
При достаточно общих предположениях относительно моделей Ma j . а = 1,2,..., j = l,...,s, можно показать, что при s —> ею Р4|^(Аа|ж) —> 5аз, а = 1,2,..., если измерения контролируются моделями M^j (т.е. если ^ = A^fj + v^ 3 = 1, 2,..., s.
Остановимся подробнее на важном частном случае, когда распределения /^ и v5 гауссовы: р^(уЗ = п(у,|у0,; Щ, pVj Д ) = = n(^|0; "^У, j = 1,2,..., s, (после вертикальной черточки записаны математическое ожидание и ковариационный оператор распределе-
ния). В таком случае
П f dyjn(xj - Асу^О-^Цу^уоз^Г^Ра
РжЦЦх) ==
Е П f dytn^xt - АруфО^фЦу^уог, РфРр /3=1 г=1
П n(x\AQyOj;AQFjA^ + ^фРа
= ^Г, (3-8)
Е п п(х\Азу01; ApFiA*» + ^фРр
/3=1 г=1
и если Uj — линейный оператор , то
Е (UM = x,A = AQ) = U^AUAJ^P
+ ТД (ж Aayoj^ + Ujyojj (3.9) причем условное распределение Ujfj при условии £ = ж, А = Аа, — нормальное
K^jFjA^FjA^ + уу\х - Аау^ + Udyoj;
y-yAyA^Al + y^A^).
Пусть в схеме измерения (3.6) А = А7. Тогда в (3.8)
Ра^А^ = ^^=(ЗЛО)
52 ехр(Е У7ЧР352 (Ср^Рз
3=13=13=1
где
C«7j = ~2^аз ^у^з v3 — Aay^dY A7fj + Vj — Aayoj)-\-
т 9(^77 (Ayfj + Vj — H77/0j)? A7 fj + Vj — H77/0j) +
+ I In det(D^p-j),
C«7 = Tv= AciPjAq + Sj.
Далее будут использованы некоторые свойства статистик y7j , а^ = = 1,2,..., у = 1,..., s, для описания которых обозначим
Q^j = d3^D^d33 ф^з = D^^A^J, - yOj) + рф ~Я(0,1),^ayj = Pyj / (^7 A^yoj^
так что
Cayj —2 [(^a7j(^7J^'jj^ А 43^<A^j) ОФ^Л A^j} In det Qa^j"\ •
Поскольку для любых самосопряженных операторов Q.T и нормального случайного вектора ту ~ W(0, I)
Е ^Qn. ту) = tr Q, Е ^Qn. l)(Tip т) = (QI, Тт\
Е ^ЛЛКТЛ1!) = 2tr (QT) -VtrQtrT,
то
E^ = ^£>(/-^мпаещн|$у2^(ЗЛ1)
= E (Д>)2 - (E 4Д2 = | £[tr (I - Qjf + 2||Qa7jZa7j||2].
В силу центральной предельной теоремы при s —> ею
е ^/2^ = Ф(ж)е ^/2^ = Ф(ж)А8^ _ f А8^
е ^/2^ = Ф(ж)
е ^/2^ = Ф(ж)
S«74^7
ДСДД2
равномерно по ж, — сю < ж < сю. Поэтому для любого 2> О
Г(ехр ($ < z) - ФГ(ехр ($ < z) - ФIn Z - Е ^7 \ЛААг7" /In Z - Е ^7 \ЛААг7" /-> О-> Опри s —> сю, и еслипри s —> сю, и если-Е С^йА^-Е С^йА^(3-12)(3.13)(3-12)(3.13)
Г(ехр ($ < z) - Ф
Г(ехр ($ < z) - Ф
In Z - Е ^7 \
ЛААг7" /
In Z - Е ^7 \
ЛААг7" /
-> О
-> О
при s —> сю, и если
при s —> сю, и если
-Е С^йА^
-Е С^йА^
(3-12)
(3.13)
(3-12)
(3.13)
то согласно (3.12), Р(ехр^7 < z) —У 1 и, как следствие, в (3.10)
(3-14)(3-14)
(3-14)
(3-14)
Если эта сходимость равномерна по а^ т.е. если sup |Рл|7ЛаК) - ^1 ^ °, то из выражения (3.7) следует, 1^а<оо что при s —> сю
Е(ЦЛ^)4е(РД ^, А = Аа) =
= о,цаца7ца; + Д)-1^ - A7W) + Ц-w- (з.15)
Возвращаясь к условию (3.13), заметим прежде всего , что для любого А > 0 In А < А — 1, а если сверх того |А — 1| > е, то In А < А — 1 — 5, 5 = 5(e) > 0. Отсюда следует, что если при а А А
(3.16)(3.16)0 < а < ||Qa7J- - 1\\ < Ь,
(3.16)
(3.16)
то
7=1= н- 00(3.17)
2 52 (n«2 + 2||Qa7j||/ija7)
при s —> сю. Здесь pj^ = |Ю^7^^а7||, п = rank! в (3.11), причем сходимость в (3.17) равномерна относительно сц ибо в силу (3.16) нормы ||Qa7j|| ограничены в совокупности.
Для доказательства введем спектр {А^} самосопряженного оператора Q. Пусть го = arg max |А^ — 1|. Тогда
tr (Q - I) - In det Q = ^[(A(i) - 1) - In Aw] ^ (A(io) - 1) - In A(io) 5, 7=1
так как по условию (3.16)
О < а |A(io) - 1| ^ Ь.
Кроме того, при получении неравенства (3.17) использованы соотношения,
Н9ЛН2 iiq^iWAii2 = наднзАн2,tr (Qj - J)2 < n||Qj - 7||2 ^ no?
(индексы a,7 в обозначениях Qj,lj, для краткости опущены).
Подведем итоги. Главный результат состоит в том, что для получения редукции к прибору Uj не следует ограничиваться только измерением £j. Хотя остальные измерения формально не имеют отношения к сигналу Ujfj, тем не менее они служат источником информации о приборе А = Аа, на котором фактически выполняются все измерения. Можно сказать, что схема измерений (3.6) совмещает измерения сигналов Д,..., /5 с тестированием прибора А, причем тестирующими являются как раз те же измеряемые сигналы Д,..., /5. Важно также, что при s —> ею такое тестирование позволяет точно определить прибор, на котором выполняются измерения, хотя тестирующие сигналы даже после измерений остаются в известном смысле неопределенными (см. (3.14), (3.15)).
§ 4. Редукция измерения и тестирование при ограниченной информации о случайной модели
Вначале остановимся на задачах редукции, в которых информация о случайной модели ограничена моментами первого и второго порядков. Пусть заданы математические ожидания /о = Е /, Ло = = Е Л, 0 = Eza ковариационные операторы Х^ = X, Ху = F, а также корреляционные операторы Т- = Е/(•,/) = F • +/о(з/о)
и J = Е (А — А0)Т(А — Ло)* случайных векторов / и (А — А0)ф соответственно. Переписав схему измерения £ = Аф + v (1.1) в виде
£о = £ ~ Ло/о = Ло(/ - /о) + ^, v = (А - А0)ф + V, найдем, что решение задачи редукции к прибору U
Е ||% - UU - /о)||2 = шшЕ |% - UU - /о)||2 дается равенством
R0 = UFA*(A0FA* + ^-\
где Е = Е + J, редукция равна
Мо + Г/о(4.1)
и ей сопутствует погрешность
Е ||% + Г/о - Г/||2 = tr ^U^F - FA*(A0FA* + ЕЦМоГД*).
В конечном счете дело обстоит так, что £ интерпретируется как измерение на приборе Ло = ЕЛ, а сигнал (Л — Ло)/ играет роль дополнительного шума измерения.
В ряде случаев, когда Ло оказывается слишком грубым приближением Л 1), для редукции предварительно целесообразно уточнить модель прибора, на котором фактически выполнено измерение £. (Такое тестирование А рассмотрено в предыдущем параграфе и будет еще обсуждаться в дальнейшем).
При тех же предположениях схему измерения (1.1) можно использовать и для уточнения оператора А. Действительно, пусть
Рассмотрим задачу редукции измерения £ к прибору, выходной сигнал которого равен Aej. Иначе говоря, речь идет о задаче линейного оценивания j -го столбца матрицы А, в которой требуется определить оператор Rj так, чтобы
Е\\Н^0 - (А - А0)е,||2 = шшЕ |Щ^0 - (А - А0)е,||2.(4.2)
Нетрудно проверить, что
Rj = SjS"\
где
Sj = Е(А-А0)еЩ(А- Ао)*, j =S = A0FAq + S.
х) Например, когда Е ||(А — Ао)/||2 = tr J > tr S = Е ||z/||2 .
Следовательно, искомая оценка j-ro столбца А равна
Aej = Rj^0 + AqCj
и ей сопутствует погрешность *)
6j = Е ЦЯ^о + Aoej - Ае^2 = tr (Д -
где Dj = Е (Л - A0)eje*(A - Ло)*, j = 1,... ,т.
Если ж = (жх,..., жт)* € Д„, то
Лж =' AejXj ='(Д^р + Agej)$j(4-3)
— оценка вектора Ах, а поскольку х — произвольный вектор Rm , то тем самым получена оценка оператора А.
В ряде случаев удобнее пользоваться оценками матричных элементов А. Их можно представить в виде A^j = (тд, Aej), где г, = = (0 ... 01 0 ... 0)* — вектор из Rni г = 1,..., n, j = 1,..., т.
Эти результаты дают решение простейшей задачи прогноза, состоящей в том, что на основе данных измерения £ требуется «предсказать» значение Ах в ситуации, когда сигнал ж, в отличие от сигнала / G Пт , реально не может быть подан на вход А (например, слишком высокая температура, давление и т.п.) Вектор (4.3) обеспечивает наилучший линейный прогноз для значения Ах по данным измерения £, поскольку, как нетрудно проверить,
гшпЕ ||^о — (А — А0)ж||2 = Е ||Лж — Аж||2.
Вопросы, связанные с темой этой главы, рассмотрены в работах [5, 71, 72, 55, 56, 101].
§ 5. Уточнение параметров модели линейного измерительного прибора. Прогноз измерения
Рассмотрим задачу уточнения модели линейного измерительного прибора, в которой оператор А априори задан как элемент параметрического класса операторов в виде
N
A = '^2aiAi.(5.1)
г=1
х) Если не учитывать измерение £ (1.1), то наилучшая с.к. оценка j-ro столбца А — столбец A^ej . В этом случае погрешность Е ЦА0Щ — Aej^2 = = tr Dj dj, j = 1,... ,т.
В (5.1) линейные операторы Ai^.^An известны, а вектор а =
... G En параметров подлежит уточнению. «Детальность» &N/
представления (5.1) может быть различной, начиная со случая «полностью уточняемого» оператора, когда Ai,..., An — линейно независимые операторы, А Е ^т —> ЕА и N = п * т. Например,
А = У^ aijEij,
где Etj — матрица, у которой матричный элемент, расположенный на пересечении г-й строки и j -го столбца, равен единице, а все остальные — нулю, a^,j — матричный элемент А, подлежащий уточнению, г = = 1,..., п, у = 1,..., т. В другом крайнем случае требуется уточнить только «коэффициент усиления» А, А = щАх, N = 1
Постановка задачи уточнения модели измерительного прибора в значительной степени определяется тем, как в дальнейшем будет использован прибор, поскольку критерий качества уточнения должен быть связан с критерием качества «функционирования» прибора. Например, в задаче прогноза измерения, в которой требуется получить отклик А на входной сигнал /, который реально не может быть подан на вход прибора1) А, значение А/ рассчитывается на основе модели А, предварительно уточненной путем измерений известных (тестовых) сигналов ду,..., д8 . В этой задаче на основании измерений
О = А^ + Цг, z = l,...,s,(5.2)
и априорной информации о приборе требуется получить наиболее точную версию Аф что и определяет критерий качества уточнения А.
Запишем измерения (5.2), в которых оператор А представлен равенством (5.1), в виде схемы измерения вектора а
или, короче,или, короче,£ = Та + ц,£ = Та + ц,Ахщ ... ANgiАхщ ... ANgiAi9s • • • ANgsAi9s • • • ANgs(5.3)(5.3)(5.3*)(5.3*)
или, короче,
или, короче,
£ = Та + ц,
£ = Та + ц,
Ахщ ... ANgi
Ахщ ... ANgi
Ai9s • • • ANgs
Ai9s • • • ANgs
(5.3)
(5.3)
(5.3*)
(5.3*)
где
\/ Aigi ... ANgi
< = ... , Т= \А /x^l^s ••• ANgs
х) Например, в ситуации, когда натурный эксперимент либо слишком дорог, либо практически не выполним.
Соответственно
n/аА
А/ = У atAJ = АЛ,An Л • • - = Ufa, (5.5) г=1X^N/
где
uf = Aif,---,ANn,
и если а — случайный вектор с известными средним ао = Е а и ковариационным оператором Sa, ц — случайный вектор, Ец = О, Ем — корреляционный оператор ц, то задача оказывается идентичной решенной в §1 задаче оценивания вектора U f по наблюдению £ = = Af + v. Согласно полученным там выражениям наиболее точной (в среднем квадратичном) линейной версией Af будет
А/ = Ufa0 + UfSaT4TSaT* +- Г«о),(5.6)
и прогнозу Af будет сопутствовать погрешность, среднеквадратичное значение которой
Е\\Af - Af\\2 = tr (Uf(Sa - SaT*(TSaT* + ^Л"Т8Ли*Р- (5-7)
В этой задаче прогноза использована модель со случайным оператором А. В каждом конкретном случае исследователь имеет дело с определенной реализацией А, вообще говоря, отличной от модели Ао = Е А «паспортного прибора». Тестированием уточняется прогноз, определяемый той реализацией А, на которой работает исследователь1). Заметим, что до уточнения А наиболее точный в среднем квадратичном прогноз Af дается значением Ар/ = Е А/, где
N/ ^01 \
Ар = Е А = ^^ а^А^ (...) = по,(5-8)
г=1x^ON /
И
N
Е р/ - AoJW2 = tr (UfSaU*p = У Saij (AJ, Ajp E |Щ - Af\?
Вполне аналогично можно получить решение задачи уточнения модели А (5.1), если заметить, что
N
А = ^2аМг = Ua<H(5.9)
г=1
х) В общем случае наиболее точный в среднем квадратичном прогноз дается условным математическим ожиданием Af при условии, что измерен вектор £ : Af = Е (А/|£). Если вектор а имеет нормальное распределение jV(ao^ Sa) а ц в (5.3) не зависит от а и имеет нормальное распределение ^(0,5^), то Af в (5.6) совпадает с Е (А/|£) (см. §6 гл. 3).
где Uа = (Ai^.^An). Самая точная в среднем квадратичном линейная оценка А оператора А с учетом измерения (5.3) дается равенством (5.6), в котором Uj следует заменить на Ua • Соответственно1)
Е||А- A||f °=₽ Etr ((А - А)(А - А)*)
получается из (5.7) заменой Uj на Ua • Если измерения (5.3) не учитывать, то наилучшая линейная оценка А дается равенством (5.8). В этом случае
Е ||А - Ао||2 = tr ((А, ... A^)Sa(A1 ... ANn =
/ Nх
= tr ( Е AiSaijAU Е ||А - А|||.
На самом деле, как нетрудно заметить, наилучшая в среднем квадратичном линейная оценка любой линейной функции Uа вектора а имеет вид Ua, где
п = п0 + SaT*(TSaT* + ^~(С - Тао)(5.10)
— наилучшая в среднем квадратичном линейная оценка вектора а. Среднеквадратичная оценка погрешности а - а дается равенством (5.7), в котором Uj следует заменить на Ua, а
(5.11)(5.11)Sa-« = Sa- SaT*(TSaT* + S^TSt
(5.11)
(5.11)
— ковариационный оператор ошибки оценивания а — а. Пусть, например, U = I,
11и измерен один вектор gi = g. Тогдаи измерен один вектор gi = g. ТогдаN = п,(5-12)N = п,(5-12)
1
1
и измерен один вектор gi = g. Тогда
и измерен один вектор gi = g. Тогда
N = п,
(5-12)
N = п,
(5-12)
/(Ж1,5)00\
Т = =diag((£i,g),..., (жи,д)),
X 00 ... (x„,gV
где xt = (an,..., atm)*, г = 1,...,п, и если
Sa = diag (а2,..., <Д), S^ = diag (А,..., <т2),
ТО
а = по + diagа = по + diagа2(ж1,д)а2(ж1,д)оДж^д)оДж^д)’ аЩп,дУ + Д’ аЩп,дУ + Д
а = по + diag
а = по + diag
а2(ж1,д)
а2(ж1,д)
оДж^д)
оДж^д)
’ аЩп,дУ + Д
’ аЩп,дУ + Д
х (С ~ diag ((tri, <;),..., (жп,5))а0),
') ЦЛЦ2 — обозначение для нормы Гильберта-Шмидта оператора А. По определению ||СЛф|2 = tr (Uau(Uau)*) = tr (ЛЛ*) = ЦЛЦ2 .
ииЕ||а-а0||2 = 523 = 1 \Е||а-а0||2 = 523 = 1 \ДЩу)2ДЩу)222
и
и
Е||а-а0||2 = 52
3 = 1 \
Е||а-а0||2 = 52
3 = 1 \
ДЩу)2
ДЩу)2
2
2
при очень точном измерении д.
Приведем еще один пример задачи уточнения модели измерения, типичный для экспериментальных исследований. Речь пойдет об уточнении оператора, заданного матрицей п * (п + к — 1)
щ ... ак0 О
(5.13)(5.13)Ощ... ак0... О
(5.13)
(5.13)
О ... О О щ ... ак
определяющей дискретный аналог интегрального преобразования типа свертки
(АГА) = /°А - У)/(у)сА а + Д^ж^^-Д, Д > 0. (5.14)
В выражении (5.14) функцию a(z), —оо < г < оо, принято называть аппаратной функцией прибора А. Обозначим
0),0),/10...ОО
0),
0),
О1...ОО
\001О
с =с =/О 1 о ... 0\О 0 1 ... о/О 1 о ... 0\О 0 1 ... о 1\1 о о ... о/ 1\1 о о ... о/О А1 °)О А1 °)(5.15)(5.15)
с =
с =
/О 1 о ... 0\
О 0 1 ... о
/О 1 о ... 0\
О 0 1 ... о
1
\1 о о ... о/
1
\1 о о ... о/
О А
1 °)
О А
1 °)
(5.15)
(5.15)
матрицы п * (п + к — 1) и (п + к — 1) * (п + к — 1) соответственно. Матрицу (5.13) можно представить в виде (5.1)
к
А = а1ВС° Аа^ВС1 A ...AakBCk"v = В^а^~1,(5.16)
3 = 1
где С° = Z, и если выполнено одно измерение (5.2), то в (5.4)
Т = (Вд ВСд ВС2д... ВС*6"1 д), д = 91.(5.17)
Следовательно, искомая оценка а = (ai ... а^)* есть
а = «о + SaT*(TSaT* + ^"ЧС - Та») =
= (Т^Т + З^ГЧТ^Ч + S-^o). (5.18) В ряде случаев при измерениях в выходном сигнале прибора присутствует так называемая постоянная составляющая, приводящая к «смещению» отклика на входной сигнал. При этом
£ = Аф + с + v, где вектор «смещения» с, как и оператор А, характеризует измерительную систему и подлежит уточнению. Поэтому вместо равенства (5.2) в этом случае следует писать
G = Agt-Ч с + pit, z = l,...,s.(5.19)
Но поскольку
Ад + с = (А с) Q),(5.20)
то запись (5.19) фактически не отличается от (5.2) и, следовательно, уточнение постоянной составляющей не приводит к дополнительным трудностям: уточняемый оператор определяется расширенной матрицей (Ас), а новые тестовые сигналы (^ 1)*,% = 1...S, определя
ются заданием д^ г = 1... з.
Рассмотрим подробнее вариант измерительной системы с «постоянным смещением» с = (а&+1 ... a&+i)* . Матрица (5.13) в этом случае заменяется на расширенную
/(1\. . .&к^• • •0^А?+1 А
М с) =
\ 0. . .СЦ. . .Qk&к-\А/
и в разложении (5.16) появляется дополнительное слагаемое: к
(Ас)=В^ aicj-V + ak+iD.
Здесь В и С — матрицы n*(n+A:) и (п+&)*(п+&) соответственно, а в остальном такие же, как (5.15), а
/0 ... 0 1\
D =
\0 ... 0 1/
— матрица п * (п + к). Наконец, оценка а = (щ ... ак o^+i)* будет иметь вид (5.18) с очевидными уточнениями. В частности, теперь
Т = (Вд ВСд ВС^д.-.ВС^д Dg^ д = (д1У, где д — тестовый сигнал, в (5.17) заданный (п + к — 1)-мерным вектором.
В заключение остановимся на задаче уточнения модели измере- ( аА
ния, в которой вектор параметров а =... в (5.1) будем считать не
\aN/
случайным, а произвольным элементом Hn • Фактически речь пойдет о задаче определения, а не уточнения модели, поскольку ее выбор априори никак не ограничен. При этом класс моделей оказывается настолько обширным, что некоторые задачи уточнения будут неразрешимыми. Например, задача прогноза измерения, в которой по данным измерения (5.3) тестовых сигналов щ,... ,gs требуется получить наиболее точную версию отклика Af на известный входной сигнал /, теперь может и не иметь решения. В этой задаче необходимое и достаточное условие возможности линейного прогноза, или иными словами — возможности оценить погрешность прогноза, имеет вид равенства (7.5) гл. 1 Uf(I — Т Т) = 0, в котором операторы Т и Uf определены выражениями (5.4) и (5.5) соответственно. То же самое можно выразить в форме включения N\T) C^(Uf), буквально означающего, что для любых щ,..., qn удовлетворяющих условию
N
^^ajAjgk = 0, & = l,...,s,(5.21)
j=i
должно выполняться равенство
N
^адд = о.(5.22)
J=1
Можно, наконец, сказать, что задача прогноза разрешима тогда и только тогда, когда существуют линейные операторы Bi,..., В8 , такие что1) (см. [5]) 52 BkAjgk = Ajf, j = 1,...,7V. Понятно, что к=1
если Uf(I — ТТ) = 0, то искомая оценка отклика Af
Af = u7a = Uf(T*Q-1'TrT*Q-X
где Q = TT* V^ , но, вообще говоря, Uf(I—Т Т) ^ 0, если должным образом не организовано тестирование.
Обратимся к примеру, в котором операторы Ai,..., An заданы равенствами (5.12), N = п, и при тестировании измерен один вектор gv = д. Поскольку в этом случае векторы
(^-ьэТх/ о
^4ig=, ■■■,Апд="0"
\ о /
возможен,возможен,если / — линейная комбинацияесли / — линейная комбинация') Например, прогноз
возможен,
возможен,
если / — линейная комбинация
если / — линейная комбинация
91, • • • ,9s, f = X Рк9к- к=1
Х^ — ^Ц 1 • • • 1 ®ш) 1^ — 1, . . . , 71,(5.23)
линейно независимы, если
(жьд)#0, г = 1,...,п,
то условие (5.2) влечет равенства at = 0, г = 1,..., п, и, как следствие, — равенство (5.22). Следовательно, если вектор g для тестирования выбран так, что выполняется условие (5.21), прогноз возможен для любого вектора /; в этом случае ТТ = I. Если же, например, (Ж1,5)=О, (я^,#)/О, г = 2,. ..,п,то
T"T = diag(0, 1, .1)
и прогноз возможен лишь при условии, что
C7/ = (A1/...An/) = (0 A^.-.A^Y
или, иначе говоря, если (яд,/) = 0.
При условии (5.21) разрешима задача уточнения (определения) модели А (5.9), впрочем, — как и любая другая задача линейного оценивания Ua •
Глава 7
Нелинейные методы редукции измерений
Введение
Нелинейными называются такие измерительно-вычислительные системы (ИВС), у которых хотя бы одна компонента, измерительная или вычислительная, нелинейна. Основным элементом измерительной компоненты ИВС является измерительный преобразователь (ИП, датчик, [6]), преобразущий воздействие от исследуемого объекта и среды (электромагнитное излучение, давление, ускорение и т.п.) в электрический сигнал, поступающий далее в вычислительную компоненту. В практике измерений находят применения как линейные, так и нелинейные ИП, причем линейные — значительно чаще.
Типичная схема измерений в системе «измеряемй объект-среда- измерительный прибор», имеет вид равенства
£ = AJ + v,(0.1)
в котором £ интерпретируется как искаженный шумом v выходной сигнал ИП Л, на вход которого поступил сигнал / от измеряемого объекта и среды, взаимодействующих в процессе измерения между собой и с ИП. Обычно в равенстве (0.1) А — оператор, моделирующий ИП, взаимодействующий с измеряемым объектом и средой, входной сигнал / — элемент должным образом выбранного функционального пространства, v — элемент другого функционального пространства, моделирующий измерительную погрешность, элементом этого же пространства является результат измерения £ .
В большинстве случаев схема (0.1) записывается в виде
= j a(x,y)f(y)dy + v^ ж£М(0.2)
согласно которому в равенстве (0.1) А — линейный интегральный оператор с ядром а(-, •),/(•), например, измеримая, интегрируемая с квадратом на Y функция, моделирующая входной сигнал, v(-) — случайная функция на X с (частично) известными вероятностными
свойствами, моделирующая погрешность измерений.
Проблема интерпретации измерения (0.1) состоит в том, чтобы извлечь из £ как можно более точные значения параметров объекта, причем, как правило, не те, которые он имеет, будучи искаженным в процессе измерения, а другие, свойственные системе «исследуемый объект-среда», не возмущенной измерением, характеризующие исследуемый объект (и среду) в естественном состоянии. Поскольку с математической точки зрения неважно, зачем исследователю понадобились те или иные параметры объекта, будем считать, что задача интерпретации решена, если значения параметров исследуемого объекта получены и указана сопутствующая погрешность).
Формально задача интерпретации измерения может быть описана следующим образом. Обозначим U оператор, моделирующий гипотетический измерительный прибор, взаимодействующий с измеряемым объектом и средой точно так же, как Л, но воспроизводящий на выходе значения параметров исследуемого объекта в принципиально ненаблюдаемой системе «исследумый объект-среда». Поскольку в таком случае на вход U поступит тот же сигнал от измеряемого объекта и среды, что и на вход Л, то U f — значения параметров исследуемого объекта в системе «исследумый объект-среда». Заметим, что линейность ИП в (0.1) указывает лишь на линейную зависимость его выходного сигнала Л/ от входного /, но поскольку последний зависит от параметров исследуемого объекта, как правило, нелинейно, оператор U, моделирующий то, что в экспериментальных исследованиях называют идеальным измерительным прибором, как правило нелинейный.
Задача интерпретации измерения £ (0.1) состоит в определении оператора R. вообще говоря, нелинейного, такого, что R^ — наилучшее (в известном смысле) приближение Uf. В других терминах можно сказать, что задача интерпретации измерения (0.1) понимается как задача редукции сигнала £ к виду, свойственному измерению на идеальном приборе U ). Понятно, что эта задача решается вычислительной компонентой ИВ С.
Заметим, что измерительный прибор U, как правило, не может быть реализован в «железе» в силу действующих технологических ограничений и физических запретов - квантовых, термодинамических, волновых и т.д.
Для решения задачи интерпретации необходимы как «сквозная» модель, включающая математическую модель формирования сигна-
ла / в системе «исследуемый объект-среда-прибор» и математическую модель схемы измерения (0.1), связывающую / с результатом измерения £, так и математическая модель системы «исследуемый объект-среда», позволяющая связать / (а, следовательно, и £) с параметрами Uf исследуемого объекта. При этом операторы А и U определяются соответственно как составные части моделей систем «измеряемый объект-среда-измерительный прибор» и «исследуемый объект-среда». В то время как модель системы «измеряемый объект- среда-измерительный прибор» призвана описывать реальные измерения, модель системы «исследуемый объект-среда» должна описывать процессы, которые интересуют исследователя, но недоступны для непосредственного наблюдения.
Нелинейные уточнения редукции измерений
Начнем с задачи редукции измерения, в которой входной сигнал / ИП линейно связан с его выходным сигналом Л/, А — линейный оператор, моделирующий ИП в системе «измеряемый объект—среда— прибор», и аналогично — параметры исследуемого объекта в системе «исследуемый объект—среда» определяются в виде U f, где U — линейный оператор, моделирующий идеальный измерительный прибор. В задаче редукции по данным измерения £ (0.1) требуется получить на выходе ИВ С как можно более точную версию U f. При этом, как правило, v — случайный элемент, моделирующий погрешность измерения Л/, и известно множество Т, априори содержащее входной сигнал / ИП. Определяется Т свойствами изучаемого объекта и среды, динамическим диапазоном ИП, вне которого последний не описывается принятой моделью.
Следующие факты показывают, что линейные решения задач интерпретации измерений, полученные в главах 5, 6, могут быть улучшены.
Лемма 1.1. Пусть Т — ограниченное, выпуклое и замкнутое множество в евклидовом пространстве TZ, U — линейный непрерывный оператор, действующий из Tt в евклидово пространство ’) U. Тогда множество UH ограничено, выпукло и замкнуто в U.
Доказательство. Ограниченность и выпуклость UТ очевидны. Пусть {гп} CUТ — последовательность, сходящаяся к г* G 7ЦП) Покажем, что г* Е UП. Определим последовательность {жп} С Т такую, что Uхп = гп, п = 1, 2,... Поскольку в силу условий леммы Т слабо компактно, существует слабо сходящаяся подпоследовательность {ж™^)} С {жп}, причем ее предел х„ Е Т, так как согласно теореме С.Мазура Т слабо замкнуто. А так как для любого t Е Н
х) В этой главе евклидовы пространства, в частности, 7^ и /У, бесконечномерны (если не оговорено противное).
при к -Э 00 (Uхп^, [) = (хп^, U*t) -Э (ж*, U*t) = (Ux*,t), то zn^ = = Uxn^ -^ Ux*, т.е. г* = Ux* E U F. □
претациипретацииПусть £=£(£) — случайный элемент Z7, оценивающий значение U f параметров исследуемого объекта на основе результата измерения ^ короче говоря, пусть ^ = Д^) — какое-либо решение задачи интерпретации измерения Д Качество интерпретации £ определим посредством максимальной средне-квадратичной (с.к.) ошибки интер
претации
претации
O = supE||C-C7/||2(< оо).fEF
Чем меньше 5(C), тем лучше £ оценивает Uf и соответственно тем лучше решает задачу интерпретации измерения. Следующая теорема показывает, что проекция U f случайного элемента £ на UИ оценивает U f равномерно по / Е Т, причем не хуже, чем £ [74].
Теорема 1.1. Пусть £ — случайный элемент Ц, оценивающий U f Е UТ. Если UИ — выпуклое замкнутое мноснсество в Ц, то
sup(E ||С - Uf\\2 - Е\\Uf - Г/||2) sup Е ||С - Г/||2 — ferfer
(1.1)(1.1)- sup Е ||Г/- Г/Н2 ^Е||С-С||2 ^0.
(1.1)
(1.1)
fer
Доказательство. Напомним, что проекция Uf £ на UГ определяется как решение задачи на минимум
||С-С||2= inf НС-9112.(1.2)
9EUF
Поскольку |К_ д||2 — сильно выпуклая функция g EUТ, а выпуклое множество UТ замкнуто, задача (1.2) имеет единственное решение Uf EUF (см., например, [75]), причем для любого g EUH
(Uf — (,g — Up ^0.(1-3)
Для доказательства теоремы заметим, что
sup Е НС - Г/Н2 = sup(E ПС - Г/Н2 - Е ||Г/ - Г/||2+
Рет
+ Е\\Uf - [//||2) ^ sup(E |К - Uf\\^ - Е\\Uf - [//||2) +рЕТ
+ supE||[T/-[//||2.
PET
Отсюда следует первое неравенство в (1.1). Далее, учитывая неравенство (1.3), найдем
НС - г/н2 = ПС - Г/ll2 + 2(С - г/, г/ - г/) + ||г/ - г/н2 ^1К-г?И2 + 1|г7-г/||2.
Поэтому sup Е\\Uf - Uf\\2 < sup Е ПС — Е7/Ц2 — Е 11< — Е7/112 - □Поэтому sup Е\\Uf - Uf\\2 < sup Е ПС — Е7/Ц2 — Е 11< — Е7/112 - □/е7/е7/е7/е7
Поэтому sup Е\\Uf - Uf\\2 < sup Е ПС — Е7/Ц2 — Е 11< — Е7/112 - □
Поэтому sup Е\\Uf - Uf\\2 < sup Е ПС — Е7/Ц2 — Е 11< — Е7/112 - □
/е7
/е7
/е7
/е7
Подчеркнем, что в теореме 1.1 ограниченность множества UH не требуется.
Пусть, например, Т = {/, ||/ — /о|| С ^} и выполнены условия леммы 1.1. В таком случае выполнены и условия теоремы 1.1. Чтобы решить задачу (1.2), следует найти минимум лагранжиана
£ = 1К-г/||2 + Д/-/0||2
на 77 и определить множитель Лагранжа ш ^ 0 из условий
HII/-/o||2-d2) = O, ||/-/o||^rf-
В конечном счете найдем, что либо
Щ = и(и*и + шГгЧич + ш/о),
если С £ -R(U) ® ТЩД, или, если < е 7г(Д ® ^(Д, но |Д-«- —Г/о)|| > d, где w — корень уравнения \\U*(UU*+ш!)-1((— Ufo^W = = d, либо
щ = ии-с
если (eR(U)®R^(U) и \\U-((-Uf0)\\ ^d.
В частности, если £ = d2 ^Y-1/2 A^-Y-Y/2^d2 +tr (Л*Е-1Л)-)-1 — линейное решение задачи редукции измерения
е = АИн fen,(1.4)
в котором v — случайный элемент И, моделирующий измерительную погрешность, Е v = О, Е — ковариационный оператор v. U = I, fo = = 0, [5], то
? IX/HCH, если 1КП>^
Ц, если |К||^,
— улучшенная нелинейная редукция (оценка f е П\
В ряде случаев хороший результат может быть получен путем комбинирования результатов теоремы 1.1 и теоремы 5.1 гл. 5. Пусть выполнены условия теоремы 1.1, П проектор на П\ inf{||5f—h\\ | h еП^ = ||р — Пр||, g еН, Rf = f — несмещенная редукция £ (0.1) к U = = I, найденная по формуле (0.5) гл. 5 для модели [Л, Е]. Согласно теореме 1.1 /1 = П/ — уточнение оценки f. Если /1 рассматривать формально как результат «дополнительного измерения» f е П, а / £ \
£1 =7— как результат измерения f по схеме £i = г / +
\Л/V )
Л\ /Е 0\J7 \° ^7Л\ /Е 0\J7 \° ^7+ ^-^ , где If = f = П/, f е Т. то R^i — уточнение оценки fi (при любом шуме v ), если R оператор редукции к U = I для мо
Л\ /Е 0\
J7 \° ^7
Л\ /Е 0\
J7 \° ^7
делиделиОбъединив этот и предыдущий результаты,
дели
дели
Рис. 7.1. Нелинейное уточнение редукции измерения, а) Входной (измеряемый) сигнал /(ж), х Е X, в (0.2). б) Аппаратная функция: ядро к^ = = а(ж, у^ z = х — у. х^г ЕХ, интегрального оператора А в (0.2), зависящее от разности аргументов, в) Результат измерения ^ (0.2). г) Несмещенная редукция R^ к прибору U = I (см. формулу (0.5) гл. 5), надежность модели [Л, Е]: а^ « 1. д) Ортогональная проекция П1зо^ редукции R^ на линейную оболочку векторов щ,..., ехзо базиса модели [А, Е] (см. гл. 5 и параграфы §1,3 гл. 8). е) Результат /б = ПЩзоЯ^б уточнения ЩзоЯ^, полученный на шестой итерации при учете неотрицательности измеряемого сигнала /(ж) ^ 0, ж Е XРис. 7.1. Нелинейное уточнение редукции измерения, а) Входной (измеряемый) сигнал /(ж), х Е X, в (0.2). б) Аппаратная функция: ядро к^ = = а(ж, у^ z = х — у. х^г ЕХ, интегрального оператора А в (0.2), зависящее от разности аргументов, в) Результат измерения ^ (0.2). г) Несмещенная редукция R^ к прибору U = I (см. формулу (0.5) гл. 5), надежность модели [Л, Е]: а^ « 1. д) Ортогональная проекция П1зо^ редукции R^ на линейную оболочку векторов щ,..., ехзо базиса модели [А, Е] (см. гл. 5 и параграфы §1,3 гл. 8). е) Результат /б = ПЩзоЯ^б уточнения ЩзоЯ^, полученный на шестой итерации при учете неотрицательности измеряемого сигнала /(ж) ^ 0, ж Е X
Рис. 7.1. Нелинейное уточнение редукции измерения, а) Входной (измеряемый) сигнал /(ж), х Е X, в (0.2). б) Аппаратная функция: ядро к^ = = а(ж, у^ z = х — у. х^г ЕХ, интегрального оператора А в (0.2), зависящее от разности аргументов, в) Результат измерения ^ (0.2). г) Несмещенная редукция R^ к прибору U = I (см. формулу (0.5) гл. 5), надежность модели [Л, Е]: а^ « 1. д) Ортогональная проекция П1зо^ редукции R^ на линейную оболочку векторов щ,..., ехзо базиса модели [А, Е] (см. гл. 5 и параграфы §1,3 гл. 8). е) Результат /б = ПЩзоЯ^б уточнения ЩзоЯ^, полученный на шестой итерации при учете неотрицательности измеряемого сигнала /(ж) ^ 0, ж Е X
Рис. 7.1. Нелинейное уточнение редукции измерения, а) Входной (измеряемый) сигнал /(ж), х Е X, в (0.2). б) Аппаратная функция: ядро к^ = = а(ж, у^ z = х — у. х^г ЕХ, интегрального оператора А в (0.2), зависящее от разности аргументов, в) Результат измерения ^ (0.2). г) Несмещенная редукция R^ к прибору U = I (см. формулу (0.5) гл. 5), надежность модели [Л, Е]: а^ « 1. д) Ортогональная проекция П1зо^ редукции R^ на линейную оболочку векторов щ,..., ехзо базиса модели [А, Е] (см. гл. 5 и параграфы §1,3 гл. 8). е) Результат /б = ПЩзоЯ^б уточнения ЩзоЯ^, полученный на шестой итерации при учете неотрицательности измеряемого сигнала /(ж) ^ 0, ж Е X
найдем следующее уточнение оценки RE^: /2 = ПЯ^х. Таким образом определен рекуррентный процесс уточнения: Д+1 = ПД&, ^ = ( 7 , \Н/
i = 1,2,...
На рис. 7.1 представлен результат уточнения несмещенной редукции в случае Т = {/ =... Е Пт , ft 0, г = 1... ш}, т = 200.
Для сравнения на рис. 7.1, д) приведена оценка ЩзоЯ^ 130-мерной 130
составляющей ^2 ej(ftej) входного сигнала /, искаженная шумом в j=i
меньшей степени по сравнению с оценкой любой другой 130-мерной ортогональной составляющей /, см. гл. 5, 8.
Другие возможности нелинейных уточнений интерпретации измерений связаны с учетом более полной информации о погрешности измерения v. Например, если в (1.1) оператор А плотно определен и
замкнут, Т = Т)(А) х), и / — априори произвольный элемент R(A), то измерение £ позволяет «частично» определить фактическую погрешность, поскольку ортогональная проекция £ на НЛ(А)
т = (1 - АА^ = (I - АуГ>
не зависит от /. Вследствие этого задачу редукции можно рассматривать как задачу на минимум для «условной с.к. погрешности»
supE (||Я£ — s — U/|| I т) ~ min .(1.5)
/R-s
Здесь минимум вычисляется на множестве всех векторов s Е U и на классе линейных операторов R = R^ определенном в теореме 1.1, при условии, что в последней оператор математического ожидания Е заменен на оператор условного математического ожидания Е (*|т). Если R = R*T, s = з*т — решение задачи (1.5), то редукция R*T^- s*t будет самой точной в с.к. условно-линейной оценкой U f 2). В терминах теоремы 1.1 искомая редукция запишется следующим образом
TlK^S-1^ - Е (S-1/2^ | (/ _ "KR^S-1^ = т)),
где К = 5"1/2Л, 5 =+ S.
Соответствующая с.к. погрешность
||^^S-1/2£1/2||| _ Е цЕ (UK^S-1/2V | т)||2
меньше на Е ||Е ^R^v | т)||2, чем с.к. погрешность редукции, определяемая оператором R* = UK S-^2 [5]; R* — решение задачи
supE \\R£ - С7/||2 ~ min .
/R
Однако, если и имеет нормальное распределение, этот метод не даст выигрыша в точности. В этом случае можно использовать оценку типа Стейна-Джеймса (см. §3 гл. 3). Если U = Z, tr (А*Е-1А)-2 < ею и v имеет нормальное распределение, то нелинейная редукция типа Стейна-Джеймса измерения £ к / (см. [4])
Я£ = АЦАА* +
обеспечит меньшую с.к. погрешность, чем наиболее точная в с.к. редукция ) (А*Е-1 А)-1 А*Е-1/2^, если
О < со (tr (А^А)-2 - 2||(А*Е~1А)-2||)/||(А*Е~1^(1.6)
х) Р(А) — область определения оператора Л, А — замыкание А.
Нелинейная минимаксная редукция измерения
Если про погрешность v в (1.4) известно лишь, что v еЫгде JV — заданное ограниченное множество в П и 7гсР(А), то будем говорить, что задана модель [А, ^ЛТ] схемы измерения (1.4). В этом случае задачу редукции измерения (1.4) можно поставить, как следующую задачу на минимакс (см. [74]):
Мг’Г) = sup{||r - 1//||2 | /е7, 1/€ЛД = Л/ + у}~пш1, (2.1)
в которой требуется минимизировать условную оценку h^^r^U) погрешности редукции (при условии, что £ — результат измерения (1.4)). Ее решение г* = Я*(£) является искомой наиболее точной версией Uf, равномерной относительно f ЕН, основанной на априорных данных и результате измерения £.
Дело в том, что при оговоренных условиях задачу редукции измерения (1.4) естественно поставить как задачу минимизации на множестве всех решающих функций (стратегий) R(-) максимальной на множестве всех возможных / и £ погрешности ||Я(£) — ^7/||2 интерпретации R(^) как Uf:
Щ(-),Г)=8ир{||Ж)-Г/||2 I и,О 6 и^С/)}-™™,(2.2)
где
С/ = К = Л/ + щ vE^.
А решение R*(-) задачи (2.2) дается функцией Я*(£), £ Е С = {£ = = Af + v , f Е J, v Е Я^, определенной выше в связи с решением задачи (2.1) для каждого £ Е С. Действительно, для любой решающей функции Ryy.
^ес
= Af +и} = sup h^ (R(^, U) > sup h^ (R* ^yU) = h(R^yuy
^ECCEC
Следовательно, функция Н*(УУ £ E С, минимизирует погрешность интерпретации h(R(*yU) (2.2).
Что же касается задачи (2.1), то ее решение имеет довольно простую геометрическую интерпретацию. Пусть
^ = Ш /6^, ^ = Af^v, Z/6M}
и Sc шар минимального радиуса, содержащий Ы^. Тогда, как известно [75], решение Н*У) задачи (2.1) есть центр S^ и h(R*(£yU) = = (diamS^)2/4. В свою очередь, оценка погрешности интерпретации (2.2) равна:
h(R*(*y U) = sup{(diam 8Д2/4 | £ Е С}.
Линейный измерительный преобразователь и линейный идеальный прибор. Рассмотрим важный для практики случай, когда U и UА- — линейные непрерывные операторы, причем U(I — АА) = 0, т.е. M(U) D JV(A) *) и Т = Т>(А). При таких предположениях равенство £ = Af + и влечет два соотношения, а именно, равенство
Uf = UA-^-UA-v,(2.3)
связывающее возможные значения U f и и , и равенство
П£ = т = Пр,(2.4)
выделяющее значения и еМвозможные при фиксированном результате измерения £. В (2.4) П = I — А А — ортогональный проектор на ^^(Л), поэтому т не зависит от неизвестного / Е ^(Л). С учетом условий (2.3) и (2.4) задачу (2.1) можно представить в виде классической задачи отыскания центра замкнутого шара ST CU. наименьшего радиуса, содержащего множество Мт = {ЛЛ_щ и Е М-}:
sup{||r — UAM + U А~и\\^ | и Е X} ~ min .(2.5)
Здесь Мт = ^и Е М, Пи = т} — сечение множества М плоскостью ^и Е Tt^ Пи = т}). Если ж* (г) — центр ST, то искомая редукция измерения (решение задачи (2.1))
RyE^UA^-x^(2.6)
и= ЦН^УИ^ = (diamST)2/4(2.7)
— условная оценка погрешности редукции, равная квадрату радиуса ST (в энергетической шкале) при условии, что £ — результат измерения (1.4). Соответственно оценка погрешности редукции h(U) = = sup h^ (U) = ЦЩ (•),[/).
€
Заметим, что если множество Мт симметрично относительно ит ), то согласно лемме 1.1 ж*(т) = UAuT. В этом случае вместо (2.6) R^ = U^^-VTy
Например, если М = \и ER^ ||z/|| ^ 5}, то Мт = {и Е М. Пи = т} и Мт = \UAu = UAAAu. и Е Мт} — эллипсоид в U. Пусть 5Т — радиус шара АА~МТ в 7^(Л). Тогда в (2.7)
Ми^ДйМ^(2.8)
') Л/”(Л) = {ж Е Т)^А\ Ах = 0} — ядро Л; оператор UА- предполагается ограниченным на области определения Р(Л-) = 7^(Л) ф 7^±(Л) оператора А- псевдообратного в Л, [5].
— квадрат наибольшей полуоси эллипсоида) МТ и в (2.6) ж* (г) = О, ибо шар Ыт симметричен относительно центра vT и ААит = 0.
Практически таким же путем можно продвинуться в решении задачи редукции измерения (1.4), в которой оператор Л, моделирующий измерительный прибор, на котором фактически выполнено измерение, неизвестен, но известно множество Л, содержащее А. Речь пойдет о задаче редукции
sup {||г - L7/|||/е Р(Л), А Е Л, veK, £ = Л/+ zx} ~ min,
в которой, как и в задаче (2.1) будем считать, что операторы U и UА- непрерывны и U(I — АА) = 0 при любом Л 6 Л.
Вместо (2.5) получим задачу
sup {||r + UA-^v — ^)||21^ 6 М(Л), А 6 л} ~ min, (2.9)
в которой А/ДЛ) = {zx £ АД У — АА)и = т}, А Е Л, причем при фиксированном £ теперь т = (I — ЛЛД = т(Л) 2).
Пусть ж*(£) — центр шара S^CU наименьшего радиуса, содержащего множество А4(£) = ^UAA(u — £), v Е АД (Л), Л Е Л}, которое будем считать ограниченным при любом £ Е П. Тогда искомая редукция (решение задачи (2.9)) R*^ = —ж*(£), а квадрат радиуса S^ дает условную оценку погрешности редукции (рис. 7.2).
Замечание 2.1. Аналогичные задачи можно решить методами, разработанными для решения некорректных задач, в частности, — методом регуляризации, [3]. Для сравнения ограничимся простым случаем, когда в модели измерения (1.4) А = А* — точно известный (самосопряженный) положительно определенный (невырожденный) оператор, действующий из Rn в Rn, Т = Н^ и, как в рассмотренном примере, Ы — \v Е Rn, ||zx||й}. Метод регуляризации
решения уравнения (1.4) относительно / Е Rn основан на решении fa = (А* А-Е al)-1 А*Е задачи ||Л/— £||2 + ct||/||2 ~ min, в которой па
раметр регуляризации а ^ 0 определяется по невязке, т.е. как корень уравнения
6=\Wa4\Ho<A*A+air4Af + vW^^А = А*. (2.10)
Сопутствующая погрешность
\\f-f42 = \\(A*A + air4A*v-an\\2 = ^^ А = А*. (2.11)
Здесь параметр а = а (5, /, zx) считается определенным согласно усло-
Рис. 7.2. Иллюстрация решения задачи (2.9) в случае, когда в измерении (1.4)= af + v^ f Е Hi, v Е Н2 , а = ^2) = А Е Л С Н2 , где А —
кривая, замыкающая угол, образованный векторами ai и а2^ А~ = а*/||а||2 , т = т(Л) = (/-^/И|2К
вию (2.10), поэтому погрешность (2.11) оценивается значением Цб) = sup{/i(a, /, zx) | v Е Нп,
1^11^^ f ЕНп, ^аЛ^бу(2.12)
Оценим h^ (2.12) снизу. Для этого в (2.10) и (2.11) выберем и = = —pA-1f^ р = <5/||Л '/||, а / — собственным вектором А : Af = = Xf. При этом а в (2.10) определится как корень уравнения 5 = = И1/Н — £|/(А2/а + 1), чт0 Даст следующее значение для правой части (2.11):
(Хб + с||/||)2/(Д2 + а)2 = (J/A)2(l + sign(A||f|| - 5)f.(2.13)
Пусть в (2.13) А — минимальное собственное значение А. Выбрав f Е Нп так, чтобы А||/|| — б > 0, найдем Ц5) ^ (25/А)2 = (25||Л-1||)2, что в энергетической шкале вчетверо хуже), чем оценка погрешности
решения (2.6) при U = I. А = А У поскольку в (2.8) при любом т 5Т ^5 и sup kyi) = J2||A-1||2.
Нелинейный измерительный преобразователь и нелинейный измерительный прибор. В этом более общем случае схема измерений может быть определена равенством £ = = £(/; vf (У v) ^^^ в котором D — заданное множество в 71 х ft, априори содержащее входной сигнал ИВ С и измерительную погрешность, ^(-<) — функция, определенная на Р. принимающая значения в М1) и моделирующая выходной сигнал ИП. В задаче редукции требуется по измерению £ Е М получить наиболее точное значение параметров объекта u(/) С U. f Е Т. где Т — проекция D на П. Условную оценку погрешности редукции г = т(£) определим величиной
h(r,u(-)) =sup{||r-u(/)||^|(/;i/) GP, Щ;О=Д (2-14)
Ясно, что при таких условиях минимаксная оценка й значения функции и(-) как решение и = г*(£) задачи h(r, Ц-)) ~ min есть центр шара S^CU наименьшего радиуса, содержащего множество Щ = fu = u(f), f Е Н^, где Т^ — проекция на К множества П^ = = {(/;^) Е D. ^(УУ = £}• Квадрат радиуса 8^ оценивает погрешность редукции. На рис. 7.3 приведены примеры решений некоторых задач (2.35), каждая из которых является задачей наиболее точного оценивания функции и(-) неточно заданного аргумента.
Замечание 2.2. Не следует думать, что минимаксная оценка и = = и(У) значения функции и(-) неточно измеренного аргумента f есть и(УУ где f = /(£) — минимаксная оценка /, т.е. центр шара минимального радиуса, содержащего 7^ (ср. с теоремой 2.1 гл. 1). Пусть, например, Т = (—сю, сю), Ы = [—5, 5], £ = f -Ev — схема измерения / и u(f) = /2. Если £ — результат измерения /, то Т^ = {/ Е Т. £ = = f + v. v Е TV} = [£ — ф £ + 5], /(£)=£ — минимаксная оценка f, и при фиксированном £
sup{|/ - Ж)|| f 6^, V ^Ы, £ = / 4- Щ = sup{|p|| V еЦ = 5.
При этом U^ = {n = 11(f). f Е Н^ = [тМ(£ - ^)2, (€ + ^)2), тах((£ — 5)2, (^ + S)2)] и, следовательно,
_ min(K - 8)2. (^ + 8?) + тах(^ - 5)2. (^ + 5)2) _ 22
U\s) —Г)— S "Г °
х) Н.П. М^Ы — евклидовы пространства. D. в частности, может быть равно ^xAf. FCH,. NEERz. случай, когда Т и N — интервалы, рассмотрен в §4.
Рис. 7.3. Иллюстрация решения задачи h(r^ и(-)) ~ min, (2.14). а) у = ша, f + v2 ^ 1}, е = / + р, <п = /2; б) d = =f ^ Д о ^ / ^ 1}, £ = fz/, и(Л = /; е) Р =
= W^Y 1/1 ^ Cl, И ^ Сз}, £ = f + v, u(f) = f- На рис. а) и б) приведены решения г*(^) задачи (2.35), соответсвующие конкретным результатам измерения £, на рис. в) приведен график r*(^), |£| ^ ci + С2
— минимаксная оценка значения функции и(-). При фиксированном £ sup{|u(7) -w(OI| / е Д I/ еМ, ^ = y + z/} = sup{|(£-z/)2-
^2 - 52|| Z/ е М} = тах((£ - 5)2, (^ + 5)2) - ^2 - 52 = 2|^|5,
в то время как
SUp{M/) -«(/(£)) || /^Ж, V^N, £ = / + Д = SUp{ | (^ — р)2 —
е2ц v е м} = max((e - J)2, (е + ^н - е2 = 2^+ j2 > 21^.
Между тем для обеих оценок
sup{ |и(/) - ЦУ) 11 f е У, v е Л'} =
= sup{|u(7) - u(/O|| f ЕУ, V еД = 00. □
Неединственная и многозначная функция, определяющая модель идеального прибора. На практике зависимость параметров исследуемого объекта от сигнала / в ряде случаев может быть выражена многими функциями tz(/),/ Е Т. Множество U
всех таких функций, очевидно, выпукло, и при определении параметров объекта следует указать ту функцию и^ Е1Л значение которой Ц/) может быть точнее всего оценено как решение задачи на минимум. Поскольку отыскание и^ и описание класса Z7, как правило, задачи непростые, покажем на характерном примере, каким образом можно решать задачу наилучшего оценивания параметров объекта, не используя явный вид функции и^ и множества U.
Пример 2.1. Пусть требуется восстановить прямую £ СТ^2 по результатам измерений ^ = (^ ... ^т) точек, лежащих на £. Предположим, что результаты измерений имеют вид равенств ^ = ж^ + щ, г = = 1,...,ш, в которых ж^ 6 £, щ — сопутствующая погрешность, причем щ Е Я, г = 1,..., т, где JV — ограниченное множество в Тг2. Пусть £ = {ж Е ^.(п.х) = 1Ы|2}, гДе ^Hi^ = 1Ы|2, ж е 7^2, — уравнение искомой прямой, п — вектор нормали к £, ||п|| — расстояние от £ до начала координат. В этой задаче п = и^ — вектор «параметров исследуемого объекта», / = (жх ..., жт) Е (Г^2)т — измеряемый «входной сигнал» и при т > 2 можно указать сколько угодно Ц-), определяющих зависимость п = Ц/), / Е (Т^2)т • В следующей постановке задачи определения наилучшего приближения £^ прямой £ не используется явный вид функции и^ и множества U. Пусть
= sup{||r - n||| n € тг2, («,£;) = ||n||2,
ип — решение задачи на минимум: he (г <) = min he(r), т.е. пусть те — центр шара минимального радиуса, содержащего множество
^ = {п€7г2, (п,Жг) = ||п||2,
Тогда искомое наилучшее приближение £^ прямой £ будет определено уравнением (т^,ж) = ||т^||2, ж Е 7^2, если расстояние между прямыми £ и £ определить как \\п — п||. Этот пример является типичным
представителем широкого класса задач интерпретации измерений, в которых число измерений больше, чем требуется для однозначного определения значения функции и(-).
Вернемся к задаче интерпретации измерений, рассмотренной в начале §2. Если в ситуации, когда ЛГ(А) ^ {0}, отказаться от условия UN\A) = {0}, то, с одной стороны, множество U^ = {Uf, / G J £ = Af + zx, v Е .М} при Т = Т>(А) окажется неограниченным, а, с другой, — функция U f f Е Т станет многозначной функцией £. Действительно, если ^^(Л) ^ {0}, то, в отличие от равенства (2.3), теперь при Т С Т>(А)
Uf = UA~^ - и) + ПЯ(А), v Е Кт, (2.15) т. е. каждому v Е Ыт функция U ставит в соответствие множество (2.15). В общем случае, если априори / Е Т С Т)^А^ то Uf = = UffA-^ — v) + JV(A)) А ^), v Е Ыт. Здесь правая часть, будучи определенной на плотном в Ыт множестве Ыт А Т^А-^ считается доопределенной по непрерывности на все множество Ыт. В этом же смысле следует понимать множество U^ = и((А-(£,— JVt)-EJV(A)) АТ7), на основе которого решается задача интерпретации измерения £. При этом тот факт, что U — многозначная функция, не вносит ничего принципиально нового, поскольку в конечном счете для решения задачи интерпретации должна быть построена опять-таки многозначная функция £ —> Цг, см. также §4.
Пример 2.2. В прикладных задачах многозначные функции встречаются часто. Например, при взвешивании показание весов £ = = f Av. Здесь f = g(m — р^и), g — ускорение свободного падения, m — масса, г — объем взвешиваемого объекта, ро — плотность воздуха. Решение задачи интерпретации измерения £ состоит в определении «параметров исследуемого объекта» — т, г, множество которых «(/) = {(т,Ц / = g^m-pou), 0 < m ^pm-u, 0 < v ^vm, pQ ^р0 ^p0} определяется многозначной функцией и(-), заданной на множестве ^ = U = 9(m ~ /w), 0 < m < р^. pQ < ро < РоУ Значениями и(-) являются множества на плоскости ттг, г; рт, сш — максимальные значения плотности и объема взвешиваемого объекта, интервал [р0, р0] задает неопределенность значения плотности воздуха в момент взвешивания.
Задача редукции как задача линейного программирования. Рассмотрим задачу редукции (2.1), в которой
/ = ... € т = {/ е umi /д /,д з = Г ■ • - лпД
_д
v = ... е АГ = ^v е Пп, ^ < vt < vt, г = 1,..., п} =
={v е пп, v_ < v < т},
(
Пц . . . <11т\/^11 • • • wlm
ап1 . . . апт/\^kl • • • ^кт
где неравенства для векторов определены как неравенства для их соответствующих координат, и в Uk норма || • || определена равенством )
IIм - Г/|| = max |us -VusjJj\.l<s<k
1
Так как согласно схеме измерений (1.4)
& = ^aijfj + ^г, г = 1,... ,п,(2.16)
3 = 1
и выражению для Ы
Гг С £,г — ^ ^ aij /j ^ ГЩ 2 = 1, . . . , 71,(2-17)
3 = 1
то в задаче (2.1) требуется минимизировать по всем и =... EUk
погрешность редукции
7i(u,C) = sup{ max |us -'VUs3 Л'|| / G МД, W| С) C7£m}, (2.18) 1<8<&I
3 = 1
где
МД, Ml 0 = U eUm, Lj ^Л j =
• i i(2.19)
3 = 1
Иначе говоря, речь идет о задаче редукции h(u, U) ~ min измерения, выполненного по схеме (2.16), модель которого [Л,^7,^] определена множеством М(Н, JV\ ^) (2.19).
Следующая теорема позволяет свести задачу редукции h(u, U) ~ min к 2к задачам линейного программирования.
Теорема 2.1. Пусть
= max us; s =(2.20)
— 2A: решений задач линейного программирования (2.19), (2.20),
2 l^s^k
их
Wf) = 2 КД) + ^sO, s = 1,..., к.
Тогда
s^ = {и еак, дд. ius - моД)| ^ р(ей
— шар минимального радиуса р(^), содержащего множество u^u = Uh feM(J, Х| £)},
М1К)\
ио(€) =•••— его центр, т.е. согласно сказанному в нача-
Х^Ок^Ш
ле §2 uq(^) — решение задачи редукции h(u,U) ~ min, значение ^(^о(^)Х) = р(О оценивает погрешность редукции.
Доказательство. Так как согласно (2.18)
Н(щ U) = max sup{|us -T,usjfj\\ fM| 0}
l<s<A?
и множество
{Е^/л /еМ(А М| 0} = КК), «:^)1, з = 1,...м,
то
M£)=minsup{|us - EUsVll| / е М(А М| 0} =
= sup{|uOs(e - Ем^л1| /е m(j, mi о},
3 = 1
и, следовательно, min Н(щ U) = max hs(^). □ uEUkl^s^k
Замечание 2.3. Решение задачи h(u, U) ~ min , вообще говоря, не единственно. Решение, приведенное в теореме 2.1, позволяет определить минимаксную оценку каждой координаты (Uf)s, s = 1,..., k. и оценить ее погрешность, а именно, значение ио8^) оценивает координату (Uf)s с погрешностью \fUf)s — uqs^)\ ^ ps^) равномерно по f е М^, Af| Ц где ps^ = |(w*(e s = l,...,k.
Методы интервальной редукции. Как известно, операции сложения и умножения интервалов и, в частности, умножения интервала на число в интервальной математике (см., например, [106]) определены следующими равенствами [«1,02] + [^1^2] =
[°1 + &1 , П2 + ^2] , [&1 , ^2][°1 + &1 , П2 + ^2] , [&1 , ^2][^Ь^][^Ь^]ААmin (а» • bj), М = 1,2min (а» • bj), М = 1,2max (oj • bj)M = l,2max (oj • bj)M = l,2c-[ai,a2] =c-[ai,a2] =min (c-аЛ, max(c-aA2=1,22=1,2min (c-аЛ, max(c-aA2=1,22=1,2, и, как следствие, [ai, a2\ — [&i, 62] =, и, как следствие, [ai, a2\ — [&i, 62] =
[°1 + &1 , П2 + ^2] , [&1 , ^2]
[°1 + &1 , П2 + ^2] , [&1 , ^2]
[^Ь^]
[^Ь^]
А
А
min (а» • bj), М = 1,2
min (а» • bj), М = 1,2
max (oj • bj)
M = l,2
max (oj • bj)
M = l,2
c-[ai,a2] =
c-[ai,a2] =
min (c-аЛ, max(c-aA
2=1,22=1,2
min (c-аЛ, max(c-aA
2=1,22=1,2
, и, как следствие, [ai, a2\ — [&i, 62] =
, и, как следствие, [ai, a2\ — [&i, 62] =
= H, a2] + (-l)^i,62] = H - b2,a2 - by].
Любой интервал I = [a, b] можно определить, задав его центр с= = (а + Ь)/2 и полудлину I = (Ь — а)/2, поскольку а = с — Z, b = с + I. При таком определении I будем писать I ~ {с, Z}.
Пусть Ij = [ж^, Xj] {с^, Zj} , 3 = 1,..., s, и I = ayly + ... + asIs . Тогда, как нетрудно проверить,
(2.21)(2.21)~ {^2 аЗсН У^ laj К?}-
(2.21)
(2.21)
3 = 13 = 1
Охарактеризуем схему измерений (2.16) и ее модель [Л, Т, X] (см. (2.19)) в терминах интервальной математики. Обозначим/^ = [н,Г] =
=... , где IVi = Yv^Vi], г = 1,...,п, If = YfJ] =... L где
Vv^/ _\1 /
^fj — [/^ /jL 3 = 1, • • •, Согласно модели [Л, T, X], которую в интервальных обозначениях естественно записать как [Л, Zy, Iv] ^ в (2.16) априори щ 6 IVi £ = 1,..., п, fj 6 If5 з = 1,..., 777, и с учетом результатов ^1,... ,^п измерений, выполненных по схеме (2.16),
€г - ^г ^ 52 аУй < ^i - Ы-гЛ = "V, • ■ • ,п; f. < fj < fj, j = 1,... ,т.
3 = 1
(2.22)
Обозначим Xi = [^ — Щ, 6 — Г_г\ 1 ^ = 1,... ^п, и Ij — любой интервал, содержащий fj, j = 1,...,т. Тогда в силу условий (2.22) должны быть выполнены следующие включения:
^ ^ ^ijlj С Х^, г — 1,..., п; Ij С Ijj, j — 1,..., zu. (2.23)
Если Ij ~ ^cjJj^ j = l,...,77i, то согласно (2.21), (2.22) и (2.23) система линейных неравенств
тттт
£>г—1Л ^^ ^ij Cj —| aij | Ij < ^^ aij cj + ^^ | aij | Ij < 6,1 —Иг А = 1 ? • • • ? ^^
J = 1j = lj = lj = l
_(2.24)
f . < cj — Ij < cj + Ij < fj, 0 < Ij < 00, 7 = 1, . . . , 771,
задает область D(A, If, Iv |£) допустимых значений с =••• и
А \т
I =... , определенную результатом измерения £ и моделью
\AjhiJ\.
Рассмотрим вначале задачу редукции измерения (2.16) к прибору U = diag(l, !,...,!). Речь идет о задаче интервального оценивания вектора / 6 Нт при условиях (2.24), в которой требуется определить интервалы 1у,... Дт, удовлетворяющие условиям (2.23) и имеющие максимальные длины. Такие интервалы определят максимальную погрешность, а, следовательно, и гарантированную точность оценивания, основанного на данных измерений £i,...,£n, выполненных по схеме (2.16), и ее модели [A, If, Iv^, т. е. на данных, выраженных условиями (2.24). Если максимальные длины 1у,...,1т определить как решения т задач линейного программирования
max 1- = 1Д^\ j = \ т,(2.25)
то их решения с*(£), 1*(£Д 3 = А.,... ,т, совпадут соответственно со значениями u^jVfY , PjVCY 3 = Y ... ,тп, приведенными в теореме 2.1 и
ос Г1? если s =.
в замечании 2.3, если положить uSj = osj = <. . s, 3 =
если s А 3,
= 1,... ,т = к.
Найденные таким образом интервалы IjQ^ {с^(^), ^(^)}, j =1,...,т, являются интервалъними оценками координат
fj Е !*(£,), j = 1,...,т, вектора /, при этом оптимальной оценкой координаты fj является центр с^ (£) интервала If ^ а его полудлина 1*(^) оценивает максимальную погрешность, \ fj — с*(^)| ^ /*(^), и тем самым определяет гарантированную точность интерпретации c*j ^ как значения fj, j = 1,..., т.
Если максимальные длины интервалов 1\,... ,1т определить, ре-
шив задачу линейного программирования
V L max ,(2.26)
то ее решение cj(^), Zj(^), j = l,...,m, определит интервальную
оценку 1(C) =... вектора f =... , f E 1(C) 6 кото-
Am(C)/\fm/
рой Ij(C) ~ {cj(C)Jj(€)}i 3 = l,...,m, причем вектор c(C) =
=... оценит / с гарантированной точностью, определенной
\Ст(С)/
неравенством
Е^-ДО! ^tf).(2.27)
3 = 13 = 1
Поскольку, как нетрудно видеть, 1ДС) С Д(С), 3 = l^.^m, решение задачи (2.26) не оценивает с гарантированной точностью координаты /, а решения задач (2.25) не оценивают с максимальной гарантированной точностью вектор / «в целом».
Замечание 2.4. Если А в модели \А,ДДи\ — невырожденная
матрица т х т, то1) f, = Ea7jte “ Vil 3 = Г--,"*, гДе «f^ г=1
ул = 1,...,ш, — матричные элементы матрицы А-1. В этом случае решения задач (2.25) и (2.26) совпадают, причем I*(C) = Д(С) —
интервальная оценка /^, j = l,...,m, F(C) = ЦС) =—
\1т(С)/
интервальная оценка /, где Д(С) = If5 П1ДС), Д(С) ~ {cj(С) Jj (С)} , ЛО = ^7лЛЛ1^+Л/ЛЛ0 = Е|а-|(7^-1/Д2, j = l,...,m, г=1г=1
т. е. в этом случае интервальные оценки определяются аналитически в явном виде. При этом «точечной» оценкой Д является центр сДС) интервала Д (С), а его полудлина lj (С) определяет ее максимальную погрешность, Ij^ ~ VAOJAOL 3 = 1, ■ • - ,m.
В общей задаче интервальной редукции измерения, выполненного /Нц . . . i/im\
по схеме (2.16), задана матрица U =... оператора, моде-
х) при условии, что модель ДД-^ДА не противоречит результату изме
рения С = Af + v, fj = У2 a7i(Ci — Ui) Е Ifj , j = 1,..., m, при некотором г = 1
V el.
лирующего идеальный измерительный прибор, и требуется наиболее точно оценить его отклик
(2.28)
/Л\
на входной сигнал / =... , измеренный в (2.16) с помощью при
бора А.
Пусть задана модель \АД^Ди\ схемы измерений (2.16) и соответственно модель \АД^Ди1и\ интерпретации измерений, выполненных по схеме (2.16). Если /j G Ij С Д5 , j = 1,... ,m, то в (2.28) и8 Е Us, s = 1,..., к, где интервалы U±,... ,Uk определены равенствами
U8 — ^si-^i Т ... Т wsm/m, s — 1,..., к.(2.29)
согласно которым
(2.30)(2.30)
(2.30)
(2.30)
где как (2.24) Ij ДдЦД j = 1,...,m.
Рассмотрим задачу редукции, в которой как в задаче оценивания (2.26) будет получен результат с гарантированной точностью. Речь идет о задаче на максимум (см. (2.29), (2.30))
У? У? \nsj Vj3 = 1 i=lУ? У? \nsj Vj3 = 1 i=lmax ,max ,(2.31)(2.31)
У? У? \nsj Vj
3 = 1 i=l
У? У? \nsj Vj
3 = 1 i=l
max ,
max ,
(2.31)
(2.31)
которая является задачей линейного программирования.
Теорема 2.2. Если Cj(^), 1ДД , j = 1,... Dm, — решение задачи (2.31) и
s = V...A,(2-32)
3 = 13=1
—найденные при этом интервали значений us, s = 1,... Д, то решением задачи интервальной редукции измерений (2.16) к прибору U
следует считать интервальную оценку П(Д =... значения
Uf отклика идеального прибора U на входной сигнал /, измеренный
по схеме (2.16) на приборе А. При этом вектор
(ХПЛ оценивает выходной сигнал ... прибора U с гарантированной
ЧиПк/ точностью, определяемой максимальной погрешностью интерпретации и^) как значения U/, которая согласно (2.31) и (2.32) оценивается неравенством кткт
w - он = £ Е - <0)1 с £ £ s=l j=ls=l j=l
Если исследователю доступны априорные интервальные оценки значений (Uf)s, s = 1,...,к, а именно, если априори известно, что и8 € Iu8 = [lls^sL 8 = 1, •••,&, то, поскольку искомые интервалы Ui,... ,Uk (см. (2.29)) должны содержаться соответственно в интервалах 1иг, . . . , IUk, при решении задачи (2.31) к условиям (2.24) следует добавить условия
тттт
Us < ^^ UsjCj — ^^ \usjVj < ^^ UsjCj + ^^ \usjVj < ^s S = 1, . . . , к.
3=1з=1з=1з=1
(2.34)
Обозначим 1и = |] и D(A, If, Iv, In|^) область возможных
Vuk /
значений (с, Z), определенную условиями (2.24) и (2.34). Тогда задача интервальной редукции сводится к следующей задаче линейного программирования
и поскольку D(A, If, Iv, In|^) С D(A, If, Iv |£), то с учетом условий (2.34) гарантированная точность редукции, вообще говоря, возрастает.
Заметим, что в рассмотренных задачах редукции всегда имеется возможность проверки адекватности как модели \A,If,Iv\ схемы измерений (2.16), так и моделей [A, If, Iv, Iu, 1Г\ и [A, If, Iv, U\ интерпретации измерений, а именно, модели \A,If,Iv"\ и [A, If, Iv, U\ противоречат результатам измерений ^i,..., ^n , если множество
D(A, If, Iv|£) , определенное условиями (2.24), пусто, аналогично модель [А, If, Iv,1и, 1Г\ неадекватна, если пусто множество D(A, If, Ip, In|^), выделенное условиями (2.24) и (2.34).
Аналогично может быть проверено на непротиворечивость любое предположение о коридоре [ns,i/s], s = 1,..., к, если его рассматривать не как априорные данные, а как гипотезу исследователя о тех или иных особенностях сигнала (2.32) (ср. с §8.2 гл. 5).
Оценивание функциональной зависимости как минимаксная редукция измерения. Рассмотрим следующую схему измерений, характерную для задач анализа функциональных зависимостей в экспериментальных данных
^ = Р^П^,(2.35)
Ci = Zi + Цг, 7 = 1, ... ,77.
В равенствах (2.35) ^ и ^ — искаженные ошибками ц^ и щ результаты измерений значения аргумента Zi и соответствующего значения Pf(zt) функции Fy(-) : 7ti —> 7^1, зависящей от параметра / =
=... G Т, значение которого неизвестно и должно быть оценено
на основе измерений ^ и ^, г = 1,..., п, и другой доступной информации. Определим модель схемы измерений (2.35), согласно которой
Иг^^г^^й 1^ С Pi С Pi? 7 = 1,..., 77,(2.36)
f • С fi С f i? 3 = V • • • ?m?jJJ ' e/77 7
причем границы ^, Vi, pi., pt, % = 1,..., n, и / ., fj, j = 1,... ,m, — известны.г3
Пусть для определенности
Pf^=h+hx + ... + fmxm"1, XEUv(2.37)
Тогда, согласно схеме измерений (2.35) и ее модели (2.36)
& - vt 52 hzA
Ci Pi ^ ^i ^ Ci Р^? ^ — 1, • • • ? ^?(2.38)
Запишем схему измерений (2.35) и условия (2.20) в векторных обозначениях:
С = AJ + V,(2.39)
С = г + ц,(2.40)
/^/^7,(2.41)
(2.42)
где
рДЛ?дЛ//л
€=- А ,/ Л.
\\—1 /\ f /
xsnz/\Jm/
/^\ /мА /G\
\Р"П/\Сп /
векторы р, р, v, v Е Пп и /, / Е Кт заданы, Т = {/ Е Нт, / ^ f ^ f, } , и неравенства для векторов в (2.41) и (2.42) определены как неравенства для соответствующих их координат в (2.38).
Представим задачу оценивания функции Еу(-) на основе измерений (2.35) и их модели (2.36) как задачу редукции измерений (2.39), (2.40) (с неточно заданным оператором Л) к выходному сигналу U f идеального прибора U. Если в задаче оценивания Еу(-) требуется оценить значения полинома (2.37) при х = яд,..., яд (одновременно), то
/ Ху яд ... яф^Х
U = ,(2.43)
Хк . . . хк у
и соответственно U = diag (1,..., 1), если требуется оценить вектор Т.
Обозначим ^(^^г) множество векторов / Е Нт1 удовлетворяющих условиям (2.41) при фиксированном г Е КП) удовлетворяющем условиям (2.42), и рассмотрим задачу редукции измерения (2.39), модель которого (при фиксированном Л) определена условиями (2.41), к Uf для U, определенного равенством (2.43).
При фиксированном г Е Нп, удовлетворяющем условию (2.42), матрица Л в (2.39) фиксирована, и речь идет о задаче редукции
h(u, U, ^ (^ ~ min ,(2.44)
в которой (ср. с (2.18))
= sup{im^ |us - ^Л®Г1|| / € Г^фУр (2.45)
т/^1 \
гДе 53 Л'ж5-1 = (UP)S, s = 1,..., к, см. (2.43), и = I • ■ • I е ^.
j=1\ик/
Согласно теореме 2.1, решение задачи (2.44), (2.45) может быть получено на основе решений 2к задач линейного программирования
иА^АА тах\ s = l...,A\
В том частном случае модели (2.42), когда значения zi,...,zn известны точно, т.е. когда Д = /л = 0, значения n*s(£, ^|г) |^_^ и п*^ С1г) L-<’ 8 = 1>--->^ определяют решение задачи оценивания полинома Fy(-), а именно,
моД,Ф)|2=(. = ^(iM£,CM|z=< + иЖФ)|2=<)
оценка значения полинома Fу (ж) при х = х8, а
^к,с1^)|2=с = ^Ыьф^-^жиЦ
оценка погрешности оценивания ¥j(xs) значением ио8(А ^|г) |^_^ , s = 1,..., к.
В общем случае речь идет о задаче редукции измерений (2.39), (2.40) (с неточно заданным оператором Л), и для решения задачи оценивания Ff(x8), s = 1,..., к. следует вычислить
w*s(^C)~ _minu^g^^VY
МЖ<)~max«ЖСШ
и определить
«оД€,О =<)+<(£,<))
в качестве оценки значения ¥j(xs) и
psU, о = ^*а^ о - и*(е о)
в качестве оценки сопутствующей погрешности, s = 1,..., к. Вместе с тем, если |J «^(^Cl^) = 0, то модель (2.36) схемы изме
рений (2.35) противоречит результатам измерений £, (.и рассматриваемая задача оценивания функциональной зависимости не имеет решения.
3. Нелинейная минимаксная редукция для стохастических моделей
Пусть известны «сквозная» математическая модель системы «измеряемый объект - среда - прибор» и модель системы «исследуемый объект - среда». В частности, пусть известны операторы А и U, действующие в должным образом определенных евклидовых пространствах: А G (Н -У П\ U G (Н -У U). Шум v определим как случайный элемент евклидова пространства Tt^ причем будем считать, что
известны его ковариационный оператор Е и математическое ожидание Е v = 0.
Как правило, «сквозная» модель измерений обязывает нас считать, что входной сигнал / в равенстве (0.1) априори содержится в известном множестве Т CR. Последнее определяется либо физическими свойствами / и соответствующими ограничениями на энергию, диапазон частот и т.п., либо динамическим диапазоном измерительной аппаратуры, вне которого ее модель не верна. В этом случае качество редукции R^ будем характеризовать величиной sup Е ||Я£ — Е//Ц.
В рассматриваемом ниже случае R^ = R^ — s, где R — линейный оператор1), действующий из R в U , з — элемент Z7. Задачу редукции рассмотрим в следующей минимаксной постановке [81]
h(R, s, U) = sup Е\\R£ - з - [//||2 =
= sup ||(ЯЛ — U^f — s112 + Е ||Яг/||2 ~ min . (3.1)
Поскольку далее рассматриваются множества Т, симметричные относительно /о G Т72), следующий факт полезен при решении задачи (3.1).
Лемма 3.1. Пусть Т — ограниченное и симметричное относительно foEF множество в R. Тогда для любого линейного ограниченного оператора В, действующего из Т в U,
inf sup \\BJ - s|| = sup \\B(J - /0)||, sEU fEBfEF
то есть Bf0 — центр шара минимального радиуса, содержащего множество ВИ, см. §2.
Доказательство. Так как
||B/-S||2 = ||B/-S1||2 + ||S2||2,
где si Е R(B) и 82 Е R-(В), то
inf sup \\Bf - s|| = inf sup \\Bf - si|| = inf sup \\B(J - g)\\.
sEUsiETt(B) ^eT9^ fEF
Функция ф^ = sup ||B(/ — p)||, g ER, обладает следующими свойст- fEF
вами:
в силу ограниченности Т : 0 < ф(д) < ею, д Е R.
') Область определения R содержит А(Т) С R(A) и 7ДЕ1/2) — пространства значений операторов Л и S1/2 соответственно.
(Д-) — выпуклая функция, ибо
^agi + (1 - Д92) ^ sup{a||B(/ - yi)|| + (1 - а)||В(/ - 92)||} КТ
a sup ||В(/ - gi)|| + (1 - a) sup ||В(/ - 92)|| = КТКТ
= а<Д91) + (1-а)Д92), 91, 92 С Д 0 а 1.
Для любого / € В 2/0 - / С В, Дд) = sup ||В(/ - д)\\ = КТ
= sup ||В(2/о - / - 9)11 = Д2/о - д).
feT
Поэтому для любого д ER
Що) = Д(1/2)д + (1/2)(2/о - 9)) ^ (1/2М9) +
+ (1/2М2/0 -9) = ^(9),
т.е. ттДд) = Д/о). □
geTt
Эта лемма упрощает постановку задачи (3.1), показывая, что для ее решения достаточно определить R = R* из условия
inf[sup \\(RA - U)U - /о)112 + tr (ДУЯ*)] =
= 8ир||(ЯЛ-С)(/-/о)||2+1гЩУЯ:) =/гЩД).(3.2)
Обозначим RYY^ = У, Е-1/2Л = К. Всюду в дальнейшем оператор К предполагается плотно определенным (и замкнутым), поэтому RA = YК, где черта над оператором означает замыкание1). В новых обозначениях согласно задаче (3.2) требуется определить оператор У* из условия
min sup ||(УК — Д)(/—/о)||2 + tr (УУ*) у Lfe^.
= sup \\(YJC - иш - /о)112 + tr (КД*). (3.3)
Лемма 3.2. Пусть Y* — решение задачи (3.3), П/< и П^у — ортогональные проекторы на Н(К) и R(U) соответственно. Тогда У*П/< и П^/У* — таксисе решения задачи (3.3).
Доказательство. Поскольку
Щ) = sup Ц(уТм - W - /о)||2 +
КТ
+ tr (УП^У*) + tr (У(/ - ПАфД Ь(УПк),
В данном случае НА — непрерывный оператор, и черта означает продолжение YК по непрерывности.
то ЫУЗ = inf Ь(У) Ь^Пк) inf b(YXlK).
С другой стороны,
Ь(ЫЫ ^ inf &(УПК) = yjnfn^ b(Y) ^ inf b(Y) = b^\
Следовательно, b(Y*) = ЬДДк) • Далее,
Щ) = 8пр{||1ЩУХ - U^f - /о)||2 +
+ ||(Z - П£7)(УАг - U^f - /о)112} + tr (ЩгУУ*) + tr ((I - П[/)УУ*) sup 11^(7^ - иш - /о)II2 + tr (ЮУУ*) = ЬД^У),
откуда точно так же получим, что b(У*) = ЬДиД) • □
Замечание 3.1. Если R* — решение задачи (3.2), то IIuR* — также решение задачи (3.2), причем этот результат не связан с ограничением на качество оператора К = Е1//2Л.
Редукция типа Кукса—Олмана. Для «одномерных» U леммы 3.1 и 3.2 позволяют получить решение задачи (3.1).
Пусть, например, U — линейный непрерывный оператор, причем rank U ^ 1. Всякий такой оператор имеет вид
Uf = uWV f^F,(3.4)
где и и v — заданные элементы U и R соответственно. Согласно замечанию к лемме 3.1, решение задачи (3.2) следует искать в виде
Нх^хД^хУ х 6 R,(3.5)
где элемент t должен удовлетворять условию (3.2). Так как tr^RYR*) = HulHlS1^^ ц(дл _ ад _ /о)ц2 = ||м||2ад_ —г, / — /о)2 , то для определения t Е R получаем следующую задачу: sup(AT - v,/ - /о)2 + ||S1/2t||2 ~ min.(3.6)
Если, в частности,
R=UER, ||G(/-/o)||2^1},(3.7)
где G — линейный плотно определенный замкнутый оператор, такой, что оператор D = (С*СУ^2 имеет ограниченный обратный D1 . го х)
8пр(ЛД —г,/ —/о)2 = sup (A*t — v,D~rx)2 = ||Z)-1(H*t — г)||2. (3.8) /е^iNl^i
Следовательно, решение t = t* задачи (3.6), (3.7) удовлетворяет уравнениюоо
ДП”2А* + E)t, = AD-2x.
HC(/-/o)|| = ||D(/-/o)|b fER.
Пусть оператор S = AD 2 А* + Е имеет обратный S 1. Тогда S-l/2Sl/2 и g-l/2AD-l — ограниченные операторы (равно как и соответствующие сопряженные EV2S-1/2 и D-1A*S-1/2) [5], поэтому элементAD^v а следовательно, и элементы Е1/2^ и
D[ A*t* , фигурирующие в выражениях (3.6) и (3.8), определены при любом v Е R. Из сказанного согласно равенствам (3.4) и (3.5) следует, что искомый в (3.2) оператор редукции
R = R* = UD-^A^S-1/^-1^,(3.9)
редукция измерения £, отвечающая решению задачи (3.1), дается выражением
R^Uf0-R*Ab(ЗЛО)
и сопутствующая погрешность
ЦК^П) = HD"1^2 - HS-ra^p^vll2 =
= tr (UVD"2 - 'DZ^A*S^S-1/2AD-2]U*).
В конечномерном случае выражение (3.10) известно как оценка Кукса-Олмана [27], см. также §2 гл. 3.
Нелинейная минимаксная редукция в случае оператора U конечного ранга. Продолжим изучение задачи (3.3), (3.7), следуя работе [81]. Если
De^R^RY D^-f^gER.
RY1/2 = Y, Y^AR-1 = В, UD-1 = V,(3.11)
то задача (3.3) запишется следующим образом
h(Y, V) = \\YB - V112 + tr (YY*) - min .(3.12)
Положим
X = V — YB.(3.13)
Поскольку оператор В плотно определен и замкнут, решив уравнение
(3.13) относительно У, найдем
Y = (V -Х)В- + zy - "ВЁР\(3.14)
где Z — любой оператор, действующий аналогично У, В — оператор, псевдообратный к В (см. [16], [5]). Однако, поскольку ||УВ —У|| от Z не зависит, а
tr (УУ*) = tr ((У -X)Q(E -X)*) + tr ^Zy - BB")Z*)
>tr((E -X)QE -X)*),
где Q = (BB*)-, то при решении задачи (3.12) можно считать, что в (3.14) Z = 0. Относительно оператора X получаем следующую
задачу:
s(X) = | Д || + tr ((V - X)Q(V - X)*) ~ min , (3.15)
в которой условие (X — У)(1 — ВВ) = 0 обеспечивает разрешимость уравнения (3.13) относительно Y.
Как известно, любой ограниченный линейный оператор У можно представить в виде так называемого полярного разложения
V = 1у | V |,(3.16)
в котором |V| = у*У^^ — положительный квадратный корень из У*У, называемый модулем оператора V, а 1у — частично изометрический оператор1), у которого N\Ty) = N\V) = JVdVI), В(1у) = = В(У). При этом lyly — ортогональный проектор на Н(У) (т.е. lyly = Пу), lyly — ортогональный проектор на НУ*) = 7Д|К|) = = У^У) и |V| = IyV. Воспользуемся этими фактами, чтобы упростить задачу (3.15).
Лемма 3.3. Пусть Z* — решение задачи на минимум
Z(Z) = ||Z||= + t.r(((Z - |V|)Q(Z - |V|)«) ~ ™п „ У-17)
Тогда X* = IyZ* — решение задачи (3.15); оператор Ту определен в равенстве (3.16).
Доказательство. Согласно лемме 3.2, в задаче (3.15) оператор X можно считать удовлетворяющим условию TylyX = X. поэтому
з(МД) = ЦЛЩХЦ2 + tr yivXX - V)Q(IvI*vX - vy) =
= ||Z||2 + tr ((Z-|V|)Q(Z-|V|)*) = yzy
Здесь Z = IyX X = IyZ (коль скоро H(X) СТДК), как следует из леммы 3.2 ), а также использован тот факт, что ТЦТуХ) С 7ДК*) и ||/уж|| = ||ж||, если ж е КУ*)
Рассмотрим вначале важный частный случай задачи (3.17), в котором В*В — компактный невырожденный оператор2), |К| — оператор конечного ранга, причем — функция В*В. Пусть {еД — ортонорми- рованный базис Н^ состоящий из собственных векторов оператора ВВВ*Ве,=^, ^2>0, j = l,2,...(3.18)
Д По определению, для частично изометрических операторов Ту и Ту : (ТухДуу) = Уу)^ если х, у 6 7ty*^ и (1ухДуу) = (ж,?/), если х.у е7г(У); очевидно, что ||/у|| = ||/у|| = ||/у/у|| = ||7y/v|| = 1.
Тогда
Qej = q^ejl q]=Pp j = l,2,...,(3.19)
|Г|е, = vjej, Vj ^0, j = 1,2, ...,m,..
Di = 0,% = m + 1,..., rank |У| ^ m.
Лемма 3.4. Пусть
P^D = max 4 + ^2 qk^k-Vky.(3-21)
k=l
где z = (zi,...,zm) и z* — точка минимума р^ на множестве z > 0 х). Тогда оператор Z* , определенный равенствами
Z*Cj — z*jCj , у — 1 ? 2?... ? т,(3.22)
является решением задачи (3.17).
Доказательство. Поскольку, очевидно, minp(z) = min p(z), z^Ov^^^o
где v = (щ,..., ит)*, и неравенство d ^ z означает, что Di — Zi ^ 0, г = 1,...,т, то задача p(z) ~ min имеет решение,
ибо р(-) — (выпуклая) непрерывная функция на Нт а множество 0 ^ z ^ d — (выпуклый) компакт в Нт. Для Z(Z) (3.17) найдем
l^ ^sup||Zefc||2 + y IKZ-lVDe1^^^ max \\Zek\\4
+ У QkWZek -^еА||2 ^ max WZe^ A-^qkk\\Zek\\ - vkf. (3.23) k=lk=l
Следовательно, (см. (3.21)),
inf l(Z) ^ пйпр(г) = p(z*).(3.24)
Определим оператор Z* равенствами (3.22). Поскольку при Z = Z* неравенства в (3.23) превращаются в равенства, то infZ(Z) l(Z*) =
= p(z*). Отсюда и из (3.24) следует, что minZ(Z) = l(Z^) = = p^z^. Для завершения доказательства осталось заметить, что в рассматриваемом случае невырожденного оператора В*В условие ^Z — \V\^I — Hq) = 0 в задаче (3.17) удовлетворяется тождественно, так как nQ = I.□
В свою очередь решение задачи на минимум p(z) ~ min дается следующей теоремой.
0 Для z = (zi,..., zm) неравенство z ^ 0 означает Z3 ^ 0, j = 1,..., т.
Теорема 3.1. Упорядочим базис {еД в (3.20) так, чтобы собственные значения vi,... ,ит оператора |У| удовлетворяли условию
(3.25)(3.25)0 = и0 ^vm < um_i < ... < Щ.
(3.25)
(3.25)
Тогда решение задачи р^ ^ min будет иметь вид
где функциягде функцияМг*), j = i,...,e, pj, j = t* + l,...,mМг*), j = i,...,e, pj, j = t* + l,...,mw(i) = Е^^/(1 + Е^2)w(i) = Е^^/(1 + Е^2)(3.26)(3.27)(3.26)(3.27)
где функция
где функция
Мг*), j = i,...,e, pj, j = t* + l,...,m
Мг*), j = i,...,e, pj, j = t* + l,...,m
w(i) = Е^^/(1 + Е^2)
w(i) = Е^^/(1 + Е^2)
(3.26)
(3.27)
(3.26)
(3.27)
определена для t, удовлетворяющих условию w(t) < щ, t = = 1,..., т, и
Н = min^t^+i ^ w(f) < щ^ = min argmax{w(t),
vt > w(t^ (3.28)vt > w(t^ (3.28)1 ^ t m,
vt > w(t^ (3.28)
vt > w(t^ (3.28)
— минимальное значение аргумента w^, при котором w(t) ^max:
(3.29)(3.29)min p(z) =p(z^ = ^ q^v^ - ГлГ 1 + EX/2=1С=1 J L 2=1 J
(3.29)
(3.29)
Доказательство. Как известно (см. [82]), для того чтобы функция р(-) (3.14) достигала минимума в точке г* множества г ^ 0, необходимо и достаточно, чтобы нашелся вектор (Ai,..., Хт , Ц1,..., цт), такой, что
k = 1,..., т*,
А^ ^ 0, г = l,...,m, ^ZA^ = 1, причем А^ = 0, если ^- < max г?, у = 1,...,ш; 3) }13 ^ 0, ^3^*3 = 0, j = 1,..., т.
Согласно условию 1)
XkZ*k + qk\z*k - ffe] - Цк = о, fe = l,...,m,(3.30)
откуда следует, что
к = 1,2,...,ш.(3.31)к = 1,2,...,ш.(3.31)_ Qkvk + Цк
к = 1,2,...,ш.(3.31)
к = 1,2,...,ш.(3.31)
^*к\ I 2
Если в (3.31) Vk = 0, то z*k = Цк/\^к + qk\ и согласно условию 3) ц^ = 0. Если в (3.31) Vk > 0, то z*k > 0, и согласно 3) опять ц^ = 0.
Следовательно,
q^kXk+qPq^kXk+qPk = 1,2,.k = 1,2,.т.т.
q^k
Xk+qP
q^k
Xk+qP
k = 1,2,.
k = 1,2,.
т.
т.
Учитывая порядок собственных значений, принятый в (3.25), согласно условиям 2) надлежит исследовать условия
О = Г0 << • • • <<О = Г0 << • • • <<q^tXt + Qtq^tXt + Qt91^1Ai + <^91^1Ai + <^= w(0-= w(0-(3.32)(3.32)
О = Г0 << • • • <<
О = Г0 << • • • <<
q^t
Xt + Qt
q^t
Xt + Qt
91^1
Ai + <^
91^1
Ai + <^
= w(0-
= w(0-
(3.32)
(3.32)
Так как в (3.32)
(3.33)(3.33)(q^Vj/w^t) - q^, j = V---,e (0,j = t + 1,... ,m,
(3.33)
(3.33)
и 52 Ai = 1, TO
tw Д = У q^iZ—1tw Д = У q^iZ—1Z—1
t
w Д = У q^i
Z—1
t
w Д = У q^i
Z—1
причем должны быть выполнены условия
Di > w(t), г = 1,2,..., С t = 1, 2,..., m,
эквивалентные неравенствам
Dt > w(t), t = 1, 2, . . . , 771, обеспечивающим положительность А^, г = 1,...Д, (3.33) и определяющим область задания w(-) (3.2). Заметим, что
w(t + 1) — w(t) =w(t + 1) — w(t) =■ £+1 ■i + E^_Z=1 _■ £+1 ■i + E^_Z=1 _&+1 [Wi ~«Д + 1)]&+1 [Wi ~«Д + 1)]i + Ь. z=l .i + Ь. z=l .(3.34)(3.34)
w(t + 1) — w(t) =
w(t + 1) — w(t) =
■ £+1 ■
i + E^
_Z=1 _
■ £+1 ■
i + E^
_Z=1 _
&+1 [Wi ~«Д + 1)]
&+1 [Wi ~«Д + 1)]
i + Ь
. z=l .
i + Ь
. z=l .
(3.34)
(3.34)
Определим w(0) = 0. Очевидно, w(l) < щ и, если w(l) ^ Г2, to t* = 1 — искомое значение t*, удовлетворяющее условию (3.32). В случае равенства w(l) = ш согласно соотношению (3.34) будет выполнено равенство w(2) = w(l) = Г2, но t* = 2 исключается условием А2 > 0 в (3.33), которое должно выполняться в таком случае. Если w(l) < Г2 , то следует «добавить массу q^ в точке ?д », после чего найдем, что w(2) > w(l), так как Г2 > w(l), и w(2) < Г2, ибо А2 = = Q2 [^2 — r;(2)]/w(2). Если w(2) ^ гд , то t* = 2 — искомое значение t* , удовлетворяющее условию (3.32). Это рассуждение показывает, что искомое t* = min{t,w(t) ~ max}. Доказательство равенства (3.29)
сводится к проверке того, что [w(t*)]2 + 52 qtV^i — г;(У)]2 совпадает с z=l
правой частью в (3.29), см. также §7.□
Замечание 3.2. Равенство (3.27) допускает механическую аналогию, поясняющую суть дела. Пусть в точках с координатами 0 =
= ^о ^ ^т ^ • • • ^ ^1 на прямой расположены соответственно массы 1 = Qq, ... д^, ..., д2 . Тогда w(t) (3.27) — координата центра масс
1 = 9о, • • •, 9m, ■ • ■, 91 : "Л) = Е 9^1 Е 91•
г=04=0 J
Замечание 3.3. При низком уровне шума, при ЦЕ1/2!! -4- 0 : w(t) -4 0, t = 1,2,...; t* -4 m; z*j — w(t*) -4 0, j = 1,..., m. При высоком уровне шума, при '^ll -4 0, если гх = щ = ... = Vk = = ||У||, то t* -4- k, Z*j -4- Г1 = ||У|| , j = 1, . . . ,771.
Случай компактного оператора V. Поскольку w(t) монотонно не убывает при w(t) < щ, t = 1, 2,..., то теорема 3.1 верна и в случае компактного оператора V, когда в (3.20) т = сю и г^ —> 0; 3 —> сю. При этом Н < сю.
Что касается задачи (3.12), то, как нетрудно убедиться, имеет место следующий результат, дублирующий теорему 3.1.
Теорем а 3.2. Если В uV вполне непрерывные операторы, причем У*У — функция В*В и последний оператор невырожден, то решение задачи (3.12) имеет вид
Y* = [V - w(E)Iv]Q(QB\(3.35)
где
QWej = lq1e^ УУ'^ w(t)=tr(Q№|y|)[l + trQ(t)]-1, (3.36)
t* — минимальное значение t, при котором w(t) = нюх w(t); ly — частично изометрический оператор, определенный в (3.16). При этом
т(У) = тш{||УВ- У||2+1гУУ*} =
= tr(VQ(t*)V*) - Ht*)]2[l+trQ(£*)L (3.37)
Следствие 3.1. Если V*V = Щ — ортогональный проектор на линейную оболочку £(ei,..., е^ , то
= VQMB-= lrQ№
1+ «?(!)’1 '1 + trQW
Нелинейная редукция в случае вырожденного оператора модели измерения. Если оператор В*В вырожден, решение задачи (3.15) несколько усложняется. В этом случае некоторые 3^ в (3.18) и соответствующие q^ в (3.19) равны нулю. Пусть J = = {У <й = 0, з = 1,2,...}, w = тах^ . Если учесть соглашение
то w = Uj0, где jo = min j. Поскольку в задаче (3.15) условие
^Z — \V\^I — Hq) = 0 означает, что
г^=щ, если ^ = О, А: = 1,2,..., (3.38) то в случае вырожденного В*В вместо задачи р^ ^ min, решение которой дано в теореме 3.1, получим задачу
р^ = max[w2, max ^] + У^ Q> [^J — ^j^ min(3.39)
Здесь J+ = {7, q? > 0, 7 = 1,2,...}. При решении задачи (3.39) кроме условий
Xkz«k + qkV*k - f^ - № = о, к е J+, аналогичных условиям (3.30), должно быть добавлено еще одно: Xj0 • 0 — pj0 = 0, означающее фактически, что в рассматриваемом случае 52 ^к С 1 > поскольку априори 0 ^ AJO ^ 1 и 52 ^& + Xj0 = 1. keJ+keJ+
Пусть в равенстве (3.28) t* < 7'0, т.е. w(A*) ^ w. Тогда г* (3.26) удовлетворяет условиям (3.38) и является решением задачи (3.39). Если же t* ^ jo, то w(A*) < w и г* не будет решением задачи (3.39). В этом случае Ai,..., A^-i должны быть определены из условий
0 ^ ... ^ yJo+i ^ vjo =0 ^ ... ^ yJo+i ^ vjo =ql-iVj0-i^0-1 + ql-iql-iVj0-i^0-1 + ql-iAi + <^Ai + <^
0 ^ ... ^ yJo+i ^ vjo =
0 ^ ... ^ yJo+i ^ vjo =
ql-iVj0-i^0-1 + ql-i
ql-iVj0-i^0-1 + ql-i
Ai + <^
Ai + <^
^o+i - Лл+2 -... - о,
согласно которым
Jo-1
Е А* = Е^-1^1-^1-(3-4°)
kEJ-\- к=\
Итак, в случае вырожденного оператора В*В теорема 3.1 модифицируется следующим образом.
Теорема 3.3. Пусть jo = min{7, q^ = 0, j = 1,2,...} или jo = = 0, если q^ > 0, j = 1,2,... Если в (3.24) t* < jo, то г* (3.26) — решение задачи (3.39). В противном случае, когда t* ^ jo, решение задачи (3.39) дается равенствами
Z*3 —Z*3 —W = rJO,W = rJO,3 =7 = 7о + 1,...3 =7 = 7о + 1,...
Z*3 —
Z*3 —
W = rJO,
W = rJO,
3 =
7 = 7о + 1,...
3 =
7 = 7о + 1,...
При этомПри этом
При этом
При этом
J0-1
min рЦ) = ^о + ^ q>j ~ vjo]2.
Аналогично расширяется теорема 3.2.
Замечание 3.4. Если ^(В) САДУ), т.е. если V (I — В В) = 0, то w = шахг^ = 0, ибо равенство qj = 0 в этом случае влечет t>j = jEJ
= 0, з = 1,2,.... Следовательно, если V (I — В-В) = 0, то решение задачи (3.39) дается теоремой 3.1.
Нелинейная редукция для измерительных преобразователей первого порядка1) Важный класс измерительных систем образуют так называемые измерительные преобразователи (ИП) или датчики (температуры, давления, ускорения и т.д.), [6]. Простейшим примером может служить ИП первого порядка, выходной сигнал которого v(£) в любой момент времени t Е [О, Г] определяется как решение задачи Коши
od)(t) + ^с^ = /Д), 0 < t < Г, г(0) = 0, v=dv/dt. (3.41) Здесь [О, Г] — промежуток времени, в течение которого измеряется входное воздействие /(•), например, температута, влажность среды, разность потенциалов (см. рис. 7.4), и по результату измерения £ = = D^-Vv^t^ 0 ^ £ ^ Г, требуется как можно более точно восстановить известную функцию U^ входного воздействия, т.е. U f^t\ 0 ^ t ^ Т.
Рис. 7.4. Схема измерения ЭДСгенератораля интересует ЭДС генератора,Рис. 7.4. Схема измерения ЭДСгенератораля интересует ЭДС генератора,им m ф с юим m ф с юРешение задачи (3.41) при ^ = 1 описывает закон формирования сигнала на выходе гс-цепи (ИП первого порядка), г(-) — напряжение на емкости величины с, а = тс = d — постоянная времени ИП, /(•) — входной сигнал ИП — разность потенциалов между точками «1» и «2» (при отключенном ИП равная ЭД С генератора), р — внутреннее сопротивление генератора. Исследовате- но измерение разности потенциалов
Рис. 7.4. Схема измерения ЭДСгенератора
ля интересует ЭДС генератора,
Рис. 7.4. Схема измерения ЭДСгенератора
ля интересует ЭДС генератора,
им m ф с ю
им m ф с ю
между точками «1» и «2» дает искаженное значение ЭДС, равное £ = Af + v , где Af определено равенством
t
= Apt) = У"1 j ехр(—- т))/(тЦт.(3.42)
О
Поскольку согласно рис. 7.4 ЭДС генератора в каждый момент времени t Е [О,Г] равна с(р + r)r(t) + Д£), равенство
U/Д) = u(t) = с(р + r)r(f) + 'ДД, 0 ^ t ^ Г, (3.43) совместно с выражением (3.42) определяет оператор U, моделирующий идеальный вольтметр для измерения ЭДС генератора, взаимодействующий с генератором так же, как ИП, т.е вызывающий та
Д Линейные методы редукции для измерительных преобразователей первого и второго порядков рассмотрены в гл. 10.
кое же падение напряжения на р, но дающий на выходе значения U/(t),0 ^ t ^ Т (3.43) ЭДС генератора. Решение начальной задачи (3.41) дается равенством
t
v Д = Af № = а-1 У exp(-(3/a)(t - т)У(т^т, O^t^T. (3.44) О
В задаче (3.41) естественно считать, что г(-) Е М, где М — класс абсолютно непрерывных на [О, Г] функций, равных нулю в нуле и имеющих интегрируемую с квадратом на этом интервале производную, /(•) — интегрируемая с квадратом на [О, Г] функция, то есть /(•) Е £2[0Д]х). При таком соглашении интегральный оператор в (3.42) является оператором Гильберта-Шмидта, действующим из £2[0,Т] в М, обратным к дифференциальному оператору в задаче (3.41).
Обозначим D оператор d^d/dt) + 1, определенный на классе абсолютно непрерывных на [0,1] функций г(-), таких, что г(0) = 0 и производная г(-) б£2[0,Т]. Сопряженный с D оператор D* = —d(d/dt) + +1 определен на таком же классе функций с тем лишь отличием, что они обращаются в ноль при t = Т, а не при t = 0. Множество Т (3.7) входных сигналов /(•) вольтметра определим, задав априорное ограничение на возможные значения ЭДС U/(•) генератра:
Х =|Щ/(-)П А},
где, согласно (3.42) и (3.43),
= [(1 + pl - 7D-1]/(-), D" = Л, 7 = p/r.
Тогда в (3.11)
D = ДЩГЩ1/2, у = U(U*Ur1/2, В = ML"1/‘2C-1(U*Ur1/‘2
(3.45) Определим базис модели [5] как полный набор ортонормированных собственных функций оператора DD* — решений задачи на собственные значения
DD*eP = -^etp + ёр = 6"МЦ O^t^T,D*eP = -дёр + e(t)\t=0 = 0, е(Т) = 0.
Это
Cj (t) = qj sin aj (T — t), 0 < t < T, 5j2 = ^2n2 + 1, J = 1,2,..., где aj — положительное решение уравнения daj cos ajT + sin ajT = т
= 0, Qj — нормировочная постоянная, qj2 = J sin2 aj(t — T)dt = (T + + ^2)/2, J = 1,2,...0
Заметим, что Dej = J-1^-, Dej = 5-1ej, j = 1,2,..., где ej(-) = = (—iy'+1 sin(a7 •), j = 1,2,...; {ej} и {еД — ортонормированные базисы £2[0,Т].
Что касается модели измерительной погрешности, то будем считать, что
ЛЬ = 52 ^еД), о ^ t ^ Т,(3.46)
где Vj, 7 = 1,2,... — случайные величины, такие, что
Evj = 0, EvtVj = Гг’ ‘i,j = 1,2,...,
lim Е / n^oo Jlim Е / n^oo Jи равенство (3.46) понимается в смысле с.к. сходимости:
lim Е / n^oo J
lim Е / n^oo J
“ 52 ^еД) dt = 0.
■7=1-
При этом ^ej(-) = а2е^-\ 7 = 1,2,..., где 52 — корреляционный оператор v^ (3.46).
Поскольку, согласно (3.45) V*V = А2/, рассматриваемый пример не удовлетворяет условиям теоремы 3.2. Однако требуемый нам результат может быть получен практически без дополнительных усилий.
Дополнение к теореме 3.2. Выражения (3.35)-(3.37) дают решение задачи (3.12), если VB — оператор Гильберта- Шмидта (Г.-Ш.), в частности, если V — непрерывный оператор, (В*В)-1^2 — оператор Г.-Ш.
Так как V*V = А2/, то согласно условию (3.35) _ V(B*B)-TB*A2tr(B*B)-1
* “ i + tr (в*в)-1’ т " ТДнв*вр"’
причем в данном случае, как нетрудно убедиться, (В* В)-1 — оператор Г.-Ш., если и только если 52 (^/JJ2 < сю. Тогда
Доказательство. Для любых операторов X и Н ^ 0,tr Н Д 1: И(ХНХ*) = ||ХЯ1/2||| ^ ||^||2||Я1/2||| ^ ||Ц|2. С другой стороны, пусть е — собственный вектор Х*Х, отвечающий наибольшему собственному значению: Х*Хе = Ле, ||е|| = 1, А = ||Х*Х|| = ||Х||2. Положив Н = ее*, найдем tr ^ХНХ*) = ti (X*Хее*) = ||Х||2tr (ее*) = = imi2. □
Предложение 3.2. Пусть
s(XH, Н) = mins(X, Н)
и для некоторого оператора Н ^ 0, tr Н ^ 1, s^X^, Н) = s^X^). Тогда
s(X„) = min s(X) = min max s(X.H).vX v 7 X H^O,trH^l v 7
Доказательство. Воспользуемся результатом, приведенным в предложении 3.1, согласно которому для любого оператора X s(X) s(X, Н). Предположим, что для некоторого X s(X) < s(X^). Тогда s(X) < s^Xy) = s^Xy, Н) ^ s(X, Н), что невозможно. Итак, если s(Xy) = s(Xy, Н) = mins^, Я), то s^Xy) = mins(X) = = min max s(X.H). □
X H^0,tr H^l
Как известно (см. [82]), если функции
fk^ = 4 + ^ Q^Zj - V,-)2, k = 1,... ,т,
3 = 1
в лемме 3.4 непрерывно дифференцируемы в некоторой окрестности точки г0 Е Пт, то функция p(z) = тах1^^^тД(г) дифференцируема в точке г о по любому направлению g. ||р|| = 1 (т. е. суще- dp(z0)p(z0 + ад) - p(z0)dp(z0)
ствует предел —;— = пш , причем —;— =
dg а^+оadg
= max (grad А (г), g). Здесь p(z) = {Г : fk(z) = р(ХЛ и grad/Щ) = kep(z0)
(dfkdfkV
= -—,..., -—— градиент jku) в точке z E )<m к = 1,... ^m.
у dz\dzm J
В терминах производной по направлению может быть сформулирован более общий вариант теоремы 3.1, а именно,
Теорема 3.4. Пусть Q — выпуклое замкнутое множество в Нт) функции /^(2;), к = 1,...,т, непрерывно дифференцируемы на некотором открытом множестве 0Z D Q. При этих условиях, для того чтобы точка z* Е Q была точкой минимума функции p^z) = = max fk^) на Q, необходимо, а в случае выпуклости p^z) на 9, и l^k^m
достаточно, чтобы m£dp(z*)/dg = 0, где inf вычисляется на мно-
9
снсестве всех g = z — г*, z Е Q.
Докажем теорему 3.1, используя теорему 3.4.
Доказательство. В рассматриваемом случае
Э$кЦУ8^ = 26kiZi + Sq^Zi - Vi), i,k=l,...,m;
/ \ <|. । Г , i
Поэтому
Si = (grad/ДгД,?/ - гД =
= 2z*i(m - z*i) + 2^^^ - Wj^yj - z*^ =
= 2w(^)(^ - w(t^) + 2^qJ(w(^) -DjXUj
Так как согласно равенствам (3.33)
A^w(^) + q^wQU) - vt) = 0, t = 1,... Д*,
TO
= 2w^gi - 2^X*w^g:h
где Qi = yi — w(t*), г = l,...,m. Поскольку w(^*) > 0, A* > 0, г = = 1,... Д* и 52 A* = 1, отсюда следует, что
max Si = 2w(Omax Si = 2w(Omax g, -VX*gi 1<г<тг=1■max g, -VX*gi 1<г<тг=1■>0,>0,
max Si = 2w(O
max Si = 2w(O
max g, -VX*gi 1<г<т
г=1■
max g, -VX*gi 1<г<т
г=1■
>0,
>0,
и далее, очевидно, min max Si = 0, где
gEw* l^i^m
= \.g = У - Z„, у = (уг^-.^тУ, Уг^О, i = 1,... ,m} . П
§ 4. Методы нелинейной редукции в интегральной метрике
Рассмотрим класс задач нелинейной редукции измерений, типичный представитель которого определяется схемой измерений
(4-1)(4-1)^ = / + ^
(4-1)
(4-1)
вектора / 6 Т СПт и функцией п(/), / 6 Т, принимающей значения в rtu и определяющей параметры исследуемого объекта. Задача редукции измерения (4.1) сводится к проблеме вычисления значения и(/) (известной) функции и(-), аргумент / которой неизвестен, но известно его приближенное значение ^ (4.1), а также то, что априори
/ Е Т. Если измеряется не /, как в схеме (4.1), а значение а(/) известной функции а(-), определенной на Т [76],
£ = Щ) + V,(4.2)
то в этом случае мы ограничимся только такими задачами редукции, в которых и^ можно определить как (единственную) функцию п(-): и(/) = г(п(/)),/ ЕТ. Понятно, что эти задачи попадают в рассмат
риваемый класс, поскольку в них речь идет о вычислении значения функции у (а), а Е а(^), аргумент которой задан приближенно равенством (4.2).
Предположим, что ошибка измерения (4.1) v — случайный вектор Um , Е v = 0, известен его ковариационный оператор ') ст2/ и задана ограниченная область Ы С Кт, такая, что v Е JV с вероятностью единица. Кроме того, будем считать, что функция и(-) принадлежит классу С1^) непрерывно дифференцируемых функций, Т — ограниченная область 1^т1 и на Т задана весовая функция д(/) > О, / Е Т\дТ определяющая метрику в С?^^. В частности, д(-) задается исследователем с таким расчетом, чтобы вклад в расстояние
(у wnw - ад\1+72н«'(/) -
между и(-) и й(-) в каждой подобласти Т и соответственно — значения q(-) в этой подобласти были тем больше, чем «интереснее» эта подобласть для исследователя. Однако, поскольку такая точка зрения на д(-) не приводит к каким-либо формальным отличиям по сравнению с теоретико-вероятностной, далее функцию д(-) будем считать нормированной и обращаться с ней как с плотностью вероятности2). Интегрирование J q(f)df будем отмечать символом математического
ожидания Е .
В задаче редукции требуется определить функцию т(-) = г*(-) такую, что
SUpE (||г*(£) -м(/)||2 + ^«(C) -w'(/)llm„) =
= min sup Е (||О - <f < + 72||Д£) " uWm,d, (4-3) r(.)x/
где sup вычисляется на классе всех распределений v Е JV с ранее оговоренными характеристиками и отражает факт неполного знания свойств ошибки измерения, 7 — постоянная, задаваемая исследова-
х) Более общий случай невырожденного ковариационного опрератора Е сводится к этому преобразованием измерения £(•) к ц = сгЕ-1/2^, где ст2 = tr E/m.
2) Эти условия позволяют указать наилучшие в с.к. априорные оценки u(f) и и (/), а именно / u(f)q(f)df и J и (f)q(f)df соответственно.
телем. Здесь и далее || • ||п обозначает норму в Пи (где принимают значения т(-) и и^\ Если, в частности,
ИИвенство в (4.3)венство в (4.3)-Ч/Ж + <72У-Ч/Ж + <72У1/21/2Птп+ о Р^жМЛМ\т Е llrv(/ + tx^dxdfdtL13 /.i=iJПтп+ о Р^жМЛМ\т Е llrv(/ + tx^dxdfdtL13 /.i=iJмм1V21V2• (4-6)• (4-6)
И
И
венство в (4.3)
венство в (4.3)
-Ч/Ж + <72У
-Ч/Ж + <72У
1/2
1/2
Птп
+ о Р^жМЛМ\т Е llrv(/ + tx^dxdfdtL13 /.i=iJ
Птп
+ о Р^жМЛМ\т Е llrv(/ + tx^dxdfdtL13 /.i=iJ
м
м
1V2
1V2
• (4-6)
• (4-6)
(ди /д/Д
где иД) = I ... I , г = 1,..., т,\dun/d/J
1М/)11П = ЕИЛ)2-
г=1
772-72-772 с\ / Т\ 2
\W)\\2mn = Енж = Е Е Пл22) - /е
J = 1г=1 J = 1
Ниже будет построен параметрический класс функций т(дсо), О ^ и < ос, предназначенный для исследования задачи на минимум (4.3). Предположим, что т(-) — функция класса1) C2(D), где D = = {г = / + tx, / е Т, х t е [0,1]} . Тогда для £ (4.1)
трт
Т^ ^r(f) + ^2ri(f)vi+ Ц-t) Е rtj^f + t^iVjdt, ^6Р, (4.4)
»=1Jo i,j=l
1
(4-5)(4-5)пЮ = п(/) + /’Е^^ + Ю^^, ^ed.
(4-5)
(4-5)
j=
5г(/)^тЧ/)
Здесь Т1(Л = -gj-^ TijU) = gj gj i,3 =Используя pa-
получим следующую оценку для первого слагаемого
') C^eo^ — класс дважды непрерывно дифференцируемых функций на Т>\дТ>.
Здесь р(-) плотность распределения v, интеграл во втором слагаемом (4.6) вычисляется по множеству М = JV х Тх [0,1].
Оценку для второго слагаемого в (4.3) найдем, используя равенства (4.5),
■ тI 1/2^E\H^-HiWn■ тI 1/2^E\H^-HiWn11/2211/22- Рт-/ P^MDINIm Е WaU + tx)\\2ndxdjdt- Рт-/ P^MDINIm Е WaU + tx)\\2ndxdjdt11/211/2• (4-7)• (4-7)мм
■ тI 1/2
^E\H^-HiWn
■ тI 1/2
^E\H^-HiWn
11/2
2
11/2
2
- Рт-
/ P^MDINIm Е WaU + tx)\\2ndxdjdt
- Рт-
/ P^MDINIm Е WaU + tx)\\2ndxdjdt
11/2
11/2
• (4-7)
• (4-7)
м
м
Естественная постановка задачи редукции, «мажорирующей» согласно оценкам (4.6) и (4.7) задачу (4.3), сводится к отысканию функции т(-) из условия минимума выражения
g(r, и) = У qU) (lk(/) - «(/)!!»+
+ Е(72||гЩ) - UjlfC +(4.8)
J=1
при условии
/i(r) = supу р(Щ(/)(д|И|т+ 72|Mlm) Е WijU+ tx)\\‘2ndxdfdt ^е, М
(4.9) в котором е — заданное положительное число. Значение g(r,u) (4.8) определяет «часть с.к. погрешности» редукции, которую можно назвать «систематической с.к. погрешностью». Она обусловлена отличиями т(-) от и(-), т^-) от и'(-) и влиянием шума измерения; h(r) не зависит от и и оценивает влияние на редукцию только случайной составляющей измерения £ — измерительной погрешности v.
Ограничение (4.9) задается неквадратичным функционалом и это обстоятельство усложняет задачу. Поэтому вместо h будем использовать квадратичный функционал h, мажорирующий h. Записав h в виде /т
КАЛ ^J lkv(^)||2^,
рМ = 1
где
= У P^W - М QlMIm + 72|И1т) dxdt,
M(z) = {(ж, t) : z — tx 6 Tx E JV, t E [0,1]}, z E D,
определим мажорирующий функционал h(-) равенством
/
т
КЕ) 52 Iky W11»^»
в котором К^ = supK(z), где sup вычисляется на множестве всех распределений v с нулевым математическим ожиданием и ковариационным оператором а21. При естественных ограничениях на качество д(-) функция К^ определена, неотрицательна, непрерывна на D и обращается в ноль на границе D.
Задачу на минимум g(r, и) (4.8) при ограничении (4.9) теперь естественно заменить более простой, записав ограничение в виде h(r) ^ в. В свою очередь эта задача сводится к минимизации лагранжиана
КТ) = 9(г и) + wh(r) ~ min, оо ^ 0,(4.10)
г(.)
причем множитель Лагранжа оо должен быть определен так, чтобы oo(h(r) — е) = 0, h(r) ^ в, оо ^ 0. Однако, поскольку h^ (а, следовательно, и величина в) довольно грубо оценивает влияние измерительной погрешности и. такой способ определения ио на практике оказывается неэффективным. Поэтому далее мы будем иметь дело с параметрическим классом решений т^оо^ и ^ 0, задачи (4.10) и выбирать оо, исходя из тех или иных требований к качеству редукции, например, минимизируя по ио с.к. погрешность редукции
Е (|кДш) -Щ<+ 7252lh<W) -Ч/СЛНп) ~™п(4.11)
для некоторого «типичного» распределения измерительной погрешности и. либо минимизируя эмпирическую погрешность, оценивающую значение (4.11) (при неизвестном распределении и) и т. д.
Существование и свойства редукции в интегральной метрике
Пусть C2(D) — класс дважды непрерывно дифференцируемых на D\dD функций, принимающих значения в 7^п, К^ — непрерывная на Р. положительная во внутренних точках D и равная нулю на границе 8D функция, q(-) непрерывна и положительна на Н\дН. Тогда
-рm
НИ / H)(H/)llHElM/)llnW+
L73=3
K(/)llL) +K(/)llL) +\ 1/2К^\\иЧ<тп^\ 1/2К^\\иЧ<тп^Эи 1-—г >. Обозначим Wo 9 ft JЭи 1-—г >. Обозначим Wo 9 ft J— норма на C2(D), и"(Л = < ——-— >, и'(Л = (dzidzj J
K(/)llL) +
K(/)llL) +
\ 1/2
К^\\иЧ<тп^
\ 1/2
К^\\иЧ<тп^
Эи 1
-—г >. Обозначим Wo 9 ft J
Эи 1
-—г >. Обозначим Wo 9 ft J
пополнение С2(Р) по норме || • ||w; Wf — гильбертово пространство относительно скалярного произведения
j=i
VVu"^")dz.
V
V
Для элементов Wj сохраним те же обозначения, но теперь щ(-), Uij (•), г, j = 1,..., m, — обобщенные производные. Кроме этого введем еще одно гильбертово пространство Н, элементами которого являются вектор-функции1)
/Х^Л\/¥л(С
У/ fil/ ы/)
zmb yV)=
\тт)^Ym(n
(МП\
Z(/)=, Щ) =
\ZmUH
/ G У. z ED, определив скалярное произведение в Н следующим равенством
(G,Gb = [ Щ)(((МУЩ(У)) + 5(7ЩЩ),Ь(У))+
.2
!) Функции Хф, Y^n, ZiU), fex, Ti^Z), ZET), i, j = 1,2,... ,m, принимают значения в 7^n .
Поскольку для г(-) С Wf ,
/ Цз) \
р I (s) ] р -1/
Дз)
то Wf можно рассматривать как (замкнутое) линейное подпространство И, а задачу (4.10) — как задачу определения в Wf элемента, ближайшего к
\\R-u\W Iд1Л(МЛ - и(Л\\п+
+ 72||г'(Л - Wm„ + <^ЧЛ\\тЛ +
+К1Л\\г"1Л\\тп^.
D
Как известно, эта задача имеет единственное решение и может быть сформулирована в следующей эквивалентной форме (см. [107]): определить r(-) Е Wj так, чтобы *)
b^rv)^!^)^ reW^,(5.1)
где
ЬЛ,Л = У g(/)((r(/),y(/)) + (72 + <тЛЛЧЛУШМ+
+ ш I кЧЛЛ'ЧЛУЛУЛг,
D
ЧЛ = I ЛЛЛЛЛМЛ) + ЛЛЧЛУЧПШ(5.2)
Если области Т и D позволяют применить теорему Гаусса- Остроградского, то при естественных требованиях к качеству r(-), q(-)
х) Исходная задача в этих обозначениях звучит так: найти г(-) = = г*(-) Е W2 ? Для которого btj^r*) — 2Z(r*) ^ b(r^r) — 2Z(r) при любом г Е Wj •
и К^ можно получить дифференциальную форму задачи (5.1):
qUMP - С + к2) £ A (q(Л ^р-) +
^а^э/А^э/лр) q^u{n у ^эру^ др )
во внутренних точках Т,
a pap) ia pap) i
a pap) i
a pap) i
на границе ЭТ, ni , пр , г = 1,..., т, — координаты внутренней и
внешней нормалей к QJ3 соответственно,
" t «АР.“ 8zi9^j" t «АР.“ 8zi9^jЭ^т^Х dzidzj у ПгЭ^т^Х dzidzj у Пг
" t «АР
.“ 8zi9^j
" t «АР
.“ 8zi9^j
Э^т^Х dzidzj у Пг
Э^т^Х dzidzj у Пг
на внешней границе ЭТ) области D,
во внутренних точках области Т)\Т.
В том случае, когда и^ Е С°(^), оценка с.к. погрешности задается выражением supE ||т(^) — и(/)||^, и задача редукции выглядит несколько проще [76, 4]. Как показано в работе [73], задача может быть сформулирована в виде условия (5.1), в котором
= j g(/)(r(/), w(/))d/+w j K(z)(r'(z), v'^dz, FT)
zw = 19(/)W), 4PW, r,v e w№,(5.3)
или в виде (4.10), где
д(г,м) = j q^WF -«UWndf = Ik - «Н^),
/
т
K^TdVM\\nd^
V3=3
K(z) = sup I p^q^z — tx^WxW^dxdt,
M(z) = {(ж,t), z — tx e T, x eK, 0 < t < 1}, г ep = {г = f + tx, feH, xeN, 0<t<l}.(5.4)
Поскольку эти выражения проще их аналогов в (5.2), завершим анализ задачи редукции, ориентируясь на этот случай.
Как и выше, будем считать, что q(-) и К^ таковы, что д(-, 0)+/&(•) — норма на С1^), W^D) — пополнение С1^) по этой норме. При этих условиях задача (4.10), (5.4) и эквивалентная ей (5.1), (5.3) однозначно разрешимы в W2 (7)) при любом со > 0.
Теорема 5.1 (см. [74]). Пусть г*ш е Wf(T) — решение упомянутых задач и 1ш = 1(г*ш), дш = д(г*ш,и), Кш = Цт*и?), со > 0. Тогда:
функции 1Ш, дш и Кш при ио > 0 непрерывны и монотонны, причем 1Ш и дш возрастают, Кш убывает и для со ^бо
(со - сб)Нш < 1ш - 1ш < (со - ш)Нш,(5.5)
(9ш ~ дшМш < Кш - h^ < (д^ - д^/ац(5.6)
lim дш = 0, lim Иш = h, причем h < сю, если существу- ш —>0ш—>0
ет функция и е W^D), сужение которой на Т совпадает с и, h < inf h(u); в противном случае h = сю;
lim Кш = 0, lim дш < inf д(г, и), где Л/о = {г е W2 ; ш—>осш—>осrEJVo
h(r) = 0}.
Доказательство. 1) Согласно условиям (5.1), (5.3)
Ьш(гш, Тш - т^ = 1(гш - r^f Ыг^, Тш-Тш) = 1(Тш-Тш).
Складывая эти равенства, найдем
У з||гш - T^dJ + j к\\т'ш - rL\\2mndz = (w - w) У KE^rL - r'^dz. TT)T)
Поскольку обе части этого равенства стремятся к нулю при со —> со, то
\дш-д^\^(^ д||гш - r^W^dJ j д(||гш - u||„ + llr^ - ^ydf)1^
1^ -Ь^^^ q\\r'w - r^^dz f q(\\r'w\\mn + ||r^||m„)^)1/20
при co —> uo . Тем самым доказана непрерывность названных функций.
Далее, поскольку
(5-7)(5-7)^ш = 9ш Т ^ д-^ + coh^j
(5-7)
(5-7)
И ^сТ = 9w" + ^h^, ТО 1Ш — 1щ- С (^ — ^)Й^ и /^ — /^ С (со — ш)Кш . Отсюда следуют неравенства (5.5). Кроме того согласно неравенству (5.7) ди - дш ^ со(Нш - й^) и д^ - дш < ш(Иш - h^), если в предыдущем неравенстве поменять местами со и со. Следовательно, выполнены неравенства (5.6). Монотонность 1Ш, дш и Нш следует из неравенств (5.5) и (5.6).
Поскольку W^^) плотно в £2(^)1 inf д(г, и) = 0. Пусть rEW^
{rn} CT2(D), lim g(rn,u) = 0. Воспользуемся неравенствами
(5-8)(5-8)О < дш < L < д(гп, и) + шЦгп)
(5-8)
(5-8)
и выберем со = соп так, чтобы сопК(тп) —> 0 при п —> сю. Тогда согласно неравенствам (5.8) lim дШтг = 0, т.е. последовательность {r*^;} — минимизирующая для д^и). Если существует й G W^^), сужение которой на Т равно и, то выбрав в (5.8) гп = й, найдем: ^(й,и) = О и й < й(й). В этом случае lim Кш ^ inf й(й). Если же множество {й} Ш^ОС{и}
пусто, то lim Иш = сю.
ш —>0
Для любого со ^ 0 и г Е W2
дш < д(г, и) + и)И^ = ^(т, Д,
если г Е JVO = {г Е W2 , й(т) = 0}. Отсюда следуют утверждения, приведенные в пункте 3. □
Сравнение нелинейной редукции, рассмотренной в данном параграфе, с линейной, с методом наименьших квадратов, ее интерпретация и применения даны в работах [78, 79, 4, 86]. Другой подход к исследованию рассмотренной задачи, позволяющий уточнить некоторые ее свойства, представлен в монографии [77].
Глава 8
Эффективный ранг линейной модели измерений с ошибкой
Введение
Как известно, ранг линейного оператора А, действующего из 7^т в Rni определяется как dimT^(A) = dimA/^A), где 'ЖА) — пространство значений оператора А, А/'±(А) — ортогональное дополнение к нуль-пространству ЛГ(А) оператора А. Ранг равен размерности той «части» У Е Rm, которая фактически контролируется значениями А/ Е 'ЖА); с другой стороны, ранг равен размерности той «части» А/, которая определяет упомянутую «часть» /. Сужение А на ^^(А) определяет взаимно однозначное соответствие между линейными подпространствами А/'±(А) С 7^т и 7ЦА) СЯП.
Существенно иначе дело обстоит при линейном оценивании линейной функции У Е Rm, основанном на измерении А У с ошибкой (см. гл. 1, 5). Пусть
^ = AJ + v(0.1)
есть схема измерения У Е Rm , v — случайный вектор R^ с известным математическим ожиданием Ez/ = 0 и ковариационным оператором Е; v моделирует ошибку, с которой измеряется А У. Если У — априори произвольный вектор Rm то в задаче линейного оценивания UУ, где U Е (Rm —> Rk) — заданный линейный оператор, требуется определить линейный оператор R Е (Rn -э 7\д) такой, что
HR,U) = sup Е||^-[/у||2 -min.(0.2)
/етгтR
Так определенный оператор R = R(U) даст максимально точную в среднем квадратичном (с.к.) оценку R(U)^ вектора Uf.
Предположим, что задача (0.2) разрешима при U = /, и требуется, чтобы с.к. ошибка оценивания У не превосходила е. Если h(R(I),I) > в, то У невозможно оценить с требуемой точностью, и возникает вопрос о «части» У, имеющей «максимальную» размерность, которая допускает оценивание с требуемой точностью, и о части £, имеющей «минимальную» размерность, которая обеспечит та-
кое оценивание. Максимальную размерность естественно назвать эффективным рангом, но теперь он будет зависеть от требуемой точности и модели схемы измерения (0.1), т.е. от пары операторов А, Е и е.
В ряде случаев / G Rm в равенстве (0.1) естественно считать случайным вектором с известными математическим ожиданием Е/ = = /о и ковариационным оператором F. При этом в задаче линейного оценивания требуется определить линейный оператор R Е (Rn —> Rk) и вектор г Е Rk так, чтобы (см. гл. 6)
ЦК, г, U) = Е||Я£ + г - t//||2 ~ min. (0.3) R,r
Пусть R = R(U), г = г(U) — решение задачи (0.3) и задана верхняя граница s с.к. погрешности оценивания. Если Н^(Г),т(Г)Д) > s, то опять возникает вопрос о максимальной размерности той «части» /, которая может быть оценена с с.к. погрешностью, не превосходящей е. Если же /z(F(Z), r(Z), Z) < в, то естественно спросить, нельзя ли сохранить приемлемую точность, используя лишь часть измерений (0.1), и какова минимально возможная размерность такой «части»? В общем случае значение эффективного ранга для каждой заданной точности оценивания оказывается связанным с парой размерностей — «максимальной части /» и «минимальной части ^».
Рассмотрим схему измерения (0.1), в которой / Е Rm — измеряемый сигнал, А Е (Rm —> Rn) — линейный оператор, действующий из евклидова пространства Rm (сигналов) в евклидово пространство Rn (измерений) и моделирующий измерительный прибор, v — случайный вектор R^ с заданным математическим ожиданием Ez/ = 0 и ковариационным оператором Е, моделирующий погрешность измерения. Кроме того будем считать, что / — случайный вектор Rm, Е/ = 0, и задан его ковариационный оператор F. Короче говоря, предположим, что задана модель [А, F, Е] схемы измерения (0.1), см. гл. 6.
В задаче линейной редукции измерения (0.1) задан линейный оператор U Е (Rm —> Rk), определяющий представляющие интерес параметры U f сигнала /, и требуется определить линейный оператор R Е (Rn —> Rk) как решение задачи (0.3). В главе 6 показано, что решение задачи (0.3) существует для любого U единственно и имеет вид: R(U) = UFA* (AFA* + Е)-, r(U) = 0, и соответствующая с.к. ошибка редукции £ к Uf такова: h(R(U), 0, U) = h*(U) = = tr (U(F - FA*(AFA* + E)"AF)L/*).
Если, в частности, F и Е обратимы, то соответственно
R(U) = И(А*^А + Е”1)”1А*Е”1 (0.4)
И ИДИ) = tr (U(A*^-TA + F-1)-1^*). (0.5)
Предельным случаем модели [A, F, Е] является модель [А, Е], в которой сигнал / в равенстве (0.1) априори считается произвольным вектором Rm. Линейная задача редукции измерения (0.1) для этой модели сводится к задаче (0.2). Согласно результатам, приведенным в главе 5, последняя разрешима, если и только если U(I — АА) =
= 0, причем при невырожденном операторе Е решение задачи (0.2) единственно и дается равенством
Д(Д = t/(A*S“1A)“A*S“1.(0.6)
При этом с.к. погрешность редукции h(R(U),U) = h*(U) = = sup Е||ЛД)е-^/1|2 = tr([/(A*S-1A)-L7*).
§ 1. Собственные базисы моделей [A, F, Е] и [А, Е]
Как известно [5], каждой модели [A, F, Е] соответствует специфическая расширяющаяся последовательность линейных подпространств пространства Fm входных сигналов, каждое из которых характеризуется минимальным (среди всех линейных подпространств такой же размерности) значением с.к. погрешности оценивания содержащихся в нем сигналов. Каждое из таких «экстремальных» линейных подпространств С8 есть линейная оболочка первых з собственных векторов оператора А*Е-1 А + F-1, упорядоченных по убыванию собственных значений:
£1 С ... С Ст = ^т, С8 = Цв^. . . ,es), S = 1,2, . . . ,771,
(А^А + Е-Щ = ^еп j =(1-1)
Ортонормированный базис е^ , 3 = 1, 2, ..,m, евклидова пространства Fm называется собственным базисом модели [A, F^ Е].
Если П5 — ортогональный проектор на С8, то согласно выражению (0.5) и равенствам (1.1) с.к. погрешность оценки Я(Щ)£ сигнала П5/ удовлетворяет неравенству: Н*(П8) = ^2 ^72 ^ h*(Us), где U8 — 3 = 1
ортогональный проектор на любое линейное подпространство входных сигналов размерности s, s = 1, 2,..., т.
Что касается модели [А, Е], то ее базис определяется как решение задачи на собственные значения (см. гл. 5, [5])
А*Е-1Ае7 = 67e7, j = 1, 2,..., т, s7>...>s^,(1.2)
и обладает следующим экстремальным свойством: ортогональный проектор Пу, удовлетворяющий условию
Ы^л = inf Л* (Г) =
U3 = 1
где inf вычисляется на множестве всех ортогональных пректоров ранга s, проецирует на С8 = £(ei ..., е8). Иначе говоря, если / = Ду) + + f^ , где /(у) Е С8^ /^ Е £ф, то ортогональная составляющая Ду) вектора / допускает самую точную в с.к. линейную оценку среди всех ортогональных составляющих / той же (или большей) размерности; см. гл. 1, 5 и [5].
Запишем равенство (0.1) в виде последовательности измерений
^ = Дг),/) + ^, г = 1,2,...,П,^ = Дг),/) + ^, г = 1,2,...,П,(1-3)(1-3)
^ = Дг),/) + ^, г = 1,2,...,П,
^ = Дг),/) + ^, г = 1,2,...,П,
(1-3)
(1-3)
Здесь 8^ — столбец длины г — 1, г = 2, 3,..., п.
Рассмотрим задачу реккурентното оценивания / по результатам измерений (1.3) в случае модели [A, F, У] (см. гл. 6). Учет каждого следующего измерения приводит к реккурентному пересчету ковариационной матрицы погрешности оценивания:
М^=М^- (г) (^() (У г = 0,1,..., п — 1,(1.6)
гДе11111
= (Д)2«^) + F ) ’
d(0) = (^ + ^(*о) ^(0)^(0))
^0) = ^1S0+l)^(0S^+1) + ^О)^/)1^)’
^(0) = — а(1) ?^(г) = ^(г) ^(г) 5 0+1) — °0+1) ?7 = 1,2,.. .,71— 1;
А^ — часть матрицы А из (1.4), состоящая из первых г строк, У^ — часть матрицы У (1-5), состоящая из первых г строк и г столбцов, г = 1, 2,..., п; см. [63, 83].
Формулам (1.6) соответствуют формулы пересчета с.к. погрешности оценивания
^0+1) — ^0)1— 0, 1, . . . , 71 — 1,(1-7)
где h^ = E||/(j) -/||2 = НДД f^ = М^А^У.^^ - оценка вектора /, основанная на измерении ^^ = (/i,-■-,/«)* (Д7)1 — к0" вариационная матрица f^ — /). Наконец,
/(г+1) — У -/(г+1) — У -—dt—+5—dt—+5
/(г+1) — У -
/(г+1) — У -
—dt—+5
—dt—+5
г = 1, 2,..., п — 1,г = 1, 2,..., п — 1,V\z)6+1^+1 - ^(г+1)^(г) S0+l)
г = 1, 2,..., п — 1,
г = 1, 2,..., п — 1,
Равенства (1.7) определяют уменьшение с.к. погрешности оценивания У с увеличением числа измерений, которое в реальных экспериментах оказывается практически равномерным. Это приводит к тому, что для получения приемлемой точности приходится использовать достаточно много измерений. Более того, во многих случаях приемлемая точность не может быть достигнута и при использовании всех измерений. Тогда возникает проблема оценивания составляющей /, причем желательно, чтобы при требуемой точности оценивания последняя имела максимально возможную размерность. Если известен базис модели, эта проблема может быть эффективно решена.
Рассмотрим базис (1.1), в котором каждая одномерная составляющая ei(f,ei) вектора / согласно равенствам (0.4), (0.5) оценивается посредством П^ф = щ(Я(7")£,щ) с с.к. погрешностью Е||1Ц)(/ —/)||2 = <Щ i = 1,2,. ,.,т; здесь и далее / = R(I)^ П(<),— ортогональный проектор на £(щ), г = 1, 2,..., т. А:-мерная составляющая ЩУ (ортогональная проекция У на £(ei,..., е^)) оценивается посредством ЩУ с с.к. погрешностью
Е||Щ(/-/)||2 = ^дД, наименьшей среди с.к. погрешностей линейного оценивания любой другой А:-мерной (ортогональной) составляющей. Поскольку
ПЛ = ЕеД-2(еЩ*5ГЩ s = l,2,...,m,(1.8)
7=1
и Птф = У, то с помощью базиса модели последовательность п измерений (1.3) может быть заменена без ущерба для качества оценивания на последовательность
Ij = ^j,f) + vb j = l,2,...,m,(1.9)
где cij = A*E-1Aej, Vj = (ej, A*53-1p), j = 1,2,..., m.
Последовательность m измерений (1.9) позволяет оценить У с такой же точностью, как и исходная последовательность (1.3), причем при любом А:, 1 ^ к ^ т, часть измерений £i,...,^ из (1.9) позволяет оценить А:-мерную составляющую ЩУ с минимальной среди всех А:-мерных ортогональных проекций У с.к. погрешностью (рис. 8.1).
На рис. 8.1, а представлена зависимость с.к. погрешности оценивания вектора У (т = 40) от номера измерения: 1 — для последовательности измерений (1.3); 2 — для последовательности измерений (1.9), на рис. 8.1, б изображена зависимость с.к. погрешности оценивания s-мерной составлящей ЩУ, определяемой формулой (1.8),
Рис. 8.1. Среднеквадратичные погрешности оценивания составляющих вектора /
(s = 10) вектора / от номера измерения: 1 — для последовательности измерений (1.3); 2 — для последовательности измерений (1.9).
Что касается модели [А, Е], то ее базис (1.2) порождает в 7^п ор- тонормированную систему
SJ = Д1^"1/2^, j = 1,2,... ,р,... ^ е2 > е2+1 = ... = е^ = 0,
и для оценивания ортогональной проекции Щ/, к ^ р. в этом случае достаточно знать ^ = (sj, ^-’/Д). j = 1,2,..., к, так как согласно (0.6), (1.2)
к
ПЦА^^А^А^-Ц = ^E-^Sj,^-^2^, к = 1,2,...,р.
J=1
Задача интерпретации линейной функции измерений
Как следует из предыдущего параграфа для каждой наперед заданной точности с.к. оценивания может быть указана ортогональная составляющая / Е Т^т максимальной размерности, допускающая линейное оценивание с неменьшей точностью. В том случае, когда точность оценивания / Е 7tm достаточно высока, возникает задача определения «самой экономной» линейной функции измерений, использование которой обеспечит требуемую точность. Наконец, в ряде случаев представляет интерес задача, в которой требуется выделить составляющую /, размерность которой не меньше заданного к ^ т, и не более q линейных комбинаций измерений, обеспечивающих максимальную точность оценивания упомянутой составляющей /. Далее приведены факты, уточняющие результаты полученные в гл. 5 и 6, позволяющие решать названные задачи.
Модель [A,F, £]. Пусть 8 Е (Rn Кд) — линейный оператор, причем q ^ n, rankS = q. и задана модель [Л, F, Е] схемы измерения (0.1). В задаче интерпретации линейной функции 8^ измерения £ задан линейный оператор U Е (Rm —> Rk) и требуется определить линейный оператор R из условия
Е||Д5е - U/||2 -min.(2.1)
Решение задачи (2.1) дано в следующей лемме.
Лемма 2.1. Для любого линейного оператора U Е (Rm -4 Rk)
inf Е||Д'5£ - Г/||2 = tr (U(F - F1^В*PBF1^*)
и достигается на R = R(U) = JJF1/2B*(SG1/2)-; здесь Р = = (SG^rSG1/2 = G1/2S*(SGS*)~SG1^ — ортогональный проектор на A'HS’G1 Д, В = G1/2G~AF1/2, G = AFA* + S.
Доказательство. Согласно результатам, приведенным в главе 6,
inf Е||Д'5£ - В/||2 = tr (U(F - FA*S*(S(AFA* + ^S*)"SAF)U*),
R.(2-2)
причем оператор R. на котором inf достигается, имеет вид
R(U') = UFA*S*(S(AFA* + S)S*)“.(2.3)
Заметим, что задача (2.1) разрешима для любого U, поскольку АГИАРА* + 5) с АГ (UFA*), А = SA, 5 = 8ТЛ*. Пусть G = AFA* + + S. Тогда правую часть равенства (2.2) можно записать в виде
tr (U(F - FA*G~GS*(SGS*)~ SGG~ AF)U*),
поскольку GG'AF1/2 = AF1/2, т.к. JV^AFA* + S) С JV^AFA*) = = AJ"(F1/2A*) и, следовательно, R^AFA* + S) = АГИАРА* + ■VYTpAf^F^A*^ ДАГ1/2). Обозначим В = G^GMF1/2. Тогда
tr (Г(Г - F1/2B*G1/2S*(SGS*)"SG1/2BF1/2)G*) =
= tr (F(F - F1I2B*PBF1I2')U*Y
где P — ортогональный проектор на ^(G1/2S*). Выражение (2.2) в новых обозначениях можно записать следующим образом:
ROT) = UFYl2B*^SG1,2y. □
Пусть в (2.1) U = П5, где П5 — ортогональный проектор в Rm, определяющий ортогональную проекцию Пу/ вектора / на s-мерное подпространство Rs С rtm (rank Пу = s). Рассмотрим следующую вариационную задачу:
inf {E||F'Se - nj||2 | Д', П6, P, rankns > k, rankF < t} ,
где точная нижняя грань вычисляется на множестве всех операторов R* ^ всех ортогональных проекторов П5, rank П5 > Ад и ортогональных проекторов Ропределенных в лемме 2.1, rankP < A, k ^т, t ^п.
В этой задаче требуется определить ортогональный проектор Щ, к ^ s ^ т, на подпространство Р8 С Ят, наименее пораженное шумом среди всех подпространств Rm размерности s, а также ортогональный проектор Р^ rankP ^ t ^ п, на котором достигается минимум. Согласно лемме 2.1:
inf Е||Д'5£ - П/||2 = tr (П(Е - F1/2B*PBF1^)H*) =
= tr (П(Г-С*РС)П*),
где С = BF1/2.
Теорема 2.1. Пусть t^ к, тогда
к
mm tr(n(F-C^PC)n) = £<52=£M(2.4)
П:гапкПД/г
P:rank P^t
достигается на ортогональном проекторе Щ (гапкЩ = к), проецирующем на линейную облочку £(ei,..., еД , где е^ г = 1, 2,..., Ад — собственные векторы задачи на собственные значения
(F -C*C)ei = S^ei, г = 1,2,...,т, 52<...^^,(2.5)
и на любом ортогональном проекторе Pq (rank Pq = q), проецирующем на £(si,... ,sq), k ^ q ^ t, где Si = Get, г = 1, 2,..., m. а если t ^ m, mo sm+i,... ^st — любые линейно независимые векторы из ортогонального дополнения £(8^..., sm) в Рп .
Доказательство. Согласно [5]
к
min НДЩР-С^П) = НДПДР-С^Щ) = V G^ П:гапкП>/г'
г=1
здесь Щ — ортогональный проектор на £(е^,..., е^, где е^, г = = 1, 2,..., к — собственные векторы задачи (2.5).
Поскольку для любых ортогональных проекторов Р и П
tr (П(Р - С*С)П) < tr (H(F - С*РС)П),(2.6)
то, выбрав Р = Pq, q ^ £ где Pq — ортогональный проектор на £(si,..., sg), st = Get, г = 1,2,...,m, и если q ^ т, то sm+i,..., sq , — любые линейно независимые векторы из ортогонального дополнения £(si,...,sm) в Fn, при П = Щ, получим в (2.6) равенство, если q к. □
Следствие 2.1. Минимальный ортогональный проектор Р, на котором достигается минимум (2.4), имеет ранг к и дается равенством Рк = СЩ(СЩ)-.
Модель [А, Е]. В этом случае в задаче интерпретации линейной функции 3^ измерения £ требуется определить линейный оператор R из условия
sup Е||Я5£ - [//||2 - min .(2.7)
/етгтR
Решение задачи (2.7) дает
Лемма 2.2. Пусть S 6 (Rn -4 Rq), rankS = q, оператор Е невырожден и выполнено условие
U(I — (ЗА)-ЗА) = 0,(2.8)
тогда
inf sup E\\RX-Uf\\2 = tr (U(В*РВ)"LT) R'
и достигается на R = R(U) =U(B*PB)-В*(ЗУ-1^2)-, где Р = = (SU1/2)-SU1/2 — ортогональный проектор на ЛГ-^ЗУ^2), В = = ЕХ/2А. Если условие (2.8) не выполнено, задача (2.7) неразрешима, см. [5].
Доказательство. По условию теоремы оператор Е, а следовательно, и ЗУ-З* невырождены. Тогда
inf sup E||FS£ - С7/||2 =
R'
= tr (C7(A*S*(SSS*)-1SA)“?7*) = tr (U(B*PB)"U*\
причем оператор R = R(U), на котором достигается inf, имеет вид
Д(Д = U(A*S4S^ST1SArA*S4S^.S*')-1 =
= U(B*PB)-B*(SE1/2)-.
Если условие (2.8) не выполнено, левая часть в (2.7) равна бесконечности. □
Пусть U = П5, где П5 — ортогональный проектор в Rm, определяющий ортогональную проекцию Пу/ вектора / на з-мерное подпространство Rs С Rm (rank Пу = з). Согласно (2.8) ортогональная проекция Пу/ вектора / может быть оценена лишь при условии
Пу < (ЗА)" ЗА.(2.9)
Рассмотрим следующую вариационную задачу:
infsup E||FS£ - IIJ||2,
ns:ns^(SA)“SA,rank Hs^k,F:rank F^t
где P — ортогональный проектор, определенный в лемме 2.2.
В этой задаче требуется определить ортогональный проектор Пу, к ^ з ^ т, на подпространство Rs Фт , наименее пораженное шумом
среди всех подпространств Нт размерности s, а также ортогональный проектор Р = Pt, t ^ п, t = rank Pt, на котором достигается минимум.
Следующие результаты имеют непосредственное отношение к рассматриваемой задаче.
Лемма 2.3. Пусть П — ортогональный проектор на £(ei,... ..., еД , где et, г = 1,2,... .к < т, — ортонормированные собственные векторы задачи на собственные значения
B*Bei = ^ei, ? = l,2,...,m,(2.10)
Тогда
tr (П(В*В)"П*) = tr ((ПВ*ВП*)") = tr (П(ПВ*ВП)"ПД.
Доказательство. По условию
tr (П(В*В)-П*) = ^ SP где г = rank (В* В),
г=1
Следовательно,
min(fc,r)tr ((ПВ*ВП*)-) = Д S3- 1=1
г=1
Лемма 2.4. Пусть R Е (Пт —> ^п) ? П и Р — ортогональные проекторы в Пт и Пп соответственно, причем П < (В*РВ)-В*РВ . Тогда П(В*РВ)"П* > П(В*В)“П*.
Доказательство. Поскольку для любого ортогонального проектора Р выполнено неравенство В*РВ ^ В*В, то согласно [5]
(В*РВУ ^ (В*РВ)-(В*РВ)(В*В)-(В*РВ)-(В*РВ)
и, следовательно,
П(В*РВ)-П*
^ П(В*РВ)-(В*РВ)(В*В)-(В*РВ)-(В*РВ)П* = П(В*В)“П*, поскольку ортогональный проектор П является частью ортогонального проектора (В* РВ) (В*РВ). □
Заметим, что условие (2.9) эквивалентно условию П5 ^ (РВ) РВ, где В = (SS1/2)-(5S)i/2, поскольку М(5Л) = Л<(5Е1/2в)с CJV((SSV2)-SX1/2S) cJV(SSV2pB)= M^^B^Ml.SAY
Теорема 2.2. Пусть П и Р — ортогональные проекторы, k ^т, t ^ п, к ^ t. Тогда
к
п ЩЩ tr(n(B*PB)"n*) = E^2
П:гапкП^/г,
п^рву РВ,г=1
P:rank P^t
достигается на ортогональном проекторе Щ (rank П = к), проецирующем на £(et,..., 6]^ , где ei, г = 1, 2,..., к (к ^ г = rank (В* В)), — ортонормированные собственные векторы задачи (2.10), и на любом ортогональном проекторе Pq (rank Pq = q), проецирующем на £(si,... ,sq), k ^q ^t, где Si = pyBei > 2 = 1, 2,..., r, — ортонорми- рованная система в Пп, sr+b • • • ^8п ~ любые линейно независимые векторы из ортогонального дополнения £(si,... ,sr) в Пп .
Доказательство. Согласно [5] min tr (П(В*В)_П*) = П:гапк П^к,
П^В~В к
= tr (Щ(В*В)-Щ) = 52 З?2 d П^ — ортогональный проектор г=1
(гапкЩ = к) на £(ei,..., е^. Как известно, (см. гл. 2), ортонормиро- ванный базис {еД (2.10) порождает в Пп ортонормированную систему st = P^^^Ci, г = 1, 2,..., г. Пусть sr+i,..., sn — любые линейно независимые векторы из ортогонального дополнения £(si,..., sr) в Пп. Тогда, выбрав Р = Pq, где Pq — ортогональный проектор на £(si,... ,sq), к ^ q ^ t, получим согласно лемме 2.4,
Щ(В*В)"Щ < пкугрвутгк = пув*вупк.
При этом для любого ортогонального проектора Р
min tr (П(В*РВУ1П ^ min tr (П(В*ВГП*) ^ П:гапкП^^,П:гапкП^^,
П^(РР)" РВП^(РР)~РР
к
min tr (П(В*В)~П*) = tr (Щ(В*В)~ПГ = У^-Д2’ (2Л1) П:гапкП^/г, п^р-рi=1
а при Р = Pq в (2.11) выполняются равенства. □
Следствие 2.2. Минимальный проектор Р, на котором достигается минимум (2.10), имеет ранг к и дается равенством Р = = впк(впку.
Эффективный ранг модели измерения
На основании изложенных в предыдущих параграфах результатов введем понятие эффективного ранга модели схемы измерения (0.1). Начнем с модели [Л, Е]. Минимальная с.к. погрешность, сопутствующая оцениванию А:-мерной ортогональной составляющей /, дает-
ся формулой h*(Hk) = 52 sz 2 ’ где е?, г = 1,2,..., г = rank А, — г=1
собственные значения задачи (1.2), Щ — ортогональный проектор на £(еь. ..,ек).
Определение 3.1. Эффективным рангом модели1) [А, Е] назовем функцию
1\АД^ = <1\АД^ = <maxmaxEl2El2> S, с G 7^+,> S, с G 7^+,
1\АД^ = <
1\АД^ = <
max
max
El2
El2
> S, с G 7^+,
> S, с G 7^+,
определенную на полупрямой Е,^ = [0, +оо) и принимающую значения 0,1,..., г = rank А.
Величина Р[дщ](Д — максимальная размерность ортогональной составляющей / Е Ет, которую можно оценить с с.к. погрешностью не превосходящей s Е Е^. Если точность оценивания, определяемая значением в, считается приемлемой, то любая линейная комбинация первых Р[дщ](Д собственных векторов задачи (1.2) может быть оценена с такой точностью, соответственно первые Р[дщ](Д собственных векторов задачи (1.2) показывают, какие детали сигнала / Е Ет допускают оценивание с приемлемой точностью. Для оценивания ортогональной составляющей / размерности Р[дщ](Д с с.к. погрешностью, не превосходящей s Е Т^д, требуется Р[д^] (^) линейных комбинаций измерений (1.3). Сформулируем основные свойства функции Р[ЛЩ](^)5 £Е Е+.
Лемма 3.1.1) Функция Р\_ад(*) монотонно неубывает на
Е^ , причем lim Р[дщ] (s) = г = rank А.
Если модель [А, Е] равномерно не хуже модели [А, Е], ([А, Е] -< -< [ДЕ]), то р[А,^е)/у.ёД), е € 7г+.
Если Е > 0 и ЦЕЦ2 —> 0, то для любого в > О Р[дщ](Д —> г = = rank А, т.е. для любого с > О
limINM0limINM0P[A,S] (е)P[A,S] (е)= Г.= Г.
lim
INM0
lim
INM0
P[A,S] (е)
P[A,S] (е)
= Г.
= Г.
Доказательство. 1) Первое утверждение леммы следует непосредственно из определения 3.1.
Пусть Щ и Щ - ортогональные проекторы на линейные оболочки первых к векторов базисов моделей [А, Е] и [А, Е] соответственно, причем к ^ min(r, г). Согласно результатам главы 5 модель [А, Е] равномерно не хуже модели [А, Е], если АА ^ АА и А А[(А*Е~* А)- — (А*Е-1 А)-] А-А 0. Так как модель [А, Е] равномерно не хуже модели [А, Е], а также в силу экстремальных свойств
Д Точнее — речь идет об эффективном ранге линейной ИВС [А, Е]. Эффективный ранг нелинейной ИВС рассмотрен в §4.
базиса модели имеем
tr (П^А^Д-Щ) ^tr (ПИА^А)"^)
tr (Щ(А*Е-ХА)-Щ) tr ША^АГПП, где Uк — ортогональный проектор на любое линейное подпространство размерности к, удовлетворяющий условию Uk С АА. Из написанных неравенств следует, что для любого к ^ г ^ г
кк
г=1г=1
где в2, г = 1,2,..., г = rank Л, и е?, г = 1,2,..., г = rank Л, — собственные значения задачи (1.2) для моделей [Л, У] и [Л, У] соответственно, причем г ^ г, поскольку [Л, У] -< [Л, У]. Следовательно, PlA^QA) Р[А,^]^ Для любого е ЕЕ^.
Обозначим сг^ . и минимальное и максимальное собствен/ПИПlllclX
ные значения оператора У. Пусть У > 0. Тогда сг^Д ^ У1 ^ сг“2п/ и для любого е G ktm
^хИе||2 < (^У^е) ^^(3.1)
Пусть е = ег — собственный вектор задачи (1.2), отвечающий минимальному отличному от нуля собственному значению е2. В этом случае неравенства (3.1) можно переписать в виде
^mLlHer.||2 ^^ ^
Условие ЦУЦ2 —> 0 эквивалентно условию сг^ах —> 0. Следовательно, к
2 Д X И J2^f2^0 для любого к ^ г. Поэтому для любого £ > 0 г=1
lim й[лд(е) = г. □
Чтобы ввести понятие эффективного ранга модели [Л, Е^ У] рассмотрим решение ДкД) задачи (2.4), к = l,...,m, t = 1,...,п. На рис. 8.2,а представлена зависимость с.к. погрешности оценивания е(з •) от размерности к оцениваемой ортогональной составляющей сигнала и числа t линейных комбинаций измерений (1.3) для модели [Л, F, У] при m = 40 и п = 40.
В работе [83] исследован эффективный ранг модели восстановления вертикального распределения озона по измерениям спектра ультрафиолетовой радиации солнца, рассмотренной в работе [84].
О пре де л ение 3.2. Эффективным рангом модели [Л, F, У] назо-
Рис. 8.2. Среднеквадратичные погрешности оцениванияРис. 8.2. Среднеквадратичные погрешности оцениваниявем многозначное отображениевем многозначное отображениеРул^к^ = {(/Л^Ые))} =Рул^к^ = {(/Л^Ые))} =Г{(0,0)} : е(1,1) > £,Г{(0,0)} : е(1,1) > £,{(т, 0)} : s(m, 0) < в,{(т, 0)} : s(m, 0) < в,k = 1, 2,..., т — 1,k = 1, 2,..., т — 1,{(&, t)} : < s^k + 1^) > е,{(&, t)} : < s^k + 1^) > е,{(m,t)} :{(m,t)} :k = 1, 2,..., т — 1, t = 1, 2,..., п,
Рис. 8.2. Среднеквадратичные погрешности оценивания
Рис. 8.2. Среднеквадратичные погрешности оценивания
вем многозначное отображение
вем многозначное отображение
Рул^к^ = {(/Л^Ые))} =
Рул^к^ = {(/Л^Ые))} =
Г{(0,0)} : е(1,1) > £,
Г{(0,0)} : е(1,1) > £,
{(т, 0)} : s(m, 0) < в,
{(т, 0)} : s(m, 0) < в,
k = 1, 2,..., т — 1,
k = 1, 2,..., т — 1,
{(&, t)} : < s^k + 1^) > е,
{(&, t)} : < s^k + 1^) > е,
{(m,t)} :
{(m,t)} :
t = 1, 2,..., п,
определенное на 71^ = [0, сю]. Его значениями являются подмножества S = {(0, 0), (1, 0), (1,1), (2, 0), (2,1), (2, 2),, (m, min(m, п))} .
Согласно определению множество ^Р1^е\ р^^ состоит из пар (k^t), t ^ к, для которых, во-первых, для каждого к = 0,1,...,т условие s(k,t) ^ £ выполняется при наименьшем t ^ к и, во-вторых, для каждого t = 0,1,..., min(m, п) условие s(k,t) ^ £ выполняется при наибольшем к ^ t. Здесь к - максимальная размерность ортогональной составляющей / Е 7tm, которую можно оценить с с.к. погрешностью, не превосходящей е Е Т^д. Причем для получения такой оценки достаточно не более t линейных комбинаций измерений (1.3). Некоторым значениям е Е 7^+ с.к. погрешности может соответствовать несколько пар (k^t).
Ранг модели [Л, Е] в этих терминах можно определить следующим образом.
О пре де л ение 3.3. Эффективным рангом модели [А, Е] назовем отображение
Да.Де) = Ю1(Д №(£))} = {(Р[л.е](е),Р[л.е](е))},
определенное на ГД = (0, сю) и принимающее значения {(0, 0), (1,1), (2,2),..., (min(m, п), min(m, n))} С S.
Это определение поясняется рис. 8.2, б, где представлена зависимость с.к. погрешности оценивания Д-, •) от размерности к оцениваемой ортогональной составляющей сигнала и числа t линейных комбинаций измерний (1.3) для модели [А, Е] в виде поверхности, аналогичной изображенной на рис. 8.2, а для модели [A, Д Е]. Поверхность (см. рис. 8.2, б) при к ^ t состоит из прямых линий, параллельных друг другу, а при к > t не определена.
В следующей лемме сформулированы основные свойства функции Р\А,Е,ДД С ^+ •
Лемма 3.2. Для любого £ Е 1Д :
£П^/>[л,у,ц(Е)={(т,0)};
если модель [Л, F, S] равномерно не хуже модели [Л, F, S], то Pi(6 Pi(e) при р-гЕ) = Д(е) и р2(е) ДД при р1(е)=р1(е)
=(/>1(e),№(e)), Р[Я^£](е)=(Р1(е),Р2(е))), е 6 F+;
при невырожденном F для к < t (ем. определение 3.3)
Jim р^а,е,ъ\ (е) = Дад (Л е G 7г+.
Доказательство. 1) Первое утверждение леммы следует непосредственно из определения 3.2.
Пусть Щ и Pt — решения задачи (2.4) для модели [A, Д Е], Щ и Р^ — решения задачи (2.4) для модели [A,F, Е], причем к = = 1,2,...,ттг, t = 1,2,...,п. Согласно результатам гл. 6, модель [A, Д Е] равномерно не хуже модели [A, F, Е], если
F - FA^AFA* F^~AF^F- FA* ДР А* + УДАР.
Так как модель [A, Д Е] равномерно не хуже модели [A, F. Е], а также в силу экстремальных свойств базисов моделей, имеем
tr ДкД-С*ДС)П*к) <tr ДкД-С*ДС)П*к) <tr ДкД-С*ДСД*Д т.е. ДкД ^ ДДД Отсюда следует, что р1Д ^ Р1Д Для любых е Е 1Д при фиксированном числе измерений t = 1,2,...,п и р^Д С Р^Д для любых £ Е ГД при фиксированном к = 1, 2,..., ттг.
Пусть U — линейный оператор, определяющий параметры Рф сигнала /, и U(I — А-А) = 0. Покажем, что при ||F_1||20
оценка вектора Рф, полученная в модели [A, F, Е], и сопутствующая с.к. погрешность, сходятся к оценке вектора Рф, полученной для
модели [А, S], и к сопутствующей с.к. погрешности соответственно, см. §5 гл. 1.
Пусть Е > 0. Обозначим МаХ и ^min максимальное и минимальное собственные значения оператора F. Тогда
И
и^У-^А + ^“•ПГ"1Г* ^ ТЦ^-Ы + р-^и*
^u^^a + ^Wu*.
Согласно [5] для оператора Т = Т*>0иси>0
(Т + шГГ1 = uF^I - Т"Т) FT” (IF шТ-^1.
Используя это тождество и условие U(I — АА) = 0, получим и^А^АГП + Р^иМ^ЛП^и*
ЩА^АГО + ^(А^-М)-)-1^*.
Условие ||F-1||2 —> 0 эквивалентно условию Д;,, —> сю. Поэтому
lim tr (IHA^-LA + F"1)"1^) = tr (U(A*E"TAVU*Y
Аналогично можно показать, что
lim ЩА^^А + F-A^A*^"1 = ША^АгО-1,
см. §5 гл. 1, §1 и §3 гл. 6. □
Заметим (см. рис. 8.2), что некоторые ортогональные составляющие / Е Fm можно оценить с с.к. погрешностью, не превосходящей требуемую, используя только априорную информацию о сигнале и не используя измерений (1.3) при t = 0. В связи с этим введем понятие эффективного ранга априорной информации модели [A, F, Е].
Определение 3.4. Эффективным рангом априорной информации модели [A, F, Е] назовем отображение
Ро\А,Е,^(А = {Р01(^),Р02(^))} =
( т ММ) < к,
Л (0,0)},если е(1,0)>£,
s Е И^, определенное на И^ = [0, сю) и принимающее значения в {(0,0), (1,0), (2,0),(т,о)}с5.
Здесь к — максимальная размерность ортогональной составляющей / Е Fm которую можно оценить с с.к. погрешностью, не превосходящей е Е F^, не используя измерений (1.3).
Эффективный ранг нелинейной модели
и эффективная размерность множества измерений
Эффективный ранг модели [А, 5]. Пусть J^ R — евклидовы пространства, задан линейный оператор А ; Т —> R, и известно, что в (0.1) ||z/|| ^ 5, 5 > 0, т.е. пусть задана модель [А, 5] схемы измерения (0.1).Эффективный ранг модели [А, 5] определим как функцию р(-) : [0, ею) —> {0, 1, 2,...}, значение р^) которой для каждого с ^ 0 равно максимальной размерности ортогональной составляющей П/ сигнала f Е Г , которая может быть оценена на основе измерения £ (0.1) с ошибкой, не превосходящей е.
Пусть U : Т —> U — линейный непрерывный оператор, Иф — значения параметров исследуемого объекта, которые надлежит оценить на основе измерения (0.1), см. гл. 7, [74], и Я*(£) — наиболее точная версия значения Иф определяемая на основе измерения (0.1), Я* : R —> U. Функцию R^-) определим как решение задачи на минимум для погрешности оценивания значения Иф посредством R^V
h(R) = sup |Щ(^) - Uf\\ ~ min,(4.1)
которое можно найти, решив более простую задачу на минимум
d^) = sup {||r - Г/П I / е У, v€K, Н^Н ^5, £ = Л/ + Д ~min .
(4-2) Ее решение г = г(£) будет решением и задачи (4.1), R*$ = = r^), ^ER (см. [74]).
Лемма 4.1. Пусть 1ф А и UА- — непрерывные операторы1), причем U(I — AA) = 0, т.е. JV(U)dJV(A) . Тогда задача (4.1) имеет единственное решение
R^) = UA-^
и сопутствующая погрешность
/г(/?*) = J||CM^||.
Доказательство. В силу условия леммы из (0.1) следует, что [5]
Пф = UA~^ -v) = UA~^ - UA-v,
и поэтому
d(r) = sup | ||r — UA-^ — E7A— лу|| | v e R, IMI ^ ^} .
Пусть S^CU — шар минимального радиуса, содержащий множество |UА-^Д — пф v Е R^ IMI • Тогда его центр г* = R*(^) = UА-ф,
Э А — оператор, псевдообратный к А, черта над оператором символизирует замыкание; А- плотно определен, D(A-) = R(A) ф R^A), и замкнут [5, 16], R(A) = {А/, ф Е 7Y Я(А) = {/ ЕГ, Аф = 0}.
есть решение задачи d(r) ~ min, а его радиус J||t7A_|| = h(R*). □
Замечание 4.1. Если не выполнено условие АГф) dJV(A), то в (4.2) d(r) = сю, г Е U , и задача (4.1) не разрешима. Если в (4.2) U = I , т.е. речь идет о тех значениях / Е Т , которые до некоторой степени контролируются измерением (0.1), то в (4.2) следует ограничиться / еЛГ^А), т.е. считать, что
d.H = sup {||r - /|| | / е л/Да), v е я, ||Д| ^ б, ^ = А/ + Д,
или, иначе говоря, ограничиться невырожденным оператором А : Т ?г.
Пусть А : Т —> R — вполне непрерывный оператор, тогда в Т существует ортонормированный базис {щ}, состоящий из собственных элементов оператора A* A, A*Aei = a^et, г = 1, 2,..., упорядоченных согласно условию ^ ^ ^ ^ .... В этом базисе (A*A)-ei = с^2щ, если а? > 0, и (A*A)-et = 0, если а^ = 0, % = 1,2,... Поэтому, если Щ — ортогональный проектор на к— мерную линейную оболочку £(еь ... ,ек) С АДА), и Р — любой ортогональный проектор, rank Р = к, то
min {д||РА^|| | Р : Г У, К(Р) СА/ДА)} = 5||ЩАД = бар,и, следовательно, боб^1 — минимальная погрешность, с которой мо-жет быть оценена к— мерная ортогональная составляющая / Е Тна основе данных (0.1), причем эта ортогональная проекция / на
£(ех,... ,efc) есть Щ/= ^^A%V% (см. [19]).
г=1
Следовательно, в рассматриваемом случае справедлива
Лемма 4.2. Пусть А* А \Р^Т- вполне непрерывный оператор, {щ} — ортонормированный базис Т, состоящий из собственных элементов A* A, A*Aei = а^вг, г = 1,2,..., о^ ^ а^ ^ ... Тогда эффективный ранг модели [А, 5]
р^ = шах ^к | бос^1 С s}, ^ ^ 0;
ортогональная составляющая / максимальной размерности рф), оцениваемая с погрешностью, не превосходящей е,
iw = EV’e^-п
г=1
Замечание 4.2. При определении Пр^ф равенство (0.1) эквивалентно р(е)-мерной (конечномерной) линейной задаче оценивания координат (f,et), г = 1, 2,..., р(гф из условий
(АЧ,е,) = «KfyP + (A*v,et), i = 1,2,..., р(г).
Поскольку (А*^ е^ = (£, АеД г = 1,2,... , и элементы Ае^ г = = 1,2,..., р^ ^ образуют ортогональную систему в П , ее линейная оболочка £(Лех,..., Аер^) = 1?^ СП(А) образует то, что можно назвать эффективным пространством значений А (размерности р(еД. Это линейное подпространство имеет минимальную размерность среди всех линейных подпространств К , обладающих тем свойством, что принадлежащие им ортогональные составляющие £ определи- ют П^Д.
Эффективный ранг модели [Л, Zy, 1^]. Рассмотрим понятие эффективного ранга модели измерений, выполненных по схеме
& = ^dijfj + Vi, i = l,...,n,(4.3)
определенной условиями, ограничивающими априори возможные зна-
/ /1 \ДА
чения координат векторов / =... и v =... неравенствами
\fm/\Уп/
Lj < fj ^7,, j =vt < Vi < v^i = l,...,n,(4.4)
которые далее будем записывать в векторных обозначениях:
/ < / < 7, / G ^m, v<v<v, v elln.(4.5)
Речь пойдет об эффективном ранге рассмотренной в §2.5 гл. 7 интервальной модели \АД^1р\ схемы измерений (4.3), в которой А = (ЙЦ . . . Щуп \
..., If и Iv—интервалы (4.5) априори возможных зна-
о-ni ... апт/
чений векторов / G 7^т и v Е Пп соответственно.
В рассмотренной в §2.4 гл. 7 задаче редукции измерения (4.3) к виду, свойственному измерению на некотором приборе U =
/U^l • • • 'WimX
=...6 (TZm -vUk\ требовалось минимизировать погреш-
\Uk\ • • • ^кт/
ность редукции
Ци,Т) = sup{ max |us - Vusjfj\ | / € М(Д If,КО ~ min, (4.6) l<s<kuEUk
где
M(A,If,Iv\0 = U &Кт, £<f <J, v<OAJ <v}, u= ... . / (4-7)
Дх(€)\
Ее решение и = и(^) =... определяет наиболее точную в смыс-
ле условия (4.6) минимаксную оценку гф£) сигнала Пф, где / — сигнал, поступивший на вход А и зарегестрированный в виде результата измерения £ = Аф + и (4.3).
Согласно теореме 2.1, приведенной в §2.4 гл. 7, задача (4.6), (4.7) может быть сведена к 2k задачам линейного программирования, их решения
= шахusifi, s = l,...,k, (4.8)
определяют решение задачи (4.6)
W) = we) + <О!^ s = 1,... ,к,(4.9)
и максимальные погрешности оценивания координат
(ups = ^Ugjfj, 8 = к,
3 = 1
значениями (4.9): для любого ф 6 Л4(А, /у, Iv | £)
wups - uso < МО ^ шо - и„О/^ 8 = 1,..., к. (4.10)
Для задачи редукции (4.6), (4.7) характерна «существенно координатная» формулировка, при которой предполагается, что базисы в линейных пространствах 7tm, Ип и £7^, в которых векторы ф =
/ Ф1\/£ЛФ^Л
=... , е = ••• и соответственно и = ... представлены в виде
\Фт/\£п/\Ик /
столбцов координат, выбраны и зафиксированы исследователем. Как правило, это обусловлено содержательной интерпретацией координат векторов как значений функций при некоторых выбранных априори значениях их аргументов, например, Д = F(xj), j = 1,..., m, и соответственно — с представлением векторов в виде графиков этих функций, см. рис. 8.3. Это означает, что при определении эффективного ранга модели [A, If, Iv\ ее базис следует считать зафиксированным исследователем.
Для определения эффективного ранга воспользуемся результатами теоремы 2.1, приведенной в §2.4 гл. 7, и рассмотрим 2m решений задач линейного программирования
ф*Ае) = min ФмФИФ.) = тах
(4.11) определяющих минимаксные оценки
МО ММО + fjU№ j =(4.12)
Рис. 8.3. Вектор /, представленный в виде графика значений ф{ = F($t), г = 1,. .., m, функции F(-) в точках жх,..., хт . Отмечены интервалы [/1? /1],..., [/^, /т] априори возможных значений /х,..., фт
координат / и их погрешностей1)
Ш =j =(4.13)
Определение 4.1. Условным эффективным рангом модели [A,If,Iu] при условии, что £ = Аф + v — результат измерения (4.3), назовем функцию р(-|£) : [0, сю) —>{0,1,..., ш}, значение р(е|£) которой при каждом е Е [0, сю) равно количеству выполненных неравенств среди
Ш) <ej6 {1,2, ...,m}.
Упорядочим значения lj(^),j = 1,... ,т, в порядке возрастания:
о = lj0 < lh (0 < № <...<U К),(4.14)
тогда
p(s|£) = max{s|s Е {0,1,..., т}, ljs (£) < е}, е Е [0, сю). (4.15)
Значение р(е|£) равно максимальному числу координат ф, оцениваемых с погрешностью, не превосходящей е Е [0, сю). Речь идет о координатах Ф^-• • ^ Фзр(£\^ для КОТОРЫХ V/ ^ М(А, /у, Iv | £) IД - hs (О I < Д К) < ^, 8 = 1,..., Це|О, и, следовательно,
sup( max |Д - ДД)| / е М(А, If, Iv\ ^)| е.
Пусть Е = {£ = Af + V, f е l^m, V е тги, f_< f <1, v<v <v^
I, = maxZ/^) = IMy^, Lj == IjU^), (4.16)
X) Л(€) — центр интервала Vf*j (0, fjO, (Д) ег0 полудлина, j = = 1,..., т.
— максимальные полудлины интервалов, определяющие максимальные погрешности минимаксного оценивания j -ой координаты / значениями /j^-)) и fj^^ (см- (4-12)) при наиболее «неблагоприятном» и соответственно при наиболее «благоприятном» (для 7-ой координаты /) результатах измерений £ = £^ и соответственно £ = = £^ в (4.3), з = 1,... ,ш. Пусть аналогично (4.14)
о — 1. </. </. <</. • о —<7- <7- <<7-
и -Jo -Л - -J2Л < J1 Л < J2 Л • • • Л
— упорядоченные по возрастанию значения LiA^ • • • Лт и соответственно 71, ?2,..., 7т, и
"рД = max{s|s 6 {0,1,..., m}, ZJs < в};
рД = max{s|s 6 {0,1,..., тДЦ8 < £}; £ > 0.
Определение 4.2. Функции рД) : [0, сю) -4 {0,1,...,ш} и рД : [0, сю) -4 {0,1,...,ш} назовем верхним и соответственно нижним рангами модели \A,If,Iv\, многозначное отображение рД = [р(фр(*)Ь ставяицее в соответствие £ Е [0, сю) интервал [р(в), р(в)], назовем рангом модели [Л, ДДД.
Так как согласно определениям (4.16) lj >Д(Д > Lj 3 = 1,..., ттг, то для любых £ > 0 и { ЕЕ число рД) тех j Е {1,..., тД , для которых 7j < в, не больше, чем число р(в|£) тех j Е {1,... ^тД для которых ДД — s, а последнее не больше, чем число "рД тех j Е {1,... ^тД для которых Д < £ • Поэтому
рЕ) >pW) >рЛ, £>ол е=.(4.17)
В условиях (4.4) неравенство / < / < / определяет то. что естественно назвать рангом априорных данных в модели [Л, If, Iv\, или короче — априорным рангом модели [А,ДДД. Согласно (4.4) foj = (Д + Д)/2 И lOj = (Jj - /р/2, j = 1, ...,m, - априорные оценки координат /них погрешностей: V/j \Д — /oj| < Д 3 = = 1,..., 771. Поэтому априорный ранг модели [Л, ДДД есть фукнция ро(') : [0, сю) -4 {0,1,..., 771} , значение роД которой для каждого £ > 0 равно числу выполненных неравенств среди Д < еД Е {1,..., тД К так как согласно (4.5), (4.11) для любого ^ Е Е ЦД) < Дз 3 = = 1,... ,771, то loj >lj > Ц(Д > Д, j = 1,... ,77i, и, следовательно, Х£) > pW) > рД > РоД, £ > 0, ^ е Е (см. рис. 8.4).
Что касается понятия эффективного ранга модели [Л, If, Iv, U"\ интерпретации измерений (4.3) как Uf, то для его определения следует повторить все построения, основанные на определениях (4.11), (4.12) и (4.13), взяв за основу соответственно определения (4.8), (4.9) и (4.10). В частности, условный эффективный ранг
p(s|^, U) = max{s|s Е {0,1,..., кДт18 (£) < еД е > 0,
О62
Рис. 8.4. Верхний р(-), нижний р(-) и априорный ро(-) ранги модели
где 0 = п0 (£) < тц (£) < ..., < nfc (£)—упорядоченные по возрастанию значения И(£),..., r&(£) из (4.10).
Замечание 4.3. Эффективный ранг модели \АД^1р\ следует определить иначе, если погрешность интервального оценивания / G Пт определена приведенным в §2.5 гл. 7 соотношением (2.26). В этом случае для каждого s 6 {!,..., т} следует рассмотреть т\ т\м
= —-— задач линейного программирования
8 J s\(m — s)I
О = тах{УрД(с,0 еР(Д1/,Т|£)|},{.)1,... Js} е jM, г=1
(4-18)
T(s)(т\г.. .
где Jm —множество всех 1^1 различных подмножеств Vi,...,7s)C
C{l,...,m}, множество ТДА^ If, Л/|£) определено условиями (2.24) в §2.5 гл. 7, и для каждого з вычислить
= шш{/(Д... Д|£)|{л,... Д} е J^, 8€1,...,т. (4.19)
Условным эффективным рангом модели \АД^1р\ в этом случае естественно назвать функцию р(Д : [0, ею) —> {0,1,...,т}, определенную равенством
p(s|^) = max{s|s е {0,1,... ,т}, ^(Д) ^ ^}, £ 0,
в котором /^°^(^) = 0. Следовательно, поскольку минимум в (4.19) достигается на ^,..., 7у , то среди любых з координат / совокупность координат fjo,..., fjo определяется с наибольшей гарантированной
точностью согласно условию
г=1г=1
где cjp\O, ^o\£L ^ = l,---^, — решения задачи (4.18) при ji = = jt, г = l,...,s.
Эффективный ранг и эффективная размерность. В заключение вернемся к модели [А, 5], эффективный ранг которой получен в 4.1, и рассмотрим множество
^ = {/ € ЛЩА), £ = Af + v, v е U, |М| Д (4.20) возможных значений сигнала / G Т, до некоторой степени контролируемых результатом измерения £ (0.1). Его ортогональная проекция
ЩД = {Щ/ = ЩА-^ - ЩА~/л Z/ € тг, ||z/|| < 5}
на £(ei,..., е^) является сдвигом на ЩА £ части линейного подпространства {ЩА- v, v Е 7^}, принадлежащей шару ^v ЕН, |ф|| ^^}, и содержит ортогональные составляющие Щ/ сигнала /, возможные при результате измерения £ и оцениваемые значением Щ А( с ошибкой, не превосходящей £||ЩА_||. Если £ Е В(А-) = К(А) ФТ^^А), то и v Е ^(А-). и
^ = V = Ач - А"^ IMI d ■
В этом случае П(/ — А_£) = П/ — Аф где П = АА — ортогональный проектор на Л/'±(А), приближается его ортогональной составляющей (П — Щ)(/ — А-£) с ошибкой, не превосходящей £||ЩА_ ||, ибо П(/-А"£)-(П-Щ)(/-А"£) = Щ(/-А“£) = ЩА"^. А поскольку ортогональная проекция П/ — А( на любое линейное подпространство Т, коразмерность которого не меньше /с, приближает П/ — А( с погрешностью, не меньшей £||ЩА-||, то отсюда следует
Теорема 4.1. Пусть выполнены условия леммы 4.2. Тогда функция
((e) = min {rank (П - Щ) | к, ^ЦП^А™ ||в}, О 0,
является эффективной размерностью множества Т^ (4.20) (см. гл. 2). Если, в частности, dimA/^A) = q < сю, т.е. если а^^ ... ^ o?q> 0 = ск^+1 = ... ; то
<(е) = min |g - k, | к, 5||ЩА-|| s} =
= min {g — k, | k, 5оД ^ e j, £ ^ 0 .
В этом частном случае р(г) + £(е) = п, см. лемму 4.2. □
Глава 9
Методы синтеза линейных измерительных приборов на измерительно-вычислительных системах
Проблема несмещенной редукции, как было отмечено, выглядит в известной степени идеализированной по той причине, что точный синтез на ИВС [Л, Е] заданного прибора U имеет смысл лишь при условии, что точно известна модель [Л, Е] схемы измерения. Действительно, условие точного синтеза RA = U является, как известно, следствием требования supE \\R£ — Z7/||2 < сю, позволяющего в конечном счете оценить и минимизировать погрешность. В то же время на практике модель [Л, Е] непременно отличается от модели [Л, Е], контролирующей реальное измерение £ (т.е. на самом деле £ = Л/ + ?/, а не £ = Л/ + v). Но в таком случае и при условии RA = U
supE ||Я£ - &/||2 = snp{||(ДЛ - ^)/||2 + Е ||^||2} = ОО, //
если RA ^U и, следовательно, «точный синтез» U теряет смысл.
Эта ситуация характерна для задач, в которых отсутствует априорная информация о /. Даже при анализе погрешности исходного измерения~~
£ = Af + v = Af + (А - A)f + v
мы сталкиваемся с той же проблемой: если А ^ Л, то supE||£— /
—Л/||2 = ею (не говоря уже о погрешности редукции).
Разумеется, в реальных задачах сигнал /, как правило, не может быть произвольным элементом Rm , и вопрос о том, как должна быть учтена та или иная априорная информация при постановке задачи редукции, рассмотрен в гл. 6 и 7. А сейчас в рамках модели [А, Е] рассмотрим задачи синтеза измерительных приборов на ИВ С. Тесно связанные с материалом этой главы задачи оптимального синтеза ИВС рассмотрены в работе [5].
Методы синтеза измерительного прибора при ограничении на уровень шума
Пусть U — прибор, который требуется синтезировать на ИВС [А, Е]. Независимо от того может быть синтезирован выходной сигнал U или нет, рассмотрим задачу
min{||L7 - U\\1\U € Da = \\Ue - Г|Ц,(1.1)
где Р£ — множество тех приборов, которые допускают точный синтез их выходных сигналов на ИВС [А, Е] (несмещенную редукцию) при уровне шума, не превосходящем заданного значения о ^0 (см. гл.5):
ПЕ = {U, иа - Л" Л) = О, tr (ЩЕ-ЩГ) ^ е}.(1.2)
Если UE — решение задачи (1.1) и Re —оператор несмещенной редукции к 74 , то
Ra = U£f + REv = Uf + (UE - иу + Rev
— искаженный шумом R£v выходной сигнал прибора U£, самого близкого к U при условии, что энергия шума редукции не превосходит е. Подчеркнем, что речь идет об инструментальной интерпретации редукции, согласно которой R£^ — выходной сигнал синтезированного прибора Ue с заданным уровнем шума, причем критерием качества в данном случае является не величина с.к. погрешности Е ||Яе£ — 77/1|2 интерпретации редукции R.^ как выходного сигнала U£f прибора Ue , а величина погрешности синтеза \\Ue — UW^ прибора U. Более того, supE||77£^ — 77/||2 = сю, если Ue ^ U (см. также /
обсуждение этого вопроса в §3. гл. 5).
Рассмотрим подробнее задачу (1.1). Поскольку любой прибор из ^[дд можно представить в виде ZAА, выбрав соответствующий оператор Z, задачу (1.1) можно представить в виде
|Д - ЯЛ-ЛЩ = I\U(I - Л-Л)||§ + || Д - Я)Л-Л|Ц ~ mm,(1.3)
где Z подчиняется условию *)
tr (ZM*S"A)"Z*) ^ е.(1.4)
Задача (1.3), (1.4) является задачей выпуклого программирования, поэтому ее решение определяется условиями (см., например, [26, 5]):
-(U - Z)A~A + wZ(A*S"1A)" = 0;
w(tr(Z(A*S"1A)"Z*) - е) = 0; w > 0;(1.5)
tr(Z(A*E"1A)"Z*) e,
среди которых первое уравнение является необходимым и достаточным условиям минимума по Z лагранжиана задачи
tr ((и - Z)A"AX - Z)*) + wtr (Z(A*S"1A)"Z*).
Учитывая, что (A*S_1A)_(Z — А_А) = 0, решение можно записать в виде
Z = Z^ = Е/Д + ЦА^^А)-)-1,
где из определяется остальными условиями (1.5). Поскольку
^ =tr(Z,(A*E-1A)-Z:)
— строго монотонно убывающая функция и ^ 0 ), то
max/iw = lim кш = tr (ЩА^ТГ1 A)~UA =
inf Нш = lim Нш = 0 = h^. ш^Ош—>ос
Следовательно, неравенство (1.4) действительно является ограничением на уровень шума редукции, лишь если
0 < е < Л+о,
и для таких е уравнение
Нш = Е
имеет единственный корень из = изе. Для е ^ h_^o сщ = 0. Заметив, наконец, что
lim Zw = U, lim Z^ = U(I - A" AY ш—>T0ш—>ос
получим решение задачи (1.1), (1-2).
Теорема 1.1. Задача (1.1), (1.2) синтеза прибора U при ограничении на уровень шума имеет единственное решение
0,е = 0;
и£ = <и£ = <U(I + ше(А*^-А)-)-1А"А, 0<е
и£ = <
и£ = <
UAA.е Ид
е = 0;е = 0;невязка синтеза
е = 0;
е = 0;
!№, о
+w£(T*S-1T)-)-[(T*S-1T)-]2C*);
ДШ1-А"А)\\1,
где ш£ > 0 — решение уравнения Иш = tr (U(I + cj(A*E ХА) ) *х х(Л*Е-1Л)-(/ + ^(Л*Е-1Л)-)-1^*) = е, О < И^о.
Определение 1.1. Зависимость
gE = \\U - Ue\\X, 0 е < оо,
называется оперативной характеристикой (О.Х.) задачи (1.1), (1.2) синтеза прибора U на ИВС [Л, X] ').
силу Ue и уровень шума е . Невязку синтеза и уровень шума удобно определять параметрически:силу Ue и уровень шума е . Невязку синтеза и уровень шума удобно определять параметрически:Рис. 9.1. Оперативная характеристика задачи (1.1), (1.2), a = \\U\\^b=\\U(I- -А-АЖРис. 9.1. Оперативная характеристика задачи (1.1), (1.2), a = \\U\\^b=\\U(I- -А-АЖЕсли, как обычно, считать U идеальным прибором, а разрешающую силу прибора U определить значением \U — U\\% (квадратом расстояния от U до U, см. §3 гл. 5), то О.Х. связывает разрешающую
силу Ue и уровень шума е . Невязку синтеза и уровень шума удобно определять параметрически:
силу Ue и уровень шума е . Невязку синтеза и уровень шума удобно определять параметрически:
Рис. 9.1. Оперативная характеристика задачи (1.1), (1.2), a = \\U\\^b=\\U(I- -А-АЖ
Рис. 9.1. Оперативная характеристика задачи (1.1), (1.2), a = \\U\\^b=\\U(I- -А-АЖ
9(Д = \\U - ДД|||, Щ) =
^(ДДСГЕ-МГЕДД), 0^ш<оо, (1-6)
где П(ш) = Z^.AА. При изменении параметра ш от 0 до ос точка (И(шУ, д^У на О.Х. переместится из точки а в точку ^, причем для 0 < и < оо выполняется закон сохранения (рис. 9.1):
бд(ш) + шбИ(ш) = 0,(1.7)
означающий, в частности, что при стремлении к точке а dg/сЩш^-^оо —> 0, а при стремлении к точке 3 dg / dh\w^oo —> —ею. Следовательно, О.Х. в точке а имеет горизонтальную касательную, а это означает, что малому увеличению невязки синтеза 5д отвечает значительное уменьшение уровня шума —Sh.
Понятно, что чем ниже лежит график О.Х., тем лучше синтез. Если [Л, Ё] -< [Л, X], то De CDe, е 0, и, следовательно, для ИВ С [Л, X] график О.Х. лежит не выше, чем для ИВС [Л, X]. Действительно, если U Е De, то U Е D^a^ и М^О £ • Следовательно, тем более U Е D^ g] и h(U) ^ £ и тем самым U ED£. Сравнивая теперь задачу (1.1), (1.2) с такой же задачей для ИВС [Л, X], нетрудно заметить, что \\U — Ту2 ^ \\U — ?7£||2, поскольку во второй задаче область De на которой ищется минимум, не менее обширна, чем в первой.
Равенствооо
R£ = Uf + (RA -U)H Rv
подсказывает другой подход к проблеме синтеза прибора U на ИВС [Л, X]. Речь идет о задаче на минимум
inf {ЦДЛ - U\\2\R, Е\\R< < Д = \\ReA - и\\2^ре,(1.8)
решение Re которой определит сигнал ReE, как искаженный шумом Rev выходной сигнал прибора ReA, самого близкого к U при действующем ограничении на уровень шума Е ||77£ц||2 ^ е, е ^ 0. В монографии [5] показано, что задачи (1.1), (1.2) и (1.8) эквивалентны. Если А А* + Ё — невырожденный оператор, то
U£ = R£A, R£ = UeA"A - ^Др^ДЗ)-),
где Р = I — АА , причем для любого U
\\U-U£\\l = \\U-RE<2=pE.
Если, в частности, X — невырожденный оператор, то для О < е <
Re ~ RA') , гдео
RA) = UA*(AA* + ^Ер1(1.9)
и ш£ — корень уравнения tr (Д(ш)ЕД*(ш)) = г.
На практике удобно иметь дело с параметрическим семейством 1)
RAY hA) = tr (RAW4AY aA) = 1И^М - гЩ, о w < оо,
х) В теории линейного оценивания семейство линейных операторов R(w), 0 ^ ш < оо, (1.9) определяет класс так называемых гребневых оценок [85]; см. также [37, 87, 29].
определяющим семейство решений задачи синтеза U, в котором R(uj)^ — искаженный шумом R(w)i/ интенсивности h(co) выходной сигнал прибора R(w)A, самого близкого к U при уровне шума h(w). Аналогично (1.6) функции h(w) и д(ш), 0 ^ ст < сю, определяют О.Х. задачи (1.8).
Следует заметить, что, хотя при и > 0 supE ||Д(сД£ — ?7/||2 =
= сю, тем не менее, если U Е R[a,^] (т-е- U допускает несмещенную редукцию), то для любого фиксированного сигнала / Е Rm можно указать значение и > 0, при котором
Е ||Л(Де - ГД2 < h+0(U) = tr (ПА^АГиА (1.10) где h_^o(U) — погрешность несмещенной редукции. Действительно, 5М = Е \\w<- Ufti2 = ||(WA- Д/||2 + tr ^ад <
< gM||/||2 + hH = (<?И - 5(+0))||/||2 + W) - ^(+0)) + Щ0), где как, нетрудно проверить, Л(+0) = tr ([/(А*£~1 А)~[/* ЬМЛ и в силу условия U Е D\a si ^(+0) = lim ^(cj) = 0. Поэтому 5(+0) = = Л(+0) и
5(Д -^(+0) < gHj-g(+0) 2 + Ш)_СкС1 =
где 0 < из ^ ио. Следовательно, в силу закона сохранения (1.7), J(cj) < 5(+0), как только из < ||/||-2 ибо h'(aj) < 0.
Итак, выбирая достаточно малое и > 0, можно получить неравенство (1.10), означающее, что для фиксированного сигнала / погрешность интерпретации R(uo)£ как выходного сигнала U f меньше, чем при несмещенной редукции измерения £ к прибору U. Однако до тех пор, пока сигнал /, как это принято в случае модели [А, X], произволен, этой рекомендацией воспользоваться невозможно, поскольку значение ||/|Д2 не известно.
Заметим, что выражение для R(w) (1.9) совпадает с оператором редукции к U для модели [A, F, Е], если F = из~г1 (см. гл. 6). Это означает, что сигнал Re$, можно считать наиболее точным (в с.к.) приближением сигнала U f ^ если сигнал / определен как случайный вектор с Е / = 0 и корреляционным оператором из~г1.
Пусть X > 0. Перепишем выражение (1.9) для Д(сД в виде [/(А*Е~* А^из1)~^ А*Х-1, удобном для анализа сигнала R(uj)^ в срав-
нении с сигналом Яо^ = U(A*Yi ХА) А*Е ’(. определяющим несмещенную редукцию £ к Uf. Обращаясь к результатам §4 гл. 5, в котором проанализирована роль шума при несмещенной редукции, заметим, что, в отличие от равенств (4.6) гл. 5, определяющих результат несмещенной редукции к U = I в базисе модели [А, Е], теперь
(R^co^^i — (ei, R(co)^) — 2 । 4" х2 I . ’ (1-И) 0^ СО СО
где {щ} — ортонормированный базис модели [А, Е], А*Е-1Ащ = = 5^Ci, fi = (/, Ci), §i = б^Уг^2 Aei, г = 1,..., m. Если собственные значения упорядочены так, что б2 ^ б^ ^ ---^ > 0, то, в отличие от равенств (4.6) гл. 5, согласно которым при бт —> 0 неограниченно возрастает шум редукции, теперь при ио > 0 и бт —> О ММо.
Как правило, этот факт свидетельствует о «сглаживании» сигнала R(co)£ по сравнению с Ro^ поскольку обычно с увеличением г возрастает «изрезанность» собственных векторов щ, г = 1,..., т, а наличие в равенствах (1.11) со > 0 уменьшает относительный вклад «изрезанных» составляющих в сигнал R(co)£ (рис. 9.2). Обратим внимание на следующий на первый взгляд парадоксальный факт: «сглаживание» можно понимать как эффект, вызванный учетом информации о сигнале / как о «белом шуме» (с параметрами Е / = О, Е//* = = co-1I)D хотя «белый шум» вовсе не гладкий в обычном понимании. В данном случае все дело в том, что в «белом шуме» р, корреляционный оператор которого равен со^А. «энергетический» вклад каждой составляющей (р, е^вг, г = 1,..., m, одинаков и равен со^А в то время как в сигнале RA аналогичный вклад каждой составляющей (Ro^e^ei равен б^". г = 1,..., т. а в (1.11) относительно подавлены составляющие (Я(и)£,щ)щ, у которых отношение 6 А2/ со-1 велико.
В заключение этого параграфа заметим, что хотя, как было отмечено, для со > 0 sup Е ||Я(си)£ — L7/||2 = сю, тем не менее в том случае, когда известно распределение v, например v ~Л'(0. Е), для оценивания погрешности Е ||Я(си)£ — L7/||2 интерпретации R(co)£ как сигнала Uf можно воспользоваться следующими соображениями, аналогичными рассмотренным в §10 гл.5.
Так как при невырожденном корреляционном операторе Е R(co) = = US^A*^-1, где 8Ш = А*Е-1А + col, то
R(co)A -U = -coUS^1
и, следовательно,
Е №)£ - ГД2 = u?\\USpf\\2 + tr (USpA^ASplh.
100'
60
г
О - "200
100
20(Г
100
60
о
-20
о
д
W *****
100
200
100
60 о -20
100
60
о
-20
О100200
Рис. 9.2. о) Оперативная характеристика задачи (1.8): ln/a(cj) (по вертикали), g(w) = ||Д(с<;)Л — [/Ц^ (по горизонтали), 0 < lj < oo, U = I; в точке а : из = 5 • 10—4, (Л(0)/5 • 10-4))1/2 = 1.52. В точке /3 : из = 8 • 10-3, (7z(O)/7z(8-10”3))1/2 = 2.29. В точке 7 : w = 6.5-Ю"2 , (Л(0)/Л(6.5Л0-2))1/2 = = 4.00. б) Входной сигнал / и измеренный сигнал ^ = Л/ + 1/. в) Выходной сигнал ИВС R^O)^ v ^ 0. г) Выходные сигналы ИВС К(ш)^ при выключенном шуме, v = 0, сверху вниз: из = 5-Ю-4,8-Ю-3,6.5-Ю-2 . J) Выходные сигналы ИВС K(lj)^, v / 0, сверху вниз: из = 5 • 10-4,8 • 10-3,6.5 • 10-2
Зададим е > 0, 5 > О, определим и = сщ так, чтобы tr (Ux о *
х8Д А*^ А8ДИ ) = в, и рассмотрим задачу проверки гипотезы
Ж£ = {/етгт, Д|Д5-Д||2^Л
против альтернативы
^\\US^f\\2>6}
на основе наблюдения £. Если Л*Е! Л — невырожденный оператор, то рассматриваемая задача проверки гипотезы точно эквивалентна рассмотренной в заключение §10 гл.5. Там, в частности, определены верхняя и нижняя надежности гипотезы; пусть в данном случае это будут абД^) и а§ £^ соответственно. Тогда погрешность
Е ||Д(щг)£ — L7/||2 S с такими надежностями.
Если оператор Л*Е’Л вырожден, то знание параметра Л/ распределения £ не фиксирует / и не позволяет различать гипотезу и альтернативу.
§ 2. Общий метод синтеза измерительного прибора на измерительно-вычислительной системе
Как было отмечено, стремление к точному синтезу на ИВС [Л, Е] идеального прибора U, за редкими исключениями, не может быть признано вполне оправданным. Прежде всего в силу возможных неточностей модели [Л, Е] условие точного синтеза RA = U фактически не может гарантировать, что supE \\R£ — U f\\^ < сю. Кроме /
того, точный синтез U на ИВС [Л, Е] может быть принципиально невозможен.
В предыдущем параграфе рассмотрена задача синтеза прибора, наиближайшего к U при заданном ограничении е на уровень шума, сопровождающего «измерение» на синтезированном приборе. Однако в тех случаях, когда, с одной стороны, при заданном ограничении на уровень шума невязка синтеза \\U — ^П^ оказывается слишком большой, а с другой — исследователь может априори указать класс U приборов приемлемого качества, задачу синтеза следует поставить как задачу отыскания прибора U£ EU и наиближайшего к нему прибора ReA, таких что
Ц14 - ДеЛ|Ц = inf{|Щ - ДА||1Д е и, R, Е ||Дг/||2 ^ е}.(2.1)
Эта задача отличается тем, что в ней окрестность U идеального прибора U, состоящая из приборов приемлемого качества, указана априори. Например, класс U = Ыб может состоять из приборов, позволя-
ющих измерять не менее чем заданное число б параметров объекта среди общего из числа 6^ ^ 6. последние к тому же могут быть упорядочены исследователем по степени важности.
Этот пример имеет непосредственное отношение к спектроизмерительным приборам, у которых 5 может определять ширину спектра измеряемых частот, или разрешающую способность. Рассмотрим такую интерпретацию подробнее.
Пусть Ы^ — класс матриц п х п вида
у которых матричные элементы (Us)ij = 0 для \г — j\ > б, i.j =
= 1,..., п. Этот класс содержит идеальный прибор U = Uq = I и все те приборы, у которых аппаратная функция «не шире», чем 2J + 1. Используя оптическую терминологию, можно сказать, что класс Ы§ моделирует приборы, разрешение которых не хуже 2J + 1. Ограничившись симметричными матрицами, каждый прибор из Ы§ можно задать в виде линейной комбинации
5
а\Е\
А=0
матриц Bq , Bi,..., Bj , матричные элементы которых
U^X^j— 5|2—j|—A, Z,^, ...,7l,
по = 1, а слагаемые aiEi,по = 1, а слагаемые aiEi,а^Е^... , а§Е§а^Е^... , а§Е§c fl, & = О, где бк = to, к^ о
по = 1, а слагаемые aiEi,
по = 1, а слагаемые aiEi,
а^Е^... , а§Е§
а^Е^... , а§Е§
приводят к расширению «аппаратной функции» и соответственно — к уменьшению разрешения U^ с увеличением 5. В данном случае параметр б характеризует качество приборов из Ы§, причем качество последних тем выше, чем меньше б ^ 0. Семейству задач (2.1), в которых 0 ^ в < ею, U = LU. 0 ^ б < оо, сопоставим оперативную
характеристику
де,з = \\ие,з - ЯЕ,гЛ|||, О ^Е<оо, 0<00,
где U£i§ R£i§ — решение задачи (2.1) при U =.
На рис. 9.3 приведены примеры оперативных характеристик для двух моделей, отмеченных номерами 1 и 2. На рис. 9.3, а О.Х., отвечающая модели 1, свидетельствует о более высоком качестве синтеза при любых £ ^ 0, б ^ 0. На рис. 9.3, б модель 1 предпочтительнее, чем модель 2, лишь при синтезе для значений параметров в ^ О, б ^ 0, лежащих в заштрихованной области. Более подробно свойства О.Х. рассмотрены в книге [5], где, в частности, показано, что, чем
Рис. 9.3. Примеры оперативных характеристик
лучше модель (в смысле сравнения ^), тем ниже лежит график ее оперативной характеристики.
Возвращаясь к задаче (2.1), в которой
5
U == {[7 = Eq + У^Qa^a, —ос < на < ос, А = 1,...,5},
А=1
рассмотрим пример синтеза на ИВС [Л, X] прибора U обладающего повышенным разрешением по сравнению с прибором А [88].
Пусть / е Еп, А е (Еп Пп) и
(А/Т = 2^1 ^ S = 19’ П = 128’
и будем считать, что приемлема любая из четырех возможностей синтеза U Е Ы§ 5 = 0,1,2,3, причем при 5 = 0 речь идет о синтезе прибора U = I с разрешением в 39 раз более высоким, чем у А, а при 5 = 1,2,3 — соответственно в 39/3, 39/5 и 39/7 раз. Входной сигнал / и результат измерения £ = Af + v представлен на рис. 9.4, а. На рис. 9.4, б показаны «сечения» О.Х., соответствующие 5 = 0,1, 2, 3, на которых отмечены точки, определяющие условия синтеза. При фиксированном уровне шума в, одинаковом в каждом из четырех случаев, решения задачи (2.1) представлены на рис. 9.4, в, а те же решения при «выключенном» шуме (и = 0) — на рис. 9.4, г, где отчетливо видны ложные сигналы (U£i5 — R£^A)f при 5 = 0,1,2,3, обусловленные со- отвественно невязками синтеза Ue^ — Re^A, 5 = 0,1, 2, 3. Как видно, чем больше д£^ = ||£7£д — Я£дА||2, 5 = 0,1,2,3, тем больше ложный сигнал. В данном случае редукция Re^6, не только сопровождается самым интенсивным ложным сигналом, но фактически реализует бо-
Рис. 9.4. а) Входной сигнал и результат измерения = Af + v. 6} Сечения оперативной характеристики: h = Е ||Д£д1/||2 как функция g = = ||К£дЛ — ивд Ц2 для § = 0,1, 2, 3. Точки отмечают условия синтеза приборов Re^A^ Н£дА^ Н£дА и НвдА при одном и том же уровне шума, в) Выходные сигналы (сверху вниз) ИВС Недб^ 5 = 0,1, 2, 3. г) Выходные сигналы (сверху вниз) ИВС Недб^ 5 = 0,1,2,3, при v = 0, иллюстрирующие уровень ложных сигналов
лее низкое разрешение, чем Re^i хотя формально Re,o£, — редукция к прибору Uq = I, обладающему самым высоким разрешением1).
Это происходит потому, что при 5 = 0 синтезированный прибор Re,о А гораздо дальше «отстоит» от идеального Uq = I, чем прибор Re^A, синтезированный при 5 = 2, «отстоит» от соответствующего прибора Ue,2 6 ^2 • И хотя разрешение Uq = I выше, чем у Ue,2 прибор Re,о А не наследует это качество в силу значительного «удаления» от По. Как видно из рис. 9.4, в при наличии шума ложный сигнал в редукции R£,2^ Re,3$, практически не заметен, в то время как в редукции Re,o^ которая фактически является решением задачи (1.8) при U = I, ложный сигнал отчетливо виден и на фоне шума. Это обстоятельство может серьезно осложнять решение задачи интерпретации.
В заключение приведем теорему, описывающую решение рассмотренной задачи [5].
5
Теорема 2.1. Пусть Е > 0 и и§(ш) = Sq + 52 ахМЕ\ ~ реше-
А=1 ние системы уравнений
wj-tr^US^HU*) = О, Ойдwj-tr^US^HU*) = О, ОйдА = 1,...ДА = 1,...Д
wj-tr^US^HU*) = О, Ойд
wj-tr^US^HU*) = О, Ойд
А = 1,...Д
А = 1,...Д
где S(w) = A*S гА + wl. Решение задачи (2.1) имеет вид
'UsHS^MA*^-1, с-^ЦеЦ,'UsHS^MA*^-1, с-^ЦеЦ,Re,8 = Ust + Q)^-1/^)-^-1/2,Re,8 = Ust + Q)^-1/^)-^-1/2,О < £ < e(5), e ^ e(5), e = 0;О < £ < e(5), e ^ e(5), e = 0;= Це, 8),= Це, 8),Ue,8 =Ue,8 =га+о), Щ+оо),га+о), Щ+оо),0 < e < e(5), e ^ e(5), Е = 0,0 < e < e(5), e ^ e(5), Е = 0,
'UsHS^MA*^-1, с-^ЦеЦ,
'UsHS^MA*^-1, с-^ЦеЦ,
Re,8 = Ust + Q)^-1/^)-^-1/2,
Re,8 = Ust + Q)^-1/^)-^-1/2,
О < £ < e(5), e ^ e(5), e = 0;
О < £ < e(5), e ^ e(5), e = 0;
= Це, 8),
= Це, 8),
Ue,8 =
Ue,8 =
га+о), Щ+оо),
га+о), Щ+оо),
0 < e < e(5), e ^ e(5), Е = 0,
0 < e < e(5), e ^ e(5), Е = 0,
где
Щ+0) = ИтД^), Щ+ск>) = утД<$(Д,e(8) = tr (Щ+ОЩ^-МЩЛ+О))u cj(e,5) — единственный корень уравнения
tr (U^W^AS”2^^=
0 < s < е(5),Е е(5),£ = 0,0 < s < е(5),Е е(5),£ = 0,Оперативная характеристика определяется зависимостями
0 < s < е(5),
Е е(5),
£ = 0,
0 < s < е(5),
Е е(5),
£ = 0,
д£,д = < tr М(+0)(1 - А"А)ЩШJr (U6(4-oo)U§ (Too)),
Т) Амплитуда «пика» в Re,26, в 1,12 раза больше, чем в R£,o^-
причем, если множество {U Е U§, U(I — АА) = 0} не пусто, то g£i§ = 0 для е ^ е(5) . В этом случае возможно полное подавление ложного сигнала. Для и > 0 0 = иоЭИДДД Эио + ЭдДДД Эио, где Цсщ5) = EpdHz/||2; g(co,5) = \\ВбД)А - ПбД)\\22, Н§Н = = U^S^W^-"1 • □
Заметим,что возможны постановки задачи синтеза, отличные от (2.1). Например, в ряде случаев предпочтителен несмещенный синтез
inf{E |Щ1х||2 Щ, и е и П Р} = inf{tr (U^^AEU^U eLtnVy
Здесь D — множество всех приборов U, допускающих несмещенный синтез, D = ^U, U(I — АА) = 0}. Эту задачу можно интерпретировать как задачу несмещенного синтеза прибора приемлемого качества с минимальным уровнем шума. Возможны и другие постановки, как правило многокритериальные, см. также [5, 97, 98, 100].
Глава 10
Измерительно-вычислительные преобразователи
Введение
В этой главе методами теории измерительно-вычислительных систем (ИВС) изучаются измерительно-вычислительные преобразователи (ИВП) первого и второго порядков. Согласно теории ИВС измерительный преобразователь (ИП) и вычислительный преобразователь (ВП) рассматриваются как единый прибор, ИВП, выполняющий функции средства измерения.
Измерительным преобразователем (датчиком) называется устройство, преобразующее внешнее воздействие той или иной физической природы в электрический сигнал. На практике широко используются ИП, математические модели которых описываются дифференциальными уравнениями [6]. Порядком ИВП будем называть порядок датчика, который используется в качестве измерительной компоненты ИВП, в свою очередь порядок датчика определяется порядком описывающего его дифференциального уравнения.
Качество ИП как измерительной компоненты ИВП и качество ИВП как средства измерения в теории ИВС определяется точностью измерения, выполняемого на ИВП, то есть точностью оценивания измеряемого сигнала или некоторых его параметров. Поэтому ниже, изучая свойства ИВП как средства измерения, мы будем считать, что в ВП реализован алгоритм редукции, минимизирующий погрешность интерпретации измерения в классе линейных преобразований выходного сигнала ИП, см. гл. 5, 6, ср. с §12 гл. 7.
Типичная схема измерения сигнала, зависящего от времени, с помощью ИП имеет вид [5]
№) = А№И^ 0<t<T.(0.1)
где £(•) Е 7£ — искаженный шумом и(-) Е 7£ выходной сигнал ИП, рассматриваемый как отклик на входной сигнал /(•) Е 7£, полученный в процессе взаимодействия ИП с измеряемим объектом и средой, А Е (Jt —> 7£) — линейный ограниченный оператор (обычно
интегральный), моделирующий ИП, R^R — евклидовы пространства, как правило), £[0,Т] , t Е [О, Г] — время. Задача интерпретации измерения (0.1) заключается в извлечении из £(•) наиболее полной информации о параметрах исследуемого объекта. Определим эти параметры как выходной сигнал Uf(-) прибора 77, причем в данном случае U Е (£2[0,Т] -ч Z/) — линейный ограниченный оператор, моделирующий «идеальный» измерительный прибор, который взаимодействует с измеряемым объектом и средой так же, как и А, но на выходе дает параметры исследуемого объекта, не возмущенного измерением. Речь идет о преобразовании (редукции) R^(-) результата измерения £(•) (0.1) к виду, свойственному измерению на приборе 77, т.е. к виду U/(•), см. гл. 5, 6 и [5] .
Если в схеме (0.1) известен оператор А и шум zx(-) — случайный элемент £2[0,Т] с нулевым математическим ожиданием, Ezx(-) = 0, и известным корреляционным оператором Е Е (R —> R), то задана модель [А, Е] схемы измерения (0.1), изученная в монографии [5].
Математически задача редукции для модели [А, Е] формулируется как задача на минимум максимальной среднеквадратичной ошибки интерпретации Я£(-) как 77/(-) [5]:
ЦК.П)= snp E\\R^)-UKXW - min. (0.2) /(.)е£2[о,т]L J
Здесь min вычисляется на множестве всех линейных операторов R Е (£2[0,Т] —У UY В рассматриваемых далее моделях оператор А обратим, A1 =D. и для простоты принято Е = ст2/, где I — единичный оператор.
Тогда, как показано в [5], задача (0.2) разрешима в том и только том случае, когда UА-1 = UD — оператор Гильберта-Шмидта (Г. -Ш.), ее решением является оператор Г.-Ш.2) R* = UD, и среднеквадратичная погрешность редукции R*^(-) измерения £(•) к Uf(-)
h(R^U) = Е ||.М|2 = сг2\\йП\\У
где || • Ц2 ~ символ нормы Г.-Ш.; по определению \\w2=ib№^<’ 3=1
где {е^-(-)} — некоторый ортонормированный базис £2[0,Т] [5].
Поскольку в этой главе рассматривается только задача синтеза на ИВП значения 77/(-), т.е. выходного сигнала прибора 77, то, говоря для краткости о синтезе на ИВП измерительного прибора 77, мы имеем в виду синтез его выходного сигнала. Такая вольность не должна смущать читателя (см. гл. 9).
§ 1. Редукция измерения, выполняемого на ИП первого порядка
Рассмотрим измерительно-вычислительную систему, измерительная компонента которой является ИП первого порядка. Как известно [6], выходной сигнал u(t) ИП первого порядка в любой момент времени t Е [О, Г] определяется как решение следующей задачи Коши
аи^ + (Зи^ = /(Д 0 < t < Т, ^ ^ и(0) = О, u^t^du^/dt.
Здесь [О, Т] — промежуток времени, в течение которого производится измерение, f(t) — воздействие измеряемого объекта на ИП (температура, влажность и т.п.) в момент времени L а и 3 — параметры датчика, в данном случае не зависящие от времени. В начальный момент t = 0 значение и(0) считается равным нулю.
Пример 1.1. ИВП первого порядка используются для определения ЭДС источника напряжения. В схеме, изображенной на рис. 10.1, Е^ — ЭДС источника, зависящая от времени t Е [0,Т], р — его внутреннее сопротивление, тис— входные сопротивление и емкость измерительного устройства (вольтметра), u(t) — измеряемое напряжение в момент времени t Е [0,Т] (ср. с рис. 7.4). Если включение вольтметра происходит в момент t = 0, то и(-) определяется решением задачи Коши [73]:
cpu(t) + (1 + ^Mt) = 8(t3 0 <t <Т, и^ = 0.
Заменой в (1.1) х = t/T, а = а/Т, й(х) = u(t), /(ж) = /(f) приведем интервал [0, Г] к единичному, чтобы в дальнейшем х Е [0,1], и для упрощения обозначений опустим знак волны над а, и и /.
Рис. 10.1. Схема измеренияРис. 10.1. Схема измеренияС учетом этих преобразований соотношения (1.1), определяющие математическую модель измерительной компоненты ИВП, взаимодействующей с измеряемым объектом, запишем в операторном виде
Рис. 10.1. Схема измерения
Рис. 10.1. Схема измерения
Ы) = /0, (1-2)
ЭДС источника где Dy — формальный дифференциальный оператор ad/dx + /3, определенный на плотном в £2[0,1] множестве Л^х абсолютно непрерывных функций п(-), таких, что u^-) Е £2[0,1] и и(0) = 0. Di — замкнутый, плотно определенный (неограниченный) линейный оператор, действующий из Mi в £2[0,1]. Его областью значений является £2[0,1] и в (1.2) /(•)е£2[0,1].
Обратный к Di оператор Лх = Dr 1, определяющий решение за-
§ 1. Редукция измерения, выполняемого на ИП первого порядка 373
дачи Коши (1.1), дается равенством
AiPx) = - [ехр(--(ж - у))/(у) dy, 0 ^ ж ^ 1,(1.3)
о
в котором /(•) G £2[0,1]. Лх, очевидно, — оператор Гильберта- Шмидта 1).
Нетрудно заметить также, что сопряженный с Dy дифференциальный оператор D^ = — a{d/dx) +^, определен на плотном в £2[0,1] множестве М^ абсолютно непрерывных функций г(-), таких что г^-) Е £2[0,1] и у(1) = 0.
Замечание 1.1. Оператор UD i каки Di определен на плотном в £2[0,1] множестве All. Если {^(*)} — ортонормированный базис £2[0,1], содержащийся в Mi, то согласно условию разрешимости задачи (0.2)
1№|Ц = Ё 1№<Д-)||2 = Ё IG^OH2 <(1-4)
J=1J=1
Естественный способ продолжения UDi до оператора Г.-Ш. UDi, определенного на £2[0,1], состоит в следующем. Пусть ж(-) 6 £2[0,1] и
Д) = Ё^'&Г)(1-5)
1
— разложение ж(-), где Xj = (х(-), gj(-)) = J x(x)gj(x)dx, j = о
= 1,2,..., — координаты х(-) в базисе {^(*)}. Определим оператор
сюДП
UDi равенством UDix^ = ^XjUDig^ = lim ^x^UDig^-y^ 3 = 1n^ocJ = 1
W^(-) e£2[o,i], ибо ||W^(-)||2 < ||x(.)||2||W||2 < oo.
Предел (в £2[0,1]) справа существует, ибо в силу (1.4), (1.5) для п > т
W^XjUDxgjd-^XjUDxgjdW Е НжД£,1^(-)11 j=lj=lj=m
" п п1 1/2
Ё^2Енг1)1%(-)112
х) Заметим, что хотя Л1/(-) Е Mi, ^(-) и и(-) не обязаны принадлежать Mi, поэтому выражение D^ = Лф1^, вообще говоря, лишено смысла.
. Базис и эффективный ранг модели [Ai,E]
Речь пойдет об ортонормированном базисе £2[0,1], состоящем из собственных функций оператора DiD^ ^ являющихся решениями следующей краевой задачи [5]:
Г DiD^z(x) = —а2У'(ж) + 32z(x) = 52z(x3 0 < ж < 1,/9
\ -а/(0) + /Гф) = 0, г(1) = 0.
В (2.1) равенство г(1) = 0 следует из условия г(-) Е М^ соответственно включение D^z^ Е Mi влечет условие —аг(0)' + ^(0) = 0.
Обозначим ei(-), в2(•),... ортонормированный базис £2[0,1], состоящий из решений задачи (2.1), упорядоченных согласно неравенствам 0 < 51 ^ §2 ^ ... для соответствующих собственных значений, и называемый базисом модели [Ai,cr2I] [5]. В данном случае [81]
ej(x) = qj sin^^l — ж)), 0 ж 1,52 = З2 +d2n2, j = 1,2,..., (2.2)
где ay < а2 < ... — положительные корни уравнения аа cos а + 3 sin а = 0 и qj = ^ + ^^ 2 , 3 = 1?2,..., — нормировочные постоянные.3
Заметим, что
D^ej(x) = Sjej(x), где ^-(ж) = (—ly^qj 8ш(п^ж),
Diej^ = ^зезкх\ 0 < ж < 1, j = 1, 2,...,(2.3)
причем система {е^-)} ортонормирована и, как и базис {е^-(-)} модели [А1,сг21], образует ортонормированный базис £2[0,1]. С помощью этих базисов, определяющих так называемые сингулярные разложения операторов Di и соответственно D^ , легко записать условие (1.4) на оператор U, необходимое и достаточное для разрешимости задачи редукции (0.2). А именно, руководствуясь замечанием 1.1, а также тем фактом, что {е^-)} С Mi, найдем:
ИТОН! = £ WUD^w2 = f; 52||щ(.)||2 < <х>.(2.4)
3 = 13 = 1
Условие 2.4 необходимо и достаточно для разрешимости задачи редукции измерения £(•) (0.1) при А = Ai к выходному сигналу 77/(-). Поскольку при j —> ею Й —> ею, отсюда следует, в частности, что U — непременно оператор Г.-Ш., но это характерно лишь для случая «белого» шума с корреляционным оператором, кратным единичному.
Зам ечание2.1. Если оператор Е не кратен единичному, то R* = = UDi — решение задачи редукции (0.2), которая разрешима, если и только если иВуУМ2 — оператор Г.-Ш., и в этом случае с.к. погрешность редукции h(R*,U) = ^UDiE1/2^ = Л △jH^JI2? гДе, в з=1
отличие от формулы (2.4), ei,C2,... — ортонормированная система
собственных фунций задачи на собственные значения Di^D^ej = = AjCj , J = 1, 2,... , определяющая базис модели [Л1, Е] [5].
Необходимое и достаточное условие разрешимости задачи редукции (0.2) ^UDiE1/2^ = 52 △? 11(*) 112 < сю на сей раз, в отличие
от условия (2.4), не означает, что 77 непременно должен быть оператором Г.-Ш. В частности, 77 не обязан быть оператором Г.-Ш., если корреляционный оператор Е шума zx(-) в (0.1) таков, что ^2 А^ < сю. j=i
Условие (2.4), определяющее класс приборов 77, выходные сигналы U f(-) которых могут быть синтезированы на ИВП первого порядка, указывает на то, что этот класс может зависеть от параметров а и Р дифференциального уравнения (1.1), моделирующего ИП. Но на самом деле класс приборов, допускающих синтез на ИВП первого порядка, не зависит от параметров конкретного ИП.
Обозначим Лх = {ЛДсц/Д, а ^ 0} — класс операторов (приборов) (1.3).
Лемма 2.1. Пусть Dqi = Di(qo^o); Di = Di(a,3) — операторы (1.1); соответствующие Лох = ЛДсцц/Зо)? Ai = ЛДсц/Д (1.3); Hol(do,^o), Ai(a,3) ^ ^-1 • Тогда из условия ||77Z)Oi||2 < сю следует IITDilli < ОО.
Доказательство. Пусть1) ||77Z)Oi||2 = 52 11^^от^оа?112 к=1
Так как
IlTOHt = £ lirDxeofell2 = £ ||[/DMoiDoieofc||2 = к=1к=1
2
к=1к=1к=1
к=1
к=1
2
к=1
ТО
1№111^
L —1L —1к=1к=1—) ЕМСе0А|||Де(Л1 +—) ЕМСе0А|||Де(Л1 +к=1к=1
L —1
L —1
к=1
к=1
—) ЕМСе0А|||Де(Л1 +
—) ЕМСе0А|||Де(Л1 +
к=1
к=1
^) Е||Гео,||2. (2.5)
7к=1
о ПохбоДж) = ^оЩоДж), П0хе0Дж) = ^оЩоДж), 0 ^ х ^ 1, см. (2.3).
Первый ряд в (2.5) сходится по условию леммы, третий (и, следовательно, второй) — в силу того, что U — оператор Г.-Ш. □
Характеристическое свойство базиса {еД-)} (2.2) модели [Ai,cr2/], выделяющее его среди других базисов £2[0,1], состоит в следующем, см. [5] и гл. 5. Пусть оператор Щ ортогонально проецирует в £2[0,1] на А:-мерное линейное подпространство £^ = £(ei (•),..., еД-)), натянутое на первые к базисных векторов (2.2). Тогда для любого к = = 1,2,... n^Di — оператор Г.-Ш., так как согласно равенствам (2.3),
(2.4) ||Щ£>1||2 = 52 НП/сАеД-)^ = 52 ^- Следовательно, задача ре- 3 = 1з=1
к1
дукции измерения £(•) (0.2) к Щ/(-) = Y. еАЗ И^Уз^ d-x Для j=iо
к = 1,2,... однозначно разрешима, редукция
к1
R4(3 = ЩР^(-) = ^^е/-) / ^ej^dx,
о
к
а с.к. погрешность редукции h(R^ Щ) = ст2 52 не превосходит с.к.
3 = 1
погрешность h(R^TVk) редукции Д-) к любой другой Адмерной ортогональной составляющей П^/(«) сигнала У(-) [5].
Образно говоря, £^ при любом к = 1,2,... поражено шумом редукции не больше, чем любое другое А:-мерное линейное подпространство £2[0,1].
Замечание 2.2. Для определения оценки проекции Щ/(-) достаточно знать ортогональную проекцию ЩД-) измерения Д-), где Щ — ортогональный проектор на £^ = £(еД-),..., еД-)) см. (2.3),
_к
ПаД") = Х^Ч'(")’ ^ = s^Cj^dx, j = l,2,...
>=iо
Действительно, так как кк
W) = ЕД-ХеД),/^-)) = ^e^c^O = 3=13=1
3=13=1
то для получения оценки Щ1ДД-) ортогональной проекции Щ/(-) достаточна А:-мерная ортогональная проекция ЩД-) измерения Д-) [83].
Определение 2.1. Эффективным рангом модели [Л1,сг2/] ИП первого порядка (и соответствующего ИВП) называется функция р(-) : [0, сю) н {0,1,...}; значение р^ которой равно максимальной размерности ортогональной составляющей в £2[0,1] сигнала /(•), которая оценивается с с.к. погрешностью, не превосходящей £ > О, см. гл. 8, [18, 19, 83].
Лемма 2.2. Пусть 5^ = ^2 + a2 a2, j = 1,2,..., — собственные значения оператора D^D^ (2.1), где ау < а^ < ... — полоснсительные корни уравнения аа cos а + 3 sin а = 0. Для ИВП первого порядка, имеющего модель [Л1,сг2/], эффективный ранг
р^ = шах{А:,р^ = шах{А:,ст2 У^ 52 ^ s}, с ^ 0. j=i
р^ = шах{А:,
р^ = шах{А:,
Для каждого с ^ 0 значение р(е) характеризует разрешающую способность ИВП первого порядка, определяя максимальное число «степеней свободы» сигнала ПрвлфДЬ допусДля каждого с ^ 0 значение р(е) характеризует разрешающую способность ИВП первого порядка, определяя максимальное число «степеней свободы» сигнала ПрвлфДЬ допускающего линейное оценивание с сходящей в.Функции р(-) для двух значений параметра а изображены на рис. 10.2.Исходя из выражения (2.2), нетрудно получить, что зависимость 52 от номера j для датчиков первого порядка квадратичная, поэтому согласно лемме 2.2 с добавлением каждой следующей степени свободы погрешность оценивания сигнала UфД значительно увеличивается, и на практике с реально заданной точностью, как правило, может быть оценена ортогональная составляющая ифДкающего линейное оценивание с сходящей в.Функции р(-) для двух значений параметра а изображены на рис. 10.2.Исходя из выражения (2.2), нетрудно получить, что зависимость 52 от номера j для датчиков первого порядка квадратичная, поэтому согласно лемме 2.2 с добавлением каждой следующей степени свободы погрешность оценивания сигнала UфД значительно увеличивается, и на практике с реально заданной точностью, как правило, может быть оценена ортогональная составляющая ифДс.к. погрешностью, не прево-с.к. погрешностью, не прево-Рис. 10.2. Эффективный ранг модели [Лх,сг2/] ИВП первого порядка. При постоянном 3 с увеличением значения о эффективный ранг уменьшаетсяРис. 10.2. Эффективный ранг модели [Лх,сг2/] ИВП первого порядка. При постоянном 3 с увеличением значения о эффективный ранг уменьшаетсялишь сравнительно небольшойлишь сравнительно небольшой
Для каждого с ^ 0 значение р(е) характеризует разрешающую способность ИВП первого порядка, определяя максимальное число «степеней свободы» сигнала ПрвлфДЬ допус
Для каждого с ^ 0 значение р(е) характеризует разрешающую способность ИВП первого порядка, определяя максимальное число «степеней свободы» сигнала ПрвлфДЬ допус
кающего линейное оценивание с сходящей в.
Функции р(-) для двух значений параметра а изображены на рис. 10.2.
Исходя из выражения (2.2), нетрудно получить, что зависимость 52 от номера j для датчиков первого порядка квадратичная, поэтому согласно лемме 2.2 с добавлением каждой следующей степени свободы погрешность оценивания сигнала UфД значительно увеличивается, и на практике с реально заданной точностью, как правило, может быть оценена ортогональная составляющая ифД
кающего линейное оценивание с сходящей в.
Функции р(-) для двух значений параметра а изображены на рис. 10.2.
Исходя из выражения (2.2), нетрудно получить, что зависимость 52 от номера j для датчиков первого порядка квадратичная, поэтому согласно лемме 2.2 с добавлением каждой следующей степени свободы погрешность оценивания сигнала UфД значительно увеличивается, и на практике с реально заданной точностью, как правило, может быть оценена ортогональная составляющая ифД
с.к. погрешностью, не прево-
с.к. погрешностью, не прево-
Рис. 10.2. Эффективный ранг модели [Лх,сг2/] ИВП первого порядка. При постоянном 3 с увеличением значения о эффективный ранг уменьшается
Рис. 10.2. Эффективный ранг модели [Лх,сг2/] ИВП первого порядка. При постоянном 3 с увеличением значения о эффективный ранг уменьшается
лишь сравнительно небольшой
лишь сравнительно небольшой
размерности.
Как показано на рис. 10.2, эффективный ранг ИВП1 с параметром а = 1.0 больше, чем ИВП2 с а = 2.0, поэтому, задавая, например, значение £ = 0.3 при ст2 = 0.001, мы получаем размерность ортогональной составляющей оцениваемого с погрешностью ^0.3 сигнала ^L=i.o,e=o.3 — ^1 — 20 для ИВП1 и р|а=1 0е=0 3 — Ал — 13 для ИВП2.
Это означает, что существует достаточно широкий класс сигналов, которые могут быть измерены с с.к. погрешностью, не превосходящей 0.3, лишь с помощью ИВП1.
Пример такого сигнала приведен на рис. 10.3, г, д, е (пунктир), где показано, что он хорошо восстанавливается с помощью ИВП1 (рис. 10.3, г) и плохо с помощью ИВП2 (рис. 10.3, д, е).
Чтобы такой сигнал можно было измерить на ИВП 2, необходимо увеличить е в три с половиной раза, при этом значение эффективного
Рис. 10.3. а, б, в —выходные сигналы £(•) ИП1 (а), ИП2 ^б, в,), отвечающие одному и тому же входному сигналу /(•) ИП1 и ИП2 , изображенному пунктиром на г, д, е^ г, д, е, (сплошные кривые) — оценки ортогональных составляющих /(•): г — на выходе ИВП1 при размерности ki = 20 (сж. ошибка оценивания е = 0.3), д —на выходе ИВП 2 при размерности &2 = 13 (с.к. ошибка оценивания е = 0.3), е —на выходе ИВП 2 при размерности Ал =20, которой сопутствует с.к. ошибка е = 1.3
ранга также будет равно 20. На рис. 10.3, в показано, что при таком условии сигнал может быть измерен и на ИВП 2, но с существенно худшим качеством.
Подчеркнем, что поскольку для модели [Ад, ст2/] размерность оцениваемой ортогональной составляющей сигнала /(•) с с.к. погрешностью, не превосходящей в, конечна при любом е ^ 0, то согласно замечанию 2.2, задача интерпретации измерения £(•) с погрешностью, не превосходящей е , эквивалентна конечномерной задаче.
3. Качество ИВП первого порядка как измерительного прибора
При сравнении ИВП как средств измерений естественно отдавать предпочтение тем из них, модели которых обеспечивают синтез более широкого класса приборов U и меньшую погрешность редукции, см. гл. 5 и [5].
Рассмотрим условия, при которых ИВП [Ащсг2/] равномерно не хуже ИВП [Ai,52/], т.е. [Ai,cr2Z] -< [Ai,52/], см. § 1 гл. 5. Речь идет об условиях, обеспечивающих выполнение неравенства cr2^UDi^2 С
а1|UDy Ц2 для любого прибора U, выходной сигнал которого можно синтезировать на ИВП [Ai, а21\, т.е. для любого U, удовлетворяющего условию ||Е72?1 Ц2 < сю.
В монографии [5] показано, что [Ai, cr2Z] -< [Ai, 521], если и только если1) a2DyD^ ^^DyD*.
Поскольку согласно лемме 2.1 множество приборов U выходные сигналы которых могут быть синтезированы на ИВП первого порядка, не зависит от параметров ИВП, качество ИВП [Ai,cr2Z] как конкретного измерительного прибора U определяется только величиной а21|UDyЦ2 с.к. погрешности редукции (0.2), а именно, чем меньше er2^UDy^ ) тем лучше ИВП [Ai,cr2/] как прибор U. В частности, как прибор U ИВП [Ai,cr2/] лучше, чем ИВП [Ai,52/], если cr2\\UDy\\2 < 52||Ж||Г
На практике с.к. погрешность оценивания Uf^), /(•) G £2[0,1], нередко оказывается неприемлемо большой. В случае модели [Ai, <j2I\ о сигнале /(•) априори ничего не известно, и исследователь готов ограничиться составляющей сигнала Uf(-), которую можно оценить с устраивающей его точностью. Поскольку при этом естественно выбрать составляющую Uf(-) максимальной размерности, допускающую такую оценку, то возникает задача построения оценки конечномерной ортогональной составляющей U/(•) максимальной размерности, допускающей оценивание с априори заданной точностью (ср. с понятием эффективного ранга модели, §2). Эта задача решается с помощью базиса модели2) [Ai, cr2Z, Щ ИВП, на котором синтезируется фиксированный прибор U Е (£2[0,1] —> Z7); оценка вышеуказанной составляющей U/(•) дается в виде частичной суммы ряда Фурье U f по этому базису.
Базис {^Д-)} модели [Ai,cr2Z, Ц\ аналогично базису {еД-)} (2.2) модели [Ai,cr2Z] определяется как ортонормированная система собственных функций самосопряженного оператора UDyD^U* , упорядоченных по возрастанию собственных значений: UDyD^U*Sj = 72£j, j = 1, 2,... , у2 < 72 < ...
Для любого s ^ 0, определяющего верхнюю границу допустимой к
с.к. погрешности оценивания, частичная сумма ^2sj(Uf,Sj) разложения оценки Uf по базису Sj (сравнительно с другими ортонормированными базисами евклидова пространства Z7) будет иметь наибольшее число к, зависящее от в, слагаемых,
Д Операторное неравенство a2DyDy ^a2DyDy означает, что для любой функции д(-) из области определения D(DiDy) (= D(DiDy)) операторов и <72(g(-),Di£>ig(-)) S2(g(-),5i5ig(-)).
кудовлетворяющих ограничению сг2 )Д ll^iII2 ^ s на с-к-j=iпогрешность редукции. Зависимость к = р(е),0 ^ в < сю,игом модели [Л, сг2/, Е7], может служить для оценки качества ИВП как прибора U: чем выше расположен график эффективного ранга, тем выше качество.При этом вид базисных функций, по которым разлагается составляющая Uf, позволяет исследователю судить о том, какие детали этой составляющей сигнала U f могут быть оценены и с какой точностью.На рис. 10.4 изображены эффективные ранги модели [Л1,сг2/, Щ при а = 1 и а = 2, где в качествекудовлетворяющих ограничению сг2 )Д ll^iII2 ^ s на с-к-j=iпогрешность редукции. Зависимость к = р(е),0 ^ в < сю,игом модели [Л, сг2/, Е7], может служить для оценки качества ИВП как прибора U: чем выше расположен график эффективного ранга, тем выше качество.При этом вид базисных функций, по которым разлагается составляющая Uf, позволяет исследователю судить о том, какие детали этой составляющей сигнала U f могут быть оценены и с какой точностью.На рис. 10.4 изображены эффективные ранги модели [Л1,сг2/, Щ при а = 1 и а = 2, где в качественазываемаяназываемая88W о = 1W о = 1о = 2о = 244ОО404080 г!^80 г!^Рис. 10.4. Эффективный рангмодели [Л1,сг2/, U^ ИВП первогопорядка при о = 1ио = 2иодном и том же /3Рис. 10.4. Эффективный рангмодели [Л1,сг2/, U^ ИВП первогопорядка при о = 1ио = 2иодном и том же /3
кудовлетворяющих ограничению сг2 )Д ll^iII2 ^ s на с-к-j=i
погрешность редукции. Зависимость к = р(е),0 ^ в < сю,
игом модели [Л, сг2/, Е7], может служить для оценки качества ИВП как прибора U: чем выше расположен график эффективного ранга, тем выше качество.
При этом вид базисных функций, по которым разлагается составляющая Uf, позволяет исследователю судить о том, какие детали этой составляющей сигнала U f могут быть оценены и с какой точностью.
На рис. 10.4 изображены эффективные ранги модели [Л1,сг2/, Щ при а = 1 и а = 2, где в качестве
кудовлетворяющих ограничению сг2 )Д ll^iII2 ^ s на с-к-j=i
погрешность редукции. Зависимость к = р(е),0 ^ в < сю,
игом модели [Л, сг2/, Е7], может служить для оценки качества ИВП как прибора U: чем выше расположен график эффективного ранга, тем выше качество.
При этом вид базисных функций, по которым разлагается составляющая Uf, позволяет исследователю судить о том, какие детали этой составляющей сигнала U f могут быть оценены и с какой точностью.
На рис. 10.4 изображены эффективные ранги модели [Л1,сг2/, Щ при а = 1 и а = 2, где в качестве
называемая
называемая
8
8
W о = 1
W о = 1
о = 2
о = 2
4
4
О
О
40
40
80 г!^
80 г!^
Рис. 10.4. Эффективный рангмодели [Л1,сг2/, U^ ИВП первогопорядка при о = 1ио = 2иодном и том же /3
Рис. 10.4. Эффективный рангмодели [Л1,сг2/, U^ ИВП первогопорядка при о = 1ио = 2иодном и том же /3
оператора U выбран ортогональный проектор на линейное подпространство £2[0,1], натянутое на элемент sin ^(1 — ж), х G [0,1]Д.
Рассмотрим произвольный, допускающий редукцию оператор U. Согласно лемме 2.1 задача редукции разрешима при произвольных значениях параметров а^З^ а Д 0, ИП.
Теорема 3.1. Пусть h = h(a, Зл^и) — с.к. погрешность редукции для модели [Л Да, 3\ cr2ID Ц\. Тогда график погрешности h = = h(a, 3,cr, U) ИВП [Л Да, 3\ cr2ID С] как функция а^Р, а Д 0, представляет собой эллиптический параболоид с точной нижней гранью в точке (о = 0,3 = 0), равной нулю. Линиями уровня h(o^ 3^ «Г U) = = const на плоскости (сга^сгЗ) являются подобные эллипсы с обицим центром в точке (0, 0).
Доказательство. Пусть {аД-)} — произвольный ортонорми- рованный базис £2[0,1], содержащийся в области определения оператора Di, {пД-)} С P(Di), и оператор U удовлетворяет условию IlWll < оо (2.4). Тогда
Ца,3,а,и) = ^\\UD< = Л^иО^2 =
=+ 2о№(3.1)
и согласно равенству (3.1) линии уровня К(а, Зл^) = const суть подобные эллипсы с центром в точке (сц/3) = (0,0). □
Д Эта функция является решением вариационной задачи \\yf ||2 ~ min с условиями у(1) = 0, |Д||2 = 1.
СледствиеЗ.1. Для любого оператора U, допускающего редукцию, необходимым и достаточным условием того, что при изменении параметров а, 3, а качество ИВП [Лх (сц/?), ст2/] как измерительного прибора U не ухудшается, яв
ляется такое изменение параметров а, Ра, при котором точка (сга,сгЗ) остается внутри или на границе эллипса h(a, З^и) = const.На рис. 10.5 изображены линии уровня для двух значений h с.к. погрешности для датчиков первого порядка. В качестве оператора U выбран тот же ортогональный проектор, что использовался в модели, эффективный ранг которой изображен на рис. 10.4.Подчеркнем, что каждая изляется такое изменение параметров а, Ра, при котором точка (сга,сгЗ) остается внутри или на границе эллипса h(a, З^и) = const.На рис. 10.5 изображены линии уровня для двух значений h с.к. погрешности для датчиков первого порядка. В качестве оператора U выбран тот же ортогональный проектор, что использовался в модели, эффективный ранг которой изображен на рис. 10.4.Подчеркнем, что каждая изРис. 10.5. Линии уровня погрешности ИВП первого порядкаРис. 10.5. Линии уровня погрешности ИВП первого порядкадвух отмеченных на рисунке точек а (а = 0.01, 3 = 0.19) и b (а = 0.1, 3 = 0.06) отвечает одному и тому же значению погрешности редукции {h/a2 = 0. квадрата нормы Гильберта-Шмидтадвух отмеченных на рисунке точек а (а = 0.01, 3 = 0.19) и b (а = 0.1, 3 = 0.06) отвечает одному и тому же значению погрешности редукции {h/a2 = 0. квадрата нормы Гильберта-Шмидта04), в то время как значения оператора Лх04), в то время как значения оператора Лх
ляется такое изменение параметров а, Ра, при котором точка (сга,сгЗ) остается внутри или на границе эллипса h(a, З^и) = const.
На рис. 10.5 изображены линии уровня для двух значений h с.к. погрешности для датчиков первого порядка. В качестве оператора U выбран тот же ортогональный проектор, что использовался в модели, эффективный ранг которой изображен на рис. 10.4.
Подчеркнем, что каждая из
ляется такое изменение параметров а, Ра, при котором точка (сга,сгЗ) остается внутри или на границе эллипса h(a, З^и) = const.
На рис. 10.5 изображены линии уровня для двух значений h с.к. погрешности для датчиков первого порядка. В качестве оператора U выбран тот же ортогональный проектор, что использовался в модели, эффективный ранг которой изображен на рис. 10.4.
Подчеркнем, что каждая из
Рис. 10.5. Линии уровня погрешности ИВП первого порядка
Рис. 10.5. Линии уровня погрешности ИВП первого порядка
двух отмеченных на рисунке точек а (а = 0.01, 3 = 0.19) и b (а = 0.1, 3 = 0.06) отвечает одному и тому же значению погрешности редукции {h/a2 = 0. квадрата нормы Гильберта-Шмидта
двух отмеченных на рисунке точек а (а = 0.01, 3 = 0.19) и b (а = 0.1, 3 = 0.06) отвечает одному и тому же значению погрешности редукции {h/a2 = 0. квадрата нормы Гильберта-Шмидта
04), в то время как значения оператора Лх
04), в то время как значения оператора Лх
1 / Л 1 2n+1 (-WV “ 2сЛ + 4Л \Р а ) ) “ 2а2 ^ (п + 2)! ( а )
х z п=0 х 7 х у
в этих двух случаях существенно разные (соответственно 256 и 35). Судя по формуле (0.1), квадрат нормы Г.-Ш. характеризует «вклад» в £ сигнала / по отношению к шуму v (в энергетической шкале), а именно, чем больше ||Лх||2, тем больше сигнал Л/ при неизменном шуме и. и, соответственно, тем меньше погрешность восстановления сигнала /. Таким образом, оценка качества редукции измерения £ к сигналу / на основании отношения сигнал/шум без учета конкретного прибора U может оказаться неверной (см. также формулу (3.30) гл. 5).
Это обстоятельство проиллюстрировано на рис. 10.6, где изображены результаты измерений (а, б) сигнала, представленного пунктирной кривой на рис. в и г, а также результаты редукции (в, г — сплошные кривые) для двух датчиков первого порядка, параметры а и 3 которых соответствуют точкам а (а ,в — сплошные кривые) и b (б, г — сплошные кривые), отмеченным на рис. 10.5. Все значения параметров ИП (аа^аЗ)^ соответствующие эллипсу, содержащему точки а,Ь на рис. 10.5, отвечают одному и тому же значению с.к. погрешности редукции, характеризующему качество ИВП [Лх (аЛ), у2/, Г] как прибора U. Вычислительный эксперимент, результаты которого представлены на рис. 10.6, наглядно подтверждает этот факт. Следует обратить внимание на существенно различные результаты измерений
Рис. 10.6. Результаты £(•) измерений (а, б)одного и того же сигнала /(•) (в, г — пунктирные кривые) и редукции измерений К^(-) (в, г — сплошные кривые) для ИВП [Ai, сг2/, [/], отвечающих точкам а (кривые а, в) и b (кривые б, г) на рис 10.5. U — ортогональный проектор на линейное подпространство С2 [О,1] функций, пропорциональных sin (^(1 — ж)) , ж 6 [0,1].
£(•) (а, б) одного и того же сигнала /(•) (в, г — пунктир), выполненных на ИП, отвечающих соответственно точкам а и b на рис. 10.5, в то время как результаты редукции R^ для этих ИП практически совпадают (в, г — сплошные кривые), и близки к /(•) (в, г — пунктир).
ИВП второго порядка
Рассмотрим ИВП второго порядка, в котором измерительная компонента описывается решением начальной задачи для дифференциального уравнения второго порядка
iw"(x) + 2<W(x) + Pv^ = /(ж), 0 < х < 1, , .
г(0) = 0, г'(0) = 0 ( }
(здесь аналогично случаю датчика первого порядка, сделана замена х = t/T с соответствующими переобозначениями параметров). Обозначим D2 формальный дифференциальный оператор p^dP ( dx^p + + 2a{d/dx) + Р с нулевыми условиями при х = 0. Область определения D2 есть плотное в £2[0,1] множество М2 функций гф), удовлетворяющих условиям г(0) = 0, г^О) = 0, имеющих на [0,1] абсолютно непрерывную первую производную и почти всюду на [0,1] определенную вторую производную, квадрат которой интегрируем. Сопряженный с D2 оператор D^ = p(d2/dx2) — 2a{d/dx^-VP определен на плотном в £2[0,1] множестве М 2 таких же функций с тем лишь отличием, что нулевые значения эти функции и их первые производные принимают при х = 1, г(1) = 0, ^(1) = 0.
Схема измерения на ИВП второго порядка имеет вид (0.1), где оператор А = Л 2 определяется решением задачи Коши (4.1)
Аг Дж) = — / е"7(ж"у) sin Иж -y)f(y)dy, 01,
3
о
= а) рц со = \/ рф — а2 / рр р(3 — а2 > 0.(4.2)
Квадрат нормы Г.-Ш. оператора Л 2 в этих обозначениях равен
I^Hi = vwW"W + " 273 "2сА)+
+ е-27(72(д2 — со2) cos2co — 273cosin2co — у4 — 2^2со2 — w4)}.
В случае модели [Л2,сг2/] задача редукции (0.2) (аналогично ИВП первого порядка) разрешима, если и только если UD2 — оператор Г.-Ш., ее решение R* = UD2, с.к. погрешность редукции h(R*,U) = = hfaipa^U) = (т2\\иВ2\\2-
Базис модели [Л2,сг2/] теперь определяется как ортонормирован- ная система собственных функций задачи
( В2В*вз(-) = А2е^(-),/ х
| А2 < А2
или в подробной записи
' ~d4ei(x)_ Oxd2eAx), х
р? ^4+ 2(ц^ - 2а2)3+ Р2е^х) = А2е/ж), 0 < х < 1,
' е/1) = 0, е'(1) = 0; це^(0) - 2аеЛ0) + ^(0) = 0,
^(0) - 2^(0) + ^е'(0) = 0, А2 А2 ^ ...,
~(4.4)
и, аналогично (2.3), базис {еД-)} определяется условиями
' d2eAx) de Ах) z х ~„
<(4.5)
е/1)=0, е'(1)=0, 3 = С^-..
Необходимое и достаточное условие разрешимости задачи редукции к прибору U можно представить в виде \\UD2W2=
= Е △?ЦГе/-)112 < оо.
Все свойства ИВП второго порядка в базисах (4.3), (4.5) могут быть получены в полной аналогии с рассмотренными свойствами ИВП первого порядка.
В случае датчиков второго порядка влияние параметров ИП на характеристики ИВП более сложное, чем для ИВП первого порядка. Характерно, однако, что для датчиков второго порядка А2 с увеличением номера з = 1,2,... увеличивается как 34 , то есть значительно
АРАР5001000 ^25001000 ^2Рис. 10.7. Эффективные ранги моделей [Л2, сг2Г\ ИВП второго порядка для а = 1 и а = 2Рис. 10.7. Эффективные ранги моделей [Л2, сг2Г\ ИВП второго порядка для а = 1 и а = 2Рис. 10.8. Поверхность уровня погрешности ИВП второго порядкаРис. 10.8. Поверхность уровня погрешности ИВП второго порядка
АР
АР
5001000 ^2
5001000 ^2
Рис. 10.7. Эффективные ранги моделей [Л2, сг2Г\ ИВП второго порядка для а = 1 и а = 2
Рис. 10.7. Эффективные ранги моделей [Л2, сг2Г\ ИВП второго порядка для а = 1 и а = 2
Рис. 10.8. Поверхность уровня погрешности ИВП второго порядка
Рис. 10.8. Поверхность уровня погрешности ИВП второго порядка
быстрее, чем для ИВП первого порядка, поэтому практическое «насыщение» размерности восстанавливаемой составляющей измеряемого сигнала происходит быстрее (рис. 10.7): при увеличении погрешности Eja^ от 300 до 1000 эффективный ранг увеличивается с 9 до 12, то есть в 1.33 раза, тогда как для ИВП первого порядка с 20 до 29, то есть в 1.45 раза.
В случае, когда оператор U допускает редукцию, для ИВП второго порядка может быть сформулирована теорема, аналогичная теореме 3.1
Теорема 4.1. Поверхности уровня с.к. погрешности h = = Урсц щоц P^U^ = const ИВП [Л2(ц,сц Р^а2I, £7] представляют собой подобные эллипсоиды в пространстве переменных (сгщсгжсгР) с общим центром в точке (0,0,0), причем при любом U погрешность h = h^a^ щ оц Р, U) увеличивается по мере удаления точки (ац,аа,аР) вдоль луча от начала координат.
Доказательство. Действительно, если {пД-)} — некоторый ортонормированный базис £2[0,1], содержащийся в B^D^V то
Цо, р, а, 3, и) = o2\\UD< =
= о2 ^\\UD2aj(-W = Л £ |ДК'(-) + 2аа'(•) + 3«AW = 3 = 13 = 1
3 = 1
+ ^аХа'-3)Ха'Ж+^ЗХа'-3),иаХ))+^аЗХа'ЖХаХ))} — положительно определенная квадратичная форма относительно переменных а^аа,^, монотонно возрастающая вдоль любого луча 1сгщ 1аа^ 1аР, 0 ^ / < сю. □
Следствие4.1. Для конкретного оператора U, допускающего редукцию, необходимым и достаточным условием того, что при изме-
Рис. 10.9. ИВП на основе механической колебательной системы. Пунктиром выделен датчик второго порядка
нении параметров а, pi, а и 3 качество ИВП не ухудшается, является такое их изменение, при котором точка (a pi, а а, аЗ) остается внутри или на границе эллипсоида h(a, pi, а, 3^) = const (см. рис. 10.8).
При этих условиях на ИВП с новыми параметрами ИП может быть синтезирован выходной сигнал любого прибора U, выходной сигнал которого может быть синтезирован на ИВП с исходными параметрами ИП, причем с не меньшей точностью.
ИВП второго порядка как измеритель перемещения, скорости и ускорения
Рассмотрим пример, в котором исследуемым объектом в среде является механическая колебательная система второго порядка, движение которой описывается решением следующей задачи Коши
' my(i) + 2ау(р + by(t) = д(Д
< 0<t<T, (5.1)
. y(o) = y№ = o.
Здесь y(t) — ее смещение в момент времени t, т — масса подвижной части системы, b — коэффициент упругости пружины, 2а — коэффициент вязкого трения, g(t) — сила, действующая на систему в момент t, причем в начальный момент времени t = 0 система покоится.
Для наблюдения за этой системой к ней жестко прикрепляется ИП, который также является механической колебательной системой второго порядка, у которой pi — масса подвижной части, 2а и 3 — коэффициенты вязкого трения и упругости соответственно (рис. 10.9). При измерении ИП «закреплен» на объекте, и у последнего вследствие этого увеличена масса т —> т + т, где т — масса «корпуса» ИП. Динамика полученной таким образом системы «измеряемый объект -
среда - измерительный преобразователь» описывается решением задачи Коши (5.2), (5.3)
(т + m)s(t) + 2as(t) + bs^ =
< = 9^ + P^W — s(t)) + 2a^u^ — s^\ 0 < t <T.(5.2)
^(0) = s(0) = 0,
f p/v^ + 2au^ + Pu^ = Ps(t) + 2as(t)=f(t), 0 < t < T, ЗА [ ^(0) = r(0) = 0,
где s(t), n(t) — смещения измеряемого объекта и соответственно подвижной части измерительной компоненты ИВП (относительно общего основания Q) в момент времени t, второе и третье слагаемые в правой части и слагаемое ms(t) в левой части (5.2) описывают искажающее влияние измерительной компоненты на динамику измеряемого объекта (по сравнению с динамикой исследуемого объекта (5.1)), слагаемые в правой части (5.3) описывают силы, действующие со стороны измеряемого объекта на измерительную компоненту и инициирующие ее движение, их сумма /(•) является входным сигналом измерительной компоненты.
Обычно в таких системах регистрируется сигнал, пропорциональный скорости движения подвижной части измерительной компоненты относительно ее корпуса:
^(t) = kQu(t) — s(t)) + v^t\ 0 < t < T,(5.4)
здесь слагаемое v^ описывает ошибку регистрации (шум) в момент времени t G [0, Г].
Решая задачу Коши (5.2), (5.3), получим выражения tt
Д) = У p(t - T^g^dT, v(t) = I q^t — т^д^йт,(5.5)
00
где p^ и q^ — известные функции. Отсюда следует, что в (5.4)
t
- s(t)) = k j\q(t -т) - p^t - т^д^т^т=Вд^\ (5.6)
0
ибо согласно начальным условиям в (5.2) и (5.3) р^ = q^ = 0, и
t
= j(2aq(t - т) + Pq^t - T))g(r)dr=Cg(t) (5.7) О
— входной сигнал измерительной компоненты, в данном случае — сила, с которой измеряемый объект действует на измерительную компоненту в момент времени t Е [0,Т]; В и С — известные линейные
операторы, причем С имеет обратный С-1. Если известна математическая модель погрешности v(-) в (5.4), д^ (а следовательно и /(•)) — произвольная сила, то равенства (5.4), (5.6) и (5.7) определяют модель измерения (0.1), где А = ВС-1 — известный линейный оператор.
Если представляющей интерес характеристикой исследуемого объекта является его смещение у(-) относительно Q. то выходной сигнал идеального прибора U, измеряющего это смещение,
t
?/(i) = Upt) = U С др) = Ц- [ exp(-7(i - т)) sipflp - r))g(r)drmu J
о
(5-8) является решением задачи Коши (5.1); здесь 7 = а/m, Q2 = = (mb — а2)/т2 > 0, 0 t Т.
Равенство (5.8) определяет математическую модель интерпретации входного сигнала измерительной компоненты, равенства (5.4), (5.6) и (5.8) определяют математическую модель интерпретации измерения £(•), наконец, математическая модель эксперимента определяется соотношениями (5.1)-(5.8).
Рис. 10.10. а, б, в — редукция измерения (5.4) к сигналу (5.8) (сплошная линия), движение исследуемого объекта (решение задачи (5.1)), (штриховая линия), г, д. е — движение измеряемого объекта (решение s(t), 0<t<T, задачи (5.2), (5.3), пунктирная линия), движение датчика (решение v(t), 0<t<T, задачи (5.2), (5.3), штрих-пунктирная линия)
На рис. 10.10. приведены результаты вычислительного эксперимента, в котором реализованы модели исследуемого объекта (5.1), измеряемого объекта и измерительного преобразователя (5.2), (5.3), схемы измерения (5.4) и получена редукция измерения к идеальному прибору (5.8), выходной сигнал которого является наиболее точной
версией решения задачи (5.1), описывающей динамику исследуемого объекта. Как видно из рисунка, качество редукции, представленной на рис. 10.10, а, можно повысить либо за счет «резонансного взаимо- дейтвия» ИП с измеряемым объектом (10.10, 5), либо за счет сильной связи ИП с измеряемым объектом (10.10, в). По сравнению со случаем, показанным на рис. 10.10 г, резонанс и сильная связь существенно исказили динамику измеряемого объекта, показанную на рис. 10.10, 0. е.
а ^^^^^^/wv^ лЛЛЛЛЛЛлл^- АЛл^аДДЛДа
Рис. 10.11. а, б, в — графики первых трех функций базиса модели (5.2)(5.4), (5.8) с теми же значениями параметров, которым отвечают рис. 10.10 а, б, в. г). График д(-)
На рис. 10.11 а, б, в приведены графики функций, образующих первые три вектора базиса модели (5.2)-(5.4) и (5.8), отвечающих наибольшим собственным значениям. Сравнивая с ними график 10.11, г силы д(-), определяющей динамику системы (5.1), нетрудно заметить, что точность воспроизведения этой динамики на выходе ИВП. определенного моделью (5.2)-(5.4), (5.8), должна возрастать при изменении параметров модели ИВП от значения, соответствующего рис. 10.10 а до значений, соответствующих рис. 10.10 ф в. Это соотвествует повышенной точности редукции, представленной на рис. 10.10 ф в по стравнению с точностью редукции, представленной на рис. 10.10 а.
Список обозначений
|| • || — норма (вектора, оператора).
|| • Ц2 — норма Гильберта-Шмидта оператора.
А Е (Rm —> Rn), А : Rm —> Rn — оператор, действующий из Rm в
А-1 — оператор, обратный к А.
А — оператор, псевдообратный к А, А = lim А*(АА* + со!)-1 А*,
А~ = Л*(ЛЛ*)-1 . если оператор (ЛЛ*)-1 существует, А = (Л*х хЛ)-1Л*, если существует (Л*Л)~' . см. [5].
А* — оператор, сопряженный с А.
[Л, Е], [Л,Г", Е], [Л,Г",/0,Е] - модели.
Ck(R) - множество функций, непрерывных вместе с производными вплоть до А:-го порядка на D.
dim !t — размерность (линейного пространства) R.
Da^a^^U, U(I-A~A) = 0}.
Ds = Д, U(I-A-A) = 0,^Д е ^0.
Е — символ математического ожидания.
h^R^U) — погрешность интерпретации (R£, как Uf).
I - единичный (тождественный) оператор.
£(si,..., Sk) — линейное подпространство, натянутое на векторы si,..., Sk (линейная оболочка si,..., Sk).
£^ (X) — евклидово пространство функций /(•) : X —> Xi, ц- измеримых, квадрат которых ц-интегрируем: J /2(ж)б/ц(ж) < сю.
х
n('\f,S), ti^^J^) — плотность нормального распределения с параметрами: / — математическое ожидание, S, Е —ковариационный оператор, матрица.
N(f, S), N(f, E) — нормальное распределение, / — математическое ожидание, S,U — ковариационный оператор, матрица.
N\A) — нуль-пространство (ядро) оператора А.
р(-) - плотность вероятности.
Р(-) - вероятность.
Р, П - ортогональный проектор.
Q1/2 — квадратный корень из оператора Q.
Лп — п-мерное евклидово пространство, п = dimPn, если не оговорено иначе.
Р(А) — пространство значений оператора А.
7^ (Л), Л/^А) - ортогональные дополнения Р(А), ^(А) соответственно.
Sv — как правило, ковариационный оператор, ковариационная матрица случайного вектора v.
S-,/(*) — оператор, функция; Sx, f(x) — их значения «в точке х».
tr — след (матрицы, оператора).
II ■ II =II ■ II =ЕЕak0ak0W2 - Соболевский класс, получаемый пополнением Ck(D) по норме
II ■ II =
II ■ II =
Е
Е
ak0
ak0
«(•) - надежность.
5(U, V) — погрешность редукции схемы измерения £ = Af -Vv к схеме
p = Uf + Vv.
———> — сходимость £& при к —> сю по вероятности к £: Vs > 0
Р^к - €| > е) -> 0 при оо.
^v — как правило, корреляционный оператор случайного вектора v.
Ф 1(-, •) - множество принятия гипотезы.
Ф(з •) - оценивающее множество.
с.к.
> — символ сходимости в среднем квадратичном: при п —> сю £п ° К > ^ если Е ||£п — £||2 ^0; иначе: ^ = l.i.m. ^n, l.i.m — limit in mean.
Список литературы
Самарский Л. Л., Михайлов А.П. Математическое моделирование. - М.: Наука, 1997. - 316 с.
Волкова Е.А.^ Попов А.М.^ Рахимов А.Т. Квантовая механика на персональном компьютере. - М., 1991. - 180 с.
Тихонов А.Н.^ Арсенин В.Я. Методы решения некорректных задач. - М.: Наука, 1979. - 286 с.
Питъев Ю.П. Методы анализа и интерпретации эксперимента. - М.: Изд-во Моск, ун-та, 1990. - 286 с.
Питъев Ю.П. Математические методы интерпретации эксперимента. - М.: Высшая школа, 1989. - 352 с.
Азизов А.М.^ Гордов А.П. Точность измерительных преобразователей. - Л.: Энергия, 1967. - 300 с.
Кронберг П. Дистанционное изучение Земли. - М.: Мир, 1988. - 352 с.
Кнуренко А.Б., Чавро А.И.^ Питъев Ю.П. Метод редукции измерений в задаче определения температуры океана при дистанционном зондировании в ИК-области спектра // Исследование Земли из Космоса. - 1990. - М- 6. - С. 26-34.
Питъев Ю.П., Сухорукова Г. В., Чуличков А.П. Задачи дистанционного зондирования: математическое моделирование, анализ и интерпретация результатов // Мат. моделирование. - 1994. - Т. 6, №- 11. - С. 113-127.
Теребит, В.Ю. Восстановление изобржений при минимальной априорной информации // Успехи физических наук. - Т. 165, Af- 2.
Гончарский А. В., Романов С.Ю., Черенаи^ук А.П. Конечнопараметрические обратные задачи астрофизики. - М.: Изд-во Моск, ун-та, 1991. - 192 с.
Голубцов П.Е., Питъев Ю.П., Чуличков А.П. Задачи оптимального измерения гауссовского сигнала // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1985. - Т. 26, JV- 6. - С. 17-21.
Голубцов П.Е.^ Питъев Ю.П., Чуличков А.П. Задачи оптимальной редукции измерений в физическом эксперименте // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1986. - Т. 27, АГ- 2. - С. 17-21.
Питъев Ю.П., Голубцов П.В. Распределение ресурса времени измерений в эксперименте // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1983. - Т. 24, J4- 5. - С. 46-50.
Алъберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. - М.: Наука, 1977. - 224 с.
Пытъев Ю.П. Псевдообратный оператор. Свойства и применения // Матем. сборник. - 1983. - Т. 118(160),1(5). - С. 19-49.
Пытъев Ю.П., Сердоболъская М.Л. О задачах редукции в случае известного корреляционного оператора // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1988. - Т. 29, JV- 6. - С. 78-79.
Pyt’ev Yu.P^ Pyt’ev A.Yu. Effective Dimensionality and Data Compression // Pattern Recognition and Image Analysis. - 1997. - V. 7, JV- 4. - P. 393-406.
Пытъев А.Ю., Пытъев Ю.П. Об эффективной размерности множества измерений // ЖВМиМФ. - 1998. - Т. 38, JV- 4. - С. 682-697.
Леман Э. Теория точечного оценивания. - М.: Наука, 1991. - 448 с.
Боровков А. А. Математическая статистика. Оценка параметров. Проверка гипотез. - М.: Наука, 1984. - 472 с.
Вальд А. Статистические решающие функции. Позиционные игры. - М.: Наука, 1967. - С. 300-522.
Пытъев Ю.П., Шишмарев И.А. Курс теории вероятностей и математической статистики для физиков. - М.: Изд-во Моск, ун-та, 1983. - 254 с.
Хорн Р.. Дснсонсон Ч. Матричный анализ. - М.: Мир, 1989. - 656 с.
Пытъев Ю.П. Методы редукции измерений в гильбертовых прострвн- ствах // Матем. сборник, 1985. - Т. 126(168), JV- 4. - С. 543-565.
Васильев Ф.П. Численные методы решения экстремальных задач. - М.: Наука, 1980. - 512 с.
Кукс Я.. Олман В. Минимаксная линейная оценка коэффициентов регрессии // Изв. АН ЭССР. - 1972. - Т. 21. - С. 323-331.
Blaugiewicz М. Podstawowe problemy estymacji modeli liniowych z bl§dami w zmiennych // Prz. statyst. - 1983 (1984). - V. 30, JV- 3-4. - P. 189-199.
Bunke O. Minimax, Linear, Rigge and Shrunken Estimators for Linear Parameter // Math. Operat. und Statist. - 1975. - V. 6, JV- 5. - P. 697701.
Hocking R. R. Developments in linear regression methodology: 1959-1982 // Technometrics. - 1983. - V. 25, JV- 3. - P. 219-230; Discuss. - P. 230249.
Hocking R. R., Speed F.M., Lynn MJ. A Class of Biased Estimators in Linear Regression // Technometrics. - 1970. - V. 18, JV- 4. - P. 425-437.
Kraft O. A maximin linear estimator for linear parameters under restrictions in form of inequalities // Statistics. - 1986. - V. 17, JV- 1. - P. 3-8.
Lduter H. A minimax linear estimatior for linear parameters under restriction in form of inequalities // Math. Operations and Statist. - 1975. - V. 6, JV- 5. - P. 680-685.
James W., Stein C. Estimation with quadratic loss // Proc. Fourth Berkley Symp. Math. Statist. I. Prob. - 1960. - V. 2. - P. 361-379.
Ибрагимов И. А., Хасъминский Р.З. Асимптотическая теория оценивания. - М.: Наука, 1979. - С. 38-41.
Casella G., Hwang G.T. Limit expressions for the risk of James-Stein estimators // Can. J. Statist. - 1983. - V. 10, JV- 4. - P. 305-309.
Marquardt D. W. Generalized Inverse, Ridge Regression, Biased Linear Estimation and Nonlinear Estimation // Technometrics. - 1970. - V. 12, JV- 3. - P. 591-612.
Tautenhahn U. Verbesserungen vom Kleiniste-Quadrate-Schatzung durch Schatzungen vom Didge-Typ und vom Stein-Typ // Math. Operationsforsch. und Statist. Ser. Statist. - 1984. - V. 12, JV- 3. - P. 337354.
Vinad H.D. Simulation and Extension of a Minimum Mean Squared Error Estimator in Comparison with Stein’s // Technometrics - 1976. - V. 12, JV- 4. - P. 491-496.
Pao С.Р. Линейные статистические методы и их применения. - М.: Наука, 1968. - 548 с.
Леман Э.Л. Проверка статистических гипотез. - М.: Наука, 1979. - 408 с.
Закс Ш. Теория статистических выводов. - М.: Наука, 1975. - 776 с.
Гихман И.И., Скороход А.В. Теория случайных процессов. Т. 1. - М.: Наука, 1971. - 664 с.
Уилкс С. Математическая статистика. - М.: Наука, 1967. - 632 с.
Hwang J. IV Chcu J. Improved confidence sets for the coefficients of a linear model with spherically symmetric errors // Ann. Statistist. - 1986. - V. 14, JV- 2. - P. 444-460.
Пыт/ьев Ю.П. Возможность. Элементы теории и применения. - М.: УРСС, 2000.
Ландсберг Г.С. Оптика. - М.: ГИТТЛ, 1954. - 728 с.
Пыт/ьев Ю.П. Методы синтеза измерительных приборов на измерительно - вычислительном комплексе // Вопросы кибернетики (Проблемы комплексирования бортовых кибернетических систем). - М.: Наука, 1986. - С. 147-162.
McMillan В. The Basic Theorems of Information Theory // Ann. Math. Stat. - 1953. - JV- 24. - P. 196-219.
Мамедов М.И. Статистический критерий проверки гипотезы о несмещенности структуры модели // Автоматика. - 1986. - JV- 4. - С. 63-65.
Durgaryan LS.^ Pashchenko F.F. Information methods in identification // Trans. 9th Prag. Conf. Inf. Theory, Statist. Dicis. Funct. Random Process. Prague, June 28-July 2, 1982. - V.A., Prague, 1983. - P. 207-214.
Ellefon R.R.W. Is the Regression Equation Adequate? A Generalization // Technometrics. - 1978. - V. 20, JV- 3. - P. 313-315.
Giles D.E.A. Preliminary - test estimation in mis-specified regressions // Econ. Lett. - 1986. - V. 21, JV- 4.- P. 325-328.
Hocking R.R. Developments in linear regression methodology: 1959 - 1982 // Technometrics. - 1983. - V. 25, JV- 3. - P. 219-230; Discuss. P. 230249.
Kapteyn A., Wansbeek T. Errors in variables: consistent adjusted least squares (CALS) estimation // Commun. Statist. : Theory and Meth. - 1984. - V. 13, JV- 5. - P. 1811-1837.
Kubacek L. Regression model with estimated covariance matrix // Math. Slov. - 1983. - V. 33, JV- 4. - P. 395-408.
Scariano S.M., Neill J. W., Davenport J. M. Testing regression Function adequacy with correlation and without replication // Commun. Statist.’ Theory and Meth. - 1984. - V. 13, JV- 10. - P. 1227-1237.
Пытъев Ю.П. О точности и надежности интерпретации совокупности измерений // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1986. - Т. 27, М- 5. - С. 3-7.
Пытъев Ю.П. Точность и надежность интерпретации косвенных измерений // ДАН СССР. - 1987. - Т. 295, М- 3. - С. 543, 545.
Бойченко В.Л., Зенин Г.П.. Пытъев Ю.П. Восстановление микрофи- зических параметров атмосферного аэрозоля методом редукции результатов четырехволнового зондирования / / Тезисы док л. конф, по когерентной и нелинейной оптике. - Минск, 1988.
Зенин Г.П., Макагонов А.В.^ Пытъев Ю.П., Шевцов П.В. Метод редукции в задаче обработки и интерпретации данных многошарового спектрометра Боннера. Препринт 87-177, Инет. Физики высоких энергий. - Серпухов, 1987.
Чу дичков А.И.^ Чуличкова Н. М.^ Фетисов Г. В. Моделирование профиля интенсивности брегговского рефлекса, измеренного на дифрактометре // Кристаллография. - 1987. - Т. 32, вып. 5. - С. 1107-1147.
Чуличков А.И.^ Пытъев Ю.П. Рекуррентные методы редукции измерений // Мат. моделирование. - 1989. - Т. 1, JV- 8.
Chulichkov АЛ.^ Pyt’ev Yu.P. Measurement Computer Systems: Modeling, Reliability, Algorithms // Pattern Recognition and Image Analysis. - 1991. - V. 1, JV- 2.
Chulichkov A.I^ Pyt’ev Yu.P. Super-High Resolution Computer-Aided Measuring System // Programming and Mathematical Techniques in Physics / Eds. Yu.Lobanov, E.Zhidkov. - World Scientific, 1994.
Чуличков А. И., Пытъев Ю.П. Проблема аппроксимации модели в задачах интерпретации измерений // Мат. моделирование. - 1995. - Т. 7, JV- 3.
Чуличков А.И.^ Пытъев Ю.П. Надежность интерпретации измерения, описываемого линейной моделью с априорной информацией статистического характера // Мат. моделирование. - 1995. - Т. 7, JV- 3.
Митин И. В. и др. Метод максимальной надежности в задаче анализа и интерпретации спектрометрических измерений // Математическое моделирование. - 1991. - Т. 3, N 12. - С. 31-37.
Бойченко В. Л. и др. Эксперимент пр четырехчастотному лазерному зондированию атмосферного аэрозоля и анализ качества моделей при его интерпретации // Оптика атмосферы. - 1989. - Т. 2, N 1. - С. 8593.
Жуковский Е.Л., Липцер Р.Ш. О рекуррентном способе вычисления нормальных решений алгебраических уравнений // ЖВМиМФ. - 1987. - Т. 27, М- 6. - С. 935-940.
Белов Ю.А.^ Касъянюк В.С. К задаче интерпретации данных, полученных конечным множеством рецепторов с нестабильными характеристиками // ЖВМиМФ. - 1987. - Т. 27, JV- 2. - С. 291-295.
Пытъев Ю.П. Надежность интерпретации эксперимента, основанной на приближенной модели // Мат. моделирование. - 1989. - Т. 1, JV- 2. - С. 49-64.
Pyt’ev Yu.P. Measurement Computer Systems of Super High Resolution // Pattern Recognition and Image Analysis. - 1994. - V. 1, JV- 1. - P. 54-76.
Пытъев Ю.П. К теории нелинейных измерительно-вычислительных систем // Мат. моделирование. - 1992. - Т. 4, АГ- 2. - С. 76-94.
Пшеничный Б.Н. Выпуклый анализ и экстремальные задачи. - М.: Наука, 1980. - 400 с.
Пытъев Ю.П. Нелинейная редукция измерения // Мат. моделирование - 1989. - Т. 1, АГ- 5. - С. 44-59.
Морозов В.А. Методы регуляризации неустойчивых задач. - М.: Изд- во Моск, ун-та, 1987. - 216 с.
Матвеева Т.В.. Пытъев Ю.П. Метод Ритца в задаче интерпретации нелинейных измерений // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1991. - Т. 32, АГ- 3. - С. 90-93.
Матвеева Т.В.. Пытъев Ю.П. Линейные и нелинейные методы интерпретации измерений. Вычислительный эксперимент // Мат. моделирование. - 1994. - Т. 6, АГ- 9. - С. 85-98.
Lauter Н. A minimax linear estimatior for linear parameters under restriction in form of inequalities // Math. Operations and Statist. - 1975. - M- 6. - P. 769-774.
Пытъев Ю.П. К теории измерительно-вычислительных систем минимаксного типа // Мат. моделирование. - 1991. - Т.3, АГ- 10. - С. 65-94.
Демьянов В.Ф., Малоземов В.П. Введение в минимакс. - М.: Наука, 1972. - 368 с.
Бондаренко С.П., Пытъев Ю.П. Об эффективном ранге моделили- нейных измерений с ошибкой // ЖВМиМФ. - 1995. - Т. 35, АГ- 1. - С. 6-23.
Pyt’ev Yu.P., Sukhorukova G.V. The restoration of a vertical ozone distribution via UV-radiation measurement // Ann. Geophys. Spec. Issue: XVII Gen. Assembly EGS. - 1992.
Hoerl A.T., Kennard R.W. Ridge Regression Biased Estimation for Nonlinear Problems // Technometrics. - 1970. - V. 12, AT- 1. - P. 55-71.
Матвеева T.B., Пытъев Ю.П. Нелинейная редукция измерения в задачах дистанционного зондирования атмосферы // Вестник Моск, унта. Серия Физика, Астрономия. - 1991. - Т. 32, АГ- 4. - С. 100-103.
Математическая теория планирования эксперимента. - М.: Наука, 1983.
Пытъев Ю.П. Подавление ложных сигналов в задаче повышения разрешения // ДАН СССР. - 1980. - Т. 255, АГ- 3. - С. 540-544.
Андерсон Т. Введение в многомерный статистический анализ. - М.: Физматгиз, 1963.
Шеффе Г. Дисперсионный анализ. - М.: Физматгиз, 1963.
Митин И. В., Чуличков А.И. О надежности параметрически заданной модели // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1989. - Т. 30, АГ- 4. - С. 8-14.
Pyt’ev Yu.P. The Reliability of Interpretation of Experimental Results on the Basis of Approximate Models // IMMCE. - 1983. - Vol. 1, AT- 4. - P. 319-332.
Вытъев Ю.В., Чу дичков А. И. Основы теории измерительновычислительных систем сверхвысокого разрешения // Измерительная техника. - 1998, февраль. - С. 3-10.
Чу дичков А. И. Основы теории измерительно-вычислительных систем. Линейные стохастические иизмерительно-вычислительные системы. - Тамбов: Изд-во Тамбовского гос. техн, ун-та, 2000. - 140 с.
Волков Б.И. и др. Возможности диалога при редукции измерений // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1987. - Т. 28, JV- 1. - С. 3-8.
Козлов А.А. и др. О диалоговом подходе к решению задачи анализа и интерпретации мессбауэровского спектра // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1989. - Т. 30, АГ- 6. - С. 30-35.
Козлов А.А., Вытъев Ю.В. Об эффективности редукции измерений и некоторых задачах синтеза измерительно-вычислительного комплекса // ЖВМиМФ. - 1987. - Т. 27, А/*- 3. - С. 323-331.
Жохов В. В., Козлов А. А., Вытъев Ю.В. О предельных возможностях параметрических измерительных преобразователей 2-го порядка с сосредоточенными параметрами // Мат. моделирование. - 1991. - Т. 3, М- 7. - С. 57-70.
Митин В.В., Вытъев Ю.В., ВЧодмонкулов Т.Д. Метод максимальной надежности в задаче синтеза и интерпретации спектрометрических измерений // Мат. моделирование. - 1991. - Т. 3, АГ- 12. - С. 31-37.
Бондаренко С.В., Вытъев Ю.В., Сердоболъская М.Л. О предельных возможностях измерительно-вычислительной системы как измерительного прибора // Мат. моделирование. - 1993. - Т. 3, А/*- 9. - С. 43-54.
Weerahandi S. On the use of complete and incomplete information in regression analysis // J. Nat. Sci. Counc. Sri Lanca. - 1982. - V. 10, Af- 1. - P. 1-11.
Волков Б.В., Вытъев Ю.В. Измерительно-вычислительные преобразователи // Датчики и Системы. - 2000. - №- 6. - С. 17-23.
Золотухин В.Г., Усиков Д.А., Грушин В.А. Учет рассеяния света в атмосфере при обработке космических снимков земной поверхности // Исследование Земли из космоса. - 1980. - JV- 3. - С. 58-67.
Соболев К.С., Чуличков А.В., Вытъев Ю.В. Многоапертурный телескоп. Сравнительный анализ алгоритмов сверхразрешения// Pattern Recognition and Image Analysis, в печати.
Вугачев В. С., Синицын В.В. Теория стохастических систем. - М.: Логос, 2000. - 1000 с.
Алъфелъд Г., Херцбергер К. Введение в интервальное исчисление. - М.: 1987.
Варга Р. Функциональный анализ и теория аппроксимации в численном анализе. - М.: Мир, 1974. - 128 с.
Оглавление
Предисловие ко второму изданию 3
Введение 7
ГЛАВА 1
Элементы теории линейного статистического оценивания
Ковариационный и корреляционный операторы случайного вектора. Базис Карунена-Лоэва 20
Наилучшее в среднем квадратичном линейное оценивание 24 2.1. Оценивание случайного вектора (24). 2.2. Оценивание линейной функции случайного вектора (26). 2.3. Минимизация относительной средне-квадратичной ошибки оценивания (27). 2.4. Оценивание в сингулярных базисах (27). 2.5. Экстремальные свойства сингулярных базисов (30). 2.6. Экстремальное свойство базиса Карунена-Лоэва (32). 2.7. О корреляционных связях случайных векторов (32).
Уточнение случайного вектора по данным линейных измерений . 33 § 4. Оптимизация измерений 36
Уточнение случайного вектора по данным линейных измерений с
ошибками 38
Общие результаты. Теорема взаимности (38). 5.2. Асимптотика оценивания при равномерно исчезающей априорной информации (41).
Линейное оценивание неслучайного вектора 44
Оптимальное линейное оценивание при неизвестном корреляци
онном операторе ошибки измерения 49
О «гладкости» случайного вектора 52
ГЛАВА 2
Эффективная линейная размерность данных измерений
Эффективная размерность множества точных данных 57
Эффективная размерность множества классов эквивалентности измерений 62
Эквивалентность, заданная группой «вертикальных» сдвигов (63). 2.2. Эквивалентность, заданная группой «горизонтальных» сдвигов (65). 2.3. Эквивалентность, заданная группой «вертикальных» и «горизонтальных» сдвигов (66). 2.4. Эквивалентность, заданная группой преобразований масштаба (66).
Об эффективной размерности классов эквивалентности изображений 67
Эффективная размерность множества измеренных с ошибками сигналов 71
Об эффективной размерности измерений на линейном приборе . 76
ГЛАВА 3
Оценивание параметров распределения вероятностей
Неравенство Крамера-Рао. Эффективные оценки 80
Задачи с априорной информацией. Линейные минимаксные оценки 86
Оценки типа Стейна-Джеймса 93
Достаточные статистики 99
Инвариантные методы оценивания 101
Байесовское оценивание 108
Информационные матрицы115
ГЛАВА 4
Случайные множества как оценки параметровраспределения. Проверка статистических гипотезо параметрах распределения
Оценивающее множество120
Множество принятия гипотез124
Оценивающие множества минимального размера131
Надежность гипотезы136
Простая гипотеза, простая альтернатива (137). 4.2. Сложные гипотеза и альтернатива (142).
Рандомизированные правила решения150
Оценивающие множества и семейство рандомизированных критериев 156
Инвариантные методы проверки гипотез157
Эквивариантное оценивание и проверкагипотез 163
ГЛАВА 5
Линейная редукция измерения
Измерительно-вычислительная система (ИВС) как измерительный прибор 167
Линейная минимаксная редукция схемы измерения172
Критерии качества измерительного прибора и соответствующей ИВС 174
Роль шума измерения187
Эффект дополнительного измерения191
Типичные реализации сигнала. Структура «коридора ошибок» . 198
Проблема устойчивости редукции207
Проблемы надежности. Надежность модели измерения218
Надежность модели [Л, Е] и ее свойства (223). 8.2. О методе максимальной надежности (выбора модели) (228).
Надежность редукции измерения 233
Надежность редукции с учетом дополнительных измерений (235). 9.2. Случай одномерного дополнительного измерения (239). 9.3. Анализ задачи проверки гипотезы о параметре распределения (241). 9.4. Верхняя и нижняя надежности редукции (246). 9.5. Случай одномерного дополнительного измерения (248). 9.6. Случай произвольного дополнительного измерения (250).
ГЛАВА 6
Линейная редукция измерений при наличиидополнительной информации
Редукция схемы измерения случайного вектора. Качество модели 255
Редукция для модели [A, F, У] (255). 1.2. О качестве модели [A, F, У] (257). 1.3. Сравнение модели [A, F, У] с моделью [А, У] (259). 1.4. Редукция для модели [A, fo,F, У] (261).
Эффект дополнительного измерения. Рекуррентная редукция . . 262
Методы редукции для случайных моделей268
Редукция измерения и тестирование при ограниченной информации о случайной модели 273
Уточнение параметров модели линейного измерительного прибора. Прогноз измерения 275
ГЛАВА 7
Нелинейные методы редукции измерений
Введение283
Нелинейные уточнения редукции измерений285
Нелинейная минимаксная редукция измерения290
Линейный измерительный преобразователь и линейный идеальный прибор (291). 2.2. Нелинейный измерительный преобразователь и нелинейный измерительный прибор (294). 2.3. Неединственная и многозначная функция, определяющая модель идеального прибора (296). 2.4. Задача редукции как задача линейного программирования (297). 2.5. Методы интервальной редукции (300). 2.6. Оценивание функциональной зависимости как минимаксная редукция измерения (305).
Нелинейная минимаксная редукция для стохастических моделей 307 3.1. Редукция типа Кукса-0лмана (310). 3.2. Нелинейная минимаксная редукция в случае оператора модели интерпретации конечного ранга (311). 3.3. Случай компактного оператора (316).
Нелинейная редукция в случае вырожденного оператора модели измерения (316). 3.5. Нелинейная редукция в случае измерительных преобразователей первого порядка (318). 3.6. Допол
нения (320).
Методы нелинейной редукции в интегральной метрике322
Существование и свойства редукции в интегральной метрике . . . 326
ГЛАВА 8
Эффективный ранг линейной модели измерений с ошибкой
Введение332
Собственные базисы моделей [A, F, Е] и [А, Е]334
Задача интерпретации линейной функции измерений337
Модель [А,Г,Ч (338). 2.2. Модель [A, S] (340).
Эффективный ранг модели измерения342
Эффективный ранг нелинейной модели и эффективная размерность множества измерений 348
Эффективный ранг модели [A, J] (348). 4.2. Эффективный ранг модели [A, If, 1^ (350). 4.3. Эффективный ранг и эффективная размерность (355).
ГЛАВА 9
Методы синтеза линейных измерительных приборовна измерительно-вычислительных системах
Синтез измерительного прибора при ограничении на уровень шума 357
Общий метод синтеза измерительного прибора на измерительновычислительной системе 364
Введение370
ГЛАВА 10
Измерительно-вычислительные преобразователи
Редукция измерения, выполняемого на ИП первого порядка . . . 372
Базис и эффективный ранг модели [Ai,E] 374
Качество ИВП первого порядка как измерительного прибора . . . 378
ИВП второго порядка382
ИВП второго порядка как измеритель перемещения, скорости и ускорения 385
Список обозначений389
Список литературы391
единственная пара векторов у1, —У°, удовлетворяющих условию (дуально
сти) Д^Ду-7) = <^ = Д г Д’ ПРИ этом ж0 = (УД), Ж1 = (УД).
[О, г^з-
синтезируется выходной сигнал прибора U, когда на его вход поступает
сигнал f.
') Что касается шума и. то здесь в самом общем случае не может быть неожиданностей: с увеличением интенсивности шума модель не становится лучше. Например, если Е = Ei + АЕ2, А ^ 0, то
^tr(t/(TE-M)-T*) =
= tr (г7(А*Е-1А)-1А*Е-1Е2Е-1А(А*Е-1А)-Т*) 0,
если Е2 ^ 0.
1) Это расчетная энергия шума. Она определяется принятой моделью и
мятся к бесконечности, т. е. энергия любой составляющей шума v беско
х) (Ф7)1— обозначение для множества принятия гипотезы ГС введенное в гл. 4.
при U = I.
иценная редукция линейна.
руется выходной сигнал фиксированного прибора U.
УДК 519.7
ББК 22.18
П94
Пытьев Ю. П. Методы математического моделирования измерительно-вычислительных систем. — Изд. 2-е, перераб. — М.: ФИЗМАТЛИТ, 2004. - 400 с. - ISBN 5-9221-0446-2.
В монографии рассмотрены элементы математической теории измерительно-вычислительных систем (ИВС) как средств измерений, основанной на математическом формализме редукции измерений, позволяющем по результатам измерений в системе «измеряемый объект-среда-измерительный прибор» получать наиболее точное описание ненаблюдаемой системы «исследуемый объект-среда», не искаженной измерениями. Теория ИВС позволяет формулировать требования к измерительной компоненте ИВС, обеспечивающие наивысшее качество ИВС как средства измерений, оценивать адекватность математической модели измерений на ИВС, состоятельность получаемых на ее выходе значений параметров исследуемого объекта, оценок погрешностей и т. д.
Первое издание — 2002 г.
Для научных работников и инженеров физико-математических специальностей.
Табл. 2. Ил. 51. Библиогр. 105 назв.
Научное издание
ПЫТЬЕВ Юрий Петрович
МЕТОДЫ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯИЗМЕРИТЕЛЬНО-ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ
Компьютерный набор: В.В. Шишаков, И.И.Фаломкин, Н.А. ЯкубовскаяКомпьютерная верстка: Г. С. Животников, О.В. ЖучкоИллюстрации Д.М. НовицкогоОформление обложки А.Ю. Алехиной
ЛР №071930 от 06.07.99. Подписано в печать 30.06.03. Формат 60x90/16.
Бумага офсетная. Печать офсетная. Усл. печ. л. 25. Уч.-изд. л. 27,5. Заказ №
ISBN 5-9221-0446-2ISBN 5-9221-0446-2Издательская фирма
ISBN 5-9221-0446-2
ISBN 5-9221-0446-2
«Физико-математическая литература» МАИК «Наука/Интерпериодика» 117997 Москва, Профсоюзная, 90
E-mail: fizmat@maik.ru
Отпечатано с готовых диапозитивов в ПИП «Типография «Наука» 121099 Москва, Шубинский пер., 6
© ФИЗМАТЛИТ, 2002, 2004
ISBN 5-9221-0446-2ISBN 5-9221-0446-2© Ю. И. Пытьев, 2002, 2004
ISBN 5-9221-0446-2
ISBN 5-9221-0446-2